IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ナウト,インコーポレイテッドの特許一覧

特許7290567運転者の注意散漫決定のためのシステム及び方法
<>
  • 特許-運転者の注意散漫決定のためのシステム及び方法 図1
  • 特許-運転者の注意散漫決定のためのシステム及び方法 図2
  • 特許-運転者の注意散漫決定のためのシステム及び方法 図3
  • 特許-運転者の注意散漫決定のためのシステム及び方法 図4
  • 特許-運転者の注意散漫決定のためのシステム及び方法 図5
  • 特許-運転者の注意散漫決定のためのシステム及び方法 図6
  • 特許-運転者の注意散漫決定のためのシステム及び方法 図7
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-06-05
(45)【発行日】2023-06-13
(54)【発明の名称】運転者の注意散漫決定のためのシステム及び方法
(51)【国際特許分類】
   G08G 1/16 20060101AFI20230606BHJP
   A61B 5/18 20060101ALI20230606BHJP
   B60W 40/08 20120101ALI20230606BHJP
   B60W 50/14 20200101ALI20230606BHJP
   G08B 21/06 20060101ALI20230606BHJP
【FI】
G08G1/16 F
A61B5/18
B60W40/08
B60W50/14
G08B21/06
【請求項の数】 17
(21)【出願番号】P 2019522480
(86)(22)【出願日】2017-11-07
(65)【公表番号】
(43)【公表日】2020-01-16
(86)【国際出願番号】 US2017060307
(87)【国際公開番号】W WO2018085804
(87)【国際公開日】2018-05-11
【審査請求日】2020-10-29
(31)【優先権主張番号】62/418,655
(32)【優先日】2016-11-07
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】519003653
【氏名又は名称】ナウト,インコーポレイテッド
【氏名又は名称原語表記】Nauto,Inc.
(74)【代理人】
【識別番号】110000062
【氏名又は名称】弁理士法人第一国際特許事務所
(72)【発明者】
【氏名】レコヴァ, ラミラ
(72)【発明者】
【氏名】ヘック, ステファン
(72)【発明者】
【氏名】アルパート, ベンジャミン,オー.
(72)【発明者】
【氏名】サゾダ, ラヴィ
(72)【発明者】
【氏名】サシャナラヤナ, スチトラ
(72)【発明者】
【氏名】セカー, ヴィヴェク
【審査官】藤村 泰智
(56)【参考文献】
【文献】米国特許出願公開第2014/0139655(US,A1)
【文献】特表2015-510619(JP,A)
【文献】特開2004-347464(JP,A)
【文献】特開2013-014225(JP,A)
【文献】特開2011-180873(JP,A)
【文献】米国特許出願公開第2016/0267335(US,A1)
【文献】米国特許出願公開第2014/0210978(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G08G 1/00 ~ 1/16
A61B 5/18
B60W 30/00 ~ 50/16
G08B 21/00 ~ 21/06
(57)【特許請求の範囲】
【請求項1】
車両の運転者の注意散漫を決定する方法であって、
・前記車両の車載システムで、前記運転者の画像を備えるセンサ測定値をサンプリングするステップと、
・前記車載システムの顔検出モジュールで、前記画像を受取り、かつ前記画像内の顔の存在または不存在を示す第1の出力を生成するステップと、
・前記車載システムの運転者注意散漫モジュールにより、前記画像に基づいて、前記第1の出力とは独立して生成される、注意散漫状態を示す第2の出力を生成するステップと、
・前記第1の出力と前記第2の出力との組合せに基づいて、前記車両の前記運転者が、前記注意散漫状態にあると決定される、ステップと、
・前記注意散漫状態のコンテキストを決定するステップであって、前記注意散漫状態のコンテキストが、前記画像のシーケンスから測定された前記注意散漫状態の持続時間および前記画像に描かれた前記運転者の頭部の動きの少なくとも1つに基づいているステップと、
・前記注意散漫状態の前記コンテキストに基づいて前記注意散漫状態のスコアを決定するステップと、
・前記車両の前記車載システムの出力で、前記注意散漫状態の前記スコアに基づいて、前記運転者に通知を提供するステップとを、
備える方法。
【請求項2】
前記第2の出力を生成する前記ステップが、前記画像からの前記運転者の注視方向に基づいている、請求項1に記載の方法。
【請求項3】
前記注意散漫状態の前記決定されたスコアに基づいて前記遠隔エンティティに通知を送るステップを、更に備える、請求項1に記載の方法。
【請求項4】
前記センサ測定値が、加速度計出力を含み、かつ、
前記加速度計の出力に基づいて、前記車載システムの運転者行動分析モジュールで前記運転者の行動を決定するステップを、更に、備え、
前記車両の前記運転者が、前記決定された運転者の行動に基づいて前記注意散漫状態にあると特徴付けられている、
請求項1に記載の方法。
【請求項5】
前記注意散漫状態のコンテキストを決定するステップであって、前記センサ測定値が、オブジェクトと前記車両との間の距離を示すセンサデータも備える、ステップ、更に、備える、請求項1に記載の方法。
【請求項6】
前記注意散漫状態のスコアが閾値スコアを超えることに応答して、前記センサ測定値を遠隔コンピューティング・システムに送るステップを、更に備える、請求項1に記載の方法。
【請求項7】
前記センサ測定値を前記遠隔コンピューティング・システムに送る前記ステップが、前記注意散漫状態のスコアが前記閾値スコアを超えると決定した時点の後に実行される、請求項6に記載の方法。
【請求項8】
前記遠隔コンピューティング・システムの第2の運転者注意散漫モジュールで、前記センサ測定値に基づいて、前記運転者が前記注意散漫状態にあると特徴付ける第3の出力を生成するステップを、更に備える、請求項6に記載の方法。
【請求項9】
前記第3の出力の生成に応答して、前記運転者に関連付けられた遠隔エンティティに通知を送るステップを、更に備え、前記通知が、前記注意散漫状態の前記スコア、前記注意散漫状態の前記コンテキスト、及び注意散漫状態決定の時点を備える、請求項8に記載の方法。
【請求項10】
前記センサ測定値、前記決定されたスコア、及び前記運転者に関連付けられているスコアの時間履歴に基づいて、前記遠隔コンピューティング・システムのスコア付与モジュールで、運転者スコアを計算するステップを、更に、備える、請求項6に記載の方法。
【請求項11】
車両の運転者の注意散漫を決定する方法であって、
・運転セッション中に、前記車両の車載システムで、前記運転者の画像を備えるセンサ測定値をサンプリングするステップと、
・前記車載システムの顔検出モジュールで、前記画像を受取り、かつ前記画像内の顔の存在または不存在を示す第1の出力を生成するステップと、
・前記車載システムの運転者注意散漫モジュールにより、前記画像に基づいて、前記第1の出力とは独立して生成される、注意散漫状態を示す第2の出力を生成するステップと、
・前記第1の出力と前記第2の出力との組合せに基づいて、前記車両の前記運転者が、前記注意散漫状態にあると決定される、ステップと、
・前記車両の前記運転者が前記注意散漫状態を有すると特徴付けられていることに応答して、前記センサ測定値を前記車両の外にある遠隔コンピューティング・システムに送るステップと、
・前記遠隔コンピューティング・システムで、前記センサ測定値に基づいて、前記運転者が前記注意散漫状態にあると特徴付ける第3の出力を生成するステップと、
・前記センサ測定値に基づいて、前記遠隔コンピューティング・システムのスコア付与モジュールで運転者スコアを計算するステップとを、
備える方法。
【請求項12】
前記センサ測定値が、画像のシーケンスを備え、前記注意散漫状態が、前記運転者の注視方向の変化率に基づいていて、そして前記視線方向の変化率が、前記画像のシーケンスと組み合わせた前記画像に基づいて計算される、請求項11に記載の方法。
【請求項13】
前記センサ測定値を前記遠隔コンピューティング・システムに送る前記ステップが、前記車両の前記運転者が前記注意散漫状態により特徴付けられているとの決定の時点の後に実行される、請求項11に記載の方法。
【請求項14】
前記車両の前記車載システムで、前記注意散漫状態のコンテキストを決定するステップであって、前記注意散漫状態のコンテキストが、前記画像のシーケンスから測定された前記注意散漫状態の持続時間、および前記画像に描かれた前記運転者の頭部の動きの少なくとも1つに基づいているステップを備える、請求項11に記載の方法。
【請求項15】
前記注意散漫状態の前記コンテキストに基づいて、前記注意散漫状態の前記スコアを決定するテップを、更に、備える、請求項1に記載の方法。
【請求項16】
前記注意散漫状態の前記スコアに基づいて、前記車両の車載システムの出力で、前記運転者に通知を提供するステップを、更に、備える、請求項1に記載の方法。
【請求項17】
前記センサ測定値を前記遠隔コンピューティング・システムに送る前記ステップが、前記注意散漫状態の前記スコアが閾値スコアを超えることに応答して実行される、請求項1に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、一般的には車両のインタラクション分野に関し、そしてより具体的には車両のインタラクション分野において運転者の注意散漫を決定するための、新規で有用なシステム及び方法に関する。
【先行技術文献】
【特許文献】
【0002】
【文献】2017年7月5日に出願された米国特許出願第15 / 641,982号明細書
【文献】2017年7月5日に出願された米国特許出願第15 / 642,094号明細書
【文献】2017年9月14日に出願された米国特許出願第15 / 705,043号明細書
【図面の簡単な説明】
【0003】
図1】運転者の注意散漫決定方法のフローチャート図である。
図2】運転者の注意散漫決定のための例示的なシステムの概略図である。
図3】決定モジュールの更新の一例の概略図である。
図4】運転セッションについて決定された、ルートに沿って車両がトラバースした複数の位置のそれぞれについて決定された複数の運転者注意散漫スコアに関連付けられている例示的なルートの概略図である。
図5】本方法の例示的な実装に関連付けられている例示的な情報及び処理フロー経路の概略図である。
図6】本方法の特定の例示的な実装形態のフローチャート図である。
図7】本方法の特定の例示的な実装形態のフローチャート図である。
【発明を実施するための形態】
【0004】
本発明の好ましい実施形態の以下の説明は、本発明をこれらの好ましい実施形態に限定することを意図するものではなく、むしろ当業者が本発明を製造及び使用することを可能にすることを意図する。
【0005】
1.概要
図1に示されるように、運転者の注意散漫決定のための本方法100は、運転セッション中にセンサ測定値をサンプリングする(S110);前記センサ測定値に基づいて注意散漫係数値を決定する(S120);前記係数値に基づいて運転者の注意散漫を決定する(S130)ことを含む。本方法100は、運転セッション中に運転者が注意散漫になっているか否かを決定するように機能する。いくつかの変形態様では、本方法100は、頻度、重症度、位置、周囲のコンテキスト(例:並行する交通パラメータ、並行する車両内部パラメータ、等)、及び/又は運転者の注意散漫イベントの他の適切なパラメータ(例:運転者の注意散漫パラメータ)を決定することが出来る。本方法は、オプションで、前記センサ測定値を遠隔コンピューティング・システムに送る(S140);運転者の注意散漫の決定に基づいて通知を生成する(S150);そして、前記運転者の注意散漫決定をアプリケーションで使用する(S160)ことを、含むことが出来る。
【0006】
本方法100の全部又は一部は、リアルタイムで又はほぼリアルタイムで(例:新しいセンサ測定値がサンプリングされているとき等のような運転セッション中に)実行させることが好ましいが、これに代えて、非同期で(例:車外データを送るための適切なネットワーク・リンクが利用可能であるときに、運転セッションが既に終了した後、等)、又は任意の他の適切な時点で実行させることも出来る。本方法100は、複数の運転者及び複数の運転セッションに対して実行させることが好ましいが、これに代えて、単一の運転者、単一の運転セッション、又は任意の適切な運転者の集団もしくは運転セッションに対して実行させることも出来る。本方法100は、運転セッションを通して複数回繰り返すことが好ましいが、これに代えて、決定イベントの発生に応答して実行させる、運転セッションごとに1回実行させる(例:注意散漫係数値が閾値を超えるとき;衝突危機イベントが発生するとき;ユーザが注意散漫の決定を開始したとき、等)、又は他の適切な時点又は頻度で実行させることも出来る。
【0007】
本方法100は、車両に搭載されたシステム(例:車載システム)によって全体的に又は部分的に実行させることが出来る。このシステムは、車両、車両自体、ユーザデバイスに後付けされる補助システム、又は他の任意の適切なシステムとすることが出来る。このシステムは、センサ(例:光学センサ、音声センサ、ステレオカメラ、ステレオマイクロホン、慣性センサ、加速度計、ジャイロスコープ、磁力計、等)、処理システム(例:CPU、GPU)、出力部(例:スピーカ、振動機構)、位置システム(例:GPS、セルラ三辺測量システム、等)、通信システム(例:セルラ又はWiFi等の長距離接続、BLE又はNFC等の近距離接続、車両データバス等の有線接続、等)、電力システム(例:車両電源プラグ、バッテリ、等)、又は任意の他の適切な構成要素を含むことが出来る。一変形態様では、システムは、内部に向いているカメラ(例:車内方向に、又は運転者の頭部の領域に向いているカメラ)、外部に向いているカメラ(例:地平線に向いている、道路に向いている、等のカメラ)、音声センサの組、慣性センサの組、位置特定システム、及びシステムを車両のダッシュボード、フロントガラス、バックミラー、又は車両の他の適切な部分に取り付けるように構成されたマウントを含む。別の変形態様では、本方法100は、参照によりその全体が本明細書に組み込まれている特許文献3に実質的に記載されているシステムによって実行される。しかしながら、この方法は、他の任意の適切なシステムによって実行させることも出来る。一例では、内部に向いているカメラと外部に向いているカメラとの間の相対的な位置及び/又は相対的な視野の関係(例:x、y、zの関係、角度の関係、等)は、既知でありかつ静的に結合されているので、内部に向いているカメラ(内部向きカメラ)によってサンプリングされた画像から抽出された情報は、外部に向いているカメラによってサンプリングされた画像(外部画像)から抽出された情報に、空間的にマッピングさせることが出来る。特定の例では、内部画像から決定された運転者の注視方向は、外部画像に現れる車両周囲環境内の物理的領域に空間的にマッピングさせることが出来る。しかしながら、センサ間の空間的関係は、他にも使用することが出来る。
【0008】
これに加えて又はこれに代えて、本方法100の全部又は一部は、遠隔コンピューティング・システム(例:遠隔サーバ)によって、二次システムによって、又は任意の他の適切なシステムによって、実行させることも出来る。分割コンピューティングの一変形態様では、注意散漫係数に関連付けられているセンサ測定値をサンプリングし、このセンサ測定値を注意散漫係数値に処理し、この注意散漫係数値に基づく注意散漫イベント(例:危急の、発生、又は以前に発生した注意散漫イベント)を識別することは、全て、車載システムにより実行させることが出来るが、注意散漫イベントの検証及び他のプロセスへの適用(例:注意散漫ヒートマップへの後処理、最適ルートのための運転ルートのフィルタリング、等)は、遠隔コンピューティング・システムによって実行させることが出来る。この変形態様では、車載システムは、注意散漫イベントに関連付けられているセンサ測定値(例:注意散漫イベントの前、最中、及び/又は後に記録されたセンサ測定値)、注意散漫イベントに関連付けられている派生情報(例:1つ以上のセンサ又は他の入力タイプから生成された派生情報))、注意散漫イベント・パラメータ値(例:時点、運転者、位置、重症度、等)、又は他の任意の適切な情報を、注意散漫の決定直後に(例:通信システムを使用して)、高帯域幅接続に接続されたときに(例:家庭用又はオフィス用のWiFiシステムへの接続時に)、又は任意の他の適切な時点に、遠隔コンピューティング・システムに送ることが出来る。第2の変形態様では、センサ測定値は、本方法100の残りの部分を実行する遠隔コンピューティング・システムに、リアルタイム又はほぼリアルタイムで、送ることが出来る。しかしながら、本方法100は、他の任意の適切なシステムの組によってこれとは異なるように実行させることも出来る。
【0009】
検出された運転者の注意散漫(注意散漫イベント、注意散漫状態)は、1つ又は複数のアプリケーションで使用することが出来る。第1のアプリケーションでは、検出された注意散漫イベントは、最適ルートの計画を検討するために複数の運転ルート(例:トラバーサルルート)の中から運転ルート(トラバーサル経路)をフィルタリングするために使用することが出来る。ここで、この最適ルートは、次いで、運転者に提案して、自律走行車両を誘導するため又は他のアプリケーションに使用することが出来る。例えば、注意散漫イベント(又は閾値レベルを超える注意散漫スコア)に関連付けられている第1のルート又はルート・セクションは、検討から除外させることが出来るのに対し、注意散漫イベントに関連付けられていない(又は閾値を下回る注意散漫イベントの)第2のルート又はルート・セクションは、最適なルート決定のために保持させることが出来る。
【0010】
第2のアプリケーションでは、検出された注意散漫イベント又はそのスコアは、通知パラメータを動的に調整するために使用することが出来る。この通知は、危急の衝突イベントの通知、注意散漫である運転者に警告するための通知、又は他の任意の適切な通知とすることが出来る。危急の衝突イベントは、車両の予測されるトラバーサル経路内に移動しつつある又は既にその中に移動してしまっているオブジェクトとの衝突、又は任意の他の適切な衝突イベントとすることが出来る。危急の衝突イベントは、外部カメラによって(例:オブジェクトの検出、追跡、等を使用して)記録された画像から、(例:近接センサ、RFセンサ、等の)車両センサから、決定することが出来、又は他の態様で検出することが出来る。一変形態様では、通知パラメータ値(例:音量、明るさ、継続時間、等)は、(例:危急の衝突イベントの検出時点に対して計算された)運転者の注意散漫スコアの関数として比例的に増加させることが出来る。第2の変形態様では、通知タイプは、(例:危急の衝突イベント検出時点に対して計算された)運転者の注意散漫スコアに基づいて選択することが出来る。例えば、注意散漫スコアが閾値スコアを下回ると駆動輪を振動させることができ、他方、注意散漫スコアが閾値スコアを上回ったときには、車両のオーディオシステムが音声通知を発するように制御することが出来る。しかしながら、これ以外の状況でも、通知パラメータは、注意散漫スコアに基づいて動的に調整することが出来る。
【0011】
第3のアプリケーションでは、検出された注意散漫イベント又はそのスコアは、衝突危機イベントが既に発生しているか否かを決定する衝突危機決定モジュールに供給することが出来る。第4のアプリケーションでは、注意散漫スコアは、運転者が衝突の原因であったか否かを、又は運転者に適用される過失割合を決定するために使用することが出来る。例えば、運転者が、注意散漫ではなかった場合、又は運転者の注意散漫スコアが、衝突時の間又は衝突前の時間間隔内の閾値レベルを下回る場合、運転者には、運転者が注意散漫であった場合、又は運転者の注意散漫スコアが、衝突の間又は衝突前の時間間隔内の閾値レベルを上回る場合よりも低い過失割合を、適用させることが出来る。この時間間隔は、衝突の種類に応じて一定の期間とする又は可変とすることが出来る。
【0012】
第5のアプリケーションでは、検出された注意散漫イベント又はそのスコアは、運転者の識別子に関連付けて(例:運転者のプロファイルに)格納することが出来る。この運転者のプロファイルは、運転者固有の通知、警告、ルート、又はその他の適切な情報を決定するために使用することが出来る。一変形態様では、本方法100は、所与の運転者についてのより高い注意散漫頻度に関連付けられているコンテキストを(例:注意散漫パターンの履歴に基づいて)識別することと、(例:その全体が本明細書に組み込まれている特許文献2に開示された方法、又は任意の他の適切な方法を使用して識別される)運転者の注意散漫の確率を最小にする(例:注意散漫に関連付けられている、遭遇したコンテキストの数を最小にする)ルートを自動的に決定することとを、含むことが出来る。第2の変形態様では、本方法100は、運転者についての注意散漫イベントに履歴上関連付けられている位置に接近しつつあるときに、先行して運転者に通知することを含むことが出来る。第3の変形態様では、本方法100は、運転者に関連付けられている過去の注意散漫イベントのデータに基づいて、運転者にコーチングを提供すること(例:将来の注意散漫行動を防ぐために、過去の行動に基づいて,本方法により類似の行動パターンが決定される時点又は他の適切な時点に、運転者にフィードバックを提供すること)を含むことが出来る。しかしながら、運転者のプロファイルは、他の態様で適切に使用することも出来る。更に、検出された注意散漫イベント又はそのスコアは、他の態様で適切に使用することも出来る。本出願及び関連出願では、スコア(例:注意散漫スコア)は、スコア付与モジュールによって決定されることが好ましいが、他の態様で適切に決定することも出来る。
【0013】
本方法100及び/又はそのブロックは、コンピューティング・システムの1つ又は複数のモジュール(例:注意散漫モジュール、オブジェクト分類モジュール、オブジェクト検出モジュール、スコア付与モジュール、顔検出モジュール、他の任意の適切なコンピューティング・モジュール、等)によって実装させることが、好ましい。複数のモジュールの各モジュールは、(例:ロジスティック回帰を用いる、逆伝播ニューラル・ネットワークを用いる、ランダムフォレスト、決定木を用いる、等の)教師あり学習、(例:アプリオリ(Apriori)アルゴリズムを用いる、K平均法クラスタリングを用いる)教師なし学習、半教師つき学習、(例:エンドツーエンド学習を使用する、Q学習アルゴリズムを使用する、時間差学習を使用する)強化学習、及び他の任意の適切な学習スタイル、の内の1つ以上を利用することが出来る。複数のモジュールの各モジュールは、(例:通常の最小二乗法、ロジスティック回帰、段階的回帰、多変量適応回帰スプライン、局所的に推定される散布図平滑化、等の)回帰アルゴリズム、(例:最隣接、学習ベクトル量子化、自己組織化マップ、等の)インスタンス・ベース方法、(例:リッジ回帰、最小絶対収縮及び選択演算子、エラスティック・ネット、等の)正則化方法、(例:分類及び回帰木、反復二分法3、C4-5、カイ二乗自動インタラクション検出、決定スタンプ、ランダムフォレスト、多変量適応回帰スプライン、勾配ブーストマシン、等の)決定木学習方法、(ナイーブベイズ(
)、AODE(averaged one-independence estimators)、ベイジアン(Bayesian)ネットワーク、等の)ベイズ(Bayesian)法、(例:サポートベクターマシン、動径基底関数、線形判別分析、等の)カーネル法、(例:K平均法クラスタリング、期待値最大化、等の)クラスタリング法、(例:アプリオリ・アルゴリズム、Eclatアルゴリズム、等の)関連規則学習アルゴリズム、(例:Perceptron法、逆伝播法、Hopfieldネットワーク法、自己組織化マップ法、学習ベクトル量子化法、等の)人工ニューラル・ネットワークモデル、(例:制限付きボルツマン・マシン、ディープ・ビリーフ・ネットワーク法、畳み込みネットワーク法、スタックド・オートエンコーダ法、等の)深層学習アルゴリズム、(主要コンポーネント分析、部分最小二乗回帰、サモン(Sammon)マッピング、多次元スケーリング、射影追跡、等の)次元削減法、(ブースティング、ブートストラップ集計、アダブースト(AdaBoost)、積み上げ一般化、勾配ブースティング・マシン法、ランダムフォレスト法、等の)アンサンブル法、及び任意の適切な形態のマシン学習アルゴリズム、の内の任意の1つ以上を実装することが出来る。各モジュールは、これに加えて又はこれに代えて、確率的モジュール、ヒューリスティック・モジュール、決定論的モジュール、又は他の任意の適切な計算方法、マシン学習方法、又はこれらの組み合わせを活用する任意の他の適切なモジュールとすることが出来る。各モジュールは、新しく受取られた最新の測定値、動作セッション中に記録された過去の測定値、過去の動作セッション中に記録された過去の測定値合成データ又は他の適切なデータに基づいて、生成、確認、検証、強化、較正、又は更新させることが出来る。例えば、注意散漫モジュール及び/又は顔認識モジュールは、過度に露出され、(例:車両のフレームからの影をシミュレートする影又は線を含む様に)編集され、(例:異なるカメラ位置又は差異をシミュレートするために)ワープされ、及び/又は異なる撮像条件をシミュレートするために別の方法で修正される、運転者の顔面の実画像の組を含むことが出来る合成画像の組を使用して訓練することが出来る。しかしながら、参照によりその全体が本明細書に組み込まれている特許文献1に開示されている方法を用いて生成されたデータ、又は任意の他の適切なデータセット等の任意の適切なデータセットも使用することが出来る。各モジュールは、所定の頻度で、本方法が実行されるたびに、予期しない測定値が受取られるたびに、又は他の適切な頻度で、実行又は更新させることが出来る。モジュールの組は、1つ以上の他のモジュールと並行して、順次に、様々な頻度で、又は他の任意の適切な時点に、実行又は更新させることが出来る。
【0014】
2.利点
本方法100の変形は、様々な利益及び/又は利点を付与することが出来る。
【0015】
第1に、本方法の変形は、運転者の行動に基づいて、彼又は彼女が注意散漫である、又は注意散漫になりそうであることを警告(例:通知)することによって、起こり得る衝突を回避させることが出来る。例えば、この方法は、運転者の注視が(例:閾値時間より長時間、車両の進行方向から閾値角度を超えて)既にドリフトしてしまっているときに、音声警報を生成し、これにより、運転者の注意を再度道路に集中させること、を含むことが出来る。
【0016】
第2に、本方法の変形は、遠隔のエンティティ(例:全車両マネージャ)が、複数の運転者のパフォーマンス(例:注意散漫レベル、状態、スコア、等)を同時に監視することを可能にする。例えば、全車両の各車両に搭載された車載システムは、運転者が注意散漫状態にあるのか覚醒状態にあるのかを独立に検出し、そして運転者の状態を、遠隔エンティティに関連付けられている遠隔コンピューティング・システムに送ることが出来る。
【0017】
第3に、本方法の変形は、コンピューティング・システム及びそのモジュールの性能を向上させるための分散計算を可能にする。例えば、この方法は、車載システムの計算モジュールを使用して運転者の注意散漫状態を検出することを含むことができ、そして初期の検出を確認又は拒否するために、第1の注意散漫状態の検出結果(及び/又は基本センサデータ)を遠隔コンピューティング・システムに送ることが出来る。したがって、前述の例では、車載システムは、偽陰性検出を回避することが出来る(例:車載システムは、注意散漫のより低い検出閾値及び/又はそれほど複雑でない計算モデルを実装することが出来るが、遠隔コンピューティング・システムは、運転者に否定的な影響をもたらす可能性(例:保険料が高くなる、彼又は彼女の失職、等)がある偽陽性検出を回避することが出来る。)
【0018】
第4に、本方法の変形は、コンテキスト・ベースのアクション(例:通知)を可能にする。例えば、センサのデータは、複数の分析モジュールに供給することが出来る。ここで、1つの分析モジュールの出力は、トリガイベントとして、又は別の分析モジュールに対する二次検証として、機能させることが出来る。これに加えて又はこれに代えて、複数の分析モジュールの結果は、下流モジュール(例:スコア付与モジュール、通知モジュール)に供給することが出来る。下流モジュールは、モジュールの出力値に基づいて、動的に、動作パラメータ(例:通知強度、タイプ、開始時点、終了時点、等)を選択する。特定の例では、緊急通知は、運転者が注意散漫でありかつ運転者が煽り運転をしているとき(例:それぞれ、注意散漫モジュール及び煽り運転モジュールからの出力)に、迅速に提示させることが出来、そして警告通知は、運転者が注意散漫でありかつ運転者が煽り運転をしていないときには、注意散漫が継続していることが検出された場合のみ、提示させることが出来る。他の例では、通知は、注意散漫イベントと、他の関係する交通状況(例:赤色又は黄色の信号機への接近、一時停止標識への接近、歩行者又は車両への接近、等)との組み合わせが検出されるときに、運転者に提示させることが出来る。しかしながら、分析モジュールは、他の態様で使用することも出来る。
【0019】
しかしながら、本方法100の変形は、これに加えて又はこれに代えて、任意の適切な利益及び/又は利点を付与することも出来る。
【0020】
3.方法
本方法100は、センサ測定値をサンプリングすることを含むブロックS110を含む。センサ測定値をサンプリングすることは、所与の時点又は時間間隔において運転者が注意散漫であることを示す信号をサンプリングするように機能する。センサ測定値は、運転セッション中にサンプリング(例:記録)されることが好ましいが、運転セッションの直前又は直後、運転セッションの実質的前後に、複数の運転セッションにわたって、又は任意の他の適切な時間に、実行させることも出来る。センサ測定値は、所定の頻度(例:2-5Hz、10Hz、100Hz、等)で記録させることが出来、記録イベントの発生(例:近接センサが近距離オブジェクトを検出したとき、車両の速度が閾値速度を超えたとき、等)に応答して記録させる、又は任意の適切なトリガ又はイベントに応答して及び/又はそれに基づいて、任意の他の適切な時点で記録させることが出来る。センサ測定値は、車載システムによって記録させることが好ましいが、代わりに他の適切なセンサの組によって記録させることも出来る。
【0021】
第1の変形態様では、センサ測定値は、車内の画像又はビデオ(例:画像の組)を含むことが出来る。これらは、運転者席側の頭部領域に向けられた内方向に向いているカメラによってサンプリングさせる、又は他の方法(図2に示される例)で、運転者の画像をサンプリングさせることが出来る。例えば、ブロックS110は、車両の車載システムで、運転者の画像を備えるセンサ測定値を、サンプリングすることを含む(例:S110a、S110 ’)ことが出来る。カメラの視野は、運転者の頭部の全部又は一部を含むことが好ましく、そしてオプションとして、同乗者席側の領域(例:同乗者の体又は頭)の全部又は一部、後部座席の全部又は一部、後部窓の全て又は一部、運転席側窓、同乗者席側窓、又は車室内の他の適切な部分を含むことも出来る。画像は、運転者の頭部の位置、頭部の動き、目の位置(例:注視方向)、目の動き、それらのパラメータ(例:持続時間、角度等)、又は他の適切な注意散漫係数の値を光学的に識別及び/又は追跡するために使用することが出来る。画像は、更に、車内に同乗者がいるか否か、同乗者がいる位置、車窓を通して見える車の周囲の環境、及び/又は画像から派生可能な他の適切な任意のコンテキスト等の運転コンテキストを決定するために使用することが出来る。画像は、更に、他の注意散漫係数の値を検証する又は確認するために使用することが出来る。例えば、運転者のユーザデバイス(例:電話)とのインタラクションは、ユーザデバイスが、並行して記録された画像内に存在するときに、検証させることが出来る。画像は、可視スペクトル画像、ハイパースペクトル画像、IR画像とする、又は任意の他の適切な波長でサンプリングさせることが出来る。画像は、周囲光、(例:LEDフラッシュ等からの)発光体によって放射された光を使用して、又は他の任意の適切な光源を使用して、記録させることが出来る。画像は、(例:ステレオカメラによって記録された)立体画像、単一の画像、又は任意の他の適切な画像とすることが出来る。
【0022】
第2の変形態様では、センサ測定値は、キャビンのオーディオ(例:車内騒音)を含むことが出来るが、これは、運転者の領域に近接して配置された、(例:関連付けられているユーザデバイスの一部である車載システムと統合された)オーディオセンサによって、サンプリングさせることが出来る。キャビンのオーディオは、運転者の頭部の位置、(例:運転者が落ち着いているか否か、車内に子供がいるか否か、等の)運転コンテキストを推論するために、又は他のアプリケーションに使用することが出来る。キャビンのオーディオは、運転者のオーディオを含むことが好ましく、そしてオプションとして、同乗者席側オーディオ、後部座席オーディオ、(例:車両によって生成される)車両オーディオ、路面騒音、ラジオのオーディオ、通知オーディオ、又は任意の他の適切なオーディオストリームを含むことが出来る。キャビンのオーディオは、(例:単一オーディオセンサによって記録される)単一ストリーム、(例:キャビンのオーディオがステレオで記録される、複数の並置された又は遠位のオーディオセンサによって記録される、等の)マルチストリーム、又は任意の適切な数のオーディオストリームとすることが出来る。
【0023】
第3の変形態様では、センサ測定値は、ユーザデバイスが決定する、又は他の態様(図2に示される例)で決定することが出来るユーザデバイスの動作パラメータを含む。ユーザデバイスの動作パラメータは、(例:アクティビティ・モニタ、CPU負荷、GPU負荷等から決定されるような)ユーザデバイスの処理負荷、処理負荷の変化、電力消費、タッチ入力動作、センサ測定値、又は任意の他の適切な動作パラメータの組を含むことが出来る。ユーザデバイス・センサの測定値は、ユーザデバイスの運動学、圧力、温度、周囲光の妨害、又は運転者のユーザデバイスとのインタラクションを示す他の適切なパラメータ測定値を含むことが出来る。ユーザデバイスの動作パラメータは、ユーザデバイス上で実行される1つ又は複数の(例:アプリケーション、複数のアプリケーション上のSDK、等の)クライアントによって又は他の態様で決定することが出来る。変形態様の一例では、処理負荷の増加は、ユーザとユーザデバイスとのインタラクションを示すことが出来る。変形態様の第2の例では、タッチ入力動作は、ユーザがデータをユーザデバイスに入力することを示すことが出来る。第3の変形態様では、ユーザデバイスの振動は、ユーザデバイスがユーザによってノックされていることを示すことが出来る。第4の例では、ユーザデバイスの移動は、ユーザがユーザデバイスを持ち上げ、又は拾い上げていることを示すことが出来る。第5の例では、サンプリングされたユーザデバイスにおける圧力又は温度の上昇は、ユーザデバイスが保持されていることを示すことが出来る。しかしながら、他の任意の適切なユーザデバイスパラメータも、ユーザとユーザデバイスとのインタラクションを監視することが出来る。
【0024】
第4の変形態様では、センサ測定値は、車両が決定することが出来る、又は他の態様(図2に示される例)で決定することが出来る車両のセンサデータを含む。車両のセンサデータは、車両データバスを介して車両から、又は無線通信により車両から、又は他の態様で車両から受取ることが出来る。車両のセンサデータは、(例:無線機が変更されているか否か、ユーザインターフェースが使用されているか否か、等の)制御パネル信号、(例:ステアリングホイールのタッチ数、高圧領域、高温領域、等の)ステアリングホイール信号、(例:運転者の体重分布又は経時変化、等の)座席センサ信号、又は任意の他の適切な測定値の組を含むことが出来る。しかしながら、他の任意の適切なセンサ測定値の組も、サンプリングすることが出来る。
【0025】
第5の変形態様では、センサ測定値は、車両外部の画像又はビデオ(例:画像の組)を含むことが出来、これらは、車両の前方に向けられた外方向に向いているカメラによって(例:フロントガラスを介して)サンプリングさせる、又は他の方法(例:図2に示されるような例)でサンプリングさせることが出来る。カメラの視野は、好ましくは、(例:車両の前方にある前景、車両が移動している車線、隣接する車線、等の)車両の前方を向く道路の全部又は一部を含み、そしてオプションで、車両の側面(例:運転席側、同乗者席側)領域、車両の後方領域、(例:サンルーフ及び/又はムーンルーフを通る)車両の上方領域、又は車両外部の環境の他の適切な部分を含むことが出来る。画像は、(例:車両の位置を特定する)環境内の車両の位置、車線内の位置、(例:車両、歩行者、等の)他のオブジェクトに対する位置を光学的に識別及び/又は追跡するため、又は他の適切なパラメータ値を決定するために使用することが出来る。画像は、更に、センサが設置されている車両の前方又は横に第2の車両があるか否かのような運転コンテキストを決定するために使用することも出来る。画像は、更に、他の注意散漫係数値を決定、検証、及び/又は確認するためにも使用することが出来る。例えば、運転者の注意力は、道路の車線内での横方向のドリフトの量及び/又は頻度に基づいて測定することが出来る。車線内でのドリフトは、車両経路の抽出(例:1つ又は複数の画像からの車両軌跡の抽出)と、道路の画像から抽出された車線マーカとの比較に基づいて決定することが出来る。画像は、可視スペクトル画像、ハイパースペクトル画像、IR画像とする、又は任意の他の適切な波長でサンプリングさせることが出来る。画像は、周囲光、(例:LEDフラッシュ等からの)発光体によって放射された光を使用して、又は他の任意の適切な光源を使用して、記録することが出来る。画像は、(例:ステレオカメラによって記録された)立体画像、単一の画像、又は任意の他の適切な画像とすることが出来る。
【0026】
第6の変形態様では、センサ測定値は、運動学信号を含む。運動学信号は、好ましくは、車両の運動学変数(例:加速度、速度、位置、ジャーク、等)を示すが、これに加えて又はこれに代えて、車両及び/又は車両乗員(例:運転者、同乗者、等)に関連付けられている任意の適切な運動変数を示すことも出来る。運動学信号は、車載システムの運動学測定機構(例:慣性測定ユニット)によって収集されることが好ましいが、これに加えて又はこれに代えて、任意の他の適切な構成要素によって収集させることも出来る。第1の例では、センサ測定値は、車載システムの慣性測定ユニットの加速度計出力を含む。しかしながら、センサ測定値は、他の任意の適切な運動学信号、車両情報(例:ステアリングホイール位置、ペダル位置)、指標、又は他の情報を含むことも出来る。
【0027】
本方法100は、センサ測定値に基づいて注意散漫係数値を決定することを含むブロックS120を含む。注意散漫係数の値を決定することは、運転者の注意力、注意散漫のレベル、又は運転者の注意力の他の適切な指標を、自動車の運転に関連付けられているタスクの組に、特徴付けるように機能する。値を決定することが出来る注意散漫係数は、運転者の注視方向、運転者の目の動き、運転者の頭部の方向、運転者の体の位置、車内騒音、ユーザとデバイスのインタラクション(例:電話による通話、車両の制御パネルとのインタラクション)、又は危急の、即時の、又は以前の運転者の注意散漫を示す他の任意の係数を含むことが出来る。1つ又は複数の注意散漫係数値は、並行して又は非同期に決定し、そして注意散漫イベントの検出に使用することが出来る。
【0028】
注意散漫係数値は、好ましくは、センサ測定値に基づいて決定されるが、これに加えて又はこれに代えて、(例:前処理システム又はデータベースから)受取り、検索し、又は他の態様で決定することも出来る。注意散漫係数値は、単一のセンサ測定タイプから決定させる、複数のセンサ測定タイプから(例:センサ合成を使用して)決定させる、又は別の方法で決定させることが出来る。これに加えて又はこれに代えて、決定された係数値は、第二のセンサ測定タイプを使用して検証させることも出来る。
【0029】
注意散漫係数の値は、運転者の注意散漫のモデル内で暗黙的に決定させることが好ましいが、これに加えて又はこれに代えて、明示的に決定させる及び/又は他の態様で計算させることも出来る。第1の例では、ブロックS120は、少なくとも部分的に「エンドツーエンド」方法で訓練された学習モジュールとして実装される。ここで、入力が、モジュールに提供され、そして出力には、肯定的(例:注意散漫である)又は否定的(例:注意散漫でない)の何れかがラベル付されるが、学習モジュールによって実装されるモデルの特徴(例:注意散漫係数の値)は、予め指定されてはいない。しかしながら、ブロックS120は、非学習モジュールとして、及び/又は他の任意の適切な方法で訓練された学習モジュールとして適切に実装させることも出来る。
【0030】
決定された各注意散漫係数の値は、基本センサ測定値の記録時点、(例:システム位置特定システム、車両位置特定システム等を使用して決定される)記録時点に関連付けられている車両位置、(例:運転者の生体認証、運転者のユーザデバイス、等から決定される)運転セッション及び/又は記録時点に関連付けられている運転者、又は任意の他の適切な並行するパラメータに、関連付けることが出来る。しかしながら、注意散漫係数の値は、他の適切な時点、位置、運転者、又は情報に関連付けることも出来る。
【0031】
注意散漫係数値は、方程式、回帰、分類、ニューラル・ネットワーク(例:畳み込みニューラル・ネットワーク、ディープニューラル・ネットワーク)、ヒューリスティック、(例:ライブラリ、グラフ、チャートからの)選択、インスタンス・ベース手法(例:最近傍)、正則化手法(例:リッジ回帰)、決定木、ベイジアン(Baysean)手法、カーネル手法、確率、決定論、上記の組合せ又は他の適切な方法を使用して、(例:図2にその一例が示されている伸延検出モジュールにより)決定させることが出来る。注意散漫係数の値は、二値状態(例:注意散漫である及び注意散漫でない)、スコア(例:注意散漫スコア、等)、重症度(例:注意散漫状態又は物質的損失をもたらすイベントの可能性、注意散漫状等に関連付けられている危険係数、等)、又は運転者の注意散漫レベルの他の適切な尺度とすることが出来る。
【0032】
特定の例では、ブロックS120は、車載システムの顔検出モジュールでセンサ測定値(例:画像)を受取る(例:S120a、S120’)ことを含むことが出来る。この例は、画像内に顔が存在することを示す出力を、顔検出モジュールで生成することを含むことが出来る。この出力は、運転者注意散漫モジュールが、注意散漫イベント及び/又は注意散漫状態を誤ってラベル付けしたか否かを決定する、運転者注意散漫モジュールの出力のチェック(例:複数のチェックの内の1つ)として使用することが出来る。しかしながら、画像内の顔の存在を示す第1の出力は、(例:運転者を識別する)他の態様でも適切に使用することが出来る。
【0033】
別の特定の例では、ブロックS120は、車載システムの運転者注意散漫モジュールでセンサ測定値(例:画像、画像のシーケンス、等)を受取ることを含むことが出来る。この例は、注意散漫状態(例:S120b、S120’’)を示す出力を、運転者注意散漫モジュールで生成することを含むことが出来る。運転者注意散漫モジュールの出力は、好ましくは、顔検出モジュールの出力と平行して(例:リアルタイムで、ほぼリアルタイムで、同時点に、同時間に、マイクロ秒間隔内に、第2の間隔内に、等で)生成されるが、これに加えて又はこれに代えて、(例:顔検出モジュールの出力の前又は後に)順次生成させる、及び/又は他の適切なモジュールの適切な生成出力に対して適切な時間的関係を持たせて、生成させることも出来る。さらなる代替形態では、運転者注意散漫モジュールは、(いくつかの変形態様では省略することが出来る)顔検出モジュールとは独立して動作させることも出来る。
【0034】
第1の変形態様では、注意散漫係数値を決定することは、注視方向、注視持続時間、(例:参照点に対する)注視角度、注視方向の変化率、又は他の適切な注視パラメータ、等の運転者の注視パラメータを決定することを含むことが出来る。これは、サンプリングされた画像又はビデオフレーム内において、運転者の角膜反射率、瞳孔、網膜パターン、又は他の目のパラメータ(例:運転者の領域に関連付けられている画像セグメント)を識別することと、注視推定、頭部姿勢の決定、又は他の適切な技術を用いて、運転者の注視方向を決定することとを含むことが出来る。注視方向は、オプションで、所定の方向の組(例:前方、右側、左側、後方、等)の内の1つに分類する、又は別の態様で特徴付けることも出来る。これに加えて又はこれに代えて、注視の数、頻度、持続時間、又は他のパラメータは、頭部の姿勢、継続時間のそれぞれに対して決定する、又は他の任意の組の画像から決定することも出来る。
【0035】
第2の変形態様では、注意散漫係数値を決定することは、運転者の頭部の動きを決定することを含むことが出来る。これは、画像内の運転者の頭部を認識するためにオブジェクトの認識を使用すること、画像のシーケンスにより頭部(例:認識されたオブジェクト)の動きを追跡する(例:オブジェクト追跡を使用する)こと、頭部の動きのパラメータ(例:回転方向、動作の持続時間、等)を決定することを、含むことが出来る。この変形態様は、オプションとして、頭部運動パラメータに基づいて、現在の又は予測される頭部姿勢を決定することを含むことが出来る。
【0036】
第3の変形態様では、注意散漫係数の値を決定することは、運転者の頭部の姿勢を決定することを含むことが出来る。これは、画像内において運転者の頭部を認識すること、運転者が前方を見ていた間の運転者の頭部の参照画像を検索すること、及び新しい画像内の運転者の頭部と参照画像内の運転者の頭部との差に基づいて運転者の頭部姿勢を決定することを、含むことが出来る。一実施形態では、これは、オブジェクト認識を使用して画像内の運転者の頭部を認識すること、頭部姿勢決定方法(例:反復最短曲線マッチング)を使用して頭部の姿勢を決定すること、及び決定された頭部の姿勢を参照画像内の頭部の姿勢と比較することを、含むことが出来る。第2の実施形態では、これは、オブジェクト認識を使用して現在の画像内の運転者の頭部を認識すること、運転者の頭部の1つ以上の参照点(例:目、鼻、ほくろ、そばかす、等)を識別すること、参照画像上の参照点に対応する基準を識別すること、そして参照画像内の参照点の位置と参照画像との位置との差に基づいて運転者の現在の頭部姿勢を決定することを、含むことが出来る。参照画像(又は参照頭部姿勢)は、(例:運転者が、画像記録中に前方を注視するように指示される)車両内の運転者の事前記録画像、運転者の頭部の領域内に重ね合わされた運転者の事前記録画像(例:運転免許証の標準画像)、一つ以上の運転セッションにわたって記録された複数の画像から合成された画像(例:平均的な頭部の姿勢)、又は任意の他の適切な参照画像、とすることが出来る。この変形は、オプションで、車両内のオブジェクト(例:子供、同乗者、等)を認識すること、車両内のオブジェクトの位置を決定すること、及び運転者とオブジェクトとのインタラクションを評価すること、を含むことが出来る。例えば、運転者の頭部の回転は、同乗者が乗車していないときには注意散漫スコアが低い死角チェックとして分類し、そして子供がカメラフレーム内に現れたときには注意散漫スコアが高い子供インタラクションとして分類することが出来る。しかしながら、頭部の姿勢は、他の態様で決定することも出来る。
【0037】
第4の変形態様では、注意散漫係数の値を決定することは、キャビンの音響に基づいて運転者の頭部の姿勢を決定することを含むことが出来る。一実施形態では、頭部の姿勢は、一組のステレオマイクロホンによって記録された単一の音響フレームから決定することが出来る。この実施形態では、本方法100は、(例:パターンマッチング、騒音低減、等を使用して)第1及び第2の各マイクロフォンからの第1及び第2の信号から、運転者の声に関連する音響信号を抽出し、第1の信号と第2の信号の間の運転者の声の大きさ又は振幅を比較し、そして運転者の頭部の向きを、大きな声を測定するマイクに向かうように決定することを含むことが出来る。第2の実施形態では、頭部の動きは、1組のステレオマイクロホンによって記録された音響フレームの組から決定することが出来る。一例では、第2のマイクロフォンによってサンプリングされた音響強度が増加したのに対して、第1のマイクロフォンによってサンプリングされた音響強度が減少したことは、(例:パターンマッチング、等を使用して)頭部が第2のマイクロフォンの方に回転したと解釈することが出来る。
【0038】
これに加えて又はこれに代えて、キャビンの音響は、運転コンテキストの決定に使用することが出来る。一例では、キャビンの音響は、(例:第2の音声の検出に基づいて)同乗者が車内にいるか否かを決定する、同乗者を(例:子供、大人、潜在的な注意散漫、等に)分類するのに使用する、同乗者の位置を特定するために使用する、又は他の態様に使用する、ことが出来る。
【0039】
第5の変形態様では、注意散漫係数の値を決定することは、ユーザデバイスとユーザのインタラクションの程度(例:頻度、持続時間、強度、等)を決定することを含むことが出来る。一例では、本方法100は、ユーザデバイスでユーザ入力(例:タッチ入力、触覚入力、等)を受取ることと、ユーザがユーザデバイスとインタラクションを行ったことを決定することとを、含むことが出来る。第2の例では、本方法100は、ユーザ入力のパラメータ(例:入力頻度、ターゲット入力又は騒音の多い入力タイプ、アプリケーションの切替え頻度、インタラクション型のアプリケーションのタイプ、等)を決定し、かつユーザ入力パラメータに基づいてユーザ・インタラクションの程度を決定することを含むことが出来る。特定の例では、ターゲットを絞ったユーザ入力(例:正確なキー入力)、高頻度のユーザ入力、及びメッセージング・アプリケーションは、高度なユーザ・インタラクションに関連付けることが出来る一方で、騒々しいユーザ入力、低頻度入力、及びマップ・アプリケーションは、程度の低いユーザ・インタラクションに関連付けることが出来る。第3の例では、本方法100は、サンプリングされた信号(例:画像)中の運転者の身体部分の全体又は一部(例:手、胴)を識別し、身体部分(例:サイズ、位置、姿勢、コンテキスト、行動、等)を特徴付け、そしてこの特徴付けに基づいて注意散漫係数の値を決定する、ことを含むことが出来る。例えば、高い注意散漫値は、(例:前方向ではなく)横に向いている胴体の向きに、ステアリングホイール上で検出される手が閾値割合に満たない状況に、又は任意の他の適切な身体部分の特徴付けに、関連付けることが出来る。
【0040】
ユーザのデバイスとのインタラクションの程度を決定することは、オプションとして、デバイスとインタラクションを行うユーザIDを決定することを含むことが出来る。一変形態様では、ユーザIDは、ユーザデバイスによって測定されたユーザのバイオメトリクス(例:指紋)を使用して決定することが出来る。第2の変形態様では、ユーザ識別情報は、インタラクション・セッション中に、車両内のユーザデバイスの位置を使用して、決定することが出来る。一例では、車両内のユーザデバイスの位置は、ユーザデバイスと、位置が知られている1つ又は複数の二次エンドポイント(例:Aピラーに取り付けられたビーコン、運転者領域の近くに取り付けられたビーコン)との間に確立された1つ又は複数の短距離接続から決定することが出来る。特定の例では、ユーザデバイスの位置は、接続の強度に基づいて決定することが出来る。例えば、ユーザデバイスが、運転者側ビーコンには弱く接続されているが、同乗者席側ビーコンには強く接続されている場合、インタラクション・セッションは、(運転者のインタラクション・セッションに代えて)同乗者インタラクション・セッションに分類することが出来る。しかしながら、ユーザIDは他の態様で決定することも出来る。ユーザとデバイスとのインタラクションの程度を決定することは、オプションとして、ユーザが発生させたデバイスの動きから、車両によるデバイスの動きをフィルタリングすることを含むことが出来る。この動きは、(例:動きが、周囲温度の上昇に関連付けられているか否かについての)並行して測定された温度、(例:測定された瞬間的な車両運動学に対して、以前に車両の動きに関連付けられたパターンを使用する)パターンマッチング、又は分類を用いてフィルタリングする、又は他の態様で決定することが出来る。しかしながら、車両の動きは、他の態様でユーザデバイスの動きからフィルタリングすることも出来る。
【0041】
別の例では、注意散漫係数値は、外部オブジェクトとの運転者の注視の重なり量に基づいて、又は運転者の予測される注視と、車両に対する外部オブジェクトの予測位置との重なりに基づいて、決定することが出来る。特定の例では、本方法100は、(例:外部画像から)外部オブジェクトを識別すること、(例:車両の運動学、計画ルート、等に基づいて)識別された各オブジェクトに衝突リスクを割り当てること、(例:内部に向いているカメラによってサンプリングされた画像から)運転者の注視方向を決定すること、オプションとして、運転者の視野を決定し、そして閾値リスク値を超える衝突リスクを有する識別されたオブジェクトと視野が重なる運転者の注視又は視野の量に基づいて、注意散漫スコアを決定すること、を含むことが出来る。しかしながら、外部信号は、他の態様で使用することも出来る。
【0042】
更に別の例では、注意散漫係数の値は、運転者が注視するオブジェクトが変化する速度に基づいて、決定することが出来る。例えば、レートが閾値レベルを下回る場合(これは、運転者が、運転中に道路を適切にスキャンすることなく、固定点を注視している(例:そして物思いにふけっている)ことを示すことが出来る)、注意散漫スコアは、増加させることが出来る。
【0043】
しかしながら、注意散漫係数の値は、他の態様で決定することも出来る。
【0044】
本方法100は、オプションとして、注意散漫状態の重症度を特徴付けることを可能にするように機能する、注意散漫状態のコンテキストを決定することを含むことが出来る。変形態様では、コンテキストを決定することは、決定された注意散漫(例:決定された注意散漫スコア)の重症度を微調整するように機能することが出来る、スケーリング係数値を決定することを含む。これに加えて又はこれに代えて、スケーリング係数値は、注意散漫決定モジュールへの入力として使用する、又は他の態様で使用することも出来る。
【0045】
第1の変形態様では、スケーリング係数値は、車両動作パラメータ(図2に示される例)に基づいて決定することが出来る。車両動作パラメータは、車両運動学(例:速度、加速度)、車両位置、車両通知、車両駆動機器の位置(例:ブレーキ位置、アクセル位置、ステアリングホイール位置、ホイール位置、等)、又は任意の他の適切な操作パラメータを、含むことが出来る。車両動作パラメータは、車両、システム、ユーザデバイス、又は他の任意の適切なシステムによって決定することが出来る。一実施形態では、スケーリング係数値は、車両動作パラメータに基づいて決定されるように、衝突確率と共に変化することが出来る。しかしながら、スケーリング係数値は他の態様で決定することも出来る。一例では、注意散漫スコアは、車両の運動学の大きさの関数としてスケール変更させることが出来る(例:車両が速く動いているときは高く、車両が停止しているときは低い)。第2の例では、(例:注意散漫イベントが記録されているか否かを決定するため、通知を提示すべきか否かを決定するため、等に使用される)異なるスコア閾値は、車両運動学の大きさ(例:車両速度)に基づいて選択することが出来る。第3の例では、異なるスケーリング係数値(例:重量)は、注意散漫イベントに関連付けられている位置(例:地理的位置)に基づいて選択することが出来る。位置に割り当てられたスケーリング係数値は、運転者に固有のもの(例:運転者のプロファイルに基づいて決定されるもの)、運転者の人口統計学に固有のもの、ユニバーサルなもの、又は他の態様で共有されるものとすることが出来る。この位置に割り当てられたスケーリング係数値は、静的な、動的な(例:その位置に隣接する交通、この位置から上流の交通等と共に変化する)ものとする、又は他の態様で決定することが出来る。
【0046】
第2の変形態様では、スケーリング係数値は、運転環境(図2に示される例)を示す信号に基づいて決定することが出来る。これらの信号は、(例:車両周囲環境の)外部信号、(例:車両内部環境の)内部信号、又は任意の他の適切な信号の組、を含むことが出来る。
【0047】
外部信号は、交通パラメータ(例:交通の混雑度、交通の流れレート、等)、道路タイプ(例:高速道路又は都市道路)、交通信号(例:道路標識、一時停止標識、一時停止信号、等)、(例:予想されるトラバーサル経路における)オブジェクト又は障害物、(例:天気予報に基づいて又は周囲環境に対してほぼリアルタイムで決定される)気象条件、隣接する運転者のプロファイル、隣接する運転者の注意散漫レベル、又は運転リスクに関連付けられている任意の他の適切な外部パラメータ、を含むことが出来る。交通パラメータは、(例:交通情報を入力する複数のユーザによって手動で生成させ、複数のシステムからそれぞれ外部カメラを用いて自動的に生成させる、等して)クラウドソース化させ、(例:外部方向に向いているカメラによってサンプリングされた画像を使用して)自動的に決定させ、車両の位置及びその位置に対する過去の交通パターン及び反復期間から決定させ、又は他の態様で決定させることが出来る。道路のタイプは、市の地図及び車両の位置に基づいて決定させ、車両の速度に基づいて決定させ(例:速度が60mphを超える場合、高速道路に分類される)、外部画像から抽出された特徴又はオブジェクトに基づいて決定させ、又は他の態様で決定させることが出来る。
【0048】
一例では、交通量が多いときに運転者が注意散漫になると、注意散漫スコアは、より高くスケール変更させることが出来る(例:スケーリング係数をより大きくすることが出来る)。第2の例では、外部画像(例:外部方向に向いているカメラによってサンプリングされた画像)内に一時停止標識又は赤信号が現れるときには、注意散漫スコアは、より低くスケール変更させ、そして外部画像に交通標識が現れていない又は緑信号が現れるときには、注意散漫スコアは、より高くスケール変更させることが出来る。第3の例では、一時停止標識又は赤信号が外部環境の画像に現れ、かつ交通信号に対して所定の位置(例:0フィート、5フィート、等)で、車両速度が閾値(例:0mph、5mph)を超える場合(これは、車両がより高い注意を必要とするシナリオに入っていることを示す)、注意散漫スコアは、より高くスケール変更させる(例:ウェイトを増やす)ことが出来る。しかしながら、注意散漫スコアは、これに加えて又はこれに代えて、任意の適切な決定に基づいてより高く又はより低くスケール変更させることが出来る。
【0049】
内部信号は、同乗者の存在、同乗者の種類、同乗者の活動(例:これらは、全て、センサ測定値から又は他の態様で決定することが出来る)、車両の運動学(例:急発進又は急停止)、再発時点(例:時刻、月、年)、運転者の予定表、同乗者の予定表、又は運転リスクに関連付けられているその他の適切な内部パラメータ、を含むことが出来る。内部信号は、車両センサ、システム・センサ、ユーザデバイス・センサ、ユーザアカウントに関連付けられた二次ユーザアカウント(例:OAuthを通じてユーザアカウントに関連付けられたカレンダ)から受取る、又は他の態様で決定することが出来る。
【0050】
段落0056
第3の変形態様では、スケーリング係数値は、車両パラメータに基づいて決定することが出来る(図2に示される例)。車両パラメータは、車両の自立走行タイプ(例:自立走行、半自立走行、手動、等)、車両クラス(例:セダン、トラック、等)、車両最低地上高、車両制動力、車両馬力、車両トルク、又は他の適切な車両パラメータ、を含むことが出来る。車両パラメータは、ユーザから受取られ(例:ユーザによって入力され)、データベースから自動的に決定され、車両電子制御ユニットから自動的に決定され、センサ測定値から(例:車両の内装を、内部画像からの車両内装に一致させることにより、外部画像内に見られる道路の割合から)自動的に決定され、又はその他の態様で決定される。一例では、注意散漫スコアは、車両が完全自立走行車両である場合には大幅に割り引かれ、そして車両がレベル0又はレベル1のSAE自動車両クラスである場合にはスケールアップさせることが出来る。第2の例では、通知提示、注意散漫スコア格納、又は他のアプリケーションに使用される注意散漫閾値は、車両パラメータ値に基づいて選択することが出来る。例えば、第1の閾値を、レベル0又はレベル1の車両に対して選択し、第1の閾値より高い第2の閾値を、半自立走行車両に対して選択し、そして第2の閾値より高い第3の閾値を、自立走行車両に対して選択することが出来る。第2の閾値は、第3の閾値よりも第1の閾値に近い値にさせることが出来るが、閾値は、他の態様で分散させることも出来る。しかしながら、係数値及び/又はスケーリング係数値は他の態様で決定することも出来る。
【0051】
本方法100は、係数値に基づいて、車両の運転者が、注意散漫状態にあると特徴付けられていると決定する(例:運転者の注意散漫を決定する)ことを含むステップS130を含む。注意散漫係数の値に基づいて運転者の注意散漫を決定することは、所与の時間間隔に対する運転者の注意散漫の尺度を決定するように機能する。運転者の注意散漫は、方程式、回帰、分類、ニューラル・ネットワーク(例:畳み込み型ニューラル・ネットワーク、ディープニューラル・ネットワーク)、ヒューリスティック、(例:ライブラリ、グラフ、又はチャートからの)選択、インスタンス・ベースの方法(例、最近傍法)、相関法、正則化法(例、リッジ回帰)、決定木、ベイジアン(Baysean)法、カーネル法、確率、決定論、上記の組み合わせ、又は他の適切な方法を用いて、(例:図2に示される例の運転者注意散漫モジュールによって)決定することが出来る。運転者の注意散漫は、二値分類又は二値スコア(例:注意散漫であるか否か)、スコア(例:連続又は不連続、一様な注意散漫スケールと整合する又は整合しない、等)、分類(例:高、中、低)、又は注意散漫の他の適切な尺度、とすることが出来る。運転者の注意散漫は、利用可能なコンピューティング・リソースに基づいて選択された頻度で、又は任意の他の適切な時点で決定された頻度で、決定イベントの発生に応答して(例:車両経路内の障害物の識別に応答して、既定の角度領域の外部に向いている運転者の注視に応答して、等)、所定の頻度で(例:5秒ごとに、連続的に、等)、決定することが出来る。
【0052】
運転者の注意散漫は、時点又は時間間隔、運転者、位置、運転コンテキスト、(例:図4に例として示される)ルート、又は任意の他の適切なパラメータ値に関連付けることが出来る。運転者の注意散漫に関連付けられているパラメータ値は、運転者の注意散漫を決定するために使用される運転者注意散漫係数値に関連付けられているパラメータ値から、抽出されることが好ましいが、他の適切なパラメータ値とすることも出来る。例えば、決定された運転者の注意散漫に関連付けられている時点は、運転者の注意散漫決定時点ではなく、基本データのサンプリング時点であることが好ましい。しかしながら、決定された運転者の注意散漫に関連付けられている時点は、運転者の注意散漫決定時点とする、又は他の適切な時点とすることも出来る。
【0053】
運転者の注意散漫は、注意散漫係数の値に基づいて決定されることが好ましいが、他の適切な情報に基づいて決定させることも出来る。運転者の注意散漫を決定するために使用される注意散漫係数値は、所定の時間間隔内(例:参照時点の2秒以内)にサンプリングすることが好ましい。ここで、参照時点は、画像のサンプリング時点、位置のサンプリング時点、ランダムに選択された時点、又は任意の他の適切な時点とすることが出来るが、これに代えて他の態様で関係付けることも出来る。画像フレームの閾値数が、注意散漫を示す注意散漫係数値を生成した後には、運転者が注意散漫である(例:注意散漫状態にあると特徴付けられている)と見なされることが好ましい。しかしながら、これに代えて、値が所定の条件を満たす(例:閾値を超える)場合又は他の態様で決定される場合に、単一のフレームからの値が注意散漫を示した後に、注意散漫であると見なすことも出来る。画像フレームの閾値数は、予め、(例:外部障害物の近接性、顔の検出、車両の運動学のような他のモジュールの出力値に基づいて)動的に、又は他の態様で、決定することが出来る。例えば、フレームの閾値数は、先行車両との間隔の減少及び/又は車両速度の増加と共に減少させることが出来る。画像フレームの時系列は、連続的(contiguous)又は非連続的(noncontiguous)とすることが出来る。ここで、注意散漫フレームの数又は頻度は、コンテキスト(例:他のモジュールの出力値)に基づいて動的に調整することが出来(例:注意散漫状態に関連付けられているフレームは、注意散漫でない状態に関連付けられているフレームによって分離することが出来る)、又はその他の態様で決定することが出来る。
【0054】
第1の例では、運転者が前方を注視しているとき(例:内部画像から決定される)、運転者注意散漫モジュールは、第1の運転者注意散漫スコアを決定し、そして運転者が下向き又は横向きを注視しているときには、第1のスコアより高い第2の運転者注意散漫スコアを決定する。運転者が側方に注視していてかつ騒がしい子供が後部座席にいるとき、又は運転者が、(例:車両近接センサ、外部画像、等から決定される)車両経路内で検出された障害物と重ならない視野の外を注視している又はそのような視野を有しているとき、運転者注意散漫モジュールは、更に、第2スコアより高い第3運転者注意散漫スコアを決定することが出来る。しかしながら、運転者注意散漫モジュールは、他の任意の適切な入力の組が与えられた場合にも、他の任意の適切な運転者注意散漫スコアを決定することが出来る。
【0055】
第2の例では、運転者注意散漫モジュールは、(例:同時間に発生する、非同期に発生する、等の)顔検出モジュール出力に対して結果をチェックすることに基づいて、車両の運転者が注意散漫状態にあると特徴付けられていると決定することが出来る。この例では、ブロックS130は、運転者注意散漫モジュールの出力と顔検出モジュールの出力との組み合わせに基づいて、車両の運転者が注意散漫状態にあると特徴付けられていると決定すること(S130a、S130’)を含むことが出来る。この例では、運転者注意散漫モジュールは、入力データ(例:画像データ)が運転者の注意散漫を示しているか否かを決定し、そして顔検出モジュールは、入力データが顔を含んでいるか否かを決定する。この例で、顔は検出されないが、運転者注意散漫モジュールが、運転者が注意散漫であると決定した場合、運転者注意散漫モジュールの出力は、偽陽性であると推定される。
【0056】
本方法100のブロックS130は、注意散漫スコアとは別個のものとすることが出来る運転者スコアを、決定することを含むことが出来る(例:S130c)。運転者スコアは、好ましくは、以前の運転セッション及び現在の運転セッション中に決定されかつ記録された、注意散漫スコアの履歴に基づく累積スコアである。個々の運転者は、この運転者に関連付けられている単一の運転者スコアを有することが好ましいが、これに加えて又はこれに代えて、複数の運転者スコアに関連付けることも出来る。運転者スコアは、上述したように、本方法100の様々なブロックにおいて、他のスコア(例:注意散漫スコア)と同様に利用することが出来るが、他の態様で適切に利用することも出来る。運転者スコアは、少なくとも部分的に、スコア付与モジュールによって(例:S130cにおけるように、運転者に関連付けられた注意散漫スコアの時間履歴等を含むデータベースと併せて)決定させることが好ましい。
【0057】
ブロックS130は、変形態様では、遠隔コンピューティング・システムで、部分的又は全体的に実装させることが出来る。第1の例では、ブロックS130は、遠隔コンピューティング・システムにセンサ測定値を提供することによって、遠隔コンピューティング・システムに実装された第2の運転者注意散漫モジュールで、第1の注意散漫決定の結果をチェックすることを含むことが出来る。この例では、ブロックS130は、遠隔コンピューティング・システムの運転者注意散漫モジュールで、センサ測定値に基づいて、運転者が注意散漫状態にあると特徴付けられていることを示す出力を生成することを含む(S130b)。この例及び他の例では、車載運転者注意散漫モジュールは、遠隔運転者注意散漫モジュールよりも計算は高速ではあるが精度が低くなるように構成することが出来る(例:車載システムは、遠隔システムより少ないニューロンを有するニューラル・ネットワークとして実装することが出来る)。遠隔運転者注意散漫モジュールは、車載運転者注意散漫モジュールによって生成された偽陽性を修正するために使用することが出来る。
【0058】
ブロックS130は、注意散漫状態のコンテキストを決定すること(例:S130’’)を含むことが出来る。このコンテキストは、上述のようにセンサ測定値に基づいて決定することも出来るが、他の態様で適切に決定することも出来る。ブロックS130は、更に、注意散漫状態のコンテキストに基づいて(例:上述のように)スコアを決定する(例:S130’’’)ことを含むことが出来る。例えば、注意散漫状態のコンテキストを決定することは、交通量レベルがまばらであると決定することを含み、そして交通量がまばらであることは、スコアに重み付けをするために使用する(例:車両又は人的な損失の危険性が低いために、注意散漫レベルの厳しさを軽減する)ことが出来る。しかしながら、コンテキストは、これに加えて又はこれに代えて、他の態様で適切に決定することも出来る。
【0059】
運転者の注意散漫を決定することは、オプションとして、運転者の注意散漫決定に使用する注意散漫モデルを選択することを含むことが出来る。これは、複数の注意散漫モデルが、運転者の注意散漫決定に利用可能であるときに有用とすることが出来る。一変形態様では、注意散漫モデルは、注意散漫係数値に基づいて選択することが出来る。一例では、注意散漫モデルは、運転者の注視方向又は現在の車両位置のような注意散漫係数の限定されたサブセットに対する注意散漫係数値に基づいて、選択することが出来る。特定の例では、運転者の注視が前方を向いているときには、第1の注意散漫モデル(例:相関モデル)を選択することが出来、そして運転者の注視が後ろ向き又は横向きであるときには、第2の注意散漫モデル(例:畳み込みニューラル・ネットワーク又は他のより複雑なモデル)を選択することが出来る。後者の例では、頭部が回転したと言う根本的な原因に関連して増大した複雑さを処理するために、より複雑なモデルを選択することが出来る。しかしながら、他の任意の適切なモデルを選択することも出来る。第2の具体例では、車内に子供がいるときには、第1の注意散漫モデル(例:相関モデル)を、選択することができ、そして車内に子供がいないときには、第2の注意散漫モデル(例:畳み込みニューラル・ネットワーク又は他のより複雑なモデル)を、選択することが出来る。
【0060】
第2の例では、注意散漫モデルは、それらのそれぞれの閾値を超える並行する多数の注意散漫係数に基づいて、選択することが出来る。特定の例では、注意散漫係数がそれらの閾値を超えない(例:運転者の注視が前方に向けられ、車両内には注意散漫がなく、車両経路には障害物がない、等の)場合、第1の注意散漫モデル(例:方程式)を、選択することが出来、注意散漫要因のサブセットがそれらの閾値を超える(例:運転者の注視が前方に向けられ、車両内に注意散漫はないが、車両経路には障害物がある)場合、第2のモデルを、選択することが出来、そして異なる数の注意散漫要因がそれらの閾値を超える(例:運転者の注視が後方を向いている、車両内に注意散漫があり、車両経路に障害物がある)場合、第3のモデルを、選択することが出来る。しかしながら、注意散漫モデルは、他の態様で選択することも出来る。
【0061】
本方法100は、オプションとして、注意散漫モデルを更新することを含むことが出来る。注意散漫モデルは、自動的に、手動で、又は他の態様で、更新させることが出来る。注意散漫モデルは、更新イベントの発生に応答して(例:決定された注意散漫スコアが、実際の注意散漫スコアと閾値の差より大きく相違することに応答して)、定期的に(例:所定の頻度で)、又は他の適切な時点で、更新させることが出来る。注意散漫モデルを更新することは、ラベル付き訓練データを使用してモデルを再訓練すること、又は注意散漫モデルを更新することを含むことが出来る。訓練データは、自動的に生成する、手動で生成する、又は他の態様で決定することが出来る。
【0062】
図3に示されるように、第1の変形態様では、本方法100は、第1の時間間隔中にサンプリングされたセンサ測定値に基づいて、注意散漫モジュールを使用して運転者の注意散漫スコアを決定すること、第1の時間間隔の後の第2の時間間隔中に(例:第1の時間間隔の所定の持続時間内に)サンプリングされた後続のセンサ測定値に基づいて、注意散漫関連イベント(例:衝突、衝突危機、 車両の急転回、緊急ブレーキ、等)を識別すること、注意散漫関連イベントに基づいて実際の注意散漫スコアを決定すること、第1の時間間隔中にサンプリングされたセンサ測定値に実際の注意散漫スコアをタグ付けすること、そして決定された運転者注意散漫スコアが実際の注意散漫スコアと実質的に一致するまで、注意散漫モジュールを較正又は再訓練することを含む。しかしながら、注意散漫モジュール又はモデルは、他の態様でも更新させることが出来る。
【0063】
本方法100は、オプションとして、センサ測定値を遠隔コンピューティング・システムS140に送ることを含むことが出来る。ブロックS140は、遠隔コンピュータシステムにセンサ測定値を提供するように機能する。このセンサ測定値は、車載システムで利用可能なものに追加する又はそれを代替するモジュールによって、集約及び/又は作用させることが出来る。ブロックS140は、センサ測定値の収集と非同期的に実行されることが好ましく、そして変形態様では、所定の特性(例:容量、アップリンク速度、帯域幅、接続品質、等)を有するネットワークデータリンクへの車載システムの接続に応答して、注意散漫スコアが閾値注意散漫スコア値を上回るとの決定に応答して、又は任意の他の適切なイベントに応答して、実行させることが出来る。一例では、ブロックS140は、車両の運転者が注意散漫状態にあると特徴付けられると決定したことに応答して、センサ測定値を遠隔コンピューティング・システムに送る(S140a)ことを含むことが出来る。しかしながら、ブロックS140は、これに加えて又はこれに代えて、リアルタイム又はほぼリアルタイムで、実質的にリアルタイムで、同時点に、同時間に、又はセンサ測定に関して他の適切な時間的特性を用いて、実行させることが出来る。
【0064】
本方法100は、オプションとして、運転者の注意散漫の決定S150に基づいて通知を生成することを含むことが出来る。ブロックS150は、運転者が注意散漫であると決定されたことをエンティティ(例:運転者、遠隔フリート管理者、同乗者)に通知するように機能する。通知は、テキスト形式、オーディオ形式、ビデオ形式(例:注意散漫状態が決定される時間間隔に渡るビデオクリップの記録)を含む任意の適切な形式を有する、又は任意の他の適切な形式を有することが出来る。ブロックS150は、好ましくは、運転者の注意散漫及び/又はスコア又は他の特徴付けの決定とほぼ同時に実行されるが、これに加えて又はこれに代えて、トリガイベント(例:適切な特性を有するネットワーク・リンクへの接続)に応答して、非同期的に、及び/又は任意の他の適切な時間的関係で、実行させることも出来る。
【0065】
一例では、ブロックS150は、ブロックS130で決定された注意散漫状態、注意散漫状態のコンテキスト及び注意散漫状態のスコアに基づいて、車両の車載システムの出力でかつ実質的にリアルタイムで、運転者に通知する(例:S150’)ことを含むことが出来る。別の例では、ブロックS150は、運転者スコアの更新に(例:リアルタイムで、非同期で、等で)応答して、所定の期間(例:1日、5分、等)内に注意散漫状態を連続的に決定した結果として、運転者の運転者スコアが、既に閾値を下回ったことを、遠隔コンピューティング・システム(例:ローカルPC端末、フリートマネージャに関連付けられ、遠隔コンピューティング・システムに通信可能に結合されたユーザデバイス等)のインターフェースで、フリートマネージャに通知することを含むことが出来る。しかしながら、ブロックS150は、これに加え又はこれに代えて、任意の適切な方法で通知を生成すること、及び任意の適切な方法で任意の適切なエンティティに通知を送る及び/又はレンダリングすることを含むことが出来る。
【0066】
一例が図5に示される方法の一変形態様では、本方法は、画像データ及び信号データ(例:時系列信号)を含むセンサ測定値をサンプリングすることを含むことが出来る。本方法は、オブジェクト検出及び分類モジュール、顔検出モジュール、注意散漫モジュール、及び運転者行動モジュールを含む複数のモジュールでサンプリングされたセンサ測定値を受取ることを含むことが出来る。この変形態様では、顔検出モジュールは、注意散漫モジュールによる運転者の注意散漫の決定と平行して、(例:マシン学習アルゴリズムにより、任意の適切な画像処理技術、ハフ(Hough)変換、等により)注意散漫モジュールへの入力として受取られたセンサ測定値に基づいて、顔が入力画像に存在するか否かを決定する。顔検出モジュールの出力(例:顔が画像中で検出されたか検出されなかったことを示す2値出力)は、注意散漫モジュールの偽陽性出力を排除する(例:顔が検出されない場合、注意散漫モジュールによって出力された、運転者の注意が散漫であるという指示は、否定することが出来る)ために使用することが出来る。オブジェクト検出及び分類モジュール、(例:顔検出モジュールの出力をチェックする)注意散漫モジュール、及び(例:参照によりその全体が本明細書に組み込まれている特許文献3に実質的に記載されている、運転者及び/又はオペレータの行動を決定する)注意散漫モジュール、及び運転者行動モジュールの出力は、規則ベースの比較器で受取ることが出来る。この比較器は、この変形態様では、運転者が、注意散漫状態にあると特徴づけられるか否かを決定するように機能し、そしてこれらのモジュールの出力に基づいて注意散漫の程度(例:重症度、注意散漫スコア等)を決定するように機能させることが出来る。この変形態様では、入力(例:センサ測定値、上流モジュールの出力等)から出力への変換は、連続的に、リアルタイムで又はほぼリアルタイムで、実行されることが好ましいが、これに加え又はこれに代えて、任意の適切な頻度で及び/又は任意の適切な時間的特性で(例:非同期的に、同期的に、トリガイベントに応答して、4Hzの頻度で、任意の適切な頻度で、等で)実行させることも出来る。
【0067】
第1の特定の例では、図6に示されるように、本方法100は、車両の車載システムでセンサ測定値をサンプリングするステップであって、センサ測定値が運転者の画像を備えるステップ(S110a);車載システムの顔検出モジュールで画像を受取り、そして画像内の顔の存在を示す第1の出力を生成するステップ(S120a);車載システムの運転者注意散漫モジュールで画像を受取り、そして第1の出力を生成する時間と同一時間内で、注意散漫状態を示す第2の出力を生成するステップ(S120b):第1の出力と第2の出力との組み合わせに基づいて、車両の運転者が注意散漫状態にあると特徴付けられていると決定するステップ(S130a);車両の運転者が注意散漫状態にあると特徴付けられていると決定したことに応答して、センサ測定値を遠隔コンピューティング・システムに送るステップ(S140a):遠隔コンピューティング・システムの第2の運転者注意散漫モジュールで、センサ測定値に基づいて、運転者が注意散漫状態にあると特徴付けられることを示す第3の出力を生成するステップ(S130b);第3の出力を生成することに応答しかつセンサ測定値及び注意散漫状態に基づいて、遠隔コンピューティング・システムのスコア付与モジュールで、運転者スコアを計算するステップ(S130c)、を備える。
【0068】
第2の特定の例では、図7に示されるように、本方法100は、車両の車載システムで、運転者の画像を備えるセンサ測定値をサンプリングするステップ(S110’);車載システムの顔検出モジュールで画像を受取り、そして画像内の顔の存在を示す第1の出力を生成するステップ(S120’);車載システムの運転者注意散漫モジュールで画像を受取り、そして第1の出力を生成する時間と同一時間内に、注意散漫状態を示す第2の出力を生成するステップ(S120’’);第1の出力と第2の出力との組み合わせに基づいて、車両の運転者が注意散漫状態にあると特徴付けられていると決定するステップ(S130’);注意散漫状態のコンテキストを決定するステップ(S130’’);注意散漫状態のコンテキストに基づいて注意散漫状態のスコアを決定するステップ(S130’’’);注意散漫状態、注意散漫状態のコンテキスト、及び注意散漫状態のスコアに基づいて、車両の車載システムの出力で、かつ実質的にリアルタイムで、運転者に通知するステップ(S150’)を備える。
【0069】
システム及び/又は方法の実施形態は、さまざまなシステム構成要素及びさまざまな方法プロセスのあらゆる組み合わせ及び置換を含むことができ、そしてこの方法プロセスは、任意の適切な順序で、順次又は並行して実行することが出来る。
【0070】
当業者であれば、前述の詳細な説明、図面及び特許請求の範囲から明らかであるように、特許請求の範囲で定義される本発明の範囲から逸脱することなく、本発明の好ましい実施形態に修正及び変更を加えることが出来る。
【0071】
(関連出願についてのクロス・リファレンス)
本出願は、2016年11月7日に出願された米国仮特許出願第62 / 418,655号の優先権を主張し、そしてこの米国出願は参照によって本明細書に完全に組み込まれている。
図1
図2
図3
図4
図5
図6
図7