IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ストーンリッジ エレクトロニクス アーベーの特許一覧

特表2024-503031商用車両フリート管理のためのモバイルデバイスの使用監視
<>
  • 特表-商用車両フリート管理のためのモバイルデバイスの使用監視 図1
  • 特表-商用車両フリート管理のためのモバイルデバイスの使用監視 図2
  • 特表-商用車両フリート管理のためのモバイルデバイスの使用監視 図3
  • 特表-商用車両フリート管理のためのモバイルデバイスの使用監視 図4
  • 特表-商用車両フリート管理のためのモバイルデバイスの使用監視 図5
  • 特表-商用車両フリート管理のためのモバイルデバイスの使用監視 図6
  • 特表-商用車両フリート管理のためのモバイルデバイスの使用監視 図7
  • 特表-商用車両フリート管理のためのモバイルデバイスの使用監視 図8
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-01-24
(54)【発明の名称】商用車両フリート管理のためのモバイルデバイスの使用監視
(51)【国際特許分類】
   G08G 1/00 20060101AFI20240117BHJP
   G08G 1/16 20060101ALI20240117BHJP
   G16Y 10/40 20200101ALI20240117BHJP
   G16Y 20/40 20200101ALI20240117BHJP
   G16Y 40/20 20200101ALI20240117BHJP
【FI】
G08G1/00 D
G08G1/16 F
G16Y10/40
G16Y20/40
G16Y40/20
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023541763
(86)(22)【出願日】2022-01-10
(85)【翻訳文提出日】2023-08-18
(86)【国際出願番号】 US2022011745
(87)【国際公開番号】W WO2022150673
(87)【国際公開日】2022-07-14
(31)【優先権主張番号】17/145,891
(32)【優先日】2021-01-11
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】519088568
【氏名又は名称】ストーンリッジ エレクトロニクス アーベー
(74)【代理人】
【識別番号】100083806
【弁理士】
【氏名又は名称】三好 秀和
(74)【代理人】
【識別番号】100111235
【弁理士】
【氏名又は名称】原 裕子
(74)【代理人】
【識別番号】100195257
【弁理士】
【氏名又は名称】大渕 一志
(72)【発明者】
【氏名】シューマッカー、 ダレン
(72)【発明者】
【氏名】アダムズ、 スチュアート
(72)【発明者】
【氏名】シューラ―、 ネイサン
(72)【発明者】
【氏名】マークス、 ドミニク
(72)【発明者】
【氏名】ジャーメイン、 ジョン
【テーマコード(参考)】
5H181
【Fターム(参考)】
5H181AA02
5H181AA15
5H181BB04
5H181BB05
5H181BB20
5H181CC03
5H181CC04
5H181CC12
5H181CC14
5H181FF10
5H181FF13
5H181FF27
5H181FF33
5H181LL06
5H181LL20
5H181MC19
(57)【要約】
運転者監視システムは、車両の運転室内の運転者の画像を記録するように構成される少なくとも2つのカメラを含む。第1のカメラは運転室の運転者側に配置され、第2のカメラは運転室の助手席側に配置される。少なくとも2つのカメラのうちの少なくとも1つがミラー置換ディスプレイ又はミラー置換ディスプレイ位置に配置される。コントローラが、少なくとも2つのカメラと通信可能であり、少なくとも2つのカメラからの画像に基づいて運転者の姿勢を決定するように構成される。画像の少なくとも1つは、第1のカメラ及び第2のカメラの少なくとも1つから発信される。
【特許請求の範囲】
【請求項1】
車両の運転室内の運転者の画像を記録するように構成される少なくとも2つのカメラであって、第1のカメラが前記運転室の運転者側に配置されており、第2のカメラが前記運転室の助手席側に配置されており、前記少なくとも2つのカメラのうちの少なくとも1つがミラー置換ディスプレイ又はミラー置換ディスプレイ位置に配置される、少なくとも2つのカメラと、
前記少なくとも2つのカメラと通信するコントローラであって、前記少なくとも2つのカメラからの画像に基づいて前記運転者の姿勢を決定するように構成されるコントローラと
を備え、前記画像の少なくとも1つは、前記第1のカメラ及び前記第2のカメラの少なくとも1つから発信される、運転者監視システム。
【請求項2】
前記少なくとも2つのカメラは、第3のカメラを含み、
前記第3のカメラは、前記運転室の後部に向いており、前記運転者が前方を見ているときの前記運転者の顔を含む視野を規定する、請求項1に記載の運転者監視システム。
【請求項3】
前記第1のカメラは、前記運転者側のミラー置換モニタに組み込まれており、前記運転者が運転者側の窓の方を見ているときの少なくとも前記運転者の顔、並びに少なくとも前記運転者の片方の腕、前記運転者の片方の手、及び前記運転者の片方の肩を含む視野を規定する、請求項1に記載の運転者監視システム。
【請求項4】
前記第2のカメラは、助手席側のミラー置換モニタに組み込まれており、前記運転者が前記助手席側の窓の方を見ているときの前記運転者の顔、並びに少なくともの他方の前記運転者の腕、前記運転者の手及び前記運転者の肩を含む視野を規定する、請求項3に記載の運転者監視システム。
【請求項5】
前記コントローラは、前記異常事象に対応する時間枠内に記録されたローリングビデオバッファから前記少なくとも1つの特定の画像を取得するように動作可能であり、
前記ローリングビデオバッファは、前記少なくとも2つのカメラから発信されるビデオフィードを含む、請求項1に記載の運転者監視システム。
【請求項6】
前記コントローラは、前記少なくとも2つのカメラの少なくとも2つの同時画像の分析に少なくとも部分的に基づいて前記運転者の視線を決定するようにさらに構成される、請求項1に記載の運転者監視システム。
【請求項7】
前記コントローラは、前記視線の検出によって注意深い/不注意な姿勢検出を補足するように構成される、請求項6に記載の運転者監視システム。
【請求項8】
前記コントローラは、姿勢検出器から決定された前記運転者の姿勢を分析するようにさらに構成され、それによって、前記姿勢が注意深い姿勢であるか、又は不注意な姿勢であるかを決定する、請求項1に記載の運転者監視システム。
【請求項9】
前記姿勢が注意深い姿勢であるか、又は不注意な姿勢であるかを決定するための分析は、機械学習アルゴリズムを使用する、請求項7に記載の運転者監視システム。
【請求項10】
前記少なくとも2つのカメラは、前記運転者の略前方に配置される第3のカメラを含む、請求項1に記載の運転者監視システム。
【請求項11】
複数のカメラを含む視線追跡システムであって、車両の運転室内の運転者の画像を記録し、記録された画像を使用して前記運転者の視線方向を決定するように構成される視線追跡システムと、
視線追跡カメラと通信するコントローラであって、事前定義された時間閾値を超える時間量の間、前記運転者の視線方向が事前定義された警告運転者領域から逸脱することに基づいて、潜在的な注意散漫運転事象を検出するように構成されるコントローラと
を備える、運転者監視システム。
【請求項12】
身体部分の位置に部分的に基づいて、前記運転者の姿勢を決定するように構成される姿勢追跡システムをさらに備え、前記身体部分の位置は、車両構成要素及び別の身体部分の位置の少なくとも1つに対するものである、請求項11に記載の運転者監視システム。
【請求項13】
前記身体部分は、前記運転者の手、腕、胴、及び顔の少なくとも1つを含む、請求項12に記載の運転者監視システム。
【請求項14】
前記複数のカメラは、少なくとも2つのカメラを含み、
前記少なくとも2つのカメラのうちの少なくとも1つは、ミラー置換モニタ内に配置される、請求項11に記載の運転者監視システム。
【請求項15】
前記コントローラは、少なくとも1つの画像を畳み込みニューラルネットワークに提供するように構成され、前記畳み込みニューラルネットワークは、前記少なくとも2つのカメラのうちの第1のカメラの位置からの画像を含む第1のデータセットと、前記少なくとも2つのカメラのうちの第2のカメラの位置からの画像を含む第2のデータセットとを用いて、不注意な運転姿勢を識別するように訓練されたものである、請求項14に記載の運転者監視システム。
【請求項16】
ニューラルネットワークは、記録された画像を分析し、前記記録された画像内で前記運転者によるモバイルデバイスの利用が発生したことを識別するように構成され、前記ニューラルネットワークは、前記運転者監視システムによって、前記記録された画像をフリートマネージャに送信すること、及び異常運転画像のローカルリポジトリに前記記録された画像を保存することの少なくとも1つを実行するように構成される、請求項14に記載の運転者監視システム。
【請求項17】
前記コントローラは、
前記視線追跡カメラ又は別のカメラから、ランダムな間隔で前記運転者を描写する追加の画像を取得すること、及び
前記追加の画像をフリートマネージャに送信するか、前記追加の画像を異常運転画像のローカルリポジトリに保存するか、又はその両方
を行うように構成される、請求項14に記載の運転者監視システム。
【請求項18】
第1のカメラ及び第2のカメラを含む少なくとも2つのカメラを含む運転者監視システムを使用して、車両の運転室内の運転者の画像を記録するステップであって、前記第1のカメラ及び前記第2のカメラのそれぞれがミラー置換モニタに組み込まれているステップと、
少なくとも1つの車両センサからの入力に基づいて前記車両の異常運転事象を検出するステップと、
異常事象中の前記運転者を描写する前記運転者監視システムからの少なくとも2つの特定の画像を取得するステップであって、前記少なくとも2つの特定の画像のそれぞれが前記少なくとも2つのカメラの個別のカメラからのものであるステップと、
フリートマネージャに前記特定の画像を送信すること、及び異常運転画像のローカルリポジトリに前記特定の画像を保存することの少なくとも1つを実行するステップと
を含む、運転者を監視する方法。
【請求項19】
少なくとも前記第1のカメラ及び前記第2のカメラのうちのどちらが前記運転者の顔を含むかに少なくとも部分的に基づいて、前記記録された画像における前記運転者の姿勢を決定するステップと、
前記記録された画像の特定の画像に描写された前記運転者の姿勢が、事前定義された時間閾値を超える時間量の間、不注意な姿勢と一致することに基づいて、潜在的な注意散漫運転事象を検出するステップと、
前記注意散漫運転事象の検出に応答して、フリートマネージャに前記特定の画像を送信すること、及び異常運転画像のローカルリポジトリに前記特定の画像を保存することの少なくとも1つを実行するステップと
をさらに含む、請求項18に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、運転者の監視、特に、異常運転事象中の運転者を描写する画像を記録することに関連する。
【0002】
(関連出願への相互参照)
本開示は、2020年4月10日に出願された米国特許出願第16/845,228号の一部継続出願であり、米国仮出願第62/833,252号への優先権を主張する2021年1月11日に出願された米国特許出願第17/145891号への優先権を主張する。米国仮出願第62/833,252号は、2019年4月12日に出願されており、その全体が参照により本明細書に組み込まれる。
【背景技術】
【0003】
商用車両の安全コストは劇的に上昇しており、注意散漫運転が事故の主な原因となっている。携帯電話の使用が、これらのタイプの注意散漫運転事故の主な原因と考えられている。
【発明の概要】
【0004】
1つの例示的な実施形態において、運転者監視システムは、車両の運転室内の運転者の画像を記録するように構成される少なくとも2つのカメラであって、第1のカメラが前記運転室の運転者側に配置されており、第2のカメラが前記運転室の助手席側に配置されており、前記少なくとも2つのカメラのうちの少なくとも1つがミラー置換ディスプレイ又はミラー置換ディスプレイ位置に配置される、少なくとも2つのカメラと、前記少なくとも2つのカメラと通信するコントローラであって、前記少なくとも2つのカメラからの画像に基づいて前記運転者の姿勢を決定するように構成されるコントローラとを備え、前記画像の少なくとも1つは、前記第1のカメラ及び前記第2のカメラの少なくとも1つから発信される。
【0005】
上記の運転者監視システムの別の例では、前記少なくとも2つのカメラは、第3のカメラを含み、前記第3のカメラは、前記運転室の後部に向いており、運転者が前方を見ているときの前記運転者の顔を含む視野を規定する。
【0006】
上記のいずれかの運転者監視システムの別の例では、前記第1のカメラは、前記運転者側のミラー置換モニタに組み込まれており、前記運転者が運転者側の窓の方を見ているときの少なくとも前記運転者の顔、並びに少なくとも前記運転者の片方の腕、前記運転者の片方の手、及び前記運転者の片方の肩を含む視野を規定する。
【0007】
上記のいずれかの運転者監視システムの別の例では、前記第2のカメラは、助手席側のミラー置換モニタに組み込まれており、前記運転者が前記助手席側の窓の方を見ているときの前記運転者の顔、並びに少なくともの他方の前記運転者の腕、前記運転者の手及び前記運転者の肩を含む視野を規定する。
【0008】
上記のいずれかの運転者監視システムの別の例では、前記コントローラは、前記異常事象に対応する時間枠内に記録されたローリングビデオバッファから前記少なくとも1つの特定の画像を取得するように動作可能であり、前記ローリングビデオバッファは、前記少なくとも2つのカメラから発信されるビデオフィードを含む。
【0009】
上記のいずれかの運転者監視システムの別の例では、前記コントローラは、前記少なくとも2つのカメラの少なくとも2つの同時画像の分析に少なくとも部分的に基づいて前記運転者の視線を決定するようにさらに構成される。
【0010】
上記のいずれかの運転者監視システムの別の例では、前記コントローラは、前記視線検出によって前記注意深い/不注意な姿勢検出を補足するように構成される。
【0011】
上記のいずれかの運転者監視システムの別の例では、前記コントローラは、前記姿勢検出器から決定された運転者の姿勢を分析するようにさらに構成され、それによって、前記姿勢が注意深い姿勢であるか、又は不注意な姿勢であるかを決定する。
【0012】
上記のいずれかの運転者監視システムの別の例では、前記姿勢が注意深い姿勢であるか、又は不注意な姿勢であるかを決定するための分析は、機械学習アルゴリズムを使用する。
【0013】
上記のいずれかの運転者監視システムの別の例では、前記少なくとも2つのカメラは、前記運転者の略前方に配置される第3のカメラを含む。
【0014】
1つの例示的な実施形態では、運転者監視システムは、複数のカメラを含む視線追跡システムであって、車両の運転室内の運転者の画像を記録し、記録された画像を使用して前記運転者の視線方向を決定するように構成される視線追跡システムと、前記視線追跡カメラと通信するコントローラであって、事前定義された時間閾値を超える時間量の間、前記運転者の視線方向が事前定義された警告運転者領域から逸脱することに基づいて、潜在的な注意散漫運転事象を検出するように構成されるコントローラとを含む。
【0015】
上記の運転者監視システムの別の例は、身体部分位置に部分的に基づいて、前記運転者の姿勢を決定するように構成される姿勢追跡システムをさらに備え、前記身体部分位置は、車両構成要素及び他の身体部分位置の少なくとも1つに対するものである。
【0016】
上記のいずれかの運転者監視システムの別の例では、前記身体部分は、前記運転者の手、腕、胴、及び顔の少なくとも1つを含む。
【0017】
上記のいずれかの運転者監視システムの別の例では、前記複数のカメラは、少なくとも2つのカメラを含み、前記少なくとも2つのカメラのうちの少なくとも1つは、ミラー置換モニタ内に配置される。
【0018】
上記のいずれかの運転者監視システムの別の例では、前記コントローラは、少なくとも1つの画像を畳み込みニューラルネットワークに提供するように構成され、前記畳み込みニューラルネットワークは、前記少なくとも2つのカメラのうちの第1のカメラの位置からの画像を含む第1のデータセットと、前記少なくとも2つのカメラのうちの第2のカメラの位置からの画像を含む第2のデータセットとを用いて、不注意な運転姿勢を識別するように訓練されている。
【0019】
上記のいずれかの運転者監視システムの別の例では、前記ニューラルネットワークは、記録された画像を分析し、前記記録された画像内で前記運転者によるモバイルデバイスの利用が発生したことを識別するように構成され、前記ニューラルネットワークは、前記運転者監視システムによって、前記記録された画像をフリートマネージャに送信すること、及び異常運転画像のローカルリポジトリに前記記録された画像を保存することの少なくとも1つを実行するように構成される。
【0020】
上記のいずれかの運転者監視システムの別の例では、前記コントローラは、前記視線追跡カメラ又は別のカメラから、ランダムな間隔で前記運転者を描写する追加の画像を取得すること、及び前記追加の画像をフリートマネージャに送信するか、前記追加の画像を異常運転画像の前記ローカルリポジトリに保存するか、又はその両方を行うように構成される。
【0021】
運転者を監視する例示的な方法は、第1のカメラ及び第2のカメラを含む少なくとも2つのカメラを含む運転者監視システムを使用して、車両の運転室内の運転者の画像を記録するステップであって、前記第1のカメラ及び前記第2のカメラのそれぞれがミラー置換モニタに組み込まれているステップと、少なくとも1つの車両センサからの入力に基づいて車両の異常運転事象を検出するステップと、前記異常事象中の前記運転者を描写する前記運転者監視システムからの少なくとも2つの特定の画像を取得するステップであって、前記少なくとも2つの特定の画像のそれぞれが前記少なくとも2つのカメラの個別のカメラからのものであるステップと、フリートマネージャに前記特定の画像を送信すること、及び異常運転画像のローカルリポジトリに前記特定の画像を保存することの少なくとも1つを実行するステップとを含む。
【0022】
運転者を監視する上記の例示的な方法の別の例は、少なくとも前記第1のカメラ及び前記第2のカメラのうちのどちらが前記運転者の顔を含むかに少なくとも部分的に基づいて、前記記録された画像における前記運転者の姿勢を決定するステップと、前記記録された画像の特定の画像に描写された前記運転者の姿勢が、事前定義された時間閾値を超える時間量の間、不注意な姿勢と一致することに基づいて、潜在的な注意散漫運転事象を検出するステップと、前記注意散漫運転事象の検出に応答して、フリートマネージャに前記特定の画像を送信すること、及び異常運転画像のローカルリポジトリに前記特定の画像を保存することの少なくとも1つを実行するステップとをさらに含む。
【図面の簡単な説明】
【0023】
図1】フリート管理システムの一例の概略図である。
【0024】
図2図1の各車両の例示的な運転者監視システムの構成要素の概略図である。
【0025】
図3図2の電子制御ユニットのより詳細な概略図である。
【0026】
図4】運転者を監視する例示的な方法のフローチャートである。
【0027】
図5】運転者を監視する別の方法の一例のフローチャートである。
【0028】
図6】車両運転室の一例の概略図である。
【0029】
図7】ドライバを監視する別の方法の一例のフローチャートである。
【0030】
図8】運転者の監視を容易にするように適合されたミラー置換システムを含む例示的な車両の概略図である。
【発明を実施するための形態】
【0031】
特許請求の範囲並びに以下の説明及び図面に記載された実施形態、例示及び代替案は、それらの様々な態様又はそれぞれの個別の特徴のいずれかを含んでおり、独立して又は任意の組合せで採用されてもよい。1つの実施形態に関連して記述された特徴は、そのような特徴に互換性がない場合を除き、全ての実施形態に適用可能である。
【0032】
図1は、インターネット等の広域ネットワーク(「WAN」)16を介してフリートマネージャ22と通信するように動作可能な車両14A~Nのフリート12を含むフリート管理システム10の例を概略的に示す。車両14は、車両14の運転者を描写する画像を記録し、それらの画像を、任意選択的に、車両14がどのように動作しているか(例えば、加速事象、操舵事象、制動事象、近接衝突等)を記述する関連事象データと共に保存又は送信するように動作可能である。
【0033】
一例では、車両14A~Nは、画像をフリート管理サーバ18に送信することにより、画像及び/又は事象データをフリートマネージャ22に送信し、フリート管理サーバは、フリート12を監督するフリートマネージャ22のコンピューティングデバイス20によってアクセス可能である。一例では、車両14A~Nは、フリート管理サーバ18をバイパスして、フリートマネージャ22のコンピューティングデバイス20に送信することにより、画像及び/又は事象データをフリートマネージャ22に送信することができる。一例では、フリートマネージャ22に画像を送信することに加えて、又はその代わりに、車両14は車両14内のローカルリポジトリに画像を保存する。一例では、所定の画像がWAN16を介して送信されるか、又はローカルリポジトリに保存されるかは、車両14が現在WAN16に接続可能であるかどうかに基づいている。図1の例では、車両14はトラックであるが、配送バン等の他の商用車両を使用してもよいことが理解される。
【0034】
図2は、各車両14に提供される例示的な運転者監視システム24の構成要素の概略図である。図2の例では、運転者監視システム24は、テレマティクスモジュール32、運転室カメラ34、加速度センサ36、操舵角センサ38及び制動センサ40に動作可能に接続される電子制御ユニット(ECU)30を含む。3つのセンサ34~38が記載されているが、より少ない又はより多くのセンサを使用してもよいことが理解される。例えば、ECU30は、車両14の周辺環境の画像を記録するように動作可能な外部カメラ42、車両14の外部の物体を検出するように動作可能な物体検出センサ44、運転者による無線デバイスの使用を検出するように動作可能な無線活動検出器45、電子ディスプレイ46、車両スピーカ48及び/又はBluetooth(登録商標)モジュール50に動作可能に接続されてもよい。
【0035】
一例では、電子ディスプレイ46及びスピーカ48は、車両状態(例えば、速度、エンジンRPM等)に関する情報を提供する運転者情報システム(「DIS」)の一部である。この例では、電子ディスプレイ46は、車両計器クラスタの一部であってもよい。別の例として、電子ディスプレイ46は、車両情報及び娯楽情報(例えば、現在のラジオ局、温度調節器等)の組み合わせを提供するインフォテインメントシステムの一部であるセンターコンソールディスプレイであってもよい。一例では、ECU30は、DIS ECU(図示せず)又はテレマティクスモジュール32に統合される。いくつかの例では、姿勢検出器31は、運転者監視システム24のECU30内に含まれる。姿勢検出器31は、運転室カメラ24を含む複数のカメラからの画像を分析して、運転者の全体的な姿勢を決定し、決定された姿勢に基づいて1つ以上の応答をトリガする。複数のカメラからの画像が個別に分析されて、相互に検証するために使用されてもよく、又は複数のカメラからの画像が単一の画像に結合されて、ECU30が運転者の姿勢を決定する際に分析するためのより完全な情報セットを提供することもできる。
【0036】
図2の例では、ECU30は、コントローラ・エリア・ネットワーク(「CAN」)バスであり得る車両データバス52を介して構成要素31~50に動作可能に接続される。もちろん、図2は一例であり、ECU30は、車両データバス52以外の他の接続を介して構成要素32~50の所定のものに接続し得ることが理解される。
【0037】
図3は、ECU30のより詳細な概略図である。次に図3を参照すると、ECU30は、メモリ62に動作可能に接続されるプロセッサ60と、通信インタフェース64とを含む。プロセッサ60は、マイクロプロセッサ、マイクロコントローラ、特定用途集積回路(ASIC)等の1つ以上の処理回路を含む。メモリ62は、読み出し専用メモリ(ROM)、ランダムアクセスメモリ、キャッシュメモリ、フラッシュメモリデバイス、光学記憶デバイス等の1つ又は複数のタイプのメモリを含んでもよい。メモリ62は、異常運転画像のローカルリポジトリ66を含み、任意選択的に、畳み込みニューラルネットワーク(“CNN”)67、運転者注意モデル68、及び/又は運転者視線モデル69も含んでもよい。いくつかの例では、姿勢検出器31もメモリ62内に含まれる。CNN67は、いくつかの例では、運転者が車両14の運転室内でモバイルデバイスを利用しているかどうかを検出するように動作可能である。本明細書で使用される「モバイルデバイス」とは、携帯電話、スマートフォン、タブレット、パーソナルメディアプレーヤ等のハンドヘルド電子デバイスを指す。ECU30の一部として図示されているが、CNN67は、その代わりに、フリート管理サーバ18等、車両14の外部に記憶され得ることが理解される。通信インタフェース64は、ECU30と他の構成要素との間の通信(例えば、車両データバス52への有線接続)を提供する。他の例では、CNN67は、運転者の全体的な姿勢を検出し、その姿勢が注意深い運転に対応するか不注意な運転に対応するかに基づいて、ECU30内の1つ以上の応答をトリガするように動作可能である。本明細書で使用される場合、注意深い運転とは、操作者が既存の状態を認識し、それに適切に反応することに対応する姿勢、視線、又は他の操作者状態を指す。不注意な運転とは、操作者が既存の状態を認識し、それに適切に反応することに対応しない姿勢、視線、又は他の操作者状態を指す。例として、運転者が食事をすること、携帯電話を使用すること、その他の運転に関連する作業に従事していない場合は、不注意と見なされる。
【0038】
次に図2を参照しながら、図3を引き続き参照すると、視線追跡カメラであり得る運転室カメラ34は、車両14の運転室内の運転者の画像を記録するように構成され、各センサ36~44は、注意散漫運転に対応する事前定義された基準に基づいて車両の異常運転事象を検出するように構成される。代替例では、運転室カメラ34からのビデオフィードは、姿勢検出器31に提供されてもよい。姿勢検出器31は、CNN67を利用して、腕の位置及び向き、手の位置及び向き、胴のねじれ、手及び顔の相対的な向き及び/又は位置、操舵装置に対する腕及び手の位置、及び運転者が現在置かれている姿勢を定義するために組み合わされる任意の数の類似した姿勢メトリックを含む運転者の姿勢を追跡するように構成される。次に、決定された姿勢は、多数の訓練された姿勢と相関され、注意深いか又は不注意であるかのいずれかとして識別される。さらに別の例では、CNN67は、姿勢検出と運転室カメラ34の視線検出とを組み合わせて、注意深い姿勢と不注意な姿勢とを区別する能力をさらに向上させることができる。
【0039】
いくつかの例では、センサ36-44の1つによる異常運転事象の検出は、ECU30によって、異常事象中の運転者を描写する運転室カメラ34によって撮影された特定の画像、又は姿勢検出器31によって識別された姿勢を取得させる。ECU30は、テレマティクスモジュール32を使用してフリートマネージャ22に特定の画像又は識別された姿勢を送信し、及び/又はローカルリポジトリ66に特定の画像又は識別された姿勢を保存する。異常運転事象には、突然の加速、突然の減速、突然の操舵軌道の変化、予想外の長時間の一定の操舵安定性、衛星ナビゲーションによって決定された予想道路位置からの逸脱、又はその他の同様の事象が含まれる。不注意な運転は、携帯電話の使用、食事、眠気、エンターテイメントシステムの操作を含む様々な理由で発生し得るが、これらに限定されない。
【0040】
加速度センサ36は、車両14の急激な加速又は減速等、注意散漫運転を示し得る異常な加速事象を検出するように構成される。加速度センサ36に関して事前定義された基準は、例えば、事前定義された加速度閾値を超える加速率又は事前定義された減速閾値を下回る減速率を含んでもよい。
【0041】
操舵角センサ38は、旋回を示し得る急速なハンドル角の変化等の異常な操舵事象を検出するように構成される。例えば、操舵角センサ38に関する事前定義された基準は、車両14が事前定義された速度閾値を超える速度で走行している間に、事前定義された期間内に事前定義された角度閾値を超える操舵角の変化を含んでもよく、これは注意散漫運転の結果としての旋回を示し得る。
【0042】
制動センサ40は、車両14の急速制動のような異常な制動事象を検出するように構成され、例えば、車両速度の変化を測定し、及び/又は車両制動システムに送信される信号を制御するように構成されてもよい。
【0043】
物体検出センサ44は、例えば、LIDAR(「光検出及び測距」)又はRADAR(「無線検出及び測距」)センサであってもよい。物体検出センサ44は、単独で使用され、又はECU30と組み合わせて使用されてもよく、衝突がかろうじて回避された異常接近を検出する。
【0044】
テレマティクスモジュール32は、WAN16を介して画像を送信するように動作可能な無線トランシーバを含む。一例では、テレマティクスモジュール32は、1つ以上の802.11規格及び/又は1つ以上のセルラ規格(例えば、GSM(登録商標)、CDMA、LTE等)のような事前定義されたプロトコル標準を使用するように構成される。
【0045】
無線活動検出器45は、無線信号を検出するように構成されるアンテナを含み、検出された無線信号が、1つ以上の事前定義された閾値に基づいて車両14の運転室内のモバイルデバイス使用を表すかどうかを決定するための関連処理回路を含む。無線活動検出器45の処理回路によって使用される基準は、信号強度、信号持続時間、及びモバイルデバイス識別子のいずれか1つ又は組み合わせを含んでもよい。モバイルデバイス識別子のいくつかの例は、国際モバイル加入者識別情報(「IMSI」)、インターネットプロトコル(「IP」)アドレス、メディアアクセス制御(「MAC」)アドレスを含んでもよく、運転者に関連付けられているモバイルデバイス識別子が検出された場合、信号送信が歩行者又は近くの車両の運転者ではなく、この運転者によるモバイルデバイスの使用に対応している可能性が高くなる。
【0046】
1つの例では、信号持続時間は、運転者が実際にモバイルデバイスを使用していない隣接セル間のハンドオーバ等のバックグラウンド活動と、信号持続時間が事前定義された信号長閾値を超える可能性が高いモバイルデバイスの能動的な使用(例えば、電話呼び出し、ビデオストリーミング等)とを区別するために使用される。
【0047】
一例では、無線活動検出器45は、(複数の)GSM(登録商標)帯域、(複数の)CDMA帯域、(複数の)LTE帯域、(複数の)WiMax帯域、(複数の)WiFi帯域等のような既知の電気通信標準に結びつけられた周波数帯にその監視を制限するように構成されている。一例では、無線活動検出器45は、各々が特定の1つ又は一組の周波数帯のために調整された複数のアンテナを含み、及び/又は複数のそのような周波数帯を掃引するように構成される1つ以上のアンテナを含む。
【0048】
一例では、無線活動検出器45は、車両運転室内のモバイルデバイスから検出された信号が隣接車両内のモバイルデバイスの信号よりも強い可能性が高いので、少なくとも部分的には信号強度に基づいて検出するように構成される。
【0049】
一例では、運転室カメラ34は、バックアップされていない場合にそれ自体を上書きする事前定義された期間(例えば、30秒)のローリングバッファを提供するように動作可能なビデオカメラであり、ECU30は、異常運転事象に対応する時間枠内でローリングビデオバッファのフレームから画像を取得するように動作可能である。これは、異常運転事象に至るビデオを保存して、異常運転事象の間及びその前に何が起こったかを見る機会を提供することもできる。
【0050】
一例では、ECU30は、異常運転事象外で起こり得るランダムな間隔で運転室カメラ34から運転者を描写する追加の画像を記録し、追加の画像をフリートマネージャ22に送信し、追加の画像を異常運転画像のローカルリポジトリ66に保存するか、又はその両方を行うように構成される。このランダムなサンプリングは、運転者にさらなるレベルのコンプライアンスを提供することができる。
【0051】
一例では、ECU30は、車両14の近傍における交通密度、気象条件及び物体検出の少なくとも1つに基づいて異常運転事象を決定するために使用される事前定義された基準を調整するように構成される。例えば、悪天候条件(例えば、雨、雪、凍結した道路)及び交通量の多い又は歩行者の多い地域において、異常運転を構成するものを決定するために使用される閾値は、特に車両14が大型商用トラックである場合には、デフォルト値からより厳しい基準に引き下げられてもよい。
【0052】
悪天候条件であるか否かの決定は、例えば、ECU30で受信された天気予報に基づいて行われてもよい。車両14が交通量の多い領域又は歩行者の多い領域にあるか否かの決定は、例えば、ECU30で受信された交通報告に基づいて、及び/又は物体検出センサ44又は外部カメラ42からの物体検出に基づいて行われてもよい。
【0053】
また、異常運転事象を検出するために使用される事前定義された基準は、運転者の経験レベルに基づいて選択されてもよい。これは、経験の少ない運転者に対してはより厳しい基準を提供し、経験のある運転者に対してはより寛容な基準を提供してもよい。
【0054】
一例では、ECU30は、姿勢検出器31を使用して運転者の姿勢を継続的に識別し、不注意な運転に対応する姿勢が検出されたときに不注意な運転者応答をトリガするように構成される。一例として、応答は、聴覚、視覚、触覚、又は運転者に提供されるその他の感覚警告を含んでもよい。別の例では、不注意な運転者応答は、監督者によるレビュー及び/又はさらなる分析のために、車両内のカメラから生成された不注意な姿勢の運転者の画像を記憶するコマンドであってもよい。
【0055】
一例では、本明細書に記載される物理的実装は、ECU30による車両操作者の姿勢の追跡及び監視を容易にする。ECU30が異常運転事象を検出すると、ECU30は、複数のビデオフィードからの画像をレビューして、運転者の姿勢を決定する。代替的に、姿勢は、姿勢検出器31によって継続的に監視される。姿勢が決定されると、ECU30は、少なくとも部分的に姿勢に基づいて運転者が注意をそらされたかどうかを決定する。
【0056】
一例として、突然の減速事象が発生した場合、ECU30はレビューをトリガし、操作者の姿勢を決定し得る。操作者の姿勢が前向きであり、手/腕の向きがハンドルを握る両手と一致している場合、ECU30は運転者が注意散漫ではなく、突然の減速は外部の出来事(例えば、動物が道路を横断しようとすること)の結果であると判断し得る。対照的に、操作者の姿勢が、片手がハンドルから離れているか、又は携帯電話を握っており、及び胴及び/又は頭部が識別された手の方を向くように回転していることを含む場合、ECU30は、識別された姿勢に基づいて、運転者が注意散漫であったと判断し得る。同様に、姿勢が片手又は両手に食べ物のような物体を含んでおり、その物体の位置が口の近くにある場合、操作者の姿勢は食べることに対応し、不注意な姿勢である。上記の例は、姿勢決定の非限定的な例であり、実際的な実装は、単一のシステムで運転者が注意散漫であるかどうかを決定するために、任意の数の識別された姿勢又は姿勢内の相対位置を利用し得ることが理解される。
【0057】
継続監視が実行される例では、上記の例のような姿勢検出は、前提条件の異常運転事象を必要とせずに、継続的又は定期的に決定される。
【0058】
別の例では、ビデオフィード及び他のセンサ情報は、車両に搭載される代わりにオペレーションセンターで決定を行うリモートコントローラ/プロセッサへのネットワーク接続を介して提供されてもよく、その決定は同じ方法で行われる。
【0059】
図4は、運転者を監視する1つの具体例の方法100のフローチャートである。ECU30は、異常運転事象について1つ以上の車両センサ(例えば、センサ36-44)を監視する(ステップ102)。異常運転事象が検出されない場合(ステップ104の「いいえ」)、ECU30は異常運転事象について監視を続ける。異常運転事象が検出された場合(ステップ104の「はい」)、ECU30は異常事象中の運転者を描写する特定の画像を運転室カメラ34から取得する(ステップ106)。ECU30は、特定の画像をフリートマネージャに送信し、及び/又は異常運転画像のローカルリポジトリ66に画像を保存し、その後、異常運転事象について車両センサの監視を再開する(ステップ102)。
【0060】
いくつかの実施形態では、運転室カメラは、車両14の運転室内の運転者の画像を記録し、記録された画像における運転者の視線方向を決定するように構成される視線追跡カメラである。このようなカメラは、SmartEye(https://smarteye.se/)及びEyeSight(http://www.eyesight-tech.com/)から市販されている。一例では、運転室カメラ34は、赤外光又は近赤外光をユーザの眼に向け、次いで運転者の眼からのその赤外光の反射を測定することによって視線を検出する。反射角に基づいて視線方向を確認することができる。別の例では、運転室カメラ34は、運転者の頭部の全体的な形状及び/又は記録された画像における運転者の顔の対称性から視線ベクトルを決定することによって、運転者の視線方向を推測する。これらの技術の両方は、当業者には周知であるので、本明細書では詳細には論じない。一例では、運転室カメラ34は、運転者情報システム及び/又は計器クラスタに統合される。
【0061】
他の例では、運転室カメラ34は、運転者がどの方向を向いているか、運転者が向いていた方向に対する腕/手の位置、ハンドルに対する腕/手の位置、及び同様の方向又は位置を含む運転者の姿勢を決定するように構成される姿勢検出器31に画像を提供し得る。姿勢追跡は、構成中に確立された静的ルールを使用したルールに基づくか(例えば、ハンドルに手がない場合、運転者は不注意である)、又は訓練セットから注意散漫な姿勢及び注意散漫でない姿勢を学習する畳み込みニューラルネットワーク(CNN)等の機械学習アルゴリズムを使用した機械学習に基づくかのいずれかであってもよい。いくつかの例では、姿勢検出は、車両操作者の完全なビューを提供するために、少なくとも2つの異なるカメラからの画像を使用する。例として、運転者側Aフレーム搭載カメラ及び助手席側Aフレーム搭載カメラからの同時画像を使用して、単一のカメラから隠される可能性のある特徴を含む運転者の完全なビューを提供し、両方の画像の特徴に基づいて姿勢を決定することができる。この例は、ECU30の構成に応じて、2つの画像を単一の画像に融合し、又はそれぞれを別々に分析してその分析を組み合わせることもできる。
【0062】
図5は、運転者を監視する方法200の一例のフローチャートであり、ここでは運転室カメラ34が視線追跡カメラであり、ECU30がCNN67を利用している。運転室カメラ34は、車両14の運転室内の運転者の画像を記録し(ステップ202)、記録された画像中の運転者の視線方向を決定する(ステップ203)。ECU30は、事前定義された時間閾値を超える時間量の間、視線が事前定義された警告運転者領域の外にあるか否かを判定する(ステップ204)。
【0063】
次に図6を参照すると、例示的な車両運転室70が、例示的な事前定義された警告運転者領域72と共に概略的に示されており、この領域は、フロントガラス74及び計器クラスタディスプレイ46を含むが、センターコンソールディスプレイ46B、及び運転者の膝領域80、運転者及び助手席の窓84A~Bの大部分等のような、注意散漫運転及び/又はモバイルデバイスの使用を示す可能性のある他の領域を除外する。
【0064】
図6の例では、Aフレームピラー92A~Bに取り付けられたカメラモニタシステムユニット86A~Bが、警告運転者領域72内に設けられている。各カメラモニタシステムユニット86A~Bは、外部車両ビデオフィードを提供するためのそれぞれの電子ディスプレイ88A~Bを含み、任意選択的に、それぞれのカメラ90A~B(任意選択的に、必要に応じて、図2の運転室カメラ34として使用されてもよい)を含んでもよい。一例では、カメラモニタシステムユニット86A~Bは、Stoneridge社のMIRROREYEシステムの一部である。
【0065】
図6を引き続き参照しながら、図8は、図6の実施形態を含む車両14の上面図及び側面図を概略的に示しており、ここで、カメラ90A、90B、及び少なくとも1つの他のカメラ402、73が、姿勢検出器31を用いて運転者の姿勢を検出するためにECU30によって利用される。各カメラは、運転室70内の対応する視野410,420,430を定義し、対応する視野は重複領域440で重複する。一例では、少なくとも1つの他のカメラ73は、運転者の略前方に、従来のバックミラーの位置の近くに配置される。図6及び図8の例では、カメラ73は、[クラスVIII]ビューディスプレイ71内に配置される。本明細書で使用される場合、運転者の略前方とは、カメラが後方を向いている間、その視野に運転者を含むカメラを指す。別の実施形態では、少なくとも1つの他のカメラ402、73は、運転者の略前方に複数のカメラを含んでもよい。運転者頭部位置442は、運転者が運転室70に着座している間、重複領域440内にある。いくつかの例では、1つ以上のカメラ90A、90B、402は、運転室カメラ34(図2)に関して上述したような視線追跡システムを含み、この視線追跡システムは、ECUによって姿勢検出を補足又は強化するために利用され得る。
【0066】
図6の例では、各カメラ90A、90B、402は、少なくとも視野クラスII、IV、V、VI及びVIIIを表示するように構成されるディスプレイを含む、カメラミラーシステムの対応するミラー置換ディスプレイ内に含まれる。ミラー置換ディスプレイとしての使用のために、各ディスプレイは、運転者が運転室70において着席している間に、運転者の全体的な姿勢を決定するために使用され得る運転者の顔及び運転者の他の部分(例えば、手、腕、肩、頭及び胴)を含む、運転者のクリーンで明確な見通し線を含む。さらに、それらの機能のために、十分に訓練された運転者は、従来のミラーの場合と同様に、カメラ90A、90B、402を含む1つ以上のモニタに常に直接向いており、どの方向を向いているかに関わらず、操舵/コントロールシステムに手を接触させ続ける。カメラ交換システムが使用されていないような代替例では、車両上のその配置から物理的なディスプレイが省略されても、車両操作者への直接の見通し線が存在するように、カメラ73、90A、90B、402は、ミラー置換システムを使用する車両にミラー置換ディスプレイが含まれるであろう車両フレーム上に配置され得る。図示の例では、位置は以下を含む。
【0067】
期待される顔の向き及び手/腕の位置は、CNN67等のニューラルネットワークが、運転者の姿勢に基づいて運転者が注意深いか注意散漫であるか、及び運転者の注意が警告発生時に警告が発生しているゾーンに向いているか離れているかを判断することを支援する。カメラ及びCNN67を使用して注意散漫を検出することは、注意散漫運転者システムと呼ばれる。
【0068】
決定された姿勢分析を補足又は強化するために視線追跡を使用する例では、視線追跡は、姿勢がその他を示す場合に、運転者が見ている方向を識別することができる。例として、手が口の前にあることを含む姿勢は、くしゃみ又はあくびのいずれかを示し得る。姿勢の決定と視線追跡とを組み合わせることで、システムは運転者の目が下がっているかどうか(疲労によるあくびを示している)、又は運転者の目が急速に閉じて再び開くかどうか(くしゃみを示している)を判断することができる。
【0069】
いくつかの例では、ミラー置換モニタはカメラ90A、90B、402を組み込むために比較的容易に後付けすることができるので、注意散漫運転システムは既存のミラー置換システムに統合することができる。追加的に、各ミラー置換モニタは車両ECU30に接続されており、組み込まれたカメラ73,90A,90B,402は、その接続に便乗して、専用の接続を必要とせずにECU30と通信することができる。代替例では、カメラ90A,90B,402,73はミラー置換システムから独立し、運転室の周囲に自由に配置することができる。
【0070】
これは、先に識別されたミラー置換システムの使用に関連する位置の利点と組み合わせて、既存のミラー置換システムが後付けに非常に適していることを意味する。
【0071】
ミラー置換モニタに組み込まれるカメラ90A、90B、402に加えて、1つ以上の追加のカメラ404が運転室70内に含まれてもよく、運転者又は他の車両操作者の追加の視野を提供することができる。追加のカメラ404は、運転者がモバイルデバイス(例えば、センターコンソールディスプレイ47)を保持し得るセンターコンソール等の注意散漫が起こる可能性がより高い車両の領域に焦点を合わせることができる。代替的に、追加のカメラ404は、運転者の顔(例えば、運転手の腕又は胴)に加えて、運転者の全体的な姿勢を決定するために利用される運転者の身体の部分に焦点を合わせることができる。さらなる代替案では、追加のカメラは、注意散漫が存在し得る車両の領域に焦点を合わせたカメラと、全体的な姿勢の決定を支援することができる運転者の身体の部分に焦点を合わせたカメラとを含んでもよい。追加のカメラ404は、ミラー置換モニタ内のカメラ90A、90B、402からの画像フィードと相関させることができるタイムスタンプ付きの画像フィードを有してもよく、複数の同時画像は、ECU30上で動作するか又は遠隔で動作するCNN67による注意深い運転者又は不注意な運転者の決定に追加の分解能を提供することができる。注意散漫運転検出システムが車両に対してローカルである例では、ECUは、高速データ入力を受け入れるように構成されてもよく、CNN67によるビデオの解釈を向上させるハードウェア加速機械学習を含んでもよい。
【0072】
図6を引き続き参照しながら、図5を再度参照すると、運転者の視線が警告運転者領域72内にある場合、又は事前定義された時間閾値よりも短い時間だけ警告運転者領域72の外にある場合(ステップ204の「いいえ」)、ECU30は、運転者の視線方向及び/又は姿勢の監視を再開する。
【0073】
逆に、ステップ204においてECU30が、運転者の視線が事前定義された時間閾値よりも大きい時間量の間、警告運転者領域72の外にあると判断する場合(ステップ204の「はい」)、又は運転者の姿勢が注意深い運転のための期待される姿勢と一致しないと判断する場合、ECU30は、視線又は姿勢が潜在的な注意散漫運転事象に対応すると判断し(ステップ206)、運転者の視線方向が警告運転者領域72の外にある場合の運転者、又は注意深い運転のための期待される姿勢と一致しない場合の姿勢の特定の画像をCNN67に提供する(ステップ208)。
【0074】
CNN67は、モバイルデバイスを利用する運転者を描写する画像を用いて訓練され、ECU30は、CNN67を利用して画像を処理し、運転者が特定の画像においてモバイルデバイスを利用しているかどうかを判断する(ステップ210)。訓練画像セットは、運転者がテキストメッセージを送信している画像、携帯電話を顔にかざして通話している画像、携帯電話の使用を示唆する位置で顔の近くに手を置いている画像(携帯電話が見えない場合でも)等を含み得る。CNN67の使用は、注意散漫な運転者事象の誤検出を低減するのに役立つ。訓練により、CNN67は、注意散漫な運転に関連する車両構成要素及び身体部分の相対的な位置及び姿勢を識別することが可能になる(例えば、手がハンドルから離れてセンターコンソールに位置する、視線がセンターコンソールに向かっており手がハンドルから離れている、操作者の口の横に異物が保持されている、又は同様の姿勢)。
【0075】
モバイルデバイスの使用が検出された場合(ステップ212の「はい」)、ECU30は、レビューのためにフリートマネージャ22に画像を送信する、異常運転のローカルリポジトリ66に最終的なレビューのための画像を保存する、及び/又は運転者に警告を提供する等(ステップ214)、潜在的な注意散漫運転事象に基づいて、1つ又は複数の事前定義されたアクションを実行する。警告は、例えば、車両スピーカ48を介した音声通知、(例えば、Bluetooth(登録商標)モジュール50を使用して)運転者が装着するワイヤレスヘッドセットへの音声通知、及び/又は運転室70内の電子ディスプレイ46上の視覚通知として提供されてもよい。次に、特定の画像は、教師あり機械学習プロセスの一部として、CNN67の追加の訓練データとして使用されてもよい(ステップ216)。
【0076】
代替的に、モバイルデバイスが検出されない場合(ステップ212の「いいえ」)、予め定義されたアクションの1つ以上(例えば、全て)が省略され、ECU30はステップ216に進む。
【0077】
ECU30がどのように異常運転検出閾値を調整することができるかと同様に、ECU30は、運転者の視線が注意散漫運転及び/又はモバイルデバイスの使用を示す場合を決定するための閾値使用を調整することもできる。例えば、悪天候条件(例えば、雨、雪、凍結した道路)及び/又は交通量の多い又は歩行者の多い地域のような所定の環境において、警告運転者領域72はデフォルト領域から狭められてもよく、及び/又はステップ204で使用される時間閾値はデフォルト値から短縮されて、より厳しいレベルの運転者注意を強制することができる。逆に、交通量の少ない及び/又は良好な天候条件(つまり、凍結していない、雪が降っていない、滑りにくい)において、警告運転者領域72は拡大されてもよく、及び/又はステップ204の時間閾値は延長されてもよい。
【0078】
一例では、ECU30は、ステップ204の事前定義された時間閾値及び運転者の経験レベルに基づいた警告運転者領域72の一方又は両方を選択するように構成される。これは、経験の少ない運転者に対してはより厳しい基準を提供し、経験のある運転者に対してはより寛容な基準を提供してもよい。
【0079】
同様に、ステップ214で運転者に警告が提供される場合の閾値は、運転者の経験レベルに基づいて選択されてもよく、そのような警告は、経験の多い運転者よりも経験の少ない運転者にとってより適切かつ/又は有用であり得ることが理解される。
【0080】
上述したように、ECUは、運転者注意モデル68、運転者視線モデル69及び/又は姿勢検出器31を含んでもよい。このようなモデルの使用は、例えば、姿勢を外部物体と相関させ、運転者が車両の周囲の領域内の他の関連物体を注視すべき時に、運転者が所定の物体を凝視しているかどうかを決定することにより、運転者監視システム24にさらなる改良を積み重ねることができる。例えば、視線方向の左右への急速な移動は、運転者の視線が車両の外部に焦点を合わせていたとしても(運転者の注意が運転者の注意を示すのに十分な時間、いかなる状況にも固定されていないため)、注意散漫な運転事象を示し得る。さらに、運転者の膝近くの点への長時間の焦点を示す注意モデルは、運転者が運転中に電話を利用してインターネットにアクセスしていることを示し得る。
【0081】
図7は、運転者を監視する別の例示の方法300のフローチャートであり、無線活動検出器45が、上述の事前定義された基準のいずれかに基づいて無線信号伝送を監視するために使用される(例えば、信号強度、信号持続時間及びモバイルデバイス識別子)(ステップ302)。運転者のモバイルデバイスからの無線信号が検出された場合(ステップ303の「はい」)、車両運転室70内の運転者の画像が記録され、その画像がCNN67に提供される(ステップ308)。ステップ310~316は、上述したステップ210~216と同様に実行される。
【0082】
一例では、CNN67は省略され、ECU30は、ステップ306で記録された画像をレビューのために送信するか、又は最終的なレビューのために画像を保存するだけである。
【0083】
一例では、運転者のモバイルデバイスが車両インフォテインメントシステム又はヘッドセットと(例えば、Bluetooth(登録商標)経由で)ペアリングされている場合、ステップ306~316はスキップされる。一例では、無線活動検出器45は、Bluetooth(登録商標)周波数帯域での伝送を監視することによって、モバイルデバイスがヘッドセット及び/又はインフォテインメントシステムとペアリングされているかどうかを検出する。
【0084】
一例では、ステップ302~303は、方法200において、無線活動検出器45が運転者モバイルデバイスからの無線信号の証拠を検出することによって潜在的な注意散漫運転事象を裏付けた場合にのみ、特定の画像がCNN67に提供されるように、CNN67を利用する前に(例えば、ステップ206と208との間で)検出の追加の層として使用される。
【0085】
例示的な実施形態が開示されているが、当業者であれば、所定の変更が本開示の範囲内に入ることを理解するであろう。そのため、本開示の範囲及び内容を決定するために、以下の請求項が検討されるべきである。
図1
図2
図3
図4
図5
図6
図7
図8
【国際調査報告】