IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ デンソー インターナショナル アメリカ インコーポレーテッドの特許一覧 ▶ 株式会社デンソーの特許一覧

特許7036091モバイルネットワークデバイスおよびモバイルネットワークデバイスの操作方法
<>
  • 特許-モバイルネットワークデバイスおよびモバイルネットワークデバイスの操作方法 図1
  • 特許-モバイルネットワークデバイスおよびモバイルネットワークデバイスの操作方法 図2
  • 特許-モバイルネットワークデバイスおよびモバイルネットワークデバイスの操作方法 図3
  • 特許-モバイルネットワークデバイスおよびモバイルネットワークデバイスの操作方法 図4
  • 特許-モバイルネットワークデバイスおよびモバイルネットワークデバイスの操作方法 図5
  • 特許-モバイルネットワークデバイスおよびモバイルネットワークデバイスの操作方法 図6
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-03-07
(45)【発行日】2022-03-15
(54)【発明の名称】モバイルネットワークデバイスおよびモバイルネットワークデバイスの操作方法
(51)【国際特許分類】
   G08G 1/00 20060101AFI20220308BHJP
   G08G 1/16 20060101ALI20220308BHJP
   B60W 40/02 20060101ALI20220308BHJP
   B60W 40/08 20120101ALI20220308BHJP
   B60W 40/10 20120101ALI20220308BHJP
【FI】
G08G1/00 D
G08G1/16 C
B60W40/02
B60W40/08
B60W40/10
【請求項の数】 20
(21)【出願番号】P 2019129487
(22)【出願日】2019-07-11
(65)【公開番号】P2020024685
(43)【公開日】2020-02-13
【審査請求日】2019-07-11
(31)【優先権主張番号】16/055,833
(32)【優先日】2018-08-06
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】500164385
【氏名又は名称】デンソー インターナショナル アメリカ インコーポレーテッド
(73)【特許権者】
【識別番号】000004260
【氏名又は名称】株式会社デンソー
(74)【代理人】
【識別番号】100106149
【弁理士】
【氏名又は名称】矢作 和行
(74)【代理人】
【識別番号】100121991
【弁理士】
【氏名又は名称】野々部 泰平
(74)【代理人】
【識別番号】100145595
【弁理士】
【氏名又は名称】久保 貴則
(72)【発明者】
【氏名】坂東 誉司
(72)【発明者】
【氏名】三澤 秀明
【審査官】菅家 裕輔
(56)【参考文献】
【文献】特開2015-041120(JP,A)
【文献】特開2016-197308(JP,A)
【文献】米国特許出願公開第2018/0181860(US,A1)
【文献】特開2012-003408(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
B60W 30/00-50/16
G08G 1/00-99/00
(57)【特許請求の範囲】
【請求項1】
運転者支援アプリケーションを格納するように構成されるメモリと、
運転者支援アプリケーションを実行するように構成される制御モジュールと、を備え、
制御モジュールは、運転者支援アプリケーションを実行するとき、
モバイルネットワークデバイス内の複数のセンサからモバイルセンサ信号を受信し、
モバイルセンサ信号を正規化して正規化信号を生成し、
正規化信号を、車両の挙動を表す、車速信号、ステアリングホイール角信号、アクセルペダル操作信号、およびブレーキペダル操作信号の時間系列に変換し、そして
車速信号、ステアリングホイール角信号、アクセルペダル操作信号、およびブレーキペダル操作信号の時間系列について、それぞれ、時間的に連続する複数の時間系列を連結して、車速信号、ステアリングホイール角信号、アクセルペダル操作信号、およびブレーキペダル操作信号を含む疑似車両挙動信号を生成するように構成され、
生成された疑似車両挙動信号は、車両の運転中に、車両の運転者に運転支援を提供するために利用されるモバイルネットワークデバイス。
【請求項2】
疑似車両挙動信号は、車両のコントローラエリアネットワーク信号に対応する請求項1に記載のモバイルネットワークデバイス。
【請求項3】
さらに複数のセンサを備え、複数のセンサは、加速度センサ、角速度センサ、および全地球測位システム受信機を含む請求項1に記載のモバイルネットワークデバイス。
【請求項4】
制御モジュールは、
モバイルセンサ信号をモデル化するように構成されるエンコーダと、
エンコーダの出力を受信し、擬似車両挙動信号をモデル化するように構成されるデコーダと、を備える請求項1に記載のモバイルネットワークデバイス。
【請求項5】
エンコーダは、
第1の複数の埋め込みモジュールと、
第1の複数のLSTMと、を備え、
デコーダは、
第2の複数のLSTMと、
第2の複数の埋め込みモジュールと、を備える請求項4に記載のモバイルネットワークデバイス。
【請求項6】
エンコーダは、
1行に並んだ第1の埋め込みモジュールと、
第1のアレイ状のLSTMと、を備え、
デコーダは、
第2のアレイ状のLSTMと、
1行に並んだ第2の埋め込みモジュールと、を備える請求項4に記載のモバイルネットワークデバイス。
【請求項7】
疑似車両挙動信号に基づいて運転者の行動を予測するように構成された運転者予測モジュールをさらに備え、
制御モジュールは、予測された運転者の行動に基づいて運転者支援信号を生成するように構成される請求項1に記載のモバイルネットワークデバイス。
【請求項8】
制御モジュールは、運転者支援アプリケーションを実行するとき、
ドライブレコーダからモバイルネットワークデバイスに送信される画像データを受信し、
ドライブレコーダは、モバイルネットワークデバイスとは別個であって、車両内に配置されており、
画像データに基づいて運転者支援信号を生成するように構成される請求項1に記載のモバイルネットワークデバイス。
【請求項9】
制御モジュールは、運転者支援アプリケーションを実行するとき、
車両からモバイルネットワークデバイスに送信される車両センサデータを受信し、
車両センサデータに基づいて運転者支援信号を生成するように構成される請求項1に記載のモバイルネットワークデバイス。
【請求項10】
モバイルネットワークデバイスは、携帯電話、ノートブックコンピュータ、パーソナルデータアシスタントデバイス、ウェアラブルデバイス、ダッシュボードカメラまたはドライブレコーダである請求項1に記載のモバイルネットワークデバイス。
【請求項11】
モバイルネットワークデバイスを操作する方法であって、
モバイルネットワークデバイスの制御モジュールが、モバイルネットワークデバイスのメモリに格納された運転者支援アプリケーションを実行することによって実施され、
前記モバイルネットワークデバイスの制御モジュールが前記運転者支援アプリケーションを実行することは、
モバイルネットワークデバイス内の複数のセンサからモバイルセンサ信号を受信すること、
モバイルセンサ信号を正規化して正規化信号を生成すること、
正規化信号を、車両の挙動を表す、車速信号、ステアリングホイール角信号、アクセルペダル操作信号、およびブレーキペダル操作信号の時間系列に変換すること、および
車速信号、ステアリングホイール角信号、アクセルペダル操作信号、およびブレーキペダル操作信号の時間系列について、それぞれ、時間的に連続する複数の時間系列を連結して、車速信号、ステアリングホイール角信号、アクセルペダル操作信号、およびブレーキペダル操作信号を含む疑似車両挙動信号を生成すること、を備え、
生成された疑似車両挙動信号は、車両の運転中に、車両の運転者に運転支援を提供するために利用される方法。
【請求項12】
疑似車両挙動信号は、車両のコントローラエリアネットワーク信号に対応する請求項11に記載の方法。
【請求項13】
複数のセンサは、加速度センサ、角速度センサ、および全地球測位システム受信機を含む請求項11に記載の方法。
【請求項14】
前記モバイルネットワークデバイスの制御モジュールが前記運転者支援アプリケーションを実行することは、
エンコーダを介してモバイルセンサ信号をモデル化すること、および
デコーダにてエンコーダの出力を受信し、デコーダを介して擬似車両挙動信号をモデル化することをさらに備える請求項11に記載の方法。
【請求項15】
エンコーダは、
第1の複数の埋め込みモジュールと、
第1の複数のLSTMと、を備え、
デコーダは、
第2の複数のLSTMと、
第2の複数の埋め込みモジュールと、を備える請求項14に記載の方法。
【請求項16】
エンコーダは、
1行に並んだ第1の埋め込みモジュールと、
第1のアレイ状のLSTMと、を備え、
デコーダは、
第2のアレイ状のLSTMと、
1行に並んだ第2の埋め込みモジュールと、を備える請求項14に記載の方法。
【請求項17】
前記モバイルネットワークデバイスの制御モジュールが前記運転者支援アプリケーションを実行することは、
疑似車両挙動信号に基づいて運転者の行動を予測することをさらに備え、
運転者支援信号は、予測された運転者の行動に基づいて生成される請求項11に記載の方法。
【請求項18】
前記モバイルネットワークデバイスの制御モジュールが前記運転者支援アプリケーションを実行することは、
ドライブレコーダからモバイルネットワークデバイスに送信される画像データを受信することをさらに備え、
ドライブレコーダは、モバイルネットワークデバイスとは別個であって、車両内に配置されており、
運転者支援信号は画像データに基づいて生成される請求項11に記載の方法。
【請求項19】
前記モバイルネットワークデバイスの制御モジュールが前記運転者支援アプリケーションを実行することは、
車両からモバイルネットワークデバイスに送信される車両センサデータを受信することをさらに備え、
運転者支援信号は、車両センサデータに基づいて生成される請求項11に記載の方法。
【請求項20】
モバイルネットワークデバイスは、携帯電話、ノートブックコンピュータ、パーソナルデータアシスタントデバイス、またはウェアラブルデバイスである請求項11に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、モバイルセンサ信号に基づいて疑似車両挙動信号を生成するモバイルネットワークデバイス、およびモバイルネットワークデバイスを操作する方法に関する。
【背景技術】
【0002】
本明細書で提供される背景技術の説明は、本開示の背景を一般的に提示することを目的としている。本発明者らの研究は、本背景技術の欄に記載されている限りにおいて、並びに、出願時に先行技術として他で適格とされない可能性がある説明の態様は、明示的にも暗示的にも、本開示に対する先行技術として認められたものではない。
【0003】
車両は、エンジン制御モジュール、トランスミッション制御モジュール、インフォテインメント制御モジュール、ナビゲーション制御モジュールなどの複数の制御モジュールを含むことができる。制御モジュールおよび/または他の電子装置は、コントローラエリアネットワーク(CAN)バスを介して互いに通信することができる。これは、様々なパラメータの状態を示すCANメッセージの送信を含むことができる。車両は通常、車両内の装置の状態および車両の周囲の状態を検出するための様々なセンサを有する。センサは、例えば、ステアリングホイール位置センサ、ブレーキペダル位置センサ、アクセルペダル位置センサ、温度センサ、車速センサ、エンジン速度センサ、カメラ、レーダセンサなどを含むことができる。センサからの情報は、CANバスを介して送信されるCANメッセージによって制御モジュール間で共有され得る。
【0004】
車両は、運転者が車両を運転するのを支援するための運転者支援モジュールを備えることができる。運転者支援モジュールは、CANメッセージを監視し、パラメータの状態、車両内の装置の状態、および環境状態を決定することができる。この情報に基づいて、運転者支援モジュールは、例えば、車線内に留まるため、および/または衝突を回避するために、車両を制動または操縦するように運転者に指示する警告信号を生成することによって、運転者を支援することができる。
【発明の概要】
【0005】
モバイルネットワークデバイスが提供され、それは、メモリと制御モジュールとを含む。メモリは、運転者支援アプリケーションを格納するように構成されている。制御モジュールは、運転者支援アプリケーションを実行するように構成され、運転者支援アプリケーションを実行するときに、制御モジュールは、モバイルネットワークデバイス内の複数のセンサからモバイルセンサ信号を受信し、モバイルセンサ信号を正規化して正規化信号を生成し、正規化信号を、車両の挙動を表す、車速信号、ステアリングホイール角信号、アクセルペダル操作信号、およびブレーキペダル操作信号の時間系列に変換し、そして、車速信号、ステアリングホイール角信号、アクセルペダル操作信号、およびブレーキペダル操作信号の時間系列について、それぞれ、時間的に連続する複数の時間系列を連結して、車速信号、ステアリングホイール角信号、アクセルペダル操作信号、およびブレーキペダル操作信号を含む疑似車両挙動信号を生成するように構成される。生成された疑似車両挙動信号は、車両の運転中に、車両の運転者に運転支援を提供するために利用される。
【0006】
他の特徴では、モバイルネットワークデバイスを動作させる方法が提供される。この方法は、モバイルネットワークデバイスの制御モジュールが、モバイルネットワークデバイスのメモリに格納された運転者支援アプリケーションを実行することによって実施される。モバイルネットワークデバイスの制御モジュールが運転者支援アプリケーションを実行することは、モバイルネットワークデバイス内の複数のセンサからモバイルセンサ信号を受信すること、モバイルセンサ信号を正規化して正規化信号を生成すること、正規化信号を、車両の挙動を表す、車速信号、ステアリングホイール角信号、アクセルペダル操作信号、およびブレーキペダル操作信号の複数の時間系列に変換することおよび、車速信号、ステアリングホイール角信号、アクセルペダル操作信号、およびブレーキペダル操作信号の時間系列について、それぞれ、時間的に連続する複数の時間系列を連結して、車速信号、ステアリングホイール角信号、アクセルペダル操作信号、およびブレーキペダル操作信号を含む疑似車両挙動信号を生成すること、を含む。生成された疑似車両挙動信号は、車両の運転中に、車両の運転者に運転支援を提供するために利用される。
【0007】
本開示のさらなる適用可能分野は、詳細な説明、特許請求の範囲および図面から明らかとなろう。詳細な説明および特定の実施例は、単に例示の目的を意図しており、本開示の範囲を限定することを意図していない。本開示は、詳細な説明および添付の図面からより完全に理解される。
【図面の簡単な説明】
【0008】
図1】本開示の実施形態による運転者支援システムの一例の機能ブロック図である。
図2】本開示の実施形態による、車両挙動モジュールおよび運転者支援モジュールを含むモバイルデバイスの一例の機能ブロック図である。
図3】本開示の実施形態による、運転者支援モジュールを含む車両の一例の機能ブロック図である。
図4】本開示の実施形態による、図3のモバイルデバイスの一部およびドライブレコーダの一例の機能ブロック図である。
図5】本開示の実施形態による擬似車両挙動信号を生成する方法を含む運転者支援方法を示す。
図6図4の車両信号生成モジュールのエンコーダとデコーダのシーケンス間モデルの一例の機能ブロック図である。
【発明を実施するための形態】
【0009】
図面において、参照番号は、類似および/または同一の要素を特定するために再使用されることがある。
【0010】
最近のインテリジェント車両は様々なセンサを含み、それらは運転者の現在の行動を把握するために使用される。運転者支援が、センサの出力および検出された動作環境に基づいて、車両において提供される。例えば、ステアリングホイール角度、ブレーキペダル位置、およびアクセルペダル位置が運転者の行動を判定するために監視され、その一方で、外部レーダセンサ信号およびカメラ画像が現在の車両環境を検出するために監視され得る。これには、車線マーカー、周囲の物体、信号灯などの検出が含まれてもよい。運転者支援は、例えば、衝突を防止するために、対応する車両を自律的に操舵、制動、および/または減速するように提供され得る。従来の車両またはそれほどインテリジェントではない車両は、同じレベルの運転者支援を提供することができないか、または単にいかなる運転者支援も提供することができない。
【0011】
本明細書に記載の例は、車両挙動信号(本明細書では「疑似コントローラエリアネットワーク信号」または「疑似CAN信号」とも呼ばれる)を生成し、これらの信号に基づいて車両の運転者を支援する、モバイルセンサ、車両挙動モジュール、および運転者支援モジュールを備えたモバイルデバイスを含む。車両挙動信号と呼ばれるが、その車両挙動信号は運転者行動信号を含むことができる。例えば、ステアリングホイール角度信号、ブレーキペダル位置信号、およびアクセルペダル位置信号は、車両挙動信号であるが、これらの信号が運転者の行動に基づいて生成されるのか、または車両制御モジュールによって提供される自律制御に基づいて生成されるのかに応じて、運転者行動信号とも呼ばれ得る。
【0012】
擬似CAN信号は、モバイルデバイス内のモバイルセンサに基づいて生成され、モバイルデバイスの車両挙動モジュールおよび運転者支援モジュールによって監視されてもよい。センサの出力に基づいて、運転者支援モジュールは、以下でさらに説明されるように、運転者を支援するための信号を生成することができる。擬似CAN信号および/または運転者支援信号は、その受信のために車両に装備されている場合、モバイルデバイスから車両の他の運転者支援モジュールに送信されてもよい。擬似CAN信号および/または運転者支援信号はまた、クラウドベースの接続サービスを提供するために、モバイルデバイスからクラウドサーバに送信されてもよい。すると、車両の運転者支援モジュールは追加の運転者支援を提供することができる。
【0013】
本明細書で提供される例は、現在および/または過去の車両の挙動および/または運転者の行動に基づいて、運転者の行動を予測する車両挙動モジュールを含む。車両挙動モジュールが現在の運転者の行動をより多く決定できるほど、および車両挙動モジュールが運転者の行動(または今後の行為)をより的確に予測できるほど、運転者支援モジュールはより適切に運転者を支援することができる。これには、支援が必要とされない場合に支援を提供しないことが含まれる。一例として、車両挙動モジュールが接近する物体を検出し、運転者がブレーキをかけていることを検出した場合、運転者支援モジュールは、車両を減速させるための運転者支援を提供しなくてもよい。しかし、車両挙動モジュールが、運転者がブレーキをかけていること、および/または車両が十分に素早い速さで減速していることを検出しない場合、運転者支援モジュールは、衝突を避けるために、ブレーキ圧力を高め、エンジンのトルクを抑制し、および/または車両を操舵する。
【0014】
図1は、運転者支援システム100を示し、それには、クラウドベースのネットワーク102、モバイルネットワークデバイス(本明細書では「モバイルデバイス」と呼ばれる)104、および車両106が含まれる。クラウドベースのネットワーク102は、1つまたは複数のサーバを含む(1つのサーバ108が示されている)。単一のモバイルデバイス104、単一の車両106、および単一のサーバ108が示されているが、それぞれ任意の数が、運転者支援システム100に含まれてもよい。サーバ108は、サーバ制御モジュール110、メモリ112、および通信機114を含むことができる。メモリ112は、データベース118を格納することができ、そのデータベース118は、センサデータ、車両挙動データ、環境状態データ、および/またはモバイルデバイス104および/または車両106から受信した他の関連データを含むことができる。記述されたデータは、運転者支援システム100内の車両とサーバによって共有されてもよい。車両パラメータデータは、エンジンパラメータ(例えば、エンジン速度、エンジン温度など)、車両速度、ブレーキペダル位置、アクセルペダル位置、ステアリングホイール角度位置などを含むことができる。環境状態データは、対応する車両と物体との距離、車線マーカー、車両に対する物体の速度、車両および/または物体の進行方向、温度、気象状態、および/または他の環境状態を含むことができる。
【0015】
モバイルデバイス104は、携帯電話、ラップトップコンピュータ、パーソナルデータアシスタントデバイス、ウェアラブルデバイス、ダッシュボードカメラ(「ダッシュカム」)、ドライブレコーダ、および/または他のポータブルネットワークデバイスとすることができる。本明細書で言及されるモバイルデバイスは、車両106および/または他の車両内に配置され得るが、モバイルデバイスは、車両の一部としては製造されず、車両と無線で通信するか、または、例えば、ユニバーサルシリアルバス(USB)ケーブルを介して、車両に接続されてもよい。モバイルデバイス104は、モバイルデバイス制御モジュール120、メモリ122、通信機124、センサ125、ディスプレイ126、および入力装置128(例えば、タッチスクリーン、マウス、キーボードなど)を含むことができる。モバイルデバイス制御モジュール120は、車両挙動モジュール129を含むことができる。車両挙動モジュール129はモバイルデバイス104に実装されるように示されているが、車両挙動モジュール129’および129’’によって表されるように、車両挙動モジュールの少なくとも一部は、サーバ108および/または車両106に実装されてもよい。メモリ122は、センサデータおよび/または対応するパラメータ130、車両挙動データ131、環境状態データ132、および/または他のデータ134を格納することができる。車両挙動データは、センサ125から収集されたデータを含むことができる。センサ125は、加速度センサ、ジャイロセンサ、カメラ、全地球測位システムセンサなどを含み、センサデータを生成することができる。以下でさらに説明されるように、ディスプレイ126は、運転者に運転者支援信号を提供するために使用され得る。
【0016】
車両106は、車両制御モジュール140、メモリ142、通信機144、およびディスプレイ146を含むことができる。メモリ142は、車両挙動データ148、車両センサデータおよび/またはパラメータ150、環境状態データ152、ならびに他のデータ154を格納することができる。ディスプレイ146は、車両106のダッシュボード上のディスプレイ、ヘッドアップディスプレイ、または車両106内の他のディスプレイとすることができ、運転者支援信号を車両運転者に提供するために使用される。運転者支援信号は、運転者支援モジュール147によって生成されてもよいし、サーバ108および/またはモバイルデバイス104から受信されてもよいし、および/またはサーバ108および/またはモバイルデバイス104からの信号に基づいて生成されてもよい。制御モジュール110、120、140は、通信機114、124、144を介して互いに通信することができる。
【0017】
図2は、オペレーティングシステム202を含むことができる車両200を示している。車両200は、図1の車両106の代わりになってもよいし、および/または、図1の車両106と同様に動作してもよい。オペレーティングシステム202は、コントローラエリアネットワーク(CAN)バス210を介して互いに通信することができる車両制御モジュール204、インフォテインメントモジュール206、および他の制御モジュール208を含むことができる。車両制御モジュール204は、図1の車両制御モジュール140と同様に動作することができ、運転者支援モジュール211および/または自律制御モジュール、エンジン制御モジュール、トランスミッション制御モジュール、およびモータ制御モジュールなどの他のモジュールを含む。運転者支援モジュール211は、(i)実行すべき提案動作および/または警告信号を、運転者に合図することによって受動的に、または(ii)車両200の1つ以上のアクチュエータおよび/または装置の動作を補助および/または制御することによって能動的に、車両の運転者を支援することができる。これには、車両200の設定パラメータを調整することを含むことができる。運転者支援モジュール211は、通信機213を介して、本明細書に記載のモバイルデバイス、クラウドベースのネットワークサーバのうちの1つと通信することができ、および/またはその1つからの車両挙動信号、運転者支援信号、および/または他の信号を受信することができる。
【0018】
オペレーティングシステム202は、通信機213、センサ214、ナビゲーションシステム216、メモリ218、ディスプレイ220、およびオーディオシステム222をさらに含むことができる。センサ214は、カメラ、物体検出センサ、温度センサ、加速度センサ(またはX、Y、Z方向またはヨー、ピッチおよびロールの加速度を検出するための加速度センサ)、車速センサ、および/または、パラメータおよび/または車両200の状態、車両200内の物体の状態、および/または車両200が置かれた環境に関する情報に関連するデータを提供する他のセンサを含むことができる。センサ214は、環境状態および車両装置の状態を検出する。ナビゲーションシステム216は、全地球測位システム(GPS)受信機224を含むことができる。GPS受信機224は、車両速度および/または車両の方向(または進行方向)を提供することができる。一実施形態では、車両制御モジュール204は、センサ214から収集したデータの少なくともいくつかをモバイルデバイス(例えば、本明細書に記載のモバイルデバイスのうちの1つ)に送信する。一実施形態では、車両200は、センサ214の一部または全部、CANバス210、および/または運転者支援モジュール211を含まない。
【0019】
メモリ218は、センサおよび/またはパラメータデータ230、車両挙動データ232、環境状態データ234、他のデータ236、およびアプリケーション238を格納することができる。アプリケーション238は、モジュール204、206、208によって実行されるアプリケーションを含むことができる。一例として、アプリケーションの1つは、運転者支援モジュール211によって実行され、車両200の運転者を支援するために使用される運転者支援アプリケーションであってもよい。
【0020】
車両制御モジュール204は、車両制御モジュール204および/または1つ以上の他のモジュール208によって設定されたパラメータに従って、エンジン240、変換器/発電機242、トランスミッション244、ウィンドウ/ドアシステム250、照明システム252、シートシステム254、ミラーシステム256、ブレーキシステム258、および電気モータ260、および/またはステアリングシステム262の動作を制御することができる。車両制御モジュール204は、電源264から電力を受け取ることができ、それは、エンジン240、変換器/発電機242、トランスミッション244、ウインドゥ/ドアシステム250、照明システム252、シートシステム254、ミラーシステム256,ブレーキシステム258、電気モータ260およびステアリングシステム262などに提供され得る。
【0021】
エンジン240、変換器/発電機242、トランスミッション244、ウィンドウ/ドアシステム250、照明システム252、シートシステム254、ミラーシステム256、ブレーキシステム258、電気モータ260、および/またはステアリングシステム262は、例えば、燃料、点火、空気流、スロットル位置、ペダル位置、ドアロック、ウィンドウ位置、シート角度、ランバーサポート位置および/または圧力、ミラー位置、ステレオプリセットなどを調整するための、車両制御モジュール204によって制御されるアクチュエータを含むことができる。この制御は、センサ214、ナビゲーションシステム216、およびGPS受信機224の出力に基づくことができる。記載された制御はまた、ユーザによって調整され得るユーザプロファイルのパラメータに一致するように実行されてもよい。オーディオシステム222は、ユーザによって設定され、およびモジュール204、206、208のうちの1つまたは複数によってユーザプロファイルに従って調整され得る、チャンネルプリセットおよび音量設定を有するステレオを含むことができる。
【0022】
図3は、図1のモバイルデバイス104の代わりになってもよいし、および/または同様に動作してもよいモバイルデバイス300を示している。モバイルデバイス300は、携帯電話、ラップトップコンピュータ、パーソナルデータアシスタントデバイス、ウェアラブルデバイス、および/または他のポータブルネットワークデバイスとすることができる。モバイルデバイス300は、モバイル制御モジュール302、センサ304、メモリ306、ディスプレイ308、オーディオシステム310、通信機312、および電源314を含むことができる、運転者支援システム301を含む。モバイル制御モジュール302は、車両挙動モジュール316および運転者支援モジュール318を含むことができる。図1の車両挙動モジュール129、129’、129’’は、車両挙動モジュール316と1つ以上の同じ動作を実行することができ、したがって、車両挙動モジュール316と類似した、または同じ動作をすることができる。車両挙動モジュール316は、さらに後述するように、センサ304の出力を監視して車両挙動信号を生成する。センサの出力、車両挙動モジュール316の出力、決定された運転者の行動、環境動作状態、および/またはメモリ306に記憶された他のデータに基づき、運転者支援モジュール318が運転者支援を提供する。これは、信号を生成、送信、表示、および/または可聴信号を生成して車両運転者を警告および/または支援することを含むことができる。
【0023】
センサ304は、角速度(またはジャイロ)センサ320、加速度センサ322、GPS受信機324、および/または他のセンサ326を含むことができる。車両挙動モジュール316は、センサ320、322、324、326の出力に基づいて車両挙動信号を生成する。
【0024】
メモリ306は、センサ320、322、324、326から受信したセンサデータ330を記憶する。メモリ306はまた、車両挙動データ332、環境状態データ334、正規化パラメータ336、モデル338、エンコーダ/デコーダ訓練パラメータ340、運転者支援アプリケーション342、および他のアプリケーション344も記憶する。正規化パラメータ336、モデル338、エンコーダ/デコーダ訓練パラメータ340、および運転者支援アプリケーション342は、図4図6の実施形態において以下で説明される。図5の方法は、運転者支援アプリケーション342を実行している間に、実行されることができる。
【0025】
運転者支援モジュール318は、ディスプレイ308上に運転者支援信号を表示することができ、および/またはオーディオシステム310を介して運転者支援可聴警報を提供することができる。モジュール302、316、318は、通信機312を介してクラウドベースネットワークのサーバおよび/または車両内のモジュールと通信することができ、これには車両挙動信号および/または運転者支援信号の送信を含むことができる。
【0026】
図4は、車両挙動モジュール316の詳細を図示する、図3のモバイルデバイス300の一部400を示す。その一部400は、モバイルセンサ304、メモリ306、正規化モジュール402、車両信号生成モジュール404、連結モジュール406、運転者予測モジュール408、運転者支援モジュール410、および通信機312を含む。車両信号生成モジュール404は、エンコーダ409およびデコーダ411を含み、モバイルセンサ信号を疑似運転者行動信号(本明細書では単に「車両挙動信号」と呼ぶ)に変換する。これらの信号は、車両の制御モジュールによって生成されず、および/または、CANバス上で検出されないので、生成された運転者行動信号は、「疑似車両挙動信号」と呼ばれる。擬似車両挙動信号は、むしろモバイルデバイス300によって生成され、実際の車両挙動信号を推定する、その実際の車両挙動信号は、車両がそれらの信号を提供するように構成され、提供することができる場合、車両の制御モジュールによって生成され得る。モジュール402、404、406、408、410、エンコーダ409、およびデコーダ411の動作が、図5の方法において、以下にさらに説明される。
【0027】
メモリ306は、正規化パラメータデータベース412、モデルデータベース414、および車両挙動データ416を格納する。メモリ306はカメラデータ418も記憶することができる。カメラデータ418は、モバイルデバイス300内のカメラによって生成されてもよく、および/またはドライブレコーダ420から受信されてもよい。データ格納モジュール422は、通信機312を介して受信したデータをメモリ306に格納することができ、および/またはメモリ306に格納されたデータをクラウドベースネットワークのサーバ、車両制御モジュール、および/または他のネットワークデバイスに送信することができる。
【0028】
一例として、ドライブレコーダ420が示されており、これはレコーダ制御モジュール430、カメラ432、メモリ434、および通信機436を含むことができる。ドライブレコーダ420は、例えば、自動車のフロントガラスの内側に取り付けられ、車両の前方のエリアを記録することができる。カメラ432は、車両の前方のエリアを撮像するために使用され得る。レコーダ制御モジュール430は、画像および/または対応する映像をメモリ434に記録する。これは、車両挙動モジュール316がモバイルセンサ信号を監視し、車両挙動信号に変換している前にまたはその間に起こり得る。画像および/または映像は、図3の車両挙動モジュール316、運転者支援モジュール318、および/または運転者予測モジュール408に送信することができる。
【0029】
本明細書に開示されているシステムは、多数の方法を用いて動作させることができ、例示的な方法が図5に示されている。図5において、擬似車両挙動信号を生成する方法を含む運転者支援方法が示される。以下の動作は、主に図1図4および図6の実施形態に関して説明されるが、その動作は、本開示の他の実装形態に適用するために容易に修正されることができる。動作は繰り返し実行されてもよい。方法は500で開始することができる。502で、正規化モジュール402は、モバイルセンサ304からモバイルセンサ信号を受信し、そのモバイルセンサ信号を正規化する。一実施形態において、正規化モジュール402はまた、車両制御モジュール204からセンサデータを受信する。これには、例えば、車両加速度データ、車両速度データ、車両進行方向データなどが含まれてもよい。センサ214および/またはGPS受信機224によって生成されたセンサ信号および対応する差分値が、正規化モジュール402に送信されてもよい。一例として、正規化モジュール402は、10ヘルツ(Hz)の速度で各センサ信号をサンプリングし、および/または10Hzの速度でセンサ信号からサンプリングされたデータを受信してもよい。
【0030】
正規化は、複数のモバイルセンサ信号のより簡単なタイミング合わせ、および同じおよび/または異なるタイプの複数の車両から受信された信号間のタイミング合わせを可能にする。車両のタイプは、車両の製造年、製造元、モデル、および整備レベルを意味する。これは、クラウドベースのネットワークのサーバ(例えば、サーバ108)内で異なるデバイスおよび/または車両、運転者予測モジュール408、運転者支援モジュール410、車両挙動モジュール316、および/または運転者支援モジュール318からの信号のタイミング合わせを実行するときに役立ち得る。
【0031】
504において、正規化モジュール402は、正規化パラメータデータベース412に格納された正規化パラメータなどの予め決められた正規化パラメータに基づいて、受信したセンサ信号および/またはセンサデータを正規化して、正規化信号を提供する。予め決められた正規化パラメータは、最小および最大範囲値、平均および/または分散を決定するかどうかの指標、分布タイプ、および/または他の正規化パラメータを含むことができる。一実施形態では、正規化モジュール402は、センサ信号およびデータを[-1 1]または[0 1]などの固定値範囲に正規化するか、または対応するデータを、平均(例えば0)と分散(例えば1)を有する正規分布に配置する。
【0032】
505において、まだ整列されていない場合、正規化モジュール402によって生成される、結果として得られる正規化信号が、車両挙動信号に変換される前に、時間的に整列される。時間的整列は、現在のイベントに対する信号のデータ点が時間に基づいて相関するように信号を整列させることを意味する。これにより、異なる時間に検出されたデータを評価したり、正しく整列されていないデータに基づいて操作を実行したりすることが防止される。一例として、各信号は、信号を整列させることを可能にする時間基準点および/またはイベントを有することができる。説明された整列は、モジュール302、402、404のいずれによっても実行されてもよい。この整列は、操作504と506の間で、またはこの方法の最中の異なる時点で実行することができる。正規化結果は、固定された時間ウィンドウ(例えば、10秒、正規化された信号あたり10Hzの観測値を有する100データポイント)に基づいて、車両信号生成モジュール404に送信される。
【0033】
506において、車両信号生成モジュール404は、正規化信号を車両挙動信号に変換(または換算)する。車両信号生成モジュール404は、機械学習(ML)モデルを介して正規化信号に基づいて擬似車両挙動信号を生成する。一例として、ディープニューラルネットワークをMLモデルとして使用することができる。一実施形態では、ディープニューラルネットワークを含む、エンコーダとデコーダのシーケンス間予測モデルが使用される。エンコーダとデコーダのシーケンス間予測モデル600(単に「モデル」と呼ばれることがある)の一例が図6に示され、以下にさらに説明される。
【0034】
モデルは事前訓練されており、結果として得られる訓練されたモデルのパラメータ値はモデルデータベース414に格納される。モデルが訓練されると、訓練されたパラメータ値に基づいて変換が実行される。訓練中に、対応する所定の既知の出力を有する所定の正規化信号を、エンコーダ602の入力に供給することができる。所定の既知の出力は、所定の正規化信号に基づいて生成された実際の出力と比較され、パラメータ値は、所定の既知の出力と実際の出力との間の誤差が最小化されるまで調整される。パラメータ値は、重み、係数、定数、および/または他のパラメータ値を含むことができる。
【0035】
モデルを使用することによって、車両信号生成モジュール404は、受信されたモバイルセンサ信号および車両センサデータの受信データ系列と同じ時間長さ(たとえば、それぞれ30秒)を有する推定車両挙動信号を生成する。一例として、車両信号生成モジュール404は、10Hzで動作し(1秒毎に10サンプルのデータを生成する)、車速信号、ステアリングホイール角信号、アクセルペダル操作信号、およびブレーキペダル操作信号を含む4種類の車両挙動信号を生成する。
【0036】
図6のエンコーダとデコーダのシーケンス間予測モデル600は、エンコーダ602とデコーダ604を含む。エンコーダ602は、第1の埋め込みモジュール606と、対応する1つまたは複数の層内の第1の長短期記憶(long short-term memory:LSTM)モジュール608を含む。本明細書で言及されるLSTMモジュールは、リカレントニューラルネットワーク(RNN)の層のための構成単位である。RNNはLSTMモジュールで構成され、しばしばLSTMネットワークと呼ばれる。一般的なLSTMモジュール(またはユニット)は、セル、入力ゲート、出力ゲートおよび忘却ゲートからなる。セルは、任意の時間間隔で値を「記憶」する責任がある。したがって、LSTMには「記憶」という言葉がある。3つのゲートの各々は、多層(またはフィードフォワード)ニューラルネットワークにおけるような、「従来の」人工ニューロンと呼ぶことができる。ゲートは、重み付き合計のアクティベーションを(活性化関数を使用して)計算する。直感的には、ゲートはLSTMの接続を通過する値の流れを調整するものとして考えることができる。それ故、「ゲート」と表示される。これらのゲートとセルの間に接続がある。長短期という表現は、長期間続くことができる、短期記憶のモデルであるLSTMを意味する。
【0037】
第1のLSTMモジュール608の各行は層と呼ばれることがある。一実施形態では、1層のみが使用される。他の実施形態では、3つの層が使用される。デコーダ604は、対応する1つまたは複数の層内の第2のLSTMモジュール610と、第2の埋め込みモジュール612とを含む。デコーダ604は、エンコーダと同様のプロセスを実行するが、逆の順序で行う。LSTMモジュール608、610は、複数の時定数ダイナミクスを利用するために、対応するLSTM層に積み重ねられてもよい。エンコーダは入力時系列信号をエンコードし、デコーダは出力時系列信号を生成する。一実施形態では、モジュール606、608、610、612の所定数の列(例えば300列)が含まれる。第1のLSTMモジュール608は、行と列を含むアレイに配置することができる。同様に、第2のLSTMモジュール610は、行と列を含むアレイに配置することができる。
【0038】
第1の埋め込みモジュール606は、エンコーダ602の第1の行に配置され、(矢印620によって示される)正規化信号を受信することができる。矢印620の各々は、モバイルセンサおよび/または車両センサの1つまたは複数の出力に対応する1つまたは複数の正規化信号を表すことができる。一例として、矢印620のそれぞれは、モバイルデバイス300の5つのモバイルセンサからの出力に基づいて生成された正規化信号を表すことができる。第1の埋め込みモジュール606のそれぞれは、5つのモバイルセンサのそれぞれからフレームを受信することができる。エンコーダ602が各センサ分のデータについて300列の入力を有し、エンコーダ602が10Hzで30秒の時間ウィンドウ間にデータを受信および/またはサンプリングする場合、300フレームのデータが各30秒の期間の間に300の入力にわたって受信される。
【0039】
埋め込みモジュール606のそれぞれは、重なり合うウィンドウに基づいてデータをサンプリングするように構成することができ、連続した各ウィンドウは、先のウィンドウから同じ所定の時間量だけシフトされる。例えば、ウィンドウが25%の重なりを有する場合、最初のウィンドウの間に収集されるデータの最後の25%が、次の連続したウィンドウの最初の25%として繰り返されてもよい。このパターンは、埋め込みモジュールの連続する各ペアについて繰り返されてもよい。これについてはさらに後述する。
【0040】
506Aにおいて、第1の埋め込みモジュール606は、正規化された信号をエンコードし、および/または別の特徴表現機能を実行することができる。埋め込みモジュール606は、正規化信号の線形結合を実行し、要約された特徴を抽出することができる。埋め込みモジュール606は、第1のLSTM608よりも正規化信号のより抽象的な表現を提供することができる。一例として、X、Y、Z加速度データが受信された場合、これらの信号は、式1で表されるように重み付き合計で結合され得る。ここで、C1、C2、C3は定数、X、Y、Zはx、y,z方向における加速度データ、およびSUMは結果として生じる合計である。
(数1) SUM=CX+CY+C
代替として、非線形結合が、例えば、合計の双曲線正接(tanh)を決定することによって提供されてもよい。
【0041】
506Bにおいて、第1のLSTMモジュール608は、埋め込みモジュール606の出力に基づいて、モデルセンサ信号および/または車両データをモデル化する。第1のLSTMモジュール608は、入力系列を固定次元のベクトルにマッピングすることができる。第1のLSTMモジュール608は、一度に1回の時間ステップで入力系列を読み取り、大きな固定次元ベクトル表現を得ることができる。第1のLSTMモジュール608の各行は、異なる速度ダイナミクスをモデル化し、および/または別のレベルの推定を提供することができる。含まれる層が多いほど、推定される出力信号はより良好および/またはより滑らかになる。追加の各行および/または各列は、変換されるべき適切なセンサデータの、よりフィルタリングされ、より近い推定値を提供する。第1のLSTMモジュール608は、結果として得られる出力値への行ごと列ごとの収束を提供する。
【0042】
506Cにおいて、第2のLSTMモジュール610は、第1のLSTMモジュール608のうちの最後のものの出力に基づいて車両挙動信号をモデル化する。第2のLSTMモジュール610は、ベクトルをデコードして、目標または出力系列を提供することができる。第2のLSTMモジュール610は、ベクトルから出力系列を抽出する。第2のLSTMモジュール610の各行は、異なる速度ダイナミクスをモデル化し、および/または別のレベルの推定を提供することができる。含まれる層が多いほど、推定される出力信号はより良好および/またはより滑らかになる。追加の各行および/または各列は、推定される車両挙動信号の、よりフィルタリングされ、より近い推定値を提供する。第2のLSTMモジュール610は、結果として得られる出力値への行ごと列ごとの収束を提供する。
【0043】
506Dにおいて、第2の埋め込みモジュール612は、第2のLSTMモジュール610の最後の行の出力をデコードして、結果として生じる擬似車両挙動信号を提供する。第2の埋め込みモジュール612は、線形投影オートデコーダとして実装されることができる。
【0044】
より正確な信号を生成するためにマルチタスク学習アプローチが実施されてもよい。図6は、複数の信号を並列に受信する単一のエンコーダと、複数の信号を並列に出力する単一のデコーダとを示すが、代替として、エンコーダの出力は、複数のデコーダのそれぞれに提供されてもよい。マルチタスク学習は、エンコーダに対しておよびデコーダに対して実施することができる。例えば、4つのデコーダを使用して、4つの車両挙動信号を独立して生成してもよい。4つの車両挙動信号は、車速信号、ステアリングホイール角信号、アクセルペダル操作信号、およびブレーキペダル操作信号であってもよい。車両挙動信号は連結モジュール406に送信される。
【0045】
508において、連結モジュール406は、第2の埋め込みモジュール612の時系列(または時間系列)の出力を連結して、擬似車両挙動信号(例えば擬似車両挙動信号622)の形態で車両挙動を表す複数の時系列データを形成する。所定量の連結が実行され得る。例えば、60個の連続した30秒の時間系列を連結して30分の時間系列を提供することができる。擬似車両挙動信号は、擬似CAN信号と呼ばれることがあり、CANメッセージと同様に使用され得る。連結モジュール406は、推定されている各車両挙動信号に対して、推定された時間系列を連結して単一の合成時間系列を形成する。結果として得られる時間系列は、推定される車両挙動信号について、各時間ステップで(例えば、10Hzサンプリングの場合、各時間ステップは0.1秒である)、生成された時間系列の平均値を計算することによって提供され得る。代替として、加重平均が計算されてもよいし、Gaussian processが実行されてもよいし、または単純な連結が実行されてもよい。
【0046】
別の例として、推定される車両挙動信号の時間系列の重なり合う部分について加重平均が計算されて、連続する一連のデータを提供してもよく、ここで時間系列の重なり合う部分に対応する一連のデータの一部は加重平均値にセットされる。これはスライディングウィンドウアプローチと呼ばれ、スライディングウィンドウ内にある時間系列の部分に対して加重平均が計算され、系列のそれぞれの重なり合う部分に対する平均を計算するためにウィンドウの開始時間と終了時間が調整される。一例として、車両挙動信号を推定するために使用される各時間系列は30秒のデータを有することができ、ここで各々のウィンドウの75%は次の連続するウィンドウと重なっている。その結果、第1のウィンドウは、今後の複数のウィンドウによって部分的にオーバーラップされ得る。スライディングウィンドウに関連する期間に含まれる時間系列内のデータが平均化され、および/またはその期間について平均が計算されて使用される。次いで、スライディングウィンドウの開始時間と終了時間が、例えば、系列の次の重なり部分の次の平均を計算するために所定の量だけ増分または増加される。このプロセスは、所定量の時間(例えば、30分)の連続データが提供されるまで繰り返されてもよい。
【0047】
510で、疑似車両挙動信号が、モバイルデバイスからサーバ108および/または車両制御モジュール204に送信される。次いで、車両の運転者支援モジュール211は、擬似車両挙動信号および/またはセンサ214、GPS受信機224、および/またはメモリ218から収集された他の情報に基づいて、インフォテインメントシステムを介してアラート、警告および/または運転者支援信号を生成することができる。これには、運転者にブレーキ圧力を増加させること、アクセルペダル踏力を減少させること、ステアリングホイールを特定の方向に転舵させることなどを指示することを含むことができる。
【0048】
512において、運転者予測モジュール408は、疑似車両挙動信号、モバイルセンサ信号、ドライブレコーダ420からの映像データ、車両センサからのデータ、および/または他のデータに基づいて、運転者の行動を予測することができる。これには、ステアリングホイール角度、ブレーキペダル位置、アクセルペダル位置、車速、加速度、減速度、および/または右/左への旋回、車線変更、停止などのより高度な運転行動を予測することを含むことができる。これにより、運転者支援モジュール318は、運転者が特定の環境状態に適切に対応しているかどうかを判断することができる。
【0049】
514において、運転者支援モジュール318は、擬似車両挙動信号によって示されるような現在の運転者行動、予測運転者行動、および/または、モバイルセンサ信号、ドライブレコーダ420からの映像データ、環境状態データ、および車両センサデータからのものなどの他の情報に基づいて、運転者支援信号を生成する。記載された信号および情報は、運転者支援モジュール318が、交通事象を検出し、運転者が現在どのように車両を運転して現在の状況に反応しているかに関する情報を保有し、運転者が交通事象にどう反応するかを予測することを可能とする。この情報の全ては、モバイルデバイス300からサーバ108に送信されることができる。
【0050】
516において、運転者支援信号は、ディスプレイ308および/またはオーディオシステム310を介して運転者に提供され得る。これには、ブレーキ圧を上げる、アクセルペダル踏力を下げる、ステアリングホイールを一定の方向に操舵するなどの推奨事項も含まれる。方法は、操作510、516を実行することに続いて、518で終了することができる。
【0051】
上述の動作は用例であることを意味する。動作は、順次に、同期的に、同時に、連続的に、重複する期間中に、または用途に応じて異なる順序で実行することができる。また、実行および/またはイベントのシーケンスに応じて、任意の動作が実行されなかったり、スキップされたりしてもよい。
【0052】
本明細書に開示される車両支援モジュールおよびシステムは、車両挙動信号を収集、送信、および/または記録するための電子機器を持たないかもしれない、従来の車両内からの車両挙動信号の収集および記憶を可能にする。車両挙動信号は、車両内に配置することができる、開示されたモバイルデバイスによって生成される。車両挙動信号は、モバイルデバイスに記憶され、および/またはクラウドベースのネットワークのサーバおよび/または他の車両に送信されることができる。モバイルデバイスは、車両内に配置されたドライブレコーダからのデータを受信し、記憶し、および/または車両内の制御モジュールおよび/またはサーバに送信することができる。
【0053】
記載された例を実行することによって、豊富な運転経験が従来の車両に提供される。モバイルデバイス内に配置された簡素および/または安価なセンサ、および/またはドライブレコーダを使用して、運転手の支援が従来の車両において提供される。モバイルセンサから車両挙動信号への変換は、時間遅延を考慮し、変換に統合されたフィルタリングを介してノイズを最小限に抑えながら実行される。
【0054】
前述の説明は、事実上単なる例示に過ぎず、本開示、その用途、または使用を限定するものでは決してない。本開示の広範な教示は、様々な形態で実施することができる。従って、本開示は特定の例を含むが、他の変形例が、図面、明細書及び添付の特許請求の範囲の検討から明らかになるので、本開示の真の範囲は、それに限定されるべきではない。方法における1つ又は複数のステップは、本開示の原理を変更することなく、異なる順序で(又は同時に)実行され得ることを理解されたい。さらに、それぞれの実施形態は、特定の特徴を有するものとして上述されたが、本開示の任意の実施形態に関して説明される任意の1つ又は複数の特徴は、該当する組合せが明示的に記載されていなくとも、任意の他の実施形態の特徴に実装され、及び/又は組み合わせることができる。換言すれば、説明された実施形態は、相互に排他的ではなく、1つ又は複数の実施形態の互いの入れ替えは、本開示の範囲内にとどまる。
【0055】
要素間(例えばモジュール間、回路素子間、半導体層間など)の空間的及び機能的関係は、「接続され」、「係合され」、「結合され」、「隣接」、「隣」、「上に」、「上方」、「下方」、及び「配置され」などを含む、様々な用語を用いて記載される。上記開示において、第1要素と第2要素との関係が記載されるときに、「直接」であると明示的に記載されていない限り、その関係は、第1及び第2の要素間に他の介在する要素が存在しない直接の関係でありえるだけでなく、第1及び第2の要素間に(空間的もしくは機能的に)1つ又は複数の介在する要素が存在する間接的な関係でもありえる。本明細書で使用されるように、A、B、及びCの少なくとも1つとのフレーズは、非排他的論理和を使用して、論理(A OR B OR C)を意味すると解釈されるべきであり、「Aのうちの少なくとも1つ、Bのうちの少なくとも1つ、及びCのうちの少なくとも1つ」を意味すると解釈されるべきではない。
【0056】
図面において、示される矢印の方向は、一般的に、例示に重要である(例えば、データ又は命令のような)情報の流れを示す。例えば、要素Aと要素Bとが多様な情報を交換するが、要素Aから要素Bへ送信される情報が図示に関連するとき、矢印は、要素Aから要素Bを指すかもしれない。このような一方向の矢印は、他の情報が要素Bから要素Aへ送信されないことを意味するものではない。さらに、要素Aから要素Bへ送信される情報について、要素Bは、要素Aに、情報に対する要求又は情報の受領通知を送信しても良い。
【0057】
以下の定義を含む本出願において、「モジュール」との用語又は「コントローラ」との用語は、「回路」という用語に置き換えることができる。用語「モジュール」は、特定用途向け集積回路(ASIC)、デジタル、アナログ、又は混合アナログ/デジタルディスクリート回路、デジタル、アナログ、又は混合アナログ/デジタル集積回路、組合せ論理回路、フィールドプログラマブルゲートアレイ(FPGA)、コードを実行するプロセッサ回路(共有、専用、又はグループ)と、プロセッサ回路によって実行されるコードを記憶するメモリ回路(共有、専用、又はグループ)と、説明された機能を提供する他の適切なハードウェア構成要素、又は、システムオンチップ(system-on-chip)のような、上記の一部又は全部の組み合わせを指しても良く、その一部であっても良いし、含んでいても良い。
【0058】
モジュールは、1つ又は複数のインターフェース回路を含んでも良い。いくつかの例では、インターフェース回路は、ローカルエリアネットワーク(LAN)、インターネット、ワイドエリアネットワーク(WAN)、又は、それらの組み合わせに接続された有線又は無線インターフェースを含むことができる。本開示の任意のモジュールの機能は、インターフェース回路を介して接続される複数のモジュールに分散されてもよい。例えば、複数のモジュールで負荷分散機能を可能にしても良い。さらなる例では、(リモート又はクラウドとしても知られている)サーバモジュールは、クライアントモジュールに代わっていくつかの機能を達成してもよい。
【0059】
上で使用されたように、「コード」との用語は、ソフトウェア、ファームウェア、および/またはマイクロコードを含むことができ、プログラム、ルーチン、機能、クラス、データ構造、および/またはオブジェクトを指すことができる。「共有プロセッサ回路」との用語は、複数のモジュールからのコードの一部又は全部を実行する単一のプロセッサ回路を包含する。「グループプロセッサ回路」との用語は、追加のプロセッサ回路と組み合わせて、1つ又は複数のモジュールからのコードの一部又は全部を実行するプロセッサ回路を包含する。複数のプロセッサ回路への言及は、ディスクリートダイ上の複数のプロセッサ回路、単一のダイ上の複数のプロセッサ回路、単一のプロセッサ回路の複数のコア、単一のプロセッサ回路の複数のスレッド、又は上記の組み合わせを包含する。「共有メモリ回路」との用語は、複数のモジュールからのコードの一部又は全部を格納する単一のメモリ回路を包含する。「グループメモリ回路」との用語は、追加のメモリと組み合わせて、1つ又は複数のモジュールからのコードの一部又は全部を格納するメモリ回路を包含する。
【0060】
「メモリ回路」との用語は、「コンピュータ可読媒体」との用語のサブセットである。本明細書で使用されるように、「コンピュータ可読媒体」との用語は、(搬送波上のような)媒体を通じて伝搬する一時的な電気信号又は電磁信号を包含せず、それゆえ、「コンピュータ可読媒体」との用語は、有形かつ非一時的であると見なすことができる。非一時的な有形のコンピュータ可読媒体の非限定的な例は、不揮発性メモリ回路(フラッシュメモリ回路、消去可能なプログラム可能な読み出し専用メモリ回路、又はマスク読み出し専用メモリ回路など)、揮発性メモリ回路(スタティックランダムアクセスメモリ回路又はダイナミックランダムアクセスメモリ回路など)、磁気記憶媒体(アナログ又はデジタル磁気テープ、又はハードディスクドライブなど)、及び、光記憶媒体(CD、DVD、又はブルーレイディスクなど)である。
【0061】
本出願に記載された装置及び方法は、コンピュータプログラムに組み込まれた1つ又は複数の特定の機能を実行するように汎用コンピュータを構成することによって作成された専用コンピュータによって部分的又は完全に実現されてもよい。上述した機能ブロック、フローチャートの構成要素、および上述された他の要素は、熟練技術者又はプログラマーのルーチン作業によってコンピュータプログラムに翻訳することができるソフトウェア仕様として機能する。
【0062】
コンピュータプログラムは、少なくとも1つの非一時的な有形のコンピュータ可読媒体に記憶されたプロセッサ実行可能命令を含む。コンピュータプログラムは、記憶されたデータを含むか又はそれに依拠することができる。コンピュータプログラムは、専用コンピュータのハードウェアと相互作用する基本入出力システム(BIOS)、専用コンピュー
タの特定のデバイスと相互作用するデバイスドライバ、1つ又は複数のオペレーティングシステム、ユーザアプリケーション、バックグラウンドサービス、バックグラウンドアプリケーションなどを含んでも良い。
【0063】
コンピュータプログラムは、(i)HTML(ハイパーテキストマークアップ言語)、XML(拡張可能マークアップ言語)、またはJSON(ジャバスクリプトオブジェクト表記)のような構文解析される記述テキスト、(ii)アセンブリコード、(iii)コンパイラによってソースコードから生成されたオブジェクトコード、(iv)インタプリタによる実行のためのソースコード、(v)ジャストインタイムコンパイラによるコンパイル及び実行のためのソースコードなどを含んでも良い。例としてのみ、ソースコードは、C、C++、C#、オブジェクティブC、Swift、Haskell、Go、SQL、R、Lisp、Java(登録商標)、Fortran、Perl、Pascal、Curl、OCaml、Javascript(登録商標)、HTML5(ハイパーテキストマークアップ言語第5版)、Ada、ASP(Active Server Pages)、PHP(ハイパーテキストプリプロセッサ)、Scala、Eiffel、Smalltalk、Erlang、Ruby、Flash(登録商標)、Visual Basic(登録商標)、Lua、MATLAB、SIMULINK、及びPython(登録商標)を含む言語から構文を使用して記述することができる。
【符号の説明】
【0064】
100:運転者支援システム、102:クラウドベースネットワーク、104:モバイルデバイス、106:車両、108:サーバ、110:サーバ制御モジュール、112:メモリ、114:通信機、118:データベース、120:モバイルデバイス制御モジュール、122:メモリ、124:通信機、125:センサ、126:ディスプレイ、128:入力装置、129、129’、129’’:車両挙動モジュール、130:センサデータ、131:車両挙動データ、132:環境状態データ、134:他のデータ、140:車両制御モジュール、142:メモリ、144:通信機、146:ディスプレイ、147:運転者支援モジュール、148:車両挙動データ、150:センサデータ、152:環境状態データ、154:他のデータ
図1
図2
図3
図4
図5
図6