特開2022-80280ハイブリッド学習に基づくドライバー方向転換意思予測方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022080280
(43)【公開日】2022-05-27
(54)【発明の名称】ハイブリッド学習に基づくドライバー方向転換意思予測方法
(51)【国際特許分類】
G08G 1/00 20060101AFI20220520BHJP
A61B 5/397 20210101ALI20220520BHJP
A61B 5/18 20060101ALI20220520BHJP
【ＦＩ】
G08G1/00 A
A61B5/397
A61B5/18
【審査請求】未請求
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2021179314
(22)【出願日】2021-11-02
(31)【優先権主張番号】202011286713.0
(32)【優先日】2020-11-17
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】506259634
【氏名又は名称】清華大学
【氏名又は名称原語表記】ＴＳＩＮＧＨＵＡ ＵＮＩＶＥＲＳＩＴＹ
【住所又は居所原語表記】Ｑｉｎｇｈｕａｙｕａｎ，Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ，Ｂｅｉｊｉｎｇ １０００８４，Ｃｈｉｎａ
(71)【出願人】
【識別番号】000001247
【氏名又は名称】株式会社ジェイテクト
(74)【代理人】
【識別番号】100109210
【弁理士】
【氏名又は名称】新居 広守
(72)【発明者】
【氏名】劉 亜輝
(72)【発明者】
【氏名】川原 禎弘
【テーマコード（参考）】
4C038
4C127
5H181
【Ｆターム（参考）】
4C038PQ04
4C038VB11
4C038VB34
4C127AA04
4C127GG10
5H181AA01
5H181BB04
5H181EE02
5H181FF10
5H181LL09
(57)【要約】 （修正有）
【課題】ドライバー方向転換意思予測方法の提供。
【解決手段】ドライバー方向転換意思予測方法に関し、１）運転シミュレーションプラットフォームにおいて収集したマルチモードデータに対し前処理を行う、２）前処理後のマルチモードデータに基づいてハイブリッド学習時系列モデルを構築する、３）スマートカーにハイブリッド学習時系列モデルを搭載し、オンラインで収集したドライバーの筋電信号シーケンスを当該ハイブリッド学習時系列モデルに入力し予測を行い、ドライバーの連続方向転換意思予測および離散方向転換意思予測結果を得るステップとを含む。
【選択図】図１
【解決手段】ドライバー方向転換意思予測方法に関し、１）運転シミュレーションプラットフォームにおいて収集したマルチモードデータに対し前処理を行う、２）前処理後のマルチモードデータに基づいてハイブリッド学習時系列モデルを構築する、３）スマートカーにハイブリッド学習時系列モデルを搭載し、オンラインで収集したドライバーの筋電信号シーケンスを当該ハイブリッド学習時系列モデルに入力し予測を行い、ドライバーの連続方向転換意思予測および離散方向転換意思予測結果を得るステップとを含む。
【選択図】図１
【特許請求の範囲】
【請求項1】
ハイブリッド学習に基づくドライバー方向転換意思予測方法であって、
１）運転シミュレーションプラットフォームにおいてマルチモードデータ収集を行い、収集したマルチモードデータに対し前処理を行うステップと、
２）前処理後のマルチモードデータに基づいてハイブリッド学習時系列モデルを構築するステップと、
３）スマートカーにハイブリッド学習時系列モデルを搭載し、オンラインで収集したドライバーの筋電信号シーケンスを当該ハイブリッド学習時系列モデルに入力し予測を行い、ドライバーの連続方向転換意思予測および離散方向転換意思予測結果を得るステップとを含み、
前記ステップ１）において、運転シミュレーションプラットフォームにおいてマルチモードデータ収集を行い、収集したデータに対し前処理を行う方法は、
１．１）運転シミュレーションプラットフォームを構築するステップと、
１．２）構築した運転シミュレーションプラットフォームにおいてマルチモードデータ収集を行い、収集したマルチモードデータは右片手運転および両手運転の２種類の運転モードでの、３種類の異なる運転姿勢の筋電信号データおよび方向転換トルクデータを含むステップと、
１．３）収集したマルチモードデータに対しノイズ除去および平滑処理を行うステップとを含み、
１．１）のステップにおいて、運転シミュレーションプラットフォームを用いて運転シミュレーションシーンを構築し、運転室下方に車両の動的応答をフィードバックするための油圧サーボシステムを設け、操舵部材の下方にリアルタイムに方向転換動力学データを検出するための力覚センサおよびトルク角度センサを設け、筋電信号収集器は筋電計および筋電収集電極を含み、筋電収集電極はドライバーの身体に貼り付けられ、収集された筋電データは筋電計に無線により送信される
ハイブリッド学習に基づくドライバー方向転換意思予測方法。
１）運転シミュレーションプラットフォームにおいてマルチモードデータ収集を行い、収集したマルチモードデータに対し前処理を行うステップと、
２）前処理後のマルチモードデータに基づいてハイブリッド学習時系列モデルを構築するステップと、
３）スマートカーにハイブリッド学習時系列モデルを搭載し、オンラインで収集したドライバーの筋電信号シーケンスを当該ハイブリッド学習時系列モデルに入力し予測を行い、ドライバーの連続方向転換意思予測および離散方向転換意思予測結果を得るステップとを含み、
前記ステップ１）において、運転シミュレーションプラットフォームにおいてマルチモードデータ収集を行い、収集したデータに対し前処理を行う方法は、
１．１）運転シミュレーションプラットフォームを構築するステップと、
１．２）構築した運転シミュレーションプラットフォームにおいてマルチモードデータ収集を行い、収集したマルチモードデータは右片手運転および両手運転の２種類の運転モードでの、３種類の異なる運転姿勢の筋電信号データおよび方向転換トルクデータを含むステップと、
１．３）収集したマルチモードデータに対しノイズ除去および平滑処理を行うステップとを含み、
１．１）のステップにおいて、運転シミュレーションプラットフォームを用いて運転シミュレーションシーンを構築し、運転室下方に車両の動的応答をフィードバックするための油圧サーボシステムを設け、操舵部材の下方にリアルタイムに方向転換動力学データを検出するための力覚センサおよびトルク角度センサを設け、筋電信号収集器は筋電計および筋電収集電極を含み、筋電収集電極はドライバーの身体に貼り付けられ、収集された筋電データは筋電計に無線により送信される
ハイブリッド学習に基づくドライバー方向転換意思予測方法。
【請求項2】
前記ステップ２）において、前処理後のマルチモードデータに基づいてハイブリッド学習時系列モデルを構築する方法は、
２．１）ハイブリッド学習時系列モデルを構築するステップと、
２．２）処理後のマルチモードデータを用いて構築したハイブリッド学習時系列モデルに対しトレーニングを行い、ハイブリッド学習時系列モデルパラメータを取得するステップと、
２．３）従来のドライバー方向転換意思予測モデルに基づいてハイブリッド学習時系列モデルの連続方向転換トルク予測結果に対し評価および比較を行い、評価および比較結果に基づいてハイブリッド学習時系列モデルに対し修正または調整を行うステップとを含む
請求項１に記載のハイブリッド学習に基づくドライバー方向転換意思予測方法。
２．１）ハイブリッド学習時系列モデルを構築するステップと、
２．２）処理後のマルチモードデータを用いて構築したハイブリッド学習時系列モデルに対しトレーニングを行い、ハイブリッド学習時系列モデルパラメータを取得するステップと、
２．３）従来のドライバー方向転換意思予測モデルに基づいてハイブリッド学習時系列モデルの連続方向転換トルク予測結果に対し評価および比較を行い、評価および比較結果に基づいてハイブリッド学習時系列モデルに対し修正または調整を行うステップとを含む
請求項１に記載のハイブリッド学習に基づくドライバー方向転換意思予測方法。
【請求項3】
前記ステップ２．１）において、構築されるハイブリッド学習時系列モデルは連続方向転換予測ネットワークモデルおよび離散方向転換予測ネットワークモデルを含み、前記連続方向転換予測ネットワークモデルおよび離散方向転換予測ネットワークモデルは同じく双方向ＬＳＴＭベースＲＮＮネットワーク層を採用し、
前記連続方向転換予測ネットワークモデルは、さらに、第１個別化双方向ＬＳＴＭ ＲＮＮネットワーク層、第１全結合層および第１出力層を含み、前記双方向ＬＳＴＭベースＲＮＮネットワーク層の出力データに基づいてドライバー連続方向転換意思を予測し、
前記離散方向転換予測ネットワークモデルは、さらに、第２個別化双方向ＬＳＴＭ ＲＮＮネットワーク層、第２全結合層および第２出力層を含み、前記双方向ＬＳＴＭベースＲＮＮネットワーク層の出力データに基づいてドライバーの離散方向転換意思を予測する
請求項２に記載のハイブリッド学習に基づくドライバー方向転換意思予測方法。
前記連続方向転換予測ネットワークモデルは、さらに、第１個別化双方向ＬＳＴＭ ＲＮＮネットワーク層、第１全結合層および第１出力層を含み、前記双方向ＬＳＴＭベースＲＮＮネットワーク層の出力データに基づいてドライバー連続方向転換意思を予測し、
前記離散方向転換予測ネットワークモデルは、さらに、第２個別化双方向ＬＳＴＭ ＲＮＮネットワーク層、第２全結合層および第２出力層を含み、前記双方向ＬＳＴＭベースＲＮＮネットワーク層の出力データに基づいてドライバーの離散方向転換意思を予測する
請求項２に記載のハイブリッド学習に基づくドライバー方向転換意思予測方法。
【請求項4】
前記連続方向転換予測ネットワークモデルは以下のように表され、
は連続方向転換予測ネットワーク最後の出力層であり、
は１００個のニューロンにより構成される第１全結合層であり、
は第１個別化双方向ＬＳＴＭ ＲＮＮネットワークであり、各方向の方向転換トルク予測シーケンスが４０個のＬＳＴＭセルを有し、
は双方向ＬＳＴＭベースＲＮＮネットワークであり、各方向の共通時間モードは６０個のＬＳＴＭセルを抽出し、
はｔ時刻の方向転換トルク予測シーケンスであり、以下のように表され、
はｔ＋ｐ時間ステップの予測方向転換トルクであり、
は予測時間領域であり、連続方向転換予測ネットワークモデルの入力
は以下のように表され、
はｔ－ｈ時間ステップのｉ番目の筋電信号であり、
は入力長さを制御するための履歴時間領域であり、連続方向転換予測の場合、固定の履歴時間領域値２００を用い、
平均二乗誤差損失関数
を用いて連続するシーケンス間の方向転換トルク予測を行い、
その計算式は以下のように表され、
はシーケンス長であり、
は第ｉステップの目標出力であり、
は連続方向転換予測ネットワークモデルの予測出力である
請求項３に記載のハイブリッド学習に基づくドライバー方向転換意思予測方法。
【数1】
【数2】
【数3】
【数4】
【数5】
【数6】
【数7】
【数8】
【数9】
【数10】
【数11】
【数12】
【数13】
平均二乗誤差損失関数
【数14】
その計算式は以下のように表され、
【数15】
【数16】
【数17】
【数18】
請求項３に記載のハイブリッド学習に基づくドライバー方向転換意思予測方法。
【請求項5】
前記離散方向転換予測ネットワークモデルは以下のように表され、
は離散意思分類の第２出力層であり、
は１００個のニューロンにより構成される第２全結合層であり、
は第２個別化双方向ＬＳＴＭ ＲＮＮネットワークであり、各方向のシーケンス方向転換トルク予測は４０個のＬＳＴＭセルを有し、
は双方向ＬＳＴＭベースＲＮＮネットワークであり、前記連続方向転換予測ネットワークモデルと同じであり、
前記離散方向転換予測ネットワークモデルの入力
は以下のように表され、
はｔ－ｈ時間ステップのｉ番目の筋電信号であり、
は入力長さを制御するための履歴時間領域であり、離散方向転換意思予測ケースにおいて、ｈは１００から８００の間で変化し、
前記離散意思予測ネットワークモデルが用いる損失関数は交差エントロピー損失関数であり以下のように表され、
はサンプル総数であり、
はカテゴリ数であり、
はｉ番目のサンプルがｊ番目のカテゴリに属することを示し、
はｓｏｆｔｍａｘ層出力であり、 サンプルとカテゴリとの関連する確率を示す
請求項３に記載のハイブリッド学習に基づくドライバー方向転換意思予測方法。
【数19】
【数20】
【数21】
【数22】
【数23】
前記離散方向転換予測ネットワークモデルの入力
【数24】
【数25】
【数26】
【数27】
前記離散意思予測ネットワークモデルが用いる損失関数は交差エントロピー損失関数であり以下のように表され、
【数28】
【数29】
【数30】
【数31】
【数32】
請求項３に記載のハイブリッド学習に基づくドライバー方向転換意思予測方法。
【請求項6】
前記ステップ２．２）において、処理後のマルチモードデータを用いて構築したハイブリッド学習時系列モデルに対しトレーニングを行い、ハイブリッド学習時系列モデルパラメータを取得する方法は、
２．２．１）２００ｍｓ予測時間領域および履歴時間領域に基づいてシーケンスデータを分割し、両手運転モードおよび片手運転モードでのシーケンスデータにより構成されるデータセットを取得するステップと、
２．２．２）データセットからトレーニングデータおよびテストデータを任意に選択し、そのうち８０％のデータがモデルトレーニングに用いられ、残りのデータがモデルテストに用いられるステップと、
２．２．３）トレーニングデータを用いて連続方向転換予測ネットワークモデルに対しトレーニングを行い、トレーニングされた連続方向転換予測ネットワークモデルのモデルパラメータを取得するステップと、
２．２．４）連続方向転換予測ネットワークモデルにおける双方向ＬＳＴＭベースＲＮＮネットワーク層と離散意思予測ネットワークモデルにおける第２個別化双方向ＬＳＴＭ ＲＮＮネットワーク層および第２全結合層とを結合し、転移学習方法に基づいて離散方向転換意思予測を行い、トレーニングされた離散意思予測ネットワークモデルのネットワークパラメータを取得するステップとを含む
請求項３に記載のハイブリッド学習に基づくドライバー方向転換意思予測方法。
２．２．１）２００ｍｓ予測時間領域および履歴時間領域に基づいてシーケンスデータを分割し、両手運転モードおよび片手運転モードでのシーケンスデータにより構成されるデータセットを取得するステップと、
２．２．２）データセットからトレーニングデータおよびテストデータを任意に選択し、そのうち８０％のデータがモデルトレーニングに用いられ、残りのデータがモデルテストに用いられるステップと、
２．２．３）トレーニングデータを用いて連続方向転換予測ネットワークモデルに対しトレーニングを行い、トレーニングされた連続方向転換予測ネットワークモデルのモデルパラメータを取得するステップと、
２．２．４）連続方向転換予測ネットワークモデルにおける双方向ＬＳＴＭベースＲＮＮネットワーク層と離散意思予測ネットワークモデルにおける第２個別化双方向ＬＳＴＭ ＲＮＮネットワーク層および第２全結合層とを結合し、転移学習方法に基づいて離散方向転換意思予測を行い、トレーニングされた離散意思予測ネットワークモデルのネットワークパラメータを取得するステップとを含む
請求項３に記載のハイブリッド学習に基づくドライバー方向転換意思予測方法。
【請求項7】
前記ステップ３）において、オンライン方向転換意思予測を行う方法は、
３．１）リアル運転環境においてドライバーが運転する時の筋電信号を収集し、収集した筋電信号に対し前処理を行うステップと、
３．２）処理後の筋電信号シーケンスを入力として、ハイブリッド学習時系列モデルに入力し、予測した方向転換トルクシーケンスを出力するステップとを含み、数式を用いて以下のように表され、
ＣＳＩＰ（）はハイブリッド学習時系列モデルであり、Ｘは処理後の筋電信号シーケンスであり、Ｙは予測した将来の連続方向転換トルクシーケンスおよび離散方向転換意思分類である
請求項１に記載のハイブリッド学習に基づくドライバー方向転換意思予測方法。
３．１）リアル運転環境においてドライバーが運転する時の筋電信号を収集し、収集した筋電信号に対し前処理を行うステップと、
３．２）処理後の筋電信号シーケンスを入力として、ハイブリッド学習時系列モデルに入力し、予測した方向転換トルクシーケンスを出力するステップとを含み、数式を用いて以下のように表され、
【数33】
請求項１に記載のハイブリッド学習に基づくドライバー方向転換意思予測方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、スマート運転技術分野に関し、特にハイブリッド学習に基づくドライバー方向転換意思予測方法に関する。
【背景技術】
【0002】
自動運転技術の急速な発展は自動車産業および学界に対し一連の困難な問題を提起している。ここで、人間であるドライバーが将来の自動運転車両において担うことのできる役割および人間とスマートカーとがどのように効果的に連携するかを模索することは必要不可欠な責務の一つである。相互理解はマルチエージェントのグループ化および連携の１つの重要な側面であり、双方の意思を理解することにより、人間であるドライバーとスマートカーとが効果的に連携することができる。完全自動運転車を実現する前に、ドライバーは一部の車両制御権限を自動化機器と共有する必要がある。このような場合、ドライバーの方向転換意思を予測することによりスマートカーはドライバーに対する支援および連携ポリシーを早期に最適化することができ、ドライバーと車両との連携に高性能な相互理解システムを提供することができる。
【0003】
ドライバー方向転換意思は人を中心とする自動運転システムの発展に対し極めて重要な役割を果たす。具体的には、ドライバー意思予測による自動運転技術の利点は主に２つある。まず、ドライバー意思予測は共通の制御および共通の方向転換ポリシーの最適化に用いられる。方向転換トルク等による将来の方向転換意思の連続予測に対し、方向転換制御システムを共有するために必要な情報を提供する。正常および重要な環境下での安全運転を保証するように、補償および最適化した方向転換ポリシーは自動化により予め特定することができる。次に、一部自動化した運転車両について、人間であるドライバーと自動化車両との間の制御権の切り替えが安全にかつ安定して行われる。人間であるドライバーは自動運転が一定時間経過した後、運転技能が低下する現象が生じる可能性があるので、人間であるドライバーが操縦を引き継いだ後の運転性能を評価することは極めて重要である。そのため、ドライバーの方向転換意思を予測して自動化車両に将来の運転行為を評価させて、運転リスクを評価し、ドライバーに対し必要なサポートを提供する。
【0004】
従来のドライバー意思予測の研究は主にドライバーの運転意思、例えばブレーキ、車線変更およびカーブ意思の推定に集中している。高速道路および一般道において、車線変更意思の予測精度は３．５ｓ以上に達し、予測精度は８０％に達することが分かっている。現在、大多数の研究はビデオシーケンスと内外環境、デジタル地図、ＧＰＳおよびＬｉＤＡＲ情報に基づいて離散意思分類および予測として結合することに集中しているが、これらの方法は通常複雑なセンサ結合およびデータ連携を必要とする。ＬＤＷシステムは車線変更前の０～１．５ｓの意思を予測する場合に非常に有効であることが分かっているが、運転意思について大きい予測範囲内（通常は０ｓ～３．５ｓ）で予測を行うこともできるが、ドライバーの生体状態と運転行為とは関連性が欠如するので、離散的な意思状態しか予測できない。
【0005】
ドライバーの神経筋肉動力学および筋電信号について、過去数十年間で広範な研究が行われている。従来の研究は主に先進運転支援システム（ＡＤＡＳ）の方向転換支援システム設計、力覚共有制御および受信制御等に集中している。筋電信号および神経筋肉動力学は運転行為モデリングおよび予測の面で広範な研究が行われているが、連続および離散意思予測について、長い予測期間を有する運転意思予測は依然として開発および定量分析を必要とする。
【発明の概要】
【発明が解決しようとする課題】
【0006】
上記の問題に対し、本発明は、筋電図信号処理および時系列モデリングに基づいて、ドライバー方向転換意思を予測する、ハイブリッド学習に基づくドライバー方向転換意思予測方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記の目的を実現するために、本発明は以下の技術手段を用いる。
【0008】
ハイブリッド学習に基づくドライバー方向転換意思予測方法であって、１）運転シミュレーションプラットフォームにおいてマルチモードデータ収集を行い、収集したマルチモードデータに対し前処理を行うステップと、２）前処理後のマルチモードデータに基づいてハイブリッド学習時系列モデルを構築するステップと、３）スマートカーにハイブリッド学習時系列モデルを搭載し、オンラインで収集したドライバーの筋電信号シーケンスを当該ハイブリッド学習時系列モデルに入力し予測を行い、ドライバーの連続方向転換意思予測および離散方向転換意思予測結果を得るステップとを含む。
【0009】
さらに、前記ステップ１）において、運転シミュレーションプラットフォームにおいてマルチモードデータ収集を行い、収集したデータに対し前処理を行う方法は、１．１）運転シミュレーションプラットフォームを構築するステップと、１．２）構築した運転シミュレーションプラットフォームにおいてマルチモードデータ収集を行い、収集したマルチモードデータは右片手運転および両手運転の２種類の運転モードでの、３種類の異なる運転姿勢の筋電信号データおよび方向転換トルクデータを含むステップと、１．３）収集したマルチモードデータに対しノイズ除去および平滑処理を行うステップとを含み、１．１）のステップにおいて、運転シミュレーションプラットフォーム（例；ＣａｒＳｉｍ（登録商標））を用いて運転シミュレーションシーンを構築し、運転室の下方に車両の動的応答をフィードバックするための油圧サーボシステムを設け、操舵部材（ステアリングホイールなど）の下方にリアルタイムに方向転換動力学データを検出するための力覚センサおよびトルク角度センサを設け、筋電信号収集器は筋電計および筋電収集電極を含み、筋電収集電極はドライバーの身体に貼り付けられ、収集された筋電データは筋電計に無線により送信され、力覚センサ(例；型番ＤｙｎＰｉｃｋ（登録商標） ＷＥＦ－６Ａ１０００)を採用し、トルク角度センサ(例；型番ＴＲ－６０ＴＣ)を採用し、筋電信号収集電極(例；型番日本光電ＺＢ－１５０Ｈ)を採用し、サンプリング周波数は１０００ヘルツである。
【0010】
さらに、前記ステップ２）において、前処理後のマルチモードデータに基づいてハイブリッド学習時系列モデルを構築する方法は、２．１）ハイブリッド学習時系列モデルを構築するステップと、２．２）処理後のマルチモードデータを用いて構築したハイブリッド学習時系列モデルに対しトレーニングを行い、ハイブリッド学習時系列モデルパラメータを取得するステップと、２．３）従来のドライバー方向転換意思予測モデルに基づいてハイブリッド学習時系列モデルの連続方向転換トルク予測結果に対し評価および比較を行い、評価および比較結果に基づいてハイブリッド学習時系列モデルに対し修正または調整を行うステップとを含む。
【0011】
さらに、前記ステップ２．１）において、構築されるハイブリッド学習時系列モデルは連続方向転換予測ネットワークモデルおよび離散方向転換予測ネットワークモデルを含み、前記連続方向転換予測ネットワークモデルおよび離散方向転換予測ネットワークモデルは同じく双方向ＬＳＴＭベースＲＮＮネットワーク層を採用し、前記連続方向転換予測ネットワークモデルは、さらに、第１個別化双方向ＬＳＴＭ ＲＮＮネットワーク層、第１全結合層および第１出力層を含み、前記双方向ＬＳＴＭベースＲＮＮネットワーク層の出力データに基づいてドライバー連続方向転換意思を予測し、前記離散方向転換予測ネットワークモデルは、さらに、第２個別化双方向ＬＳＴＭ ＲＮＮネットワーク層、第２全結合層および第２出力層を含み、前記双方向ＬＳＴＭベースＲＮＮネットワーク層の出力データに基づいてドライバーの離散方向転換意思を予測する。
【0012】
さらに、前記連続方向転換予測ネットワークモデルは以下のように表される。
【0013】
【数1】
【0014】
ここで、
は連続方向転換予測ネットワーク最後の出力層であり、
は１００個のニューロンにより構成される第１全結合層であり、
は第１個別化双方向ＬＳＴＭ ＲＮＮネットワークであり、各方向の方向転換トルク予測シーケンスが４０個のＬＳＴＭセルを有し、
は双方向ＬＳＴＭベースＲＮＮネットワークであり、各方向の共通時間モードは６０個のＬＳＴＭセルを抽出する。
【数2】
【数3】
【数4】
【数5】
【0015】
【数6】
【0016】
【数7】
【0017】
ここで、
はｔ＋ｐ時間ステップの予測方向転換トルクであり、
は予測時間領域である。
【数8】
【数9】
【0018】
連続方向転換予測ネットワークモデルの入力
は以下のように表される。
【数10】
【0019】
【数11】
【0020】
ここで、
はｔ－ｈ時間ステップのｉ番目の筋電信号であり、
は入力長さを制御するための履歴時間領域であり、連続方向転換予測の場合、固定の履歴時間領域値２００を用いる。
【数12】
【数13】
【0021】
平均二乗誤差損失関数
を用いて連続するシーケンス間の方向転換トルク予測を行い、その計算式は以下のように表される。
【数14】
【0022】
【数15】
【0023】
ここで、
はシーケンス長であり、
は第ｉステップの目標出力であり、
は連続方向転換予測ネットワークモデルの予測出力である。
【数16】
【数17】
【数18】
【0024】
さらに、前記離散意思予測ネットワークは以下のように表される。
【0025】
【数19】
【0026】
ここで、
は離散意思分類の第２出力層であり、
は１００個のニューロンにより構成される第２全結合層であり、
は第２個別化双方向ＬＳＴＭ ＲＮＮネットワークであり、各方向のシーケンス方向転換トルク予測は４０個のＬＳＴＭセルを有し、
は双方向ＬＳＴＭベースＲＮＮネットワークであり、前記連続方向転換予測ネットワークモデルと同じである。
【数20】
【数21】
【数22】
【数23】
【0027】
前記離散方向転換予測ネットワークモデルの入力
は以下のように表される。
【数24】
【0028】
【数25】
【0029】
ここで、
はｔ－ｈ時間ステップのｉ番目の筋電信号であり、
は入力長さを制御するための履歴時間領域であり、離散方向転換意思予測ケースにおいて、ｈは１００から８００の間で変化する。
【数26】
【数27】
【0030】
前記離散意思予測ネットワークが用いる損失関数は交差エントロピー損失関数であり以下のように表される。
【0031】
【数28】
【0032】
ここで、
はサンプル総数であり、
はカテゴリ数であり、
はｉ番目のサンプルがｊ番目のカテゴリに属することを示し、
はｓｏｆｔｍａｘ層出力であり、サンプルとカテゴリとの関連する確率を示す。
【数29】
【数30】
【数31】
【数32】
【0033】
さらに、前記ステップ２．２）において、処理後のマルチモードデータを用いて構築したハイブリッド学習時系列モデルに対しトレーニングを行い、ハイブリッド学習時系列モデルパラメータを取得する方法は、２．２．１）２００ｍｓ予測時間領域および履歴時間領域に基づいてシーケンスデータを分割し、両手運転モードおよび片手運転モードでのシーケンスデータにより構成されるデータセットを取得するステップと、２．２．２）データセットからトレーニングデータおよびテストデータを任意に選択し、そのうち８０％のデータがモデルトレーニングに用いられ、残りのデータがモデルテストに用いられるステップと、２．２．３）トレーニングデータを用いて連続方向転換予測ネットワークモデルに対しトレーニングを行い、トレーニングされた連続方向転換予測ネットワークモデルのモデルパラメータを取得するステップと、２．２．４）連続方向転換予測ネットワークモデルにおける双方向ＬＳＴＭベースＲＮＮネットワーク層と離散意思予測ネットワークモデルにおける第２個別化双方向ＬＳＴＭ ＲＮＮネットワーク層および第２全結合層とを結合し、転移学習方法に基づいて離散方向転換意思予測を行い、トレーニングされた離散意思予測ネットワークモデルのネットワークパラメータを取得するステップとを含む。
【0034】
さらに、前記ステップ３）において、オンライン方向転換意思予測を行う方法は、３．１）リアル運転環境においてドライバーが運転する時の筋電信号を収集し、収集した筋電信号に対し前処理を行うステップと、３．２）処理後の筋電信号シーケンスを入力として、ハイブリッド学習時系列モデルに入力し、予測した方向転換トルクシーケンスを出力するステップとを含み、数式を用いて以下のように表される。
【0035】
【数32】
【0036】
ここで、ＣＳＩＰ（）はハイブリッド学習時系列モデルであり、Ｘは処理後の筋電信号シーケンスであり、Ｙは予測した将来の連続方向転換トルクシーケンスおよび離散方向転換意思分類である。
【発明の効果】
【0037】
本発明は以上の技術手段を用いることにより、以下の利点を有する。
【0038】
１、本発明はハイブリッド学習に基づく時系列モデリング方法により連続方向転換トルク予測および離散意思分類を実現する。ハイブリッド学習ネットワークにおいて、連続予測および離散予測はいずれも自動決定および共同駆動アルゴリズムの主な特徴および入力である。
【0039】
２、本発明は上肢筋の神経筋肉動力学信号を時系列モデルに適用し、筋電信号および方向転換トルク間の相互相関分析に基づいて、信号間に存在する強い相関性を示すとともに、履歴観察により一定の予測時間範囲内の方向転換意思に対する正確な予測が可能となる。
【0040】
したがって、本発明はドライバー方向転換意思予測分野において広く適用される。
【図面の簡単な説明】
【0041】
【発明を実施するための形態】
【0042】
以下、図面と実施の形態とを結び付けて本発明の詳細な説明を行う。
【0043】
図１に示すように、本発明はハイブリッド学習に基づくドライバー方向転換意思予測方法を提供する。
【0044】
ハイブリッド学習に基づくドライバー方向転換意思予測方法であって、１）運転シミュレーションプラットフォームにおいてマルチモードデータ収集を行い、収集したマルチモードデータに対し前処理を行うデータ収集ステップと、２）前処理後のマルチモードデータに基づいてハイブリッド学習時系列モデルを構築するモデル構築ステップと、３）スマートカーにハイブリッド学習時系列モデルを搭載し、オンラインで収集したドライバーの筋電信号シーケンスを当該ハイブリッド学習時系列モデルに入力し予測を行い、ドライバーの連続方向転換意思予測および離散方向転換意思予測結果を得る方向転換意思予測ステップとを含む。
【0045】
前記ステップ１）において、運転シミュレーションプラットフォームにおいてマルチモードデータ収集を行い、収集したデータに対し前処理を行う方法は、１．１）運転シミュレーションプラットフォームを構築するステップと、１．２）構築した運転シミュレーションプラットフォームにおいてマルチモードデータ収集を行い、収集したマルチモードデータは右片手運転および両手運転の２種類の運転モードでの、３種類の異なる運転姿勢の筋電信号データおよび方向転換トルクデータを含むステップと、１．３）収集したマルチモードデータに対しノイズ除去および平滑処理を行うステップとを含み、１．１）のステップにおいて、ＣａｒＳｉｍ（登録商標）シミュレーションプラットフォームを用いて運転シミュレーションシーンを構築し、運転室の下方に車両の動的応答をフィードバックするための油圧サーボシステムを設け、操舵部材の下方にリアルタイムに方向転換動力学データを検出するための力覚センサおよびトルク角度センサを設け、筋電信号収集器は筋電計および筋電収集電極を含み、筋電収集電極はドライバーの身体に貼り付けられ、収集された筋電データは筋電計に無線により送信され、力覚センサ(例；型番ＤｙｎＰｉｃｋ（登録商標） ＷＥＦ－６Ａ１０００)を採用し、トルク角度センサ（例；型番ＴＲ－６０ＴＣ）を採用し、筋電信号収集電極(例；型番日本光電ＺＢ－１５０Ｈ)を採用し、サンプリング周波数は１０００ヘルツである。
【0046】
上記のステップ１．２）において、筋電信号を収集する時、筋電信号収集器における筋電収集電極の配置位置は以下のとおりである。
【0047】
図２ａおよび図２ｂに示すように、両手運転モードでは、筋電信号を１０個の筋肉（それぞれ上肢の５つの筋肉）、すなわち左鎖骨部前三角筋（ＰＭＡ－Ｃ）、右鎖骨部前三角筋（ＰＭＡ－Ｃ）、左三角筋前部（ＤＥＬＴ－Ａ）、右三角筋前部（ＤＥＬＴ－Ａ）、左三角筋後部（ＤＥＬＴ－Ｐ）、右三角筋後部（ＤＥＬＴ－Ｐ）、左大三頭筋（ＴＭ）、右大三頭筋（ＴＭ）、左上腕三頭筋長頭（ＴＢ－Ｌ）および右上腕三頭筋長頭（ＴＢ－Ｌ）から収集する。
【0048】
図２ｃおよび図２ｄに示すように、右片手運転モードでは、１０個の電極を以下の筋肉、すなわち鎖骨大胸筋（ＰＭＡ－Ｃ）、三角筋前部（ＤＥＬＴ－Ａ）、三角筋中部（外側）（ＤＥＬＴ－Ｍ）、三角筋後部（ＤＥＬＴ－Ｐ）、上腕三頭筋長頭（ＴＢ－Ｌ）、上腕三頭筋外側頭（ＴＢ－ＬＡＴ）、上腕二頭筋（ＢＣ）、棘下筋（ＩＮＦＴ）、大胸筋（ＰＭ）および大円筋（ＴＭ）に配置する。
【0049】
近くの筋肉とできるだけ遠い距離を保ち、干渉を防ぐように、電極を対応する筋肉の中央に配置する。
【0050】
上記のステップ１．３）において、収集したマルチモードデータを処理する時、ウェーブレット変換法を用いてノイズをフィルタリングして高周波筋電信号を平滑化し、時間領域におけるデータのみを用いることにより、あるスライスの特徴が不完全となることを防ぐ。
【0051】
前記ステップ２）において、前処理後のマルチモードデータに基づいてハイブリッド学習時系列モデルを構築する方法は、２．１）ハイブリッド学習時系列モデルを構築するステップと、２．２）処理後のマルチモードデータを用いて構築したハイブリッド学習時系列モデルに対しトレーニングを行い、ハイブリッド学習時系列モデルパラメータを取得するステップと、２．３）従来のドライバー方向転換意思予測モデルに基づいてハイブリッド学習時系列モデルの連続方向転換トルク予測結果に対し評価および比較を行い、評価および比較結果に基づいてハイブリッド学習時系列モデルに対し修正または調整を行うステップとを含む。
【0052】
上記のステップ２．１）において、ハイブリッド学習時系列モデルの構築は、連続方向転換予測ネットワークモデルおよび離散意思予測ネットワークモデルを含む。
【0053】
まず、図１に示すように、連続方向転換予測ネットワークモデルの構築を行い、連続方向転換予測ネットワークモデルは以下のように表される。
【0054】
【数33】
【0055】
ここで、
は連続方向転換予測ネットワーク最後の出力層であり、
は１００個のニューロンにより構成される全結合層であり、
は個別化した双方向ＬＳＴＭ ＲＮＮネットワークであり、各方向の方向転換トルク予測シーケンスが４０個のＬＳＴＭセルを有し、
は離散意思予測ネットワークモデルと共通の双方向ＬＳＴＭベースＲＮＮネットワークであり、各方向の共通時間モードは６０個のＬＳＴＭセルを抽出する。
【数34】
【数35】
【数36】
【数37】
【0056】
連続方向転換予測ネットワークモデルの出力
はｔ時刻の方向転換トルク予測シーケンスであり、以下のように表される。
【数38】
【0057】
【数39】
【0058】
ここで、
はｔ＋ｐ時間ステップの予測方向転換トルクであり、
は予測時間領域である。
【数40】
【数41】
【0059】
連続方向転換予測ネットワークモデルの入力
は以下のように表される。
【数42】
【0060】
【数43】
【0061】
ここで、
はｔ－ｈ時間ステップのｉ番目の筋電信号であり、
は入力長さを制御するための履歴時間領域であり、連続方向転換トルク予測の場合、固定の履歴時間領域値２００を用い、予測時間領域に相当する。すなわち、連続方向転換予測ネットワークモデルの入力シーケンス（Ｉｎ＿ｃｔ）の次元は１１×２００であり、モデル出力シーケンスＳ＿ｔ次元は１×２００である。
【数44】
【数45】
【0062】
平均二乗誤差損失関数
を用いて連続するシーケンス間の方向転換トルク予測を行う。
【数46】
【0063】
【数47】
【0064】
ここで、
はシーケンス長であり、
は第ｉステップの目標出力であり、
【数48】
【数49】
【数50】
【0065】
は連続方向転換予測ネットワークモデルの予測出力である。
【0066】
次に、連続方向転換トルク予測ネットワークをトレーニングした後、転移学習の方法により基準時間モデル抽出層を用いて離散意思予測ネットワークモデルを構築する。
【0067】
離散意思予測ネットワークモデルは以下のように表される。
【数51】
【0068】
ここで、
は離散意思分類のｓｏｆｔｍａｘ層であり、
は１００個のニューロンを有する全結合層であり、
は個別化した双方向ＬＳＴＭ ＲＮＮネットワークであり、各方向のシーケンス方向転換トルク予測は４０個のＬＳＴＭセルを有し、
は連続方向転換予測ネットワークモデルと同じ双方向ＬＳＴＭベースＲＮＮネットワークである。
【数52】
【数53】
【数54】
【数55】
【0069】
離散意思分類モデルの入力Ｉｎ＿ｄｔおよび連続方向転換予測ネットワークモデルの入力Ｉｎ＿ｃｔのためのフォーマットは同じである。
【0070】
離散方向転換意思予測ケースにおいて、ｈは１００から８００の間で変化し、ｐは１００から１０００の間で変化し評価される。
【0071】
モデル出力Ｉ＿ｔは意思状態であり、Ｉ＿ｔ∈［１、２、３、４、５］は方向転換トルクの変化に基づいて定義される５種類の方向転換状態を示し異なる方向転換動作を特徴づけ、図３に示すとおりである。
【0072】
離散方向転換意思予測タスクについて、多クラス分類タスクは交差エントロピー損失関数を用い、 以下のように表される。
【0073】
【数56】
【0074】
ここで、
はサンプル総数であり、
はカテゴリ数であり、
はｉ番目のサンプルがｊ番目のカテゴリに属することを示し、
はｓｏｆｔｍａｘ層出力であり、サンプルとカテゴリとの関連する確率を示す。
【数57】
【数58】
【数59】
【数60】
【0075】
前記ステップ２．２）において、ディープタイムシーケンスモデルのトレーニング方法は、ディープタイムシーケンスモデルの構築完了後、収集したデータを用いて学習の方法に基づいてニューラルネットワークパラメータを取得する必要がある。具体的には、以下のステップを含む。
【0076】
２．２．１）２００ｍｓ予測時間領域および履歴時間領域に基づいてシーケンスデータを分割し、本実施の形態では、２１名の参加者から両手運転モードでの２５３３３個の運転シーケンス、片手運転モードでの２６７５０個の運転シーケンスを収集するステップと、２．２．２）トレーニングおよびテストデータがデータセットからランダムに選択され、８０％の参加者のデータがモデルトレーニングに用いられ、残りのデータがモデルテストに用いられるステップと、２．２．３）トレーニングデータを用いて連続方向転換予測ネットワークモデルに対しトレーニングを行い、トレーニングされた連続方向転換予測ネットワークモデルのモデルパラメータを取得するステップと、２．２．４）連続方向転換予測ネットワークモデルにおける双方向ＬＳＴＭベースＲＮＮネットワーク層と離散意思予測ネットワークモデルにおける個別化した双方向ＬＳＴＭ ＲＮＮネットワーク層および全結合層とを結合し、転移学習方法に基づいて離散方向転換意思予測を行い、最終的にトレーニングされた離散意思予測ネットワークモデルのネットワークパラメータを取得するステップ。
【0077】
前記ステップ３）において、オンライン方向転換意思予測を行う方法は、３．１）リアル運転環境においてドライバーが運転する時の筋電信号を収集し、収集した筋電信号に対し前処理を行うステップと、３．２）処理後の筋電信号シーケンスを入力として、ハイブリッド学習時系列モデルに入力し、予測した方向転換トルクシーケンスを出力するステップとを含み。
【0078】
連続方向転換予測モデルは以下のように表される。
【0079】
【数61】
【0080】
ここで、ＣＳＩＰ（）はハイブリッド学習時系列モデルであり、Ｘは処理後の筋電信号シーケンスであり、Ｙは予測した将来の連続方向転換トルクシーケンスおよび離散方向転換意思分類である。
【0081】
上記の実施の形態は本発明の技術思想および特徴を説明するためのものに過ぎず、当業者に本発明の内容を理解させ実施させるためのものであり、本発明の保護範囲を限定するものではない。
【0082】
本発明の趣旨に基づいてなされる実質的に同等な変形または追加は、いずれも本発明の保護範囲内に含まれる。
【符号の説明】
【0083】
１ 右鎖骨部分前三角筋（ＰＭＡ－Ｃ）
２ 右三角筋前部（ＤＥＬＴ－Ａ）
３ 左前三角筋（ＰＭＡ－Ｃ）
４ 左三角筋前部（ＤＥＬＴ－Ａ）
５ 左三角筋後部（ＤＥＬＴ－Ｐ）
６ 左大三頭筋（ＴＭ）
７ 左上腕三頭筋長頭（ＴＢ－Ｌ）
８ 右三角筋後部（ＤＥＬＴ－Ｐ）
９ 右大三頭筋（ＴＭ）
１０ 右上腕三頭筋長頭（ＴＢ－Ｌ）
１１ 鎖骨大胸筋（ＰＭＡ－Ｃ）
１２ 三角筋前部（ＤＥＬＴ－Ａ）
１３ 上腕二頭筋（ＢＣ）
１４ 大胸筋（ＰＭ）
１５ 三角筋中部（外側）（ＤＥＬＴ－Ｍ）
１６ 上腕三頭筋外側頭（ＴＢ－ＬＡＴ）
１７ 上腕三頭筋長頭（ＴＢ－Ｌ）
１８ 三角筋後部（ＤＥＬＴ－Ｐ）
１９ 棘下筋（ＩＮＦＴ）
２０ 大円筋（ＴＭ）
２ 右三角筋前部（ＤＥＬＴ－Ａ）
３ 左前三角筋（ＰＭＡ－Ｃ）
４ 左三角筋前部（ＤＥＬＴ－Ａ）
５ 左三角筋後部（ＤＥＬＴ－Ｐ）
６ 左大三頭筋（ＴＭ）
７ 左上腕三頭筋長頭（ＴＢ－Ｌ）
８ 右三角筋後部（ＤＥＬＴ－Ｐ）
９ 右大三頭筋（ＴＭ）
１０ 右上腕三頭筋長頭（ＴＢ－Ｌ）
１１ 鎖骨大胸筋（ＰＭＡ－Ｃ）
１２ 三角筋前部（ＤＥＬＴ－Ａ）
１３ 上腕二頭筋（ＢＣ）
１４ 大胸筋（ＰＭ）
１５ 三角筋中部（外側）（ＤＥＬＴ－Ｍ）
１６ 上腕三頭筋外側頭（ＴＢ－ＬＡＴ）
１７ 上腕三頭筋長頭（ＴＢ－Ｌ）
１８ 三角筋後部（ＤＥＬＴ－Ｐ）
１９ 棘下筋（ＩＮＦＴ）
２０ 大円筋（ＴＭ）
【図1】
【図2a】
【図2b】
【図2c】
【図2d】
【図3】