知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022039977
(43)【公開日】2022-03-10
(54)【発明の名称】ドライバー方向転換意思連続予測方法およびシステム
(51)【国際特許分類】
G06Q 10/04 20120101AFI20220303BHJP
G06N 20/00 20190101ALI20220303BHJP
【ＦＩ】
G06Q10/04
G06N20/00
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2021110964
(22)【出願日】2021-07-02
(31)【優先権主張番号】202010876455.5
(32)【優先日】2020-08-27
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】506259634
【氏名又は名称】清華大学
【氏名又は名称原語表記】ＴＳＩＮＧＨＵＡ ＵＮＩＶＥＲＳＩＴＹ
【住所又は居所原語表記】Ｑｉｎｇｈｕａｙｕａｎ，Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ，Ｂｅｉｊｉｎｇ １０００８４，Ｃｈｉｎａ
(71)【出願人】
【識別番号】000001247
【氏名又は名称】株式会社ジェイテクト
(74)【代理人】
【識別番号】100109210
【弁理士】
【氏名又は名称】新居 広守
(72)【発明者】
【氏名】劉 亜輝
(72)【発明者】
【氏名】川原 禎弘
【テーマコード（参考）】
5L049
【Ｆターム（参考）】
5L049AA04
(57)【要約】
【課題】筋電データによりドライバーの方向転換の意思を予測する。
【解決手段】本発明が開示するドライバー方向転換意思連続予測方法は、シミュレート運転シーンにおけるドライバーの筋電データおよび方向転換トルクデータを収集し、真の運転シーンにおけるドライバーの筋電データを収集し、データ処理層に送信するためのデータ取得層、収集した各種データに対し前処理を行い、モデル構築層または方向転換意思予測層に送信するためのデータ処理層、処理した筋電データおよび方向転換トルクデータに基づいてディープタイムシーケンスモデルを構築し、方向転換意思予測層に送信するためのモデル構築層、処理したドライバー筋電信号データおよびディープタイムシーケンスモデルに基づいてドライバー方向転換意思に対し連続予測を行い、ドライバー方向転換予測結果を取得するための方向転換意思予測層を含む。
【選択図】図１
【解決手段】本発明が開示するドライバー方向転換意思連続予測方法は、シミュレート運転シーンにおけるドライバーの筋電データおよび方向転換トルクデータを収集し、真の運転シーンにおけるドライバーの筋電データを収集し、データ処理層に送信するためのデータ取得層、収集した各種データに対し前処理を行い、モデル構築層または方向転換意思予測層に送信するためのデータ処理層、処理した筋電データおよび方向転換トルクデータに基づいてディープタイムシーケンスモデルを構築し、方向転換意思予測層に送信するためのモデル構築層、処理したドライバー筋電信号データおよびディープタイムシーケンスモデルに基づいてドライバー方向転換意思に対し連続予測を行い、ドライバー方向転換予測結果を取得するための方向転換意思予測層を含む。
【選択図】図１
【特許請求の範囲】
【請求項1】
ドライバー方向転換意思連続予測方法であって、
１）運転シミュレートプラットフォーム上でマルチモードデータ収集を行い、収集したマルチモードデータに基づいてディープタイムシーケンスモデルを構築するステップ、
２）スマートカーにディープタイムシーケンスモデルを搭載し、オンライン取得したドライバー筋電信号シーケンスを当該ディープタイムシーケンスモデルに入力し連続予測を行い、ドライバー方向転換意思連続予測結果を取得するステップを含む
ドライバー方向転換意思連続予測方法。
１）運転シミュレートプラットフォーム上でマルチモードデータ収集を行い、収集したマルチモードデータに基づいてディープタイムシーケンスモデルを構築するステップ、
２）スマートカーにディープタイムシーケンスモデルを搭載し、オンライン取得したドライバー筋電信号シーケンスを当該ディープタイムシーケンスモデルに入力し連続予測を行い、ドライバー方向転換意思連続予測結果を取得するステップを含む
ドライバー方向転換意思連続予測方法。
【請求項2】
前記ステップ１）において、運転シミュレートプラットフォーム上でマルチモードデータ収集を行い、収集したデータに基づいてディープタイムシーケンスモデルを構築する方法は、
１．１）運転シミュレートプラットフォーム上でマルチモードデータ収集を行い、取得したデータは右片手運転および両手運転という２種類の運転モードにおける３種類の異なる運転姿勢に対応する筋電信号データおよび方向転換トルクデータを含むステップ、
１．２）取得したマルチモードデータに対しノイズ除去および平滑処理を行うステップ、
１．３）ＥＭＧ信号、方向転換トルクと運転姿勢との関係および筋電信号と方向転換トルクとの相関時間遅延を分析するステップ、
１．４）分析結果に基づいてディープタイムシーケンスモデルを構築するステップ、
１．５）従来のドライバー方向転換意思予測モデルに基づいて構築したディープタイムシーケンスモデルに対し評価および比較を行い、評価および比較結果に基づいて構築したディープタイムシーケンスモデルに対し修正または調整を行うステップを含む
請求項１に記載のドライバー方向転換意思連続予測方法。
１．１）運転シミュレートプラットフォーム上でマルチモードデータ収集を行い、取得したデータは右片手運転および両手運転という２種類の運転モードにおける３種類の異なる運転姿勢に対応する筋電信号データおよび方向転換トルクデータを含むステップ、
１．２）取得したマルチモードデータに対しノイズ除去および平滑処理を行うステップ、
１．３）ＥＭＧ信号、方向転換トルクと運転姿勢との関係および筋電信号と方向転換トルクとの相関時間遅延を分析するステップ、
１．４）分析結果に基づいてディープタイムシーケンスモデルを構築するステップ、
１．５）従来のドライバー方向転換意思予測モデルに基づいて構築したディープタイムシーケンスモデルに対し評価および比較を行い、評価および比較結果に基づいて構築したディープタイムシーケンスモデルに対し修正または調整を行うステップを含む
請求項１に記載のドライバー方向転換意思連続予測方法。
【請求項3】
前記ステップ１．１）において、筋電信号データの取得するとき、電極を置く位置について、
両手運転モードでは、電極をそれぞれ、左鎖骨部分前三角筋、右鎖骨部分前三角筋、左三角筋前部、右三角筋前部、左三角筋後部、右三角筋後部、左大三頭筋、右大三頭筋、左上腕三頭筋長頭および右上腕三頭筋長頭に置き、
右片手運転モードでは、電極をそれぞれ、鎖骨大胸筋、三角筋前部、三角筋中部外側、三角筋後部、上腕三頭筋長頭、上腕三頭筋外側頭、上腕二頭筋、棘下筋、大胸筋および大円筋に置き、
各前記電極をいずれも関連する筋肉の中央に置く
請求項２に記載のドライバー方向転換意思連続予測方法。
両手運転モードでは、電極をそれぞれ、左鎖骨部分前三角筋、右鎖骨部分前三角筋、左三角筋前部、右三角筋前部、左三角筋後部、右三角筋後部、左大三頭筋、右大三頭筋、左上腕三頭筋長頭および右上腕三頭筋長頭に置き、
右片手運転モードでは、電極をそれぞれ、鎖骨大胸筋、三角筋前部、三角筋中部外側、三角筋後部、上腕三頭筋長頭、上腕三頭筋外側頭、上腕二頭筋、棘下筋、大胸筋および大円筋に置き、
各前記電極をいずれも関連する筋肉の中央に置く
請求項２に記載のドライバー方向転換意思連続予測方法。
【請求項4】
前記ステップ１．４）において、分析結果に基づいてディープタイムシーケンスモデルを構築する方法は、
１．４．１）ディープタイムシーケンスモデルの基本構造を特定するステップ、
１．４．２）処理したシミュレート運転プラットフォーム上のマルチモードデータを用いて、ディープラーニングの方法に基づいて、構築したディープタイムシーケンスモデルに対しトレーニングを行い、ディープタイムシーケンスモデルパラメータを取得するステップを含む
請求項２に記載のドライバー方向転換意思連続予測方法。
１．４．１）ディープタイムシーケンスモデルの基本構造を特定するステップ、
１．４．２）処理したシミュレート運転プラットフォーム上のマルチモードデータを用いて、ディープラーニングの方法に基づいて、構築したディープタイムシーケンスモデルに対しトレーニングを行い、ディープタイムシーケンスモデルパラメータを取得するステップを含む
請求項２に記載のドライバー方向転換意思連続予測方法。
【請求項5】
前記ステップ１．４．１）において、前記ディープタイムシーケンスモデルの基本構造は、
順方向ネットワーク層、結合予測ネットワークモデルおよび個性化方向転換トルク予測ネットワークモデルを含み、
前記順方向ネットワーク層は、シミュレート運転プラットフォーム上の筋電シーケンス、方向転換トルクデータを受信するための筋電信号シーケンス入力層と、入力した筋電シーケンスデータおよび方向転換トルクを処理するための第１Ｂｉ－ＬＳＴＭ層および第２Ｂｉ－ＬＳＴＭ層とを含み、
前記結合予測ネットワークモデルは運転姿勢を区分しない方向転換意思予測モデルの構築に用いられ、
前記個性化方向転換トルク予測ネットワークモデルは３種類の異なる運転姿勢に対する異なる方向転換意思予測モデルの構築に用いられ、転移学習層および第１～第３個性化方向転換トルク予測層を含み、
前記転移学習層は構築した結合予測ネットワークモデルに基づく前記第１～第３個性化方向転換トルク予測層の構築に用いられ、
前記第１～第３個性化方向転換トルク予測層はそれぞれ１種類の運転姿勢に対応し、第１～第３個性化方向転換トルク予測層のモデル構造は同じである
請求項４に記載のドライバー方向転換意思連続予測方法。
順方向ネットワーク層、結合予測ネットワークモデルおよび個性化方向転換トルク予測ネットワークモデルを含み、
前記順方向ネットワーク層は、シミュレート運転プラットフォーム上の筋電シーケンス、方向転換トルクデータを受信するための筋電信号シーケンス入力層と、入力した筋電シーケンスデータおよび方向転換トルクを処理するための第１Ｂｉ－ＬＳＴＭ層および第２Ｂｉ－ＬＳＴＭ層とを含み、
前記結合予測ネットワークモデルは運転姿勢を区分しない方向転換意思予測モデルの構築に用いられ、
前記個性化方向転換トルク予測ネットワークモデルは３種類の異なる運転姿勢に対する異なる方向転換意思予測モデルの構築に用いられ、転移学習層および第１～第３個性化方向転換トルク予測層を含み、
前記転移学習層は構築した結合予測ネットワークモデルに基づく前記第１～第３個性化方向転換トルク予測層の構築に用いられ、
前記第１～第３個性化方向転換トルク予測層はそれぞれ１種類の運転姿勢に対応し、第１～第３個性化方向転換トルク予測層のモデル構造は同じである
請求項４に記載のドライバー方向転換意思連続予測方法。
【請求項6】
前記ステップ１．４．２）において、取得データに基づいてディープタイムシーケンスモデルトレーニングを行うとき、
まず、それぞれの運転姿勢からトレーニングおよびテストデータをランダムに選択し、そのうち８０％はモデルトレーニングに用いられ、２０％はモデルテストに用いられ、
次に、すべての３つの運転姿勢からのトレーニングデータセットを用いて結合予測ネットワークモデルに対しトレーニングを行い、結合予測ネットワークモデルのモデルパラメータを取得し、
その後、トレーニングした結合予測ネットワークモデルに基づいて、転移学習の方法を応用して個性化方向転換トルク予測ネットワークモデルを構築し、
最後に、個性化方向転換トルク予測ネットワークモデルにおける３つの異なる全結合層をそれぞれ順方向ネットワーク層と結合し、特定の組からのトレーニングデータを用いてトレーニングを行い、トレーニングした個性化方向転換トルク予測ネットワークモデルのモデルパラメータを取得する
請求項４に記載のドライバー方向転換意思連続予測方法。
まず、それぞれの運転姿勢からトレーニングおよびテストデータをランダムに選択し、そのうち８０％はモデルトレーニングに用いられ、２０％はモデルテストに用いられ、
次に、すべての３つの運転姿勢からのトレーニングデータセットを用いて結合予測ネットワークモデルに対しトレーニングを行い、結合予測ネットワークモデルのモデルパラメータを取得し、
その後、トレーニングした結合予測ネットワークモデルに基づいて、転移学習の方法を応用して個性化方向転換トルク予測ネットワークモデルを構築し、
最後に、個性化方向転換トルク予測ネットワークモデルにおける３つの異なる全結合層をそれぞれ順方向ネットワーク層と結合し、特定の組からのトレーニングデータを用いてトレーニングを行い、トレーニングした個性化方向転換トルク予測ネットワークモデルのモデルパラメータを取得する
請求項４に記載のドライバー方向転換意思連続予測方法。
【請求項7】
前記ステップ２）において、スマートカーにディープタイムシーケンスモデルを搭載し、オンライン取得したドライバー筋電信号シーケンスを当該ディープタイムシーケンスモデルに入力し、ドライバー方向転換意思に対し連続予測を行う方法は、
２．１）真の運転環境でドライバーが運転する時の筋電信号を取得し、データ処理層に送信して処理を行い、
２．２）オンライン取得したドライバーの筋電信号シーケンスを入力とし、ディープタイムシーケンスモデルに入力し、予測した方向転換トルクシーケンスを出力し、Ｙ＝ＣＳＩＰ（Ｘ）となり、
ＣＳＩＰ（）はディープタイムシーケンスモデルであり、Ｘは取得したそれぞれの時点の筋電信号シーケンスであり、Ｙは予測した将来方向転換トルクシーケンスである
請求項１に記載のドライバー方向転換意思連続予測方法。
２．１）真の運転環境でドライバーが運転する時の筋電信号を取得し、データ処理層に送信して処理を行い、
２．２）オンライン取得したドライバーの筋電信号シーケンスを入力とし、ディープタイムシーケンスモデルに入力し、予測した方向転換トルクシーケンスを出力し、Ｙ＝ＣＳＩＰ（Ｘ）となり、
ＣＳＩＰ（）はディープタイムシーケンスモデルであり、Ｘは取得したそれぞれの時点の筋電信号シーケンスであり、Ｙは予測した将来方向転換トルクシーケンスである
請求項１に記載のドライバー方向転換意思連続予測方法。
【請求項8】
ドライバー方向転換意思連続予測システムであって、
データ取得層、データ処理層、モデル構築層および方向転換意思予測層を含み、
前記データ取得層は、トレーニングおよびテスト段階においてシミュレート運転シーンにおけるドライバーの筋電信号データおよび方向転換トルクデータを収集し、または、オンライン使用段階において真の運転シーンにおけるドライバーの筋電信号データを収集し、前記データ処理層に送信するためのものであり、
前記データ処理層は、収集した各種データに対し前処理を行い、前記モデル構築層または方向転換意思予測層に送信するためのものであり、
前記モデル構築層は、トレーニングおよびテスト段階で取得した筋電信号データおよび方向転換トルクデータに基づいてディープタイムシーケンスモデルを構築し、前記方向転換意思予測層に送信するためのものであり、
前記方向転換意思予測層は、オンライン使用段階で取得したドライバー筋電信号データおよびディープタイムシーケンスモデルに基づいてドライバー方向転換意思に対し連続予測を行い、ドライバー方向転換予測結果を取得するためのものである
ドライバー方向転換意思連続予測システム。
データ取得層、データ処理層、モデル構築層および方向転換意思予測層を含み、
前記データ取得層は、トレーニングおよびテスト段階においてシミュレート運転シーンにおけるドライバーの筋電信号データおよび方向転換トルクデータを収集し、または、オンライン使用段階において真の運転シーンにおけるドライバーの筋電信号データを収集し、前記データ処理層に送信するためのものであり、
前記データ処理層は、収集した各種データに対し前処理を行い、前記モデル構築層または方向転換意思予測層に送信するためのものであり、
前記モデル構築層は、トレーニングおよびテスト段階で取得した筋電信号データおよび方向転換トルクデータに基づいてディープタイムシーケンスモデルを構築し、前記方向転換意思予測層に送信するためのものであり、
前記方向転換意思予測層は、オンライン使用段階で取得したドライバー筋電信号データおよびディープタイムシーケンスモデルに基づいてドライバー方向転換意思に対し連続予測を行い、ドライバー方向転換予測結果を取得するためのものである
ドライバー方向転換意思連続予測システム。
【請求項9】
前記データ取得層は運転シミュレータ、筋電信号計および方向転換トルクセンサーを含み、
前記運転シミュレータはトレーニングおよびテスト段階で運転シーンシミュレートを行うためのものであり、
前記筋電信号計はドライバーの筋電信号データを取得するためのものであり、
前記方向転換トルクセンサーは方向転換ポスト上に設けられ、方向転換トルクデータを収集するためのものである
請求項８に記載のドライバー方向転換意思連続予測システム。
前記運転シミュレータはトレーニングおよびテスト段階で運転シーンシミュレートを行うためのものであり、
前記筋電信号計はドライバーの筋電信号データを取得するためのものであり、
前記方向転換トルクセンサーは方向転換ポスト上に設けられ、方向転換トルクデータを収集するためのものである
請求項８に記載のドライバー方向転換意思連続予測システム。
【請求項10】
前記モデル構築層はデータ分析モジュール、ディープタイムシーケンスモデル構築モジュールおよび性能評価比較モジュールを含み、
前記データ分析モジュールは、処理した筋電信号、方向転換トルクおよび運転姿勢の関係を分析し、分析結果を前記ディープタイムシーケンスモデル構築モジュールに送信するためのものであり、
前記ディープタイムシーケンスモデル構築モジュールは筋電信号、方向転換トルクおよび運転姿勢の関係に基づいてディープタイムシーケンスモデルを構築するためのものであり、
前記性能評価比較モジュールはディープタイムシーケンスモデルの連続予測結果に対し性能評価および比較を行い、評価および比較結果に基づいて調整を行うためのものである
請求項８に記載のドライバー方向転換意思連続予測システム。
前記データ分析モジュールは、処理した筋電信号、方向転換トルクおよび運転姿勢の関係を分析し、分析結果を前記ディープタイムシーケンスモデル構築モジュールに送信するためのものであり、
前記ディープタイムシーケンスモデル構築モジュールは筋電信号、方向転換トルクおよび運転姿勢の関係に基づいてディープタイムシーケンスモデルを構築するためのものであり、
前記性能評価比較モジュールはディープタイムシーケンスモデルの連続予測結果に対し性能評価および比較を行い、評価および比較結果に基づいて調整を行うためのものである
請求項８に記載のドライバー方向転換意思連続予測システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明はスマート運転技術分野に属し、特に、筋電信号処理および時系列モデリングに基づくドライバー方向転換意思連続予測方法およびシステムに関する。
【背景技術】
【0002】
スマート車両および自動運転車両は、交通安全性、効率および多様性を向上させる上で大きな可能性を示している。交通輸送および環境効率面での他のメリットならびに老人および障害者に機動性を与える機会により、世界的に自動運転およびドライバー支援技術に対する投資が活発である。過去５年間で一定の成果が得られたが、ドライバー／乗客が将来の自動運転自動車において自動化機器と如何に相互に連携するかという一つの挑戦的な課題に対応する必要が依然として存在する。全自動運転自動車を実現する前に、ドライバーは依然として自動化機器と一部の車両制御権限を共有する必要がある。このような場合、ドライバーの方向転換意思を予測し、スマートカーに事前にドライバーへの支援および連携ポリシーを最適化させることにより、ドライバーと車両との間の連携に対しスマートな相互理解システムを提供することができる。
【0003】
従来のドライバー方向転換意思は主にドライバー状態予測および車両動的識別に依存する。
【0004】
従来の大多数の研究はいずれも視覚による方法に集中しており、離散した方向転換およびルート変更意思を予測する。しかしながら、ドライバー状態と方向転換トルクとは直接の関係が欠如しており、これら方法はいずれも連続するおよび事前の方向転換意思予測システムを提供することができない。
【0005】
現在、筋電図（ＥＭＧ）信号はドライバー方向転換挙動の研究に広く用いられているが、大多数の研究は方向転換挙動モデリング、運転疲労および方向転換快適性評価に集中している。研究により、運転中に人が感知する方向転換力は物理力と異なり、ＥＭＧ信号は感知力予測に用いられることを見出したが、ドライバーと自動運転車両とのスマート連携を実現するように、ＥＭＧ信号に基づいて正確な方向転換トルク予測を開発する研究は少ない。
【発明の概要】
【発明が解決しようとする課題】
【0006】
上記の課題に対し、本発明は、筋電図（ＥＭＧ）信号処理およびディープタイムシーケンスモデルに基づくものであり、ディープタイムシーケンス学習機能を有するドライバー方向転換意思予測方法およびシステムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上記の目的を実現するために、本発明は以下の技術手段を用いる。
【0008】
本発明の一形態は、１）運転シミュレートプラットフォーム上でマルチモードデータ収集を行い、収集したマルチモードデータに基づいてディープタイムシーケンスモデルを構築するステップ、２）スマートカーにディープタイムシーケンスモデルを搭載し、オンライン取得したドライバー筋電信号シーケンスを当該ディープタイムシーケンスモデルに入力し連続予測を行い、ドライバー方向転換意思連続予測結果を取得するステップを含むドライバー方向転換意思連続予測方法を提供する。
【0009】
さらに、前記ステップ１）において、運転シミュレートプラットフォーム上でマルチモードデータ収集を行い、収集したデータに基づいてディープタイムシーケンスモデルを構築する方法は、１．１）運転シミュレートプラットフォーム上でマルチモードデータ収集を行い、取得したデータは右片手運転および両手運転という２種類の運転モードにおける３種類の異なる運転姿勢に対応する筋電信号データおよび方向転換トルクデータを含むステップ、１．２）取得したマルチモードデータに対しノイズ除去および平滑処理を行うステップ、１．３）ＥＭＧ信号、方向転換トルクと運転姿勢との関係および筋電信号と方向転換トルクとの相関時間遅延を分析するステップ、１．４）分析結果に基づいてディープタイムシーケンスモデルを構築するステップ、１．５）従来のドライバー方向転換意思予測モデルに基づいて構築したディープタイムシーケンスモデルに対し評価および比較を行い、評価および比較結果に基づいて構築したディープタイムシーケンスモデルに対し修正または調整を行うステップを含む。
【0010】
さらに、前記ステップ１．１）において、筋電信号データの取得するとき、電極を置く位置について、両手運転モードでは、電極をそれぞれ、左鎖骨部分前三角筋、右鎖骨部分前三角筋、左三角筋前部、右三角筋前部、左三角筋後部、右三角筋後部、左大三頭筋、右大三頭筋、左上腕三頭筋長頭および右上腕三頭筋長頭に置き、右片手運転モードでは、電極をそれぞれ、鎖骨大胸筋、三角筋前部、三角筋中部外側、三角筋後部、上腕三頭筋長頭、上腕三頭筋外側頭、上腕二頭筋、棘下筋、大胸筋および大円筋に置き、各前記電極をいずれも関連する筋肉の中央に置く。
【0011】
さらに、前記ステップ１．４）において、分析結果に基づいてディープタイムシーケンスモデルを構築する方法は、１．４．１）ディープタイムシーケンスモデルの基本構造を特定するステップ、１．４．２）処理したシミュレート運転プラットフォーム上のマルチモードデータを用いて、ディープラーニングの方法に基づいて、構築したディープタイムシーケンスモデルに対しトレーニングを行い、ディープタイムシーケンスモデルパラメータを取得するステップを含む。
【0012】
さらに、前記ステップ１．４．１）において、前記ディープタイムシーケンスモデルの基本構造は、順方向ネットワーク層、結合予測ネットワークモデルおよび個性化方向転換トルク予測ネットワークモデルを含み、前記順方向ネットワーク層は、シミュレート運転プラットフォーム上の筋電シーケンス、方向転換トルクデータを受信するための筋電信号シーケンス入力層と、入力した筋電シーケンスデータおよび方向転換トルクを処理するための第１Ｂｉ－ＬＳＴＭ層および第２Ｂｉ－ＬＳＴＭ層とを含み、前記結合予測ネットワークモデルは運転姿勢を区分しない方向転換意思予測モデルの構築に用いられ、前記個性化方向転換トルク予測ネットワークモデルは３種類の異なる運転姿勢に対する異なる方向転換意思予測モデルの構築に用いられ、転移学習層および第１～第３個性化方向転換トルク予測層を含み、前記転移学習層は構築した結合予測ネットワークモデルに基づく前記第１～第３個性化方向転換トルク予測層の構築に用いられ、前記第１～第３個性化方向転換トルク予測層はそれぞれ１種類の運転姿勢に対応し、第１～第３個性化方向転換トルク予測層のモデル構造は同じである。
【0013】
さらに、前記ステップ１．４．２）において、取得データに基づいてディープタイムシーケンスモデルトレーニングを行うとき、まず、それぞれの運転姿勢からトレーニングおよびテストデータをランダムに選択し、そのうち８０％はモデルトレーニングに用いられ、２０％はモデルテストに用いられ、次に、すべての３つの運転姿勢からのトレーニングデータセットを用いて結合予測ネットワークモデルに対しトレーニングを行い、結合予測ネットワークモデルのモデルパラメータを取得し、その後、トレーニングした結合予測ネットワークモデルに基づいて、転移学習の方法を応用して個性化方向転換トルク予測ネットワークモデルを構築し、最後に、個性化方向転換トルク予測ネットワークモデルにおける３つの異なる全結合層をそれぞれ順方向ネットワーク層と結合し、特定の組からのトレーニングデータを用いてトレーニングを行い、トレーニングした個性化方向転換トルク予測ネットワークモデルのモデルパラメータを取得する。
【0014】
さらに、前記ステップ２）において、スマートカーにディープタイムシーケンスモデルを搭載し、オンライン取得したドライバー筋電信号シーケンスを当該ディープタイムシーケンスモデルに入力し、ドライバー方向転換意思に対し連続予測を行う方法は、２．１）真の運転環境でドライバーが運転する時の筋電信号を取得し、データ処理層に送信して処理を行い、２．２）オンライン取得したドライバーの筋電信号シーケンスを入力とし、ディープタイムシーケンスモデルに入力し、予測した方向転換トルクシーケンスを出力し、Ｙ＝ＣＳＩＰ（Ｘ）となり、ＣＳＩＰ（）はディープタイムシーケンスモデルであり、Ｘは取得したそれぞれの時点の筋電信号シーケンスであり、Ｙは予測した将来方向転換トルクシーケンスである。
【0015】
本発明の他の形態は、データ取得層、データ処理層、モデル構築層および方向転換意思予測層を含み、前記データ取得層は、トレーニングおよびテスト段階においてシミュレート運転シーンにおけるドライバーの筋電信号データおよび方向転換トルクデータを収集し、または、オンライン使用段階において真の運転シーンにおけるドライバーの筋電信号データを収集し、前記データ処理層に送信するためのものであり、前記データ処理層は、収集した各種データに対し前処理を行い、前記モデル構築層または方向転換意思予測層に送信するためのものであり、前記モデル構築層は、トレーニングおよびテスト段階で処理した筋電信号データおよび方向転換トルクデータに基づいてディープタイムシーケンスモデルを構築し、前記方向転換意思予測層に送信するためのものであり、前記方向転換意思予測層は、オンライン使用段階で処理したドライバー筋電信号データおよびディープタイムシーケンスモデルに基づいてドライバー方向転換意思に対し連続予測を行い、ドライバー方向転換予測結果を取得するためのものであるドライバー方向転換意思連続予測システムを提供する。
【0016】
さらに、前記データ取得層は運転シミュレータ、筋電信号計および方向転換トルクセンサーを含み、前記運転シミュレータはトレーニングおよびテスト段階で運転シーンシミュレートを行うためのものであり、前記筋電信号計はドライバーの筋電信号データを取得するためのものであり、前記方向転換トルクセンサーは方向転換ポスト上に設けられ、方向転換トルクデータを収集するためのものである。
【0017】
さらに、前記モデル構築層はデータ分析モジュール、ディープタイムシーケンスモデル構築モジュールおよび性能評価比較モジュールを含み、前記データ分析モジュールは、処理した筋電信号、方向転換トルクおよび運転姿勢の関係を分析し、分析結果を前記ディープタイムシーケンスモデル構築モジュールに送信するためのものであり、前記ディープタイムシーケンスモデル構築モジュールは筋電信号、方向転換トルクおよび運転姿勢の関係に基づいてディープタイムシーケンスモデルを構築するためのものであり、前記性能評価比較モジュールはディープタイムシーケンスモデルの連続予測結果に対し性能評価および比較を行い、評価および比較結果に基づいて調整を行うためのものである。
【発明の効果】
【0018】
本発明は以上の技術手段を用いることにより、以下のメリットを有する。
【0019】
１、本発明が構築するディープタイムシーケンスにおいて結合予測ネットワークモデルおよび方向転換トルク予測ネットワークモデルがそれぞれ設けられ、異なる運転姿勢に基づいてドライバー方向転換意思予測を行うことができ、予測結果がより正確となる。
【0020】
２、本発明は筋電図信号を用いてドライバー方向転換意思連続予測を行うことができる。すなわち、連続する方向転換トルクを予測することができる。主にドライバー状態予測および車両動的識別に基づく従来のドライバー方向転換意思に比べて、予測結果がより早くなる。
【0021】
３、本発明は筋電図信号とドライバー方向転換意思との関係を用い、ＥＭＧ信号に基づいて方向転換意思に対し正確な方向転換トルク予測を行い、予測結果がより正確となる。
【0022】
４、本発明のネットワークモデル構造は簡単で効果的であり、リアルタイム性が従来技術に比べてより良くなる。
【0023】
したがって、本発明はドライバー方向転換意思予測分野に広く用いられる。
【図面の簡単な説明】
【0024】
【発明を実施するための形態】
【0025】
以下、図面および実施の形態を結び付けて本発明の詳細を説明する。
【0026】
図１に示すように、本発明が提供するドライバー方向転換意思連続予測システムは、データ取得層、データ処理層、モデル構築層および方向転換意思予測層を含む。ここで、データ取得層は、トレーニングおよびテスト段階においてシミュレート運転シーンにおけるドライバーの筋電信号データおよび方向転換トルクデータを収集し、または、オンライン使用段階において真の運転シーンにおけるドライバーの筋電信号データを収集し、データ処理層に送信するためのものであり、データ処理層は、収集した各種データに対し前処理を行い、モデル構築層または方向転換意思予測層に送信するためのものであり、モデル構築層は、トレーニングおよびテスト段階で処理した筋電信号データおよび方向転換トルクデータに基づいてディープタイムシーケンスモデルを構築し、方向転換意思予測層に送信するためのものであり、方向転換意思予測層は、オンライン使用段階で取得したドライバー筋電信号データおよびディープタイムシーケンスモデルに基づいてドライバー方向転換意思に対し連続予測を行い、ドライバー方向転換予測結果を取得するためのものである。
【0027】
好ましい一実施の形態では、データ取得層は運転シミュレータ、筋電信号計および方向転換トルクセンサーを含む。ここで、運転シミュレータはトレーニングおよびテスト段階で運転シーンシミュレートを行うためのものであり、筋電信号計はドライバーの筋電信号データを取得するためのものであり、方向転換トルクセンサーは方向転換ポスト上に設けられ、方向転換トルクデータを収集するためのものである。
【0028】
好ましい一実施の形態では、データ処理層は高周波フィルタモジュール、信号平滑モジュールおよび正規化モジュールを含む。ここで、高周波フィルタモジュールおよび平滑モジュールは取得した筋電信号データをフィルタリングおよび平滑化するためのものであり、ノイズ除去後の筋電信号データを正規化モジュールに送信する。正規化モジュールは筋電信号データを一定区間に制限するためのものであり、筋電信号データを正規化する。
【0029】
好ましい一実施の形態では、モデル構築層はデータ分析モジュール、ディープタイムシーケンスモデル構築モジュールおよび性能評価比較モジュールを含む。ここで、データ分析モジュールは、処理した筋電信号、方向転換トルクおよび運転姿勢の関係を分析し、分析結果をディープタイムシーケンスモデル構築モジュールに送信するためのものであり、ディープタイムシーケンスモデル構築モジュールは筋電信号、方向転換トルクおよび運転姿勢の関係に基づいてディープタイムシーケンスモデルを構築するためのものであり、性能評価比較モジュールはディープタイムシーケンスモデルの連続予測結果に対し性能評価および比較を行い、評価および比較結果に基づいて調整を行うためのものである。
【0030】
上記のドライバー方向転換意思連続予測システムによると、本発明はさらに、１）運転シミュレートプラットフォーム上でマルチモードデータ収集を行い、収集したマルチモードデータに基づいてディープタイムシーケンスモデルを構築するステップ、２）スマートカーにディープタイムシーケンスモデルを搭載し、オンライン取得したドライバー筋電信号シーケンスを当該ディープタイムシーケンスモデルに入力し連続予測を行い、ドライバー方向転換意思連続予測結果を取得するステップを含むドライバー方向転換意思連続予測方法を提供する。
【0031】
前記ステップ１）において、運転シミュレートプラットフォーム上でマルチモードデータ収集を行い、収集したデータに基づいてディープタイムシーケンスモデルを構築する方法は、１．１）運転シミュレートプラットフォーム上でマルチモードデータ収集を行い、取得したデータは右片手運転および両手運転という２種類の運転モードにおける３種類の異なる運転姿勢に対応する筋電信号データおよび方向転換トルクデータを含むステップを含む。
【0032】
１．２）取得したマルチモードデータに対しノイズ除去および平滑処理を行うステップを含む。
【0033】
具体的には、取得したマルチモードデータを処理する時、ウェーブレット変換法を用いてノイズをフィルタリングし高周波筋電信号を平滑化し、時間領域のデータのみを用いて、周波数領域および時間周波数領域における特徴を考慮しないことで、ある切片の特徴が不完全となることを回避する。
【0034】
１．３）相互相関および近似エントロピー（ＡｐＥｎ）という２種類のアルゴリズムを用いて、ＥＭＧ信号、方向転換トルクおよび運転姿勢の関係ならびに筋電信号と方向転換トルクとの相関時間遅延を分析する。
【0035】
具体的には、本発明は、相互相関および近似エントロピー（ＡｐＥｎ）という２種類のアルゴリズムを用いてＥＭＧ信号、方向転換トルクおよび運転姿勢の関係を分析する時、相互相関方法を用いて１０種類の異なる筋肉からの筋電信号と方向転換トルクとの相関時間遅延を検討し、信号間の位相シフトに基づいて予測範囲を２００ｍｓであると特定し、ドライバー連続方向転換意思予測をサポートする。
【0036】
１．４）分析結果に基づいてディープタイムシーケンスモデルを構築し、ドライバー方向転換意思を連続予測するために用いる。
【0037】
１．５）従来のドライバー方向転換意思予測モデルに基づいてディープタイムシーケンスモデルの連続方向転換トルク予測結果に対し評価および比較を行い、評価および比較結果に基づいてディープタイムシーケンスモデルに対し修正あるいは調整を行う。
【0038】
ここで、従来のドライバー方向転換意思予測方法はフィードフォワードニューラルネットワーク（ＦＦＮＮ）、時間遅延ニューラルネットワーク（ＴＤＮＮ）、ＬＳＴＭモデル（ＬＳＴＭ）、双方向ＬＳＴＭモデル（Ｂｉ－ＬＳＴＭ）などを含む。評価および比較結果に基づいて、構築されたディープタイムシーケンスモデルを検証し、効果が良くない場合、構築されたディープタイムシーケンスモデルに対し修正または調整を行う。
【0039】
上記のステップ１．１）において、図２ａ～図２ｂに示すように、両手運転モードでは、筋電信号は、左鎖骨部分前三角筋（ＰＭＡ－Ｃ）、右鎖骨部分前三角筋（ＰＭＡ－Ｃ）、左三角筋前部（ＤＥＬＴ－Ａ）、右三角筋前部（ＤＥＬＴ－Ａ）、左三角筋後部（ＤＥＬＴ－Ｐ）、右三角筋後部（ＤＥＬＴ－Ｐ）、左大三頭筋（ＴＭ）、右大三頭筋（ＴＭ）、左上腕三頭筋長頭（ＴＢ－Ｌ）および右上腕三頭筋長頭（ＴＢ－Ｌ）を含む１０個の筋肉（それぞれの上肢の５個の筋肉）から収集される。
【0040】
図２ｃおよび図２ｄに示すように、右片手運転モードでは、１０個の電極を鎖骨大胸筋（ＰＭＡ－Ｃ）、三角筋前部（ＤＥＬＴ－Ａ）、三角筋中央部（外側）（ＤＥＬＴ－Ｍ）、三角筋後部（ＤＥＬＴ－Ｐ）、上腕三頭筋長頭（ＴＢ－Ｌ）、上腕三頭筋外側頭（ＴＢ－ＬＡＴ）、上腕二頭筋（ＢＣ）、棘下筋（ＩＮＦＴ）、大胸筋（ＰＭ）および大円筋（ＴＭ）に置く。近くの筋肉となるべく遠い距離を保ち、干渉を防ぐように、電極を関連する筋肉の中央に置く。
【0041】
上記のステップ１．４）において、分析結果に基づいてディープタイムシーケンスモデルを構築する方法は、１．４．１）ディープタイムシーケンスモデルの基本構造を特定するステップを含む。
【0042】
図３に示すように、本発明で構築するディープタイムシーケンスモデルの構造について、当該ディープタイムシーケンスモデルは結合予測ネットワークモデルおよび個性化方向転換トルク予測ネットワークモデルという２つの部分を含む。ここで、個性化方向転換トルク予測ネットワークモデルは方向転換姿勢に対し敏感であり、結合予測ネットワークモデルと比べて、より正確な方向転換意思予測結果を生成できる。
【0043】
具体的には、ディープタイムシーケンスモデルは順方向ネットワーク層、結合予測ネットワークモデルおよび個性化方向転換トルク予測ネットワークモデルを含む。順方向ネットワーク層は、シミュレート運転プラットフォーム上の筋電シーケンス、方向転換トルクデータを受信するための筋電信号シーケンス入力層と、入力した筋電シーケンスデータおよび方向転換トルクを処理するための第１Ｂｉ－ＬＳＴＭ層および第２Ｂｉ－ＬＳＴＭ層とを含み、結合予測ネットワークモデルは運転姿勢を区分しない方向転換意思予測モデルの構築に用いられ、全結合層、全結合出力層および結合予測層を含み、かつ各層のモデルパラメータが異なる。個性化方向転換トルク予測ネットワークモデルは３種類の異なる運転姿勢に対する異なる方向転換意思予測モデルの構築に用いられ、転移学習層および第１～第３個性化方向転換トルク予測層を含む。ここで、第１～第３個性化方向転換トルク予測層はそれぞれ１種類の運転姿勢に対応し、第１～第３個性化方向転換トルク予測層のモデル構造は同じであり、いずれも全結合層、全結合出力層および結合予測層を含み、モデルパラメータが異なる。
【0044】
第１Ｂｉ－ＬＳＴＭ層と第２Ｂｉ－ＬＳＴＭ層とは構造が同じであり、いずれもいくつかのＬＳＴＭユニットを含み、各ＬＳＴＭユニットに４つにゲートが導入され、それぞれ入力ゲート、忘却ゲート、更新ゲートおよび出力ゲートと称する。ＬＳＴＭユニットにおけるゲートは重み付けパラメータを学習することにより保留、更新および忘却情報を制御する。ＬＳＴＭユニットの入力ゲート、忘却ゲートおよび出力ゲートは以下のように記述される。
【0045】
【数1】
【0046】
【数2】
【0047】
【数3】
【0048】
ここで、σは活性化関数ｓｉｇｍｏｉｄ関数であり、Ｘｔ（ｔは下付きの添字）は現在ＬＳＴＭユニットの入力であり、Ｓｔ－１（ｔ－１は下付きの添字）は１つ前のＬＳＴＭユニットの出力であり、ｆ、ｉ、ｏはそれぞれ忘却ゲート、入力ゲートおよび出力ゲートであり、Ｕ、Ｗ、ｂはそれぞれ対応する重み行列である。
【0049】
一つの候補のユニット状態は以下のように表される。
【0050】
【数4】
【0051】
式において、Ｕｃ、Ｗｃ、ｂｃ（ｃは下付きの添字）はそれぞれ現在ＬＳＴＭユニットの重み行列である。Ｃｔ（ｔは下付きの添字）はＬＳＴＭユニットの最も重要なパラメータであり、出力および情報処理プロセスを決定し、１つ前のＣｔ－１（ｔ－１は下付きの添字）と現在ユニット状態の組合せである。すなわち、
【0052】
【数5】
【0053】
最後に、出力層はユニット状態と出力ゲートの候補出力の積である。
【0054】
【数6】
【0055】
１．４．２）処理したシミュレート運転プラットフォーム上のマルチモードデータを用いて、ディープラーニングの方法に基づいて、構築したディープタイムシーケンスモデルに対しトレーニングを行い、ディープタイムシーケンスモデルパラメータを取得する。
【0056】
ディープタイムシーケンスモデルの構築完了後、取得したデータを用いて学習の方法に基づいてニューラルネットワークパラメーターを取得する。両手駆動モードでは、３時位置で９１９３個のシーケンスを収集し、１０－１０時位置で８０９８個のシーケンスを収集し、１２時位置で８０４２個のシーケンスを収集する。右片手運転モードでは、３時位置で９８９４個のシーケンスを収集し、１０－１０時位置で９２００個のシーケンスを収集し、１２時位置で７６６０個のシーケンスを収集する。合計２１名の参加者から、両手運転モードからの２５３３３個の運転シーケンスおよび片手運転モードからの２６７５０個の運転シーケンスを収集する。
【0057】
取得データに基づいてディープタイムシーケンスモデルトレーニングを行う時、以下のステップを含む。
【0058】
まず、各運転姿勢からランダムにトレーニングおよびテストデータを選択し、８０％はモデルトレーニングに用いられ、２０％はモデルテストに用いられる。
【0059】
次に、すべての３つの運転姿勢からのトレーニングデータセットを用いて結合予測ネットワークモデルをトレーニングし、結合予測ネットワークモデルのモデルパラメータを得る。
【0060】
その後、トレーニングした結合予測ネットワークモデルに基づいて、転移学習の方法を応用して個性化方向転換トルク予測ネットワークモデルを構築する。
【0061】
最後に、個性化方向転換トルク予測ネットワークモデル中の３つの異なる全結合層（１００個のニューロンを有する）をそれぞれ順方向ネットワーク層と結合し、特定の組からのトレーニングデータを用いてトレーニングを行い、最終的にトレーニング後のニューラルネットワークパラメーターを得る。
【0062】
上記のステップ２）において、スマートカーにディープタイムシーケンスモデルを搭載し、オンライン取得したドライバー筋電信号シーケンスを当該ディープタイムシーケンスモデルに入力し、ドライバー方向転換意思に対し連続予測を行う方法は、２．１）真の運転環境でドライバーが運転する時の筋電信号を取得し、データ処理層に送信して処理を行うステップを含む。
【0063】
２．２）オンライン取得したドライバーの筋電信号シーケンスを入力とし、ディープタイムシーケンスモデルに入力し、予測した方向転換トルクシーケンスを出力する。
【0064】
この連続方向転換予測モデルは、Ｙ＝ＣＳＩＰ（Ｘ）と記述される。
【0065】
ここで、ＣＳＩＰ（）はディープタイムシーケンスモデルである、Ｘは取得したそれぞれの時刻の筋電信号シーケンスであり、Ｙは予測する将来方向転換トルクシーケンスである。
【0066】
上記の各実施例は本発明を説明するためのものであり、各部の構造、接続方式および作成プロセス等はいずれも変形を含み、本発明の実施の形態に基づいて同等の置き換えおよび改良を含み、いずれも本発明の保護範囲から除外されるべきではない。
【符号の説明】
【0067】
１…右鎖骨部分前三角筋（ＰＭＡ－Ｃ）、２…右三角筋前部（ＤＥＬＴ－Ａ）、３…左前三角筋（ＰＭＡ－Ｃ）、４…左三角筋前部（ＤＥＬＴ－Ａ）、５…左三角筋後部（ＤＥＬＴ－Ｐ）、６…左大三頭筋（ＴＭ）、７…左上腕三頭筋長頭（ＴＢ－Ｌ）、８…右三角筋後部（ＤＥＬＴ－Ｐ）、９…右大三頭筋（ＴＭ）、１０…右上腕三頭筋長頭（ＴＢ－Ｌ）、１１…鎖骨大胸筋（ＰＭＡ－Ｃ）、１２…三角筋前部（ＤＥＬＴ－Ａ）、１３…上腕二頭筋（ＢＣ）、１４…大胸筋（ＰＭ）、１５…三角筋中部（外側）（ＤＥＬＴ－Ｍ）、１６…上腕三頭筋外側頭（ＴＢ－ＬＡＴ）、１７…上腕三頭筋長頭（ＴＢ－Ｌ）、１８…三角筋後部（ＤＥＬＴ－Ｐ）、１９…棘下筋（ＩＮＦＴ）、２０…大円筋（ＴＭ）
【図1】
【図2a】
【図2b】
【図2c】
【図2d】
【図3】
