特開 2024-150899 運転支援装置及び運転支援方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024150899

(43)【公開日】2024-10-24

(54)【発明の名称】運転支援装置及び運転支援方法

(51)【国際特許分類】

   G08G 1/00 20060101AFI20241017BHJP

   B60W 40/08 20120101ALI20241017BHJP

   B60W 50/12 20120101ALI20241017BHJP

   B60W 50/14 20200101ALI20241017BHJP

【ＦＩ】

G08G1/00 D

B60W40/08

B60W50/12

B60W50/14

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2023063926

(22)【出願日】2023-04-11

(71)【出願人】

【識別番号】324003048

【氏名又は名称】三菱電機モビリティ株式会社

(72)【発明者】

【氏名】張 遠

【テーマコード（参考）】

3D241

5H181

【Ｆターム（参考）】

3D241BA60

3D241BA70

3D241DD02Z

5H181AA01

5H181BB04

5H181BB05

5H181BB13

5H181BB20

5H181CC02

5H181CC04

5H181EE02

5H181FF10

5H181FF12

5H181FF13

5H181FF22

5H181FF27

5H181FF33

5H181KK01

5H181KK03

5H181KK04

5H181KK07

(57)【要約】

【課題】車両のペダルの踏み間違いに関する制御を適切に行うことが可能な技術を提供することを目的とする。
【解決手段】運転支援装置は、車両内情報と車両周辺情報とを取得する取得部と、車両内情報及び車両周辺情報に基づいて、車両の運転者のパニック状態の度合を示すパニック度を推測する推測モデルに学習させる学習部と、車両内情報及び車両周辺情報を推測モデルに適用してパニック度を推測し、パニック度に基づいて車両のペダルの踏み間違いに関する制御を行う制御部とを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

車両内に関する情報である車両内情報と、前記車両周辺に関する情報である車両周辺情報とを取得する取得部と、
前記車両内情報及び前記車両周辺情報に基づいて、前記車両の運転者のパニック状態の度合を示すパニック度を推測する推測モデルに学習させる学習部と、
前記車両内情報及び前記車両周辺情報を前記推測モデルに適用して前記パニック度を推測し、前記パニック度に基づいて前記車両のペダルの踏み間違いに関する制御を行う制御部と
を備える、運転支援装置。

【請求項2】

請求項１に記載の運転支援装置であって、
前記車両周辺情報は、前記車両の位置が駐車場に対応する場合の前記車両の後続車両台数、前記車両周辺の対向車両台数、及び、前記車両周辺の歩行者数の少なくともいずれか１つを含む、運転支援装置。

【請求項3】

請求項１に記載の運転支援装置であって、
前記車両周辺情報は、前記車両の位置が駐車場に対応する場合の前記駐車場の通路幅を含む、運転支援装置。

【請求項4】

請求項１に記載の運転支援装置であって、
前記車両周辺情報は、前記車両の駐車対象である駐車スペースの隣の駐車スペースの空き状況を含む、運転支援装置。

【請求項5】

請求項１に記載の運転支援装置であって、
前記制御部は、前記パニック度が閾値以上である場合に、前記パニック度に応じた強度を有する指向性の光を、前記車両から前記車両周辺の歩行者に向けて照射させる、運転支援装置。

【請求項6】

請求項１に記載の運転支援装置であって、
前記制御部は、前記パニック度が閾値以上である場合に、前記パニック度に応じた表示態様で、前記運転者が踏むべき前記ペダルの画像を、前記運転者の視線の向きに対応する表示部に表示させる、運転支援装置。

【請求項7】

請求項６に記載の運転支援装置であって、
前記制御部は、前記画像を前記表示部に表示させる場合に、前記表示部を確認する旨の音声を、音声出力部に出力させる、運転支援装置。

【請求項8】

請求項１に記載の運転支援装置であって、
前記学習部は、前記運転者ごとに前記推測モデルに学習させ、
前記制御部は、前記運転者ごとに前記パニック度の推測及び前記制御を行う、運転支援装置。

【請求項9】

車両内に関する情報である車両内情報と、前記車両周辺に関する情報である車両周辺情報とを取得し、
前記車両内情報及び前記車両周辺情報に基づいて、前記車両の運転者のパニック状態の度合を示すパニック度を推測する推測モデルに学習させ、
前記車両内情報及び前記車両周辺情報を前記推測モデルに適用して前記パニック度を推測し、前記パニック度に基づいて前記車両のペダルの踏み間違いに関する制御を行う、運転支援方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、運転支援装置及び運転支援方法に関する。

【背景技術】

【0002】

車両に対する運転者の運転を支援する運転支援装置について様々な技術が提案されている。例えば特許文献１には、発話音声認識センサ、呼吸センサ、心拍センサなどで取得された運転者の情報に基づいてペダルの踏み間違えに関する制御を行う技術が提案されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００７－１７０２３２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、運転者の情報に基づいてペダルの踏み間違いが生じているか否かを判定すると、その判定精度が不十分であるため、車両のペダルの踏み間違いに関する制御を適切に行うことができないという問題があった。

【0005】

そこで、本開示は、上記のような問題点に鑑みてなされたものであり、車両のペダルの踏み間違いに関する制御を適切に行うことが可能な技術を提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示に係る運転支援装置は、車両内に関する情報である車両内情報と、車両周辺に関する情報である車両周辺情報とを取得する取得部と、車両内情報及び車両周辺情報に基づいて、車両の運転者のパニック状態の度合を示すパニック度を推測する推測モデルに学習させる学習部と、車両内情報及び車両周辺情報を推測モデルに適用してパニック度を推測し、パニック度に基づいて車両のペダルの踏み間違いに関する制御を行う制御部とを備える。

【発明の効果】

【0007】

本開示によれば、車両内情報及び前記車両周辺情報に基づいてパニック度を推測する推測モデルに学習させ、車両内情報及び車両周辺情報を推測モデルに適用してパニック度を推測し、パニック度に基づいて車両のペダルの踏み間違いに関する制御を行う。このような構成によれば、車両のペダルの踏み間違いに関する制御を適切に行うことができる。

【図面の簡単な説明】

【0008】

【図1】実施の形態１に係る運転支援装置の構成を示すブロック図である。

【図2】実施の形態１に係る車両内情報及び車両周辺情報の一例を示す図である。

【図3】実施の形態１に係る推測モデルの一例を示す図である。

【図4】実施の形態１に係る運転支援装置の動作を示すフローチャートである。

【図5】実施の形態１に係る運転支援装置の動作を示すフローチャートである。

【図6】実施の形態１に係る運転支援装置の動作を示すフローチャートである。

【図7】実施の形態１に係る運転支援装置の動作を示すフローチャートである。

【図8】実施の形態２に係る運転支援装置の動作を示すフローチャートである。

【図9】実施の形態３に係る運転支援装置の動作を示すフローチャートである。

【図10】実施の形態３に係る運転支援装置で表示される画像の一例を示す図である。

【図11】実施の形態３に係る運転支援装置で表示される画像の一例を示す図である。

【図12】その他の変形例に係る運転支援装置のハードウェア構成を示すブロック図である。

【図13】その他の変形例に係る運転支援装置のハードウェア構成を示すブロック図である。

【図14】その他の変形例に係るサーバの構成を示すブロック図である。

【図15】その他の変形例に係る通信端末の構成を示すブロック図である。

【発明を実施するための形態】

【0009】

＜実施の形態１＞
図１は、本実施の形態１に係る運転支援装置１の構成を示すブロック図である。運転支援装置１は、車両に対する運転者の運転を支援する装置である。運転支援装置１は、車両に搭載された踏み間違い制御装置であってもよいし、後述するように車両に搭載されていないサーバなどであってもよい。

【0010】

図１に示すように、運転支援装置１は、センサ情報取得部１１ａと、ビデオ情報取得部１１ｂと、情報取得部１１ｃと、情報統合部１１ｄと、データベース１２と、学習部１３と、制御部１４とを備える。なお、センサ情報取得部１１ａ、ビデオ情報取得部１１ｂ、情報取得部１１ｃ、及び、情報統合部１１ｄは取得部の概念に含まれる。

【0011】

センサ情報取得部１１ａは、車両のロケーション情報と、車両周辺の障害物情報との少なくともいずれか１つを取得する。なお本明細書において、例えばＡ、Ｂ、Ｃ、…、及び、Ｚの少なくともいずれか１つとは、Ａ、Ｂ、Ｃ、…、及び、Ｚのグループから１つ以上抜き出した全ての組合せのうちのいずれか１つであることを意味する。

【0012】

ロケーション情報は、車両の通行回数と、駐車場種別情報と、スポット情報と、道路情報との少なくともいずれか１つを含む。

【0013】

駐車場種別情報は、例えば、車両の位置が駐車場に対応する場合に、車両の位置に対応する駐車場が、コンビニエンスストアの駐車場、立体駐車場、縦列駐車場、及び、自宅の駐車場の少なくともいずれか１つであるかを示す情報である。なお本明細書において、車両が位置するＸ、及び、車両が周辺に位置するＸの少なくともいずれか１つを、車両の位置に対応するＸと記す。例えば、車両の位置に対応する駐車場は、車両が位置する駐車場であってもよいし、車両の周辺に位置する駐車場であってもよい。

【0014】

スポット情報は、例えば、車両の位置に対応する特定のスポットの混雑情報、及び、工事情報の少なくともいずれか１つを含む。特定のスポットは、例えばお気に入りのスポットを含む。

【0015】

道路情報は、例えば、車両の位置に対応する道路の混雑情報、工事情報、電柱などの柱情報、交通量、車線変更の難易度、及び、道路種別情報の少なくともいずれか１つを含む。道路種別情報は、例えば、車両の位置が道路に対応する場合に、車両の位置に対応する道路が、山道、狭い道路、Ｕターンができない道路、危険道路、事故が多発する道路の少なくともいずれか１つであるかを示す情報である。

【0016】

障害物情報は、例えば、車両と対向車両との間の距離と、車両と後続車両との間の距離と、車両と歩行者との間の距離との少なくともいずれか１つを含む。

【0017】

以上のような情報を取得するセンサ情報取得部１１ａは、例えば、車両の位置などを取得するセンサであってもよいし、当該センサで得られた位置と地図情報とを照合する情報処理装置であってもよいし、それらハードウェアのインターフェースであってもよい。

【0018】

ビデオ情報取得部１１ｂは、車両外部のビデオ情報と、車両内部のビデオ情報との少なくともいずれか１つを取得する。ビデオ情報は、画像情報のみであってもよいし、画像情報及び音声情報であってもよい。

【0019】

車両外部のビデオ情報は、例えば、車両周辺の他車両、車両周辺の歩行者、車両周辺の環境である周辺環境の少なくともいずれか１つのビデオ情報を含む。

【0020】

他車両のビデオ情報は、例えば、車両と対向車両との間の距離、対向車両台数、車両と後続車両との間の距離、及び、後続車両台数の少なくともいずれか１つを含む。歩行者のビデオ情報は、例えば、歩行者と対向車両との間の距離、及び、歩行者数の少なくともいずれか１つを含む。

【0021】

周辺環境のビデオ情報は、例えば、車両の位置に対応する道路の幅、車両の位置に対応する駐車場の駐車スペースに関する駐車スペース情報、車両周辺の音声情報の少なくともいずれか１つを含む。駐車スペース情報は、例えば、駐車スペースの空き状況、駐車スペースにおける障害物と車両との間の距離、駐車スペースの幅、及び、駐車スペースの寸法の少なくともいずれか１つを含む。

【0022】

車両内部のビデオ情報は、例えば、車両内の運転者、同乗者、動物、及び、スマートフォンの少なくともいずれか１つのビデオ情報を含む。運転者のビデオ情報は、例えば、画像処理などを適宜行うことによって運転者の表情、脈拍、熱、頭の向き、目線、及び、会話量を取得可能なビデオ情報を含む。同乗者、動物及びスマートフォンのビデオ情報は、例えば、画像処理などを適宜行うことによって乳幼児、ペット及びスマートフォンの状況を取得可能なビデオ情報を含む。

【0023】

以上のような情報を取得するビデオ情報取得部１１ｂは、例えば、前方カメラ、車内カメラ、及び、サラウンドビューカメラの少なくともいずれか１つであってもよいし、それらハードウェアのインターフェースであってもよい。また、各種カメラは、通常のカメラであってもよいし、赤外線カメラであってもよい。

【0024】

情報取得部１１ｃは、車両のＥＣＵ（Electronic Control Unit）で管理される制御情報と、無線通信によって得られる無線通信情報と、運転者からの操作によって入力される操作情報との少なくともいずれか１つを取得する。

【0025】

無線通信情報は、例えばクラウドなどのサーバからインターネットを介して取得可能な、車両周辺の道路の混雑情報、工事情報、運転者特徴情報、及び、運転車種情報の少なくともいずれか１つを含む。運転者特徴情報は、例えば、運転者の通常時の脈拍数、血圧及び熱などの健康状態を示す健康診断情報を含んでもよい。また、運転者特徴情報は、運転者の服薬履歴、病歴、ライフスタイルなどの生活習慣の情報を含んでもよい。また、運転者特徴情報は、ＳＮＳのテキストマイニングによって取得可能な運転者のＳＮＳでの行動傾向を示す行動パターンを含んでもよい。また、運転者特徴情報は、運転者の運転パターンを含んでもよいし、スマートフォンとの連携によって取得可能な運転者の通常時の表情を含んでもよい。また、運転者特徴情報は、運転者の名前、性別及び年齢などを含んでもよい。

【0026】

運転車種情報は、例えば、運転者の運転歴、運転者がよく運転する車両と運転支援装置１が支援する対象である車両との間における、操作機器の配置の差異、表示機器の配置の差異、前方視野（死角を含む）の差異、ホイールベースの差異、最小回転半径の差異の少なくともいずれか１つを含む。

【0027】

操作情報は、例えば運転者の名前、性別及び年齢などを含む。

【0028】

以上のような情報を取得する情報取得部１１ｃは、例えば、通信装置、及び、入力装置の少なくともいずれか１つであってもよいし、それらハードウェアのインターフェースであってもよい。ここでいう通信装置は、例えばＶ２Ｖを用いた通信装置であってもよい。

【0029】

情報統合部１１ｄは、センサ情報取得部１１ａで取得された情報と、ビデオ情報取得部１１ｂで取得された情報と、情報取得部１１ｃで取得された情報とに基づいて、車両内に関する情報である車両内情報と、車両周辺に関する情報である車両周辺情報とを生成する。

【0030】

図２は、車両内情報及び車両周辺情報の一例を示す図である。図２に示すように、本実施の形態１では、車両周辺情報は、車両の位置が駐車場に対応する場合の車両の後続車両台数、車両周辺の対向車両台数、及び、車両周辺の歩行者数の少なくともいずれか１つを含む。また本実施の形態１では、車両周辺情報は、車両の位置が駐車場に対応する場合の駐車場の通路幅を含む。また本実施の形態１では、車両周辺情報は、駐車スペース情報、すなわち車両の駐車対象である駐車スペースの隣の駐車スペースの空き状況を含む。

【0031】

ただし、車両周辺情報は、これに限ったものではなく、例えば図２の他車両情報、歩行者情報、及び、周辺環境情報に記載された情報のいずれか１つであってもよい。また、車両内情報は、例えば図２の運転者情報、運転者以外の室内情報、及び、運転車種情報に記載された情報のいずれか１つであってもよい。また、車両内情報及び車両周辺情報は図２の例に限ったものではない。例えば、運転車種情報は、車両内情報ではなく車両周辺情報に含まれてもよい。

【0032】

図１の情報統合部１１ｄは、センサ情報取得部１１ａで取得された情報と、ビデオ情報取得部１１ｂで取得された情報と、情報取得部１１ｃで取得された情報とに基づいて、運転者特定情報を生成してデータベース１２に登録する。なお、運転者特定情報は、車両内情報及び車両周辺情報に関係する運転者を特定するための情報である。

【0033】

なお以上では、情報取得部１１ｃが、運転支援装置１内で車両内情報及び車両周辺情報を生成して取得する場合について説明したが、これに限ったものではない。例えば、車両内情報及び車両周辺情報が運転支援装置１の外部装置で生成される場合に、情報取得部１１ｃは、当該外部装置から車両内情報及び車両周辺情報を取得してもよい。

【0034】

学習部１３は、情報統合部１１ｄで取得された車両内情報及び車両周辺情報に基づいて、車両の運転者のパニック状態の度合を示すパニック度を推測する推測モデルに学習させる。推測モデルの学習には、例えばディープラーニングなどの機械学習（訓練）が用いられる。

【0035】

図３は、学習部１３によって学習される推測モデルの一例を示す図である。推測モデルの入力層が、車両内情報及び車両周辺情報を受けると、推測モデルの各中間層が、入力情報とパラーメータとに基づいて出力情報を逐次的に生成する。推測モデルの出力層は、中間層からの最終的な出力情報に基づいてパニック度を出力する。推測モデルの学習に、教師あり学習が用いられた場合には、中間層のパラーメータなどが学習される。なお、推測モデルの学習は、教師あり学習に限ったものではなく、クラスタリングなどの教師なし学習であってもよい。

【0036】

学習結果として得られる推測モデルは、車両内情報及び車両周辺情報が入力されると、適切なパニック度を出力することが可能になる。なお本実施の形態１では、学習部１３は、車両内情報及び車両周辺情報と、データベース１２の運転者特定情報とに基づいて運転者ごとに推測モデルの学習を行う。これにより、推測モデルを簡素化しつつ、学習を効率よく行うことが可能となっている。

【0037】

図１の制御部１４は、情報統合部１１ｄで生成された車両内情報及び車両周辺情報を、学習部１３で得られた推測モデルに適用して、パニック度を推測する。本実施の形態１では、上述したように運転者ごとに推測モデルが学習される。このため、制御部１４は、車両内情報及び車両周辺情報と、運転者特定情報とに基づいて運転者を特定し、車両内情報及び車両周辺情報を、特定された運転者の推測モデルに適用して、当該運転者のパニック度を推測する。

【0038】

制御部１４は、パニック度に基づいて車両のペダルの踏み間違いに関するアシスタンス制御を行う。本実施の形態１では、制御部１４は、特定された運転者のパニック度が、特定された運転者に対応する閾値以上であると判定した場合に、アシスタンス制御として被制御部２１を制御する。なお、閾値は、運転者ごとに設定されるのであれば、デフォルトの値であってもよいし、運転者などのユーザによって設定される値であってもよいし、パニック度に基づいて設定される閾値であってもよい。

【0039】

制御部１４は、被制御部２１を制御される。本実施の形態１では、被制御部２１は、音声出力部２１ａと、灯火照射部２１ｂと、表示部２１ｃと、通信部２１ｄと、ＥＣＵである車両制御部２１ｅとを含み、制御部１４は、これらの少なくともいずれか１つを制御する。

【0040】

制御部１４は、アシスタンス制御として音声出力部２１ａを制御することにより、音声出力部２１ａは、運転者及び歩行者の少なくともいずれか一方に警告音声または案内音声を出力する。制御部１４は、アシスタンス制御として灯火照射部２１ｂを制御することにより、灯火照射部２１ｂは、車両から車両周辺の歩行者に向けて光を照射する。制御部１４は、アシスタンス制御として表示部２１ｃを制御することにより、表示部２１ｃは、運転者に図形及び文字の少なくともいずれかを含む警告画像を表示する。制御部１４は、アシスタンス制御として通信部２１ｄを制御することにより、通信部２１ｄは、例えばＶ２Ｖなどを用いて、車両周辺の他車両に警告信号を送信する。制御部１４は、アシスタンス制御として車両制御部２１ｅを制御することにより、車両制御部２１ｅは、車両のアクセル及びブレーキの少なくともいずれか１つを制御する。

【0041】

＜動作＞
図４は、本実施の形態１に係る運転支援装置の全体動作の概要を示すフローチャートである。なお、各処理の詳細については後述する。

【0042】

ステップＳ１にて、情報統合部１１ｄは、車両内情報及び車両周辺情報を生成し、学習部１３は、車両内情報及び車両周辺情報に基づいて推測モデルに学習させる学習処理を行う。

【0043】

ステップＳ２にて、情報統合部１１ｄは、車両内情報及び車両周辺情報を生成し、制御部１４は、車両内情報及び車両周辺情報に推測モデルを適用してパニック度を推測する推測処理を行う。

【0044】

ステップＳ３にて、制御部１４は、パニック度に基づいてアシスタンス制御が可能な制御処理を行う。その後、図４の動作が終了する。

【0045】

なお、ステップＳ１は、推測モデルの学習段階であり、ステップＳ２及びステップＳ３は、学習結果である推測モデルの利用段階である。ステップＳ１の処理が一度またはある程度行われた後であれば、ステップＳ１の処理は、ステップＳ２及びステップＳ３の処理と並列的に繰り返し行われてもよい。また、ステップＳ２及びステップＳ３の処理は、車両が運転されている間に繰り返し行われてもよい。

【0046】

図５は、図４のステップＳ１の学習処理の動作を示すフローチャートである。ここでは便宜上、運転者特定情報が、データベース１２にすでに登録されているものとして説明する。

【0047】

ステップＳ１１にて、センサ情報取得部１１ａ、ビデオ情報取得部１１ｂ、及び、情報取得部１１ｃは、車両内情報及び車両周辺情報を生成するための情報を取得する。情報統合部１１ｄは、センサ情報取得部１１ａ、ビデオ情報取得部１１ｂ、及び、情報取得部１１ｃで取得された情報に基づいて、車両内情報及び車両周辺情報を生成する。

【0048】

ステップＳ１２にて、学習部１３は、ステップＳ１１で生成された車両内情報及び車両周辺情報と、データベース１２に登録された運転者特定情報とに基づいて、運転者を特定する。例えば、運転者特定情報が複数の運転者の表情を含み、車両内情報が運転者の表情を含む場合に、学習部１３は、両者の表情を照合することによって、車両の運転者を特定してもよい。また例えば、学習部１３は、インターネットを介して取得されたビッグデータを利用して、車両の運転者を特定してもよい。なお、車両の運転者を特定する方法は、上記に限ったものではない。

【0049】

ステップＳ１３にて、学習部１３は、ステップＳ１１で生成された車両内情報及び車両周辺情報に基づいて、ステップＳ１２で特定された運転者に割り当てられた推測モデルに学習させる。

【0050】

ステップＳ１４にて、学習部１３は、特定された運転者について、パニック度の閾値を設定する。学習部１３は、デフォルトの値によって閾値を設定してもよいし、運転者などのユーザから入力された値によって閾値を設定してもよいし、推測モデルの学習時のパニック度に基づいて閾値を設定してもよい。その後、図５の動作が終了する。

【0051】

図６は、図４のステップＳ２の推測処理の動作を示すフローチャートである。

【0052】

ステップＳ２１にて、センサ情報取得部１１ａ、ビデオ情報取得部１１ｂ、及び、情報取得部１１ｃは、車両内情報及び車両周辺情報を生成するための情報を取得する。情報統合部１１ｄは、センサ情報取得部１１ａ、ビデオ情報取得部１１ｂ、及び、情報取得部１１ｃで取得された情報に基づいて、車両内情報及び車両周辺情報を生成する。なお推測モデルを用いたパニック度の推測精度に大きな影響がないのであれば、ステップＳ２１で生成される車両内情報及び車両周辺情報の種類は、ステップＳ１１で生成される車両内情報及び車両周辺情報の種類と多少異なってもよい。

【0053】

ステップＳ２２にて、制御部１４は、ステップＳ２１で生成された車両内情報及び車両周辺情報と、データベース１２に登録された運転者特定情報とに基づいて、運転者を特定する。つまり、制御部１４は、ステップＳ１２と同様の処理を行う。

【0054】

ステップＳ２３にて、制御部１４は、ステップＳ２２で特定された運転者について、図５の処理で得られた推測モデルとパニック度の閾値とを学習部１３から取得する。

【0055】

ステップＳ２４にて、制御部１４は、ステップＳ２１で生成された車両内情報及び車両周辺情報を、ステップＳ２３で取得された推測モデルに適用して、当該運転者のパニック度を推測する。その後、図６の動作が終了する。

【0056】

図７は、図４のステップＳ３の制御処理の動作を示すフローチャートである。

【0057】

ステップＳ３１にて、制御部１４は、ステップＳ２４で推測されたパニック度が、ステップＳ２３で取得された閾値以上であるか否かを判定する。パニック度が閾値以上であると判定された場合には処理がステップＳ３２に進み、パニック度が閾値以上でないと判定された場合には図７の動作が終了する。

【0058】

ステップＳ３２にて、制御部１４は、車両のペダルの踏み間違いに関するアシスタンス制御として、被制御部２１を制御する。本実施の形態１では、制御部１４は、音声出力部２１ａを制御することにより、運転者及び歩行者の少なくともいずれか一方に警告音声または案内音声を出力する。灯火照射部２１ｂは、制御部１４からの制御に応じて、車両から車両周辺の歩行者に向けて光を照射する。表示部２１ｃは、制御部１４からの制御に応じて、運転者に図形及び文字の少なくともいずれかを含む警告画像を表示する。通信部２１ｄは、制御部１４からの制御に応じて、例えばＶ２Ｖなどを用いて、車両周辺の他車両に警告信号を送信する。車両制御部２１ｅは、制御部１４からの制御に応じて、車両のアクセル及びブレーキの少なくともいずれか１つを制御する。その後、図７の動作が終了する。

【0059】

なお、後続車両が存在する場合に、アクセルまたはブレーキの制御によって車両が停止すると衝突などの事故が生じる可能性がある。そこで、制御部１４は、アクセルまたはブレーキを制御する場合には、車両のハザードを点灯させてもよいし、通信部２１ｄから後続車両に、車両が停止する旨の信号を送信させてもよい。これにより、後続車両は、送信された信号に基づいて、後続車両の運転者への警告の通知などを行うことができる。

【0060】

＜実施の形態１のまとめ＞
パニック度は、車両内の状態だけでなく、車両周辺の状態にも影響を受けると考えられる。このことを考慮して、本実施の形態１に係る運転支援装置１は、車両内情報及び前記車両周辺情報に基づいてパニック度を推測する推測モデルに学習させ、車両内情報及び車両周辺情報を推測モデルに適用してパニック度を推測し、パニック度に基づいて車両のペダルの踏み間違いに関する制御を行うように構成されている。このような構成によれば、車両内情報だけでなく車両周辺情報を用いて学習を行うので、パニック度の推測精度を高めることができる。これにより、運転者がペダルの踏み間違えが生じているか否かの判定についての精度を高めることができるので、車両のペダルの踏み間違いに関する制御を適切に行うことができる。

【0061】

また本実施の形態１では、車両周辺情報は、車両の位置が駐車場に対応する場合の車両の後続車両台数、車両周辺の対向車両台数、及び、車両周辺の歩行者数の少なくともいずれか１つを含む。一般的に、後続車両台数、対向車両台数、及び、歩行者数が多いほど、運転者のストレスが高くなる傾向があることから、このような構成によれば、パニック度の推測精度をさらに高めることができる。

【0062】

また本実施の形態１では、車両周辺情報は、車両の位置が駐車場に対応する場合の駐車場の通路幅を含む。一般的に、駐車場の通路幅が狭いほど、運転者のストレスが高くなる傾向があることから、このような構成によれば、パニック度の推測精度をさらに高めることができる。

【0063】

また本実施の形態１では、車両周辺情報は、車両の駐車対象である駐車スペースの隣の駐車スペースの空き状況を含む。一般的に、隣の駐車スペースの空き状況は、車両の駐車に関する難易度に影響し、その結果として運転者のストレスに影響する傾向があることから、このような構成によれば、パニック度の推測精度をさらに高めることができる。

【0064】

また本実施の形態１では、学習部１３は、運転者ごとに推測モデルに学習させ、制御部１４は、運転者ごとにパニック度の推測及びアシスタンス制御を行う。このような構成によれば、推測モデルを簡素化しつつ、学習を効率よく行うことができる。また本実施の形態１のように、運転支援装置１が、運転者ごとに推測されたパニック度に基づいて、パニック度の閾値を設定すれるように構成された場合には、各運転者に合わせたアシスタンス制御を行うことができる。

【0065】

＜実施の形態２＞
本実施の形態２に係る運転支援装置１の構成を示すブロック図は、図１のブロック図と同様である。

【0066】

本実施の形態２では、制御部１４は、推測されたパニック度が閾値以上である場合、つまりアシスタンス制御が行われる場合に、当該パニック度に応じた強度を有する指向性の光を、車両の灯火照射部２１ｂから車両周辺の歩行者に向けて照射させる。

【0067】

図８は、本実施の形態２に係る運転支援装置１の動作を示すフローチャートであり、具体的には、図７のステップＳ３２に含まれる処理を示す。

【0068】

ステップＳ４１にて、制御部１４は、図６のステップＳ２１で生成された車両周辺情報に基づいて、車両周辺に歩行者が存在するか否かを判定する。歩行者が存在すると判定された場合には処理がステップＳ４２に進み、歩行者が存在しないと判定された場合には図８の動作が終了する。

【0069】

ステップＳ４２にて、制御部１４は、図６のステップＳ２１で生成された車両周辺情報から歩行者の位置を取得する。また、制御部１４は、図６のステップＳ２４で推測されたパニック度に基づいて、灯火照射部２１ｂが出力すべき光の強度を取得する。

【0070】

ステップＳ４３にて、制御部１４は、ステップＳ４２で取得された歩行者の位置及び光の強度に基づいて灯火照射部２１ｂを制御する。これにより、車両の灯火照射部２１ｂは、制御部１４で決定された強度を有する指向性の光を、車両周辺の歩行者に向けて照射する。その後、図８の動作が終了する。

【0071】

＜実施の形態２のまとめ＞
以上のような本実施の形態２に係る運転支援装置によれば、パニック度が閾値以上である場合に、当該パニック度に応じた強度を有する指向性の光を、車両から車両周辺の歩行者に向けて照射させる。このような構成によれば、危険度が高いときには、歩行者に危険を通知することができ、かつ、ペダルの踏み間違いによる危険度が低いときには、歩行者の迷惑にならないようにすることができる。

【0072】

＜実施の形態２の変形例＞
制御部１４は、パニック度が閾値以上である場合に、車両から車両周辺の対向車両に向けずに、歩行者に向けて照射しなくてもよい。この場合、対向車両の運転者への運転の妨げることを抑制することができるので、事故の誘発を抑制することができる。

【0073】

また制御部１４は、パニック度に基づいて、灯火照射部２１ｂから車両周辺の歩行者に照射する光の色合いを変更してもよい。例えば、パニック度が高くなるにつれて、制御部１４は、光の色合いを緑色、黄色、赤色の順に変更してもよい。また、光の色合いは、単色でもよいし混成色でもよい。このような構成によれば、歩行者は、車両の運転者の危険度を容易に理解することができる。

【0074】

また制御部１４は、パニック度に基づいて、危険エリア及び退避経路の少なくともいずれか１つを灯火照射部２１ｂに照射させてもよい。このような構成によれば、歩行者は事故を容易に回避することができる。

【0075】

また制御部１４は、危険エリアに存在する歩行者の表情などに基づいて、危険に対する歩行者の認識度を推測し、指向性を有する警告音声を、車両の音声出力部２１ａから認識度が一定値以下である歩行者に向けて出力させてもよい。このような構成によれば、認識度が一定値以下である歩行者に対してのみ警告音声で注意喚起を行うことができ、かつ、他の歩行者の迷惑にならないようにすることができる。

【0076】

＜実施の形態３＞
本実施の形態３に係る運転支援装置１の構成を示すブロック図は、図１のブロック図と同様である。

【0077】

本実施の形態３では、複数の表示部２１ｃが設けられている。複数の表示部２１ｃは、電子ルームミラー、電子サイドミラー、ＣＩＤ（Center Information Display）、並びに、フロントガラス、リアドアガラス及びリアガラスのＨＵＤ（Head Up Display）を含む。そして、制御部１４は、推測されたパニック度が閾値以上である場合、つまりアシスタンス制御が行われる場合に、パニック度に応じた表示態様で、運転者が踏むべきペダルの画像を、運転者の視線の向きに対応する表示部２１ｃに表示させる。また、制御部１４は、当該画像を表示部２１ｃに表示させる場合に、表示部２１ｃを確認する旨の音声を、音声出力部２１ａに出力させる。

【0078】

図９は、本実施の形態３に係る運転支援装置１の動作を示すフローチャートであり、具体的には、図７のステップＳ３２に含まれる処理を示す。

【0079】

ステップＳ５１にて、制御部１４は、図６のステップＳ２１で生成された車両内情報から、運転者の頭の向きを、運転者の視線の向きとして取得する。なお、車両内情報が運転者の視線の向きそのものを含んでいる場合には、制御部は、当該視線の向きを取得してもよい。

【0080】

ステップＳ５２にて、制御部１４は、運転者の視線の向きが前方中央であるか否かを判定する。視線の向きが前方中央であると判定された場合には処理がステップＳ５３に進み、視線の向きが前方中央でないと判定された場合には処理がステップＳ５４に進む。

【0081】

ステップＳ５３にて、制御部１４は、パニック度に応じた表示態様で、運転者が踏むべきペダルの画像を、電子ルームミラー、フロントガラスのＨＵＤ、及び、ＣＩＤの少なくともいずれか１つに表示させる。その後、処理がステップＳ５７に進む。

【0082】

図１０は、ステップＳ５３でフロントガラスのＨＵＤによって表示される、ブレーキペダルの画像２６ａと、アクセルペダルの画像２６ｂとの一例を示す図である。図１０の例では、ＨＵＤは、運転者がブレーキペダルを踏むように画像２６ａを緑色などの目立つ色で表示し、画像２６ｂを白色などの目立たない色で表示している。なお図１０の例では、パニック度が比較的大きい場合の状態が示されており、ＨＵＤは、画像２６ａ，２６ｂの表示だけでなく、「ブレーキを踏んでください」という文字も表示している。

【0083】

図１１は、ステップＳ５３でＣＩＤによって表示される、ブレーキペダルの画像２６ａと、アクセルペダルの画像２６ｂとの一例を示す図である。図１１の例では、ＣＩＤは、図１０と同様の色で画像２６ａ，２６ｂを表示している。なお図１１の例では、パニック度が比較的大きい場合の状態が示されており、ＣＩＤは、画像２６ａ，２６ｂの表示だけでなく、画像２６ａ側に点滅する星形マークなどのアニメーション画像も表示している。

【0084】

図９のステップＳ５４にて、制御部１４は、運転者の視線の向きが前方側方であるか否かを判定する。視線の向きが前方側方であると判定された場合には処理がステップＳ５５に進み、視線の向きが前方側方でないと判定された場合には処理がステップＳ５６に進む。

【0085】

ステップＳ５５にて、制御部１４は、パニック度に応じた表示態様で、運転者が踏むべきペダルの画像を、電子サイドミラーに表示させる。その後、処理がステップＳ５７に進む。

【0086】

ステップＳ５６にて、制御部１４は、パニック度に応じた表示態様で、運転者が踏むべきペダルの画像を、電子サイドミラー、リアドアガラスのＨＵＤ、及び、リアガラスのＨＵＤに表示させる。その後、処理がステップＳ５７に進む。

【0087】

ステップＳ５７にて、制御部１４は、表示部２１ｃを確認する旨の音声を、音声出力部２１ａに出力させる。その後、図９の動作が終了する。

【0088】

＜実施の形態３のまとめ＞
以上のような本実施の形態３に係る運転支援装置によれば、パニック度が閾値以上である場合に、当該パニック度に応じた表示態様で、運転者が踏むべきペダルの画像を、運転者の視線の向きに対応する表示部２１ｃに表示させる。このような構成によれば、危険度が高いときには、運転者が踏むべきペダルの画像を表示することができ、ペダルの踏み間違いによる危険度が低いときには、運転者の迷惑にならないようにすることができる。また、運転者が踏むべきペダルの画像を常に表示するのではなく、必要に応じて表示するので、消費電力の低減化が期待できる。また、制御部１４は、運転者の視線に最も近い表示部２１ｃにのみペダルの画像を表示するように構成すれば、例えば、助手席者がＣＩＤでテレビなどのコンテンツを見ている場合に、ペダルの画像が当該コンテンツの表示を妨げることを抑制することができる。

【0089】

＜実施の形態３の変形例＞
制御部１４は、運転者特定情報に基づいて運転者に適した色（例えばイルミネーションのような色など）で画像２６ａ，２６ｂを表示してもよい。また、車両内情報が運転者特定情報を含む場合、制御部１４は、運転者に適した内容の文字を表示してもよいし、運転者に適したアニメーション画像を表示してもよい。

【0090】

＜その他の変形例＞
上述した図１の取得部（つまりセンサ情報取得部１１ａ、ビデオ情報取得部１１ｂ、情報取得部１１ｃ、及び、情報統合部１１ｄ）と、学習部１３と、制御部１４とを、以下「取得部等」と記す。取得部等は、図１２に示す処理回路８１により実現される。すなわち、処理回路８１は、車両内に関する情報である車両内情報と、車両周辺に関する情報である車両周辺情報とを取得する取得部と、車両内情報及び車両周辺情報に基づいて、車両の運転者のパニック状態の度合を示すパニック度を推測する推測モデルに学習させる学習部１３と、車両内情報及び車両周辺情報を推測モデルに適用してパニック度を推測し、パニック度に基づいて車両のペダルの踏み間違いに関する制御を行う制御部１４と、を備える。処理回路８１には、専用のハードウェアが適用されてもよいし、メモリに格納されるプログラムを実行するプロセッサが適用されてもよい。プロセッサには、例えば、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）などが該当する。

【0091】

処理回路８１が専用のハードウェアである場合、処理回路８１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、またはこれらを組み合わせたものが該当する。取得部等の各部の機能それぞれは、処理回路を分散させた回路で実現されてもよいし、各部の機能をまとめて一つの処理回路で実現されてもよい。

【0092】

処理回路８１がプロセッサである場合、取得部等の機能は、ソフトウェア等との組み合わせにより実現される。なお、ソフトウェア等には、例えば、ソフトウェア、ファームウェア、または、ソフトウェア及びファームウェアが該当する。ソフトウェア等はプログラムとして記述され、メモリに格納される。図１３に示すように、処理回路８１に適用されるプロセッサ８２は、メモリ８３に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、運転支援装置１は、処理回路８１により実行されるときに、車両内に関する情報である車両内情報と、車両周辺に関する情報である車両周辺情報とを取得するステップと、車両内情報及び車両周辺情報に基づいて、車両の運転者のパニック状態の度合を示すパニック度を推測する推測モデルに学習させるステップと、車両内情報及び車両周辺情報を推測モデルに適用してパニック度を推測し、パニック度に基づいて車両のペダルの踏み間違いに関する制御を行うステップと、が結果的に実行されることになるプログラムを格納するためのメモリ８３を備える。換言すれば、このプログラムは、取得部等の手順や方法をコンピュータに実行させるものであるともいえる。ここで、メモリ８３は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）などの、不揮発性または揮発性の半導体メモリ、ＨＤＤ（Hard Disk Drive）、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Digital Versatile Disc）、それらのドライブ装置、または、今後使用されるあらゆる記憶媒体であってもよい。

【0093】

以上、取得部等の各機能が、ハードウェア及びソフトウェア等のいずれか一方で実現される構成について説明した。しかしこれに限ったものではなく、取得部等の一部を専用のハードウェアで実現し、別の一部をソフトウェア等で実現する構成であってもよい。例えば、取得部については専用のハードウェアとしての処理回路８１でその機能を実現し、それ以外についてはプロセッサ８２としての処理回路８１がメモリ８３に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。

【0094】

以上のように、処理回路８１は、ハードウェア、ソフトウェア等、またはこれらの組み合わせによって、上述の各機能を実現することができる。

【0095】

また、以上で説明した運転支援装置は、車両装置と、通信端末と、車両装置及び通信端末の少なくとも１つにインストールされるアプリケーションの機能と、サーバとを適宜に組み合わせてシステムとして構築される運転支援システムにも適用することができる。通信端末は、例えば、携帯電話、スマートフォン及びタブレットなどを含む。以上で説明した運転支援装置の各機能あるいは各構成要素は、前記システムを構築する各機器に分散して配置されてもよいし、いずれかの機器に集中して配置されてもよい。

【0096】

図１４は、本変形例に係るサーバ９１の構成を示すブロック図である。図１４のサーバ９１は、通信部９１ａと制御部９１ｂとを備えており、車両９２の車両装置９３と無線通信を行うことが可能となっている。

【0097】

取得部である通信部９１ａは、車両装置９３と無線通信を行うことにより、車両装置９３で取得された車両内情報及び車両周辺情報を受信する。

【0098】

制御部９１ｂは、サーバ９１の図示しないプロセッサなどが、サーバ９１の図示しないメモリに記憶されたプログラムを実行することにより、図１の学習部１３及び制御部１４と同様の機能を有している。つまり、制御部９１ｂは、車両内情報及び車両周辺情報に基づいて推測モデルに学習させ、車両内情報及び車両周辺情報を推測モデルに適用してパニック度を推測する。そして、制御部９１ｂは、パニック度に基づいて車両のペダルの踏み間違いに関する制御を行うための制御信号を生成する。そして、通信部９１ａは、制御部９１ｂの制御信号を車両装置９３に送信する。このように構成されたサーバ９１によれば、実施の形態１で説明した運転支援装置１と同様の効果を得ることができる。

【0099】

図１５は、本変形例に係る通信端末９６の構成を示すブロック図である。図１５の通信端末９６は、通信部９１ａと同様の通信部９６ａと、制御部９１ｂと同様の制御部９６ｂとを備えており、車両９７の車両装置９８と無線通信を行うことが可能となっている。なお、通信端末９６には、例えば車両９７の運転者が携帯する携帯電話、スマートフォン、及びタブレットなどの携帯端末が適用される。このように構成された通信端末９６によれば、実施の形態１で説明した運転支援装置１と同様の効果を得ることができる。

【0100】

なお、各実施の形態及び各変形例を自由に組み合わせたり、各実施の形態及び各変形例を適宜、変形、省略したりすることが可能である。

【0101】

以下、本開示の諸態様を付記としてまとめて記載する。

【0102】

（付記１）
車両内に関する情報である車両内情報と、前記車両周辺に関する情報である車両周辺情報とを取得する取得部と、
前記車両内情報及び前記車両周辺情報に基づいて、前記車両の運転者のパニック状態の度合を示すパニック度を推測する推測モデルに学習させる学習部と、
前記車両内情報及び前記車両周辺情報を前記推測モデルに適用して前記パニック度を推測し、前記パニック度に基づいて前記車両のペダルの踏み間違いに関する制御を行う制御部と
を備える、運転支援装置。

【0103】

（付記２）
前記車両周辺情報は、前記車両の位置が駐車場に対応する場合の前記車両の後続車両台数、前記車両周辺の対向車両台数、及び、前記車両周辺の歩行者数の少なくともいずれか１つを含む、付記１に記載の運転支援装置。

【0104】

（付記３）
前記車両周辺情報は、前記車両の位置が駐車場に対応する場合の前記駐車場の通路幅を含む、付記１または付記２に記載の運転支援装置。

【0105】

（付記４）
前記車両周辺情報は、前記車両の駐車対象である駐車スペースの隣の駐車スペースの空き状況を含む、付記１から付記３のうちのいずれか１項に記載の運転支援装置。

【0106】

（付記５）
前記制御部は、前記パニック度が閾値以上である場合に、前記パニック度に応じた強度を有する指向性の光を、前記車両から前記車両周辺の歩行者に向けて照射させる、付記１から付記４のうちのいずれか１項に記載の運転支援装置。

【0107】

（付記６）
前記制御部は、前記パニック度が閾値以上である場合に、前記パニック度に応じた表示態様で、前記運転者が踏むべき前記ペダルの画像を、前記運転者の視線の向きに対応する表示部に表示させる、付記１から付記５のうちのいずれか１項に記載の運転支援装置。

【0108】

（付記７）
前記制御部は、前記画像を前記表示部に表示させる場合に、前記表示部を確認する旨の音声を、音声出力部に出力させる、付記６に記載の運転支援装置。

【0109】

（付記８）
前記学習部は、前記運転者ごとに前記推測モデルに学習させ、
前記制御部は、前記運転者ごとに前記パニック度の推測及び前記制御を行う、付記１から付記７のうちのいずれか１項に記載の運転支援装置。

【0110】

（付記９）
車両内に関する情報である車両内情報と、前記車両周辺に関する情報である車両周辺情報とを取得し、
前記車両内情報及び前記車両周辺情報に基づいて、前記車両の運転者のパニック状態の度合を示すパニック度を推測する推測モデルに学習させ、
前記車両内情報及び前記車両周辺情報を前記推測モデルに適用して前記パニック度を推測し、前記パニック度に基づいて前記車両のペダルの踏み間違いに関する制御を行う、運転支援方法。

【符号の説明】

【0111】

１ 運転支援装置、１１ａ センサ情報取得部、１１ｂ ビデオ情報取得部、１１ｃ 情報取得部、１１ｄ 情報統合部、１３ 学習部、１４ 制御部、２１ａ 音声出力部、２１ｂ 灯火照射部、２１ｃ 表示部、２６ａ，２６ｂ 画像。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】