特許 7116540 運転アドバイス装置及び運転アドバイス方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-08-02

(45)【発行日】2022-08-10

(54)【発明の名称】運転アドバイス装置及び運転アドバイス方法

(51)【国際特許分類】

   B60W 40/09 20120101AFI20220803BHJP

   G08G 1/16 20060101ALI20220803BHJP

   B60W 40/08 20120101ALI20220803BHJP

【ＦＩ】

B60W40/09

G08G1/16 C

B60W40/08

【請求項の数】 12

(21)【出願番号】P 2017228175

(22)【出願日】2017-11-28

(65)【公開番号】P2019098780

(43)【公開日】2019-06-24

【審査請求日】2020-10-06

(73)【特許権者】

【識別番号】000005348

【氏名又は名称】株式会社ＳＵＢＡＲＵ

(74)【代理人】

【識別番号】110000936

【氏名又は名称】特許業務法人青海特許事務所

(72)【発明者】

【氏名】後藤 育郎

【審査官】楠永 吉孝

(56)【参考文献】

【文献】特開２００７－１４８９１７（ＪＰ，Ａ）

【文献】特開２００３－１０６８４６（ＪＰ，Ａ）

【文献】特許第６６１３２９０（ＪＰ，Ｂ２）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６０Ｗ １０／００～１０／３０

Ｂ６０Ｗ ３０／００～６０／００

Ｇ０８Ｇ １／００～ １／１６

(57)【特許請求の範囲】

【請求項1】

運転者の感情と同乗者の感情の差から、前記同乗者を不快にする前記運転者の特定の運転操作を判定する操作判定部と、
前記特定の運転操作に関し、前記運転者の運転特徴と前記同乗者の運転特徴の差分に基づいて、前記運転者へのアドバイスを生成するアドバイス生成部と、
前記アドバイスを出力するタイミングを決定するタイミング決定部と、
前記タイミング決定部が決定したタイミングで前記アドバイスを出力するアドバイス出力部と、
を備えることを特徴とする、運転アドバイス装置。

【請求項2】

運転者の感情と同乗者の感情の差から、前記同乗者を不快にする前記運転者の特定の運転操作を判定する操作判定部と、
前記特定の運転操作に関し、前記運転者の運転特徴と前記同乗者の運転特徴の差分に基づいて、前記運転者へのアドバイスを生成するアドバイス生成部と、
車両の走行状態が定常的な走行状態であるか否か、又は前記運転者が会話している状態であるか否かに基づき、前記アドバイスを即時に伝える必要があるか否かを判定し、前記アドバイスを出力するタイミングを決定するタイミング決定部と、
前記タイミング決定部が決定したタイミングで前記アドバイスを出力するアドバイス出力部と、
を備えることを特徴とする、運転アドバイス装置。

【請求項3】

前記タイミング決定部は、車両の周囲状況、車両の走行状態又は前記運転者の状態に基づいて前記タイミングを決定することを特徴とする、請求項１又は２に記載の運転アドバイス装置。

【請求項4】

乗員の感情を推定する感情推定部と、
前記感情推定部が推定した前記運転者の感情と前記同乗者の感情とに基づいて、前記運転者の感情と前記同乗者の感情の差を算出する感情差算出部と、
を備えることを特徴とする、請求項１～３のいずれかに記載の運転アドバイス装置。

【請求項5】

前記操作判定部は、前記運転者の感情と前記同乗者の感情の差が生じたタイミングの前後の所定時間内で、前記特定の運転操作を判定することを特徴とする、請求項１～４のいずれかに記載の運転アドバイス装置。

【請求項6】

前記操作判定部は、前記所定時間内に前記運転者の運転操作に変化がある場合に、当該運転操作を前記特定の運転操作と判定することを特徴とする、請求項５に記載の運転アドバイス装置。

【請求項7】

前記操作判定部は、前記所定時間内の車両の周辺状況に基づいて、前記特定の運転操作を判定することを特徴とする、請求項５に記載の運転アドバイス装置。

【請求項8】

前記特定の運転操作に基づいて、前記運転者の前記運転特徴を抽出する運転者操作特徴抽出部を備える、請求項１～７のいずれかに記載の運転アドバイス装置。

【請求項9】

前記同乗者の運転特徴を記憶するデータベースと、
前記運転者の運転特徴に対応する前記同乗者の運転特徴を前記データベースから抽出し、前記運転者の運転特徴と前記同乗者の運転特徴の前記差分を抽出する操作特徴差分抽出部と、
を備えることを特徴とする、請求項８に記載の運転アドバイス装置。

【請求項10】

前記操作特徴差分抽出部は、前記運転者の運転特徴を抽出した際の運転状態を表すラベルに基づいて、前記運転者の運転特徴に対応する前記同乗者の運転特徴を前記データベースから抽出することを特徴とする、請求項９に記載の運転アドバイス装置。

【請求項11】

運転アドバイス装置が、運転者の感情と同乗者の感情の差から、前記同乗者を不快にする前記運転者の特定の運転操作を判定するステップと、
前記運転アドバイス装置が、前記特定の運転操作に関し、前記運転者の運転特徴と前記同乗者の運転特徴の差分に基づいて、前記運転者へのアドバイスを生成するステップと、
前記運転アドバイス装置が、前記アドバイスを出力するタイミングを決定するステップと、
前記運転アドバイス装置が、前記タイミングで前記アドバイスを出力するステップと、
を備えることを特徴とする、運転アドバイス方法。

【請求項12】

運転アドバイス装置が、運転者の感情と同乗者の感情の差から、前記同乗者を不快にする前記運転者の特定の運転操作を判定するステップと、
前記運転アドバイス装置が、前記特定の運転操作に関し、前記運転者の運転特徴と前記同乗者の運転特徴の差分に基づいて、前記運転者へのアドバイスを生成するステップと、
前記運転アドバイス装置が、車両の走行状態が定常的な走行状態であるか否か、又は前記運転者が会話している状態であるか否かに基づき、前記アドバイスを即時に伝える必要があるか否かを判定し、前記アドバイスを出力するタイミングを決定するステップと、
前記運転アドバイス装置が、前記タイミングで前記アドバイスを出力するステップと、
を備えることを特徴とする、運転アドバイス方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、運転アドバイス装置及び運転アドバイス方法に関する。

【背景技術】

【0002】

従来、下記の特許文献１～３には、車両のドライバの運転特徴を抽出し、他ドライバの運転特徴あるいは他ドライバの運転特徴から作成された安全運転モデルとの比較結果に基づいてドライバに対してアドバイスを行う装置が提案されている。

【0003】

また、下記の特許文献４には、ドライバや同乗者の感情を生体情報や画像情報から推定し、それら感情がネガティブな場合には改善へ向かうよう、車両側で種々の制御を行う装置が提案されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００９－１５７６８５号公報

【文献】特開２０１３－６９２５１号公報

【文献】特開２００６－３５０５６７号公報

【文献】特開２０１６－１３７８７１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１～３に記載された技術では、同乗者の感情を反映した運転アドバイスを行うことに関して、何ら考慮されていない。このため、同乗者が不快に感じる運転操作は改善されないという問題がある。

【0006】

また、特許文献４に記載された技術は、同乗者の感情を反映するように運転者の運転操作の改善へ働きかけるものではない。このため、同乗者が不快に感じる運転者の運転操作が継続して行われてしまう問題がある。また、特許文献４に記載された技術は、車両側で種々の制御を行ってネガティブな感情を改善するため、当該運転制御装置を搭載しない車両を運転する場合には、同乗者を不快にさせる運転操作が行われてしまう問題がある。

【0007】

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、同乗者を不快にさせない運転を実現することが可能な、新規かつ改良された運転アドバイス装置及び運転アドバイス方法を提供することにある。

【課題を解決するための手段】

【0008】

上記課題を解決するために、本発明のある観点によれば、運転者の感情と同乗者の感情の差から、前記同乗者を不快にする前記運転者の特定の運転操作を判定する操作判定部と、前記特定の運転操作に関し、前記運転者の運転特徴と前記同乗者の運転特徴の差分に基づいて、前記運転者へのアドバイスを生成するアドバイス生成部と、前記アドバイスを出力するタイミングを決定するタイミング決定部と、前記タイミング決定部が決定したタイミングで前記アドバイスを出力するアドバイス出力部と、を備える運転アドバイス装置が提供される。
また、運転者の感情と同乗者の感情の差から、前記同乗者を不快にする前記運転者の特定の運転操作を判定する操作判定部と、前記特定の運転操作に関し、前記運転者の運転特徴と前記同乗者の運転特徴の差分に基づいて、前記運転者へのアドバイスを生成するアドバイス生成部と、車両の走行状態が定常的な走行状態であるか否か、又は前記運転者が会話している状態であるか否かに基づき、前記アドバイスを即時に伝える必要があるか否かを判定し、前記アドバイスを出力するタイミングを決定するタイミング決定部と、前記タイミング決定部が決定したタイミングで前記アドバイスを出力するアドバイス出力部と、を備えるものであっても良い。

【0009】

前記タイミング決定部は、車両の周囲状況、車両の走行状態又は前記運転者の状態に基づいて前記タイミングを決定するものであっても良い。

【0010】

また、乗員の感情を推定する感情推定部と、前記感情推定部が推定した前記運転者の感情と前記同乗者の感情とに基づいて、前記運転者の感情と前記同乗者の感情の差を算出する感情差算出部と、を備えるものであっても良い。

【0011】

また、前記操作判定部は、前記運転者の感情と前記同乗者の感情の差が生じたタイミングの前後の所定時間内で、前記特定の運転操作を判定するものであっても良い。

【0012】

また、前記操作判定部は、前記所定時間内に前記運転者の運転操作に変化がある場合に、当該運転操作を前記特定の運転操作と判定するものであっても良い。

【0013】

また、前記操作判定部は、前記所定時間内の車両の周辺状況に基づいて、前記特定の運転操作を判定するものであっても良い。

【0014】

また、前記特定の運転操作に基づいて、前記運転者の前記運転特徴を抽出する運転者操作特徴抽出部を備えるものであっても良い。

【0015】

また、前記同乗者の運転特徴を記憶するデータベースと、前記運転者の運転特徴に対応する前記同乗者の運転特徴を前記データベースから抽出し、前記運転者の運転特徴と前記同乗者の運転特徴の前記差分を抽出する操作特徴差分抽出部と、を備えるものであっても良い。

【0016】

また、前記操作特徴差分抽出部は、前記運転者の運転特徴を抽出した際の運転状態を表すラベルに基づいて、前記運転者の運転特徴に対応する前記同乗者の運転特徴を前記データベースから抽出するものであっても良い。

【0017】

また、上記課題を解決するために、本発明の別の観点によれば、運転アドバイス装置が、運転者の感情と同乗者の感情の差から、前記同乗者を不快にする前記運転者の特定の運転操作を判定するステップと、前記運転アドバイス装置が、前記特定の運転操作に関し、前記運転者の運転特徴と前記同乗者の運転特徴の差分に基づいて、前記運転者へのアドバイスを生成するステップと、前記運転アドバイス装置が、前記アドバイスを出力するタイミングを決定するステップと、前記運転アドバイス装置が、前記タイミングで前記アドバイスを出力するステップと、を備える、運転アドバイス方法が提供される。
また、運転アドバイス装置が、運転者の感情と同乗者の感情の差から、前記同乗者を不快にする前記運転者の特定の運転操作を判定するステップと、前記運転アドバイス装置が、前記特定の運転操作に関し、前記運転者の運転特徴と前記同乗者の運転特徴の差分に基づいて、前記運転者へのアドバイスを生成するステップと、前記運転アドバイス装置が、車両の走行状態が定常的な走行状態であるか否か、又は前記運転者が会話している状態であるか否かに基づき、前記アドバイスを即時に伝える必要があるか否かを判定し、前記アドバイスを出力するタイミングを決定するステップと、前記運転アドバイス装置が、前記タイミングで前記アドバイスを出力するステップと、を備えるものであってもよい。

【発明の効果】

【0018】

以上説明したように本発明によれば、同乗者を不快にさせない運転を実現することが可能な運転アドバイス装置及び運転アドバイス方法を提供することが可能となる。

【図面の簡単な説明】

【0019】

【図1】本発明の一実施形態に係る運転アドバイスシステムの構成を示す模式図である。

【図2】予め「怖い」という感情を定義した顔画像に基づいて感情推定部が感情を推定する手法を示す模式図である。

【図3】本実施形態の運転アドバイスシステムで行われる処理を示すフローチャートである。

【発明を実施するための形態】

【0020】

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0021】

図１は、本発明の一実施形態に係る運転アドバイスシステム２０００の構成を示す模式図である。運転アドバイスシステム２０００は、運転アドバイス装置１０００、車両センサ１１００、乗員センサ１３００、車外センサ１４００、ナビゲーション装置１５００、表示装置１６００、スピーカ１７００、を有して構成されている。運転アドバイスシステム２０００は、主に車両に搭載される。

【0022】

車両センサ１１００は、車両の速度、車両の加速度、車軸（ドライブシャフトなど）の角速度、操舵角速度（操舵角加速度）などの車両情報を検出する各種センサを含む。また、車両センサ１１００は、アクセルペダルやブレーキペダルの踏み込み量、踏み込み角度、踏み込む力などを検出するセンサ、ハンドルの操舵角を検出するセンサを含む。

【0023】

乗員センサ１３００は、カメラ、赤外線センサ等から構成され、車両の乗員の顔を検出する。また、乗員センサ１３００は、乗員の頭や腕の動き、視線方向などを測定する。乗員センサ１３００がカメラから構成される場合、カメラが撮像した画像を画像処理することで、乗員の顔、乗員の頭や腕の動き、視線方向などが取得される。また、乗員センサ１３００は、乗員の発話の音声データを取得するマイクロフォンを含む。

【0024】

車外センサ１４００は、ステレオカメラ、単眼カメラ、ミリ波レーダ、赤外線センサ等から構成され、自車両周辺の人や車両などの位置、速度を測定する。車外センサ１４００がステレオカメラから構成される場合、ステレオカメラは、ＣＣＤセンサ、ＣＭＯＳセンサ等の撮像素子を有する左右１対のカメラを有して構成され、車両外の外部環境を撮像し、撮像した画像情報、または画像情報から抽出した他車との距離や速度、標識情報などを運転アドバイス装置１０００へ送る。一例として、ステレオカメラは、色情報を取得可能なカラーカメラから構成され、車両のフロントガラスの上部に設置される。

【0025】

ナビゲーション装置１５００は、地図情報に基づいて、現在地から目的地までの経路を検索する。このため、ナビゲーション装置９００は、グローバル・ポジショニング・システム（ＧＰＳ：Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等により車両の現在位置を取得することができる。また、ナビゲーション装置１５００は現在地まで車両が走行してきた経路を記憶している。

【0026】

表示装置１６００は、運転アドバイス装置１０００が出力した運転者へのアドバイスを表示する。スピーカ１７００は、運転アドバイス装置１０００が出力した運転者へのアドバイスを音声で出力する。

【0027】

図１に示すように、運転アドバイス装置１０００は、感情推定部１００、感情差算出部２００、不快操作判定部３００、運転者操作特徴抽出部４００、操作特徴差分抽出部５００、アドバイス生成部６００、会話判定部７００、操作特徴データベース８００、アドバイスタイミング決定部９００、アドバイス出力部９５０を有して構成されている。

【0028】

なお、図１に示す運転アドバイス装置１０００の各構成要素は、回路（ハードウェア）、またはＣＰＵなどの中央演算処理装置とこれを機能させるためのプログラム（ソフトウェア）から構成することができる。

【0029】

感情推定部１００は、車両の乗員（運転者、同乗者）の感情を推定する。一般的に、人の感情と顔の特徴量との間に相関関係があることが知られている（Facial Action Coding System）。この相関関係を利用し、予め感情と顔の特徴量の対応関係をデータベース化しておく。感情推定部１００は、カメラ等の画像から顔の特徴量を取得し、データベースの対応関係と比較することで、乗員の感情を推定する。

【0030】

図２は、予め「怖い」という感情を定義した顔画像に基づいて感情推定部１００が感情を推定する手法を示す模式図である。図２に示すように、顔の表情の画像情報から得られる特徴量と、各特徴量に対応する感情（レベル１～４）とが対応付けられて運転アドバイス１０００が備えるデータベースに予め保持されている。感情推定部１００は、乗員センサ１３００から取得した乗員の顔の画像情報から得られる特徴量と、予め保持している図２に示す画像情報の特徴量とを対比し、図２に示す画像情報に対応する特徴量の中から乗員の画像情報の特徴量との類似度が高いものを抽出し、抽出した画像情報の特徴量に対応するレベルに基づいて乗員の感情を判定する。また、ブロックマッチング等の方法により乗員センサ１３００から取得した乗員の顔の画像情報と、予め保持している図２に示すようなその乗員の画像情報とを対比し、図２に示す画像情報の中から乗員の画像情報と類似とが高いものを抽出し、乗員の感情を判定しても良い。なお、図２では、「怖い」という感情を４段階のレベルで例示しているが、「驚く」、「焦る」、「慌てる」などの感情についても同様に、顔の表情の画像情報に対応する特徴量と、各特徴量に対応する感情とを対応付けてレベル分けしておくことで、感情の種類とレベルを判定することができる。感情の推定については、例えば特開２０１３－２１６２４１号公報に記載されている手法を用いることもできる。

【0031】

また、図４では、「怖い」という感情を４段階のレベルで例示しているが、感情のレベル分けは、８段階などより細分化しても良い。また、例えば「怖い」という感情を「怖い」、「怖くない」の２値のレベルに分類しても良い。

【0032】

また、感情推定部１００は、乗員センサ１３００に含まれるマイクロフォンが取得した乗員の音声データに基づいて乗員の感情を推定しても良い。この場合、例えば、音声データの特徴量の変化するパターンを、複数のクラスに分類された変化パターンに基づいて分類し、分類された音声データを教師データとして、特徴量の変化パターンごとに、音声を発話したときの発話者の感情を推定する。このような手法として、例えば特開２０１７－１１１７６０号公報に記載されている手法を用いることができる。

【0033】

感情差算出部２００は、運転者と同乗者の感情差を算出する。感情差算出部２００は、感情推定部１００によって推定された感情の情報が２値の情報であるか、あるいはレベル付けされた多値の情報であるかに応じて、異なる処理を行うことができる。感情差算出部２００は、感情推定部１００によって推定された感情の情報が、「怖い」、「怖くない」の２値のいずれかである場合は、運転者と同乗者の感情を比較し、運転者が不快（「怖がる」、「驚く」、「焦る」、「慌てる」などの感情）に感じておらず、かつ同乗者が不快に感じている時に、「不快操作特徴フラグ」を立てる。

【0034】

また、感情差算出部２００は、感情推定部１００によって乗員の感情の情報が図２のようにレベル付けされている場合は、運転者と同乗者がいずれも「怖い」という感情を感じている場合でも、両者の感じ方の差を算出することができる。例えば、運転者はレベル２の「怖い」という感情を感じており、同乗者はレベル８の「怖い」という感情を感じていた場合、その「怖い」という感情のレベル差は８－２＝６に相当する。感情差算出部２００は、このレベル差が一定のしきい値以上に「不快操作特徴フラグ」を立てる。なお、しきい値は正の値であり、上述した「レベル差が一定のしきい値以上」の場合とは、同乗者がより「怖い」という感情を感じている状況を意味する。

【0035】

なお、同乗者が複数存在する場合、運転者との感情の差を評価する対象は、最も不快レベルが高い同乗者、あるいは事前に特定された個人、あるいは座る位置によって優先順位付けされた態様のうち、最も高い優先順位の対象を選択するものとする。

【0036】

不快操作判定部３００は、同乗者を不快にする運転操作を判定する。不快操作判定部３００は、感情差算出部２００によって「不快操作特徴フラグ」が立てられると、フラグが立てられた時刻の前後の所定時間（例えば、数秒間）の車両データ、操作量のデータ、車両の周囲状況のデータなどを解析し、運転者の運転操作や車両の周囲の状況に変化があるかを調べる。ここで、同乗者が不快に感じた時刻と、その感情を生じさせた運転操作が発生した時刻、または、その感情を生じさせた周囲の状況が発生した時刻は必ずしも一致しないため、フラグが立てられた時刻の前後のいずれのデータについても解析を行う。例えば、同乗者が運転者の急加速操作を怖いと感じた場合、運転者の操作（アクセル踏込）は、同乗者の感情変化（定常→怖い）よりも前の時刻に行われる。一方で、同乗者が運転者のブレーキ操作が遅くて怖いと感じた場合、運転者の操作（ブレーキ踏込）は同乗者の感情変化（定常→怖い）よりも後の時刻に行われる。従って、フラグが立てられた時刻の前後のいずれのデータについても解析を行うことで、同乗者が「怖い」と感じた感情に対応する運転操作や周囲状況を特定することができる。

【0037】

解析するデータとしては、車両運転のための操作量に関するデータ、車両挙動に関するデータ、車両の位置に関連するデータ、車外情報に関するデータなどが挙げられる。

【0038】

車両運転のための操作量に関するデータとしては、アクセルペダルやブレーキペダルの踏み込み量、踏み込み角度または踏み込む力、もしくはハンドルの操舵角などが挙げられる。これらの操作量は、車両センサ１１００から取得される。車両挙動に関するデータとしては、車両速度や３軸の加速度、加加速度（ジャーク）、角速度などが挙げられる。これらのデータは、車両センサ１１００から取得される。車両の位置に関連するデータとしては、車両の位置情報、車両周辺の地図情報などが挙げられる。これらのデータは、ナビゲーション装置１５００から取得される。車外情報としては、周囲の車両や歩行者との距離および位置関係、道路標識、区画線などが挙げられる。これらの情報は、車外センサ１４００から取得される。運転アドバイス装置１０００が備える運転操作・状況データベース８５０は、これらのデータを時系列に蓄積している。不快操作判定部３００は、操作特徴データベース８００に蓄積されたこれらのデータを用い、同乗者を不快にする運転操作、または同乗者を不快にする車両周囲の状況を判定する。

【0039】

不快操作判定部３００は、データ解析の結果、「不快操作特徴フラグ」が立てられた時刻の前後の所定時間の間に、運転者の運転操作に変化がある場合、その操作が「不快操作特徴フラグ」の発生起因と判断する。変化の判定方法としては、操作量と変化時間より判定するものとする。例えば、アクセル操作、ブレーキ操作であれば、「操作していない状態から操作状態へ移行した」、「操作中であったが、アクセルまたはブレーキ開度が単位時間の間に所定の値以上変化した」、などの場合は、運転者の運転操作に変化があるものと判定する。

【0040】

不快操作判定部３００は、運転操作に変化があるか否かを判定した後、「周囲状況の判断」に移行する。上述した急ブレーキや急なアクセルなどの運転操作の変化以外に同乗者を不快にさせる運転操作として、運転者が周囲の状況（交通ルールやマナーなど）に適合した走行をしていないことが挙げられる。つまり、運転者の「周囲状況の判断」が不適切である場合は、同乗者を不快にする運転操作が行われていることになる。

【0041】

例えば自車が一定の速度で走行しているが、前方を走行する前車との車間距離が非常に近い場合（いわゆる、前車をあおっている状況）や、自車が法定速度を超過している場合などが挙げられる。不快操作判定部３００は、上述した「運転操作の変化」が認められない場合でも「周囲状況の判断」が不適切であれば、この運転操作が同乗者を不快にさせる運転操作と判断する。

【0042】

不快操作判定部３００は、「周囲状況の判断」を行う際に、車外センサ１４００を構成するステレオカメラの左右１組のカメラによって撮像した左右１組のステレオ画像対に対し、対応する位置のずれ量から三角測量の原理によって対象物までの距離情報を生成して取得することができる。同時に、不快操作判定部３００は、画像情報から被写体の位置情報を取得することができる。また、不快操作判定部３００は、三角測量の原理によって生成した距離情報に対して、周知のグルーピング処理を行い、グルーピング処理した距離情報を予め設定しておいた三次元的な立体物データ等と比較することにより、立体物データや白線データ等を検出する。これにより、不快操作判定部３００は、人物、他車両、一時停止の標識、停止線、ＥＴＣゲートなどを認識することもできる。また、不快操作判定部３００は、車両センサ１１００から得られる車両の速度に基づいて、自車が法定速度を超過していることを認識できる。従って、不快操作判定部３００は、認識した情報に基づいて「周囲状況の判断」を行うことができる。

【0043】

不快操作判定部３００は、「運転操作の変化」が認められず、かつ「周囲状況の判断」が正しい場合には、同乗者が不快になった理由が運転操作以外にあると判断する。この場合、感情推定部１００からの一連の処理を再度行う。なお、同乗者が不快に感じているが、「運転操作の変化」が認められず、かつ「周囲状況の判断」が正しい場合とは、例えば同乗者だけが自分のスマートフォンを操作しており、そこから得られた情報に驚いたりする場面が当てはまる。

【0044】

以上の処理により、不快操作判定部３００が、同乗者が不快になる運転操作（「運転操作の変化」あるいは「周囲状況の判断」）を特定すると、運転者操作特徴抽出部４００は、「運転操作の変化」あるいは「周囲状況の判断」から「運転者の運転操作の特徴」を抽出する。

【0045】

「運転者の運転操作の特徴」として、例えば「加減速の特徴」、「操舵の特徴」が挙げられる。「加減速の特徴」としては、例えば「走行中の車間距離」、「ブレーキ操作から停車までの走行時間」が挙げられる。「走行中の車間距離」は、前方車両が一定以下の車間距離に位置するとき、その車両との車間距離である。また、「ブレーキ操作から停車までの走行時間」とは、ブレーキ操作を開始してから停車に至るまでの走行時間である。

【0046】

また「操舵の特徴」としては、例えば「車線変更時の所要時間あるいは「右左折時の操舵速度」（車両が交差点に進入しステアリングを切り始めてからの所定時間における平均操舵角速度）が挙げられる。「車線変更時の所要時間」とは、車線変更のために操舵を開始してから隣のレーンに移ってステアリングをセンターに戻すまでの時間である。また、「車線変更時の所要時間」とは、カーブ走行中のレーン変更であれば、車線変更のために操舵を開始してから、カーブの曲率に応じた適切な操舵角に戻すまでの時間である。また、「右左折時の操舵速度」とは、車両が交差点に進入しステアリングを切り始めてからの所定時間における平均操舵角速度である。

【0047】

なお、これらの特徴を抽出した際の「周囲状況」をラベルとして特徴量に付与しておく。「周囲状況」として付与されるラベルとしては、「赤信号で停車」、「交差点での右折」などが挙げられる。

【0048】

操作特徴データベース８００は、「同乗者の運転操作の特徴」を取得して蓄積する。「同乗者の運転操作の特徴」としては、「運転者の運転操作の特徴」と同様に、例えば「加減速の特徴」、「操舵の特徴」が挙げられる。事前に当該車両あるいは同等の特徴量抽出システムを介して同乗者の運転操作の特徴量を抽出しておく。なお「同乗者の運転操作の特徴」が得られていない場合、「模範となる運転操作特徴」で代用しても良い。「模範となる運転操作特徴」は車両メーカにて設定しても良いし、あるいはテレマティクスなどから取得された多数のユーザーの特徴量から構成されていても良い。

【0049】

操作特徴差分抽出部５００は、運転者と同乗者の運転操作の相違点を抽出する。具体的に、操作特徴差分抽出部５００は、運転者操作特徴抽出部４００が抽出した「運転者の運転操作の特徴」と、事前に取得されて操作特徴データベース８００に蓄積された「同乗者の運転操作の特徴」を比較することで、両者の差を抽出する。

【0050】

特徴量の差の抽出は、「運転者の運転操作の特徴」と「同乗者の運転操作の特徴」のそれぞれについて同一ラベルが付与されたものを選び出し、値の差（＝運転者の運転操作の特徴量－同乗者の運転操作の特徴量）を取ることで抽出する。

【0051】

例えば、同乗者が信号で停車する際の運転手のブレーキ操作を不快と感じている場合、「赤信号で停車」とラベル付された「ブレーキ操作から停車までの走行時間」について、運転者と同乗者の差を取る。例えば、「ブレーキ操作から停車までの走行時間」について、同乗者が平均６秒であり、運転者が今回３秒であれば、運転者と同乗者の差は３－６＝－３秒になる。

【0052】

アドバイス生成部６００は、運転者への運転支援内容を決定する。アドバイス生成部６００は、「運転者の運転操作の特徴」と「同乗者の運転操作の特徴」の特徴量の差が無くなるようにアドバイスを出力するためのコメントを決定する。具体的には、「ラベル」、「特徴量」、「差の符号」、「差の絶対値」を入力として、コメント作成マップを用い、コメントを作成する。

【0053】

例えば、上述した例の場合、「ラベル（＝赤信号で停車）」、「特徴量（＝ブレーキ操作から停車までの走行時間）」、「差の符号（＝負）」、「差の絶対値（＝３秒）」を入力することで、運転者に対し『「赤信号で停車」するときには「ブレーキ操作」の「時間」を「早め」にしましょう。具体的には「３秒」ほど手前からが適切です。』などのコメントを作成する。

【0054】

運転アドバイス装置１０００が備えるデータベース９７０には、「ラベル」、「特徴量」、「差の符号」、「差の絶対値」等の入力に対応するコメントが予め記憶されている。アドバイス生成部６００は、これらの入力に対応するコメントをコメントデータベース９７０から抽出してコメントを生成する。

【0055】

アドバイスタイミング決定部９００は、アドバイス生成部６００が生成したアドバイスを運転者に伝達するタイミングを決定する。ここで、アドバイスを伝達するタイミングを誤ると、運転者に上手く伝わらないばかりか、乗員を不快にさせる可能性がある。このため、アドバイスタイミング決定部９００は、即時に伝える必要があるアドバイスと、状況判断してから伝えるべきアドバイスを分類し、適切なタイミングでアドバイスを伝達する。

【0056】

まず、即時性が必要なのは危険に直結する場合で、例えば運転者が一時停止を無視したり、制限速度を超過した場合などがこれにあたる。一方で、適切なタイミングを計るべきものは、走行負荷が大きい状態や、乗員が会話中の場合が考えられる。例えば、運転者が急レーキ操作中の場合、アドバイスを伝達するタイミングとして好ましくないため、定常的な走行状態（操作が一定かつ位置情報から直線走行していることが分かる状況など）になってからアドバイスを行うことにする。

【0057】

危険な状態か否かは、上述した「周囲状況の判断」に基づいて行うことができる。また、走行負荷は、「運転操作の特徴」を抽出する機能から判定することができる。

【0058】

また、運転者が会話中かどうかは、乗員の音声から判断することができる。会話判定部７００は、乗員センサ１３００のマイクロフォンから得られる乗員の発話に応じて、会話が行われているか否かを判定する。

【0059】

アドバイス出力部９５０は、アドバイス生成部６００が生成したアドバイスをアドバイスタイミング決定部９００が決定したタイミングで出力する。出力されたアドバイスは、表示装置１６００に表示される。また、出力されたアドバイスは、スピーカ１７００によって音声により発音される。

【0060】

以上のように、同乗者が不快に感じる運転操作特徴に対して運転アドバイスを行うことで、同乗者が不快に感じる運転者の運転操作を根本的に改善することができる。また、同乗者が運転者へ直接アドバイスや運転指導をする必要がないため、同乗者と運転者の間で諍いが起こることを防ぐこともできる。

【0061】

図３は、本実施形態の運転アドバイスシステム２０００で行われる処理を示すフローチャートである。先ず、ステップＳ１０では、車両の運転開始時に乗員センサ１３００で乗員を識別する。次のステップＳ１２では、感情推定部１００が、乗員センサ１３００から得られる乗員の表情や音声に基づいて、乗員の感情を推定する。

【0062】

次のステップＳ１４では、感情差算出部２００が、運転者と同乗者の感情差を算出する。次のステップＳ１６では、感情差算出部２００が、運転者と同乗者の感情差に基づいて、同乗者の不快感が強いか否かを判定し、同乗者の不快感が強いと判定した場合は、「不快操作特徴フラグ」を立て、ステップＳ１８へ進む。一方、ステップＳ１６で同乗者の不快感が強くないと判定した場合は、ステップＳ１２に戻る。

【0063】

感情差算出部２００によって「不快操作特徴フラグ」が立てられると、ステップＳ１８では、不快操作判定部３００が、同乗者を不快にする運転操作を判定する。次のステップＳ２０では、運転者操作特徴抽出部４００が、運転者の運転操作の特徴を抽出する。

【0064】

次のステップＳ２２では、操作特徴差分抽出部５００が、運転者と同乗者の操作特徴の差分を抽出する。次のステップＳ２４では、運転者と同乗者の操作特徴に差があるか否かを判定し、運転者と同乗者の操作特徴に差がある場合はステップＳ２６へ進む。一方、運転者と同乗者の操作特徴に差が無い場合は、ステップＳ１２に戻る。

【0065】

ステップＳ２６では、アドバイス生成部６００が、運転者へのアドバイスを出力するためのコメントを生成する。次のステップＳ２８では、アドバイスタイミング決定部９００が、アドバイスを運転者に伝達するタイミングが適切であるか否かを判定し、アドバイスを運転者に伝達するタイミングが適切である場合はステップＳ３０へ進む。一方、ステップＳ２８でアドバイスを運転者に伝達するタイミングが適切でないと判定した場合は、ステップＳ２８に戻る。

【0066】

ステップＳ３０では、アドバイス出力部９５０が、アドバイス生成部６００が生成したアドバイスを出力する。次のステップＳ３２では、車両の運転が継続しているか否かを判定し、車両の運転が継続している場合はステップＳ１２へ戻る。一方、車両の運転が継続していない場合は、処理を終了する（ＥＮＤ）。

【0067】

以上説明したように本実施形態によれば、運転者の同乗者の感情差が発生したタイミングに基づいて、同乗者を不快にする運転操作を判定し、判定した運転操作について、運転者と同乗者の相違に基づいて運転者へのアドバイスを生成する。これにより、同乗者が不快に感じる運転が行われることを抑制することが可能となる。

【0068】

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

【符号の説明】

【0069】

６００ アドバイス生成部
９００ アドバイスタイミング決定部
９５０ アドバイス出力部
１０００ 運転アドバイス装置

【図1】

【図2】

【図3】