特開 2024-67341 車両の情報提示方法及び情報提示装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024067341

(43)【公開日】2024-05-17

(54)【発明の名称】車両の情報提示方法及び情報提示装置

(51)【国際特許分類】

   G10L 13/10 20130101AFI20240510BHJP

   G10L 13/00 20060101ALI20240510BHJP

   G01C 21/36 20060101ALI20240510BHJP

   G06F 3/16 20060101ALI20240510BHJP

【ＦＩ】

G10L13/10 112B

G10L13/00 100H

G10L13/10 114

G01C21/36

G06F3/16 640

G06F3/16 650

G06F3/16 690

【審査請求】未請求

【請求項の数】17

【出願形態】ＯＬ

(21)【出願番号】P 2022177333

(22)【出願日】2022-11-04

(71)【出願人】

【識別番号】000003997

【氏名又は名称】日産自動車株式会社

(74)【代理人】

【識別番号】110000486

【氏名又は名称】弁理士法人とこしえ特許事務所

(72)【発明者】

【氏名】西山 乘

【テーマコード（参考）】

2F129

【Ｆターム（参考）】

2F129AA03

2F129BB03

2F129FF12

2F129GG17

(57)【要約】

【課題】他者と会話中の運転者が案内音声を聞き逃すことを抑制できる、車両の情報提示方法及び情報提示装置を提供する。
【解決手段】車両の運転者が他者と会話している場合に、他者の音声と類似する、運転者に情報を提示する案内音声を生成し、生成した案内音声を他者の発話位置から出力する。
【選択図】図１

【特許請求の範囲】

【請求項1】

プロセッサにより実行される、車両の情報提示方法において、
前記プロセッサは、
前記車両の運転者が他者と会話している場合は、前記他者の音声を取得し、
前記音声と類似する、前記運転者に情報を提示する案内音声を生成し、
前記他者の発話位置から前記案内音声を出力する、車両の情報提示方法。

【請求項2】

前記プロセッサは、
前記他者が、前記車両に乗車している同乗者である場合は、前記同乗者の第１音声を取得し、
前記第１音声と類似する、前記車両が走行経路に沿って走行するための情報を前記運転者に提示する第１案内音声を生成し、
前記同乗者から前記運転者に向けて前記第１案内音声を出力する、請求項１に記載の車両の情報提示方法。

【請求項3】

前記プロセッサは、
前記他者が、通信装置を介して前記運転者と会話する車外の通話者である場合は、前記通話者の第２音声を取得し、
前記第２音声と類似する、前記車両が走行経路に沿って走行するための情報を前記運転者に提示する第２案内音声を生成し、
前記第２音声を出力するスピーカーから前記運転者に向けて前記第２案内音声を出力する、請求項１又は２に記載の車両の情報提示方法。

【請求項4】

前記プロセッサは、
前記音声に対して周波数解析を行って前記音声の特徴量を算出し、
前記特徴量に基づき、予め登録された複数の音声モデルから前記特徴量が最も類似する前記音声モデルを選択し、
選択した前記音声モデルを用いて前記案内音声を生成する、請求項１に記載の車両の情報提示方法。

【請求項5】

前記プロセッサは、
前記他者が複数存在する場合は、発言時間が最も長い前記他者を選択し、
前記発言時間が最も長い前記他者の前記音声と類似する前記案内音声を生成し、
前記発言時間が最も長い前記他者の前記発話位置から前記案内音声を出力する、請求項１又は４に記載の車両の情報提示方法。

【請求項6】

前記プロセッサは、
前記他者が複数存在する場合は、前記他者ごとに前記案内音声を生成し、
前記案内音声の中から、前記音声と最も類似する前記案内音声を選択し、
前記音声と最も類似する前記案内音声を出力する、請求項１又は４に記載の車両の情報提示方法。

【請求項7】

前記プロセッサは、
所定時間における前記運転者と前記他者の発言時間の占める割合が所定値以下になったか否かを判定し、
前記割合が前記所定値以下になったと判定したタイミングで前記案内音声を出力する、請求項１又は４に記載の車両の情報提示方法。

【請求項8】

前記プロセッサは、
前記案内音声が、前記運転者に操作を要求する音声であるか否かを判定し、
前記案内音声が前記操作を要求する音声であると判定した場合は、前記操作を要求する音声を、前記操作を要求しない音声に優先して出力する、請求項１又は４に記載の車両の情報提示方法。

【請求項9】

前記プロセッサは、
前記案内音声を出力する場合に、前記他者が発話しているか否かを判定し、
前記他者が発話していると判定したときは、前記音声の波形と逆位相の波形を有する異なる音声を出力する、請求項１又は４に記載の車両の情報提示方法。

【請求項10】

前記プロセッサは、
前記運転者と会話した前記他者の音声モデルを、前記他者と対応付けて予め登録し、
前記他者が前記運転者と過去に会話したことがあるか否かを判定し、
前記他者が前記運転者と過去に会話したことがあると判定した場合は、前記他者に対応する、予め登録された前記音声モデルを用いて前記案内音声を生成する、請求項１又は４に記載の車両の情報提示方法。

【請求項11】

前記プロセッサは、
前記他者が複数存在する場合は、前記他者ごとに前記案内音声を生成し、
前記他者の中に発話していない前記他者が存在するか否かを判定し、
発話していない前記他者が存在すると判定したときは、発話していない前記他者の前記案内音声を出力する、請求項１又は４に記載の車両の情報提示方法。

【請求項12】

前記プロセッサは、
前記同乗者の人数と、各同乗者の着座位置とを特定する、請求項２に記載の車両の情報提示方法。

【請求項13】

前記プロセッサは、
前記車両の車室内の音声を取得し、
前記車室内の音声から前記第１音声を抽出する、請求項２又は１２に記載の車両の情報提示方法。

【請求項14】

前記プロセッサは、
前記車室内の音声から前記第１音声を抽出する場合に、前記車室内の音声から前記車両の機器から出力された音声を除去する処理を行う、請求項１３に記載の車両の情報提示方法。

【請求項15】

前記プロセッサは、
前記運転者に、前記同乗者が発話したと認識させるように車内のスピーカーを制御する、請求項２又は１２に記載の車両の情報提示方法。

【請求項16】

前記プロセッサは、
前記同乗者の着座位置に最も近い位置のスピーカーから前記案内音声を出力する、請求項２又は１２に記載の車両の情報提示方法。

【請求項17】

車両の運転者が他者と会話している場合に、前記他者の音声を取得する取得部と、
前記音声と類似する、前記運転者に情報を提示する案内音声を生成する音声生成部と、
前記他者の発話位置から前記案内音声を出力する出力部とを備える、車両の情報提示装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両の情報提示方法及び情報提示装置に関するものである。

【背景技術】

【0002】

取得した音声データを音声ファイルに録音し、当該音声データに対して音声認識処理を行って道案内に用いる表現を抽出し、抽出した表現を、音声ファイル、走行ルート、及び音声を取得した時の自車位置と対応付けて記録し、記録した走行ルートと同じルートを走行する場合に、自車位置が、記録した自車位置から所定範囲内であることを検出したときは、記録した自車位置に対応する音声ファイルを出力するナビゲーション方法が知られている（特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２０１３／０５１０７２号

【発明の概要】

【発明が解決しようとする課題】

【0004】

人間は、様々な音声が同時に発出されている場合でも、これらの音声の中から自分に必要な情報及び重要な情報を無意識に選択して聞き取ることができる。これをカクテルパーティー効果とも言う。

【0005】

上記従来技術では、記録した走行ルートと同じルートを走行する場合に、記録した自車位置から所定範囲内で、記録した音声ファイルが、運転者に情報を提示する案内音声として出力される。この案内音声を出力した時に運転者が他者と会話をしていると、上述したカクテルパーティー効果により、運転者は、他者が発した音声のみを選択的に聞き取ってしまい、案内音声の方を聞き逃してしまうという問題がある。

【0006】

本発明が解決しようとする課題は、他者と会話中の運転者が案内音声を聞き逃すことを抑制できる、車両の情報提示方法及び情報提示装置を提供することである。

【課題を解決するための手段】

【0007】

本発明は、車両の運転者が他者と会話している場合に、他者の音声と類似する、運転者に情報を提示する案内音声を生成し、生成した案内音声を他者の発話位置から出力することによって上記課題を解決する。

【発明の効果】

【0008】

本発明によれば、他者と会話中の運転者が案内音声を聞き逃すことを抑制できる。

【図面の簡単な説明】

【0009】

【図1】本発明の情報提示装置を含む情報提示システムの一例を示すブロック図である。

【図2】図１に示す車内カメラ、マイクロフォン、スピーカーの車室における配置の一例を示す、車両の高さ方向に垂直な断面図である。

【図3】図１の情報提示システムにおける処理手順の一例を示すフローチャートである（その１）。

【図4】図１の情報提示システムにおける処理手順の一例を示すフローチャートである（その２）。

【図5】図１の情報提示システムにおける処理手順の一例を示すフローチャートである（その３）。

【図6】図１の情報提示システムにおける処理手順の一例を示すフローチャートである（その４）。

【発明を実施するための形態】

【0010】

以下、本発明の実施形態を図面に基づいて説明する。

【0011】

［情報提示システムの構成］
図１は、本発明に係る情報提示システム１を示すブロック図である。情報提示システム１は、例えば車載システムであり、図１に示すように車内カメラ１１、マイクロフォン１２、通信装置１３、ナビゲーション装置１４、スピーカー１５及び情報提示装置１６を備える。情報提示システム１を構成する装置は、ＣＡＮ（Controller Area Network）その他の車載ＬＡＮによって接続され、互いに情報を授受できる。

【0012】

車内カメラ１１は、車内に設置されたカメラであり、ＣＣＤ、ＣＭＯＳなどの撮像素子を備えるカメラ、超音波カメラ、赤外線カメラなどが挙げられる。車内カメラ１１が撮影する対象物は、車内に存在する物体であり、主として乗員（具体的には乗員の顔）である。車内カメラ１１は、乗員を特定できるように乗員の顔を撮影できる位置に設置される。また、車内カメラ１１は、取得された画像から乗員の人数と着座位置が特定できる位置に設置されてもよい。なお、一台の車内カメラ１１で全ての乗員を撮影できない場合は、複数台の車内カメラ１１を設置してもよい。

【0013】

マイクロフォン１２は、車内の音を音声データとして取得する装置であり、スタンドマイク、接話型マイク、ガンマイクなどが挙げられる。マイクロフォン１２は、指向性及び無指向性のいずれでもよく、有線及び無線のいずれかの通信方式を用いる。マイクロフォン１２で取得される音声は車両の車室内の音声であり、乗員が発する声、通信装置１３及びスピーカー１５から出力される音声などが含まれる。マイクロフォン１２は、車室内の音声が検出できる範囲内で適宜の位置に設置でき、その台数は、マイクロフォン１２の検出範囲と車室の大きさに応じて適宜の台数とする。

【0014】

通信装置１３は、運転者（ドライバー）が車外の人間と通話するための装置であり、ネットワークを介し、車外の人間の有する通信装置１３ａと通信できる。なお、本実施形態では、通信装置１３ａは、情報提示システム１には含まれないものとする。通信装置１３は、例えばスマートフォンのような携帯端末であり、通信装置１３が備えるマイクロフォンとスピーカーに代えて、車載のマイクロフォン１２及びスピーカー１５を用いて通話できる。

【0015】

ナビゲーション装置１４は、地図情報（図示しない）を参照し、車両の現在位置から、乗員により設定された目的地までの走行経路を算出する装置である。車両の現在位置は、ＧＰＳ（Global Positioning System）を用いた測位システムなどから取得する。ナビゲーション装置１４は、例えば、高精細地図情報（ＨＤマップ）の道路情報及び施設情報などを用いて、車両が現在位置から目的地まで到達するための走行経路を検索する。走行経路は、車両が走行する道路、走行車線及び車両の走行方向の情報を含み、例えば線形で表示される。

【0016】

図１に示すように、車内カメラ１１により取得された画像データ、マイクロフォン１２により取得された音声データ、通信装置１３から出力された音声データ、及びナビゲーション装置１４にて算出された走行経路の案内情報は、必要に応じて各装置から出力され、情報提示装置１６により取得される。

【0017】

スピーカー１５は、電気信号エネルギーを音響エネルギーに変換して空間に放出する装置であり、拡声器とも言う。図１に示すように、スピーカー１５は、情報提示装置１６から出力された案内音声の信号を、音声に変換して車室内に放出（出力）する。スピーカー１５は、乗員に音声を伝達できる範囲内で適宜の位置に設置でき、その台数は、スピーカー１５の伝達範囲と車室の大きさに応じて適宜の台数とする。

【0018】

上述した車内カメラ１１、マイクロフォン１２及びスピーカー１５の車室における配置の一例を、図２を用いて示す。図２は、車両Ｖの高さ方向に垂直な断面図である。図２に示す車両Ｖの右前側には運転席Ａ１が設けられ、左前側には助手席Ａ２が設けられ、車両Ｖの後側には後部座席Ａ３、Ａ４が設けられている。また、図２に示す車両Ｖでは、運転席Ａ１には運転者Ｂ１が座り、助手席Ａ２には乗員Ｂ２が座り、後部座席Ａ３には乗員Ｂ３が座り、後部座席Ａ４には乗員Ｂ４が座っているものとする。乗員Ｂ２～Ｂ４は、運転者Ｂ１と同じ車両Ｖに乗車する同乗者である。

【0019】

図２に示す車両Ｖでは、運転者Ｂ１及び乗員Ｂ２～Ｂ４を撮影するため、運転席Ａ１と助手席Ａ２との間に車内カメラ１１が設置されている。具体的には、車内カメラ１１は、ウィンドシールドの上部に設置された後写鏡に備え付けられている。また、運転者Ｂ１の音声を取得するため、運転席Ａ１の前方にマイクロフォン１２ａが設置され、乗員Ｂ２の音声を取得するため、助手席Ａ２の前方にマイクロフォン１２ｂが設置されている。具体的には、マイクロフォン１２ａは、車両Ｖのステアリングホイール又はインストルメントパネルに設置され、マイクロフォン１２ｂは、グローブボックスに設置されている。また、乗員Ｂ３、Ｂ４の音声を取得するため、車両Ｖのルーフの車室中央付近にマイクロフォン１２ｃが設置されている。さらに、運転者Ｂ１に音声を伝達するため、運転席Ａ１の右前方にスピーカー１５ａが設置され、乗員Ｂ２に音声を伝達するため、助手席Ａ２の左前方にスピーカー１５ｂが設置され、乗員Ｂ３、Ｂ４に音声を伝達するため、後部座席Ａ３の右後方にスピーカー１５ｃが設置され、後部座席Ａ４の左後方にスピーカー１５ｄが設置されている。

【0020】

図１に戻り、情報提示装置１６は、情報提示システム１を構成する各装置を制御して協働させ、車両の乗員に情報を提示するための装置である。情報提示装置１６は、例えばコンピュータであり、プロセッサであるＣＰＵ（Central Processing Unit）と、プログラムが格納されたＲＯＭ（Read Only Memory）と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）とを備える。ＣＰＵは、ＲＯＭに格納されたプログラムを実行し、情報提示装置１６が有する機能を実現するための動作回路である。

【0021】

情報提示装置１６は、車両の乗員に情報を提示する情報提示機能を有する。情報提示装置１６のＲＯＭには情報提示機能を実現するプログラムが格納され、ＣＰＵがＲＯＭに格納されたプログラムを実行することで、情報提示機能が実現される。図１には、情報提示機能を実現する機能ブロックとして、特定部２、取得部３、モデル生成部４、音声生成部５及び出力部６を便宜的に抽出して示す。以下、図１に示す各機能ブロックが有する機能について説明する。

【0022】

［各機能ブロックの機能］
特定部２は、乗員の人数と、各乗員の着座位置とを特定する機能を有する。情報提示装置１６は、特定部２の機能により、車内カメラ１１から取得した画像を解析し、各座席について、乗員が座っているか否かを判定する。例えば、車内カメラ１１から取得した画像に対してパターンマッチングを行い、乗員が座席に座っているパターンを検出した場合は、乗員が座席に座っていると判定する。この場合に、各座席の乗員の顔を識別し、乗員を特定してもよい。

【0023】

これに代え又はこれに加え、情報提示装置１６は、各座席に設置された圧力センサの圧力値を取得し、圧力値が所定圧力値以上であるか否かを判定してもよい。所定圧力値は、例えば、成人が座席に座った場合に計測される圧力値とし、圧力値が所定圧力値以上であれば乗員が座席に座っていると判定し、圧力値が所定圧力値未満であれば乗員が座席に座っていないと判定する。

【0024】

図２に示す車両Ｖであれば、情報提示装置１６は、運転席Ａ１、助手席Ａ２及び後部座席Ａ３、Ａ４に設置された圧力センサの圧力値を検出し、各圧力センサの圧力値が所定圧力値以上であるため、乗員の人数が４人であることを特定する。また、情報提示装置１６は、車内カメラ１１から取得した画像に対してパターンマッチングを行い、運転者Ｂ１及び乗員Ｂ２～Ｂ４の顔を識別し、運転者Ｂ１の着座位置が運転席Ａ１であり、乗員Ｂ２の着座位置が助手席Ａ２であり、乗員Ｂ３の着座位置が後部座席Ａ３であり、乗員Ｂ４の着座位置が後部座席Ａ４であると特定する。

【0025】

取得部３は、車両Ｖの運転者Ｂ１が他者と会話しているか否かを判定し、運転者Ｂ１が他者と会話していると判定した場合に、当該他者の音声を取得する機能を有する。本実施形態の他者とは、車両Ｖの運転者Ｂ１が会話し得る人間であり、具体的には、車両Ｖに乗車している同乗者と、通信装置１３を介して運転者Ｂ１と通話する車外の通話者とのうち少なくとも一方である。つまり、本実施形態では、特定部２の機能により、運転者Ｂ１以外の乗員が存在しないと判定された場合でも、運転者Ｂ１が通話者と会話することがある。

【0026】

情報提示装置１６は、運転者Ｂ１が他者と会話しているか否かを判定するため、取得部３の機能により、マイクロフォン１２から車両Ｖの車室内の音声を取得し、取得した音声から乗員の音声を抽出する。具体的には、車室内の音声から、車両Ｖの機器から出力された音声、車両Ｖの走行に伴い車両Ｖを構成する部品から発生する音、車外の騒音などを除去する処理を行う。車両Ｖの機器から出力された音声としては、スピーカー１５から出力されたラジオの音声、ナビゲーション装置１４の効果音などが挙げられる。また、車両Ｖを構成する部品から発生する音としては、タイヤが路面を転がる音、エンジンの作動音、制動時のブレーキの音などが挙げられる。情報提示装置１６は、これらの音声（音）の波形と逆位相の波形を有する音声を、取得した車室内の音声に重ね合わせ、乗員の音声以外の音声（音）を除去する。

【0027】

また、情報提示装置１６は、車内カメラ１１から取得した画像を解析して各乗員の口の動きを検出する。そして、取得した音声における乗員の発話のタイミングと、運転者Ｂ１の口の動きとを比較し、運転者Ｂ１が発話しているか否かを判定する。より具体的には、運転者Ｂ１が、ある一定の時間内に複数回発話したか否かを判定する。当該一定の時間は、運転者Ｂ１が他人と会話をしていることを確認できる範囲内で適宜の時間を設定でき、例えば５～３０秒である。情報提示装置１６は、ある一定の時間内に運転者Ｂ１が複数回発話したと判定した場合は、運転者Ｂ１が同乗者及び／又は通話者と会話していると認識する。これに対し、ある一定の時間内に運転者Ｂ１が複数回発話しなかったと判定した場合は、運転者Ｂ１が同乗者及び／又は通話者と会話していないと認識する。

【0028】

例えば、図２に示す車両Ｖにおいて運転者Ｂ１と乗員Ｂ２が会話をしているものとすると、情報提示装置１６は、マイクロフォン１２ａ～１２ｃから車室内の音声を取得し、取得した音声から、通信装置１３が備えるスピーカーと、スピーカー１５から出力された音声を除去する。また、車両Ｖが走行する際に発生する摩擦音、振動音なども除去する。これにより、取得した車室内の音声から、運転者Ｂ１と乗員Ｂ２の音声のみを抽出する。次に、車内カメラ１１から取得した画像を解析し、運転者Ｂ１の口の動きを検出する。そして、運転者Ｂ１の口の動きと、抽出した音声におけるの発話のタイミングとを比較し、ある一定の時間内に運転者Ｂ１が複数回発話したと判定する。これにより、情報提示装置１６は、運転者Ｂ１が同乗者と会話していることを認識する。

【0029】

運転者Ｂ１以外の乗員が存在すると判定された場合は、情報提示装置１６は、ある一定の時間内に運転者Ｂ１と、運転者Ｂ１以外の乗員の少なくとも一名とが発話したか否かを判定してもよい。この場合、ある一定の時間内に運転者Ｂ１と、運転者Ｂ１以外の乗員とが発話したと判定したときは、情報提示装置１６は、運転者Ｂ１が同乗者と会話していると認識する。これに対し、一定の時間内に運転者Ｂ１と、運転者Ｂ１以外の乗員とが発話しなかったと判定したときは、情報提示装置１６は、運転者Ｂ１が同乗者と会話していないと認識する。なお、運転者Ｂ１以外の乗員が複数存在する場合は、同様の方法により、乗員同士が会話をしているか否かを判定してもよい。

【0030】

また、運転者Ｂ１以外の乗員が存在しないと判定された場合、又は運転者Ｂ１以外の乗員が発話していないと判定された場合は、情報提示装置１６は、通信装置１３が、情報提示システム１の外部の通信装置１３ａと通話中であるか否かを判定してもよい。この場合、通信装置１３が外部の通信装置１３ａと通話中であると判定したときは、情報提示装置１６は、運転者Ｂ１が通話者と会話していると判定し、通信装置１３が外部の通信装置１３ａと通話中でないと判定したときは、運転者Ｂ１が同乗者及び通話者のいずれとも会話をしていないと判定する。

【0031】

さらに、情報提示装置１６は、複数のマイクロフォン１２が取得した音声の波形同士の位相の差と、マイクロフォン１２が設置された位置との関係に基づき、どの乗員がどの音声を発話したのかを特定してもよい。例えば、図２に示す車両Ｖにおいて運転者Ｂ１が発話した場合は、ある波形を有する音声がマイクロフォン１２ａにて検出された後、同じ波形を有する音声がマイクロフォン１２ｃにて検出される。マイクロフォン１２ａとマイクロフォン１２ｃにおける当該音声の検出タイミングの差は、運転者Ｂ１とマイクロフォン１２ａの距離と、運転者Ｂ１とマイクロフォン１２ｃの距離の差に比例するため、当該音声は運転者Ｂ１が発話したものと特定できる。この場合は、車内カメラ１１から取得した画像を用いずに、運転者Ｂ１が発話しているか否か（つまり、運転者Ｂ１が他人と会話しているか否か）を判定できる。

【0032】

情報提示装置１６は、運転者Ｂ１が他者と会話していると判定した場合は、取得部３の機能により、運転者Ｂ１と会話する他者の音声を取得する。情報提示装置１６は、運転者Ｂ１が、同じ車両Ｖに乗車している同乗者と会話している場合は、同乗者の音声を取得し、運転者Ｂ１が、通信装置１３を介して車外の通話者と会話している場合は、通話者の音声を取得する。これに対し、運転者Ｂ１が他者と会話していないと判定した場合は、情報提示装置１６は、運転者Ｂ１が他者と会話しているか否かの判定を繰り返す。又はこれに代え、情報提示装置１６は、スタンバイの状態になる。以下、同乗者の音声を第１音声とも言い、通話者の音声を第２音声とも言うこととする。

【0033】

同乗者の第１音声は、上述と同様の方法で、車室内の音声から同乗者の音声を抽出して取得する。例えば、図２に示す車両Ｖにおいて運転者Ｂ１と乗員Ｂ２が会話をしている場合は、マイクロフォン１２ａ～１２ｃから車室内の音声を取得し、取得した音声から、スピーカー１５から出力された音声などを除去し、運転者Ｂ１と乗員Ｂ２の音声のみを抽出する。次に、車内カメラ１１から取得した画像から乗員Ｂ２の口の動きを検出し、運転者Ｂ１と乗員Ｂ２のみの音声から、乗員Ｂ２の口が開いている（つまり、乗員Ｂ２が発話している）部分のみをさらに抽出する。これに対し、通話者の第２音声は、通信装置１３のスピーカー又は車両Ｖのスピーカー１５から出力される通話者の音声を取得する。

【0034】

モデル生成部４は、案内音声を生成するための音声モデルを生成する機能を有する。音声モデルとは、音声の特徴量が設定されたモデルであり、例えば、入力されたテキストを読み上げて人工音声を生成するソフトウェアである。特徴量とは、音声の特徴を示す数値であり、具体的には、発音の速さ、声の大きさ、母音と子音の音声の波形、単語の使用頻度、方言の種類とその使用頻度などが挙げられる。

【0035】

これらの特徴量は、発話された内容に対する形態素解析、音声の波形に対する周波数解析などの解析により求められる。特に、情報提示装置１６は、取得した音声に対して周波数解析を行い、周波数解析により得られた周波数成分とその振幅を特徴量として算出する。周波数解析とは、ある波形を複数の単純な正弦波と余弦波に分解することで、当該波形に含まれる周波数成分とその振幅を求めることを言う。情報提示装置１６は、取得した音声の波形の所定範囲で上述の各種解析を実行する。当該所定範囲は、例えば、運転者Ｂ１と会話している乗員が発話を開始してから、運転者Ｂ１又は他の乗員が発話を開始するまでの範囲である。また、当該所定範囲は、運転者Ｂ１と会話している乗員が発話を開始してから、一つの文を発話し終えるまでの範囲であってもよい。

【0036】

情報提示装置１６は、モデル生成部４の機能により、音声に対して周波数解析などの解析を行い、当該音声の特徴量を算出し、取得した音声に類似する案内音声を生成できる音声モデルを生成する。情報提示装置１６は、算出された特徴量に基づき、機械学習（例えば深層学習）を用いて新規な音声モデルを生成してもよく、算出された特徴量を用いて、予め登録された音声モデルを変更することで音声モデルを生成してもよい。また、情報提示装置１６は、特徴量に基づき、予め登録された複数の音声モデルから特徴量が最も類似する音声モデルを選択してもよい。予め登録された音声モデルから一のモデルを選択することで、時間のかかる、音声モデルを生成する工程を省略できる。

【0037】

なお、特徴量が最も類似するとは、特徴量同士の差が最も小さい（つまり最も似ている）ことを言う。例えば、特徴量（特に周波数成分とその振幅）の差が最も小さくなることを言う。一例として、周波数成分とその振幅について、小さい周波数成分から順番に周波数を比較し、周波数の差を足し合わせた時に差の総和が最も小さくなるものが、最も類似する特徴量である。また、別の例として、小さい周波数成分から順番に振幅の差を求め、振幅の差を足し合わせた時に差の総和が最も小さくなるものが、最も類似する特徴量である。

【0038】

例えば、図２に示す車両Ｖにおいて運転者Ｂ１と乗員Ｂ２が会話をしている場合に、乗員Ｂ２の音声を取得したときは、情報提示装置１６は、乗員Ｂ２の音声に対して周波数解析を行い、乗員Ｂ２の音声に含まれる周波数成分とその振幅を算出する。そして、当該周波数成分と振幅に基づき、ナビゲーション装置１４のデフォルトの音声モデルを変更し、乗員Ｂ２の音声に類似する案内音声を生成するための音声モデルを生成する。

【0039】

音声生成部５は、運転者Ｂ１に情報を提示する案内音声を生成する機能を有する。運転者Ｂ１に提示する情報とは、例えばナビゲーション装置１４から出力される情報であり、特に、車両Ｖが、設定された走行経路に沿って走行するための情報である。具体的には、車両Ｖの走行状態、交差点における右左折の要否、右左折専用車線の有無、車線変更の要否、回避の必要がある障害物の位置などが挙げられる。また、案内音声により提示される情報には、目的地付近の観光情報、近隣の施設情報、ニュースなどの時事情報、車両Ｖの故障情報などの、走行経路に沿って走行するための情報以外の情報が含まれる。これらの情報を総称して案内情報とも言う。

【0040】

情報提示装置１６は、上述の案内情報を運転者Ｂ１に伝達するため、音声生成部５の機能により、音声モデルを用いて案内音声を生成する。具体的には、同乗者の第１音声と類似する案内音声と、通話者の第２音声と類似する案内音声のうち少なくとも一方を生成する。生成される案内音声の内容は、図１に示すとおり、ナビゲーション装置１４から取得した案内情報に基づく。以下、同乗者の第１音声と類似する案内音声を第１案内音声とも言い、通話者の第２音声と類似する案内音声を第２案内音声とも言うこととする。

【0041】

情報提示装置１６が生成する案内音声は、運転者Ｂ１と会話している他者の音声と類似している。案内音声が他者の音声と類似しているとは、案内音声が他者の音声と同一であることを含み、他者と会話をしている運転者Ｂ１に対して案内音声を出力した場合に、カクテルパーティー効果が抑制され、運転者Ｂ１が案内音声を聞き逃すことが抑制できることを言う。つまり、会話している乗員の音声と似た音声であれば、運転者Ｂ１は、会話中であっても案内音声を無意識に選択して聞き取ることができる。

【0042】

一例として、他者の音声の波形と、生成した案内音声の波形とに対し、上述の所定範囲において周波数解析を行い、周波数成分とその振幅を算出する。次に、他者の音声に含まれる周波数成分と、案内音声に含まれる周波数成分を、値の小さい順に互いに対応付ける。次に、他者の音声の周波数成分の振幅と、他者の音声の周波数成分に対応する、案内音声の周波数成分の振幅とを比較する。そして、対応する各周波数成分において、案内音声の振幅が、他者の音声の振幅の±１０％の範囲内であるか否かを判定する。案内音声の振幅が、他者の音声の振幅の±１０％の範囲内あると判定した場合は、案内音声は他者の音声と類似すると判定する。これに対し、案内音声の振幅が、他者の音声の振幅の－１０％未満の範囲内又は＋１０％を超える範囲内であると判定した場合は、案内音声は他者の音声と類似しないと判定する。なお、他者の音声に対する周波数解析は、上述の所定範囲にて行い、案内音声に対する周波数解析は、生成した案内音声全体に対して行うものとする。

【0043】

別の例として、他者の音声に含まれる周波数成分と、案内音声に含まれる周波数成分とを、値が小さい順に対応させる。そして、対応する二つの周波数成分の差の最大値が５～５０［Ｈｚ］以下であるか否かを判定する。対応する二つの周波数成分の差の最大値が５～５０［Ｈｚ］以下であると判定した場合は、案内音声は他者の音声と類似すると判定する。これに対し、対応する二つの周波数成分の差の最大値が５～５０［Ｈｚ］を超えると判定した場合は、案内音声は他者の音声と類似しないと判定する。なお、他者の音声と案内音声に対して周波数解析を行う範囲は、上述の例と同様である。

【0044】

例えば、図２に示す車両Ｖにおいて運転者Ｂ１と乗員Ｂ２が会話をしている場合に、乗員Ｂ２の音声を取得し、乗員Ｂ２の音声に類似する案内音声を生成するための音声モデルを生成したときは、情報提示装置１６は、ナビゲーション装置１４から案内情報を取得する。案内情報が、前方の交差点を右折する必要があるとの情報である場合は、情報提示装置１６は、取得した案内情報に基づき、音声モデルを用いて、例えば「次の交差点を右に曲がります」という案内音声を生成する。当該案内音声は、乗員Ｂ２の音声と類似しており、一例として、乗員Ｂ２の音声に含まれる周波数成分ごとに、当該案内音声に含まれる周波数成分の中から最も値が近い周波数成分を選択し、二つの周波数成分を対応させた場合に、対応する二つの周波数成分の差の最大値が５～５０［Ｈｚ］以下である。

【0045】

出力部６は、音声生成部５の機能により生成した案内音声を、運転者Ｂ１と会話している他者の発話位置から出力する機能を有する。他者の発話位置とは、他者の音声が放出（又は出力）される位置であり、例えば他者の頭部の位置であり、特に口の位置である。他者が同乗者である場合は、発話位置は、例えば同乗者の着座位置であり、より具体的には同乗者の頭部の位置である。情報提示装置１６は、運転者Ｂ１が同乗者と会話している場合は、出力部６の機能により、同乗者から運転者に向けて第１案内音声を出力する。これに対し、他者が通話者である場合は、発話位置は、第２音声を出力するスピーカーであり、例えば、通信装置１３のスピーカー又は車両Ｖのスピーカー１５である。情報提示装置１６は、運転者Ｂ１が通話者と会話している場合は、出力部６の機能により、第２音声を出力するスピーカーから運転者に向けて第２案内音声を出力する。

【0046】

例えば、図２に示す車両Ｖにおいて運転者Ｂ１と乗員Ｂ２が会話をしている場合に、乗員Ｂ２の音声に類似する案内音声を生成したときは、情報提示装置１６は、助手席Ａ２の左前側に設置されたスピーカー１５ｂから運転者Ｂ１（又は運転席Ａ１）に向けて案内音声を出力する。これにより、運転者Ｂ１は、乗員Ｂ２が案内音声を発話したように認識し、乗員Ｂ２と会話している場合であっても、案内音声を無意識に選択して聞き取ることができる。

【0047】

情報提示装置１６は、出力部６の機能により、運転者Ｂ１と会話している同乗者の着座位置周辺から案内音声を出力してもよい。例えば、複数あるスピーカー１５から、同乗者の着座位置に最も近い位置のスピーカーから案内音声を出力する。また、情報提示装置１６は、出力部６の機能により、運転者Ｂ１に、同乗者が発話したと認識させるように車内のスピーカー１５を制御してもよい。具体的には、スピーカー１５から出力される音声の大きさ、音声の波形の位相、出力のタイミングなどを制御する。また、運転者Ｂ１に、同乗者が発話したと認識させるよう、車室内でスピーカー１５を設置する位置を設定してもよい。

【0048】

例えば、図２に示す車両Ｖにおいて運転者Ｂ１と乗員Ｂ２が会話をしている場合は、乗員Ｂ２の音声に類似した案内音声を、スピーカー１５ｂ、１５ｄから運転者Ｂ１に向けて出力する。この場合に、スピーカー１５ｂから出力した案内音声と、スピーカー１５ｄから出力した案内音声とが互いに打ち消し合わないよう、いずれか一方のスピーカーから出力する案内音声の波形の位相を制御する。

【0049】

情報提示装置１６は、出力部６の機能により、所定時間における運転者Ｂ１と、運転者Ｂ１と会話している他者の発言時間の占める割合が、所定値以下になったか否かを判定してもよい。所定時間は、運転者Ｂ１と他者との会話に案内音声を割り込ませるタイミングが把握できる範囲内で適宜の時間を設定でき、例えば１５～６０秒である。所定値は、運転者Ｂ１と他者との会話に案内音声を割り込ませた場合に、運転者Ｂ１が案内音声を聞き逃すことを抑制できる範囲内で適宜の値を設定でき、例えば０～２０％である。情報提示装置１６は、所定時間に占める、運転者Ｂ１と他者の発言時間の割合が所定値以下になったと判定した場合は、当該割合が所定値以下になったと判定したタイミングで案内音声を出力する。

【0050】

これに対し、所定時間に占める、運転者Ｂ１と他者の発言時間の割合が所定値を超えると判定した場合は、案内音声を出力しない。これに代え、情報提示装置１６は、所定時間に占める、運転者Ｂ１と他者の発言時間の割合が所定値を超えると判定した場合は、発話者が運転者Ｂ１であるか否かを判定し、発話者が運転者Ｂ１であると判定した場合は、案内音声を出力してもよい。これに対し、発話者が運転者Ｂ１でないと判定した場合は、案内音声を出力しない。またこれに代え、情報提示装置１６は、案内音声を生成したタイミングで直ちに案内音声を出力してもよい。つまり、案内音声の生成完了と同時に案内音声を出力してもよい。

【0051】

例えば、図２に示す車両Ｖにおいて運転者Ｂ１と乗員Ｂ２が会話をしている場合に、車室内の音声を３０秒間取得し、運転者Ｂ１と乗員Ｂ２の発言時間が３秒であると検出されたときは、所定時間における発言時間の割合が１０％であるため、情報提示装置１６は、この割合を算出したタイミングで案内音声を出力する。なお、所定時間における発言時間の割合が所定値以下である状態を、運転者Ｂ１と他者の会話が途切れた状態とも言うこととする。

【0052】

情報提示装置１６は、出力部６の機能により、ナビゲーション装置１４から案内情報を取得し、案内情報に基づく案内音声が、運転者Ｂ１に操作を要求する音声であるか否かを判定してもよい。操作を要求する音声とは、例えば、運転者Ｂ１に運転操作の実行を指示する音声であり、交差点における右左折を指示する案内音声、右左折専用車線への進入を指示する案内音声、接近する他車両の存在を報知する案内音声などが挙げられる。これに対し、操作を要求しない声とは、運転者Ｂ１に単に情報を提示するのみの音声であり、近隣に駐車場が存在することを知らせる音声、ニュースを伝達する音声などが挙げられる。案内音声が操作を要求する音声であると判定された場合は、情報提示装置１６は、操作を要求する音声を、操作を要求しない他の音声に優先して出力する。これに対し、案内音声が操作を要求する音声でないと判定された場合は、情報提示装置１６は、操作を要求する他の音声を優先して出力し、その後、操作を要求しない音声を出力する。

【0053】

情報提示装置１６は、案内音声を出力する場合に、取得部３の機能により、運転者Ｂ１と会話する他者が発話しているか否かを判定してもよい。情報提示装置１６は、例えば、車内カメラ１１から取得した画像を解析し、運転者Ｂ１と会話している乗員の口の動きを検出する。そして、当該乗員の口の動き（例えば口の開き方）から、当該乗員が発話しているか否かを判定する。また、情報提示装置１６は、通信装置１３から通話者の第２音声を取得し、当該通話者が発話しているか否かを判定する。

【0054】

運転者Ｂ１と会話している他者が発話していると判定した場合は、出力部６の機能により、当該他者の発話する音声の波形と逆位相の波形を有する異なる音声を出力する。これにより、当該他者の音声が打ち消され、運転者Ｂ１が案内音声を聞き逃すことを抑制できる。これに対し、運転者Ｂ１と会話している他者が発話していないと判定した場合は、当該他者の音声に類似する案内音声を出力する。なお、他者が同乗者である場合は、逆位相の波形を有する音声は、例えば、車両Ｖのスピーカー１５から出力され、他者が通話者である場合は、逆位相の波形を有する音声は、第２音声を出力するスピーカーから出力される。

【0055】

例えば、図２に示す車両Ｖにおいて運転者Ｂ１と乗員Ｂ２が会話をしている場合は、情報提示装置１６は、乗員Ｂ２の口の動きを検出し、乗員Ｂ２の口の動きから、乗員Ｂ２が発話しているか否かを判定する。この場合、乗員Ｂ２が発話していると判定されるため、情報提示装置１６は、当該乗員の発話する音声の波形と逆位相の波形を有する異なる音声を、スピーカー１５ａ又はスピーカー１５ｂから出力する。

【0056】

情報提示装置１６は、モデル生成部４の機能により、運転者Ｂ１と会話した他者の音声モデルを生成した場合は、生成した音声モデルを、当該他者と対応付けて登録してもよい。例えば、情報提示装置１６のＲＯＭなどの記録媒体又は情報提示システム１の外部のサーバに、予め音声モデルを登録しておく。そして、取得部３の機能により、運転者Ｂ１と会話している他者の音声を取得した場合に、特定部２の機能により特定された当該他人が、運転者Ｂ１と過去に会話したことがあるか否かを判定する。例えば、他者の顔の画像が、音声モデルと対応付けて予め登録されている場合は、車内カメラ１１から画像を取得し、取得した画像から他者の顔を認識する。そして、車両Ｖに乗車中の他者の顔と一致する顔の画像が、予め登録された画像の中あるか否かを判定する。

【0057】

車両Ｖに乗車中の他者の顔と一致する顔の画像が、予め登録された画像の中あると判定した場合は、情報提示装置１６は、車両Ｖの乗車中の他者が、運転者Ｂ１と過去に会話したことがあると認識し、当該他者に対応する、予め登録された音声モデルを音声生成部５に出力する。そして、出力された音声モデルを用いて案内音声を生成する。これに対し、車両Ｖに乗車中の他者の顔と一致する顔の画像が、予め登録された画像の中にないと判定した場合は、車両Ｖの乗車中の他者が、運転者Ｂ１と過去に会話したことがないと認識し、新たに音声モデルを生成する。

【0058】

例えば、図２に示す車両Ｖにおいて運転者Ｂ１と乗員Ｂ２が会話をしている場合は、情報提示装置１６は、車内カメラ１１の画像から乗員Ｂ２の顔を識別し、識別した乗員Ｂ２の顔と同じ顔の画像が、予め登録された画像の中に存在するか否かを判定する。識別した乗員Ｂ２の顔と同じ顔の画像が、予め登録された画像の中に存在すると判定した場合は、乗員Ｂ２に対応する、登録された音声モデルを用いて案内音声を生成する。これに対し、識別した乗員Ｂ２の顔と同じ顔の画像が、予め登録された画像の中に存在しないと判定した場合は、乗員Ｂ２の音声の特徴量を用いて、新たに音声モデルを生成する。

【0059】

また、運転者Ｂ１と会話している他者が複数存在する場合は、情報提示装置１６は、モデル生成部４の機能により、発言時間が最も長い他者を選択し、音声生成部５の機能により、発言時間が最も長い他者の音声と類似する案内音声を生成してもよい。発言時間は、例えば、運転者Ｂ１が他者と会話をしていると判定してから、音声モデルの生成が完了するまでの発言時間とする。またこれに代え、運転者Ｂ１が他者と会話をしていると判定してから、上述の所定時間（例えば１５～６０秒）が経過するまでの発言時間としてもよい。情報提示装置１６は、出力部６の機能により、発言時間が最も長い他者の発話位置から案内音声を出力する。

【0060】

同様に、運転者Ｂ１と会話している他者が複数存在する場合は、情報提示装置１６は、音声生成部５の機能により他者ごとに案内音声を生成し、出力部６の機能により、生成した案内音声の中から、他者の音声と最も類似する案内音声を選択し、選択した案内音声を出力してもよい。他者の音声と最も類似するとは、他者の音声に含まれる周波数成分とその振幅と、生成した案内音声に含まれる周波数成分とその振幅との相違が最も小さいことを言う。なお、周波数成分とその振幅を算出する周波数解析は、生成した案内音声の全体に対して行う。

【0061】

同様に、運転者Ｂ１と会話している他者が複数存在する場合は、情報提示装置１６は、音声生成部５の機能により他者ごとに案内音声を生成し、取得部３の機能により、他者の中に発話していない他者が存在するか否かを判定する。情報提示装置１６は、例えば、車内カメラ１１から取得した画像を解析し、運転者Ｂ１と会話している乗員の口の動きを検出する。そして、当該乗員の口の動き（例えば口の開き方）から、当該乗員が発話しているか否かを判定する。情報提示装置１６は、発話していない他者が存在すると判定した場合は、発話していない他者の案内音声を出力する。これに対し、発話していない他者が存在しないと判定した場合は、案内音声の出力を一度停止し、発話していない他者が存在すると判定されるまで、当該判定を繰り返す。

【0062】

［情報提示システムにおける処理］
図３～６を参照して、情報提示装置１６が情報を処理する際の手順を説明する。図３～６は、本実施形態の情報提示システム１において実行される、情報の処理を示すフローチャートの一例である。以下に説明する処理は、情報提示装置１６のプロセッサ（ＣＰＵ）により所定の時間間隔で実行される。

【0063】

なお、図３～６に示すフローチャートは、車両Ｖが運転者Ｂ１による手動運転で走行している走行シーンを前提とする。手動運転とは、車載機器ではなく、ドライバーの操作により車両の走行を制御することを言うものとする。

【0064】

まず、図３のステップＳ１にて、特定部２の機能により、車内カメラ１１が撮影した画像から、車両Ｖの乗員の人数と各乗員の着座位置とを特定する。続くステップＳ２にて、取得部３の機能により、マイクロフォン１２から車室内の音声を取得し、ステップＳ３にて、車内カメラ１１が撮影した画像から、乗員（特に運転者Ｂ１）の口の動きを検出する。ステップＳ４にて、取得部３の機能により、運転者Ｂ１が他者と会話しているか否かを判定する。運転者Ｂ１が他者と会話していないと判定した場合は、ステップＳ２に進む。これに対し、運転者Ｂ１が他者と会話していると判定した場合は、ステップＳ５に進む。

【0065】

ステップＳ５にて、運転者Ｂ１が会話している他者が、車両Ｖの同乗者であるか否かを判定する。当該他者が、車両Ｖの同乗者でないと判定した場合は、図４のステップＳ２１に進む。これに対し、当該他者が、車両Ｖの同乗者であると判定した場合は、ステップＳ６に進む。図４については後述する。ステップＳ６にて、同乗者が複数人であるか否かを判定する。同乗者が複数人であると判定した場合は、図５のステップＳ４１又は図６のステップＳ６１に進む。これに対し、同乗者が複数人でないと判定した場合は、ステップＳ７に進む。

【0066】

ステップＳ７にて、取得部３の機能により、車両の機器から出力された音声を車室内の音声から除去し、続くステップＳ８にて、車室内の音声から第１音声を抽出する。ステップＳ９にて、第１音声に対して周波数解析を実行し、続くステップＳ１０にて、第１音声の特徴量を取得する。ステップＳ１１にて、モデル生成部４の機能により、特徴量を用いて音声モデルを生成し、続くステップＳ１２にて、音声生成部５の機能により、生成した音声モデルを用いて第１案内音声を生成する。

【0067】

ステップＳ１３にて、出力部６の機能により、所定時間における運転者Ｂ１と他者の発言時間の占める割合が所定値以下であるか否かを判定する。当該割合が所定値以下であると判定した場合は、ステップＳ１４に進み、同乗者から運転者に向けて第１案内音声を出力する。そして、本ルーチンの実行を終了する。これに対し、当該割合が所定値を超えると判定した場合は、ステップＳ１３を繰り返す。

【0068】

次に、図３のステップＳ５にて、当該他者が、車両Ｖの同乗者でないと判定した場合について、図４を参照して説明する。

【0069】

まず、図４のステップＳ２１にて、取得部３の機能により、通信装置１３ら第２音声を取得し、続くステップＳ２２にて、第２音声に対して周波数解析を実行し、続くステップＳ２３にて、第２音声の特徴量を取得する。ステップＳ２４にて、モデル生成部４の機能により、通話者が運転者Ｂ１と過去に会話したか否かを判定する。通話者が運転者Ｂ１と過去に会話したことがあると判定した場合は、ステップＳ２５に進み、予め登録された音声モデルを用いて第２案内音声を生成する。これに対し、通話者が運転者Ｂ１と過去に会話したことがないと判定した場合は、ステップＳ２６に進み、特徴量を用いて音声モデルを生成し、続くステップＳ２７にて、音声生成部５の機能により、生成した音声モデルを用いて第２案内音声を生成する。

【0070】

ステップＳ２８にて、出力部６の機能により、通話者が発話中であるか否かを判定する。通話者が発話中であると判定した場合は、ステップＳ２９に進み、第２音声の波形と逆位相の波形を有する異なる音声を出力する。その後、ステップＳ３０に進む。これに対し、通話者が発話中でないと判定した場合は、ステップＳ３０に進み、第２音声を出力するスピーカーから運転者に向けて第２案内音声を出力する。そして、本ルーチンの実行を終了する。

【0071】

次に、図３のステップＳ６にて、同乗者が複数人であると判定した場合について、図５を参照して説明する。

【0072】

まず、図５のステップＳ４１にて、車室内の音声から各同乗者の第１音声を抽出する。ステップＳ４２にて、各同乗者の第１音声に対して周波数解析を実行し、続くステップＳ４３にて、各同乗者の第１音声の特徴量を取得する。ステップＳ４４にて、モデル生成部４の機能により、各同乗者の第１音声の特徴量に最も類似した特徴量を有する、音声モデルを選択し、続くステップＳ４５にて、音声生成部５の機能により、選択した音声モデルを用いて第１案内音声を生成する。続くステップＳ４６にて、発話していない同乗者が存在するか否かを判定する。

【0073】

発話していない同乗者が存在すると判定した場合は、ステップＳ４７に進み、出力部６の機能により、発話していない同乗者の第１案内音声を出力するとともに、ステップＳ４８にて、同乗者が発話したと認識させるように車内のスピーカーを制御する。そして、本ルーチンの実行を終了する。これに対し、発話していない同乗者が存在しないと判定した場合は、ステップＳ４９に進み、第１音声と最も類似する第１案内音声を選択し、続くステップＳ５０にて、選択した第１案内音声を、同乗者の着座位置に最も近い位置のスピーカー１５から運転者Ｂ１に向けて出力する。そして、本ルーチンの実行を終了する。

【0074】

次に、図３のステップＳ６にて、同乗者が複数人であると判定した場合について、図５に示す処理とは異なる処理について、図６を参照して説明する。

【0075】

まず、図６のステップＳ６１にて、モデル生成部４の機能により、発言時間が最長の同乗者を選択し、続くステップＳ６２にて、発言時間が最長の同乗者の第１音声を抽出し、続くステップＳ６３にて、抽出した第１音声に対して周波数解析を実行し、続くステップＳ６４にて、発言時間が最長の同乗者の第１音声の特徴量を取得する。ステップＳ６５にて、取得した特徴量が最も類似する音声モデルを選択し、続くステップＳ６６にて、音声生成部５の機能により、選択した音声モデルを用いて第１案内音声を生成する。

【0076】

ステップＳ６７にて、出力部６の機能により、案内音声は運転者に操作を要求する音声か否かを判定する。案内音声が運転者に操作を要求する音声であると判定した場合は、ステップＳ６８に進み、発言時間が最も長い同乗者から運転者Ｂ１に向けて第１案内音声を優先的に出力する。これに対し、案内音声が運転者に操作を要求する音声でないと判定した場合は、ステップＳ６９に進み、運転者に操作を要求する他の案内音声を優先的に出力する。

【0077】

ステップＳ７０にて、運転者Ｂ１に操作を要求する他の案内音声を出力したか否かを判定する。運転者Ｂ１に操作を要求する他の案内音声を出力したと判定した場合は、ステップＳ７１に進み、発言時間が最も長い同乗者から運転者Ｂ１に向けて第１案内音声を出力する。そして、本ルーチンの実行を終了する。これに対し、運転者Ｂ１に操作を要求する他の案内音声を出力していないと判定した場合は、ステップＳ６９に進む。なお、本実施形態に係る情報提示装置１６は、運転者Ｂ１と他人とが会話をしている場合のみならず、他人同士が会話をしている場合にも適用できる。

【0078】

［本発明の実施態様］
以上のとおり、本実施形態によれば、プロセッサにより実行される、車両Ｖの情報提示方法において、前記プロセッサは、前記車両Ｖの運転者Ｂ１が他者と会話している場合は、前記他者の音声を取得し、前記音声と類似する、前記運転者Ｂ１に情報を提示する案内音声を生成し、前記他者の発話位置から前記案内音声を出力する、車両Ｖの情報提示方法が提供される。これにより、運転者Ｂ１の運転操作を阻害することなく、他者と会話中の運転者Ｂ１が案内音声を聞き逃すことを抑制できる。

【0079】

また、本実施形態の情報提示方法によれば、前記プロセッサは、前記他者が、前記車両Ｖに乗車している同乗者である場合は、前記同乗者の第１音声を取得し、前記第１音声と類似する、前記車両Ｖが走行経路に沿って走行するための情報を前記運転者Ｂ１に提示する第１案内音声を生成し、前記同乗者から前記運転者Ｂ１に向けて前記第１案内音声を出力する。これにより、運転者Ｂ１の運転操作を阻害することなく、同乗者と会話中の運転者Ｂ１が案内音声を聞き逃すことを抑制できる。

【0080】

また、本実施形態の情報提示方法によれば、前記プロセッサは、前記他者が、通信装置１３を介して前記運転者Ｂ１と会話する車外の通話者である場合は、前記通話者の第２音声を取得し、前記第２音声と類似する、前記車両Ｖが走行経路に沿って走行するための情報を前記運転者Ｂ１に提示する第２案内音声を生成し、前記第２音声を出力するスピーカーから前記運転者Ｂ１に向けて前記第２案内音声を出力する。これにより、運転者Ｂ１の運転操作を阻害することなく、通話者と会話中の運転者Ｂ１が案内音声を聞き逃すことを抑制できる。

【0081】

また、本実施形態の情報提示方法によれば、前記プロセッサは、前記音声に対して周波数解析を行って前記音声の特徴量を算出し、前記特徴量に基づき、予め登録された複数の音声モデルから前記特徴量が最も類似する前記音声モデルを選択し、選択した前記音声モデルを用いて前記案内音声を生成する。これにより、音声モデルを生成する工程を省略できる。

【0082】

また、本実施形態の情報提示方法によれば、前記プロセッサは、前記他者が複数存在する場合は、発言時間が最も長い前記他者を選択し、前記発言時間が最も長い前記他者の前記音声と類似する前記案内音声を生成し、前記発言時間が最も長い前記他者の前記発話位置から前記案内音声を出力する。これにより、会話の中心となる人間の音声を用いることができ、運転者Ｂ１が最も意識しやすい案内音声を出力できる。

【0083】

また、本実施形態の情報提示方法によれば、前記プロセッサは、前記他者が複数存在する場合は、前記他者ごとに前記案内音声を生成し、前記案内音声の中から、前記音声と最も類似する前記案内音声を選択し、前記音声と最も類似する前記案内音声を出力する。これにより、運転者Ｂ１が案内音声に覚える違和感を抑制できる。

【0084】

また、本実施形態の情報提示方法によれば、前記プロセッサは、所定時間における前記運転者Ｂ１と前記他者の発言時間の占める割合が所定値以下になったか否かを判定し、前記割合が前記所定値以下になったと判定したタイミングで前記案内音声を出力する。これにより、会話中の運転者Ｂ１が案内音声を聞き逃すことをより抑制できる。

【0085】

また、本実施形態の情報提示方法によれば、前記プロセッサは、前記案内音声が、前記運転者Ｂ１に操作を要求する音声であるか否かを判定し、前記案内音声が前記操作を要求する音声であると判定した場合は、前記操作を要求する音声を、前記操作を要求しない音声に優先して出力する。これにより、重要度の高い情報を優先して伝達でき、併せて会話が中断することを抑制できる。

【0086】

また、本実施形態の情報提示方法によれば、前記プロセッサは、前記案内音声を出力する場合に、前記他者が発話しているか否かを判定し、前記他者が発話していると判定したときは、前記音声の波形と逆位相の波形を有する異なる音声を出力する。これにより、会話中の運転者Ｂ１が案内音声を聞き逃すことをより抑制できる。

【0087】

また、本実施形態の情報提示方法によれば、前記プロセッサは、前記運転者Ｂ１と会話した前記他者の音声モデルを、前記他者と対応付けて予め登録し、前記他者が前記運転者Ｂ１と過去に会話したことがあるか否かを判定し、前記他者が前記運転者Ｂ１と過去に会話したことがあると判定した場合は、前記他者に対応する、予め登録された前記音声モデルを用いて前記案内音声を生成する。これにより、音声モデルを生成する工程を省略できる。

【0088】

また、本実施形態の情報提示方法によれば、前記プロセッサは、前記他者が複数存在する場合は、前記他者ごとに前記案内音声を生成し、前記他者の中に発話していない前記他者が存在するか否かを判定し、発話していない前記他者が存在すると判定したときは、発話していない前記他者の前記案内音声を出力する。これにより、会話中の運転者Ｂ１が案内音声を聞き逃すことをより抑制できる。

【0089】

また、本実施形態の情報提示方法によれば、前記プロセッサは、前記同乗者の人数と、各同乗者の着座位置とを特定する。これにより、複数の人間が車両Ｖに乗車していることを確認できる。

【0090】

また、本実施形態の情報提示方法によれば、前記プロセッサは、前記車両Ｖの車室内の音声を取得し、前記車室内の音声から前記第１音声を抽出する。これにより、音声モデルの生成に影響するノイズを削減でき、案内音声の類似度が向上する。

【0091】

また、本実施形態の情報提示方法によれば、前記プロセッサは、前記車室内の音声から前記第１音声を抽出する場合に、前記車室内の音声から前記車両Ｖの機器から出力された音声を除去する処理を行う。これにより、音声モデルの生成に影響するノイズをより的確に削減できる。

【0092】

また、本実施形態の情報提示方法によれば、前記プロセッサは、前記運転者Ｂ１に、前記同乗者が発話したと認識させるように車内のスピーカー１５を制御する。これにより、複数のスピーカー１５を連動させ、会話中の運転者Ｂ１が案内音声を聞き逃すことをより抑制できる。

【0093】

また、本実施形態の情報提示方法によれば、前記プロセッサは、前記同乗者の着座位置に最も近い位置のスピーカー１５から前記案内音声を出力する。これにより、案内音声が出力する位置を同乗者に近づけることができ、会話中の運転者Ｂ１が案内音声を聞き逃すことをより抑制できる。

【0094】

また、本実施形態によれば、車両Ｖの運転者Ｂ１が他者と会話している場合に、前記他者の音声を取得する取得部３と、前記音声と類似する、前記運転者Ｂ１に情報を提示する案内音声を生成する音声生成部５と、前記他者の発話位置から前記案内音声を出力する出力部６とを備える、車両Ｖの情報提示装置１６が提供される。これにより、これにより、運転者Ｂ１の運転操作を阻害することなく、他者と会話中の運転者Ｂ１が案内音声を聞き逃すことを抑制できる。

【符号の説明】

【0095】

１…情報提示システム
１１…車内カメラ
１２、１２ａ、１２ｂ、１２ｃ…マイクロフォン
１３、１３ａ…通信装置
１４…ナビゲーション装置
１５、１５ａ、１５ｂ、１５ｃ、１５ｄ…スピーカー
１６…情報提示装置
２…特定部
３…取得部
４…モデル生成部
５…音声生成部
６…出力部
Ａ１…運転席
Ａ２…助手席
Ａ３、Ａ４…後部座席
Ｂ１…運転者
Ｂ２、Ｂ３、Ｂ４…乗員
Ｖ…車両

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】