特開 2022-161142 通話支援システムおよび通話支援方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022161142

(43)【公開日】2022-10-21

(54)【発明の名称】通話支援システムおよび通話支援方法

(51)【国際特許分類】

   H04M 1/00 20060101AFI20221014BHJP

   G10L 15/00 20130101ALI20221014BHJP

   G10L 13/02 20130101ALI20221014BHJP

【ＦＩ】

H04M1/00 U

G10L15/00 200J

G10L13/02 130Z

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2021065730

(22)【出願日】2021-04-08

(71)【出願人】

【識別番号】000001487

【氏名又は名称】フォルシアクラリオン・エレクトロニクス株式会社

(74)【代理人】

【識別番号】110000198

【氏名又は名称】弁理士法人湘洋特許事務所

(72)【発明者】

【氏名】太田 明子

【テーマコード（参考）】

5K127

【Ｆターム（参考）】

5K127AA11

5K127AA36

5K127BA03

5K127BA10

5K127BB22

5K127BB33

5K127BB34

5K127DA12

5K127DA15

5K127GA14

5K127JA14

5K127JA15

5K127KA04

5K127KA05

(57)【要約】

【課題】 運転手が通話相手と円滑に会話を行う技術を提供することにある。
【解決手段】
車両の所定の情報を収集する車両情報収集部と、送話音声と受話音声を取得する音声録音部と、送話音声と受話音声とを解析して送話テキストと受話テキストとを得る音声解析部と、受話テキストの内容が質問である場合にその回答文案を特定する会話推定部と、回答文案と車両の所定の情報とを用いて回答文を取得し音声出力する回答処理部と、を備える通話支援システム。
【選択図】図１

【特許請求の範囲】

【請求項1】

車両の所定の情報を収集する車両情報収集部と、
送話音声と受話音声を取得する音声録音部と、
前記送話音声と前記受話音声とを解析して送話テキストと受話テキストとを得る音声解析部と、
前記受話テキストの内容が質問である場合にその回答文案を特定する会話推定部と、
前記回答文案と前記車両の所定の情報とを用いて回答文を取得し音声出力する回答処理部と、
を備える通話支援システム。

【請求項2】

請求項１に記載の通話支援システムであって、
前記回答処理部は、前記送話音声の発話者からの発話が難しい状況において前記回答文を音声出力する、
ことを特徴とする通話支援システム。

【請求項3】

請求項１または２に記載の通話支援システムであって、
前記回答処理部は、前記回答文を音声出力中に、前記送話音声の発話者から中断指示を受け付けると、音声出力を中断する、
ことを特徴とする通話支援システム。

【請求項4】

請求項１～３のいずれか一項に記載の通話支援システムであって、
前記回答文案は、一部をパラメータと置換することで前記回答文となるテンプレートであり、
前記回答処理部は、前記パラメータに、対応する前記車両の所定の情報を用いる、
ことを特徴とする通話支援システム。

【請求項5】

請求項１～４のいずれか一項に記載の通話支援システムであって、
前記会話推定部は、前記回答文案を一つに特定できない場合には、前記回答文案として会話を保留するための定型文を用いる、
ことを特徴とする通話支援システム。

【請求項6】

通話支援システムを用いた通話支援方法であって、
前記通話支援システムは、
車両の所定の情報を収集する車両情報収集部と、
送話音声と受話音声を取得する音声録音部と、処理部と、を備え、
前記処理部は、
前記送話音声と前記受話音声とを解析して送話テキストと受話テキストとを得る音声解析ステップと、
前記受話テキストの内容が質問である場合にその回答文案を特定する会話推定ステップと、
前記回答文案と前記車両の所定の情報とを用いて回答文を取得し音声出力する回答処理ステップと、
を実施する通話支援方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、通話支援システムおよび通話支援方法の技術に関するものである。

【背景技術】

【0002】

「無音区間検出部は、通話相手の発話の有音／無音を監視することで、通話相手の発話の再生状況を検出し、通話相手の発話が終了したと判断した場合には、タイマをスタートさせるとともに、発話検出部から送られてくる発話音声信号を参照して利用者の発話の有音／無音を監視することで、利用者の発話状況を検出する。タイマによる計測時間が所定時間（例えば５秒）になっても利用者の発話が検出されなかった場合には、無音区間検出部は、自動応答メッセージ作成に対して自動応答メッセージの作成を指示し、自動応答メッセージ作成部は、通話相手に対して利用者の応答が遅れることを通知するための音声メッセージを作成、送信する」通話装置に係る技術が、特許文献１に記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１１－１４７０５２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記のような技術では、利用者の応答が遅れることを通知する、すなわち会話を一時中断することはできても、会話を進めることはできない。

【0005】

本発明の目的は、運転手が通話相手と円滑に会話を行う技術を提供することにある。

【課題を解決するための手段】

【0006】

本発明は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。上記課題を解決すべく、本発明に係る通話支援システムは、車両の所定の情報を収集する車両情報収集部と、送話音声と受話音声を取得する音声録音部と、送話音声と受話音声とを解析して送話テキストと受話テキストとを得る音声解析部と、受話テキストの内容が質問である場合にその回答文案を特定する会話推定部と、回答文案と車両の所定の情報とを用いて回答文を取得し音声出力する回答処理部と、を備える。

【発明の効果】

【0007】

本願発明によれば、運転手が通話相手と円滑に会話を行う技術を提供することが可能となる。上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0008】

【図1】通話支援システムの構成例を示す図である。

【図2】車載機器情報のデータ構造の例を示す図である。

【図3】テンプレート情報のデータ構造の例を示す図である。

【図4】通話支援装置のハードウェア構成例を示す図である。

【図5】通話時処理の処理フローの例を示す図である。

【図6】回答処理の処理フローの例を示す図である。

【発明を実施するための形態】

【0009】

以下に、本発明の実施形態に係る通話支援システムについて、図面を参照して説明する。なお、図１～図６は、通話支援システムの全ての構成を示すものではなく、理解容易のため、適宜、構成の一部を省略して描いている。以下の実施形態においては便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。

【0010】

また、以下の実施形態において、要素の数等（個数、数値、量、範囲等を含む）に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でもよい。

【0011】

さらに、以下の実施形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。

【0012】

同様に、以下の実施形態において、構成要素等の形状、位置関係等に言及するときは特に明示した場合および原理的に明らかにそうではないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、数値および範囲についても同様である。

【0013】

なお、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する場合がある。また、以下の実施の形態において、「Ａからなる」、「Ａよりなる」、「Ａを有する」、「Ａを含む」と言うときは、特にその要素のみである旨明示した場合等を除き、それ以外の要素を排除するものでないことは言うまでもない。

【0014】

同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合および原理的に明らかにそうでないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。

【0015】

以下の説明では、「接続部」、「通信部」は、一つ以上のインターフェースデバイスでよい。当該一つ以上のインターフェースデバイスは、一つ以上の同種の通信インターフェースデバイス（例えば一つ以上のＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ））であってもよいし二つ以上の異種の通信インターフェースデバイス（例えばＮＩＣとＨＢＡ（Ｈｏｓｔ Ｂｕｓ Ａｄａｐｔｅｒ））であってもよい。

【0016】

また、以下の説明では、「メモリ」は、一つ以上の記憶デバイスの一例である一つ以上のメモリデバイスであり、典型的には主記憶デバイスでよい。メモリにおける少なくとも一つのメモリデバイスは、揮発性メモリデバイスであってもよいし不揮発性メモリデバイスであってもよい。

【0017】

また、以下の説明では、「ストレージ装置」は、一つ以上の記憶デバイスの一例である一つ以上の永続記憶デバイスでよい。永続記憶デバイスは、典型的には、不揮発性の記憶デバイス（例えば補助記憶デバイス）でよく、具体的には、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＮＶＭＥ（Ｎｏｎ－Ｖｏｌａｔｉｌｅ Ｍｅｍｏｒｙ Ｅｘｐｒｅｓｓ）ドライブ、又は、ＳＣＭ（Ｓｔｏｒａｇｅ Ｃｌａｓｓ Ｍｅｍｏｒｙ）でよい。

【0018】

また、以下の説明では、「記憶部」は、メモリとストレージ装置のうちメモリかまたはメモリとストレージ装置の両方であってもよい。

【0019】

また、以下の説明では、「処理部」または「プロセッサー」は、一つ以上のプロセッサーデバイスでよい。少なくとも一つのプロセッサーデバイスは、典型的には、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のようなマイクロプロセッサーデバイスでよいが、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のような他種のプロセッサーデバイスでもよい。少なくとも一つのプロセッサーデバイスは、シングルコアでもよいしマルチコアでもよい。少なくとも一つのプロセッサーデバイスは、プロセッサーコアでもよい。少なくとも一つのプロセッサーデバイスは、処理の一部又は全部を行うハードウェア記述言語によりゲートアレイの集合体である回路（例えばＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＣＰＬＤ（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）又はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ））といった広義のプロセッサーデバイスでもよい。

【0020】

また、以下の説明では、「ｙｙｙ部」の表現にて機能を説明することがあるが、機能は、一つ以上のコンピュータプログラムがプロセッサーによって実行されることで実現されてもよいし、一つ以上のハードウェア回路（例えばＦＰＧＡ又はＡＳＩＣ）によって実現されてもよいし、それらの組合せによって実現されてもよい。プログラムがプロセッサーによって実行されることで機能が実現される場合、定められた処理が、適宜に記憶装置及び／又はインターフェース装置等を用いながら行われるため、機能はプロセッサーの少なくとも一部とされてもよい。機能を主語として説明された処理は、プロセッサーあるいはそのプロセッサーを有する装置が行う処理としてもよい。プログラムは、プログラムソースからインストールされてもよい。プログラムソースは、例えば、プログラム配布計算機又は計算機が読み取り可能な記録媒体（例えば非一時的な記録媒体）であってもよい。各機能の説明は一例であり、複数の機能が一つの機能にまとめられたり、一つの機能が複数の機能に分割されたりしてもよい。

【0021】

また、以下の説明では、「プログラム」や「処理部」を主語として処理を説明する場合には、プログラムや処理部を主語として説明された処理は、プロセッサーあるいはそのプロセッサーを有する装置が行う処理としてもよい。また、二つ以上のプログラムが一つのプログラムとして実現されてもよいし、一つのプログラムが二つ以上のプログラムとして実現されてもよい。

【0022】

また、以下の説明では、「ｘｘｘテーブル」といった表現にて、入力に対して出力が得られる情報を説明することがあるが、当該情報は、どのような構造のテーブルでもよいし、入力に対する出力を発生するニューラルネットワーク、遺伝的アルゴリズムやランダムフォレストに代表されるような学習モデルでもよい。従って、「ｘｘｘテーブル」を「ｘｘｘ情報」あるいは「ｘｘｘデータ」と言うことができる。また、以下の説明において、各テーブルの構成は一例であり、一つのテーブルは、二つ以上のテーブルに分割されてもよいし、二つ以上のテーブルの全部又は一部が一つのテーブルであってもよい。

【0023】

また、以下の説明では、「通話支援システム」は、一つ以上の物理的な計算機（例えば、カーナビゲーション装置等の車載器、車両制御装置、サーバー装置、データセンター）で構成されたシステムでもよいし、物理的な計算リソース群（例えば、クラウド基盤）上に実現されたシステム（例えば、クラウドコンピューティングシステム）でもよい。通話支援システムが音声情報を「出力する」ことは、通話支援システムが有するいずれかの発音するデバイス（スピーカー等）に音声情報を発音させることであってもよい。

【0024】

［実施例１］本実施例では、スピーカー１０およびマイクロフォン５を有し、車両に搭載された通話支援装置１００において、携帯電話機等の通信機器２００を介して相手方と音声通話を行う例を示す。しかし、車両に限られず、列車、電車、ボート、フェリー等の移動体であれば適用できることはいうまでもない。本実施例では、音声通話としては、携帯電話の通話機能を用いるもの、ＶｏＩＰ（Ｖｏｉｃｅ ｏｖｅｒ Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）技術を利用する電話サービス（ＩＰ電話）、あるいは携帯電話にて動作する所定のアプリケーションソフトウェアが提供する音声チャットやビデオチャット等を含む。

【0025】

図１は、通話支援システムの構成例を示す図である。通話支援システム１は、質問文分析サービス５００と、通話支援装置１００と、通信機器２００と、相手方通信機器３００と、を含む。質問文分析サービス５００は、クラウドサービス等として提供されている。通話支援装置１００は、質問文分析サービス５００をネットワーク８０を介して利用できる。通信機器２００は、通話支援装置１００とネットワーク６０を介して通信可能に接続される。相手方通信機器３００は、通信機器２００とネットワーク７０を介して通信可能に接続される。

【0026】

質問文分析サービス５００は、対話ログテキストを送信元から受け付けると、テキストを時系列に整列して会話として認識し、最新の発言が質問文であるか、質問文である場合にはその発話意図が何であるか、を識別するテンプレートＩＤを送信元へ返信するクラウドサービスである。なお、この質問文分析サービス５００は、必ずしもクラウドサービスとして提供されている必要はなく、通話支援装置１００からアクセス可能なサーバー装置であってもよい。

【0027】

ネットワーク６０、７０、８０は、車載Ｅｔｈｅｒｎｅｔ、ＣＡＮ ＦＤ（ＣＡＮ ｗｉｔｈ Ｆｌｅｘｉｂｌｅ Ｄａｔａ－Ｒａｔｅ）、ＣＸＰＩ（Ｃｌｏｃｋ Ｅｘｔｅｎｓｉｏｎ Ｐｅｒｉｐｈｅｒａｌ Ｉｎｔｅｒｆａｃｅ）等の車載ネットワーク、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等の有線接続（Ｗｉｒｅ）、Ｗｉ－Ｆｉ（登録商標）、インターネットあるいはイントラネット等を含む各種のネットワークである。ネットワーク７０、８０は、これに限られず、さらに、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、携帯電話網等、あるいはこれらが複合した通信網であってもよい。また、ネットワーク６０、７０、８０は、携帯電話通信網等の無線通信網上のＶＰＮ（Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）等であってもよい。

【0028】

通話支援装置１００は、処理部１１０と、車載機器情報１２０と、テンプレート情報１２１と、接続部１３０と、車載センサー１４０と、通信部１５０と、を有する。処理部１１０には、音声録音部１１１と、音声解析部１１２と、会話推定部１１３と、回答処理部１１４と、車両情報収集部１１５と、が含まれる。なお、車載機器情報１２０およびテンプレート情報１２１は、いずれも図示しない記憶部に格納されている。

【0029】

図２は、車載機器情報のデータ構造の例を示す図である。車載機器情報１２０では、所定の項目１２０ａごとに、値１２０ｂが対応付けられたキーバリュー形式で情報を格納する。項目１２０ａには、車載機器が有する各種の情報の名称が格納される。例えば、カーナビゲーション装置において案内を行う対象となるルートは「ルート設定」の名称の項目１２０ａであり、その値１２０ｂは「あり」か「なし」かの値である。それ以外にも、目的地が設定されている場合には「目的地名」の名称の項目１２０ａについて値１２０ｂは「東京タワー」等の名称を示す値を有する。あるいは、地図情報や、ビーコン等の通信機器等を介して得た交通情報、車載カメラ等を介して得た車両周囲の画像等の各種の車載機器に関する情報が車載機器情報１２０に格納される。

【0030】

図３は、テンプレート情報のデータ構造の例を示す図である。テンプレート情報１２１では、テンプレートＩＤ１２１ａについて、条件１２１ｂとテンプレート１２１ｃとを対応付けて格納する。

【0031】

テンプレートＩＤ１２１ａは、質問文の発話意図を他の発話意図から識別する情報である。例えば、「いまどこ？」という質問文は、対象者に現在位置を問う発話意図の質問文である。類似する表現の質問文は他にも多くあるが、いずれも対象者に現在位置を問う発話意図の質問文であれば、求められる回答は同じである。つまり、発話意図を識別できれば、回答は一定程度パターン化できると考えられる。そのため、同様のテンプレートＩＤ１２１ａについて、テンプレート１２１ｃが対応付けられる。ここで、条件１２１ｂは、回答の内容にバリエーションがある場合に、いずれのテンプレートを用いるべきか判定するための条件である。

【0032】

例えば、「いまどこ？」という先の質問文を例にとると、ルート設定がなされている場合には目的地や到着までの時間を補足的に回答することができるが、ルート設定がなされていない場合には現在地を伝えることが主要な回答となる。つまり、このいずれで回答するべきかは、条件１２１ｂの「ルート設定なし」「ルート設定あり」のいずれかを満たす場合に決定しうる。

【0033】

音声録音部１１１は、送話者（運転者、あるいは搭乗者）によるマイクロフォン５からの音声入力を受け付けて録音を行い、音声解析部１１２および接続部１３０に音声情報を受け渡す。また、音声録音部１１１は、接続部１３０あるいは回答処理部１１４から受け取った受話音声情報を録音し、スピーカー１０に受け渡す。つまり、音声録音部１１１は、マイクロフォン５からの音声入力を送話音声として取得し、接続部１３０あるいは回答処理部１１４から受け取った音声情報を受話音声として取得するといえる。

【0034】

音声解析部１１２は、音声録音部１１１から音声情報を受け取ると、学習済みの音響モデルを用いて音素列を作成し、学習済みの言語モデルを用いてテキスト化する。そして、得られたテキストを会話推定部１１３に受け渡す。つまり、音声解析部１１２は、送話音声と受話音声とを解析してそれぞれ送話テキストと受話テキストとを得るものといえる。

【0035】

会話推定部１１３は、音声解析部１１２から受け取ったテキストを、通信部１５０を介して質問文分析サービス５００に対話ログとしてタイムスタンプを入れて送信する。そして、会話推定部１１３は、テンプレートＩＤを通信部１５０を介して受け取る。ここで、テンプレートＩＤは、テンプレートと、挿入すべき車両情報の項目名と、を特定するものである。すなわち、会話推定部１１３は、発話意図の情報と、回答のために必要な車両情報と、を得るといえる。さらにいうと、会話推定部１１３は、受話テキストの内容が質問である場合にその回答文案を特定するものであるといえる。なお、会話推定部１１３は、回答文案を一つに特定できない場合には、回答文案として会話を保留するための定型文を用いる。

【0036】

回答処理部１１４は、回答を取得する。具体的には、回答処理部１１４は、接続部１３０から受け付けた音声情報に対する回答を、会話推定部１１３が得るテンプレートと車両情報収集部１１５が得る車載機器情報１２０、車載センサー１４０が得る車両の各部のセンサー情報を用いて回答文として構築し、回答として得る。そして、回答処理部１１４は、回答として得た情報をＴＴＨ（Ｔｅｘｔ Ｔｏ Ｓｐｅｅｃｈ）等により音声情報として接続部１３０、音声録音部１１１のそれぞれに出力し、さらにはスピーカー１０に出力させる。つまり、回答処理部１１４は、回答文案と車両の所定の情報とを用いて回答文を取得し音声出力するものであるといえる。

【0037】

なお、回答処理部１１４は、送話音声の発話者すなわちマイクロフォン５を介した運転者からの発話が難しい状況において、回答文を音声出力するものである。発話が難しい状況とは、運転者がビジーである場合や、意図的に自動回答を指示した場合、あるいは実際に所定時間無応答であった場合を含む。

【0038】

また、回答処理部１１４は、回答文を音声出力中に、送話音声の発話者すなわちマイクロフォン５を介した運転者から中断指示を受け付けると、音声出力を中断する。

【0039】

また、より具体的には、回答文案は、一部をパラメータと置換することで回答文となるテンプレートであり、回答処理部１１４は、パラメータに、対応する車両の所定の情報を用いる。

【0040】

車両情報収集部１１５は、車載機器情報１２０から車載機器情報を、車載センサー１４０から車載センサーの出力情報を、それぞれ得る。また、車両情報収集部１１５は、収集した車両情報を求められると、提供する。

【0041】

接続部１３０は、ネットワーク６０を介する通信機器２００との通信の接続を管理する。

【0042】

車載センサー１４０は、加速度センサー、ブレーキセンサー、ジャイロセンサー、温度センサー等の車載の各種センサーの総称である。これらセンサーからの情報は、車両情報収集部１１５により収集される。

【0043】

通信部１５０は、ネットワーク８０を介して質問文分析サービス５００を利用するための通信接続を管理する。

【0044】

通信機器２００は、いわゆるモバイルルーターや、携帯電話（スマートフォン）であり、ネットワーク７０を介した相手方通信機器３００との音声通話の経路確立、接続管理を行う。なお、通信機器２００は、通話支援装置１００とのネットワーク６０を介した接続管理は接続部２１０が行い、相手方通信機器３００とのネットワーク７０を介した接続管理は通信部２３０が行う。通話支援装置１００が相手方通信機器３００と通話を確立する際には、接続部２１０が通話支援装置１００との通信を媒介し、通信部２３０が相手方通信機器３００との通信を媒介することで、協調動作可能となり、エンドトゥエンドの通信が確立される。

【0045】

相手方通信機器３００は、通信部３３０を備えており、通信機器２００とネットワーク７０を介して通信を行う。本実施形態では、相手方通信機器３００もまた通信機器２００と同様に他の装置との通信を媒介する装置の想定であるが、これに限られず、携帯電話等の電話機そのものであってもよい。

【0046】

図４は、通話支援装置のハードウェア構成例を示す図である。通話支援装置１００は、プロセッサー１０１と、メモリ１０２と、ストレージ装置１０３と、通信装置１０４と、マイクロフォン１０５と、スピーカー１０６と、位置取得装置１０７と、外部機器接続装置１０８と、センサー制御装置１０９と、これらを互いに接続するバスと、を備えた一般的な情報処理装置により実現できる。プロセッサー１０１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、あるいはＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。メモリ１０２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等である。ストレージ装置１０３は、例えば、ハードディスク装置（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ：ＨＤＤ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などである。通信装置１０４は、例えば、ネットワーク８０を介した通信の接続を行うインターフェースである。位置取得装置１０７は、例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）、ＧＬＯＮＡＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）、ガリレオ等の全地球測位システム等から位置情報を取得する装置である。外部機器接続装置１０８は、通信機器２００等の外部機器との接続を担う装置である。センサー制御装置１０９は、車載センサー１４０の制御を行う。

【0047】

上記した処理部１１０の各機能部、すなわち音声録音部１１１と、音声解析部１１２と、会話推定部１１３と、回答処理部１１４と、車両情報収集部１１５とは、プロセッサー１０１が所定のプログラムを読み込み実行することにより構築される。そのため、メモリ１０２またはストレージ装置１０３には、各機能部の処理を実現するためのプログラムが記憶されている。そして、そのプログラムは、実行時にメモリ１０２にロードされ、プロセッサー１０１に処理を行わせる。

【0048】

車載機器情報１２０、テンプレート情報１２１は、メモリ１０２またはストレージ装置１０３により実現される。接続部１３０は、外部機器接続装置１０８により、また、通信部１５０は、通信装置１０４によりそれぞれ実現される。

【0049】

図５は、通話時処理の処理フローの例を示す図である。通話時処理は、通信機器２００を介して相手方通信機器３００と通話支援装置１００とが通話接続されると、開始される。

【0050】

まず、音声録音部１１１は、送受話音声をそれぞれ録音する（ステップＳ００１）。そして、通話中はステップＳ００３～ステップＳ０１３の処理を繰り返し行う（ステップＳ００２、ステップＳ０１４）。

【0051】

音声解析部１１２は、会話音声をテキスト化する（ステップＳ００３）。具体的には、音声解析部１１２は、公知の手段により、音声を解析し、送受話音声をそれぞれテキスト化する。ここで、公知の手段には、学習済み音響モデルと言語モデルとを用いて音響特定、テキスト特定を行う。あるいは、これに限られず、音声解析部１１２は、学習済みニューラルネットワークを用いて音声からテキスト情報を直接取得するエンドトゥエンドでのテキスト化を行うものであってもよい。

【0052】

そして、会話推定部１１３は、対話ログを質問文分析サービス５００へ送信する（ステップＳ００４）。具体的には、会話推定部１１３は、音声解析部１１２が作成したテキストに発話時のタイムスタンプを加えて対話ログとして質問文分析サービス５００へ送信する。

【0053】

そして、会話推定部１１３は、相手方が運転者に質問しているか否か判定する（ステップＳ００５）。具体的には、会話推定部１１３は、質問文分析サービス５００からの戻り値であるテンプレートＩＤを受信して、テンプレートＩＤが質問文に相当するものであるか否かを判定する。なお、質問文である場合には、テンプレートＩＤが質問に回答するテンプレートとなっていることから、質問文であると判定することができる。質問していない場合（ステップＳ００５にて「Ｎｏ」の場合）には、会話推定部１１３は、制御をステップＳ００３に戻す。

【0054】

相手方が運転者に質問している場合（ステップＳ００５にて「Ｙｅｓ」の場合）には、会話推定部１１３は、運転者に報知する（ステップＳ００６）とともに、車両情報収集部１１５は、車両情報を取得する（ステップＳ００７）。具体的には、会話推定部１１３は、質問がなされている旨の通知を運転者に対して行う。例えば、会話推定部１１３は、スピーカー１０から「質問されています」のようなメッセージ音声を出力する。あるいは、会話推定部１１３は、車載のナビゲーション装置にポップアップ表示を行うようにしてもよい。またあるいは、会話推定部１１３は、ヘッドレストやステアリング、あるいはシートを振動させて伝えるようにしてもよい。

【0055】

そして、回答処理部１１４は、運転者がビジーか否か判定する（ステップＳ００８）。具体的には、回答処理部１１４は、運転者の運転負荷が高い状態か否かにより、運転者がビジーか否か判定する。例えば、回答処理部１１４は、高速道路を走行中や、悪天候（雨、雪、氷結）の運転中、峠道走行中、狭路走行中等、交差点内走行中、あるいは駐車場走行中等、車両情報が所定の条件を満たす場合には、運転負荷が高いと判定する。逆に、停車中や、曲率の低い道路を低速で走行中等には、回答処理部１１４は、運転負荷は低いと判定する。運転者がビジーである場合（ステップＳ００８にて「Ｙｅｓ」の場合）には、回答処理部１１４は、後述する回答処理を行う（ステップＳ００９）。

【0056】

運転者がビジーでない場合（ステップＳ００８にて「Ｎｏ」の場合）には、回答処理部１１４は、運転者の次の発話を待ち、所定時間無回答であるか否か判定する（ステップＳ０１０）。なお、この所定時間は設定により変更可能であるが、例えば５秒とすることができる。所定時間無回答でない場合（ステップＳ０１０にて「Ｎｏ」の場合）すなわち何等かの回答が所定時間内にあった場合には、回答処理部１１４は、制御をステップＳ００３に戻す。所定時間無回答である場合（ステップＳ０１０にて「Ｙｅｓ」の場合）すなわち何等かの回答が所定時間内になされない場合には、回答処理部１１４は、制御をステップＳ００９に進める。

【0057】

そして、回答処理部１１４は、自動回答中はステップＳ０１２の処理を繰り返し行う（ステップＳ０１１、ステップＳ０１３）。

【0058】

回答処理部１１４は、運転者から中断指示が無いか否か判定する（ステップＳ０１２）。中断指示がある場合（ステップＳ０１２にて「Ｎｏ」の場合）には、回答処理部１１４は、自動回答を中断して制御をステップＳ０１４へ進める。ここで、中断指示は、例えば運転者が「ちょっと待って」、「ストップ」等の所定の発話をマイクロフォン５にて行うこと、あるいは車載のナビゲーション装置のボタン（ソフトウェアボタン含む）等において回答中断指示を入力すること、等である。中断指示が無い場合（ステップＳ０１２にて「Ｙｅｓ」の場合）には、回答処理部１１４は、自動回答のループを継続する。

【0059】

以上が、通話時処理の処理フローの例である。通話時処理によれば、運転者が音声通話を行っている際に運転者が回答することが難しい場面において、質問がなされた場合に質問意図に応じて自動回答を行うことができる。すなわち、会話を進めることができるため、運転手が通話相手と円滑に会話を行うことができるといえる。

【0060】

図６は、回答処理の処理フローの例を示す図である。回答処理は、通話時処理のステップＳ００９において開始される。

【0061】

まず、回答処理部１１４は、テンプレートＩＤからテンプレートを引き当てる（ステップＳ１０１）。具体的には、回答処理部１１４は、質問文分析サービス５００からの戻り値であるテンプレートＩＤをテンプレート情報１２１において検索し、テンプレートＩＤ１２１ａが合致するレコードを特定する。

【0062】

そして、回答処理部１１４は、条件を判断しテンプレートを確定させる（ステップＳ１０２）。具体的には、回答処理部１１４は、特定したレコードのうち、条件１２１ｂが取得した車両情報に合致するレコードを絞り込み、テンプレート１２１ｃを確定させる。ここで、条件が判定できない場合や、判定の結果複数のテンプレートが合致する場合には、回答処理部１１４は、例えば「運転に集中しています。暫くお待ちください。」等の保留のための定型アナウンスをテンプレートとして確定させる。

【0063】

そして、回答処理部１１４は、車両情報を確定しテンプレートに埋め込む（ステップＳ１０３）。具体的には、回答処理部１１４は、リアルタイムに変更される車両情報、例えば現在地や車速等については一時点での値に確定させ、確定したテンプレートのパラメータに埋め込むことで回答文を生成する。

【0064】

そして、回答処理部１１４は、自動音声にて回答文の出力を開始する（ステップＳ１０４）。具体的には、回答処理部１１４は、生成した回答文を音声出力するために、接続部１３０を介して通信機器２００に音声を発出し、同時にスピーカー１０にも音声を発出させる。また、対話ログに残すために、音声録音部１１１にも音声を発出し、音声解析部１１２に送話音声として受け渡されるようにする。

【0065】

以上が、回答処理の処理フローの例である。回答処理によれば、状況に応じて、質問の発話意図に対応する回答をテンプレートに従って作成し、音声出力することができる。

【0066】

以上が、実施例に係る通話支援システムである。実施例に係る通話支援システムによれば、運転手が通話相手と円滑に会話を行うことができる。

【0067】

ただし、本発明は、上記の実施例に制限されない。上記の実施例は、本発明の技術的思想の範囲内で様々な変形が可能である。例えば、上記の実施例では、回答処理において通話支援装置１００が回答文をテンプレートに従って作成しているが、これに限られない。質問文分析サービス５００において回答文を作成するようにしてもよい。このために、車両情報収集部１１５は、適時に収集した車両情報を質問文分析サービス５００に送信しておくことが考えられる。このようにすることで、回答文の作成に係る処理負荷を通話支援装置１００から取り除くことができ、通話支援装置の計算リソースを低減することができる。

【0068】

また例えば、通話時処理のステップＳ０１２において中断指示が検知された場合に、回答処理部１１４は、回答を中断するだけでなく、「ユーザから別の回答があるもようです」といった旨の自動応答に切り替えるようにしてもよい。このようにすることで、相手方は自動回答を中断したことをより明確に理解することが可能となり、混乱の発生を予防することが可能となる。

【0069】

また例えば、質問文分析サービス５００に相当する処理部を、通話支援装置１００が備えるようにしてもよい。このようにすることで、通話における回答作成の応答速度を高めることが可能となる。

【0070】

また例えば、通話時処理のステップＳ００８において、運転者がビジーである場合に限られず、運転者から能動的に自動回答を行うよう指示を受けた場合には、回答処理部１１４は、運転者がビジーであると判定するようにしてもよい。このようにすることで、運転者がより運転に集中しやすくなる。

【0071】

以上、様々な変形例について説明した。上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の構成に置き換えることが可能であり、また、ある実施例の構成に他の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

【0072】

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサーがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

【0073】

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

【符号の説明】

【0074】

１：通話支援システム、５：マイクロフォン、１０：スピーカー、６０，７０，８０：ネットワーク、１００：通話支援装置、１１０：処理部、１１１：音声録音部、１１２：音声解析部、１１３：会話推定部、１１４：回答処理部、１１５：車両情報収集部、１２０：車載機器情報、１２１：テンプレート情報、１３０：接続部、１４０：車載センサー、１５０：通信部、２００：通信機器、２１０：接続部、２３０：通信部、３００：相手方通信機器、３３０：通信部、５００：質問文分析サービス。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】