知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024045997
(43)【公開日】2024-04-03
(54)【発明の名称】音声認識方法及び音声認識装置
(51)【国際特許分類】
G10L 15/10 20060101AFI20240327BHJP
G10L 15/00 20130101ALI20240327BHJP
G10L 15/22 20060101ALI20240327BHJP
B60R 16/02 20060101ALI20240327BHJP
【ＦＩ】
G10L15/10 500Z
G10L15/00 200J
G10L15/10 200W
G10L15/22 453
B60R16/02 655B
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2022151110
(22)【出願日】2022-09-22
(71)【出願人】
【識別番号】000003997
【氏名又は名称】日産自動車株式会社
(74)【代理人】
【識別番号】100103850
【弁理士】
【氏名又は名称】田中 秀▲てつ▼
(74)【代理人】
【識別番号】100114177
【弁理士】
【氏名又は名称】小林 龍
(74)【代理人】
【識別番号】100066980
【弁理士】
【氏名又は名称】森 哲也
(72)【発明者】
【氏名】神沼 充伸
(57)【要約】
【課題】車両において発生する発生音のうちどの発生音に利用者が言及したかを推定する。
【解決手段】音声認識方法では、車両において発生する音である車両発生音を取得し（Ｓ１）、車両の利用者による発話内容を取得し（Ｓ３）、車両発生音と発話内容とに基づいて、車両発生音のうち発話内容において言及された対象音を推定する（Ｓ４）。
【選択図】図４
【解決手段】音声認識方法では、車両において発生する音である車両発生音を取得し（Ｓ１）、車両の利用者による発話内容を取得し（Ｓ３）、車両発生音と発話内容とに基づいて、車両発生音のうち発話内容において言及された対象音を推定する（Ｓ４）。
【選択図】図４
【特許請求の範囲】
【請求項1】
車両において発生する音である車両発生音を取得し、
前記車両の利用者による発話内容を取得し、
前記車両発生音と前記発話内容とに基づいて、前記車両発生音のうち前記発話内容において言及された対象音を推定する、
ことを特徴とする音声認識方法。
前記車両の利用者による発話内容を取得し、
前記車両発生音と前記発話内容とに基づいて、前記車両発生音のうち前記発話内容において言及された対象音を推定する、
ことを特徴とする音声認識方法。
【請求項2】
前記車両発生音の発生位置を取得し、
前記発話内容に基づいて、前記発話内容において言及されている位置である言及位置を特定し、
特定された前記言及位置と合致する位置で発生した前記車両発生音を前記対象音として推定する、
ことを特徴とする請求項１に記載の音声認識方法。
前記発話内容に基づいて、前記発話内容において言及されている位置である言及位置を特定し、
特定された前記言及位置と合致する位置で発生した前記車両発生音を前記対象音として推定する、
ことを特徴とする請求項１に記載の音声認識方法。
【請求項3】
前記発話内容からオノマトペを抽出し、
前記車両発生音から前記オノマトペに合致する音を抽出し、
抽出された前記音を前記対象音と推定する、
ことを特徴とする請求項１に記載の音声認識方法。
前記車両発生音から前記オノマトペに合致する音を抽出し、
抽出された前記音を前記対象音と推定する、
ことを特徴とする請求項１に記載の音声認識方法。
【請求項4】
前記車両において発生する音を検出して生成した同一の音データから前記発話内容と前記車両発生音とを取得することを特徴とする請求項１に記載の音声認識方法。
【請求項5】
推定された前記対象音の発生原因を推定することを特徴とする請求項１に記載の音声認識方法。
【請求項6】
前記車両における過去の発生音の履歴情報を記憶し、
前記車両発生音と前記発話内容と前記履歴情報とに基づいて前記対象音を推定する、
ことを特徴とする請求項１に記載の音声認識方法。
前記車両発生音と前記発話内容と前記履歴情報とに基づいて前記対象音を推定する、
ことを特徴とする請求項１に記載の音声認識方法。
【請求項7】
推定された前記対象音に基づいて前記対象音の発生原因に関する情報を出力することを特徴とする請求項１に記載の音声認識方法。
【請求項8】
前記対象音の停止を指示する停止指示入力を受け付けて、前記対象音の発生を停止することを特徴とする請求項１に記載の音声認識方法。
【請求項9】
車両において発生する音である車両発生音を取得する処理と、
前記車両の利用者による発話内容を取得する処理と、
前記車両発生音と前記発話内容とに基づいて、前記車両発生音のうち前記発話内容において言及された対象音を推定する処理と、
を実行するコントローラを備えることを特徴とする音声認識装置。
前記車両の利用者による発話内容を取得する処理と、
前記車両発生音と前記発話内容とに基づいて、前記車両発生音のうち前記発話内容において言及された対象音を推定する処理と、
を実行するコントローラを備えることを特徴とする音声認識装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、音声認識方法及び音声認識装置に関する。
【背景技術】
【0002】
特許文献１には、車両の異常発生時に点灯または点滅する警告灯の意味を運転者に教示する情報提供装置が提案されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第５０５６７１１号明細書
【発明の概要】
【発明が解決しようとする課題】
【0004】
近年、音声認識を用いて利用者からの質問に応答したり機器の操作を行う音声入力システムが提案されている。このような音声入力システムでは、利用者が入力することを意図した指示を、利用者の発話内容から推定する。
このような音声入力システムを実現するためには、利用者の発話内容で言及された対象を特定する必要がある。しかしながら、対象を正確に特定できる特徴を利用者が正確に発話することが困難なことがある。例えば、車両の運転をしている場合のように利用者が他の作業をしている場合には、対象を正確に特定できる特徴を正確に発話することは困難である。
本発明では、車両において発生する発生音のうちどの発生音に利用者が言及したかを推定することを目的とする。
このような音声入力システムを実現するためには、利用者の発話内容で言及された対象を特定する必要がある。しかしながら、対象を正確に特定できる特徴を利用者が正確に発話することが困難なことがある。例えば、車両の運転をしている場合のように利用者が他の作業をしている場合には、対象を正確に特定できる特徴を正確に発話することは困難である。
本発明では、車両において発生する発生音のうちどの発生音に利用者が言及したかを推定することを目的とする。
【課題を解決するための手段】
【0005】
本発明の一態様による音声認識方法では、車両において発生する音である車両発生音を取得し、車両の利用者による発話内容を取得し、車両発生音と発話内容とに基づいて、車両発生音のうち発話内容において言及された対象音を推定する。
【発明の効果】
【0006】
本発明によれば、車両において発生する発生音のうちどの発生音に利用者が言及したかを推定できる。
【図面の簡単な説明】
【0007】
【図1】実施形態の音声認識装置を備えた車両の一例の概略構成図である。
【図2】第１実施形態の音声認識装置の機能構成の一例を示すブロック図である。
【図3】対象音テーブルの一例の模式図である。
【図4】実施形態の音声認識方法の一例のフローチャートである。
【図5】第２実施形態の音声認識装置の機能構成の一例を示すブロック図である。
【発明を実施するための形態】
【0008】
以下、本発明の実施形態について、図面を参照しつつ説明する。なお、各図面は模式的なものであって、現実のものとは異なる場合がある。また、以下に示す本発明の実施形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、構成部品の構造、配置等を下記のものに特定するものではない。本発明の技術的思想は、特許請求の範囲に記載された請求項が規定する技術的範囲内において、種々の変更を加えることができる。
【0009】
（第１実施形態）
（構成）
図１は、実施形態の音声認識装置を備えた車両の一例の概略構成図である。車両１は、車載機器２と、車載機器コントローラ３と、音入力装置４と、情報出力装置５と、音声認識装置６を備える。
車載機器２は、車両１に搭載されている各種機器である。車載機器２は、例えば車両１の利用者に報知音や警報音を出力する報知音生成装置であってもよい。
なお警報音とは、利用者である乗員（例えば運転者）に対して車両１から提示する報知音の一種であり、緊急度や重要度が高い状況を報知する。報知音生成装置は、車両１の車内に設けられて利用者に聴覚情報を提示する聴覚情報提示機器の一例である。
（構成）
図１は、実施形態の音声認識装置を備えた車両の一例の概略構成図である。車両１は、車載機器２と、車載機器コントローラ３と、音入力装置４と、情報出力装置５と、音声認識装置６を備える。
車載機器２は、車両１に搭載されている各種機器である。車載機器２は、例えば車両１の利用者に報知音や警報音を出力する報知音生成装置であってもよい。
なお警報音とは、利用者である乗員（例えば運転者）に対して車両１から提示する報知音の一種であり、緊急度や重要度が高い状況を報知する。報知音生成装置は、車両１の車内に設けられて利用者に聴覚情報を提示する聴覚情報提示機器の一例である。
【0010】
車載機器コントローラ３は、車載機器２の動作を制御する電子制御ユニット（ＥＣＵ：Electronic Control Unit）であり、車載機器２を制御するための制御信号を生成する。車載機器コントローラ３は、例えばプロセッサと、記憶装置等の周辺部品とを含む。プロセッサは、例えばＣＰＵ（Central Processing Unit）やＭＰＵ（Micro-Processing Unit）であってよい。
記憶装置は、半導体記憶装置や、磁気記憶装置、光学記憶装置等を備えてよい。記憶装置は、レジスタ、キャッシュメモリ、主記憶装置として使用されるＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等のメモリを含んでよい。
記憶装置は、半導体記憶装置や、磁気記憶装置、光学記憶装置等を備えてよい。記憶装置は、レジスタ、キャッシュメモリ、主記憶装置として使用されるＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等のメモリを含んでよい。
【0011】
なお、車載機器コントローラ３を、以下に説明する各情報処理を実行するための専用のハードウエアにより形成してもよい。例えば、車載機器コントローラ３は、汎用の半導体集積回路中に設定される機能的な論理回路を備えてもよい。例えば車載機器コントローラ３はフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ：Field-Programmable Gate Array）等のプログラマブル・ロジック・デバイス（ＰＬＤ：Programmable Logic Device）等を有していてもよい。
【0012】
音入力装置４は、車両１の車室内及び車室外の音を検知して音データを生成する。例えば音入力装置は、マイクロフォンであってよい。車両１は、検出した音の発生位置を取得するために複数の音入力装置４を備えてもよい。
情報出力装置５は、音声認識装置６が利用者に提示する情報を出力するインタフェース装置である。情報出力装置５は、車両１の利用者に音情報や音声情報を出力するためのスピーカやブザーを備えてよい。情報出力装置５は、車両１の利用者が視認可能な表示装置（例えば、ナビゲーションシステムの表示画面）を備えてもよい。
情報出力装置５は、音声認識装置６が利用者に提示する情報を出力するインタフェース装置である。情報出力装置５は、車両１の利用者に音情報や音声情報を出力するためのスピーカやブザーを備えてよい。情報出力装置５は、車両１の利用者が視認可能な表示装置（例えば、ナビゲーションシステムの表示画面）を備えてもよい。
【0013】
音声認識装置６は、車両１の利用者の発話内容を認識する音声認識を実行するコントローラとして動作する電子制御ユニットである。音声認識装置６は、車両１において発生する音（以下「車両発生音」と表記することがある）のうち、利用者の発話内容で言及された音（以下「対象音」と表記することがある）を推定し、対象音の発生原因に関する情報を出力したり、対象音を発生する車載機器２を制御して対象音の発生を停止する。
【0014】
音声認識装置６は、プロセッサ６ａと、記憶装置６ｂ等の周辺部品とを含む。プロセッサ６ａは、例えばＣＰＵやＭＰＵであってよい。
記憶装置６ｂは、半導体記憶装置や、磁気記憶装置、光学記憶装置等を備えてよい。記憶装置６ｂは、レジスタ、キャッシュメモリ、主記憶装置として使用されるＲＯＭ及びＲＡＭ等のメモリを含んでよい。以下に説明する音声認識装置６の機能は、例えばプロセッサ６ａが、記憶装置６ｂに格納されたコンピュータプログラムを実行することにより実現される。
なお、音声認識装置６を、以下に説明する各情報処理を実行するための専用のハードウエアにより形成してもよい。例えば音声認識装置６は、汎用の半導体集積回路中に設定される機能的な論理回路を備えてもよい。例えば音声認識装置６はフィールド・プログラマブル・ゲート・アレイ等のプログラマブル・ロジック・デバイス等を有していてもよい。
記憶装置６ｂは、半導体記憶装置や、磁気記憶装置、光学記憶装置等を備えてよい。記憶装置６ｂは、レジスタ、キャッシュメモリ、主記憶装置として使用されるＲＯＭ及びＲＡＭ等のメモリを含んでよい。以下に説明する音声認識装置６の機能は、例えばプロセッサ６ａが、記憶装置６ｂに格納されたコンピュータプログラムを実行することにより実現される。
なお、音声認識装置６を、以下に説明する各情報処理を実行するための専用のハードウエアにより形成してもよい。例えば音声認識装置６は、汎用の半導体集積回路中に設定される機能的な論理回路を備えてもよい。例えば音声認識装置６はフィールド・プログラマブル・ゲート・アレイ等のプログラマブル・ロジック・デバイス等を有していてもよい。
【0015】
図２は、第１実施形態の音声認識装置６の機能構成の一例を示すブロック図である。音声認識装置６は、音声認識部１０と、自然言語理解部１１と、対象音記憶部１２と、音情報取得部１３と、音情報分析部１４と、対象音特定部１５と、対象音テーブル１６と、応答生成部１７を備える。
音声認識部１０は、音入力装置４が生成した音データから利用者からの音声を取得し、音声認識用辞書（言語モデル）を参照することにより利用者からの音声入力を認識して、テキストなどの言語情報に変換する。
音声認識部１０は、音入力装置４が生成した音データから利用者からの音声を取得し、音声認識用辞書（言語モデル）を参照することにより利用者からの音声入力を認識して、テキストなどの言語情報に変換する。
【0016】
本発明では、音声認識部１０の認識対象となる音声にオノマトペ（すなわち擬態語、擬音語又は擬声語）を加える。音声認識部１０は、例えば動作音（「ウィーン」、「ウォーン」など）のオノマトペや、異音（「ガー」、「カンカン」、「キー」、「ゴー」など）のオノマトペや、電子音（「ピピピ」、「ピッ」、「ピンポン」、「ポーン」など）のオノマトペを認識してテキストなどの言語情報に変換してよい。
オノマトペをテキストなどの言語情報に変換する際に、音声認識部１０は、オノマトペを含んだ音声認識用辞書を参照してよい。オノマトペは特殊な言い回しである上に、車両毎に異なる言い方がありうる。このため、一般的に流通している辞書に記載される一般的な擬態語等に限らず、乗員が車両毎に感じる（聞こえる）擬態語を音声認識用辞書（言語モデル）に追加してもよい。
音声認識部１０は、音声入力を変換して生成した言語情報を自然言語理解部１１に出力する。
オノマトペをテキストなどの言語情報に変換する際に、音声認識部１０は、オノマトペを含んだ音声認識用辞書を参照してよい。オノマトペは特殊な言い回しである上に、車両毎に異なる言い方がありうる。このため、一般的に流通している辞書に記載される一般的な擬態語等に限らず、乗員が車両毎に感じる（聞こえる）擬態語を音声認識用辞書（言語モデル）に追加してもよい。
音声認識部１０は、音声入力を変換して生成した言語情報を自然言語理解部１１に出力する。
【0017】
自然言語理解部１１は、音声認識部１０から出力された言語情報を自然言語処理によって解析し、利用者の発話意図（すなわち「インテント」）と、発話意図に関連するキーワード（すなわち「エンティティ」）を抽出する。
例えば自然言語理解部１１は、利用者の発話意図として車両発生音の意味を質問する「意味の照会」を抽出してよい。例えば、利用者が「いまの音、何？」と発話した場合、利用者の発話意図として「意味の照会」を抽出してよい。
例えば自然言語理解部１１は、利用者の発話意図として車両発生音の意味を質問する「意味の照会」を抽出してよい。例えば、利用者が「いまの音、何？」と発話した場合、利用者の発話意図として「意味の照会」を抽出してよい。
【0018】
また例えば自然言語理解部１１は、利用者の発話意図として車両発生音に対する対処方法を質問する「対処方法の照会」を抽出してよい。例えば、利用者が「ガーって音がなっているけどどうしたらいい？」と発話した場合、利用者の発話意図として「対処方法の照会」を抽出してよい。
また例えば自然言語理解部１１は、利用者の発話意図として車両発生音の停止を所望する「発生音の停止」を抽出してよい。例えば、利用者が「その音止めて」と発話した場合、利用者の発話意図として「発生音の停止」を抽出してよい。
また例えば自然言語理解部１１は、利用者の発話意図として車両発生音の停止を所望する「発生音の停止」を抽出してよい。例えば、利用者が「その音止めて」と発話した場合、利用者の発話意図として「発生音の停止」を抽出してよい。
【0019】
また、例えば自然言語理解部１１は、車両発生音のうち発話内容で言及された対象音の特定に利用するキーワードを抽出する。
例えば自然言語理解部１１は、車両発生音の発生位置を表すキーワード（例えば「前」、「下」、「エンジン」、「ＣＶＴ」など）を抽出してよい。また例えば、車両発生音の態様を表すキーワード（例えば「ベルトの音」、「変な音」、「警報音」、「タイヤ音」、「報知音」など）を検出してよい。
車両発生音の態様を表すキーワードとして、オノマトペを抽出してもよい。自然言語理解部１１は、抽出した発話意図の情報を応答生成部１７へ出力し、抽出したキーワードの情報を対象音特定部１５へ出力する。
例えば自然言語理解部１１は、車両発生音の発生位置を表すキーワード（例えば「前」、「下」、「エンジン」、「ＣＶＴ」など）を抽出してよい。また例えば、車両発生音の態様を表すキーワード（例えば「ベルトの音」、「変な音」、「警報音」、「タイヤ音」、「報知音」など）を検出してよい。
車両発生音の態様を表すキーワードとして、オノマトペを抽出してもよい。自然言語理解部１１は、抽出した発話意図の情報を応答生成部１７へ出力し、抽出したキーワードの情報を対象音特定部１５へ出力する。
【0020】
対象音記憶部１２は図１の記憶装置６ｂ内に設けられ、車両１で発生しうる複数種類の車両発生音に関する情報（以下「発生音情報」と表記することがある）を記憶している。
例えば対象音記憶部１２は、発生音情報として、車両発生音の発生原因（すなわち音源）の情報と、車両発生音の発生位置の情報、及び車両発生音の特徴量の情報を記憶してよい。
車両発生音の発生原因（音源）の情報として例えば「ＣＶＴ内部音」、「ＣＶＴ異常音」、「エンジン異常音」、「○○警報音」、「タイヤ音」、「○○報知音」などの車両発生音の種類の情報を記憶してよい。
例えば対象音記憶部１２は、発生音情報として、車両発生音の発生原因（すなわち音源）の情報と、車両発生音の発生位置の情報、及び車両発生音の特徴量の情報を記憶してよい。
車両発生音の発生原因（音源）の情報として例えば「ＣＶＴ内部音」、「ＣＶＴ異常音」、「エンジン異常音」、「○○警報音」、「タイヤ音」、「○○報知音」などの車両発生音の種類の情報を記憶してよい。
【0021】
車両発生音の発生位置の情報として例えば「ＣＶＴ」、「エンジン」、「タイヤ」などの車両の部位の情報を記憶してもよく、「車両前部」、「車両後部」、「車両下部」、「車両右側」、「車両左側」など方向の情報を記憶してもよい。
例えば車両発生音の特徴量の情報として車両発生音のスペクトル情報を記憶してよい。
対象音記憶部１２には、これら車両発生音毎に、発生原因（音源）の情報と発生位置の情報と特徴量の情報とが互いに関連付けられて記憶される。
例えば車両発生音の特徴量の情報として車両発生音のスペクトル情報を記憶してよい。
対象音記憶部１２には、これら車両発生音毎に、発生原因（音源）の情報と発生位置の情報と特徴量の情報とが互いに関連付けられて記憶される。
【0022】
音情報取得部１３は、音入力装置４から音データを取得して音情報分析部１４へ出力する。音情報取得部１３と音声認識部１０とは、同じ音入力装置４が生成した音データ（すなわち同一の音データ）を取得してもよく、音情報取得部１３と音声認識部１０とに対して別個の音入力装置４を設け、これら異なる音入力装置４がそれぞれ生成した音データ（すなわち異なる音データ）を音情報取得部１３と音声認識部１０とが取得してもよい。
【0023】
音情報分析部１４は、音入力装置４から入力された音データに、音情報取得部１３に発生音情報が記憶された車両発生音のうちどの車両発生音が含まれているかを推定する。すなわち、どの車両発生音が現在発生しているかを推定する。
例えば音情報分析部１４は、異なる複数の位置に配置された音入力装置４から取得した音データに基づいて、音データに含まれている車両発生音の発生位置を推定してもよい。音情報分析部１４は、推定した発生位置と対象音記憶部１２に記憶されている車両発生音の発生位置の情報とを照合することにより、どの車両発生音が音データに含まれるか（すなわち、どの車両発生音が現在発生しているか）を推定してもよい。例えば、推定した発生位置と同じ発生位置の情報に関連付けて記憶された車両発生音が音データに含まれると推定してもよい。
例えば音情報分析部１４は、異なる複数の位置に配置された音入力装置４から取得した音データに基づいて、音データに含まれている車両発生音の発生位置を推定してもよい。音情報分析部１４は、推定した発生位置と対象音記憶部１２に記憶されている車両発生音の発生位置の情報とを照合することにより、どの車両発生音が音データに含まれるか（すなわち、どの車両発生音が現在発生しているか）を推定してもよい。例えば、推定した発生位置と同じ発生位置の情報に関連付けて記憶された車両発生音が音データに含まれると推定してもよい。
【0024】
また例えば音情報分析部１４は、音入力装置４から取得した音データを分析して、音データの特徴量を抽出してもよい。音情報分析部１４は、抽出した特徴量と対象音記憶部１２に記憶されている車両発生音の特徴量とを照合することにより、どの車両発生音が音データに含まれるかを推定してもよい。例えば、抽出した特徴量と同一又は類似する特徴量の情報に関連付けて記憶された車両発生音が音データに含まれると推定してもよい。
【0025】
例えば音情報分析部１４は、音データに含まれている音のスペクトル情報を抽出し、抽出したスペクトル情報と対象音記憶部１２に記憶されている車両発生音のスペクトル情報とを照合することにより、どの車両発生音が音データに含まれるかを推定してよい。
音情報分析部１４は、音データに含まれると推定した車両発生音（すなわち、現在発生していると推定した車両発生音）の識別情報を対象音特定部１５に出力する。
音情報分析部１４は、音データに含まれると推定した車両発生音（すなわち、現在発生していると推定した車両発生音）の識別情報を対象音特定部１５に出力する。
【0026】
例えばＣＶＴ内部音が発生している間に報知音が出力されるなど、異なる種類の車両発生音が同時に発生することもある。このため音情報分析部１４は、同時に複数の車両発生音が音データに含まれると推定した場合に、複数の車両発生音の識別情報を同時に対象音特定部１５に出力してもよい。
【0027】
対象音特定部１５は、音情報分析部１４が推定した車両発生音のうち、利用者の発話内容で言及された対象音がどれであるかを特定する。
例えば、対象音特定部１５は、音情報分析部１４が推定した車両発生音と、自然言語理解部１１が抽出したキーワードと、記憶装置６ｂに記憶された対象音テーブル１６と、を照合することによって対象音を特定してもよい。
例えば、対象音特定部１５は、音情報分析部１４が推定した車両発生音と、自然言語理解部１１が抽出したキーワードと、記憶装置６ｂに記憶された対象音テーブル１６と、を照合することによって対象音を特定してもよい。
【0028】
図３は、対象音テーブル１６の一例の模式図である。対象音テーブル１６は、車両発生音の識別情報と、キーワードと、対象音の識別子である対象音ＩＤとを関連付けて記憶するテーブル情報である。対象音テーブル１６に記憶されるキーワードは、自然言語理解部１１により抽出されるキーワードを含み、例えば車両発生音の発生位置や、態様を表すキーワード等を含んでよい。
【0029】
対象音特定部１５は、音情報分析部１４が推定した車両発生音のうち、自然言語理解部１１が抽出したキーワードに関連付けて対象音テーブル１６に記憶された車両発生音を対象音であると特定し、対象音と特定された車両発生音に関連付けて記憶された対象音ＩＤを応答生成部１７に出力する。
例えば、音情報分析部１４が、ＣＶＴ異常音１が発生していると推定すると同時に報知音１が発生していると推定した状態（すなわちＣＶＴ異常音１と報知音１の識別情報を同時に出力した状態）を想定する。
例えば、音情報分析部１４が、ＣＶＴ異常音１が発生していると推定すると同時に報知音１が発生していると推定した状態（すなわちＣＶＴ異常音１と報知音１の識別情報を同時に出力した状態）を想定する。
【0030】
このとき利用者が「ガーっていう音が鳴っているけど何？」と発話した場合、自然言語理解部１１は、オノマトペを含んだキーワード「ガー」を抽出する。この結果、対象音特定部１５は、ＣＶＴ異常音１と報知音１のうち、キーワード「ガー」に関連付けて記憶されたＣＶＴ異常音１が対象音であると特定する。そしてＣＶＴ異常音１に関連付けて記憶された対象音ＩＤ「ＩＤ００１－３」を応答生成部１７に出力する。
【0031】
図２を参照する。応答生成部１７は、自然言語理解部１１が出力した発話意図の情報と、対象音特定部１５が出力した対象音ＩＤと、に基づいて利用者の発話に対する応答を生成する。
例えば利用者の発話意図が「意味の照会」又は「対処方法の照会」などの「質問」である場合には、対象音ＩＤが示す車両発生音に関する情報を情報出力装置５から出力してよい。応答生成部１７は、車両発生音に関する情報として聴覚情報（音声メッセージ等の聴覚的メッセージ）をスピーカから出力してもよく視覚情報（文字メッセージや図形、シンボル、動画などの視覚的メッセージ）を表示装置から出力してよい。
例えば利用者の発話意図が「意味の照会」又は「対処方法の照会」などの「質問」である場合には、対象音ＩＤが示す車両発生音に関する情報を情報出力装置５から出力してよい。応答生成部１７は、車両発生音に関する情報として聴覚情報（音声メッセージ等の聴覚的メッセージ）をスピーカから出力してもよく視覚情報（文字メッセージや図形、シンボル、動画などの視覚的メッセージ）を表示装置から出力してよい。
【0032】
例えば対象音特定部１５から対象音ＩＤ「ＩＤ００１－３」が出力され（すなわち、ＣＶＴ異常音１が対象音であると特定され）、且つ、利用者が「ガーっていう音が鳴っているけど何？」と発話した場合（発話意図が「意味の照会」である場合）には、対象音の意味（例えば対象音の発生原因）についての情報を情報出力装置５から出力してよい。例えば応答メッセージ「ＣＶＴから異常音が鳴っています」を出力してよい。
【0033】
また例えば、対象音特定部１５から対象音ＩＤ「ＩＤ００１－３」が出力され、且つ、利用者が「ガーっていう音が鳴っているけどどうしたらいい？」と発話した場合（発話意図が「対処方法の照会」である場合）には、対象音に対する対処方法についての情報を情報出力装置５から出力してよい。例えば応答メッセージ「ＣＶＴから異常音が鳴っています。ＣＶＴの点検が必要ですので○○販売会社に連絡して下さい」を出力してよい。
【0034】
また例えば、対象音特定部１５から対象音ＩＤ「ＩＤ００３」が出力され（すなわち、警報音１が対象音であると特定され）、且つ、利用者が「ピピピっていう音を止めて」と発話した場合（発話意図が「発生音の停止」である場合）には、応答生成部１７は、利用者の発話を、対象音の停止を指示する停止指示入力として受け付けてもよい。
この場合、応答生成部１７は、警報音１を停止させる制御信号を応答コマンドとして車載機器コントローラ３に出力することにより、警報音１の発生を停止させてもよい。
この場合、応答生成部１７は、警報音１を停止させる制御信号を応答コマンドとして車載機器コントローラ３に出力することにより、警報音１の発生を停止させてもよい。
【0035】
（動作）
図４は、実施形態の音声認識方法の一例のフローチャートである。
ステップＳ１において音情報取得部１３は、音入力装置４から車両発生音を取得する。
ステップＳ２において音情報分析部１４は、車両発生音の音源（原因）を推定する。
ステップＳ３において音声認識部１０と自然言語理解部１１は、車両１の利用者による発話内容を取得する。
図４は、実施形態の音声認識方法の一例のフローチャートである。
ステップＳ１において音情報取得部１３は、音入力装置４から車両発生音を取得する。
ステップＳ２において音情報分析部１４は、車両発生音の音源（原因）を推定する。
ステップＳ３において音声認識部１０と自然言語理解部１１は、車両１の利用者による発話内容を取得する。
【0036】
ステップＳ４において対象音特定部１５は、車両発生音と発話内容とに基づいて車両発生音のうち発話内容において言及された対象音を推定する。
ステップＳ５において応答生成部１７は、対象音に対する利用者の発話に対する応答を生成する。
その後に処理は終了する。
ステップＳ５において応答生成部１７は、対象音に対する利用者の発話に対する応答を生成する。
その後に処理は終了する。
【0037】
（変形例１）
対象音特定部１５は、対象音テーブル１６に代えて、学習済みモデルとしての識別器（例えばニューラルネット）を使用して対象音を推定してもよい。例えば、車両発生音の特徴量と、車両発生音に関するキーワードと、正解クラスの対象音ＩＤを学習信号として機械学習手法を適用して学習させることによって予め識別器を生成してよい。対象音特定部１５は、このような識別器に、音情報分析部１４が抽出した特徴量と自然言語理解部１１が抽出したキーワードとを入力することにより、発話内容において言及された対象音の対象音ＩＤを推定してもよい。
（変形例２）
対象音特定部１５は、車両発生音の発生位置を表すキーワードや車両発生音の態様を表すキーワードに代えて、車両発生音の発生開始タイミングを表すキーワードを抽出してもよい。対象音特定部１５は、キーワードが表す発生開始タイミングと合致した時期に発生し始めた車両発生音を対象音と推定してもよい。
例えば利用者が「いま鳴りだした何？」と発話した場合、対象音特定部１５は、音情報分析部１４が推定した車両発生音のうち直近に発生し始めた車両発生音を対象音と特定してもよい。
対象音特定部１５は、対象音テーブル１６に代えて、学習済みモデルとしての識別器（例えばニューラルネット）を使用して対象音を推定してもよい。例えば、車両発生音の特徴量と、車両発生音に関するキーワードと、正解クラスの対象音ＩＤを学習信号として機械学習手法を適用して学習させることによって予め識別器を生成してよい。対象音特定部１５は、このような識別器に、音情報分析部１４が抽出した特徴量と自然言語理解部１１が抽出したキーワードとを入力することにより、発話内容において言及された対象音の対象音ＩＤを推定してもよい。
（変形例２）
対象音特定部１５は、車両発生音の発生位置を表すキーワードや車両発生音の態様を表すキーワードに代えて、車両発生音の発生開始タイミングを表すキーワードを抽出してもよい。対象音特定部１５は、キーワードが表す発生開始タイミングと合致した時期に発生し始めた車両発生音を対象音と推定してもよい。
例えば利用者が「いま鳴りだした何？」と発話した場合、対象音特定部１５は、音情報分析部１４が推定した車両発生音のうち直近に発生し始めた車両発生音を対象音と特定してもよい。
【0038】
（第２実施形態）
図５は、第２実施形態の音声認識装置６の機能構成の一例を示すブロック図である。第２実施形態の音声認識装置６は、車両１における過去の発生音の履歴情報に基づいて対象音を推定する推定部１８を備える。
図３を参照する。例えば、音情報分析部１４が、ＣＶＴ異常音１が発生していると推定すると同時にエンジン異常音１が発生していると推定した状態（すなわちＣＶＴ異常音１とエンジン異常音１の識別情報を同時に出力した状態）を想定する。
図５は、第２実施形態の音声認識装置６の機能構成の一例を示すブロック図である。第２実施形態の音声認識装置６は、車両１における過去の発生音の履歴情報に基づいて対象音を推定する推定部１８を備える。
図３を参照する。例えば、音情報分析部１４が、ＣＶＴ異常音１が発生していると推定すると同時にエンジン異常音１が発生していると推定した状態（すなわちＣＶＴ異常音１とエンジン異常音１の識別情報を同時に出力した状態）を想定する。
【0039】
このとき利用者が「前の方から聞こえる変な音は何？」と発話すると、自然言語理解部１１が、キーワード「変な音」と「前」を抽出する。これらのキーワードは、ＣＶＴ異常音１とエンジン異常音１のどちらにも関連付けて記憶されているため、対象音特定部１５は、ＣＶＴ異常音１とエンジン異常音１のどちらが、利用者の発話内容で言及されたか特定できない。
そこで推定部１８は、車両１における過去の発生音の履歴情報に基づいて、対象音特定部１５が推定した対象音をさらに限定する。
そこで推定部１８は、車両１における過去の発生音の履歴情報に基づいて、対象音特定部１５が推定した対象音をさらに限定する。
【0040】
図５を参照する。発生音記憶部１９は図１の記憶装置６ｂ内に設けられ、音情報分析部１４が、車両１に発生した発生音であると過去に推定したときの車両発生音の識別情報と、発生時期（例えば発生日時や発生時刻）の履歴情報を記憶する。
対象音特定部１５が複数種類の車両発生音を同時に対象音と推定した場合（複数種類の車両発生音にそれぞれ対応付けられた対象音ＩＤを同時に出力した場合）、例えば推定部１８は、発生音記憶部１９の履歴情報に含まれる車両発生音（すなわち車両１において過去に発生した車両発生音）を優先して対象音として特定してよい。
対象音特定部１５が複数種類の車両発生音を同時に対象音と推定した場合（複数種類の車両発生音にそれぞれ対応付けられた対象音ＩＤを同時に出力した場合）、例えば推定部１８は、発生音記憶部１９の履歴情報に含まれる車両発生音（すなわち車両１において過去に発生した車両発生音）を優先して対象音として特定してよい。
【0041】
例えば、現在時点よりも所定期間前（例えば、数時間前、１日前、数日前）の時点から現在時点までの間に発生した車両発生音を優先して対象音として特定してよい。
この場合に応答生成部１７は、車両発生音の発生時期に関する情報を情報出力装置５から出力してよい。例えば応答メッセージ「昨日もこの音が鳴っています。ＣＶＴの異常音の可能性がありますので、○○販売会社で確認して下さい」を出力してよい。
この場合に応答生成部１７は、車両発生音の発生時期に関する情報を情報出力装置５から出力してよい。例えば応答メッセージ「昨日もこの音が鳴っています。ＣＶＴの異常音の可能性がありますので、○○販売会社で確認して下さい」を出力してよい。
【0042】
また例えば自然言語理解部１１は、車両発生音の発生時期を表現するキーワードを抽出して推定部１８に出力してもよい。例えば推定部１８は、発生音記憶部１９の履歴情報に基づいて、キーワードが表す発生時期に発生した車両発生音を特定する。例えば、対象音特定部１５が複数種類の車両発生音を同時に対象音と推定した場合（複数種類の車両発生音にそれぞれ対応付けられた対象音ＩＤを同時に出力した場合）、推定部１８は、これら複数の車両発生音のうち、キーワードが表す発生時期に発生した車両発生音を優先して対象音として特定してもよい。
例えば、利用者が「昨日から前の方で鳴っている変な音は何？」と発話して場合に、昨日から発生し始めた車両発生音を優先して対象音として特定してもよい。
例えば、利用者が「昨日から前の方で鳴っている変な音は何？」と発話して場合に、昨日から発生し始めた車両発生音を優先して対象音として特定してもよい。
【0043】
（実施形態の効果）
（１）音声認識方法では、車両１において発生する音である車両発生音を取得し、車両１の利用者による発話内容を取得し、車両発生音と発話内容とに基づいて、車両発生音のうち発話内容において言及された対象音を推定する。
これにより、車両１において発生する発生音について車両１の利用者の発話内容で言及された対象音を推定する際の推定精度を向上できる。
（１）音声認識方法では、車両１において発生する音である車両発生音を取得し、車両１の利用者による発話内容を取得し、車両発生音と発話内容とに基づいて、車両発生音のうち発話内容において言及された対象音を推定する。
これにより、車両１において発生する発生音について車両１の利用者の発話内容で言及された対象音を推定する際の推定精度を向上できる。
【0044】
（２）車両発生音の発生位置を取得し、発話内容に基づいて、発話内容において言及されている位置である言及位置を特定し、特定された言及位置と合致する位置で発生した車両発生音を対象音として推定してもよい。
これにより、利用者が発生位置を表現する発話で車両発生音を表現した場合に、どの車両発生音に言及したかを推定できる
これにより、利用者が発生位置を表現する発話で車両発生音を表現した場合に、どの車両発生音に言及したかを推定できる
【0045】
（３）発話内容からオノマトペを抽出し、車両発生音からオノマトペに合致する音を抽出し、抽出された音を対象音と推定してもよい。
これにより、利用者がオノマトペにより車両発生音を表現した場合に、どの車両発生音に言及したかを推定できる。
これにより、利用者がオノマトペにより車両発生音を表現した場合に、どの車両発生音に言及したかを推定できる。
【0046】
（４）車両１において発生する音を検出して生成した同一の音データから発話内容と車両発生音とを取得してもよい。
これにより、音データを生成する入力装置（例えばマイクロフォン）を車両１に設置する設置個数を低減できる。
これにより、音データを生成する入力装置（例えばマイクロフォン）を車両１に設置する設置個数を低減できる。
【0047】
（５）推定された対象音の発生原因を推定してもよい。これにより、対象音の発生原因に関する情報を利用者に提供できる。
（６）車両１における過去の発生音の履歴情報を記憶し、車両発生音と発話内容と履歴情報とに基づいて対象音を推定してもよい。これにより、対象音を推定する際の推定精度をさらに向上できる。
（６）車両１における過去の発生音の履歴情報を記憶し、車両発生音と発話内容と履歴情報とに基づいて対象音を推定してもよい。これにより、対象音を推定する際の推定精度をさらに向上できる。
【0048】
（７）推定された対象音に基づいて対象音の発生原因に関する情報を出力してよい。これにより、発話内容で言及された対象音を精度良く推定して、対象音の発生原因に関する情報を利用者に提示できる。
（８）対象音の停止を指示する停止指示入力を受け付けて、対象音の発生を停止してもよい。これにより、発話内容で言及された対象音を精度良く推定して、利用者の指示に応じて停止できる。
（８）対象音の停止を指示する停止指示入力を受け付けて、対象音の発生を停止してもよい。これにより、発話内容で言及された対象音を精度良く推定して、利用者の指示に応じて停止できる。
【符号の説明】
【0049】
１…車両、２…車載機器、３…車載機器コントローラ、４…音入力装置、５…情報出力装置、６…音声認識装置、６ａ…プロセッサ、６ｂ…記憶装置、１０…音声認識部、１１…自然言語理解部、１２…対象音記憶部、１３…音情報取得部、１４…音情報分析部、１５…対象音特定部、１６…対象音テーブル、１７…応答生成部、１８…推定部、１９…発生音記憶部
【図1】
【図2】
【図3】
【図4】
【図5】