(58)【調査した分野】(Int.Cl.,DB名)
前記特定ワードは、前記案内音声を聞き逃した利用者が発声するであろう音声を想定して設定された複数の特定ワード候補の中の一つであることを特徴とする請求項1に記載の音声出力装置。
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、上述した特許文献1に開示された音声出力装置では、案内音声の再出力を希望する利用者は、聞き逃した案内音声出力後の所定時間以内に所定の操作や発話を行う必要があり、この所定時間が短すぎると利用者の希望に沿った案内音声の再出力が行われず、反対に、この所定時間が長すぎると利用者が希望しない案内音声が再出力されてしまう場合があり、利用者の意思が反映されないおそれがあるという問題があった。特に、案内音声出力後に、この案内音声を聞き逃した利用者が操作等を行うタイミングは利用者毎に異なっており、すべての利用者を対象に適切な所定時間を設定することは難しい。
【0005】
本発明は、このような点に鑑みて創作されたものであり、その目的は、聞き逃した案内音声の再出力を利用者の意思を反映して確実に実施することができる音声出力装置を提供することにある。
【課題を解決するための手段】
【0006】
上述した課題を解決するために、本発明の音声出力装置は、案内音声を出力する案内音声出力手段と、利用者によって発声された音声に対して音声認識処理を行う音声認識処理手段と、音声認識処理手段による認識結果に基づいて、利用者によって発声された音声の内容が、直前に出力された案内音声を聞き逃したことを示す特定ワードを示すものである場合に、案内音声出力手段に対して、直前に出力された案内音声の再出力を指示する案内出力指示手段とを備えている。特に、上述した特定ワードは、案内音声を聞き逃した利用者が発声するであろう音声を想定して設定された複数の特定ワード候補の中の一つであることが望ましい。
【0007】
利用者は、出力された案内音声の内容を聞き逃した場合であって、もう一度聞きたい場合には、「なに」、「どこ」、「もう一回」などの特定ワードの音声を発声することが多い。したがって、このような特定ワードを予め想定して音声認識結果との間で一致/不一致を判定することにより、案内音声の再出力を希望する利用者の意思を反映させた上で、聞き逃した案内音声の再出力を確実に実施することが可能となる。
【0008】
また、上述した案内音声出力手段は、案内音声を出力する際の音量が変更可能であり、案内出力指示手段は、案内音声の再出力とともに音量の増加を案内音声出力手段に対して指示することが望ましい。また、利用者が、案内音声と同時に聴取可能なオーディオ音を出力するオーディオ手段をさらに備え、案内出力指示手段は、案内音声の再出力を案内音声出力手段に対して指示するとともに、オーディオ音の音量低下をオーディオ手段に対して
指示する。これにより、案内音声の音量増加および/またはオーディオ音の音量低下を行った上で案内音声の再出力を行うことにより、案内音声の内容を利用者に確実に伝えることができ、再度の聞き逃しを防止することが可能となる。
【0009】
また、上述した案内音声出力手段によって出力される前記案内音声には、重要度が高い第1の案内音声と、第1の案内音声よりも重要度が低い第2の案内音声が含まれており、第1の案内音声の再出力を行う際に、第1の案内音声の音量増加および/またはオーディオ音の音量低下を行い、第2の案内音声の再出力を行う際に、第2の
案内音声の音量増加およびオーディオ音の音量低下を行わないことが望ましい。これにより、重要な案内音声について、再度の聞き逃しを確実に防止することが可能となる。
【0010】
また、音声出力装置は車両に搭載されており、車室内において前記案内音声出力手段による案内音声の出力が行われ、利用者は、車室内の座席に着座していることが望ましい。車両走行時は、ロードノイズや風切音、雨音などの影響により案内音声の内容を聞き逃す機会が増えると考えられるが、このような環境においても、案内音声の再出力を希望する利用者の意思を判定させた上で、聞き逃した案内音声の再出力を確実に実施することが可能となる。
【発明を実施するための形態】
【0012】
以下、本発明の音声出力装置を適用した一実施形態の車載装置について、図面を参照しながら説明する。
【0013】
図1は、一実施形態の車載装置の構成を示す図である。
図1に示すように、車載装置1は、ナビゲーション処理部10、TVチューナ処理部14、ラジオチューナ処理部16、AV処理部18、操作部20、入力制御部22、表示処理部24、表示装置26、音声認識処理部30、マイクロホン32、デジタル−アナログ変換器(D/A)40、スピーカ42、制御部50、ハードディスク装置(HDD)70を備えている。
【0014】
ナビゲーション処理部10は、ハードディスク装置70に記憶されている地図データを用いて、車載装置1が搭載された車両の走行を案内するナビゲーション動作を行う。自車位置を検出するGPS(Global Positioning System)装置12とともに用いられ、車両の走行を案内するナビゲーション動作には、地図表示、経路探索・誘導のほかに周辺施設を検索して表示する動作などが含まれる。また、経路誘導動作には、交差点通過時などに車両の進行方向や走行車線変更などを案内する案内音声(ルートガイダンス)を作成する動作が含まれる。なお、自車位置検出は、GPS12の他にジャイロセンサや車速センサ等の自律航法センサを組み合わせて用いるようにしてもよい。
【0015】
TVチューナ処理部14は、地上デジタル放送等の放送信号を受信し、映像および音声を再生する処理を行う。ラジオチューナ処理部16は、ラジオ放送の信号を受信し、音声を再生する処理を行う。AV処理部18は、圧縮されてハードディスク装置70に記憶されている音楽データや映像データを読み出して再生する処理を行う。なお、音楽データや映像データは、ディスク読取装置(図示せず)を用いてCDやDVDから読み取ったものを用いたり、ネットワーク経由で受信したものを用いるようにしてもよい。また、本実施形態では、TVチューナ処理部14、ラジオチューナ処理部16、AV処理部18のそれぞれから出力される各種の音声や音楽をまとめて「オーディオ音」として説明を行うものとする。
【0016】
操作部20は、利用者による各種操作を受け付けるためのものであり、各種のスイッチや操作つまみ等が備わっている。入力制御部22は、操作部20の操作状態を監視し、利用者による入力内容を検出する。
【0017】
表示処理部24は、各種の操作画面や入力画面等を表示する映像信号を出力して表示装置26にこれらの画面を表示するとともに、TVチューナ処理部14によって受信した放送信号に対応する映像画面やAV処理部18によって再生した映像画面等を表示する映像信号を出力して表示装置26にこれらの画面を表示する。表示装置26は、運転席と助手席の中央前方に設置されており、例えば液晶表示装置(LCD)を用いて構成されている。
【0018】
音声認識処理部30は、マイクロホン32によって集音される利用者の発話による音声に対して、音声認識辞書に格納された認識候補となる複数の認識ワードのそれぞれと比較することにより、音声認識処理を行う。本実施形態では、利用者が発声する音声を常時集音し、集音した音声の先頭部分から発話が終了した時点までの音声を対象として音声認識処理を行っている。
【0019】
例えば、利用者が「もう一回」と発声し、この内容を音声認識処理を行って認識する場合を考えると、最初に「も」と発生した時点では「も」と認識ワード「もう一回」との間の相違が大きいため、音声認識処理に失敗することになる。同様に、「もう」、「もうい」、「もういっか」などと発声した時点でもこれらと認識ワード「もう一回」との間の相違が大きいため、音声認識処理に失敗する。そして、「もう一回」と発声すると、比較対象となる認識ワード「もう一回」との間の相違が小さくなるため、音声認識処理に成功する。
【0020】
このような処理を行うために、「ディスタンス」と「スコア」の概念が導入されている。ディスタンスは、比較対象としての音声と認識ワードとの類似距離を示す。例えば、
図2に示すように、ディスタンスの最大値は最も大きい類似距離として「1000」に設定されている。スコアSは、実際の入力音声と認識ワード「もう一回」との類似距離を示す。上述したように、利用者が「もう一回」と発声する場合を例にとると、発声を開始した時点でのスコアは1000であり、発声が進行するにしたがって、入力音声のスコアが次第に低下する。そして、発声が終了した時点での入力音声のスコアが所定のしきい値Th未満になると、その入力音声の内容が認識ワードと一致したものとする認識結果が得られる。一般には、複数の認識ワードのそれぞれを対象にして同様の処理が並行して行われ、最終的に一つの認識ワードが認識結果として抽出される。なお、発声が終了した時点での入力音声のスコアが所定のしきい値Th未満にならない場合(入力音声に近い認識ワードが存在しない場合)には音声認識処理に失敗したことになり、再度の音声入力を促す等の処理が行われる。
【0021】
ところで、音声認識辞書に格納された認識ワードと同じ内容の音声を利用者が発声する場合を考えると、最終的なスコアSは小さな値となるはずであり、しきい値Thをある程度小さく設定しても、利用者が発声した音声の内容を認識することができるはずである。しかし、実際には、利用者が発声した音声とともに、ロードノイズや風切音、雨音あるいはオーディオ音なども同時に集音されるため、利用者が発声した音声の最終的なスコアSは静かな環境下で集音したときほど小さな値にはならない。この点を考慮して、音声認識処理の成功の成否を判定するためのしきい値Thは、あまり小さな値に設定することはできない。裏を返せば、このようにして設定されたしきい値Thを用いて音声認識処理を行うものとすれば、音声認識処理に成功した場合であって、しきい値ThとスコアSとの差が小さい場合には、利用者の周囲がロードノイズ、風切音、雨音、オーディオ音などが大きな環境であり、しきい値ThとスコアSとの差が大きい場合には、利用者の周囲がロードノイズ、風切音、雨音、オーディオ音などが小さく静かな環境であるといえる。
【0022】
なお、トークスイッチ等を利用者自身が操作し、発話の開始と終了を利用者が指示し、その間の入力音声を認識対象として音声認識処理を行うようにしてもよい。
【0023】
デジタル−アナログ変換器40は、ナビゲーション処理部10、TVチューナ処理部14、ラジオチューナ処理部16、AV処理部18のそれぞれの処理によって生成される案内音声やオーディオ音(デジタルデータ)をアナログの音声信号に変換してスピーカ42から出力する。なお、実際には、デジタル−アナログ変換器40とスピーカ42の間には信号を増幅する増幅器が接続されているが、
図1ではこの増幅器は省略されている。また、デジタル−アナログ変換器40とスピーカ42との組合せは再生チャンネル数分備わっているが、
図1では一組のみが図示されている。
【0024】
制御部50は、車載装置1の全体を制御するためのものであり、ROMやRAMなどに格納された所定のプログラムをCPUで実行することにより実現される。この制御部50は、聞き逃し想到ワード判定部51、重要ポイント判定部52、周辺状況判定部53、オーディオ音量変更部54、案内音量変更部55、案内出力指示部56を有する。
【0025】
聞き逃し想到ワード判定部51は、音声認識処理部30による音声認識処理によって得られた音声内容が聞き逃し想到ワードに一致するか否かを判定する。例えば、聞き逃し想到ワードとして、予め複数の特定ワードが設定されており、これら複数の特定ワードのいずれか一つと一致するか否かが判定される。具体的には、「なに」、「どこ」、「もう一回」などが特定ワードに設定されている。なお、当然ながら、これら複数の特定ワードは、音声認識処理部30による音声認識処理で用いられる音声認識辞書に格納された認識候補となる複数の認識ワードに含ませておく必要がある。
【0026】
重要ポイント判定部52は、案内音声の出力地点が重要ポイントに該当するか否かを判定する。本実施形態では、ナビゲーション処理部10による経路誘導動作中に出力される案内音声に着目しており、この案内音声が出力される場所として設定されている走行経路上の場所が重要ポイントに該当するか否かが判定される。また、この重要ポイントには、利用者にとって重要度が高い案内音声(第1の案内音声)を聞き逃さずに確実に聞くことを期待している場所であって、例えば、次の分岐点で車両が右左折することを案内音声によって利用者に通知する場所や、走行車線の変更(レーン案内)を利用者に通知する場所などが含まれる。一方、次の分岐点について直進することを利用者に通知する場所や、しばらく道なりに走行することを利用者に知らせる場所などは、これらの利用者にとって重要度の低い案内音声(第2の案内音声)を聞き逃してもそれ程支障はないと考えられるため、これらの場所は重要ポイントには含まれない。
【0027】
周辺状況判定部53は、案内音声を聞いた利用者の周辺状況(周辺環境)を判定する。上述したように、案内音声が聞き取りにくい状況にあるか否は、音声認識処理時のしきい値ThとスコアSとの関係に基づいて判定するこができる。具体的には、音声認識処理部30による音声認識処理が成功したが、しきい値ThとスコアSとの差が所定値(例えば30)未満の場合には、車両のロードノイズや風切り音、雨音などが大きい、あるいは、出力されているオーディオ音が大きいなどの理由から、案内音声が聞き取りにくい状況が生じていると判定される。反対に、しきい値ThとスコアSとの差が所定値(例えば30)以上の場合には、車両のロードノイズや風切り音、雨音などが小さく、出力されているオーディオ音も小さい(あるいは出力されていない)などの理由から、案内音声が聞き取りやすい状況になっていると判定される。
【0028】
オーディオ音量変更部54は、オーディオ音を出力しているTVチューナ処理部14、ラジオチューナ処理部16、AV処理部18のいずれかに対して、オーディオ音の音量低下を指示する。案内音量変更部55は、ナビゲーション処理部10に対して、案内音声の音量増加を指示する。案内出力指示部56は、ナビゲーション処理部10に対して、案内音声の出力を指示する。
【0029】
上述したナビゲーション処理部10が案内音声出力手段に、音声認識処理部30が音声認識処理手段に、オーディオ音量変更部54、案内音量変更部55、案内出力指示部56が案内出力指示手段に、TVチューナ処理部14、ラジオチューナ処理部16、AV処理部18がオーディオ手段にそれぞれ対応する。
【0030】
本実施形態の車載装置1はこのような構成を有しており、次に、その動作を説明する。
図3は、ナビゲーション処理部10から案内音声が出力された後に、利用者によって案内音声の出力が音声によって指示された場合の動作手順を示す流れ図である。
【0031】
まず、音声認識処理部30は、利用者が発声した音声に対して音声認識処理が成功したか否かを判定する(ステップ100)。成功に至らない場合(音声の内容が認識できなかった場合)には否定判断が行われ、この判定が繰り返される。
【0032】
また、音声認識が成功した場合(音声の内容が認識できた場合)にはステップ100の判定において肯定判断が行われる。次に、聞き逃し想到ワード判定部51は、音声認識結果としての音声の内容が聞き逃し想到ワードに一致するか否かを判定する(ステップ102)。例えば、利用者が発声した音声が「なに」、「どこ」、「もう一回」などの特定ワードに一致する場合には肯定判断が行われる。
【0033】
次に、重要ポイント判定部52は、直前にナビゲーション処理部10によって出力された案内音声が重要ポイントに関するものであるか否かを判定する(ステップ104)。重要ポイントに関するものである場合には肯定判断が行われる。
【0034】
次に、オーディオ音量変更部54は、TVチューナ処理部14等に指示を送ってオーディオ音の音量を低下させ、案内音量変更部55は、ナビゲーション処理部10に指示を送って案内音声の音量を増加させた後、案内出力指示部56は、ナビゲーション処理部10に指示を送って案内音声を再出力させる(ステップ106)。
【0035】
案内音声の再出力が終了すると、オーディオ音量変更部54は、TVチューナ処理部14等に指示を送ってオーディオ音の音量を元に戻し、案内音量変更部55は、ナビゲーション処理部10に指示を送って案内音声の音量を元に戻す(ステップ108)。なお、TVチューナ処理部14等からオーディオ音が出力されていない場合にはステップ106、108におけるオーディオ音の音量低下等の指示は省略される。このようにして、一連の案内音声の再出力動作が終了する。
【0036】
また、利用者が発声した音声が「なに」、「どこ」、「もう一回」などの特定ワードに一致しない場合、例えば利用者が「ルート案内」、「ガイダンス」などの音声案内の出力を指示する音声を発声した場合にはステップ102の判定において否定判断が行われる。
【0037】
次に、周辺状況判定部53は、案内音声が聞き取りにくい状況が生じているか否か、具体的には、音声認識処理が成功した際の認識ワードに対応する音声認識処理時のしきい値ThとスコアSとの差が30未満(Th−S<30)か否かを判定する(ステップ110)。30未満の場合には肯定判断が行われ、ステップ104に移行して重要ポイントに関する判定動作以降が繰り返される。
【0038】
また、出力された案内音声が重要ポイントに関するものではなくステップ104の判定において否定判断が行われたとき、あるいは、音声認識処理時のしきい値ThとスコアSとの差が30以上であってステップ110の判定において否定判断が行われると、次に、案内出力指示部56は、ナビゲーション処理部10に指示を送って、前回と同じ条件で(オーディオ音の音量低下や案内音声の音量増加を行うことなく)案内音声を再出力させる(ステップ112)。このようにして、一連の案内音声の再出力動作が終了する。なお、ステップ112では直前に出力された案内音声を再出力するようにしたが、直前の案内音声の出力時点から時間が経過している場合などにおいては、同じ案内音声を再出力するのではなく、別の内容を有する案内音声を出力するようにしてもよい。
【0039】
利用者は、出力された音声案内の内容を聞き逃した場合であって、もう一度聞きたい場合には、「なに」、「どこ」、「もう一回」などの聞き逃しを示す特定ワードの音声を発声することが多い。したがって、本実施形態の車載装置1では、このような特定ワードを予め想定して音声認識結果との間で一致/不一致を判定することにより、案内音声の再出力を希望する利用者の意思を反映させた上で、聞き逃した案内音声の再出力を確実に実施することが可能となる。
【0040】
また、案内音声の音量増加および/またはオーディオ音の音量低下を行った上で案内音声の再出力を行うことにより、案内音声の内容を利用者に確実に伝えることができ、再度の聞き逃しを防止することが可能となる。
【0041】
また、重要度の高い案内音声が再生対象となった場合について、案内音声の音量増加および/またはオーディオ音の音量低下を行うことにより、重要な案内音声についての再度の聞き逃しを確実に防止することが可能となる。
【0042】
また、車両走行時は、ロードノイズや風切音、雨音などの影響により案内音声の内容を聞き逃す機会が増えると考えられるが、このような環境においても、案内音声の再出力を希望する利用者の意思を反映させた上で、聞き逃した音声の再出力を確実に実施することが可能となる。
【0043】
なお、本発明は上記実施形態に限定されるものではなく、本発明の要旨の範囲内において種々の変形実施が可能である。例えば、上述した実施形態では、
図3のステップ104において重要ポイントに関する判定を行ったが、この判定を省略し、重要ポイントに関するものであるか否かにかかわらず、次のステップ106の動作に移行するようにしてもよい。
【0044】
また、上述した実施形態では、ナビゲーション動作中に出力された案内音声を利用者が聞き逃した場合について説明したが、ナビゲーション動作以外において出力される音声(例えば、AV処理部18等の操作内容を示す案内音声や、メール等を受信する動作において受信メールの内容を読み上げる音声など)を再出力する場合に本発明を適用することができる。また、車両に搭載された場合に限定されず、車両の外部において室内あるいは室外で使用される装置から出力される音声について再出力を行う場合についても本発明を適用することができる。