IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本電信電話株式会社の特許一覧
特許7093081学習装置、推定装置、推定方法、およびプログラム
<>
  • 特許-学習装置、推定装置、推定方法、およびプログラム 図1
  • 特許-学習装置、推定装置、推定方法、およびプログラム 図2
  • 特許-学習装置、推定装置、推定方法、およびプログラム 図3
  • 特許-学習装置、推定装置、推定方法、およびプログラム 図4
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-06-21
(45)【発行日】2022-06-29
(54)【発明の名称】学習装置、推定装置、推定方法、およびプログラム
(51)【国際特許分類】
   G10L 13/10 20130101AFI20220622BHJP
   G10L 25/30 20130101ALI20220622BHJP
【FI】
G10L13/10 111F
G10L25/30
【請求項の数】 8
(21)【出願番号】P 2019127181
(22)【出願日】2019-07-08
(65)【公開番号】P2021012315
(43)【公開日】2021-02-04
【審査請求日】2021-09-02
(73)【特許権者】
【識別番号】000004226
【氏名又は名称】日本電信電話株式会社
(73)【特許権者】
【識別番号】304021417
【氏名又は名称】国立大学法人東京工業大学
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】100153017
【弁理士】
【氏名又は名称】大倉 昭人
(72)【発明者】
【氏名】井島 勇祐
(72)【発明者】
【氏名】小林 隆夫
(72)【発明者】
【氏名】郡山 知樹
【審査官】山下 剛史
(56)【参考文献】
【文献】特開2000-310996(JP,A)
【文献】特開2001-350491(JP,A)
【文献】特開2001-265375(JP,A)
【文献】特開2007-11042(JP,A)
【文献】国際公開第2017/046887(WO,A1)
【文献】国際公開第2018/151125(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G10L 13/00-15/34,25/30
(57)【特許請求の範囲】
【請求項1】
音声区間の継続時間長を推定する推定モデルを学習する学習装置であって、
学習用発話情報に含まれる複数の単語を、複数の数値表現データに表現変換する表現変換部と、
複数の前記学習用発話情報および前記複数の数値表現データを用いて、前記継続時間長を推定するためのデータである推定用データを生成する推定用データ生成部と、
前記学習用発話情報における通話シーンを推定し、前記通話シーンが推定されたデータである通話シーン推定データに表現変換する通話シーン推定部と、
複数の前記学習用発話情報および前記通話シーン推定データを用いて、前記継続時間長を推定するためのデータである通話シーンデータを生成する通話シーンデータ生成部と、
前記推定用データ、前記通話シーンデータ、および前記複数の単語の継続時間長を用いて、所定の音声区間の継続時間長を推定する推定モデルを学習する推定モデル学習部と、
を備える、学習装置。
【請求項2】
前記推定用データ生成部は、推定対象となる発話より過去の発話の学習用発話情報に含まれる複数の単語が表現変換された複数の数値表現データを用いて、前記過去の発話に関する第1データを取得し、前記推定対象となる発話の学習用発話情報に含まれる推定対象となる単語が表現変換された数値表現データを用いて、前記推定対象となる発話に関する第2データを取得し、前記第1データおよび前記第2データに基づいて、前記推定用データを生成し、
前記通話シーンデータ生成部は、前記過去の発話の学習用発話情報における通話シーンが推定された通話シーン推定データを用いて、前記過去の発話における通話シーンに関する第3データを取得し、前記推定対象となる発話の学習用発話情報における通話シーンが推定された前記推定対象となる発話における通話シーンに関する第4データを取得し、前記第3データおよび前記第4データに基づいて、前記通話シーンデータを生成する、請求項1に記載の学習装置。
【請求項3】
前記推定用データ生成部は、前記推定対象となる発話の直前の発話の学習用発話情報に含まれる複数の単語の全てが表現変換された複数の数値表現データの統計量を用いて、前記第1データを取得する、請求項2に記載の学習装置。
【請求項4】
前記通話シーンデータ生成部は、前記過去の発話に含まれる複数の発話の学習用発話情報における通話シーンが推定された複数の通話シーン推定データの統計量を用いて、前記第3データを取得する、請求項2に記載の学習装置。
【請求項5】
前記通話シーンデータ生成部は、前記推定対象となる発話の直前の発話の学習用発話情報における通話シーンが推定された通話シーン推定データを用いて、前記第3データを取得する、請求項2に記載の学習装置。
【請求項6】
音声区間の継続時間長を推定する推定装置であって、
請求項1から5のいずれか一項に記載の学習装置と、
前記推定モデル学習部により学習された推定モデルを用いて、ユーザの発話情報に基づいて、前記所定の音声区間の継続時間長を推定する推定部と、
を備える、推定装置。
【請求項7】
音声区間の継続時間長を推定する推定方法であって、
学習用発話情報に含まれる複数の単語を、複数の数値表現データに表現変換するステップと、
複数の前記学習用発話情報および前記複数の数値表現データを用いて、前記継続時間長を推定するためのデータである推定用データを生成するステップと、
前記学習用発話情報における通話シーンを推定し、前記通話シーンが推定されたデータである通話シーン推定データに表現変換するステップと、
複数の前記学習用発話情報および前記通話シーン推定データを用いて、前記継続時間長を推定するためのデータである通話シーンデータを生成するステップと、
前記推定用データ、前記通話シーンデータ、および前記複数の単語の継続時間長を用いて、所定の音声区間の継続時間長を推定する推定モデルを学習するステップと、
前記推定モデルを用いて、ユーザの発話情報に基づいて、前記所定の音声区間の継続時間長を推定するステップと、
を含む、推定方法。
【請求項8】
コンピュータを、請求項1から5のいずれか一項に記載の学習装置として機能させるプログラム。




【発明の詳細な説明】
【技術分野】
【0001】
本発明は、音声区間の継続時間長を推定する学習装置、推定装置、推定方法、およびプログラムに関する。
【背景技術】
【0002】
近年、音声対話システムにおいて、ユーザとのより自然な対話を実現するために、合成音声の品質を高める技術の開発が進められている。合成音声を生成する要素技術の一つとして、テキストなどの情報に基づいて、音声区間(例えば、音素、モーラ、文節、単語)の継続時間長を推定する技術が挙げられる。
【0003】
例えば、非特許文献1および非特許文献2では、対話行為情報(ユーザの意図に相当する情報)などのタグ情報を、合成音声の生成対象となる1つの文章に対して付与し、タグ情報に基づいて、音声区間の継続時間長を推定している。例えば、非特許文献3では、所定の音声区間の継続時間長を、人手により変更している。
【先行技術文献】
【非特許文献】
【0004】
【文献】Tsiakoulis, Pirros, et al. “Dialogue context sensitive HMM-based speech synthesis.” Acoustics, Speech and Signal Processing (ICASSP), 2014 IEEE International Conference on. IEEE, 2014.
【文献】北条伸克, 井島勇祐, 杉山弘晃, 「対話行為情報を表現可能な音声合成の検討」, 人工知能学会全国大会, 2O4-OS-23a-4, June 2016.
【文献】Yu Maeno, Takashi Nose, Takao Kobayashi, Tomoki Koriyama, Yusuke Ijima, Hideharu Nakajima, Hideyuki Mizuno, Osamu Yoshioka. “Prosodic Variation Enhancement Using Unsupervised Context Labeling for HMM-based Expressive Speech Synthesis”, Speech Communication, Elsevier, Vol. 57, No. 3, pp. 144-154, Feb. 2014.
【文献】Tomas Mikolov, Kai Chen, Greg Corrado, Jeffrey Dean, “Efficient estimation of word representations in vector space”, 2013, ICLR
【文献】増村 亮, 田中 智大, 安藤 厚志, 神山 歩相名, 大庭 隆伸, 青野 裕司, "対話コンテキストを考慮したニューラル通話シーン分割", 信学技報, vol.117, 2018.
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、非特許文献1および非特許文献2に開示された技術では、タグ情報を合成音声の生成対象となる1つの文章全てに対して付与しているため、特定の単語の継続時間長が変わるといったことには対応できない。また、非特許文献3に開示された技術では、変更する音声区間を人手で指定する必要があるため、音声対話システムなどのリアルタイム性が求められるシステムでは利用することが難しい。
【0006】
また、従来の技術では、正確な情報伝達が必須ではない項目を考慮して、所定の音声区間の継続時間長を高精度に推定することが困難であった。このため、例えば、コールセンタにおけるオペレータが自動化された音声対話システムにおいて、生成される合成音声の品質が低く、ユーザに対する効率的な応対を実現し難いという問題があった。
【0007】
上記のような問題点に鑑みてなされた本発明の目的は、正確な情報伝達が必須ではない項目を考慮して、所定の音声区間の継続時間長を高精度に推定する学習装置、推定装置、推定方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【0008】
上記課題を解決するため、本発明に係る学習装置は、音声区間の継続時間長を推定する推定モデルを学習する学習装置であって、学習用発話情報に含まれる複数の単語を、複数の数値表現データに表現変換する表現変換部と、複数の前記学習用発話情報および前記複数の数値表現データを用いて、前記継続時間長を推定するためのデータである推定用データを生成する推定用データ生成部と、前記学習用発話情報における通話シーンを推定し、前記通話シーンが推定されたデータである通話シーン推定データに表現変換する通話シーン推定部と、複数の前記学習用発話情報および前記通話シーン推定データを用いて、前記継続時間長を推定するためのデータである通話シーンデータを生成する通話シーンデータ生成部と、前記推定用データ、前記通話シーンデータ、および前記複数の単語の継続時間長を用いて、所定の音声区間の継続時間長を推定する推定モデルを学習する推定モデル学習部と、を備えることを特徴とする。
【0009】
また、上記課題を解決するため、本発明に係る推定装置は、上記学習装置と、前記推定モデル学習部により学習された推定モデルを用いて、ユーザの発話情報に基づいて、前記所定の音声区間の継続時間長を推定する推定部と、を備えることを特徴とする。
【0010】
また、上記課題を解決するため、本発明に係る推定方法は、音声区間の継続時間長を推定する推定方法であって、学習用発話情報に含まれる複数の単語を、複数の数値表現データに表現変換するステップと、複数の前記学習用発話情報および前記複数の数値表現データを用いて、前記継続時間長を推定するためのデータである推定用データを生成するステップと、前記学習用発話情報における通話シーンを推定し、前記通話シーンが推定されたデータである通話シーン推定データに表現変換するステップと、複数の前記学習用発話情報および前記通話シーン推定データを用いて、前記継続時間長を推定するためのデータである通話シーンデータを生成するステップと、前記推定用データ、前記通話シーンデータ、および前記複数の単語の継続時間長を用いて、所定の音声区間の継続時間長を推定する推定モデルを学習するステップと、前記推定モデルを用いて、ユーザの発話情報に基づいて、前記所定の音声区間の継続時間長を推定するステップと、を含むことを特徴とする。
【0011】
また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記の学習装置として機能させることを特徴とする。
【発明の効果】
【0012】
本発明によれば、正確な情報伝達が必須ではない項目を考慮して、所定の音声区間の継続時間長を高精度に推定可能となる。
【図面の簡単な説明】
【0013】
図1】本実施形態に係る推定装置の構成の一例を示す図である。
図2】本実施形態に係る推定方法の一例を示すフローチャートである。
図3】本実施形態に係る音声データの一例を示す図である。
図4】本実施形態に係る単語セグメンテーション情報の一例を示す図である。
【発明を実施するための形態】
【0014】
以下、本発明を実施するための形態について、図面を参照しながら詳細に説明する。
【0015】
図1乃至図4を参照して、本実施形態に係る推定装置100の構成および推定方法について説明する。
【0016】
図1に示すように、推定装置100は、学習装置10と、推定部20と、を備える。学習装置10は、表現変換部11と、推定用データ生成部12と、通話シーン推定部13と、通話シーンデータ生成部14と、推定モデル学習部15と、を備える。
【0017】
推定装置100は、例えば、中央演算処理装置(CPU: Central Processing Unit)、主記憶装置(RAM: Random Access Memory)などを有する公知又は専用のコンピュータに所定のプログラムが読み込まれて構成された装置である。推定装置100は、例えば、中央演算処理装置の制御のもとで各処理を実行する。推定装置100に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて中央演算処理装置へ読み出されて他の処理に利用される。推定装置100の各処理部は、少なくとも一部が集積回路などのハードウェアによって構成されていてもよい。推定装置100が備える各記憶部は、例えば、RAMなどの主記憶装置、または、リレーショナルデータベースやキーバリューストアなどのミドルウェアにより構成することができる。ただし、各記憶部は、必ずしも推定装置100がその内部に備える必要はなく、ハードディスクや光ディスクもしくはフラッシュメモリのような半導体メモリ素子により構成される補助記憶装置により構成し、推定装置100の外部に備える構成としてもよい。
【0018】
推定装置100は、推定モデルを用いて、ユーザ(例えば、オペレータの対話相手となるカスタマ)の発話情報に基づいて、所定の音声区間(例えば、合成音声の生成対象となる1つの文章に含まれる重要な単語、合成音声の生成対象となる1つの文章に含まれる正確な情報伝達が必須ではない項目に分類すべき単語)の継続時間長を推定する。推定モデルは、学習データ(例えば、学習用音声データ、学習用発話情報)から構築されるデータ(例えば、ベクトル)を、推定された音声区間の継続時間長に変換するニューラルネットワークである。ニューラルネットワークとしては、例えば、MLP(Multilayer perceptron)、RNN(Recurrent Neural Network)、RNN-LSTM(Recurrent Neural Network-Long Short Term Memory)、CNN(Convolutional Neural Network)などが挙げられる。なお、音声区間としては、例えば、単語、音素、モーラ、文節などが挙げられるが、本明細書では、音声区間に「単語」を適用する場合を一例に挙げて説明する。
【0019】
音声データは、複数の発話、複数の発話の順序、各発話に付与される通話シーンなどを含むデータである。音声データは、例えば、基本周波数などの音高パラメータ、ケプストラムあるいはメルケプストラムなどのスペクトルパラメータなどの音響特徴量であってよい。
【0020】
図3は、音声データの一例を示す図である。図3に示すように、音声データは、例えば、話者1の発話1~発話N、話者2の発話1~発話N、話者1の発話1~発話Nおよび話者2の発話1~発話Nの順序、話者1の発話1_1,発話1_2,発話1_3と話者2の発話1_1,発話1_2との対話のフェーズを示す通話シーン1、話者1の発話2_1,発話2_2と話者2の発話2_1,発話2_2との対話のフェーズを示す通話シーン2、・・・、話者1の発話N_1,発話N_2と話者2の発話N_1との対話のフェーズを示す通話シーンNなどを含む。なお、音声データは、話者1の発話と話者2の発話とが、必ずしも交互である必要はなく、話者1の発話が連続してもよいし、話者2の発話が連続してもよい。また、1つの通話シーンには、2つ以上の発話が含まれていてもよい。
【0021】
発話情報は、音声データに含まれる発話(例えば、発話1:「今日の天気は?」)に関する情報であり、例えば、発話に含まれる単語(例えば、発話1に含まれる3番目の単語:「天気」)、発話に含まれる単語の発話開始時間および発話終了時間、発話に含まれる音素、発話に含まれるモーラ、発話に含まれる文節、発話に関する音声、発話に関する文章などを含む情報である。
【0022】
通話シーンは、音声データに含まれる各発話に付与される情報である。通話シーンは、例えば、コールセンタにおける“オープニング”、“要件確認”、“本人確認”、“要件対応”、“クロージング”などの項目ごとの対話のフェーズを示している。例えば、通話シーン1は、話者1の発話1_1,発話1_2,発話1_3と話者2の発話1_1,発話1_2との対話のフェーズを示し、話者1の発話1_1,発話1_2,発話1_3および話者2の発話1_1,発話1_2に付与される情報である。例えば、通話シーン2は、話者1の発話2_1,発話2_2と話者2の発話2_1,発話2_2との対話のフェーズを示し、話者1の発話2_1,発話2_2および話者2の発話2_1,発話2_2に付与される情報である。例えば、通話シーンNは、話者1の発話N_1,発話N_2と話者2の発話N_1との対話のフェーズを示し、話者1の発話N_1,発話N_2および話者2の発話N_1に付与される情報である。なお、通話シーンは、各発話に対して、人手で付与されてもよいし、自動で付与されてもよい。
【0023】
図4は、発話に含まれる単語の発話開始時間および発話終了時間の情報(単語セグメンテーション情報)の一例を示す図である。図4に示すように、単語セグメンテーション情報は、例えば、単語が「今日」である場合、発話開始時間が0[ms]、発話終了時間が350[ms]となる。また、単語セグメンテーション情報は、例えば、単語が「の」である場合、発話開始時間は350[ms]、発話終了時間は600[ms]となる。単語セグメンテーション情報は、例えば、単語が「天気」である場合、発話開始時間が600[ms]、発話終了時間は680[ms]となる。単語セグメンテーション情報は、例えば、単語が「は」である場合、発話開始時間が680[ms]、発話終了時間が830[ms]となる。なお、単語セグメンテーション情報は、人手により付与されてもよいし、音声認識器などを用いて自動で付与されてもよい。
【0024】
以下、各部の詳細について説明する。
【0025】
表現変換部11は、学習用発話情報に含まれる複数の単語を、複数の数値表現データに表現変換する(図2に示すステップS201参照)。表現変換部11は、表現変換した複数の数値表現データを、推定用データ生成部12へ出力する。
【0026】
例えば、表現変換部11は、Word2Vecにおける単語-ベクトル変換モデルを用いて、学習用発話情報に含まれる複数の単語を、複数のベクトルwsn(t)に表現変換する。ベクトルwsn(t)は、話者s(1≦s≦2)のn番目(1≦n≦N)の発話に含まれるt番目(1≦t≦Tsn)の単語が表現変換されたベクトルを示している。Nは発話の数、Tsnは話者sのn番目の発話に含まれる単語の数、を示している。例えば、ベクトルw11(t)は、話者1の1番目の発話1に含まれるt番目の単語が表現変換されたベクトルを示している。例えば、ベクトルw22(t)は、話者2の発話2に含まれるt番目の単語が表現変換されたベクトルを示している。なお、Word2Vecの詳細については、例えば下記の文献を参照されたい。
Tomas Mikolov, Kai Chen, Greg Corrado, Jeffrey Dean, “Efficient estimation of word representations in vector space”, 2013, ICLR
【0027】
推定用データ生成部12は、複数の学習用発話情報および表現変換部11から入力される複数の数値表現データを用いて、推定用データを生成する(図2に示すステップS202参照)。推定用データ生成部12は、生成した推定用データを、推定モデル学習部15へ出力する。
【0028】
具体的には、推定用データ生成部12は、推定対象となる発話(例えば、話者2の発話5)より過去の発話(例えば、話者1の発話1~発話5、話者2の発話1~発話4)の学習用発話情報に含まれる複数の単語が表現変換された複数のベクトルを用いて、過去の発話に関するベクトルvpsn(t)(第1データ)を取得する。ベクトルvpsn(t)は、話者s(1≦s≦2)のn番目(1≦n≦N)の発話に関するベクトルを示している。例えば、推定用データ生成部12は、推定対象となる発話(例えば、話者2の発話5)の直前の発話(例えば、話者1の発話5)の学習用発話情報に含まれる複数の単語の全てが表現変換された複数のベクトルの統計量(平均、分散など)を用いて、過去の発話に関するベクトルを取得する。
【0029】
なお、推定用データ生成部12は、過去の発話を任意に選択して、過去の発話に関するベクトルを取得することが可能である。例えば、推定用データ生成部12は、推定対象となる発話の直前の発話のみを選択して、過去の発話に関するベクトルを取得してもよい。例えば、推定用データ生成部12は、推定対象となる発話に時間的に近い過去の発話を複数選択して、過去の発話に関するベクトルを取得してもよい。例えば、推定用データ生成部12は、推定対象となる発話より過去の発話を全て選択して、過去の発話に関するベクトルを取得してもよい。
【0030】
そして、推定用データ生成部12は、推定対象となる発話(例えば、話者2の発話5)の学習用発話情報に含まれる推定対象となる単語(例えば、話者2の発話5に含まれる3番目の単語)が表現変換されたベクトルを用いて、推定対象となる発話に関するベクトルvcsn(t)(第2データ)を取得する。ベクトルvcsn(t)は、話者s(1≦s≦2)のn番目(1≦n≦N)の発話に関するベクトルを示している。
【0031】
なお、推定用データ生成部12は、推定対象となる発話(例えば、話者2の発話5)の学習用発話情報に含まれる推定対象となる単語が表現変換されたベクトルの他、推定対象となる単語に含まれる音素、推定対象となる単語に含まれるモーラなどの継続時間長に関する情報を用いて、推定対象となる発話に関するベクトルを取得してもよい。
【0032】
そして、推定用データ生成部12は、過去の発話に関するベクトルvpsn(t)と、推定対象となる発話に関するベクトルvcsn(t)と、を連結して、推定用ベクトルvsn(t)を生成する。推定用ベクトルvsn(t)は、話者s(1≦s≦2)のn番目(1≦n≦N)の発話に含まれるt番目(1≦t≦Tsn)の単語の継続時間長を推定するためのベクトルを示している。
【0033】
推定用データ生成部12が、推定対象となる発話に関するベクトルvcsn(t)のみならず、過去の発話に関するベクトルvpsn(t)を含めて推定用ベクトルvsn(t)を生成することで、推定対象となる単語の継続時間長の推定精度を高めることができる。
【0034】
通話シーン推定部13は、学習用発話情報における通話シーンを推定し、通話シーン推定データに表現変換する(図2に示すステップS203参照)。通話シーン推定部13は、表現変換した通話シーン推定データを、通話シーンデータ生成部14へ出力する。
【0035】
通話シーン推定部13は、例えば下記の文献に記載の通話シーン分割手法を用いて、通話シーン確率p(n)を取得する。
増村 亮, 田中 智大, 安藤 厚志, 神山 歩相名, 大庭 隆伸, 青野 裕司, "対話コンテキストを考慮したニューラル通話シーン分割", 信学技報, vol.117, 2018.
この文献には、通話全体を人手により設定された複数のシーンに自動分割する通話シーン分割手法に関する技術が記載されている。そして、この技術が、例えば、コールセンタにおけるオペレータの業務支援に応用できることが記載されている。
【0036】
通話シーン分割手法では、各発話を、所定の通話シーン(例えば、“オープニング”、“要件確認”、“本人確認”、“要件対応”、“クロージング”など)に分類するために、通話シーン確率を用いている。この文献では、ニューラルネットワークを用いて通話シーンの分割を行っている。一般的にこれらの手法では、各発話をあらかじめ定めてある通話シーンのいずれかに割り当てる必要がある。一方、本発明では継続時間長推定のための情報として用いるため、必ずしもいずれかの通話シーンに分類する必要はない。そこで、本発明では通話シーン分割手法の途中で得られる情報を各発話の通話シーン確率ps(n)として活用する。通話シーン確率p(n)は、話者s(1≦s≦2)のn番目(1≦n≦N)の発話における通話シーンが推定された通話シーン確率を示している。Nは発話の数を示している。例えば、通話シーン確率p(2)は、話者1の2番目の発話2における通話シーンが推定された通話シーン確率を示している。例えば、通話シーン確率p(2)は、話者2の2番目の発話2における通話シーンが推定された通話シーン確率を示している。
【0037】
通話シーン推定部13は、例えば、通話シーン分割手法により得られた識別モデルの出力である事後確率に基づいて、通話シーン確率p(n)を取得してよい。この場合、通話シーン確率p(n)の次元数は、予め設定される通話シーンの数を示している。あるいは、通話シーン推定部13は、例えば、ニューラルネットワークを用いた通話シーン分割手法において、ニューラルネットワークの中間層の出力であるボトルネック特徴量に基づいて、通話シーン確率p(n)を取得してよい。この場合、通話シーン確率p(n)の次元数は、予め設定されるニューラルネットワークの中間層のユニットの数を示している。
【0038】
通話シーンデータ生成部14は、複数の学習用発話情報および通話シーン推定部13から入力される通話シーン推定データを用いて、通話シーンデータを生成する(図2に示すステップS204参照)。通話シーンデータ生成部14は、生成した通話シーンデータを、推定モデル学習部15へ出力する。
【0039】
具体的には、通話シーンデータ生成部14は、推定対象となる発話(例えば、話者2の発話5)より過去の発話(例えば、話者1の発話1~発話5、話者2の発話1~発話4)の学習用発話情報における通話シーンが推定された通話シーン確率を用いて、過去の発話の通話シーンに関する通話シーンベクトルvp(n)(第3データ)を取得する。通話シーンベクトルvp(n)は、話者s(1≦s≦2)のn番目(1≦n≦N)の発話における通話シーンに関する通話シーンベクトルを示している。
【0040】
例えば、通話シーンデータ生成部14は、推定対象となる発話(例えば、話者2の発話5)より過去の発話(例えば、話者1の発話1~発話5、話者2の発話1~発話4)に含まれる複数の発話(例えば、話者2の発話4、話者1の発話5)の学習用発話情報における通話シーンが推定された複数の通話シーン確率の統計量(平均、最大値など)を用いて、過去の発話における通話シーンに関する通話シーンベクトルを取得する。
【0041】
例えば、通話シーンデータ生成部14は、推定対象となる発話(例えば、話者2の発話5)の直前の発話(例えば、話者1の発話5)の学習用発話情報における通話シーンが推定された通話シーン確率を用いて、過去の発話における通話シーンに関する通話シーンベクトルを取得する。通話シーンデータ生成部14は、推定対象となる発話の直前の発話を選択することで、過去の発話における通話シーンに関する通話シーンベクトルを簡易に取得することができる。
【0042】
なお、通話シーンデータ生成部14は、推定対象となる発話より過去の発話を任意に選択して、過去の発話における通話シーンに関する通話シーンベクトルを取得することが可能である。例えば、通話シーンデータ生成部14は、推定対象となる発話の直前の発話のみを選択して、過去の発話における通話シーンに関する通話シーンベクトルを取得してもよい。例えば、通話シーンデータ生成部14は、推定対象となる発話に時間的に近い過去の発話を複数選択して、過去の発話における通話シーンに関する通話シーンベクトルを取得してもよい。例えば、通話シーンデータ生成部14は、推定対象となる発話より過去の発話を全て選択して、過去の発話における通話シーンに関する通話シーンベクトルを取得してもよい。
【0043】
そして、通話シーンデータ生成部14は、推定対象となる発話(例えば、話者2の発話5)の学習用発話情報における通話シーンが推定された推定対象となる発話における通話シーンに関する通話シーン確率(第4データ)を取得する。
【0044】
そして、通話シーンデータ生成部14は、過去の発話における通話シーンに関する通話シーンベクトルvp(n)と、推定対象となる発話における通話シーンに関する通話シーン確率p(n)と、を連結して、通話シーンベクトルvs(n)を生成する。通話シーンベクトルvs(n)は、話者s(1≦s≦2)のn番目(1≦n≦N)の発話における通話シーンに関する通話シーンベクトルを示している。
【0045】
通話シーンデータ生成部14が、推定対象となる発話における通話シーンに関する通話シーン確率p(n)のみならず、過去の発話における通話シーンに関する通話シーンベクトルvp(n)を含めて通話シーンベクトルvs(n)を生成することで、正確な情報伝達が必須ではない項目を考慮しつつ、推定対象となる単語の継続時間長の推定精度を高めることができる。
【0046】
【0047】
【数1】
【0048】
推定モデルは、例えば、MLP、RNN、RNN-LSTM、CNNなどのニューラルネットワーク、あるいは、これらを組み合わせたニューラルネットワークである。例えば、推定モデルが、RNN-LSTMなどのような時系列を考慮したニューラルネットワークである場合、推定モデル学習部15は、過去の発話を考慮した学習を行い易くなるため、推定対象となる単語の継続時間長の推定精度を高めることができる。
【0049】
推定モデル学習部15は、例えば、図4に示すような単語セグメンテーション情報に基づいて、学習用発話情報に含まれる複数の単語の継続時間長dを取得する。例えば、単語が「今日」であれば、「今日」の継続時間長dは、350[ms]である。また、例えば、単語が「の」であれば、「の」の継続時間長dは、250[ms]である。また、例えば、単語が「天気」であれば、「天気」の継続時間長dは、80[ms]である。また、例えば、単語が「は」であれば、「は」の継続時間長dは、150[ms]である。
【0050】
推定部20は、学習装置10が学習した推定モデルを用いて、ユーザの発話情報に基づいて、所定の単語の継続時間長を推定する(図2に示すステップS206参照)。そして、推定部20は、推定した所定の単語の継続時間長を、音声合成部(不図示)へ出力する。所定の単語とは、音声合成部が合成音声を生成する際、合成音声の生成対象となる1つの文章に含まれる単語であればよく、例えば、重要な単語、繰り返される単語、正確な情報伝達が必須ではない項目に分類すべき単語などである。なお、音声合成部の構成は、特に限定されるものではない。
【0051】
本実施形態に係る推定装置100によれば、推定モデルを用いて、ユーザの発話情報に基づいて、所定の音声区間の継続時間長を推定する。これにより、正確な情報伝達が必須ではない項目を考慮して、所定の音声区間の継続時間長を高精度に推定することができる。
【0052】
また、本実施形態に係る推定装置100によれば、推定用データ生成部12が、過去の発話などを考慮して、推定用データを生成する。これにより、重要な情報を繰り返す復唱などの事象に対しても、所定の音声区間の継続時間長を高精度に推定することができる。
【0053】
また、本実施形態に係る推定装置100を、音声対話システムに適用することで、例えば、重要な単語を強調した合成音声、正確な情報伝達が必須ではない項目に分類すべき単語の発話速度を他の単語より速くした合成音声など、正確な情報伝達が必須ではない項目が考慮された適切な音声区間の継続時間長を有する合成音声(高品質な合成音声)を生成することができる。
【0054】
つまり、人間のオペレータが、正確な情報伝達が必須でない項目に対応する文章の発話速度を、正確な情報伝達が必須である項目に対応する文章の発話速度より速くすることで、ユーザへの対応時間を削減し、低コスト化を図っているのと同様に、オペレータが自動化された音声対話システムにおいて、正確な情報伝達が必須でない項目に対応する文章の発話速度を、正確な情報伝達が必須である項目に対応する文章の発話速度より速くした合成音声を生成することで、ユーザへの対応時間を削減し、低コスト化を図ることができる。これにより、コールセンタにおけるオペレータが自動化された音声対話システムにおいて、生成される合成音声の品質を高め、ユーザに対する効率的な応対を実現することが可能となる。
【0055】
<推定方法>
次に、図2を参照して、本実施形態に係る推定方法について説明する。図2は、推定方法の一例を示すフローチャートである。
【0056】
ステップS201において、表現変換部11は、学習用発話情報に含まれる複数の単語を、複数の数値表現データ(例えば、複数のベクトルwsn(t))に表現変換する。
【0057】
ステップS202において、推定用データ生成部12は、複数の学習用発話情報および表現変換部11から入力される複数の数値表現データを用いて、推定用データ(例えば、推定用ベクトルvsn(t))を生成する。
【0058】
ステップS203において、通話シーン推定部13は、学習用発話情報における通話シーンを推定し、通話シーン推定データ(例えば、通話シーン確率p(n))に表現変換する。
【0059】
ステップS204において、通話シーンデータ生成部14は、複数の学習用発話情報および通話シーン推定部13から入力される通話シーン推定データを用いて、通話シーンデータ(例えば、通話シーンベクトルvs(n))を生成する。
【0060】
ステップS205において、推定モデル学習部15は、推定用データ、通話シーンデータ、および学習用発話情報に含まれる複数の単語の継続時間長を用いて、推定モデルを学習する。
【0061】
ステップS206において、推定部20は、学習装置10が学習した推定モデルを用いて、ユーザの発話情報に基づいて、所定の単語の継続時間長を推定する。
【0062】
上述の推定方法を、例えば、コールセンタにおけるオペレータが自動化された音声対話システムに適用することで、生成される合成音声の品質を高め、ユーザに対する効率的な応対を実現することが可能となる。
【0063】
なお、上述の各フローチャートはあくまで一例であり、各フローチャートにおいて、一部のステップの順序が入れ替わってもよいし、各フローチャートにおいて、一部のステップを省略してもよい。また、複数のステップを並行して(同時に)行ってもよい。
【0064】
<変形例>
本実施形態では、図1に示す推定装置100においては、学習装置10と推定部20とを分けて記載しているが、学習装置10と推定部20とは一体的に形成されていてもよい。したがって、推定部20が、学習装置10が備える各部を備えていてもよい。
【0065】
<その他の変形例>
本発明は上記の実施形態および変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
【0066】
また、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態のフローチャートに記載の各工程の順序は、上記に限定されず適宜変更可能である。また、複数の工程を1つに組み合わせたり、あるいは1つの工程を分割したりすることが可能である。
【0067】
<プログラムおよび記録媒体>
また、上記の実施形態および変形例で説明した各装置における各種の処理機能をコンピュータによって実現してもよい。その場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させてもよい。
【0068】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶部に格納する。そして、処理の実行時、このコンピュータは、自己の記憶部に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実施形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよい。さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP(Application Service Provider)型のサービスによって、上述の処理を実行する構成としてもよい。なお、プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの(コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等)を含むものとする。また、コンピュータ上で所定のプログラムを実行させることにより、各装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【0069】
上述の実施形態は代表的な例として説明したが、本発明の趣旨および範囲内で、多くの変更および置換が可能であることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形および変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを1つに組み合わせたり、あるいは1つの構成ブロックを分割したりすることが可能である。
【符号の説明】
【0070】
10 学習装置
11 表現変換部
12 推定用データ生成部
13 通話シーン推定部
14 通話シーンデータ生成部
15 推定モデル学習部
20 推定部
100 推定装置
図1
図2
図3
図4