特許 6794064 モデル学習装置、音声区間検出装置、それらの方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6794064

(24)【登録日】2020年11月13日

(45)【発行日】2020年12月2日

(54)【発明の名称】モデル学習装置、音声区間検出装置、それらの方法およびプログラム

(51)【国際特許分類】

   G10L 25/78 20130101AFI20201119BHJP

   G10L 15/04 20130101ALI20201119BHJP

【ＦＩ】

   G10L25/78

   G10L15/04 300Z

【請求項の数】8

【全頁数】15

(21)【出願番号】特願2017-159288(P2017-159288)

(22)【出願日】2017年8月22日

(65)【公開番号】特開2019-39946(P2019-39946A)

(43)【公開日】2019年3月14日

【審査請求日】2019年8月26日

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(74)【代理人】

【識別番号】100121706

【弁理士】

【氏名又は名称】中尾 直樹

(74)【代理人】

【識別番号】100128705

【弁理士】

【氏名又は名称】中村 幸雄

(74)【代理人】

【識別番号】100147773

【弁理士】

【氏名又は名称】義村 宗洋

(72)【発明者】

【氏名】松井 清彰

(72)【発明者】

【氏名】岡本 学

(72)【発明者】

【氏名】山口 義和

(72)【発明者】

【氏名】浅見 太一

(72)【発明者】

【氏名】福冨 隆朗

(72)【発明者】

【氏名】森谷 崇史

【審査官】 大野 弘

(56)【参考文献】

【文献】 特開２００９−０６３７００（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ１０Ｌ ２５／７８

Ｇ１０Ｌ １５／０４

(57)【特許請求の範囲】

【請求項1】

音響信号の各時間区間の音声尤度に対応する音声尤度系列と、前記音響信号の音声状態および非音声状態についての各時間区間での状態遷移の正解値の系列と、の組を含む学習データを用い、入力音響信号の各時間区間の音声尤度に対応する入力音声尤度系列を入力として前記入力音響信号の音声状態および非音声状態についての各時間区間での状態遷移の推定結果を得る状態遷移モデルを学習するモデル学習装置。

【請求項2】

請求項１のモデル学習装置であって、
前記状態遷移は、音声状態から音声状態への状態遷移、非音声状態から非音声状態への状態遷移、音声状態から非音声状態への状態遷移、および非音声状態から音声状態への状態遷移の何れかである、モデル学習装置。

【請求項3】

入力音響信号の各時間区間の音声尤度に対応する入力音声尤度系列を入力として前記入力音響信号の音声状態および非音声状態についての各時間区間での状態遷移の推定結果を得る状態遷移モデルを記憶する記憶部と、
前記入力音響信号の各時間区間の音声尤度に対応する入力音声尤度系列を前記状態遷移モデルに適用し、前記入力音響信号の音声状態および非音声状態についての各時間区間での状態遷移の推定結果を得て出力する推定部と、
を有する音声区間検出装置。

【請求項4】

入力音響信号の各時間区間の音声尤度に対応する入力音声尤度系列を入力として前記入力音響信号の音声状態および非音声状態についての各時間区間での状態遷移の推定結果を得る複数の状態遷移モデルを記憶する記憶部と、
前記入力音響信号の各時間区間の音声尤度に対応する入力音声尤度系列を複数の前記状態遷移モデルに適用し、複数の前記状態遷移モデルのそれぞれについて、前記入力音響信号の音声状態および非音声状態についての各時間区間での状態遷移の推定結果を得て出力する推定部と、
前記推定部から出力された状態遷移の推定結果に対応する結果のうち、各時間区間において最も確からしい結果を選択する後処理部と、
を有する音声区間検出装置。

【請求項5】

音響信号の各時間区間の音声尤度に対応する音声尤度系列と、前記音響信号の音声状態および非音声状態についての各時間区間での状態遷移の正解値の系列と、の組を含む学習データを用い、入力音響信号の各時間区間の音声尤度に対応する入力音声尤度系列を入力として前記入力音響信号の音声状態および非音声状態についての各時間区間での状態遷移の推定結果を得る状態遷移モデルを学習するモデル学習装置のモデル学習方法。

【請求項6】

入力音響信号の各時間区間の音声尤度に対応する入力音声尤度系列を入力として前記入力音響信号の音声状態および非音声状態についての各時間区間での状態遷移の推定結果を得る状態遷移モデルに、前記入力音響信号の各時間区間の音声尤度に対応する入力音声尤度系列を適用し、前記入力音響信号の音声状態および非音声状態についての各時間区間での状態遷移の推定結果を得て出力する音声区間検出装置の音声区間検出方法。

【請求項7】

入力音響信号の各時間区間の音声尤度に対応する入力音声尤度系列を入力として前記入力音響信号の音声状態および非音声状態についての各時間区間での状態遷移の推定結果を得る複数の状態遷移モデルに、前記入力音響信号の各時間区間の音声尤度に対応する入力音声尤度系列を適用し、複数の前記状態遷移モデルのそれぞれについて、前記入力音響信号の音声状態および非音声状態についての各時間区間での状態遷移の推定結果を得、当該状態遷移の推定結果に対応する結果のうち、各時間区間において最も確からしい結果を選択する、音声区間検出装置の音声区間検出方法。

【請求項8】

請求項１もしくは２のモデル学習装置、または、請求項３もしくは４の音声区間検出装置としてコンピュータを機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は音声区間検出技術に関する。

【背景技術】

【0002】

音声区間検出技術の一つにＶＡＤ（voice activity detection）と呼ばれる手法がある（例えば、非特許文献１等参照）。ＶＡＤでは、音の強さや振動の激しさ（ゼロ交差数）、音響特徴量等を用いて音声区間を行っている。しかし、ＶＡＤには、子音や単語と単語の間の短いポーズ等を非音声区間と判定し、細切れの音声区間を検出してしまうという問題がある。これに対処するため、ハングオーバーという手法が用いられている（例えば、非特許文献１等参照）。これは、ＶＡＤで得られた２つの音声区間の間の非音声区間のフレーム数が閾値よりも短い場合に、これら２つの音声区間を一続きの音声区間とみなす手法である。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】ITU, “A silence compression scheme for G.729 optimized for terminals conforming to recommendation V.70,” ITUT/Recommendation G.729-Annex B. 1996.

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、ハングオーバーを用いた従来手法は柔軟性が低い。すなわち、ＶＡＤで得られる２つの音声区間の間の非音声区間の長さは、発話タスクやドメインなどの場面によって異なる。そのため、想定される場面ごとに最適な閾値を人手で設定しなければならない。また、同一の場面においても、理想的には、発話ごとに適切な閾値を与えるべきである。しかし、従来手法はそのような柔軟性を持たない。

【0005】

本発明はこのような点に鑑みてなされたものであり、音声区間検出における柔軟性を向上させることを目的とする。

【課題を解決するための手段】

【0006】

入力音響信号の各時間区間の音声尤度に対応する入力音声尤度系列を入力として入力音響信号の音声状態および非音声状態についての各時間区間での状態遷移の推定結果を得る状態遷移モデルに、入力音響信号の各時間区間の音声尤度に対応する入力音声尤度系列を適用し、入力音響信号の音声状態および非音声状態についての各時間区間での状態遷移の推定結果を得て出力する。

【発明の効果】

【0007】

本発明では、音声区間検出における柔軟性を向上させることができる。

【図面の簡単な説明】

【0008】

【図1】図１Ａは実施形態のモデル学習装置の機能構成を示すブロック図である。図１Ｂは実施形態の音声検出装置の機能構成を示すブロック図である。

【図2】図２は実施形態の状態遷移モデルの状態遷移図である。

【図3】図３Ａおよび図３Ｂは音響信号を例示した図である。図３ＣはＶＡＤによって検出した音声区間および非音声区間の例示である。図３Ｄは実施形態の手法によって検出した音声区間および非音声区間の例示である。

【図4】図４Ａは複数の発話区間を有する音響信号を例示した図である。図４Ｂは実施形態の手法によって検出した音声区間および非音声区間の例示である。

【発明を実施するための形態】

【0009】

以下、本発明の実施形態を説明する。
［概要］
まず、各実施形態の概要を説明する。各実施形態では、入力音響信号の各時間区間の音声尤度に対応する入力音声尤度系列を状態遷移モデルに適用し、当該入力音響信号の音声状態および非音声状態についての各時間区間での状態遷移の推定結果を得て出力する。「状態遷移モデル」は、入力音響信号の各時間区間の音声尤度に対応する入力音声尤度系列を入力として、当該入力音響信号の音声状態および非音声状態についての各時間区間での状態遷移の推定結果を得るモデルである。この状態遷移モデルは、入力音声尤度系列に対する実際の音声区間および非音声区間の遷移（すなわち、実際の音声区間および非音声区間の表れ方）をモデル化したものである。そのため、この状態遷移モデルに入力音声尤度系列を適用することで、たとえ入力音声尤度系列が子音や短いポーズ等の時間区間を表していたとしても、それが非音声区間ではなく、音声区間の一部であることを適切に推定できる。これにより、子音や短いポーズ等を非音声区間と判定し、細切れの音声区間を検出してしまうという問題を解決できる。また、状態遷移モデルの生成は、多様な入力音声尤度系列に適用できるため、ハングオーバーに比べて柔軟性が高い。特に、本形態の状態遷移モデルは、入力音声尤度系列を入力として音声区間および非音声区間の遷移を推定する。入力音声尤度系列は、環境に応じて変動が激しい入力音響信号を、それよりも変動の小さい音声尤度に対応する系列に集約したものである。そのため、本形態の状態遷移モデルは、多様な環境に柔軟に対応し、精度の高い推定を可能にする。以上のように、各実施形態の手法では、従来に比べ、音声区間検出における柔軟性を向上させることができる。状態遷移モデルの生成は、学習データを用いた機械学習によって可能であり、閾値を人手で設定するハングオーバーに比べてチューニングコストが低い。

【0010】

なお、「入力音響信号」は複数の所定の時間区間（例えば、フレーム、サブフレームなど）ごとに区分された時系列のデジタル音響信号である。時間区間の「音声尤度」は、当該時間区間が音声区間である尤度（尤もらしさ）を表す。「音声尤度」は、当該時間区間が音声区間である尤度をそのまま示してもよいし、当該時間区間が非音声区間である尤度を示すことで間接的に音声区間である尤度を表していてもよい。「入力音声尤度系列」は、各時間区間の「音声尤度」に対応する値の時系列である。「入力音声尤度系列」は、各時間区間の「音声尤度」の時系列であってもよいし、各時間区間の「音声尤度」を表す値の時系列であってもよい。「音声尤度」を表す値は、連続値であってもよいし、バイナリ値であってもよい。例えば、「音声尤度」を表す値は、「音声尤度」の関数値であってもよいし、「音声尤度」を用いて閾値判定されたバイナリ値であってもよい。しかし、推定精度の観点から、「入力音声尤度系列」は、各時間区間の「音声尤度」の時系列または連続値である「音声尤度」を表す値の時系列であることが望ましい。音声状態および非音声状態についての各時間区間での「状態遷移」は、例えば、音声状態から音声状態への状態遷移、非音声状態から非音声状態への状態遷移、音声状態から非音声状態への状態遷移、および非音声状態から音声状態への状態遷移の何れかである。ただし、音声状態から音声状態への状態遷移は、音声状態が持続されること、すなわち「音声状態」を意味する。同様に、非音声状態から非音声状態への状態遷移は、非音声状態が持続されること、すなわち「非音声状態」を意味する。入力音声尤度系列を状態遷移モデルに適用して得られる状態遷移の推定結果は、各状態遷移の尤度であってもよいし、各状態遷移の尤度の関数値であってもよいし、各状態遷移の尤度を比較して得られた値（例えば、最も尤度の高い状態遷移）であってもよい。状態遷移モデルの学習は、音響信号の各時間区間の音声尤度に対応する音声尤度系列と、当該音響信号の音声状態および非音声状態についての各時間区間での状態遷移の正解値の系列と、の組を含む学習データを用いて行われる。この学習データでは、音声尤度系列の各時間区間の要素（例えば、音声尤度）と当該各時間区間での状態遷移の正解値とが互いに対応付けられている。例えば、音声尤度系列の各時間区間の要素と当該各時間区間での状態遷移の正解値とが当該時間区間を表す識別子に対応付けられている。通常、学習データは複数の音響信号についての音声尤度系列と状態遷移の正解値の系列との組を含む。すなわち、学習データは音声尤度系列と状態遷移の正解値の系列との組を複数組含む。しかし、学習データが１個の音響信号についての音声尤度系列と状態遷移の正解値の系列との組のみを含んでもよい。「音響信号」は複数の所定の時間区間（例えば、フレーム、サブフレームなど）ごとに区分された時系列のデジタル音響信号である。学習データの音声尤度系列は、想定される入力音声尤度系列と同一である必要はないが、同じ種別である必要がある。例えば、想定される入力音声尤度系列が各時間区間の音声尤度の時系列であるならば、学習データの音声尤度系列も各時間区間の音声尤度の時系列である必要がある。

【0011】

［第１実施形態］
第１実施形態を説明する。
＜モデル学習装置１１＞
まず本形態のモデル学習装置１１について説明する。図１Ａに例示するように、本形態のモデル学習装置１１は、学習データ１１１ａを記憶する記憶部１１１、および状態遷移モデル１２３ａを学習する学習部１１２を有する。

【0012】

学習データ１１１ａは、音響信号の各時間区間の音声尤度に対応する音声尤度系列と、当該音響信号の音声状態および非音声状態についての各時間区間での状態遷移の正解値の系列と、の組を含む。学習部１１２は、記憶部１１１から読み出した学習データ１１１ａを用い、入力音響信号の各時間区間の音声尤度に対応する入力音声尤度系列を入力として入力音響信号の音声状態および非音声状態についての各時間区間での状態遷移の推定結果を得る状態遷移モデル１２３ａを得て出力する。本形態の状態遷移は、音声状態から音声状態への状態遷移、非音声状態から非音声状態への状態遷移、音声状態から非音声状態への状態遷移、および非音声状態から音声状態への状態遷移の何れかである。

【0013】

学習データ１１１ａが含む各時間区間の音声尤度系列は、学習データ用の音響信号から音響情報や分析情報を抽出し、それらに公知のＶＡＤを適用することで得られる（例えば、非特許文献１等参照）。ＶＡＤに用いる音響情報や分析情報としては、例えば、音のパワーの変化、波形の一定時間当たりのゼロ交差数、音響特徴量の特性の変化等、およびそれらの組み合わせが例示できる。学習データ用の音響信号は、所定の時間区間ごとに区分された時系列のデジタル音響信号である。学習データ用の音響信号は、マイクロホン等で観測されたアナログ音響信号を所定のサンプリング周波数でＡＤ変換したものであってもよいし、予め作成された任意のデジタル音響信号であってもよい。音声尤度系列の例は前述の通りであり、学習データ用の音響信号の各時間区間に対して得られた値の時系列である。音声尤度系列が各時間区間の音声尤度または音声尤度を表す連続値の系列の場合、音声尤度系列は例えば０．１，０．５，…，０．８のようになる。音声尤度系列が各時間区間の音声尤度を表すバイナリ値の系列の場合、音声尤度系列は例えば０，０，０，１…，１，０のようになる。

【0014】

学習データ１１１ａが含む状態遷移の正解値の系列は、上述の学習データ用の音響信号から得られた音声尤度系列（以下「学習データ用の音声尤度系列」という）の各時間区間に、音声状態および非音声状態についての状態遷移の正解値を付与することで得られる。この状態遷移の正解値について詳細に説明する。例えば「今日は、いい天気です」と読み上げられる場合を想定する。この際、図３Ａのように主部（今日は）と述部（いい天気です）とが続けて読み上げられた場合であっても、図３Ｂのように間隔をあけて主部と述部が読み上げられた場合であっても、その入力音響信号に対応する入力音声尤度系列から「今日は、いい天気です」全体を１つの真の音声区間として推定することを目指す。すなわち、図３Ｂのように間隔をあけて主部と述部を読み上げた場合、それに対応する入力音声尤度系列は「今日は」と「いい天気です」との間に短い非音声区間を持つことを表す系列となる。例えば、入力音声尤度系列が音声区間と非音声区間とを表すバイナリ系列である場合、この入力音声尤度系列は「今日は」と「いい天気です」との間に非音声区間の時間区間を持つ系列となる（図３Ｃ）。本形態では、このように音声区間に挟まれた短い非音声区間による音声尤度の振動を吸収した真の音声区間を適切に推定する。逆に、非音声区間の間に突発的な雑音などが混入した場合であっても、それによる音声尤度の振動を吸収した真の非音声区間を適切に推定する。なお、「真の音声区間」とは、１つの発話区間において最初に音声が観測されてから、最後の音声が観測されなくなるまでの時間区間を意味する。「真の非音声区間」とは真の音声区間以外の時間区間を意味する。「発話区間」とは、「今日は、いい天気です」のように、まとまりのある発話が行われた時間区間を意味する。また「発話開始」とは「発話区間」の開始を意味し、「発話終了」とは「発話区間」の終了を意味する。

【0015】

このような推定を行うため、入力音声尤度系列を入力として入力音響信号の音声状態および非音声状態についての各時間区間での状態遷移の推定結果を得る状態遷移モデル１２３ａを学習する。本形態では、非音声状態から音声状態への状態遷移（始端遷移状態）、および、音声状態から非音声状態への状態遷移（終端遷移状態）を強調するため、音声状態および非音声状態だけではなく、始端遷移状態および終端遷移状態にもそれぞれに特別なラベルを割り当てる。例えば、各状態遷移に以下のようなラベルを割り当てる。
ラベル“０”：非音声状態から非音声状態への状態遷移（非音声状態）
ラベル“１”：音声状態から音声状態への状態遷移（音声状態）
ラベル“２”：非音声状態から音声状態への状態遷移（始端遷移状態）
ラベル“３”：音声状態から非音声状態への状態遷移（終端遷移状態）
なお、音声状態とは真の音声区間に対応する状態であり、非音声状態とは真の非音声区間に対応する状態である。

【0016】

図２に、このようなラベルが与えられた場合の状態遷移モデル１２３ａの状態遷移図を示す。この状態遷移モデル１２３ａは、入力音声尤度系列を入力として、非音声状態および音声状態をループしつつ、非音声状態、音声状態、始端遷移状態、および終端遷移状態の際にそれぞれに対応するラベルの尤度を出力する。この場合、学習データのパターンは、学習データ用の音声尤度系列に対応する時間区間が、
（１）真の音声区間を含むか、
（２）真の音声区間とその直前の真の非音声区間とを含むか、
（３）真の音声区間とその直後の真の非音声区間とを含むか、
によって細分化できる。

【0017】

パターン１：学習データ用の音声尤度系列に対応する時間区間が、真の音声区間ならびにその直前および直後の真の非音声区間を含む場合
これは最も一般的なパターンである。この場合、学習データ用の音声尤度系列に対応する各時間区間に以下のラベルが与えられる。
・発話開始から非音声状態の終端までの時間区間：非音声状態“０”
・非音声状態の終端から音声状態へ遷移する時間区間：始端遷移状態“２”
・音声状態の始端から終端の時間区間：音声区間“１”
・音声状態の終端から非音声状態へ遷移する時間区間：終端遷移状態“３”
・非音声状態の始端（発話終了）から終端（次の発話開始）までの時間区間：非音声状態“０”
すなわち、当該音声尤度系列に対応する各時間区間での状態遷移の正解値の系列は０，…，０，２，１，…，１，３，０，…，０となる。例えば、図３Ａのように主部と述部とが続けて読み上げられた場合であっても、図３Ｂのように間隔をあけて主部と述部が読み上げられた場合であっても、各時間区間での状態遷移の正解値の系列（ラベルの系列）は、ともに図３Ｄに例示するように０，…，０，２，１，…，１，３，０，…，０となる。なお、通常、始端遷移状態の時間区間が２つ以上連続することはなく、終端遷移状態の時間区間も２つ以上連続することはない。しかし、これらの時間区間が２つ以上連続してもよい。

【0018】

パターン２：学習データ用の音声尤度系列に対応する時間区間が、真の音声区間およびその直後の真の非音声区間を含むが当該音声区間直前の非音声区間を含まない場合
この場合、先頭の時間区間が始端遷移状態の時間区間とみなされる。すなわち、学習データ用の音声尤度系列に対応する各時間区間に以下のラベルが与えられる。
・先頭の時間区間：始端遷移状態“２”
・次の時間区間から音声状態の終端までの時間区間：音声区間“１”
・音声状態の終端から非音声状態へ遷移する時間区間：終端遷移状態“３”
・非音声状態の始端（発話終了）から終端（次の発話開始）までの時間区間：非音声状態“０”
すなわち、当該音声尤度系列に対応する各時間区間での状態遷移の正解値の系列は２，１，…，１，３，０，…，０となる。

【0019】

パターン３：学習データ用の音声尤度系列に対応する時間区間が、真の音声区間およびその直前の真の非音声区間を含むが当該音声区間直後の非音声区間を含まない場合
この場合、最終の時間区間が終端遷移状態の時間区間とみなされる。すなわち、学習データ用の音声尤度系列に対応する各時間区間に以下のラベルが与えられる。
・発話開始から非音声状態の終端までの時間区間：非音声状態“０”
・非音声状態の終端から音声状態へ遷移する時間区間：始端遷移状態“２”
・音声状態の始端から最終の時間区間直前までの時間区間：音声区間“１”
・最終の時間区間：終端遷移状態“３”
すなわち、当該音声尤度系列に対応する各時間区間での状態遷移の正解値の系列は０，…，０，２，１，…，１，３となる。

【0020】

パターン４：学習データ用の音声尤度系列に対応する時間区間が、真の音声区間を含むがその前後に非音声区間を含まない場合
学習データ用の音声尤度系列に対応する時間区間が全て真の音声区間の場合である。この場合、当該音声尤度系列に対応する各時間区間に以下のラベルが与えられる。
・先頭から最終までの時間区間：音声区間“１”
すなわち、当該音声尤度系列に対応する各時間区間での状態遷移の正解値の系列は１，…，１となる。

【0021】

パターン５：音声尤度系列に対応する時間区間が真の音声区間を含まない場合
この場合、音声尤度系列に対応する各時間区間に以下のラベルが与えられる。
・先頭から最終までの時間区間：音声区間“０”
すなわち、当該音声尤度系列に対応する各時間区間での状態遷移の正解値の系列は０，…，０となる。

【0022】

なお、学習データ１１１ａは、上記のパターン１から５のすべての状態遷移の正解値の系列を含んでいてもよいし、それらの一部の状態遷移の正解値の系列のみを含んでいてもよい。また、音声尤度系列に対応する時間区間が複数の真の音声区間を含んでいてもよい。この場合の学習データ１１１ａは、上記のパターン１から５の状態遷移の正解値の系列の組み合わせからなる。例えば，図４Ａおよび図４Ｂに例示するように、１つ目の真の音声区間Ｉの前後に真の非音声区間を含み、２つ目の音声区間ＩＩの後に非音声区間が存在しない場合、学習データ１１１ａは、１つ目の真の音声区間Ｉの音声尤度系列とそれに対応するパターン１の状態遷移の正解値の系列０，…，０，２，１，…，１，３，０，…，０との組、および、２つ目の真の音声区間Ｉの音声尤度系列とそれに対応するパターン１の状態遷移の正解値の系列０，…，０，２，１，…，１，３との組、を含む。

【0023】

上述したラベルの付与は、学習データ用の音響信号の各時間区間が音声区間であるか非音声区間であるかだけではなく、学習データ用の音響信号の発話区間としての音声区間および非音声区間（各発話区間に紐付けられた音声区間および非音声区間）に基づいて行う必要がある。このようなラベルの付与には様々な方法が考えられる。第１の方法は、人間が学習データ用の音響信号に含まれる一つ一つの発話を視聴し、波形を観測して正確なラベルを付与するものである。第２の方法は、公知の認識用のデコーダを利用することにより、自動的に上記のラベルを付与する方法である。しかし、第２の方法では一部の学習データにおいて誤ったラベルを付与してしまう場合がある。このような場合であっても、学習データ全体として正しくラベルが付与される頻度が高ければ大きな問題はない。第３の方法は、初めに上述のデコーダでラベルを付与した後、人手で誤りをチェックする折衷案である。

【0024】

学習部１１２は、上述のように生成した学習データ１１１ａを用い、図２の状態遷移図で表される状態遷移モデル１２３ａを学習する。この状態遷移モデル１２３ａは、公知の手法（例えば、参考文献１：Hochreiter, S., & Schmidhuber, J., “Long Short-Term Memory,” Neural Computation, 9(8), 1735-1780, 1997）を用いて表現・学習できる。参考文献１の手法は、非常に長い系列の情報を保持しておくことができ、より時間的に遠い位置の状態や音声尤度を考慮した状態遷移モデル１２３ａを構築することができ、非常に有用である。参考文献１の手法以外にも、時系列を扱えるモデル（ＲＮＮやＨＭＭ等）を用いることも可能である。ただし、ＨＭＭの場合は、その構造上、未来の状態を考慮することができない。

【0025】

＜音声区間検出装置１２＞
次に本形態の音声区間検出装置１２について説明する。図１Ｂに例示するように、本形態の音声区間検出装置１２は、入力部１２１、音声区間検出部１２２、記憶部１２３、推定部１２４、および出力部１２６を有する。

【0026】

＜記憶部１２３＞
記憶部１２３には、前述のようにモデル学習装置１１から出力された状態遷移モデル１２３ａが格納される。状態遷移モデル１２３ａは、音声区間検出装置１２での音声区間検出が開始される前に記憶部１２３に格納されていてもよいし、モデル学習装置１１から新たな状態遷移モデル１２３ａが出力されるたびに記憶部１２３に格納されてもよい。

【0027】

＜入力部１２１＞
入力部１２１には、音声区間検出対象の入力音響信号が入力される。音声区間検出対象の入力音響信号は、所定の時間区間ごとに区分された時系列のデジタル音響信号である。入力音響信号は、マイクロホン等で観測されたアナログ音響信号を所定のサンプリング周波数でＡＤ変換したものであってもよいし、予め作成された任意のデジタル音響信号であってもよい。なお、入力音響信号の時間区間の長さは、前述の学習データ用の音響信号の時間区間の長さと同一または近似することが好ましい。入力音響信号は音声区間検出部１２２に送られる。

【0028】

＜音声区間検出部１２２＞
音声区間検出部１２２は、入力音響信号から音響情報や分析情報を抽出し、それらに対して公知のＶＡＤを適用することで（例えば、非特許文献１等参照）、入力音響信号の各時間区間の音声尤度に対応する入力音声尤度系列を得て出力する。ＶＡＤに用いる音響情報や分析情報の例は前述の通りである。また入力音声尤度系列の例も前述の通りであるが、入力音声尤度系列の種別は学習データ用の音声尤度系列の種別と同一である。例えば、学習データ用の音声尤度系列が各時間区間の音声尤度の系列である場合、入力音声尤度系列も各時間区間の音声尤度の系列である。入力音声尤度系列は推定部１２４に送られる。

【0029】

＜推定部１２４＞
推定部１２４は、送られた入力音声尤度系列を、記憶部１２３から読み出した状態遷移モデル１２３ａに適用し、入力音響信号の音声状態および非音声状態についての各時間区間での状態遷移の推定結果を得て出力する（post-filter処理）。状態遷移の推定結果の例は、各時間区間での非音声状態（ラベル“０”）の尤度、音声状態（ラベル“１”）の尤度、始端遷移状態（ラベル“２”）の尤度、および終端遷移状態（ラベル“３”）の尤度からなる４つの尤度の系列である。あるいは、各時間区間の非音声状態（ラベル“０”）の尤度の系列のみを状態遷移の推定結果としてもよいし、各時間区間の音声状態（ラベル“１”）の尤度の系列のみを状態遷移の推定結果としてもよい。あるいは、各時間区間の非音声状態（ラベル“０”）の尤度と音声状態（ラベル“１”）の尤度との系列を状態遷移の推定結果としてもよい。その他、各時間区間で最も大きな尤度を持つ状態を表す値の系列を状態遷移の推定結果としてもよい。

【0030】

＜出力部１２６＞
推定部１２４から出力された状態遷移の推定結果は出力部１２６に送られる。出力部１２６は、状態遷移の推定結果を音声区間推定結果として出力する。

【0031】

［第２実施形態］
第２実施形態は第１実施形態の変形例である。本形態では、推定部１２４から出力された状態遷移の推定結果に後処理を行って得られたものを音声区間推定結果とする。以下では第１実施形態との相違点を中心に説明し、既に説明した事項については同じ参照番号を引用して説明を簡略化する。

【0032】

＜モデル学習装置１１＞
第１実施形態と同じである。

【0033】

＜音声区間検出装置２２＞
図１Ｂに例示するように、本形態の音声区間検出装置２２は、入力部１２１、音声区間検出部１２２、記憶部１２３、推定部１２４、後処理部２２５、および出力部２２６を有する。以下に第１実施形態との相違点である後処理部２２５および出力部２２６の詳細を説明する。

【0034】

＜後処理部２２５＞
第１実施形態と異なり、推定部１２４から出力された状態遷移の推定結果は後処理部２２５に送られる。後処理部２２５は、送られた状態遷移の推定結果に対して所定の後処理を行って音声区間推定結果を得て出力する。例えば、状態遷移の推定結果として、各時間区間の非音声状態（ラベル“０”）の尤度、音声状態（ラベル“１”）の尤度、始端遷移状態（ラベル“２”）の尤度、および終端遷移状態（ラベル“３”）の尤度の系列が送られる場合、後処理部２２５は、これら４つの尤度の系列を用い、各時間区間の代表的な状態（非音声状態、音声状態、始端遷移状態、または終端遷移状態）を選択し、それによって得られた各時間区間の代表的な状態の系列を音声区間推定結果として出力してもよい。例えば、後処理部２２５は、各時間区間について、送られた４つの状態のうち最も大きな尤度を持つ状態を選択して出力してもよい。すなわち、後処理部２２５は、送られた４つの状態の尤度系列を最尤状態系列に変換して出力してもよい。例えば、ｎ＝０，…，Ｎ−１を時間区間に対応する識別子とし、Ｎを正整数とし、時間区間ｎでの非音声状態の尤度をＰ_ｎ，０とし、音声状態の尤度をＰ_ｎ，１とし、始端遷移状態の尤度をＰ_ｎ，２とし、および終端遷移状態の尤度をＰ_ｎ，３とする。この場合、後処理部２２５は、各時間区間ｎについて、送られた４つの状態の尤度系列（Ｐ_ｎ，０，Ｐ_ｎ，１，Ｐ_ｎ，２，Ｐ_ｎ，３）を最尤状態系列ｓ_ｎに変換して出力してもよい。

【数1】

【0035】

あるいは、後処理部２２５は、４つの状態の尤度系列（Ｐ_ｎ，０，Ｐ_ｎ，１，Ｐ_ｎ，２，Ｐ_ｎ，３）の特定の状態の尤度を強調したり、弱めたりして得られた尤度系列を最尤状態系列ｓ_ｎに変換して出力してもよい。例えば、後処理部２２５は、尤度系列（Ｐ_ｎ，０，Ｐ_ｎ，１，Ｐ_ｎ，２，Ｐ_ｎ，３）を以下の最尤状態系列ｓ_ｎに変換して出力してもよい。

【数2】

ただし、α_ｉは尤度Ｐ_ｎ，ｉに与えられる重みである。例えば、α_ｉは０よりも大きな正値である。あるいは、特定の尤度Ｐ_ｎ，ｉに与えられる重みを０にしてもよい。例えば、α_２＝α_３＝０とすれば、始端遷移状態や終端遷移状態が音声区間推定結果として選択されることを避けることができる。

【0036】

その他、後処理部２２５が、送られた状態遷移の推定結果に対してＶＡＤにおいて一般的に行われる公知の補正手法を適用し、それによって得られた結果を音声区間推定結果として出力してもよい。例えば、各時間区間の音声状態（ラベル“１”）の尤度の系列のみが状態遷移の推定結果として送られる場合、後処理部２２５が各時間区間の音声状態の尤度と所定の閾値とを比較し、その比較結果の系列に対応する音声区間推定結果を出力してもよい。例えば、後処理部２２５は、音声状態の尤度が閾値以上の時間区間を音声区間とし、それ以外の時間区間を非音声区間とする音声区間推定結果を出力してもよい。各時間区間の非音声状態（ラベル“０”）の尤度の系列のみが状態遷移の推定結果として送られる場合にも、後処理部２２５が各時間区間の非音声状態の尤度と所定の閾値とを比較し、その比較結果の系列に対応する音声区間推定結果を出力してもよい。その他、後処理部２２５が、送られた状態遷移の推定結果の特定の状態の尤度を強調したり、弱めたりして得られた尤度系列に対してＶＡＤにおいて一般的に行われる公知の補正手法を適用し、それによって得られた結果を音声区間推定結果として出力してもよい。後処理部２２５は、音声区間検出の精度向上のためのその他の公知技術を用いてもよい。

【0037】

＜出力部２２６＞
推定部２２４から出力された音声区間推定結果は出力部２２６に送られる。出力部２２６はこの音声区間推定結果を出力する。

【0038】

［第３実施形態］
第３実施形態は第１，２実施形態の変形例である。本形態では、モデル学習装置が複数の状態遷移モデルを生成し、音声区間検出装置が入力音声尤度系列をこれら複数の状態遷移モデルに適用し、当該複数の状態遷移モデルのそれぞれについて、入力音響信号の音声状態および非音声状態についての各時間区間での状態遷移の推定結果を得、得られた状態遷移の推定結果のうち、各時間区間において最も確からしい推定結果を選択する。以下では第１，２実施形態との相違点を中心に説明し、既に説明した事項については同じ参照番号を引用して説明を簡略化する。

【0039】

＜モデル学習装置３１＞
図１Ａに例示するように、本形態のモデル学習装置３１は、学習データ３１１ａを記憶する記憶部３１１、および状態遷移モデル３２３ａを学習する学習部３１２を有する。

【0040】

本形態の学習データ３１１ａは、複数種類の学習データ用の音響信号の各時間区間の音声尤度に対応する音声尤度系列と、当該音響信号の音声状態および非音声状態についての各時間区間での状態遷移の正解値の系列と、の組を複数組含む。これらの組は学習データ用の音響信号の種類に応じてクラス分けされている。例えば、学習データ３１１ａは、複数種類の環境で得られた学習データ用の音響信号に対応する音声尤度系列と状態遷移の正解値の系列との組を複数組含み、これらの組は対応する環境ごとにクラス分けされている。このクラスをｃ＝０，…，Ｃ−１（ただし、Ｃは２以上の整数）とし、学習データ３１１ａに含まれたクラスｃに属する音声尤度系列と状態遷移の正解値の系列との組の集合をＤ（ｃ）と表記する。すなわち、学習データ３１１ａは集合Ｄ（０），…，Ｄ（Ｃ−１）を含む。

【0041】

学習部３１２は記憶部３１１から読み出した学習データ３１１ａを用い、入力音響信号の各時間区間の音声尤度に対応する入力音声尤度系列を入力として入力音響信号の音声状態および非音声状態についての各時間区間での状態遷移の推定結果を得る複数の状態遷移モデル３２３ａを得て出力する。すなわち、学習部３１２は、学習データ３１１ａに含まれた集合Ｄ（ｃ）を用い、第１実施形態と同じ方法でクラスｃに対応する状態遷移モデルＭ（ｃ）を生成し、複数の状態遷移モデルＭ（０），…，Ｍ（Ｃ−１）を状態遷移モデル３２３ａとして出力する。その他は第１実施形態と同じである。

【0042】

＜音声区間検出装置３２＞
図１Ｂに例示するように、本形態の音声区間検出装置３２は、入力部１２１、音声区間検出部１２２、記憶部３２３、推定部３２４、後処理部３２５、および出力部２２６を有する。以下に第１，２実施形態との相違点である記憶部３２３、推定部３２４、および後処理部３２５の詳細を説明する。

【0043】

＜記憶部３２３＞
記憶部３２３には、学習部３１２から出力された複数の状態遷移モデル３２３ａが格納される。状態遷移モデル３２３ａは、音声区間検出装置３２での音声区間検出が開始される前に記憶部３２３に格納されていてもよいし、モデル学習装置３１から新たな状態遷移モデル３２３ａが出力されるたびに記憶部３２３に格納されてもよい。

【0044】

＜推定部３２４＞
推定部３２４には、音声区間検出部１２２から出力された入力音声尤度系列が入力される。推定部３２４は、この入力音声尤度系列を記憶部３２３から読み出した複数の状態遷移モデル３２３ａに適用し、複数の状態遷移モデル３２３ａのそれぞれについて、入力音響信号の音声状態および非音声状態についての各時間区間での状態遷移の推定結果を得て出力する。すなわち、推定部３２４は、入力音声尤度系列を各状態遷移モデルＭ（ｃ）（ただし、ｃ＝０，…，Ｃ−１）に適用し、各クラスｃについて各時間区間での状態遷移の推定結果Ｒ（ｃ）を得て出力する。各クラスｃについての推定結果Ｒ（ｃ）は後処理部３２５に送られる。その他は第１，２実施形態と同一である。

【0045】

＜後処理部３２５＞
後処理部３２５は、推定部３２４から出力された各クラスｃについて送られた推定結果Ｒ（ｃ）に対応する結果のうち、各時間区間において最も確からしい結果を選択する。この選択には音声区間音声検出の精度向上のための公知の技術を用いることができる。例えば、音声区間検出部１２２が非常に異なる複数の環境で得られた入力音響信号に対してＶＡＤを行う場合、後処理部３２５が、参考文献２（R. A. Jacobs, M. I. Jordan, S. J. Nowlan, and G. E. Hinton. “Adaptive mixtures of local experts.” Neural Computation, 3:79-87, 1991.）に記載された手法を用いて最も確からしい推定結果を選択してもよい。すなわち、後処理部３２５は、送られた推定結果Ｒ（０），…，Ｒ（Ｃ−１）に対応する結果のうち、入力音響信号が得られた環境に対応する推定結果Ｒ（ｃ’）に対応する結果を最も確からしい結果として選択する。なお、推定結果Ｒ（ｃ）に対応する結果は、推定結果Ｒ（ｃ）そのものであってもよいし、推定結果Ｒ（ｃ）に対して第２実施形態の後処理部２２５の処理を行って得られたものであってもよい。後処理部３２５は、選択した最も確からしい結果を音声区間推定結果として出力してもよいし、選択した最も確からしい結果に第２実施形態の後処理部２２５の処理を行って得られた音声区間推定結果を出力してもよい。音声区間推定結果は出力部２２６に送られる。その後の処理は第２実施形態と同じである。

【0046】

［実施形態の手法の特徴］
以上のように、各実施形態では、様々な環境において、人手でのチューニングを行うことなくＶＡＤの精度を向上させることができ、コスト削減と精度向上の両方を実現できる。また、単一の環境においても、発話のブレを吸収し、既存手法より高精度に音声区間検出を行うことができる。さらに、状態遷移モデルを用いた推定部の構成はＶＡＤに縦続接続するpost-filterであるため、他のＶＡＤ精度改善手法と併用することもできる。例えば、従来のハングオーバーの手法を適用した後にこのpost-filterの処理を行うことで更なる性能向上が見込める。

【0047】

従来、音響特徴量を入力として音声状態／非音声状態を出力する状態遷移モデルを用いたＶＡＤは存在していた。しかし、音響特徴量は環境による変動が激しく、モデルが膨大になり、かつ大量の学習データが必要であった。これに対し、各実施形態の状態遷移モデルは、ＶＡＤ処理後の音声尤度系列を入力特徴量として状態遷移の推定結果を得るものである。音声尤度系列は音響特徴量に比べて環境による変動が小さい。そのため、各実施形態の状態遷移モデルは、少量の学習データによって作成できる上に、様々なＶＡＤ技術のｐｏｓｔ−ｆｉｌｔｅｒとして頑健に動作する。さらに、各実施形態では、音声区間の始端（始端遷移状態）および終端（終端遷移状態）に特殊なラベルを付与した。これにより、「区間」としての情報をより強く学習することができ、突発的な雑音による一時的な音声状態フレームの出現や、子音、息継ぎなどによる一時的な非音声状態の出現に左右されにくい。

【0048】

［その他の変形例等］
なお、本発明は上述の実施形態に限定されるものではない。例えば、第１，２，３実施形態では、音声区間検出装置１２，２２，３２に入力音響信号が入力され、音声区間検出部１２２が当該入力音響信号の各時間区間の音声尤度に対応する入力音声尤度系列を得た。しかしながら、音声区間検出装置１２，２２，３２の外部で入力音響信号から入力音声尤度系列が生成され、この入力音声尤度系列が音声区間検出装置１２，２２，３２に入力されてもよい。この場合、音声区間検出装置１２，２２，３２から音声区間検出部１２２が省略されてもよい。

【0049】

上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。

【0050】

上記の各装置は、例えば、ＣＰＵ（central processing unit）等のプロセッサ（ハードウェア・プロセッサ）およびＲＡＭ（random-access memory）・ＲＯＭ（read-only memory）等のメモリ等を備える汎用または専用のコンピュータが所定のプログラムを実行することで構成される。このコンピュータは１個のプロセッサやメモリを備えていてもよいし、複数個のプロセッサやメモリを備えていてもよい。このプログラムはコンピュータにインストールされてもよいし、予めＲＯＭ等に記録されていてもよい。また、ＣＰＵのようにプログラムが読み込まれることで機能構成を実現する電子回路（circuitry）ではなく、プログラムを用いることなく処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。１個の装置を構成する電子回路が複数のＣＰＵを含んでいてもよい。

【0051】

上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は、非一時的な（non-transitory）記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。

【0052】

このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

【0053】

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。

【0054】

コンピュータ上で所定のプログラムを実行させて本装置の処理機能が実現されるのではなく、これらの処理機能の少なくとも一部がハードウェアで実現されてもよい。

【産業上の利用可能性】

【0055】

本発明は、例えば、音声認識処理や音声対話処理の前段での音声区間検出に利用できる。本発明をこれらに適用した場合、音声区間の検出精度を向上させ、後段の音声認識や音声対話をより高精度に行うことができる。

【符号の説明】

【0056】

１１，３１ モデル学習装置
１２，２２，３２ 音声区間検出装置

【図1】

【図2】

【図3】

【図4】