特許 6052814 音声認識モデルの構築方法、音声認識方法、コンピュータ・システム、音声認識装置、プログラムおよび記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6052814

(24)【登録日】2016年12月9日

(45)【発行日】2016年12月27日

(54)【発明の名称】音声認識モデルの構築方法、音声認識方法、コンピュータ・システム、音声認識装置、プログラムおよび記録媒体

(51)【国際特許分類】

   G10L 15/06 20130101AFI20161219BHJP

   G10L 15/20 20060101ALI20161219BHJP

【ＦＩ】

   G10L15/06 300Y

   G10L15/20 153

   G10L15/06 400Z

【請求項の数】21

【全頁数】31

(21)【出願番号】特願2014-193564(P2014-193564)

(22)【出願日】2014年9月24日

(65)【公開番号】特開2016-65924(P2016-65924A)

(43)【公開日】2016年4月28日

【審査請求日】2016年1月12日

【早期審査対象出願】

(73)【特許権者】

【識別番号】390009531

【氏名又は名称】インターナショナル・ビジネス・マシーンズ・コーポレーション

【氏名又は名称原語表記】ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＢＵＳＩＮＥＳＳ ＭＡＣＨＩＮＥＳ ＣＯＲＰＯＲＡＴＩＯＮ

(74)【代理人】

【識別番号】100108501

【弁理士】

【氏名又は名称】上野 剛史

(74)【代理人】

【識別番号】100112690

【弁理士】

【氏名又は名称】太佐 種一

(72)【発明者】

【氏名】鈴木 雅之

(72)【発明者】

【氏名】倉田 岳人

(72)【発明者】

【氏名】立花 隆輝

(72)【発明者】

【氏名】長野 徹

【審査官】 冨澤 直樹

(56)【参考文献】

【文献】 特開２００８−３０９８５６（ＪＰ，Ａ）

【文献】 特開２００４−１４５１６１（ＪＰ，Ａ）

【文献】 特開２００９−０２０４６１（ＪＰ，Ａ）

【文献】 K. Kumatani; R. Singh; F. Faubel; J. McDonough; Y. Oualil，Joint constrained maximum likelihood regression for overlapping speech recognition，Acoustics, Speech and Signal Processing (ICASSP), 2013 IEEE International Conference on ，米国，IEEE，２０１３年 ５月２６日，p.121 - 125 ，ISSN:1520-6149

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ１０Ｌ １５／００−１５／３４

(57)【特許請求の範囲】

【請求項1】

音声認識モデルの構築方法であって、コンピュータ・システムが、
複数の話者に関し、話者毎の音声と、話者毎の書き起こしとの間のアライメントを取得するステップと、
前記複数の話者の前記話者毎の書き起こしを時間軸に沿って連結し、前記話者毎の音声を合成して得られる話者混合音声に対する書き起こしを作成するステップであって、前記複数の話者間で時間軸上重なる所定の書き起こし部分を、同時発話部分であることを示す単位に置き換える、該作成するステップと、
前記話者混合音声に対する書き起こしに基づき、前記音声認識モデルを構成する音響モデルおよび言語モデルのうちの少なくとも一方を構築するステップと
を含む、構築方法。

【請求項2】

前記構築するステップは、前記コンピュータ・システムが、
前記同時発話部分であることを示す単位に対応付けられる同時発話部分を表す音響単位を定義し、前記音声認識モデルを構成する、該音響単位が含まれる音響モデルを構築するステップ
を含む、請求項１に記載の構築方法。

【請求項3】

前記音響モデルを構築するステップは、前記コンピュータ・システムが、
前記同時発話部分であることを示す単位にアライメントされる前記話者混合音声の部分から、前記同時発話部分を表す音響単位の音響モデルを学習するステップと、
前記同時発話部分を表す音響単位の音響モデルと、他の音響単位の音響モデルとを組み合わせて、前記音声認識モデルを構成する音響モデルを形成するステップと
を含む、請求項２に記載の構築方法。

【請求項4】

前記音響モデルを構築するステップは、前記コンピュータ・システムが、
話者毎の音声と話者毎の書き起こしとの１以上の組、および、前記話者混合音声と該話者混合音声に対する書き起こしとの１以上の組を用いてさらに学習を行って、前記音声認識モデルを構成する音響モデルを改良するステップ
をさらに含む、請求項３に記載の構築方法。

【請求項5】

前記音響モデルを構築するステップは、話者毎の音声と話者毎の書き起こしとの１以上の組、および、前記話者混合音声と該話者混合音声に対する書き起こしとの１以上の組を用いて、前記同時発話部分を表す音響単位が含まれる複数の音響単位の音響モデルを学習するステップである、請求項２に記載の構築方法。

【請求項6】

前記少なくとも一方を構築するステップは、前記コンピュータ・システムが、
前記話者混合音声に対する書き起こしに基づき、前記同時発話部分であることを示す単位を言語単位として含む言語モデルを学習するステップ
を含む、請求項１〜５のいずれか１項に記載の構築方法。

【請求項7】

前記少なくとも一方を構築するステップは、前記コンピュータ・システムが、
前記同時発話部分であることを示す言語単位を含む言語モデルと他の言語モデルとを結合する重み付けを判定するステップと
前記重み付けに基づいて、前記同時発話部分であることを示す言語単位を含む言語モデルと、前記他の言語モデルとを結合して、前記音声認識モデルを構成する言語モデルを形成するステップと
をさらに含む、請求項６に記載の構築方法。

【請求項8】

前記作成するステップは、音響モデル用の話者混合音声に対する書き起こしを作成するステップと、言語モデル用の話者混合音声に対する書き起こしを作成するステップとを含み、前記音響モデル用の話者混合音声に対する書き起こしを作成するステップは、前記コンピュータ・システムが、
前記複数の話者間で時間上重なる所定の書き起こし部分に関し、いずれの話者が支配的であるかを判断するステップと、
いずれかの話者が支配的であると判断された場合、前記同時発話部分であることを示す単位への置き換えに代えて、支配的である話者に対応する書き起こし部分を採用するステップと
を含む、請求項１〜７のいずれか１項に記載の構築方法。

【請求項9】

前記構築方法は、さらに、前記コンピュータ・システムが、所定規則に従って同時発話が発生するとして、該同時発話部分であることを示す言語単位が含まれる、前記音声認識モデルを構成する言語モデルを形成するステップをさらに含む、請求項１〜５のいずれか１項に記載の構築方法。

【請求項10】

前記言語モデルは、ｎ−ｇｒａｍモデルまたはニューラル・ネットワーク・モデルであり、前記音響モデルは、ＨＭＭ−ＧＭＭまたはＨＭＭ−ＤＮＮである、請求項１〜９のいずれか１項に記載の構築方法。

【請求項11】

請求項１〜１０のいずれか１項に記載の構築方法により構築された音声認識モデルに基づいて、入力される音声から、同時発話部分を識別しながら、音声認識結果を出力する、音声認識方法。

【請求項12】

音声認識モデルを構築するためのコンピュータ・システムであって、
複数の話者に関し、話者毎の音声と、話者毎の書き起こしとの間のアライメントを取得するアライメント取得部と、
前記話者毎の音声を合成して話者混合音声を生成する音声合成部と、
前記複数の話者の前記話者毎の書き起こしを時間軸に沿って連結し、前記話者混合音声に対する書き起こしを作成する書き起こし作成部であって、前記複数の話者間で時間軸上重なる所定の書き起こし部分を、同時発話部分であることを示す単位に置き換える、該書き起こし作成部と、
前記音声認識モデルを構成する言語モデルを構築する言語モデル構築部と、
前記話者混合音声および前記話者混合音声に対する書き起こしに基づき、前記音声認識モデルを構成する音響モデルを構築する音響モデル構築部と
を含む、コンピュータ・システム。

【請求項13】

前記音響モデル構築部は、前記同時発話部分であることを示す単位に対応付けられる同時発話部分を表す音響単位を定義し、該音響単位を少なくとも含む音響モデルを学習しながら、前記音声認識モデルを構成する音響モデルを構築する、請求項１２に記載のコンピュータ・システム。

【請求項14】

前記言語モデル構築部は、前記話者混合音声に対する書き起こしに基づき、前記同時発話部分であることを示す単位を言語単位として含む言語モデルを学習しながら、前記音声認識モデルを構成する言語モデルを構築する、請求項１２または１３に記載のコンピュータ・システム。

【請求項15】

音声認識モデルに基づき音声認識をする音声認識装置であって、
請求項１２〜１４のいずれか１項に記載のコンピュータ・システムにより構築された音声認識モデルと、
被認識音声の入力を受ける入力部と、
前記被認識音声から、前記音声認識モデルに基づき、同時発話部分を識別しながら、認識結果を出力する音声認識部と
を含む、音声認識装置。

【請求項16】

音声認識モデルに基づき音声認識をする音声認識装置であって、
前記音声認識モデルを構成する言語モデルであって、同時発話部分を示す言語単位を含み、該同時発話部分を示す言語単位が含まれる言語単位の連鎖にかかる確率がモデル化された言語モデルと、
前記音声認識モデルを構成する音響モデルであって、前記同時発話部分を示す言語単位に対応付けられる同時発話部分を表す音響単位を含み、前記同時発話部分を示す言語単位が与えた場合に所定音声が出力される確率がモデル化された音響モデルと、
被認識音声の入力を受ける入力部と、
前記音声認識モデルに基づき、前記被認識音声から、同時発話部分を識別しながら、認識結果を出力する音声認識部と
を含む、音声認識装置。

【請求項17】

音声認識モデルを構築するためのプログラムであって、コンピュータを、
複数の話者に関し、話者毎の音声と、話者毎の書き起こしとの間のアライメントを取得するアライメント取得部、
前記話者毎の音声を合成して話者混合音声を生成する音声合成部、
前記複数の話者の前記話者毎の書き起こしを時間軸に沿って連結し、前記話者混合音声に対する書き起こしを作成する書き起こし作成部であって、前記複数の話者間で時間軸上重なる所定の書き起こし部分を、同時発話部分であることを示す単位に置き換える、該書き起こし作成部、
前記音声認識モデルを構成する言語モデルを構築する言語モデル構築部、および
前記話者混合音声および前記話者混合音声に対する書き起こしに基づき、前記音声認識モデルを構成する音響モデルを構築する音響モデル構築部
として機能させるためのプログラム。

【請求項18】

音声認識モデルに基づき音声認識をするためのプログラムであって、コンピュータを、
前記音声認識モデルを構成する言語モデルであって、同時発話部分を示す言語単位を含み、該同時発話部分を示す言語単位が含まれる言語単位の連鎖にかかる確率がモデル化された言語モデル、
前記音声認識モデルを構成する音響モデルであって、前記同時発話部分を示す言語単位に対応付けられる同時発話部分を表す音響単位を含み、前記同時発話部分を示す言語単位が与えた場合に所定音声が出力される確率がモデル化された音響モデル、
被認識音声の入力を受ける入力部、および、
前記音声認識モデルに基づき、前記被認識音声から、同時発話部分を識別しながら、認識結果を出力する音声認識部
として機能させるためのプログラム。

【請求項19】

請求項１〜１０いずれか１項に記載の方法の全ステップをコンピュータに実行させる、音声認識モデルを構築するためのプログラム。

【請求項20】

請求項１７または１９に記載のプログラムをコンピュータ可読に格納する記録媒体。

【請求項21】

請求項１８に記載のプログラムをコンピュータ可読に格納する記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、音声認識モデルの構築方法、音声認識方法、コンピュータ・システム、音声認識装置、プログラムおよび記録媒体に関し、話者混合音声に対応した音声認識モデルを構築するための構築方法、コンピュータ・システム、プログラムおよび記録媒体、並びに、構築された音声認識モデルによる音声認識方法、音声認識装置およびプログラムに関する。

【背景技術】

【0002】

従来、コールセンターなどにおける通話録音では、送話および受話を分離したチャンネルに録音するステレオ録音も行われるが、データ量の観点から、送話および受話を混合した状態で録音するモノラル録音が行われる場合が多い。

【0003】

しかしながら、モノラル音声に対する音声認識は、ステレオ音声と比較して、その精度が劣化することが知られている。複数の話者による発話が重複する部分（同時発話部分）およびその前後において、音声認識が破綻してしまうことが原因として挙げられる。大語彙連続音声認識などの音声認識では、単語間のつながりを利用して認識精度を向上させている。しかしながら、例えば発話が重複する部分で誤認識が発生してしまうと、反対にその前後の認識結果に対しても影響を与えてしまい、バースト誤りを発生させてしまう可能性がある。

【0004】

また、ステレオ音声に対する発話内容の人手による書き起こしは比較的に利用可能である。しかしながら、モノラル音声に関しては、同時発話部分および発話内容をラベル付けする人的コストが非常に高いため、学習に充分な数の正解ラベルデータを入手することは難しい。

【0005】

このような背景から、モノラル音声に対して同時発話部分を高い精度で識別することができる音声認識モデルを効率的に学習することができる技術の開発が求められている。

【0006】

これまで、音声認識に関し、いくつかの技術が知られている。例えば、再表２００４／０７５１６８号公報（特許文献１）は、不要語の集合から学習した音響モデルであるガーベージ音響モデルを用いた音声認識技術を開示する。特開２０１１−１５４０９９号公報（特許文献２）は、想定しない文章をモデル化することで言語モデルを作製し、想定しない単語を登録した音声認識辞書を作製し、想定しない発話を棄却することで、誤作動する割合を低減する構成を開示する。非特許文献１は、ブレスや咳などのノイズである認識対象外の音をガーベージモデルとしてモデル化する音声認識技術を開示する。また、会議ダイアライゼーションに関連し、非スピーチ区間、スピーチ区間、重複区間を区分することができるダイアライゼーション技術が知られている（非特許文献２）。

【0007】

しかしながら、上記特許文献１、特許文献２および非特許文献１の音声認識に関する従来技術は、いずれも、同時発話部分を考慮した技術ではなかった。上記非特許文献１の従来技術は、非スピーチ区間、スピーチ区間、重複区間を区分する技術に関するものであるが、会議ダイアライゼーションに関するものであり、直接音声認識に適用することは困難であった。したがって、依然として、モノラル音声などの話者混合音声に対して同時発話部分を高い精度で識別可能な音声認識モデルを効率的に学習することを可能とする技術の開発が求められていた。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】再表２００４／０７５１６８号公報

【特許文献2】特開２０１１−１５４０９９号公報

【非特許文献】

【0009】

【非特許文献1】G. Sarosi, et al.，”On Modeling Non-word Events in Large Vocabulary Continuous Speech Recognition”， Cognitive Infocommunications (CogInfoCom) 2012 IEEE 3rd International Conference，649-653，December 2-5，2012，Kosice，Slovakia．

【非特許文献2】K. Boakye, et al.，”Overlapped speech detection for improved speaker diarization in multiparty meetings”，Proceedings of the IEEE International Conference on Acoustics, Speech, and Signal Processing（ICASSP 2008），4353-4356，March 31 2008-April 4 2008，Las Vegas，Nevada，USA．

【発明の概要】

【発明が解決しようとする課題】

【0010】

本発明は、上記従来技術における不充分な点に鑑みてなされたものであり、本発明は、複数の話者の音声が混合する話者混合音声に対し同時発話部分を識別可能な音声認識モデルを効率的に構築することができる構築方法、コンピュータ・システム、プログラムおよび記録媒体を提供することを目的とする。本発明の他の目的は、話者混合音声に対し同時発話部分を識別可能な音声認識モデルによる音声認識方法、音声認識装置およびプログラムを提供することである。

【課題を解決するための手段】

【0011】

本発明では、上記課題を解決するために、下記特徴を有する音声認識モデルの構築方法を提供する。本構築方法は、コンピュータ・システムが、複数の話者に関し、話者毎の音声と、話者毎の書き起こしとの間のアライメントを取得するステップと、複数の話者の話者毎の書き起こしを時間軸に沿って連結し、話者毎の音声を合成して得られる話者混合音声に対する書き起こしを作成するステップであって、複数の話者間で時間軸上重なる所定の書き起こし部分を、同時発話部分であることを示す単位に置き換える、該作成するステップと、話者混合音声に対する書き起こしに基づき、音声認識モデルを構成する音響モデルおよび言語モデルのうちの少なくとも一方を構築するステップとを含む。

【0012】

また、本発明によれば、音声認識モデルを構築するためのコンピュータ・システムを提供することができる。本コンピュータ・システムは、複数の話者に関し、話者毎の音声と、話者毎の書き起こしとの間のアライメントを取得するアライメント取得部と、話者毎の音声を合成して話者混合音声を生成する音声合成部と、複数の話者の話者毎の書き起こしを時間軸に沿って連結し、話者混合音声に対する書き起こしを作成する書き起こし作成部であって、複数の話者間で時間軸上重なる所定の書き起こし部分を、同時発話部分であることを示す単位に置き換える、該書き起こし作成部と、音声認識モデルを構成する言語モデルを構築する言語モデル構築部と、話者混合音声および話者混合音声に対する書き起こしに基づき、音声認識モデルを構成する音響モデルを構築する音響モデル構築部とを含む。

【0013】

さらに、本発明によれば、音声認識モデルを構築するためのプログラムであって、コンピュータを上述した各部として機能させるためのプログラムを提供することができる。またさらに、本発明によれば、上記プログラムをコンピュータ可読に格納する記録媒体を提供することができる。

【0014】

さらに、本発明によれば、上記構築された音声認識モデルに基づいて、入力される音声から、同時発話部分を識別しながら、音声認識結果を出力する音声認識方法を提供することができる。本発明によれば、さらに、音声認識モデルに基づき音声認識をする音声認識装置であって、上記構築された音声認識モデルと、被認識音声の入力を受ける入力部と、上記音声認識モデルに基づき、被認識音声から、同時発話部分を識別しながら、認識結果を出力する音声認識部とを含む、音声認識装置を提供することができる。さらに、本発明によれば、音声認識モデルに基づいて、入力される音声から、同時発話部分を識別しながら、音声認識結果を出力するためのプログラムを提供することができる。

【0015】

また、本発明によれば、さらに、音声認識モデルを構成する言語モデルであって、同時発話部分を示す言語単位を含み、該同時発話部分を示す言語単位が含まれる言語単位の連鎖を出力する確率がモデル化された言語モデルと、音声認識モデルを構成する音響モデルであって、上記同時発話部分を示す言語単位に対応付けられる同時発話部分を表す音響単位を含み、上記同時発話部分を示す言語単位が与えた場合に所定音声が出力される確率がモデル化された音響モデルと、被認識音声の入力を受ける入力部と、上記音声認識モデルに基づき、被認識音声から、同時発話部分を識別しながら、認識結果を出力する音声認識部とを含む、音声認識装置を提供することができる。

【発明の効果】

【0016】

上記構成により、話者混合音声に対し同時発話部分を識別可能な音声認識モデルを効率的に構築することができる。

【図面の簡単な説明】

【0017】

【図1】本発明の実施形態による音声認識システムの構成を示すブロック図。

【図2】本発明の実施形態による音声認識システムを構成する音声認識モデル構築部のより詳細なブロック図。

【図3】本発明の実施形態におけるアライメント部が実行する、書き起こし（日本語）をアライメントする処理を説明する図。

【図4】本発明の実施形態におけるアライメント部が実行する、書き起こし（英語）をアライメントする処理を説明する図。

【図5】本発明の実施形態による音声認識システムにおける言語モデル構築部のより詳細なブロック図。

【図6】本発明の実施形態による音声認識システムにおける言語モデル構築処理を示すフローチャート。

【図7】図６に示したステップＳ１０３で呼び出される、言語モデル用モノラル音声書き起こし作成処理を示すフローチャート。

【図8】本発明の実施形態による音声認識システムにおける音響モデル構築部のより詳細なブロック図。

【図9】本発明の実施形態による音声認識システムにおける音響モデル構築処理を示すフローチャート。

【図10】図９に示したステップＳ３０３で呼び出される、音響モデル用モノラル音声書き起こし作成処理を示すフローチャート。

【図11】ステレオ音声の書き起こしから言語モデル用および音響モデル用のモノラル音声の書き起こし（日本語）を作成する処理を説明する図。

【図12】ステレオ音声の書き起こしから言語モデル用および音響モデル用のモノラル音声の書き起こし（英語）を作成する処理を説明する図。

【図13】単語単位で同時発話部分の検出を行う場合の書き起こし（日本語）のオーバラップ語にアライメントされた音声部分を説明する図。

【図14】単語単位で同時発話部分の検出を行う場合の書き起こし（英語）のオーバラップ語にアライメントされた音声部分を説明する図。

【図15】音素単位で同時発話部分の検出を行う場合の書き起こし（日本語）のオーバラップ単位にアライメントされた音声部分を説明する図。

【図16】音素単位で同時発話部分の検出を行う場合の書き起こし（英語）のオーバラップ単位にアライメントされた音声部分を説明する図。

【図17】本発明の他の実施形態による音声認識システムにおける音響モデル構築部のより詳細なブロック図。

【図18】本発明の実施形態による音声認識システムを実現するコンピュータ装置の概略的なハードウェア構成図。

【発明を実施するための形態】

【0018】

以下、本発明の実施形態について説明するが、本発明の実施形態は、以下に説明する実施形態に限定されるものではない。なお、以下に説明する実施形態では、音声認識モデルを構築するための構築方法およびコンピュータ・システムとして、音声認識システム１００が実行する音声認識モデルの構築方法および音声認識システム１００を、一例として説明する。また、説明する実施形態による音声認識システム１００は、構築された音声認識モデルに基づく音声認識方法を実装し、音声認識装置としても構成される。

【0019】

（音声認識システムの概略構成）
図１は、本発明の実施形態による音声認識システム１００の構成を示すブロック図である。図１に示すように、音声認識システム１００は、音声データが入力される音声分析部１０２と、音声分析結果から音声認識モデルに基づき認識結果を出力する音声認識部１０４と、学習データの基づき音声認識モデルを構築する音声認識モデル構築部１２０とを含み構成される。

【0020】

音声分析部１０２には、例えばマイクロフォンで採音されたアナログ音声信号を所定のサンプリング周波数および所定のビット深度でサンプリングしてディジタル化された音声データが入力される。音声分析部１０２は、入力される音声データから、ヒトの発声機構に由来する音声の特性やヒトの聴覚の特性が考慮された音声の特徴量を抽出し、音声の特徴量の時系列を出力する。また、事前処理として、入力音声から発話された区間を検出する音声区間検出が施されてもよい。なお、音声データは、音声ファイルとして入力されてもよいし、マイクロフォンなどの録音デバイスから直接入力されてもよいし、ネットワークソケットを経由して入力されてもよく、特に限定されるものではない。

【0021】

音声認識部１０４は、入力される音声の特徴量の時系列から、音声認識モデルに基づいて、最も尤もらしい発話内容を推定し、認識結果を出力する。説明する実施形態では、音声認識モデルは、言語モデル１０６、音響モデル１０８および辞書１１０を含み構成される。以下、まず、音声認識モデルの概略について説明する。

【0022】

ここで、音声データを特徴量の時系列として構成した音声の時系列特徴量を、Ｘ＝｛ｘ_ｔ｝と表す。音声分析部１０２は、所定長の時間窓およびフレーム周期で音声分析を行っており、ここで、ｔ（＝１，…，Ｔ）は、時間窓に対応するフレームのインデックスであり、ｘ_ｔは、フレームｔにおける所定次元の特徴量のベクトルである。また、Ｔは、音声データにおけるフレームの総数である。

【0023】

音声の特徴量としては、特に限定されるものではないが、メル周波数ケプストラム係数（ＭＦＣＣ，Mel Frequency Cepstral Coefficient）、ＬＰＣ（Linear Predictive Coding）ケプストラム係数、ＰＬＰ（Perceptual Linear Prediction）ケプストラム係数などを挙げることができる。抽出された特徴量は、各フレーム毎の所定次元の特徴量のベクトルを構成する。音声の特徴量には、さらに、前後数フレームの特徴量を時間方向に回帰して得られるΔ特徴量、ΔのΔ特徴量であるΔΔ特徴量などの動的特徴量が含まれてもよい。

【0024】

音声認識処理は、音声の時系列特徴量Ｘから、対応する最も尤もらしい単語系列Ｗ＾＝｛ｗ＾_ｉ｝を推定する処理に相当する。ここで、ｉ（＝１，…，Ｉ）は、最尤の単語系列の単語を識別するインデックスであり、ｗ＾_ｉは、単語系列におけるｉ番目の単語である。Ｉは、単語系列に含まれる単語数である。

【0025】

統計的な枠組みで解く場合、音声認識は、ａｒｇｍａｘ_Ｗ ｐ（Ｗ｜Ｘ）を求める問題として定式化され、ベイズの定理に基づいて、以下のように変形することができる。下記式中、ｐ（Ｗ｜Ｘ）は、時系列特徴量Ｘが与えられた時にラベル列Ｗが与えられる確率を表す。変形後のｐ（Ｘ｜Ｗ）は、ラベル列Ｗが与えられた時に時系列特徴量Ｘを生成する確率を表し、ｐ（Ｗ）は、ラベル列Ｗの事前分布を表す。

【0026】

【数1】

【0027】

上述した言語モデル１０６は、上記式中のｌｏｇ ｐ（Ｗ）を計算するためのモデルであり、単語などの所定の言語単位の連鎖に関する尤度を与える。言語モデル１０６としては、特に限定されるものではないが、好適には、ｎ−ｇｒａｍモデルやニューラルネットワークに基づくモデルを用いることができる。

【0028】

上述した音響モデル１０８は、上記式中のｌｏｇ ｐ（Ｘ｜Ｗ）を計算するためのモデルであり、音素などの所定の音響単位で標準的な特徴量パターンを保持し、入力と照合して尤度を与える。音響モデル１０８としては、特に限定されるものではないが、好適には、混合ガウス分布（ＧＭＭ，Gaussian Mixture Model）を出力分布とした隠れマルコフモデル（ＨＭＭ，Hidden Markov Model）であるＨＭＭ−ＧＭＭシステムや、ＨＭＭ−ＧＭＭシステムにおけるＧＭＭの代わりにＤＮＮ（Deep Neural Network）を用いたＨＭＭ−ＤＮＮシステムなどを挙げることができる。

【0029】

典型的には、言語モデル１０６は、単語単位でモデル化されるが、音響モデル１０８は、音素単位でモデル化される。辞書１１０は、認識の対象となる単語の集合を保持し、各単語と、各単語に対する音素の系列との対応付けを記述する。なお、言語モデル１０６のモデル化の言語単位は、説明する実施形態では、単語単位とするが、文字単位、音節単位、文節単位、クラスなど他の単位を用いることを妨げるものではない。また、音響モデル１０８のモデル化の音響単位は、説明する実施形態では、音素単位とするが、単語単位、音節単位など他の単位を用いることもできる。

【0030】

音声認識部１０４は、上記言語モデル１０６および音響モデル１０８を統合して、最尤の単語系列を探索する機能部であり、デコーダあるいは音声認識エンジンとして参照される。音声認識部１０４は、ステレオ音声の各チャンネル毎の音声またはモノラル音声を音声認識の対象とすることができる。音声認識部１０４は、入力された音声の時系列特徴量Ｘに基づき、所定の目的関数が最大になる単語系列Ｗ＾を決定し、音声認識結果を出力する。

【0031】

音声認識モデル構築部１２０は、上述した言語モデル１０６および音響モデル１０８を、所与の学習データを用いて学習し、構築する。本実施形態においては、学習データとしては、書き起こし付きステレオ音声１１２が提供される。書き起こし付きステレオ音声１１２は、２者対話における話者毎のチャンネルを有する音声データであり、話者毎のチャンネルに対応して書き起こし（テキスト）が付されている。この書き起こしは、典型的には、人手で書き起こされたものであるが、機械によって自動的に付与された書き起こしが含まれることを妨げるものではない。

【0032】

音声認識モデル構築部１２０は、書き起こし付きステレオ音声１１２の各チャンネル毎の音声データから音声分析して得られる各チャンネル毎の音声の特徴量時系列と、正解ラベルとして与えられる各チャンネル毎の書き起こしとのセットを学習データとして用い、音声認識モデルを構成する言語モデル１０６および音響モデル１０８を学習する。

【0033】

上述したように、モノラル音声に対する音声認識は、ステレオ音声と比較して、その精度が劣化してしまうことが知られている。これは、対話において複数の話者の発話が重なり得るところ、モノラル音声では、まず、この発話が重なる部分での認識を誤りやすいためである。さらに、大語彙連続音声認識などの音声認識では、単語間のつながりを利用して認識精度を向上させているところ、発話が重なる部分で誤認識が発生してしまうと、その前後の認識結果に対しても影響を与え、バースト誤りを発生させてしまう可能性がある。また、モノラル音声に関しては、同時発話部分およびその発話内容をラベル付けする人的コストが非常に高いため、ステレオ音声に比較して、学習に充分な数の正解ラベルデータを入手することは難しい。

【0034】

そこで、本発明の実施形態による音声認識システム１００では、書き起こし付きステレオ音声１１２を学習データとして用いて、モノラル音声にも対応可能な音声認識モデルを構築する。

【0035】

より具体的には、本発明の実施形態による音声認識システム１００は、書き起こし付きステレオ音声１１２における話者毎の音声と、話者毎の書き起こしとの間のアライメントを取得し、話者毎の書き起こしを時間軸に沿って連結し、モノラル音声に対する書き起こしを作成する。その際に、複数の話者間で時間軸上重なる所定の書き起こし部分が、同時発話部分であることを示す単位に置き換えられる。そして、モノラル音声に対する書き起こしに基づき、音声認識モデルを構成する言語モデル１０６および音響モデル１０８の少なくとも一方を構築する。これにより、同時発話が発生し得る複数話者のモノラル音声であっても、同時発話部分を識別しながら音声認識することが可能となる。特に同時発話部分が言語的に予測されるので、バースト誤りの発生が抑制され、ひいては、音声認識の精度の向上が図られる。

【0036】

なお、本実施形態において、ステレオ音声の各チャンネルの音声は、対話における一方の話者の音声を他方の話者の音声から分離して録音されたものであり、本実施形態における話者分離音声を構成する。一方、モノラル音声は、対話における複数の話者の音声が混合して録音されたものであり、本実施形態における話者混合音声を構成する。

【0037】

さらに、以下に説明する実施形態では、２者対話を取り扱うものとし、Ｌチャンネルに一方の話者の音声が含まれ、Ｒチャンネルに他方の話者の音声が含まれるものとして、ステレオ音声を用いて説明する。しかしながら、学習に用いることができる音声は、これに限定されるものではない。他の実施形態では、３以上の話者による対話における各話者毎の話者分離音声を学習データとして用いることもできる。同様に、２者対話における複数の話者の音声が混合して構成されたモノラル音声を用いて説明するが、認識の対象とすることができる音声としては、これに限定されるものではない。当然に単一の話者のモノラル音声、ステレオ音声の各チャネルの音声を認識対象とすることができ、また、他の実施形態では、３以上の話者による対話における話者混合音声を認識対象とすることを妨げない。

【0038】

（音声認識モデル構築の概要）
以下、図２〜図１７を参照しながら、本発明の実施形態による音声認識モデルの構築処理について、より詳細に説明する。

【0039】

図２は、本発明の実施形態による音声認識システム１００を構成する音声認識モデル構築部１２０のより詳細なブロック図である。図２に示すように、音声認識モデル構築部１２０は、アライメント部１２２と、音声合成部１２４と、言語モデル構築部１３０と、音響モデル構築部１５０とを含み構成される。

【0040】

アライメント部１２２は、書き起こし付きステレオ音声１１２におけるチャンネル毎の音声（音声の時系列特徴量）と、チャンネル毎の書き起こし（テキスト）との間の時間的なアライメントを取得する。時間的なアライメントを取得するため、アライメント部１２２は、強制アライメント（Forced Alignment）と呼ばれる手法を採用することができる。アライメント部１２２は、本実施形態におけるアライメント取得部を構成する。

【0041】

図３および図４は、本発明の実施形態におけるアライメント部１２２が実行する、書き起こしをアライメントする処理を説明する図である。図３は、言語が日本語である場合を例示し、図４は、言語が英語である場合を例示する。図３および図４には、ＬチャンネルおよびＲチャンネルの模式的な音声波形と、ＬチャンネルおよびＲチャンネルの書き起こしとが示されている。なお、図３および図４に示す音声波形、単語レベルおよび音素レベルの書き起こしは、説明の便宜上模式的に示すものであり、図３および図４は、正確な音声波形および書き起こしの対応を示すものではない点に留意されたい。また、音声は、音声分析部１０２により、所定のフレーム周期の特徴量ベクトルの時系列に変形されているが、ここでは、説明の便宜上、音声波形に対応付けて示している点にも留意されたい。

【0042】

書き起こし付きステレオ音声１１２に含まれる書き起こしは、テキストとして提供される場合があるが、その場合は、テキストから、日本語の場合は形態素解析等により、英語の場合は分かち書きのスペースに基づいて、単語単位で区切られる。また、日本語であれば、辞書における各単語の発音形（かな）から、かな音素対応表により、単語単位から階層的にさらに音素単位で区切ることができる。言語が英語の場合も同様である。また、書き起こしとして、最初から単語系列さらに音素系列として与えられてもよい。

【0043】

アライメント部１２２は、単語レベルにおいては、各単語の時間軸上の対応する開始時点および終了時点の時間的位置（タイプスタンプやフレーム）を識別し、その情報を各単語に付す。アライメント部１２２は、音素レベルにおいては、各音素の時間軸上の対応する開始時点および終了時点の時間的位置を識別し、その情報を各音素に付す。各チャンネルの音声間の時間軸が合わせられれば、単語レベルおよび音素レベルの各レベルにおいて、両者の書き起こしにおける同時発話部分（図３および図４中でグレイ表示されている。）を特定することができる。

【0044】

ここで、再び図２を参照する。音声合成部１２４は、書き起こし付きステレオ音声１１２の各チャンネルの音声を合成し、合成モノラル音声１２６を生成する。合成モノラル音声１２６は、ステレオ音声がモノラル音声として記録されていたとした場合の仮想的な音声である。合成モノラル音声１２６についても、生成された後、音声分析部１０２にて音声の時系列特徴量に変形される。音声合成部１２４は、本実施形態における音声合成部を構成する。

【0045】

言語モデル構築部１３０は、アライメント部１２２によるアライメント結果に基づき、言語モデル１０６を学習する。本実施形態による言語モデル構築部１３０は、複数の話者が同時発話する部分を、上述したアライメント部１２２が付した時間的位置に基づき特定し、ステレオ音声の書き起こし中における対応する書き起こし部分を、同時発話部分であることを示す単位で置き換えて、学習データを生成し、言語モデルを構築する。同時発話部分であることを示す単位は、好ましくは、言語モデルのモデル化の単位と一致し、説明する実施形態では単語単位であり、以下、オーバラップ語と参照する。つまり、構築される言語モデル１０６は、通常の単語のほか、オーバラップ語を含めてモデル化されたものとなる。なお、言語モデルのモデル化の単位を音節とする実施形態では、オーバラップ音節とすることができる。

【0046】

ここで、言語モデルについて、単語Ｎ−ｇｒａｍを一例として説明する。学習データの規模に合わせて、Ｎは、２，３，４などを用いることができる。Ｎが３であるトライグラムの場合は、ｗ_ｉが所定単語となる確率が、前の単語ｗ_ｉ−２，ｗ_ｉ−１のみに依存するというモデルとなり、ラベル列Ｗを生成する確率は、下記式のように表すことができる。

【0047】

【数2】

【0048】

学習データから、ｐ（ｗ_ｘ｜ｗ_ｙ，ｗ_ｚ）を学習することになるが、学習データにおいて、ｗ_ｘの出現した回数ｆ_ｘと、ｗ_ｙ，ｗ_ｚの次にｗ_ｘが出現した回数ｆ_{ｙ，ｚ→ｘ}とから、下記式により最尤推定することができる。

【0049】

【数3】

【0050】

トライグラムでは、取り得るすべての単語連鎖ｗ_ｘ，ｗ_ｙ，ｗ_ｚの組み合わせについて、ｐ（ｗ_ｘ｜ｗ_ｙ，ｗ_ｚ）を用意したものが言語モデルの学習すべきパラメータとなる。学習データに現れないような組み合わせも存在するため、典型的には、学習データに出現した回数が極端に少ない単語連鎖の確率を補正する種々のスムージング・アルゴリズムが適用される。スムージング・アルゴリズムとしては、特に限定されるものではないが、例えば、Ｍｏｄｉｆｉｅｄ Ｋｎｅｓｅｒ−Ｎｅｙ、Ｋｎｅｓｅｒ−Ｎｅｙ、Ｇｏｏｄ−Ｔｕｒｉｎｇ、Ｗｉｔｔｅｎ−Ｂｅｌｌなどの種々のスムージング・アルゴリズムを挙げることができる。

【0051】

また、説明する実施形態では、言語モデル１０６にてモデル化される単語には、同時発話部分であることを示すオーバラップ語が含まれる。言語モデル１０６にオーバラップ語が含まれるので、どういう単語の連鎖が続いた場合に、オーバラップ語がどの程度の確率で生じるか、オーバラップ語を含む単語連鎖があった場合にどの単語がどの程度の確率で生じるかがモデル化されており、同時発話の発生を言語的に予測することが可能となる。

【0052】

音響モデル構築部１５０は、音声合成部１２４が生成した合成モノラル音声１２６およびアライメント部１２２によるアライメント結果に基づき、音響モデル１０８を学習する。本実施形態においては、上述したオーバラップ語に対応する音素（以下、オーバラップ音素と参照する。）が新たに定義される。音響モデル構築部１５０は、複数の話者が同時発話する音声部分を、上述したアライメント部１２２が付した時間的位置に基づき特定し、対応する書き起こし部分をオーバラップ語で置き換える。説明する実施形態では、音響モデル構築部１５０は、さらに、オーバラップ語にアライメントされる合成モノラル音声の部分を、オーバラップ音素に対応付けて学習データを生成し、音響モデル１０８を構築する。つまり、構築される音響モデル１０８は、同時発話部分であることを示すオーバラップ音素を含めてモデル化されたものとなる。

【0053】

ここで、音響モデルについて、音素単位のＨＭＭ−ＧＭＭシステムを一例として説明する。ＨＭＭ−ＧＭＭシステムの音響モデルは、ｌｅｆｔ−ｔｏ−ｒｉｇｈｔ型の隠れマルコフモデルが、各状態において混合ガウス分布に従って特徴量を出力するモデルとして構成される。ＨＭＭ−ＧＭＭシステムの学習すべきパラメータは、ＨＭＭの状態ｉから状態ｊへの状態遷移確率ａ_ｉｊと、各状態についてのＧＭＭの各正規分布ｋの重みｗ_ｋ、平均ベクトルμ_ｋ、分散共分散行列σ_ｋである。ＧＭＭの各正規分布ｋの共分散行列は、計算量の観点から、対角行列と仮定されることが多く、その場合はσ_ｋはベクトルとなる。

【0054】

また、ＨＭＭ−ＧＭＭシステムでは、１つの音素に対し、ｌｅｆｔ−ｔｏ−ｒｉｇｈｔ型の複数状態、典型的には３状態程度のＨＭＭを用いて、この複数状態ＨＭＭを音素の個数分だけ用意し、音声の時系列特徴量Ｘを生成するモデルを構成する。３状態ＨＭＭの場合は、音素の個数をＮ個とすれば、３×ＮのＨＭＭの状態が存在することになり、この３×Ｎ個の状態それぞれが、その状態において音声の特徴量を出力する確率分布として、１つのＧＭＭを有する。

【0055】

つまり、音声認識に用いるＨＭＭ−ＧＭＭの学習すべきパラメータは、状態数Ｎ×３分のＧＭＭパラメータ｛μ_ｋ，σ_ｋ，ｗ_ｋ｝およびＨＭＭの状態遷移確率｛ａ_ｉｊ｝となる。これらのパラメータは、ＥＭアルゴリズムの一種であるバウム−ウェルチ（Baum-Weltch）アルゴリズムにより、書き起こし付き音声から最尤推定できることが知られている。また、最尤基準（ＭＬＥ，Maximum Likelihood Estimation）のほか、相互情報量最大化（ＭＭＩ，Maximum Mutual Information）基準、音素誤り率最小化（ＭＰＥ，Minimum Phone Error）基準、ＢＭＭＩ（Boosted MMI）基準などの音響モデルの識別学習を適用することもできる。

【0056】

なお、説明する実施形態では、音響モデル１０８にてモデル化される音素には、同時発話部分であることを示すオーバラップ語に対応するオーバラップ音素が含まれる。音響モデル１０８にオーバラップ音素が含まれるので、オーバラップ語が与えられた場合に、時系列特徴量が出力される確率がモデル化されることになる。なお、辞書１１０には、オーバラップ語の発音がオーバラップ音素であるというエントリが記述されることになる。好適な実施形態では、オーバラップ語に対して１つのオーバラップ音素を対応付けることができるが、他の実施形態において、オーバラップ語に対して複数のオーバラップ音素を対応付けることを妨げるものではない。

【0057】

なお、音素単位のＨＭＭ−ＧＭＭシステムを採用する場合、観測される特徴量ｘ_ｔは、前後の音素の影響を受けるため、好適な実施形態では、前後の音素コンテキストを考慮したトライフォンやペンタフォンのＨＭＭ−ＧＭＭを用いることができる。なお、その際に、オーバラップ音素は、モノフォンとして取り扱うことができる。また、その場合は、トライフォンやペンタフォンの数が、音素の数の３乗または５乗と大きくなるので、すべてに対して充分な学習データを確保することが難しくなる。このため、音響的特徴が類似するトライフォンまたはペンタフォンを状態単位でグループ化し、パラメータを共有して学習を行うことができる。どのトライフォンまたはペンタフォンのパラメータを共有するかの決定には、決定木アルゴリズムを利用することができる。

【0058】

なお、上述したおよび以下の説明においては、本発明の要旨に関連する部分を中心に説明し、関連性が薄い部分については説明を省略する。しかしながら、音声認識精度の向上のために行うことができる処理、例えば、音声データに対する音声区間検出、音響モデルの話者適応、特徴量の話者適応、音響モデルの雑音適応、特徴量強調、特徴量正規化、音響モデルの識別学習、特徴量の識別学習などの処理を、本発明の音響モデルおよび言語モデルの構築処理と組み合わせて適用できることはいうまでもない。

【0059】

（言語モデル構築）
以下、図５〜図７、図１１および図１２を参照しながら、本実施形態における言語モデルの構築処理について、より詳細に説明する。

【0060】

図５は、本発明の実施形態による音声認識システム１００における音声認識モデル構築部１２０を構成する言語モデル構築部１３０のより詳細なブロックを示す。図５に示すように、言語モデル構築部１３０は、言語モデル用モノラル音声書き起こし作成部１３２と、オーバラップ語含有言語モデル学習部１３６と、言語モデル統合部１４０とを含み構成される。

【0061】

言語モデル用モノラル音声書き起こし作成部１３２は、アライメント結果に基づき、ステレオ音声のチャンネル毎の書き起こしを時間軸に沿って連結し、合成モノラル音声に対する書き起こしを作成する。その際には、書き起こし作成部１３２は、複数のチャンネル間で時間軸上重なる所定の書き起こし部分を、同時発話部分であることを示すオーバラップ語に置き換える処理を行う。ここで作成された書き起こしを言語モデル用モノラル音声書き起こし１３４と参照する。

【0062】

言語モデルでは、オーバラップ語を発生させ得るあらゆる単語連鎖をモデル化することが好ましいため、好ましくは、単語の一部でしか時間軸上重なっていない場合でも、また一方の音声が支配的で音声的には認識可能である場合でも、すべての箇所をオーバラップ語に置き換える。なお、複数の単語にまたがって重複が生じる場合は、ステレオ音声のチャンネルのうちの重複にかかる単語数が大きい方の数のオーバラップ語に置き換えることができる。

【0063】

オーバラップ語含有言語モデル学習部１３６は、作成された言語モデル用モノラル音声書き起こし１３４に基づき、オーバラップ語を含む言語モデルを学習する。言語モデルがＮ−ｇｒａｍであれば、ここでは、各対話について用意された言語モデル用モノラル音声書き起こし１３４を学習データとして用いて、オーバラップ語を含めたあらゆる単語についての出現回数およびあらゆる単語連鎖の出現回数を計数することにより言語モデルが最尤推定される。この学習された言語モデルを、オーバラップ語含有言語モデル１３８と参照する。

【0064】

言語モデル統合部１４０は、学習されたオーバラップ語含有言語モデル１３８と、オリジナル言語モデル１４２とを統合して、音声認識モデルを構成する最終的な言語モデル１０６を形成する。オリジナル言語モデル１４２は、オーバラップ語を含まない学習データなどから学習される通常の音声認識で利用されていた言語モデルである。オリジナル言語モデル１４２は、書き起こし付きステレオ音声１１２の各チャンネルの書き起こし付き音声から学習された言語モデルであってもよいし、全く異なる学習データから学習された言語モデルであってもよい。

【0065】

言語モデル構築部１３０は、調整パラメータとして、オーバラップ語含有言語モデル１３８とオリジナル言語モデル１４２とを統合する際の重み１４４を保持する。言語モデル統合部１４０は、この重み１４４に従って言語モデルの統合を行う。このように、所定の重み付けして、オーバラップ語含有言語モデル１３８を、オリジナル言語モデル１４２に統合するのは、オーバラップ語含有言語モデル１３８の働きを適度に調整するためである。

【0066】

なお、Ｎ−ｇｒａｍの言語モデルの統合は、以下のように行われる。オリジナル言語モデル１４２にはオーバラップ語が含まれないので、オーバラップ語を含む単語連鎖に対して、ゼロの確率が保持された状態とみなすことができる。これに対して、オーバラップ語含有言語モデル１３８には、オーバラップ語を含まない単語連鎖にも、オーバラップ語を含む単語連鎖にも確率が与えられている。このため、オーバラップ語を含む単語連鎖に対しては、重み１４４に応じた割合（例えば、統合比がオリジナル：オーバラップ語含有＝８：２であった場合、２／１０）をかけた値となる。オリジナル言語モデル１４２に含まれる他の単語連鎖については、重み１４４に応じた重み付け平均値となる。

【0067】

図６は、本発明の実施形態による音声認識システム１００における言語モデル構築処理を示すフローチャートである。図６に示す処理は、例えば音声認識システム１００を構成するコンピュータに対しユーザから音声認識モデル構築の指示が行われたことに応答して、ステップＳ１００から開始される。ステップＳ１０１〜ステップＳ１０４のループでは、音声認識システム１００を構成するコンピュータは、与えられた書き起こし付きステレオ音声１１２の学習データ毎に、ステップＳ１０２およびステップＳ１０３の処理を実行する。

【0068】

ステップＳ１０２では、コンピュータは、アライメント部１２２により、ステレオ音声の各チャンネル毎の音声および書き起こしの間の時間アライメントを取得する。なお、単語単位で同時発話部分を検知する場合、ここでは、少なくとも単語レベルでアライメントが取られればよい。ステップＳ１０３では、コンピュータは、言語モデル用モノラル音声書き起こし作成部１３２を呼び出して、言語モデル用モノラル音声書き起こしを作成する処理を実行する。

【0069】

図７は、図６に示したステップＳ１０３で呼び出される、言語モデル用モノラル音声書き起こし作成処理を示すフローチャートである。図７に示す処理は、図６に示したステップＳ１０３で呼び出されて、ステップＳ２００から開始される。

【0070】

ステップＳ２０１では、コンピュータは、時間軸上先頭となるＬチャンネルまたはＲチャンネルの書き起こしにおける単語を取得する。ステップＳ２０２では、コンピュータは、取得した単語と、前の単語とが時間的に重なるか否かを判定する。ステップＳ２０２で、前の単語と重ならないと判定された場合（ＮＯ）は、ステップＳ２０３へ処理が分岐される。最初のループでは、前の単語が存在しないので、そのまま、重ならないと判定される。また、２回目以降のループでも、取得した単語の開始時点の時間的位置が、前の単語の終了時点の時間的位置より後にある場合は、時間的に重ならないと判定される。ステップＳ２０３では、コンピュータは、取得した単語を出力用配列に追加し、ステップＳ２０５へ処理を進める。

【0071】

これに対して、ステップＳ２０２で、前の単語と重なると判定された場合（ＹＥＳ）は、ステップＳ２０４へ処理が分岐される。２回目以降のループにおいて、取得した一方のチャンネルの単語の開始時点の時間位置が、他方のチャンネルの前の単語の開始時点および終了時点の時間的位置の間にある場合は、時間的に重なると判定される。ステップＳ２０４では、コンピュータは、取得した単語を破棄し、出力用配列中の前単語をオーバラップ語に置き換えて、ステップＳ２０５へ処理を進める。

【0072】

ステップＳ２０５では、コンピュータは、当該学習データにおいて終端に達したか否かを判定する。ステップＳ２０５で、終端に達していないと判定された場合（ＮＯ）は、ステップＳ２０６へ処理が進められる。ステップＳ２０６では、コンピュータは、時間軸上で次になるＬチャンネルまたはＲチャンネルの単語を取得し、ステップＳ２０２へ処理をループさせる。一方、ステップＳ２０５で、終端に達したと判定された場合（ＹＥＳ）は、ステップＳ２０７へ分岐されて、図６に示す元の処理に制御が戻される。

【0073】

図１１および図１２は、ステレオ音声の書き起こしから言語モデル用書き起こしを作成する処理を説明する図である。図１１は、言語が日本語である場合を示し、図１２は、言語が英語である場合を例示する。

【0074】

図１１に示す例では、「じゃ」、「いい」、「です」、「よ」、「あ」、「よろしい」、「です」、「か」…という順で、単語が取得される。Ｒチャンネルの単語「あ」が取得される際には、Ｌチャンネルの前単語「よ」と重なると判定される。この場合、取得された単語「あ」が破棄され、出力用配列中にある前単語「よ」がオーバラップ語「＜＜ＯＶＬ＞＞」に置き換えられる。「ひとかぶ」、「ちゅうもん」、「でもさ」、「ちょっと」の単語系列についても同様の置き換えが行われる。

【0075】

また、図１２に示す例では、「okay」、「that's」、「all」、「right」、「uh-huh」「are」「you」「sure」…という順で、単語が取得される。Ｒチャンネルの単語「uh-huh」が取得された際には、Ｌチャンネルの前単語「right」と重なると判定される。この場合、単語「uh-huh」が破棄され、出力用配列中にある前単語「right」がオーバラップ語「＜＜ＯＶＬ＞＞」に置き換えられる。「your」、「order」、「wait」、「on」の単語系列についても同様の置き換えが行われる。

【0076】

なお、複数の単語にまたがって重複が生じる場合は、ステレオ音声のチャンネルのうちの重複にかかる単語数が大きい方の数のオーバラップ語に置き換えればよい。

【0077】

再び図６を参照すると、すべての学習データについてのループＳ１０１〜Ｓ１０４が終了すると、ステップＳ１０５へ処理が進められる。ステップＳ１０５では、コンピュータは、オーバラップ語含有言語モデル学習部１３６により、準備されたすべての学習データの言語モデル用モノラル音声書き起こしから、オーバラップ語含有言語モデル１３８を学習する。ステップＳ１０６では、コンピュータは、重み１４４の設定値を読み出し、統合の重み付けを判定する。ステップＳ１０７では、コンピュータは、言語モデル統合部１４０により、判定された重み付けに従って、オーバラップ語含有言語モデル１３８と、オリジナル言語モデル１４２とを統合し、最終的な言語モデル１０６を形成し、ステップＳ１０８で本処理を終了する。

【0078】

なお、図６では、音声認識システム１００を構成する単一のコンピュータが各ステップを行うものとして説明した。しかしながら、ステップ各々を、さらには各ステップにおけるサブステップ各々を、音声認識システム１００を構成する複数のコンピュータ間で並列分散実施することを妨げるものではない。

【0079】

（音響モデル構築）
以下、図８〜図１７を参照しながら、本実施形態における音響モデルの構築処理について、より詳細に説明する。

【0080】

図８は、本発明の実施形態による音声認識システム１００における音声認識モデル構築部１２０を構成する音響モデル構築部１５０のより詳細なブロック図である。図８に示すように、音響モデル構築部１５０は、音響モデル用モノラル音声書き起こし作成部１５２と、オーバラップ音素音響モデル学習部１５８と、音響モデル統合部１６４と、音響モデル改良部１６８とを含み構成される。

【0081】

音響モデル用モノラル音声書き起こし作成部１５２は、アライメント結果に基づき、ステレオ音声のチャンネル毎の書き起こしを時間軸に沿って連結し、合成モノラル音声１２６に対する書き起こしを作成する。その際には、書き起こし作成部１５２は、複数のチャンネル間で時間軸上重なる所定の書き起こし部分を、同時発話部分であることを示す単位（説明する実施形態では単語単位であり、オーバラップ語である。）に置き換える処理を行う。この作成された書き起こしを、音響モデル用モノラル音声書き起こし１５６と参照する。

【0082】

音響モデルでは、音素が抽出できる部分からは可能な限り音素を抽出することが好ましいため、時間軸上重なっている場合に一律にすべての書き起こし部分をオーバラップ語に置き換えることはしない。一方の音声が支配的である部分については、その支配的な方の書き起こし部分を使用して時間軸に沿って連結する。いずれの音声も支配的ではない同時発話、ひいては認識が難しい同程度の大きさの同時発話のみが、オーバラップ語に置き換えられる。

【0083】

そのため、本実施形態による音響モデル構築部１５０は、調整パラメータとして、いずれか一方が支配的であるかを判断するためのＳＮＲ（Signal to Noise Ratio）に対する閾値１５４を保持する。そして、音響モデル用モノラル音声書き起こし作成部１５２は、この閾値１５４に従って書き起こしの作成を行う。その際には、大きい方の音声が信号であり、小さい方の音声がノイズであるとした場合のＳＮＲと、閾値との比較が行われる。ＳＮＲが閾値（例えば１０ｄＢ）以上であれば、その大きい方の音声が支配的であると判断される。

【0084】

作成された音響モデル用モノラル音声書き起こし１５６は、合成モノラル音声１２６とセットとなり、オーバラップ語を含む書き起こし付き合成モノラル音声１２８として構成される。

【0085】

オーバラップ音素音響モデル学習部１５８は、作成された書き起こし付き合成モノラル音声１２８に基づき、合成モノラル音声におけるオーバラップ語にアライメントされる部分（その音声の時系列特徴量）から、同時発話部分を表すオーバラップ音素の音響モデルを学習する。ＨＭＭ−ＧＭＭシステムであれば、各対話について用意された学習データとなる合成モノラル音声のうちの、オーバラップ語にアライメントされるあらゆる部分を抽出し、それにオーバラップ音素を対応付けて、それを学習データとして用いて、オーバラップ音素に対応する状態数分のＧＭＭパラメータ｛μ_ｋ，σ_ｋ，ｗ_ｋ｝およびＨＭＭの状態遷移確率｛ａ_ｉｊ｝を学習する。この学習された音響モデルを、オーバラップ音素音響モデル１６０と参照する。

【0086】

音響モデル統合部１６４は、学習されたオーバラップ音素音響モデル１６０と、オリジナル音響モデル１６２とを結合して、音響モデル（１次）１６６を形成する。オリジナル音響モデル１６２は、オーバラップを含まない学習データなどから学習される、通常の音声認識で利用されていた音響モデルである。書き起こし付きステレオ音声１１２から学習された音響モデルであってもよいし、全く異なる学習データから学習された音響モデルであってもよい。

【0087】

なお、音響モデルの統合は、ＨＭＭ−ＧＭＭシステムの場合、通常の音素に対応するＨＭＭ−ＧＭＭに対し、オーバラップ音素に対応するＨＭＭ−ＧＭＭを組み合わせることで完了する。

【0088】

音響モデル改良部１６８は、形成された音響モデル（１次）１６６を初期値として、元となる書き起こし付きステレオ音声１１２および上述した処理で生成された書き起こし付き合成モノラル音声１２８を含む学習データを用いて、マルチコンディション学習を実施する。これにより、音響モデル（１次）１６６から改良された形で、音声認識モデルを構成する最終的な音響モデル（２次）１０６が与えられる。

【0089】

なお、音響モデル（１次）を最終的な音響モデルとして用いてもよいが、好適な実施形態では、マルチコンディション学習された音響モデル（２次）を最終的な音響モデルとして用いることができる。書き起こし付き合成モノラル音声１２８を学習データに含めることによって、一方の音声が支配的であるが重なりが発生した場合の特徴量に対しても、正解ラベルが関連付けられる。このため、全く重なりがない場合の特徴量にだけ正解ラベルが関連付けられた音響モデル（このような音響モデルは、同時発話部分であるが、ヒトであれば聞き取れるような一方が支配的な音声部分であっても、誤った音素として認識する可能性が比較的に高い）に比較して、同時発話部分であるが一方が支配的な音声部分をより精度高く認識することが可能となる。

【0090】

図９は、本発明の実施形態による音声認識システム１００における音響モデル構築処理を示すフローチャートである。図９に示す処理は、例えば音声認識システム１００を構成するコンピュータに対しユーザから音声認識モデル構築の指示が行われたことに応答して、ステップＳ３００から開始される。ステップＳ３０１〜ステップＳ３０４のループでは、音声認識システム１００を構成するコンピュータは、与えられた書き起こし付きステレオ音声１１２の学習データ毎に、ステップＳ３０２およびステップＳ３０３の処理を実行する。

【0091】

ステップＳ３０２では、コンピュータは、アライメント部１２２により、ステレオ音声の各チャンネルの音声および書き起こしの間の時間アライメントを取得する。なお、単語単位で同時発話部分を検知する場合、ここでは、少なくとも単語レベルでアライメントが取られればよく、図６に示したステップＳ１０２が既に行われていれば、重ねて行う必要はない。ステップＳ３０３では、コンピュータは、音響モデル用モノラル音声書き起こし作成部１５２を呼び出し、音響モデル用モノラル音声書き起こしを作成する処理を実行する。

【0092】

図１０は、図９に示したステップＳ３０３で呼び出される、音響モデル用モノラル音声書き起こし作成処理を示すフローチャートである。図１０に示す処理は、図９に示したステップＳ３０３で呼び出されて、ステップＳ４００から開始される。

【0093】

ステップＳ４０１では、コンピュータは、時間軸上先頭となるＬチャンネルまたはＲチャンネルの書き起こしにおける単語を取得する。ステップＳ４０２では、コンピュータは、取得した単語と、前の単語とが時間的に重なるか否かを判定する。ステップＳ４０２で、前の単語と重ならないと判定された場合（ＮＯ）は、ステップＳ４０３へ処理が分岐される。ステップＳ４０３では、コンピュータは、取得した単語を出力用配列に追加し、ステップＳ４０９へ処理を進める。

【0094】

これに対して、ステップＳ４０２で、前の単語と重なると判定された場合（ＹＥＳ）は、ステップＳ４０４へ処理が分岐される。ステップＳ４０４では、コンピュータは、取得した単語と比較して前の単語が支配的であるか否かを判定する。ステップＳ４０４で、前の単語が支配的であると判定された場合（ＹＥＳ）は、ステップＳ４０５へ処理が分岐される。ステップＳ４０５では、コンピュータは、取得した単語を破棄し、ステップＳ４０９へ処理を進める。

【0095】

これに対して、ステップＳ４０４で、前の単語が支配的ではないと判定された場合（ＮＯ）は、ステップＳ４０６へ処理が分岐される。ステップＳ４０６では、コンピュータは、さらに、前単語と比較して、取得した単語が支配的であるか否かを判定する。ステップＳ４０６で、取得した単語が支配的であると判定された場合（ＹＥＳ）は、ステップＳ４０７へ処理が分岐される。ステップＳ４０７では、コンピュータは、出力配列中の前単語を取得した単語で置き換え、ステップＳ４０９へ処理を進める。

【0096】

これに対して、ステップＳ４０６で、取得した単語が支配的ではないと判定された場合（ＮＯ）は、ステップＳ４０８へ処理が分岐される。この場合は、取得した単語および前単語のいずれも支配的ではない場合に対応する。ステップＳ４０８では、コンピュータは、取得した単語を破棄し、出力用配列中の前単語をオーバラップ語に置き換えて、ステップＳ４０９へ処理を進める。

【0097】

ステップＳ４０９では、コンピュータは、当該学習データにおいて終端に達したか否かを判定する。ステップＳ４０９で、終端に達していないと判定された場合（ＮＯ）は、ステップＳ４１０へ処理が進められる。ステップＳ４１０では、コンピュータは、時間軸上で次になるＬチャンネルまたはＲチャンネルの単語を取得し、ステップＳ４０２へ処理をループさせる。一方、ステップＳ４０９で、終端に達したと判定された場合（ＹＥＳ）は、ステップＳ４１１へ分岐されて、図９に示す元の処理に戻される。

【0098】

図１１および図１２には、ステレオ音声の書き起こしから音響モデル用書き起こしを作成する処理も説明されている。

【0099】

図１１に示す例では、前半では「じゃ」、「いい」、「です」、「よ」、「あ」、「よろしい」…という順で、単語が取得されている。Ｒチャンネルの単語「あ」が取得された際には、Ｌチャンネルの前単語「よ」と重なると判定される。しかしながら、Ｌチャンネルの単語「よ」の音声が大きく、かつ、ＳＮＲが閾値以上であるため、Ｌチャンネル側が支配的であると判定され、Ｒチャンネルの単語「あ」が破棄され、出力用配列はそのまま維持される。つまり、オーバラップ語への置き換えに代えて、支配的である方の書き起こし部分が採用されることになる。これに対して、後半では、「ひとかぶ」、「ちゅうもん」、「でもさ」、「ちょっと」という順で、単語が取得される。Ｌチャンネルの「でもさ」が取得された際には、Ｒチャンネルの前単語「ちゅうもん」と重なると判定される。ここでは、Ｒチャンネルの単語「ちゅうもん」の音声がいくらか大きいが、ＳＮＲが閾値より小さいため、いずれも支配的ではないと判定され、Ｌチャンネルの単語「でもさ」が破棄され、出力用配列中にある前単語「ちゅうもん」がオーバラップ語「＜＜ＯＶＬ＞＞」に置き換えられる。

【0100】

また、図１２に示す例では、前半では、「okay」、「that's」、「all」、「right」、「uh-huh」「are」…という順で、単語が取得される。Ｒチャンネルの単語「uh-huh」が取得された際には、Ｌチャンネルの前単語「right」と重なると判定される。しかしながら、Ｌチャンネルの「right」の音声が大きく、かつ、ＳＮＲが閾値以上であるため、Ｌチャンネル側が支配的であると判定され、Ｒチャンネルの単語「uh-huh」が破棄され、出力用配列はそのまま維持される。つまり、オーバラップ語への置き換えに代えて、支配的である方の書き起こし部分が採用される。これに対して、後半では、「your」、「order」、「wait」、「on」という順で、単語が取得される。Ｌチャンネルの「wait」が取得された際には、Ｒチャンネルの前単語「order」と重なると判定される。ここでは、Ｒチャンネルの単語「order」の音声がいくらか大きいが、ＳＮＲが閾値より小さいため、いずれも支配的ではないと判定され、Ｌチャンネルの単語「wait」が破棄され、出力用配列中にある前単語「order」がオーバラップ語「＜＜ＯＶＬ＞＞」に置き換えられる。

【0101】

図１１および図１２に示すように、作成されるモノラル音声書き起こしは、音響モデル用と言語モデル用とでは異なる結果となる可能性がある。

【0102】

再び図９を参照すると、すべての学習データについてのループＳ３０１〜Ｓ３０４が終了すると、ステップＳ３０５へ処理が進められる。ステップＳ３０５では、コンピュータは、オーバラップ音素音響モデル学習部１５８により、作成されたすべての学習データの合成モノラル音声うちの同時発話部分を有するものの、オーバラップ語にアライメントされた部分から、オーバラップ音素音響モデル１６０を学習する。

【0103】

図１３および図１４は、合成モノラル音声の書き起こしのオーバラップ語にアライメントされた音声部分を説明する図である。図１３は、言語が日本語である場合を示し、図１４は、言語が英語である場合を例示する。なお、音声部分は、音声分析部１０２により、時系列特徴量に変形されているが、ここでは、説明の便宜上、音声波形の部分に対応付けて示している点に留意されたい。

【0104】

図１３の例では、Ｒチャンネルの単語「ちゅうもん」と、Ｌチャンネルの単語「でもさ」とが、モノラル音声書き起こしにおいて、同時発話部分を表すオーバラップ語「＜＜ＯＶＬ＞＞」に置き換えられている。また、図１４の例では、Ｒチャンネルの単語「order」と、Ｌチャンネルの単語「wait」とが、モノラル音声書き起こしにおいて、同時発話部分を表すオーバラップ語「＜＜ＯＶＬ＞＞」に置き換えられている。

【0105】

そして、このオーバラップ語「＜＜ＯＶＬ＞＞」に時間軸上アライメントされる音声部分（音声の時系列特徴量）が、オーバラップ語に対応するオーバラップ音素に対応付けられて、学習データを構成し、この学習データに基づいて、オーバラップ音素音響モデル１６０が学習される。

【0106】

なお、説明する実施形態では、単語単位で同時発話部分を検知し、同時発話部分であることを示す単位を単語単位とし、オーバラップ語に置き換えを行うものとして説明したが、これに限定されるものではない。他の実施形態では、音素単位で同時発話部分を検出し、同時発話部分であることを示す単位を音素単位として置き換えを行ってもよい。

【0107】

図１５および図１６は、音素単位で同時発話部分の検出を行う場合の書き起こしのオーバラップ単位にアライメントされた音声部分を説明する図である。図１５は、言語が日本語である場合を示し、図１６は、言語が英語である場合を例示する。なお、音声部分は、音声分析部１０２により、時系列特徴量に変形されているが、ここでは、説明の便宜上、音声波形の部分に対応付けて示している点に留意されたい。

【0108】

図１０に示す音響モデル用モノラル音声書き起こし作成処理において、単語単位で処理を行うものしていたが、音素単位で同時発話部分の検出を行う場合は、単語に代えて音素の単位で処理を取り扱えばよい。またその場合は、図９に示すステップＳ３０２では、音素レベルでアライメントを取ればよい。

【0109】

図１５の例では、Ｒチャンネルの単語「ちゅうもん」に対応する音素列ののうちの一部（「ｍ」，「ｏ」，「Ｎ」）と、Ｌチャンネルの単語「でもさ」の音素列のうちの一部（「ｄ」，「ｅ」，「ｍ」，「ｏ」，「ｓ」）とが、モノラル音声書き起こしにおいて、同時発話部分としてオーバラップ単位「＜＜ＯＶＬ＞＞」に置き換えられている。また、図１６の例では、Ｒチャンネルの単語「order」の音素列の一部と、Ｌチャンネルの単語「wait」の音素列の一部とが、モノラル音声書き起こしにおいて、同時発話部分を表すオーバラップ単位「＜＜ＯＶＬ＞＞」に置き換えられている。

【0110】

そして、このオーバラップ単位に時間軸上アライメントされる音声部分（音声の時系列特徴量）が、オーバラップ単位に対応するオーバラップ音素に対応付けられて、学習データを構成し、この学習データに基づいて、オーバラップ音素音響モデル１６０が学習される。このように、オーバラップを検出する単位を単語単位から音素単位に変更してもよい。

【0111】

再び図９を参照すると、ステップＳ３０６では、コンピュータは、音響モデル統合部１６４により、オーバラップ音素音響モデル１６０とオリジナル音響モデル１６２とを統合し、音響モデル（１次）１６６を形成する。ステップＳ３０７では、音響モデル改良部１６８により、音響モデル（１次）１６６を初期値として、書き起こし付きステレオ音声１１２と、オーバラップ語を含む書き起こし付き合成モノラル音声１２８とから、マルチコンディション学習を行って、最終的な音響モデル（２次）１０８を形成し、ステップＳ３０８で本処理を終了する。なお、音響モデル（１次）１６６をそのまま最終的な音響モデルとして用いる他の実施形態では、ステップＳ３０６からステップＳ３０８へ直接進めて、本処理を終了することになる。

【0112】

なお、図９では、音声認識システム１００を構成する単一のコンピュータが各ステップを行うものとして説明した。しかしながら、ステップ各々を、さらには各ステップにおけるサブステップ各々を、音声認識システム１００を構成する複数のコンピュータ間で並列分散実施することを妨げるものではない。

【0113】

また、図８および図９に示す音響モデル構築処理では、一旦、オーバラップ音素音響モデル１６０を構築し、それをオリジナル音響モデル１６２と統合し、得られた音響モデル（１次）１６６を初期値として、さらにマルチコンディション学習することにより、最終的な音響モデル（２次）１０８を得ていた。しかしながら、最終的な音響モデルを得る方法は、これに限定されるものではない。

【0114】

図１７は、本発明の他の実施形態による音声認識システム１００における音響モデル構築部２５０のより詳細なブロック図である。図１７に示すように、他の実施形態による音響モデル構築部２５０は、音響モデル用モノラル音声書き起こし作成部２５２と、オーバラップ音素含有音響モデル学習部２５８とを含み構成される。

【0115】

音響モデル用モノラル音声書き起こし作成部２５２は、図８に示した実施形態と同様に、アライメント結果に基づき、ステレオ音声のチャンネル毎の書き起こしを時間軸に沿って連結し、合成モノラル音声１２６に対する音響モデル用モノラル音声書き起こし２５６を作成する。作成された音響モデル用モノラル音声書き起こし２５６は、合成モノラル音声１２６とセットとなり、オーバラップ語を含む書き起こし付き合成モノラル音声１２８として構成される。

【0116】

オーバラップ音素含有音響モデル学習部２５８は、元となる書き起こし付きステレオ音声１１２および上述した処理で生成された書き起こし付き合成モノラル音声１２８を含む学習データを用いたマルチコンディション学習を実施することにより、音声認識モデルを構成する最終的な音響モデル（２次同等）１０６を直接、フルスクラッチで構築する。音響モデル（２次同等）１０６には、書き起こし付き合成モノラル音声１２８におけるオーバラップ語に対応したオーバラップ音素の音響モデルが含まれる。マルチコンディション学習により、通常の音素およびオーバラップ音素を含む複数の音素に対応する状態数分のＧＭＭパラメータ｛μ_ｋ，σ_ｋ，ｗ_ｋ｝およびＨＭＭの状態遷移確率｛ａ_ｉｊ｝が学習される。

【0117】

この場合も、書き起こし付き合成モノラル音声１２８が学習データに含められているので、一方の音声が支配的な発話の重なりが発生した場合の特徴量に対して、正解ラベルが関連付けられる。このため、一方が支配的な同時発話部分をより精度高く認識することが可能となる。

【0118】

（音声認識）
以下、上述したように構成された言語モデル１０６および音響モデル１０８を用いた音声認識処理について説明する。

【0119】

再び図１を参照する。音声認識部１０４は、上記言語モデル１０６および音響モデル１０８を統合して、最尤の単語系列を探索する。上述したように音声認識部１０４は、入力された音声の時系列特徴量Ｘに基づき、目的関数が最大になる単語系列Ｗ＾を決定する。

【0120】

目的関数は、上記（数１）に示したｌｏｇ ｐ（Ｘ｜Ｗ）＋ｌｏｇ ｐ（Ｗ）をそのまま用いてもよいが、好適には、単語系列Ｗに含まれる単語の数Ｉ、音響モデルおよび言語モデルのどちらに重きを置くかを調整するパラメータα、単語の個数が増えすぎることを防ぐ挿入ペナルティを調整するパラメータβを導入して、ｌｏｇ ｐ（Ｘ｜Ｗ）＋αｌｏｇ ｐ（Ｗ）＋βＩを用いることができる。決定の際は、典型的には、現実的な計算時間内で妥当な認識結果が得られるように、所定のデコーディング・アルゴリズムを用いて、適切に探索および枝狩りが行われる。

【0121】

上述した構築処理により構築された言語モデル１０６および音響モデル１０８を用いた音声認識においては、言語モデルにオーバラップ語が含められているため、同時発話を言語的に予測することが可能である。また、音響モデル１０８には、オーバラップ語に対応するオーバラップ音素が含められる。より好適には、認識が難しい同程度の大きさの同時発話のみが、オーバラップ音素の音響モデルを学習するための学習データに含まれ、相手方の声が小さなノイズとして含まれる、認識できる可能性がある音声が、通常の音素の音響モデルを学習するための学習データに含められる。このため、音声認識が難しい同時発話箇所のみを識別し、認識できる可能性のある同時発話箇所を適切に音声認識することが可能となる。ひいては、同時発話が発生し得る複数話者のモノラル音声であっても、同時発話部分を識別しながら音声認識することが可能となる。特に同時発話部分が言語的に予測されるので、バースト誤りの発生が抑制され、ひいては、音声認識の精度の向上が図られる。

【0122】

例えば、あるモノラル音声に対して、「これはですね（同時発話発生）もうマ当然グローバル対応なんかも考えて」という正解ラベルが与えられる場合を考える。同時発話を考慮しない言語モデルおよび音響モデルでは、「これはですねマもうマまとめグローバル対応なんかも考えて」というような音声認識結果が得られる。これは、同時発話部分の影響により、「当然」とすべき箇所が「まとめ」となる置換誤りが発生している例である。これに対して、本発明の実施形態による言語モデル１０６および音響モデル１０８では、例えば、「これはちょっとですね＜＜ＯＶＬ＞＞マもうマ当然グローバル対応なんかも考えて」という音声認識結果が得られる。これは、同時発話発生部分は同時発話部分として認識し、置換誤りの発生を防止して認識している例である。

【0123】

このように、本発明の実施形態による言語モデル１０６および音響モデル１０８によれば、バースト誤りとして置換誤りおよび挿入誤りに含まれていた同時発話部分がガーベージモデルに吸収され、結果として、置換誤りおよび挿入誤りを減少させ、全体として有意な認識精度の向上が得られる。

【0124】

なお、同時発話部分として識別された箇所は、不要であるとして、出力する音声認識結果から削除されてもよい。この場合、上述したオーバラップ語を含む言語モデル１０６とオーバラップ語に対応するオーバラップ音素を含む音響モデル１０８とは、同時発話部分をごみとして捨てるガーベージモデルを含んだ音声認識モデルということができる。あるいは、同時発話部分として識別された箇所に、同時発話部分であるとの属性情報を付して音声認識結果に含めてもよい。このように属性情報を付す場合、例えば、その属性情報が付された部分を、すべての部分に対して実施した場合に計算量の観点から見合わないようなより高度な音声認識処理を適用し、可能な限りの音声認識を試みることができる。

【0125】

また、説明する実施形態では、音声認識モデルを構成する言語モデル１０６および音響モデル１０８は、本発明の実施形態による言語モデル構築方法および音響モデル構築方法により作成されたものであった。しかしながら、言語モデル１０６および音響モデル１０８の一方を別の方法で作成することを妨げない。他の実施形態では、所定規則に従って（例えば一定確率で）同時発話が発生するとして、同時発話部分であることを示す言語単位（オーバラップ語）が含まれる言語モデルを形成し、この言語モデルと、上述した音響モデル１０８を組み合わせて、音声認識モデルを構築することもできる。

【0126】

（ハードウェア構成）
以下、上記実施形態による音声認識システムを実現するコンピュータ装置について説明する。図１８は、本実施形態の音声認識システム１００を実現するコンピュータ装置の概略的なハードウェア構成を示す。図１８に示すコンピュータ装置は、中央処理装置（ＣＰＵ）１２と、ＣＰＵ１２が使用するデータの高速アクセスを可能とするＬ１およびＬ２などのレベルを有するキャッシュ・メモリ１４と、ＣＰＵ１２の処理を可能とするＤＲＡＭなどの固体メモリ素子から形成されるシステム・メモリ１６とを備えている。

【0127】

ＣＰＵ１２、キャッシュ・メモリ１４およびシステム・メモリ１６は、システム・バス１８を介して、他のデバイスまたはドライバ、例えば、グラフィックス・ドライバ２０およびネットワーク・インタフェース・カード（ＮＩＣ）２２へと接続されている。グラフィックス・ドライバ２０は、バスを介して外部のディスプレイ２４に接続されて、ＣＰＵ１２による処理結果をディスプレイ画面上に表示させることができる。また、ＮＩＣ２２は、物理層レベルおよびデータリンク層レベルでコンピュータ装置１０を、ＴＣＰ／ＩＰなどの適切な通信プロトコルを使用するネットワークへと接続している。

【0128】

システム・バス１８には、さらにＩ／Ｏバス・ブリッジ２６が接続されている。Ｉ／Ｏバス・ブリッジ２６の下流側には、ＰＣＩなどのＩ／Ｏバス２８を介して、ＩＤＥ、ＡＴＡ、ＡＴＡＰＩ、シリアルＡＴＡ、ＳＣＳＩ、ＵＳＢなどにより、ハードディスク装置３０が接続されている。また、Ｉ／Ｏバス２８には、ＵＳＢなどのバスを介して、キーボードおよびマウスなどのポインティング・デバイスなどの入力装置３２が接続されていて、この入力装置３２によりユーザ・インタフェースが提供される。Ｉ／Ｏバス２８には、さらに、マイクロフォンなどの録音デバイスを接続してもよい。

【0129】

コンピュータ装置のＣＰＵ１２としては、いかなるシングルコア・プロセッサまたはマルチコア・プロセッサを用いることができる。コンピュータ装置は、ＷＩＮＤＯＷＳ（登録商標）２００Ｘ、ＵＮＩＸ（登録商標）、ＬＩＮＵＸ（登録商標）などのオペレーティング・システム（以下、ＯＳとして参照する。）により制御される。コンピュータ装置は、上記ＯＳの管理の下、システム・メモリ１６上などにプログラムを展開し、プログラムを実行し、各ハードウェア資源を動作制御することによって、上述した機能部の構成および処理をコンピュータ上に実現する。

【0130】

（実験）
パーソナル・コンピュータを用いて、通常の方法でオリジナル言語モデルおよびオリジナル音響モデルを構築し、さらに、上述した実施形態による音声認識システム構築処理により、オリジナル言語モデルおよびオリジナル音響モデルと統合して、それぞれオーバラップ語およびオーバラップ音素を含む言語モデルおよび音響モデルを構築した。

【0131】

学習データ
学習データとしては、実際の音声通話記録のステレオ音声と、その人手による各チャンネルの書き起こしのセット（１５０時間分）を用意した。なお、音声および書き起こしの言語は、日本語である。音響モデルの学習のため、ステレオ音声の各チャンネルの音声を合成し、合成モノラル音声を作成した。音声データは、サンプリングレート８ｋＨｚ、１６ビットで準備し、フレーム長２５ｍｓｅｃの時間窓、フレーム周期１０ｍｓｅｃで音響分析を行った。各フレーム毎にＰＬＰの合計１３次元の特徴量ベクトルを算出した。

【0132】

言語モデル構築
言語モデルは、単語３−ｇｒａｍとした。スムージング・アルゴリズムは、Ｍｏｄｉｆｉｅｄ Ｋｎｅｓｅｒ−Ｎｅｙアルゴリズムを用いた。オリジナル言語モデル１４２は、学習データとして与えられたステレオ音声１１２の各チャネルの書き起こしを用いて学習した。また、学習データとして与えられた書き起こし付きステレオ音声１１２を強制アライメントし、時間軸上重なる書き起こし部分を識別し、検出されたすべての部分をオーバラップ語に置き換えて、合成モノラル音声に対応する言語モデル用書き起こし１３４を作成した。言語モデル用書き起こし１３４を学習データとして、オーバラップ語含有言語モデル１３８を学習した。オリジナル言語モデル１４２と、オーバラップ語含有言語モデル１３８とを、オリジナル８に対してオーバラップ語含有２の重み付けで統合し、最終的な言語モデル１０６を得た。

【0133】

音響モデル構築
音響モデルは、ＨＭＭ−ＧＭＭシステムとして構築した。オリジナル音響モデル１６２は、学習データとして与えられたステレオ音声の各チャネルの音声および書き起こしを用いて学習した。各音素毎に３状態ｌｅｆｔ−ｔｏ−ｒｉｇｈｔ型のＨＭＭでモデル化を行い、前後音素コンテキストを考慮したトライフォンモデルの学習を行った。その際には、決定木アルゴリズムに基づき、音響的特徴が類似したトライフォンのグループで状態共有をし、状態数４５００およびガウシアン数１５００００のモデルを学習した。なお、特徴量空間の識別学習（ｂＭＭＩ基準）を行い、音響モデルの学習には、音響モデルの識別学習（ｂＭＭＩ基準）を行い、ＭＬＬＲ（Maximum Likelihood Linear Regression）適応を行った。

【0134】

オーバラップ音素音響モデル１６０を学習するため、学習データとして与えられた書き起こし付きステレオ音声を強制アライメントし、時間軸上重なる書き起こし部分を識別して、その検出された部分のうちの、大きい方の音声を信号とし小さい方の音声をノイズとして計算されるＳＮＲが１０ｄＢを下回ったものをオーバラップ語に置き換えて、合成モノラル音声に対応するオーバラップ語を含む音響モデル用書き起こし１５６を作成した。その際に、ＳＮＲが１０ｄＢ以上あった場合は、大きい方の音声の書き起こしを連結させた。そして、音響モデル用書き起こし１５６中のオーバラップ語にアライメントされる合成モノラル音声中の部分を学習データとして、これを新たに定義したオーバラップ音素に対応付けて、オーバラップ音素音響モデル１６０を作成した。オーバラップ音素についても、３状態ｌｅｆｔ−ｔｏ−ｒｉｇｈｔ型のＨＭＭでモデル化を行った。なお、オーバラップ音素については、モノフォンとして取り扱った。そして、オリジナル音響モデル１６２と、オーバラップ音素音響モデル１６０とを統合し、音響モデル（１次）１６６を得た。

【0135】

さらに、書き起こし付きステレオ音声および書き起こし付きモノラル音声のすべての学習データを用いて、作成された上記音響モデル（１次）を初期値として、マルチコンディション学習を行い、最終的な音響モデル（２次）を得た。

【0136】

音声認識結果
上記で作成されたオリジナル言語モデル１４２、オリジナル音響モデル１６２、言語モデル１０６、音響モデル（１次）１６６および音響モデル（２次）１０８を用いて、実際の通話音声のモノラル音声を音声認識し、その文字誤り率（ＣＥＲ，Character Error Rate）を求め、置換誤り数、挿入誤り数および削除誤り数を計数した。その音声認識実験の結果を下記表１に示す。下記表１中、基準手法は、オリジナル言語モデル１４２およびオリジナル音響モデル１６２を用いた音声認識に対応する。

【0137】

【表1】

【0138】

表１を見ると明らかなように、本実施形態による言語モデル１０６および音響モデル１６６，１０８を用いる場合は、音響モデル（１次）１６６を用いる場合でも、基準手法に比較して、ＣＥＲが有意に改善していることが分かる。基準手法のＣＥＲをベースラインとして計算したＣＥＲ相対改善率をみると、音響モデル（１次）１６６を使う場合で２％弱改善し、音響モデル（２次）１０８を使う場合には３％弱改善していることがわかる。置換誤り数、挿入誤り数および削除誤り数を見てみると、削除誤り数がわずかに増加するものの、置換誤り数および挿入誤り数が大幅に減少し、全体としてＣＥＲが改善していることが分かる。これは、バースト誤りとして置換誤りおよび挿入誤りに含まれていた同時発話部分をガーベージモデルが好適に吸収しているためであると考えられる。なお、音響モデル（２次）１０８を用いた方が、音響モデル（１次）１６６を用いるより、ＣＥＲが改善されるは、マルチコンディション学習により、通常の音素の音響モデルの学習データに、小さなノイズとして同時発話部分を含ませているためと考えられる。

【0139】

以上説明したように、本発明の実施形態によれば、複数の話者の音声が混合する話者混合音声に対し同時発話部分を識別可能な音声認識モデルを効率的に構築することができる構築方法、コンピュータ・システム、プログラムおよび記録媒体を提供することができる。さらに、本発明の実施形態によれば、話者混合音声に対し同時発話部分を識別可能な音声認識モデルによる音声認識方法、音声認識装置およびプログラムを提供することができる。

【0140】

なお、本発明につき、発明の理解を容易にするために各機能部および各機能部の処理を記述したが、本発明は、上述した特定の機能部が特定の処理を実行するほか、処理効率や実装上のプログラミングなどの効率を考慮して、いかなる機能部に、上述した処理を実行するための機能を割当てることができる。

【0141】

また、本発明では、好適に適用できる言語としては、上記例示した日本語、英語の他、中国語、アラビア語、ドイツ語、フランス語、ロシア語、韓国語など、上述した以外の言語についても適用可能である。

【0142】

本発明の上記機能は、Ｃ＋＋、Ｊａｖａ（登録商標）、Ｊａｖａ（登録商標）Ｂｅａｎｓ、Ｊａｖａ（登録商標）Ａｐｐｌｅｔ、ＪａｖａＳｃｒｉｐｔ（登録商標）、Ｐｅｒｌ、Ｐｙｔｈｏｎ，Ｒｕｂｙなどのオブジェクト指向プログラミング言語などで記述された装置実行可能なプログラムにより実現でき、装置可読な記録媒体に格納して頒布または伝送して頒布することができる。

【0143】

これまで本発明を、特定の実施形態をもって説明してきたが、本発明は、実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

【符号の説明】

【0144】

１００…音声認識システム、１０２…音声分析部、１０４…音声認識部、１０６…言語モデル、１０８…音響モデル、１１０…辞書、１１２…書き起こし付きステレオ音声、１２０…音声認識モデル構築部、１２２…アライメント部、１２４…音声合成部、１２６…合成モノラル音声、１２８…書き起こし付き合成モノラル音声、１３０…言語モデル構築部、１３２…言語モデル用モノラル音声書き起こし作成部、１３４…言語モデル用モノラル音声書き起こし、１３６…オーバラップ語含有言語モデル学習部、１３８…オーバラップ語含有言語モデル、１４０…言語モデル統合部、１４２…オリジナル言語モデル、１５０，２５０…音響モデル構築部、１５２，２５２…音響モデル用モノラル音声書き起こし作成部、１５４，２５４…閾値、１５６，２５６…音響モデル用モノラル音声書き起こし、１５８…オーバラップ音素音響モデル学習部、１６０…オーバラップ音素音響モデル、１６２…オリジナル音響モデル、１６４…音響モデル統合部、１６６…音響モデル（１次）、１６８…音響モデル改良部、２５８…オーバラップ音素含有音響モデル学習部、１２…ＣＰＵ、１４…キャッシュ・メモリ、１６…システム・メモリ、１８…システム・バス、２０…グラフィックス・ドライバ、２２…ＮＩＣ、２４…ディスプレイ、２６…Ｉ／Ｏバス・ブリッジ、２８…Ｉ／Ｏバス、３０…ハードディスク装置、３２…入力装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】