特許 6985221 音声認識装置及び音声認識方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6985221

(24)【登録日】2021年11月29日

(45)【発行日】2021年12月22日

(54)【発明の名称】音声認識装置及び音声認識方法

(51)【国際特許分類】

   G10L 15/06 20130101AFI20211213BHJP

   G10L 15/28 20130101ALI20211213BHJP

【ＦＩ】

   G10L15/06 300Y

   G10L15/28 353

【請求項の数】6

【全頁数】15

(21)【出願番号】特願2018-136203(P2018-136203)

(22)【出願日】2018年7月19日

(65)【公開番号】特開2020-13034(P2020-13034A)

(43)【公開日】2020年1月23日

【審査請求日】2020年11月5日

(73)【特許権者】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110001678

【氏名又は名称】特許業務法人藤央特許事務所

(72)【発明者】

【氏名】神田 直之

【審査官】 西村 純

(56)【参考文献】

【文献】 特表２０１７−５１５１４０（ＪＰ，Ａ）

【文献】 Seki et al.，A Purely End-to-end System for Multi-speaker Speech Recognition，arXiv:1805.05826v1，2018年05月15日

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ１０Ｌ １３／００−９９／００

(57)【特許請求の範囲】

【請求項1】

プロセッサとメモリを有する音声認識装置であって、
複数の話者の音声が混合された第１の音声データから第１の音声特徴量を算出する音声特徴量算出部と、
前記第１の音声データに含まれる各音声の書き起こしデータおよび各音声の発話の順序を格納した発話順序情報と、
前記第１の音声特徴量と前記発話順序情報に基づいて音響モデルを学習する学習部と、
を有することを特徴とする音声認識装置。

【請求項2】

請求項１に記載の音声認識装置であって、
前記音声特徴量算出部に複数の話者の音声が混合された第２の音声データから第２の音声特徴量を算出させ、発話の順序を受け付けて、前記音響モデルを用いて前記第２の音声特徴量と前記発話の順序に基づいて音声認識を実施する認識部を、さらに有することを特徴とする音声認識装置。

【請求項3】

請求項１に記載の音声認識装置であって、
前記音声特徴量算出部に複数の話者の音声が混合された第２の音声データから第２の音声特徴量を算出させ、前記音響モデルを用いて前記第２の音声特徴量に対して音声認識を実施して前記発話の順序毎に音声認識結果を算出し、当該音声認識結果が算出されなくなるまで前記音声認識を実施する認識部を、さらに有することを特徴とする音声認識装置。

【請求項4】

プロセッサとメモリを有する計算機で音声の認識を行う音声認識方法であって、
前記計算機が、複数の話者の音声が混合された第１の音声データから第１の音声特徴量を算出する第１のステップと、
前記計算機が、前記第１の音声データに含まれる各音声の書き起こしデータおよび各音声の発話の順序を格納した発話順序情報を取得する第２のステップと、
前記計算機が、前記第１の音声特徴量と前記発話順序情報に基づいて音響モデルを学習する第３のステップと、
を含むことを特徴とする音声認識方法。

【請求項5】

請求項４に記載の音声認識方法であって、
前記計算機が、複数の話者の音声が混合された第２の音声データから第２の音声特徴量を算出する第４のステップと、
前記計算機が、発話の順序を受け付ける第５のステップと、
前記計算機が、前記音響モデルを用いて前記第２の音声特徴量と前記発話の順序に基づいて音声認識を実施する第６のステップと、
をさらに含むことを特徴とする音声認識方法。

【請求項6】

請求項４に記載の音声認識方法であって、
前記計算機が、複数の話者の音声が混合された第２の音声データから第２の音声特徴量を算出する第４のステップと、
前記計算機が、前記音響モデルを用いて前記第２の音声特徴量に対して音声認識を実施して前記発話の順序毎に音声認識結果を算出し、当該音声認識結果が算出されなくなるまで前記音声認識を実施する第７のステップと、
をさらに含むことを特徴とする音声認識方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数の話者の音声を認識するための音声認識装置及び音声認識方法に関する。

【背景技術】

【0002】

複数の話者の音声が混合された音声データについて音声認識を行う際には、話者毎に音源を分離することが望まれている。音源を分離する技術としては、非特許文献１〜６や特許文献１が知られている。

【0003】

非特許文献１には、音量の大きい音声を認識する音源モデルと、音量の小さい音声を認識する音源モデルの２つの音響モデルを学習する技術が開示されている。

【0004】

非特許文献２には、複数の話者の音声が混在した音声データについて、ＦＦＴ（Fast Fourier Transform）を用いて周波数と時間の空間を生成し、空間内の所定領域をクラスタリングして異なる話者を特定する技術が開示されている。

【0005】

非特許文献３には、音声と雑音が混在した音声データについて、ＦＦＴを用いて周波数と時間の空間を生成し、空間内の所定領域をニューラルネットワークで学習させ、音声と雑音を分離する技術が開示されている。

【0006】

非特許文献４には、複数の話者の音声が混在した音声データの特徴量と、抽出したい話者の音声特徴量をニューラルネットワークで学習させて、特定の話者の音声を抽出する技術が開示されている。

【0007】

非特許文献５には、複数の話者の音声が混在した音声データの特徴量を、２つの出力を有するニューラルネットワークで学習させて、２つの音源分離または２つの音声認識結果が最善となるモデルを生成する技術が開示されている。

【0008】

非特許文献６には、複数の話者の音声が混在した音声データの特徴量を、ニューラルネットワークで繰り返して学習させて、複数の話者を探索する技術が開示されている。

【0009】

特許文献１には、特定の話者の特定の発話を除外するようにニューラルネットワークで学習させておき、複数の話者の音声が混在した音声データから特定の話者の特定の発話を除外して音声認識を行う技術が開示されている。

【先行技術文献】

【特許文献】

【0010】

【特許文献1】特開２０１６−０４２１５２号公報

【非特許文献】

【0011】

【非特許文献1】Chao Weng 他著、“Deep Neural Networks for Single-Channel Multi-Talker Speech Recognition”、IEEE/ACM TRANSACTIONS ON AUDIO, SPEECH, AND LANGUAGE PROCESSING, VOL. 23, NO. 10, OCTOBER 2015

【非特許文献2】John R. Hershey、Zhuo Chen、Jonathan Le Roux、Shinji Watanabe著、“Deep clustering: Discriminative embeddings for segmentation and separation”

【非特許文献3】Jahn Heymann、 Lukas Drude、 Reinhold Haeb-Umbach、Shinji Watanabe著、“NEURAL NETWORK BASED SPECTRAL MASK ESTIMATION FOR ACOUSTIC BEAMFORMING”、University of Paderborn, Department of Communications Engineering

【非特許文献4】Katerina Zmolikova, Marc Delcroix, Keisuke Kinoshita, Takuya Higuchi,Atsunori Ogawa, Tomohiro Nakatani著、“LEARNING SPEAKER REPRESENTATION FOR NEURAL NETWORK BASED MULTICHANNEL SPEAKER EXTRACTION”、NTT Communication Science Laboratories, NTT Corporation, Kyoto, Japan

【非特許文献5】Dong Yu, Morten Kolbak, Zheng-Hua Tan, Jesper Jensen著、“PERMUTATION INVARIANT TRAINING OF DEEP MODELS FOR SPEAKER-INDEPENDENT MULTI-TALKER SPEECH SEPARATION”

【非特許文献6】Keisuke Kinoshita, Lukas Drude, Marc Delcroix, Tomohiro Nakatani著、“LISTENING TO EACH SPEAKER ONE BY ONE WITH RECURRENT SELECTIVE HEARING NETWORKS”、NTT Communication Science Laboratories, NTT Corporation, Kyoto, Japan

【発明の概要】

【発明が解決しようとする課題】

【0012】

しかし、上記非特許文献１の技術では、２つを超える音源について音声認識を行うことは難しい。また、非特許文献２の技術では、任意の数の話者を分離することが可能ではあるが、音声認識に適した音源の分離とはならない、という問題があった。

【0013】

非特許文献３の技術では、音声と雑音の分離は可能であるが、複数の話者の音声を分離することは考慮されていない、という問題があった。非特許文献４の技術では、複数の音声の中から抽出対象の話者の発話を認識することはできるが、抽出対象以外の話者の音声については認識できない、という問題があった。

【0014】

また、非特許文献５の技術では、ニューラルネットワークに設定した出力の数に応じて複数の音声を分離して認識することはできるが、予め設定された出力の数を超える音声については分離することができない、という問題があった。

【0015】

非特許文献６の技術では、任意の数の話者を探索することはできるが、音声認識に適した音源の分離とはならない、という問題があった。また、特許文献１の技術では、複数の話者の音声から、特定の話者の特定の単語を除外することはできるが、任意の数の話者の音声を分離することは難しい、という問題があった。

【0016】

そこで本発明は、上記問題点に鑑みてなされたもので、複数の話者の音声を分離して音声認識を実現することを目的とする。

【課題を解決するための手段】

【0017】

本発明は、プロセッサとメモリを有する音声認識装置であって、複数の話者の音声が混合された第１の音声データから第１の音声特徴量を算出する音声特徴量算出部と、前記第１の音声データに含まれる各音声の書き起こしデータおよび各音声の発話の順序を格納した発話順序情報と、前記第１の音声特徴量と前記発話順序情報に基づいて音響モデルを学習する学習部と、を有する。

【発明の効果】

【0018】

したがって、本発明によれば、複数の話者の音声から話者毎に音声を分離して、音声認識を実行することが可能となる。

【図面の簡単な説明】

【0019】

【図1】本発明の実施例１を示し、音声認識装置の一例を示すブロック図である。

【図2】本発明の実施例１を示し、音声認識装置で行われる学習処理の一例を示す図である。

【図3】本発明の実施例１を示し、学習処理の一例を示すフローチャートである。

【図4】本発明の実施例１を示し、ニューラルネットワークの一例を示す図である。

【図5】本発明の実施例１を示し、音声認識装置で行われる音声認識処理の一例を示す図である。

【図6】本発明の実施例１を示し、音声認識処理の一例を示すフローチャートである。

【図7】本発明の実施例２を示し、ニューラルネットワークの音声認識処理の一例を示す図である。

【図8】本発明の実施例２の変形例を示し、音声認識処理の一例を示すフローチャートである。

【図9】本発明の実施例３を示し、音声認識システムの一例を示すブロック図である。

【図10】本発明の実施例３を示し、音声認識装置の一例を示すブロック図である。

【図11】本発明の実施例３を示し、ニューラルネットワークの学習処理の一例を示す図である。

【発明を実施するための形態】

【0020】

以下、本発明の実施形態を添付図面に基づいて説明する。

【実施例1】

【0021】

図１は、本発明の実施例１を示し、音声認識装置１００の一例を示すブロック図である。音声認識装置１００は、プロセッサ１と、メモリ２と、ストレージ装置３と、入力装置４と、出力装置５と、ネットワークインタフェース６を含む計算機で構成される。

【0022】

メモリ２には、前処理部１０と、特徴量算出部２０と、学習部３０と、認識部４０がプログラムとしてロードされ、プロセッサ１によって実行される。ストレージ装置３には、各プログラムが利用するデータ等が格納され、本実施例１では、学習用音声データ３１と、認識用音声データ３２と、音響モデル３３と、言語モデル３４が格納される。

【0023】

入力装置４は、マウスやキーボードあるいはタッチパネルなどで構成される。出力装置５は、ディスプレイなどで構成される。ネットワークインタフェース６は、図示しないネットワークに接続される。

【0024】

前処理部１０は、学習部３０や認識部４０へ入力するデータを、音声データと発話順序情報に分離する。学習部３０は、学習用音声データ３１を入力して特徴量算出部２０で音声特徴量を算出し、当該音声特徴量をニューラルネットワークで学習し、音響モデル３３を生成する。ニューラルネットワークとしては、例えば、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）やＬＳＴＭ（Ｌｏｎｇ ｓｈｏｒｔ−ｔｅｒｍ ｍｅｍｏｒｙ）を用いることができる。

【0025】

また、音響モデル３３は、ニューラルネットワークによって算出されたＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ：隠れマルコフモデル）の各状態の出力確率分布を含む。なお、音響モデル３３は、ＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ディープニューラルネットワーク）であってもよい。

【0026】

認識部４０は、認識用音声データ３２を入力して特徴量算出部２０で音声特徴量を算出し、音響モデル３３を用いて音素の確率を出力する。認識部４０は、さらに各音素の確率と、言語モデル３４から算出される言語スコアを用いて、最も確率の高い単語列を認識結果のテキストとして出力する。

【0027】

学習部３０及び認識部４０で利用される特徴量算出部２０は、例えば、入力された認識用音声データ３２をＦＦＴで処理し、ＦＦＴの処理結果に基づいてＭＦＣＣ（Ｍｅｌ Ｆｒｅｑｕｅｎｃｙ Ｃｅｐｓｔｒａｌ Ｃｏｅｆｆｉｃｉｅｎｔ：メル周波数ケプストラム係数）を計算し、所定の時間区間（例えば、１０msec）の単位（フレーム）で差分を算出して音声特徴量とすることができる。なお、音声データの特徴量については、上記に限定されるものではなく周知または公知の手法を適用すれば良い。

【0028】

学習用音声データ３１は、後述するように複数の話者の音声を混合（または合成）した音声データと、発話（話者）の順序と発話の内容（書き起こしデータ）を特定した発話順序情報を含む学習用データである。認識用音声データ３２は、複数の話者の音声が混在する音声データである。

【0029】

音響モデル３３は、ニューラルネットワークで算出された音素の出力確率分布を含む数学モデルである。言語モデル３４は、音素や単語等のシンボル系列で構成される。

【0030】

前処理部１０と、特徴量算出部２０と、学習部３０と、認識部４０の各機能部はプログラムとしてメモリ２にロードされる。

【0031】

プロセッサ１は、各機能部のプログラムに従って処理することによって、所定の機能を提供する機能部として稼働する。例えば、プロセッサ１は、学習プログラムに従って処理することで学習部３０として機能する。他のプログラムについても同様である。さらに、プロセッサ１は、各プログラムが実行する複数の処理のそれぞれの機能を提供する機能部としても稼働する。計算機及び計算機システムは、これらの機能部を含む装置及びシステムである。

【0032】

音声認識装置１００の各機能を実現するプログラム、テーブル等の情報は、ストレージ装置３や不揮発性半導体メモリ、ハードディスクドライブ、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶デバイス、または、ＩＣカード、ＳＤカード、ＤＶＤ等の計算機読み取り可能な非一時的データ記憶媒体に格納することができる。

【0033】

図２は、音声認識装置１００の学習処理の一例を示す図である。本実施例１では、予め学習用音声データ３１を生成してストレージ装置３に格納しておく例を示す。

【0034】

まず、学習用音声データ３１の生成について説明する。学習用音声データ３１は、複数の話者の発話を合成した音声データである。図示の例では、話者１の発話「こんにちは」（Ｓ１）と、話者２の発話「ありがとう」（Ｓ２）と、話者３の発話「元気ですか？」（Ｓ３）の音声データを合成して、学習用音声データ３１とする。また、各発話の合成は、音声データの足し合わせによって行えば良い。

【0035】

次に、合成された学習用音声データ３１の発話始端を検出して、発話（Ｓ１〜Ｓ３）の順序と発話のテキスト（書き起こしデータ）を発話順序情報Ｄ２として生成する。図示の例では、発話（Ｓ１）が順序＝１、発話（Ｓ２）が順序＝２、発話（Ｓ３）が順序＝３となった例を示す。学習用音声データ３１は、複数の発話が合成された音声データに発話順序情報Ｄ２が付加されてストレージ装置３に予め格納される。なお、発話始端とは、合成前の音声データに対し各時間フレームでの音量を求め、当該音量が一定時間、一定音量を上回る時刻を検出することにより検出した発話（単語）の開始位置または開始時刻を示す。ただし必ずしもこの方法によらず、発話（単語）の開始位置または開始時刻が検出できていればよい。さらに、学習用音声データ３１に対し人間の聴取により付与しておいた発話時刻情報を、あらかじめ学習用音声データ３１と紐づけて保存しておき、当該発話時刻情報を呼び出す方法でも構わない。

【0036】

学習処理を行う際には、まず、前処理部１０が学習用音声データ３１をストレージ装置３から読み込んで、合成された音声データと発話順序情報Ｄ２を学習部３０へ入力する。

【0037】

学習部３０は、学習用音声データ３１の合成された音声データを特徴量算出部２０へ入力して、所定の時間区間（フレーム）毎に音声特徴量Ｄ１を算出する。音声特徴量Ｄ１は、例えば、数百次元の特徴量ベクトルで構成される。

【0038】

学習部３０は、特徴量算出部２０で算出された音声特徴量Ｄ１を取得すると、当該音声特徴量Ｄ１と、発話順序情報Ｄ２をニューラルネットワーク５０で学習し、複数の話者と発話順序の音響モデル３３を生成する。学習部３０は、生成された音響モデル３３をストレージ装置３に格納する。

【0039】

本実施例１の音響モデル３３は、話者１の音声特徴量に反応するモデルと、話者２の音声特徴量に反応するモデルと、話者３の音声特徴量に反応するモデルを内包する。音響モデル３３に内包される話者の数は、発話順序情報Ｄ２の発話（話者）の数に対応する。

【0040】

図３は、学習処理の一例を示すフローチャートである。このフローチャートは、音声認識装置１００の利用者が、入力装置４を操作して学習の開始を指示したときに実行される。

【0041】

まず、前処理部１０が、学習用音声データ３１をストレージ装置３から読み込んで（Ｓ１０１）、学習用音声データ３１から合成された音声データと発話順序情報Ｄ２を分離する（Ｓ１０２）。

【0042】

前処理部１０は、合成された音声データと発話順序情報Ｄ２を学習部３０へ入力する。学習部３０は、合成された音声データを特徴量算出部２０に入力して音声特徴量Ｄ１を計算させる（Ｓ１０３）。特徴量算出部２０は、所定のフレーム単位で音声特徴量Ｄ１を算出して学習部３０に出力する。

【0043】

学習部３０は、ニューラルネットワーク５０を利用して音声特徴量Ｄ１と発話順序情報Ｄ２の学習を実施して（Ｓ１０４）、ＨＭＭの各状態の出力確率分布を含む音響モデル３３を生成する。そして、学習部３０は、音響モデル３３をストレージ装置３へ格納する。生成された音響モデル３３は、上述のように各話者を識別可能なモデルとなる。

【0044】

図４は、ニューラルネットワーク５０の一例を示す図である。本実施例１のニューラルネットワーク５０は、入力層５１と、隠れ層５２と、出力層５３に加えてサブネットワーク６０を含む。

【0045】

サブネットワーク６０は、入力層６１と、隠れ層６２と、出力層６３を含む。入力層６１には発話順序情報Ｄ２が入力され、出力層６３の出力は、隠れ層５２の出力側に加えられる。ただし、必ずしも出力層６３の出力と隠れ層５２の出力は加算である必要はなく、例えば、出力層６３の出力と隠れ層５２の出力を掛け合わせるなど、深層学習手法で一般的な組み合わせであれば適用できる。また発話順序情報Ｄ２の入力としては、例えば予め規定した最大発話者数に応じた要数のベクトルで、発話順序に該当する要素を１、それ以外の要素を０とするようなベクトルを用いることが考えられる。

【0046】

ニューラルネットワーク５０の入力層５１には、音声特徴量Ｄ１が入力され、サブネットワーク６０の発話順序情報Ｄ２を掛け合わせることで認識の際には出力層５３に音素の確率が出力される。

【0047】

なお、上記では、隠れ層５２、６２を１層で構成する例を示したが、これに限定されるものではなく、所望の数の隠れ層を用いることができる。

【0048】

図５は、音声認識装置１００で行われる音声認識処理の一例を示す図である。本実施例１では、複数の話者の音声を含む認識用音声データ３２を予め生成してストレージ装置３に格納しておく例を示す。

【0049】

音声認識装置１００の前処理部１０は、認識用音声データ３２をストレージ装置３から読み込む。また、前処理部１０は、入力装置４を介して認識する話者の発話の順序Ｄ４を受け付ける。なお、発話の順序Ｄ４は、認識用音声データ３２に付加するようにしても良い。

【0050】

前処理部１０は、認識部４０に認識用音声データ３２と発話の順序Ｄ４を入力する。学習部３０は、特徴量算出部２０を用いて認識用音声データ３２の音声特徴量（第２の音声特徴量）を所定のフレーム単位で算出する。特徴量算出部２０は、上述したように、認識用音声データ３２にＦＦＴを実施し、さらにＦＦＴの結果に基づいてＭＦＣＣを音声特徴量Ｄ３として算出し、認識部４０に出力する。

【0051】

認識部４０は、音響モデル３３を読み込んで、認識用音声データ３２の音声特徴量Ｄ３と発話の順序を受け付けて音響モデルの出力を計算する。具体的には、音響モデル３３は、図４のニューラルネットワーク５０のように構成され、入力層５１に認識用音声データ３２の音声特徴量Ｄ３が入力され、サブネットワーク６０の入力層６１には発話の順序２が入力される。ニューラルネットワーク５０は、サブネットワーク６０の発話の順序を重みに掛け合わせることで、話者の発話に対応する音素の確率を出力する。

【0052】

認識部４０は、出力された各音素の確率と、言語モデル34から算出される言語スコアを用いて、最も確率の高い単語列を認識結果のテキストとして出力する。

【0053】

図示の例では、複数の話者の音声を含む認識用音声データ３２から、発話の順序Ｄ４＝２で指定された話者の「ありがとう」の発話を分離して音声認識を実現することができる。

【0054】

図６は、音声認識処理の一例を示すフローチャートである。このフローチャートは、音声認識装置１００の利用者が、入力装置４を操作して音声認識の開始を指示したときに実行される。

【0055】

まず、前処理部１０が、複数の話者の音声を含む認識用音声データ３２をストレージ装置３から読み込む（Ｓ１１１）。また、前処理部１０は、発話の順序Ｄ４を受け付けて、音声認識の対象を特定する（Ｓ１１２）。

【0056】

前処理部１０は、認識用音声データ３２と発話の順序Ｄ４を認識部４０へ入力する。認識部４０は、特徴量算出部２０に認識用音声データ３２を入力して音声特徴量Ｄ３を計算させる（Ｓ１１３）。特徴量算出部２０は、所定のフレーム単位で音声特徴量Ｄ３を算出して認識部４０に出力する。

【0057】

認識部４０は、音響モデル３３を読み込んで、音声特徴量Ｄ３から発話の順序Ｄ４の話者に対応する音素の確率を計算する（Ｓ１１４）。認識部４０は、さらに各音素の確率と、言語モデル３４から算出される言語スコアを用いて、最も確率の高い単語列を認識結果のテキストとして出力する（Ｓ１１５）。

【0058】

上記の処理によって、複数の話者の音声を含む認識用音声データ３２から、発話の順序Ｄ４で指定された話者の発話を分離して音声認識を実現することができる。さらに、発話の順序Ｄ４で指定する話者を変更することで、任意の話者の発話を認識することが可能となる。

【0059】

以上のように、本実施例１では、特徴量算出部２０が、複数の発話を合成した学習用音声データ３１の音声信号を周波数分析を用いて音声特徴量Ｄ１を算出し、さらに、前処理部１０では複数の発話の順序と発話の内容（テキスト）を発話順序情報Ｄ２を取得し、学習部３０は、音声特徴量Ｄ１と発話順序情報Ｄ２を入力としてニューラルネットワーク５０に学習させて音響モデル３３を生成する。

【0060】

複数の発話を含む認識用音声データ３２の音声特徴量Ｄ３と、認識対象の発話の順序Ｄ４を指定して認識部４０へ入力し、認識部４０は、音響モデル３３を利用して発話の順序Ｄ４で指定された話者の発話を認識して音素の確率を出力することができる。本実施例１の音声認識装置１００では、発話の順序Ｄ４で指定する発話（話者）を変更することで、複数の発話を含む認識用音声データ３２から所望の話者の発話を抽出する。これにより、複数の話者の音声を分離して音声認識を行うことが可能となる。

【実施例2】

【0061】

図７は、本発明の実施例２を示し、ニューラルネットワーク５０の音声認識処理の一例を示す図である。本実施例２のニューラルネットワーク５０は、前記実施例１の図４に示したサブネットワーク６０を削除したもので、その他の構成は前記実施例１と同様である。

【0062】

本実施例２では、ニューラルネットワーク５０をパイプラインとして利用する例を示し、特徴量算出部２０から得られた音声特徴量Ｄ３を１フレーム分ずつ入力し、発話の順序Ｄ４の話者の数に応じてループを繰り返す。なお、話者の数は、発話の順序Ｄ４に含まれる順序の最大値とする。なお、図中「Ｄｅｌａｙ」は、予め設定した遅延時間（例えば、１フレーム分など）を示す。なお、ネットワーク構成はこの構成に限らず、深層学習で一般的に用いられるどのような構成を用いても良い。

【0063】

図示では、認識用音声データ３２に話者が３人含まれる例を示し、認識部４０は１回目の処理で話者１の音声認識結果を出力し、２回目の処理で話者２の音声認識結果を出力し、３回目の処理で話者３の音声認識結果を出力する例を示す。

【0064】

以上の処理によって、複数の話者の音声が含まれる認識用音声データ３２から、複数の話者の発話を分離して認識することが可能となる。

【0065】

図８は、本発明の実施例２の変形例を示し、音声認識処理の一例を示すフローチャートである。

【0066】

前処理部１０が、複数の話者の音声を含む認識用音声データ３２をストレージ装置３から読み込む（Ｓ１２１）。また、前処理部１０は、発話の順序Ｄ４の値を０に設定する（Ｓ１２２）。

【0067】

前処理部１０は、認識用音声データ３２と発話順序情報Ｄ２を認識部４０へ入力する。認識部４０は、特徴量算出部２０に認識用音声データ３２を入力して音声特徴量Ｄ３を計算させる（Ｓ１２３）。特徴量算出部２０は、所定のフレーム単位で音声特徴量Ｄ３を算出して認識部４０に出力する。

【0068】

認識部４０は、発話の順序Ｄ４の値に１を加算する（Ｓ１２４）。認識部４０は、音響モデル３３と言語モデル３４を用いて発話の順序Ｄ４に該当する話者の音声を音声特徴量Ｄ３から認識する（Ｓ２５）。

【0069】

認識部４０は、音声認識の結果の有無を判定し（Ｓ１２６）、音声認識の結果が算出されなければ処理を終了し、音声認識の結果が算出された場合には、ステップＳ１２４へ戻って、次の話者について上記処理を繰り返す。

【0070】

上記処理によって、認識結果が出力されなくなるまで音声認識処理を繰り返すことにより、認識用音声データ３２に含まれる全て（Ｎ人）の話者の発話を分離して認識することができる。

【実施例3】

【0071】

図９は、本発明の実施例３を示し、音声認識装置１００を用いた音声認識システムの一例を示すブロック図である。

【0072】

本実施例３の音声認識システムでは、前記実施例１に示した音声認識装置１００の一部を変更して、サービスロボット２００−１、２００−２の対話処理を制御する例を示す。サービスロボット２００−１と２００−２は、同一の空間に配置されて、サービスロボット２００−１は、利用者３００−１と対話を行い、サービスロボット２００−２は、利用者３００−２と対話を行う。なお、以下では、サービスロボットを特定しない場合には、「−」以降を省略した符号「２００」を使用する。利用者の符号についても同様である。

【0073】

サービスロボット２００は、ネットワーク１５０を介して音声認識装置１００に接続される。サービスロボット２００は、図示はしないが制御装置とマイクとスピーカを含み、利用者３００の発話をマイクで取得して音声認識装置１００へ送信し、音声認識を実行する。なお、音声認識の結果は、図示しない対話装置に送信され、対話装置は利用者３００の発話に対する応答を生成してサービスロボット２００へ送信する。サービスロボット２００は、受信した応答をスピーカから出力する。

【0074】

複数のサービスロボット２００が、同一の空間に配置されて対話サービスを提供する場合、サービスロボット２００−１が利用者３００−１の発話を聴取しているときに、近傍で稼働するサービスロボット２００−２が発話すると、サービスロボット２００−２の発話がサービスロボット２００−１のマイクへ入力される。

【0075】

サービスロボット２００−１のマイクが取得した音声データは、利用者３００−１の発話とサービスロボット２００−２の発話が合成された音声データとなる。音声認識装置１００は、利用者３００−１の発話について音声認識を行う必要があるが、サービスロボット２００−２の発話を音声認識する必要はない。

【0076】

そこで、本実施例３では、音声認識の対象から除外する話者の音声から除外対象の話者特徴量を算出し、ニューラルネットワーク５０で学習させる例を示す。

【0077】

図１０は、実施例３の音声認識装置１００の一例を示すブロック図である。音声認識装置１００は、前記実施例１の図１の構成に話者特徴量算出部２５を加えたもので、その他の構成は前記実施例１と同様である。

【0078】

話者特徴量算出部２５は、音声認識の対象から除外する話者の音声データを入力として、除外対象の話者特徴量Ｄ５を算出する。除外対象の話者特徴量Ｄ５としては、例えば、ｉＶｅｃｔｏｒを利用することができる。なお、ｉＶｅｃｔｏｒは、DEHAK, Najim, 他著の、「Front-end factor analysis for speaker verification」として知られている。

【0079】

本実施例３では、ｉＶｅｃｔｏｒを利用する例を示すが、これに限定されるものではなく、２つの話者特徴量の距離（ベクトル間距離、例えばコサイン距離など）を比較することで、話者特徴量の抽出元となる２つの音声波形が同一話者のものか否かを判定できるような話者の特性を表す特徴量であればよい。

【0080】

図１１は、実施例３の学習部３０で行われる学習処理の一例を示す図である。特徴量算出部２０には、前記実施例１と同様に、複数の発話が合成された学習用音声データ３１を入力して、所定のフレーム毎に音声特徴量Ｄ１を算出する。

【0081】

一方、話者特徴量算出部２５は、音声認識の対象から除外する話者の音声データＳ５を入力として、除外対象の話者特徴量Ｄ５を上述のｉＶｅｃｔｏｒによって算出する。そして、学習部３０は、音声特徴量Ｄ１をニューラルネットワーク５０の入力層５１へ入力し、除外対象の話者特徴量Ｄ５をサブネットワーク６０の入力層６１へ入力して、音響モデル３３の学習を実施する。

【0082】

学習の結果として生成される音響モデル３３は、除外対象以外の話者の音声について認識を実施することができる。

【0083】

音声認識処理では、まず、音声認識装置１００が、サービスロボット２００から取得した複数の話者の音声を含む認識用音声データ３２を取得し、認識部４０が特徴量算出部２０で音声特徴量Ｄ１を算出させる。さらにサービスロボット200が発話した音声データを、話者特徴量算出部２５へ入力して話者特徴量Ｄ５を生成する。

【0084】

認識部４０は、音響モデル３３を読み込んで、サービスロボット２００が取得した複数の話者の音声を含む認識用音声データ３２の音声特徴量Ｄ１と除外話者の話者特徴量Ｄ５を入力として音声認識を実施する。認識部４０は、話者特徴量Ｄ５に対応するサービスロボット２００の発話を除外して、利用者３００の発話について音声認識を実施することができる。

【0085】

以上のように、本実施例３によれば、音声認識の不要な音源を除外対象の話者特徴量Ｄ５としてニューラルネットワーク５０に学習させることで、認識部４０は、複数の話者の発話が合成された音声データから対象の話者の音声を分離して音声認識を行うことが可能となる。

【0086】

＜まとめ＞
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に記載したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加、削除、又は置換のいずれもが、単独で、又は組み合わせても適用可能である。

【0087】

また、上記の各構成、機能、処理部、及び処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、及び機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

【0088】

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

【0089】

＜補足＞
特許請求の範囲に記載した以外の本発明の観点の代表的なものとして、次のものがあげ
られる。

【0090】

＜９＞
プロセッサとメモリを有する計算機で音声の認識を行う音声認識方法であって、
前記計算機が、複数の話者の音声が混合された第１の音声データから第１の音声特徴量を算出する第１のステップと、
前記計算機が、認識対象外の話者の音声データから話者の特性を表す話者特徴量を算出する第２のステップと、
前記計算機が、前記第１の音声特徴量と前記話者特徴量に基づいて音響モデルを学習する第３のステップと、
を含むことを特徴とする音声認識方法。

【0091】

＜１０＞
上記＜９＞に記載の音声認識方法であって、
前記計算機が、複数の話者の音声が混合された第２の音声データから第２の音声特徴量を算出する第４のステップと、
前記計算機が、前記音響モデルを用いて前記第２の音声特徴量と前記話者特徴量に基づいて音声認識を実施する第５のステップと、
をさらに含むことを特徴とする音声認識方法。

【符号の説明】

【0092】

１ プロセッサ
２ メモリ
３ ストレージ装置
１０ 前処理部
２０ 特徴量算出部
２５ 話者特徴量算出部
３０ 学習部
３１ 学習用音声データ
３２ 認識用音声データ
３３ 音響モデル
３４ 言語モデル
４０ 認識部
５０ ニューラルネットワーク
６０ サブネットワーク
１００ 音声認識装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】