特開2023-145016モデル生成プログラム，音声処理プログラム，情報処理装置，モデル生成方法および音声処理方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023145016
(43)【公開日】2023-10-11
(54)【発明の名称】モデル生成プログラム，音声処理プログラム，情報処理装置，モデル生成方法および音声処理方法
(51)【国際特許分類】
G10L 21/0364 20130101AFI20231003BHJP
G10L 25/30 20130101ALI20231003BHJP
【ＦＩ】
G10L21/0364
G10L25/30
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2022052280
(22)【出願日】2022-03-28
(71)【出願人】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】100092978
【弁理士】
【氏名又は名称】真田 有
(74)【代理人】
【識別番号】100189201
【弁理士】
【氏名又は名称】横田 功
(72)【発明者】
【氏名】家村 康佑
(57)【要約】
【課題】音声の発生元が移動する場合においても、音声の明瞭化を実現する。
【解決手段】コンピュータが、マイクから得られた訓練用第１音声データと、他のマイクから得られた訓練用第２音声データと、第１音声データと訓練用第２音声データの少なくとも一方に含まれる音声を明瞭化処理した訓練用明瞭化音声データと、を対応付けた訓練データを用いた機械学習により、推論用第１音声データと推論用第２音声データとの入力に応じて、明瞭化音声データを生成する音声処理モデル１０４を生成する処理を実行する。
【選択図】図７
【解決手段】コンピュータが、マイクから得られた訓練用第１音声データと、他のマイクから得られた訓練用第２音声データと、第１音声データと訓練用第２音声データの少なくとも一方に含まれる音声を明瞭化処理した訓練用明瞭化音声データと、を対応付けた訓練データを用いた機械学習により、推論用第１音声データと推論用第２音声データとの入力に応じて、明瞭化音声データを生成する音声処理モデル１０４を生成する処理を実行する。
【選択図】図７
【特許請求の範囲】
【請求項1】
マイクから得られた訓練用第１音声データと、前記マイクと異なる他のマイクから得られた訓練用第２音声データと、前記訓練用第１音声データと前記訓練用第２音声データの少なくとも一方に含まれる音声を明瞭化処理した訓練用明瞭化音声データと、を対応付けた訓練データを用いた機械学習により、推論用第１音声データと推論用第２音声データとの入力に応じて、明瞭化音声データを生成する音声処理モデルを生成する
処理をコンピュータに実行させるモデル生成プログラム。
処理をコンピュータに実行させるモデル生成プログラム。
【請求項2】
前記訓練用第１音声データおよび前記訓練用第２音声データに対して加工を行なうことで複数の拡張録音音声を作成し、
前記複数の拡張録音音声の中から選択した主拡張録音音声に対して、前記複数の拡張録音音声のうちの前記主拡張録音音声とは異なる拡張録音音声に遅延処理および音量変換処理を行なった従拡張録音音声を重畳させることで、クロストーク想定音声を作成し、
複数の前記クロストーク想定音声の中から選択した第１のクロストーク想定音声を前記訓練用第１音声データとし、
複数のクロストーク想定音声の中から選択した、第１のクロストーク想定音声以外の複数の第２のクロストーク想定音声を重畳して、前記訓練用第２音声データを作成する
処理を前記コンピュータに実行させる請求項１に記載のモデル生成プログラム。
前記複数の拡張録音音声の中から選択した主拡張録音音声に対して、前記複数の拡張録音音声のうちの前記主拡張録音音声とは異なる拡張録音音声に遅延処理および音量変換処理を行なった従拡張録音音声を重畳させることで、クロストーク想定音声を作成し、
複数の前記クロストーク想定音声の中から選択した第１のクロストーク想定音声を前記訓練用第１音声データとし、
複数のクロストーク想定音声の中から選択した、第１のクロストーク想定音声以外の複数の第２のクロストーク想定音声を重畳して、前記訓練用第２音声データを作成する
処理を前記コンピュータに実行させる請求項１に記載のモデル生成プログラム。
【請求項3】
前記音声処理モデルが、前記訓練用第１音声データ，前記訓練用第２音声データ，前記推論用第１音声データおよび前記推論用第２音声データに対して、それぞれ時間方向の畳み込みを行なう
処理を前記コンピュータに実行させる請求項１または２に記載のモデル生成プログラム。
処理を前記コンピュータに実行させる請求項１または２に記載のモデル生成プログラム。
【請求項4】
マイクから得られた訓練用第１音声データと、前記マイクと異なる他のマイクから得られた訓練用第２音声データと、前記訓練用第１音声データと前記訓練用第２音声データの少なくとも一方に含まれる音声を明瞭化処理した訓練用明瞭化音声データと、を対応付けた訓練データを用いた機械学習により生成した音声処理モデルに、推論用第１音声データと推論用第２音声データとを入力し、明瞭化音声データを生成する
処理をコンピュータに実行させる音声処理プログラム。
処理をコンピュータに実行させる音声処理プログラム。
【請求項5】
前記訓練用第１音声データおよび前記訓練用第２音声データに対して加工を行なうことで作成された複数の拡張録音音声の中から選択された主拡張録音音声に対して、前記複数の拡張録音音声のうちの前記主拡張録音音声とは異なる拡張録音音声に遅延処理および音量変換処理を行なった従拡張録音音声を重畳させることで作成されたクロストーク想定音声に基づき、
前記訓練用第１音声データが、複数の前記クロストーク想定音声の中から選択された第１のクロストーク想定音声であり、
前記訓練用第２音声データが、複数のクロストーク想定音声の中から選択された、第１のクロストーク想定音声以外の複数の第２のクロストーク想定音声を重畳して作成される
ことを特徴とする請求項４に記載の音声処理プログラム。
前記訓練用第１音声データが、複数の前記クロストーク想定音声の中から選択された第１のクロストーク想定音声であり、
前記訓練用第２音声データが、複数のクロストーク想定音声の中から選択された、第１のクロストーク想定音声以外の複数の第２のクロストーク想定音声を重畳して作成される
ことを特徴とする請求項４に記載の音声処理プログラム。
【請求項6】
前記音声処理モデルが、前記訓練用第１音声データ，前記訓練用第２音声データ，前記推論用第１音声データおよび前記推論用第２音声データに対して、それぞれ時間方向の畳み込みを行なう
ことを特徴とする請求項４または５に記載の音声処理プログラム。
ことを特徴とする請求項４または５に記載の音声処理プログラム。
【請求項7】
マイクから得られた訓練用第１音声データと、前記マイクと異なる他のマイクから得られた訓練用第２音声データと、前記訓練用第１音声データと前記訓練用第２音声データの少なくとも一方に含まれる音声を明瞭化処理した訓練用明瞭化音声データと、を対応付けた訓練データを用いた機械学習により、推論用第１音声データと推論用第２音声データとの入力に応じて、明瞭化音声データを生成する音声処理モデルを生成する
処理を実行する制御部を備えることを特徴とする情報処理装置。
処理を実行する制御部を備えることを特徴とする情報処理装置。
【請求項8】
マイクから得られた訓練用第１音声データと、前記マイクと異なる他のマイクから得られた訓練用第２音声データと、前記訓練用第１音声データと前記訓練用第２音声データの少なくとも一方に含まれる音声を明瞭化処理した訓練用明瞭化音声データと、を対応付けた訓練データを用いた機械学習により生成した音声処理モデルに、推論用第１音声データと推論用第２音声データとを入力し、明瞭化音声データを生成する
処理を実行する制御部を備えることを特徴とする情報処理装置。
処理を実行する制御部を備えることを特徴とする情報処理装置。
【請求項9】
マイクから得られた訓練用第１音声データと、前記マイクと異なる他のマイクから得られた訓練用第２音声データと、前記訓練用第１音声データと前記訓練用第２音声データの少なくとも一方に含まれる音声を明瞭化処理した訓練用明瞭化音声データと、を対応付けた訓練データを用いた機械学習により、推論用第１音声データと推論用第２音声データとの入力に応じて、明瞭化音声データを生成する音声処理モデルを生成する
処理をコンピュータが実行することを特徴とするモデル生成方法。
処理をコンピュータが実行することを特徴とするモデル生成方法。
【請求項10】
マイクから得られた訓練用第１音声データと、前記マイクと異なる他のマイクから得られた訓練用第２音声データと、前記訓練用第１音声データと前記訓練用第２音声データの少なくとも一方に含まれる音声を明瞭化処理した訓練用明瞭化音声データと、を対応付けた訓練データを用いた機械学習により生成した音声処理モデルに、推論用第１音声データと推論用第２音声データとを入力し、明瞭化音声データを生成する
処理をコンピュータが実行することを特徴とする音声処理方法。
処理をコンピュータが実行することを特徴とする音声処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、モデル生成プログラム，音声処理プログラム，情報処理装置，モデル生成方法および音声処理方法に関する。
【背景技術】
【0002】
例えば、ピンマイクは話者ごとに装着され、装着した話者の移動に従って移動する。このようなマイクが複数の話者のそれぞれに装着された環境において、マイクを装着した特定の話者の音声のみを抽出したいという要望が存在する。
【0003】
しかし、マイクには、装着者の音声のみならず、装着者以外の音声も入力され、収音されることが発生する。このように、装着者以外の音声がマイクに入力されることをクロストークという場合がある。
【0004】
複数のマイク音声から、特定の音声のみを抽出する手法として、アレイマイク等の技術が知られている。
【0005】
また、複数のマイクで収音された複数の音声信号に対して、クロストークの伝達関数を更新することでクロストークを減らし、個別の音声信号を分離する手法も知られている。
【0006】
さらに、目的音源の音響信号が混在する際に収録された観測信号の観測ベクトルに基づき、各周波数における観測ベクトルの確率分布をモデル化し、音響信号のマスクを推定して音源分離を行なう手法も知られている。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特表２００８－５０７９２６号公報
【特許文献2】国際公開第２０１７／０６４８４０号パンフレット
【特許文献3】特開２０１８－４０８８０号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、アレイマイクにおいては、マイク位置が固定である必要や、事前にキャリブレーションを実施する必要があり、話者およびマイクの位置がともに変動する環境下での使用はできない。すなわち、音声の発生元が移動する場合に当該音声を高音質で抽出することが困難であるという課題がある。
【0009】
また、複数のマイクから収音された複数の音声信号に対して、クロストークの伝達関数を更新する手法や、目的音源の音響信号が混在する際に収録された観測信号の観測ベクトルに基づき音源分離を行なう手法においても、音源およびマイクが移動することは考慮されていない。従って、音声の発生元が移動する場合に当該音声を高音質で抽出することが困難である。
【0010】
１つの側面では、本発明は、音声の発生元が移動する場合においても、音声の明瞭化を実現できるようにすることを目的とする。
【課題を解決するための手段】
【0011】
このため、このモデル生成プログラムは、マイクから得られた訓練用第１音声データと、前記マイクと異なる他のマイクから得られた訓練用第２音声データと、前記第１音声データと前記訓練用第２音声データの少なくとも一方に含まれる音声を明瞭化処理した訓練用明瞭化音声データと、を対応付けた訓練データを用いた機械学習により、推論用第１音声データと推論用第２音声データとの入力に応じて、明瞭化音声データを生成する音声処理モデルを生成する処理をコンピュータに実行させる。
【発明の効果】
【0012】
一実施形態によれば、音声の発生元が移動する場合においても、音声の明瞭化を実現できる。
【図面の簡単な説明】
【0013】
【図1】実施形態の一例としての音声処理システムの構成を例示する図である。
【図2】実施形態の一例としての音声処理システムの機能構成を例示する図である。
【図3】実施形態の一例としての音声処理システムにおける拡張済みの録音音声の作成方法を例示する図である。
【図4】実施形態の一例としての音声処理システムにおける訓練用データ作成部による明瞭化音声の選択方法を説明するための図である。
【図5】実施形態の一例としての音声処理システムにおける訓練用データ作成部によって作成されるクロストーク想定音声を説明するための図である。
【図6】実施形態の一例としての音声処理システムにおける訓練用データ作成部による訓練用データの作成方法を説明するための図である。
【図7】実施形態の一例としての音声処理システムにおける訓練処理部による訓練フェーズの処理を説明するための図である。
【図8】実施形態の一例としての音声処理システムの機械学習モデルの推論フェーズにおける入力データを説明するための図である。
【図9】実施形態の一例としての音声処理システムにおける推論処理部による推論フェーズ時の処理を説明するための図である。
【図10】実施形態の一例としての音声処理システムにおける訓練フェーズの処理を説明するためのフローチャートである。
【図11】実施形態の一例としての音声処理システムにおける推論フェーズの処理を説明するためのフローチャートである。
【図12】実施形態の一例としての音声処理システムによる推論結果を例示する図である。
【発明を実施するための形態】
【0014】
以下、図面を参照して本モデル生成プログラム，音声処理プログラム，情報処理装置，モデル生成方法および音声処理方法にかかる実施の形態を説明する。ただし、以下に示す実施形態はあくまでも例示に過ぎず、実施形態で明示しない種々の変形例や技術の適用を排除する意図はない。すなわち、本実施形態を、その趣旨を逸脱しない範囲で種々変形（実施形態および各変形例を組み合わせる等）して実施することができる。また、各図は、図中に示す構成要素のみを備えるという趣旨ではなく、他の機能等を含むことができる。
【0015】
【0016】
本音声処理システム１は、複数音声の発生元のそれぞれにマイクが装着され、各音声発生元の移動に従って各音声発生元に装着されたマイクもそれぞれ移動する環境において、特定の音声発生元の音声を明瞭化する音声明瞭化機能を実現する。
【0017】
音声の明瞭化は、明瞭化の対象である音声を出力する音声発生元に装着されたマイクによって収音された音声から、当該音声発生元以外の音声発生元から出力される音声（ノイズ）を除去し、当該音声発生元から出力される音声を明瞭化（抽出，分離）することで実現される。
【0018】
本実施形態においては、音声発生元が人（話者）であり、複数の話者のそれぞれにピンマイク等の話者の移動に従って移動可能なマイクが装着された例について示す。そして、明瞭化する（明瞭化の対象とする）音声を出力する話者（音声発生元）を主話者といってもよい。
【0019】
また、１つの音声発生元に対して１つのマイクが装着され、音声発生元とマイクとが1対1との関係となっている。以下、話者に装着されたマイクを話者のマイクという場合がある。また、話者のマイクで収音される音声を話者のマイク音声という場合がある。
【0020】
音声処理システム１は、情報処理装置１０を備える。情報処理装置１０には、複数の話者のそれぞれに装着された各マイクが収音した音声が入力される。
【0021】
情報処理装置１０は、例えば、プロセッサ１１，メモリ１２，記憶装置１３，グラフィック処理装置１４，入力インタフェース１５，光学ドライブ装置１６，機器接続インタフェース１７およびネットワークインタフェース１８を構成要素として有する。これらの構成要素１１～１８は、バス１９を介して相互に通信可能である。
【0022】
プロセッサ（処理部）１１は、情報処理装置１０全体を制御する。プロセッサ１１は、マルチプロセッサであってもよい。プロセッサ１１は、例えばＣＰＵ，ＭＰＵ（Micro Processing Unit），ＤＳＰ（Digital Signal Processor），ＡＳＩＣ（Application Specific Integrated Circuit），ＰＬＤ（Programmable Logic Device），ＦＰＧＡ（Field Programmable Gate Array），ＧＰＵ（Graphics Processing Unit）のいずれか一つであってもよい。また、プロセッサ１１は、ＣＰＵ，ＭＰＵ，ＤＳＰ，ＡＳＩＣ，ＰＬＤ，ＦＰＧＡ，ＧＰＵのうちの２種類以上の要素の組み合わせであってもよい。
【0023】
そして、プロセッサ１１が情報処理装置１０用の制御プログラム（モデル生成プログラム，音声処理プログラム，ＯＳプログラム）を実行することにより、図２に例示する、訓練用データ作成部１０１，音声特徴変換部１０２，訓練処理部１０３，機械学習モデル１０４および推論処理部１０５として機能する。ＯＳはOperating Systemの略語である。
【0024】
なお、情報処理装置１０は、例えばコンピュータ読み取り可能な非一時的な記録媒体に記録されたプログラム（モデル生成プログラム，ＯＳプログラム）を実行することにより、訓練用データ作成部１０１，音声特徴変換部１０２，訓練処理部１０３および機械学習モデル１０４としての機能を実現する。
【0025】
また、情報処理装置１０は、例えばコンピュータ読み取り可能な非一時的な記録媒体に記録されたプログラム（音声処理プログラム，ＯＳプログラム）を実行することにより、音声特徴変換部１０２，機械学習モデル１０４および推論処理部１０５としての機能を実現する。
【0026】
情報処理装置１０に実行させる処理内容を記述したプログラムは、様々な記録媒体に記録しておくことができる。例えば、情報処理装置１０に実行させるプログラムを記憶装置１３に格納しておくことができる。プロセッサ１１は、記憶装置１３内のプログラムの少なくとも一部をメモリ１２にロードし、ロードしたプログラムを実行する。
【0027】
また、情報処理装置１０（プロセッサ１１）に実行させるプログラムを、光ディスク１６ａ，メモリ装置１７ａ，メモリカード１７ｃ等の非一時的な可搬型記録媒体に記録しておくこともできる。可搬型記録媒体に格納されたプログラムは、例えばプロセッサ１１からの制御により、記憶装置１３にインストールされた後、実行可能になる。また、プロセッサ１１が、可搬型記録媒体から直接プログラムを読み出して実行することもできる。
【0028】
メモリ１２は、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）を含む記憶メモリである。メモリ１２のＲＡＭは情報処理装置１０の主記憶装置として使用される。ＲＡＭには、プロセッサ１１に実行させるプログラムの少なくとも一部が一時的に格納される。また、メモリ１２には、プロセッサ１１による処理に必要な各種データが格納される。
【0029】
記憶装置１３は、ハードディスクドライブ（Hard Disk Drive：ＨＤＤ）、ＳＳＤ（Solid State Drive）、ストレージクラスメモリ（Storage Class Memory：ＳＣＭ）等の記憶装置であって、種々のデータを格納するものである。記憶装置１３は、情報処理装置１０の補助記憶装置として使用される。記憶装置１３には、ＯＳプログラム，制御プログラムおよび各種データが格納される。制御プログラムにはモデル生成プログラムや音声処理プログラムが含まれる。
【0030】
記憶装置１３には、後述する音声データベース２０１，拡張音声データベース２０２および訓練用データセット２０３を含むデータを記憶させてもよい。
【0031】
なお、補助記憶装置としては、ＳＣＭやフラッシュメモリ等の半導体記憶装置を使用することもできる。また、複数の記憶装置１３を用いてＲＡＩＤ（Redundant Arrays of Inexpensive Disks）を構成してもよい。
【0032】
また、記憶装置１３には、上述した訓練用データ作成部１０１，音声特徴変換部１０２，訓練処理部１０３および推論処理部１０５が各処理を実行する際に生成される各種データを格納してもよい。
【0033】
グラフィック処理装置１４には、モニタ１４ａが接続されている。グラフィック処理装置１４は、プロセッサ１１からの命令に従って、画像をモニタ１４ａの画面に表示させる。モニタ１４ａとしては、ＣＲＴ（Cathode Ray Tube）を用いた表示装置や液晶表示装置等が挙げられる。
【0034】
入力インタフェース１５には、キーボード１５ａおよびマウス１５ｂが接続されている。入力インタフェース１５は、キーボード１５ａやマウス１５ｂから送られてくる信号をプロセッサ１１に送信する。なお、マウス１５ｂは、ポインティングデバイスの一例であり、他のポインティングデバイスを使用することもできる。他のポインティングデバイスとしては、タッチパネル，タブレット，タッチパッド，トラックボール等が挙げられる。
【0035】
光学ドライブ装置１６は、レーザ光等を利用して、光ディスク１６ａに記録されたデータの読み取りを行なう。光ディスク１６ａは、光の反射によって読み取り可能にデータを記録された可搬型の非一時的な記録媒体である。光ディスク１６ａには、ＤＶＤ（Digital Versatile Disc），ＤＶＤ－ＲＡＭ，ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＣＤ－Ｒ（Recordable）／ＲＷ（ReWritable）等が挙げられる。
【0036】
機器接続インタフェース１７は、情報処理装置１０に周辺機器を接続するための通信インタフェースである。例えば、機器接続インタフェース１７には、メモリ装置１７ａやメモリリーダライタ１７ｂを接続することができる。メモリ装置１７ａは、機器接続インタフェース１７との通信機能を搭載した非一時的な記録媒体、例えばＵＳＢ（Universal Serial Bus）メモリである。メモリリーダライタ１７ｂは、メモリカード１７ｃへのデータの書き込み、またはメモリカード１７ｃからのデータの読み出しを行なう。メモリカード１７ｃは、カード型の非一時的な記録媒体である。
【0037】
ネットワークインタフェース１８は、ネットワークに接続される。ネットワークインタフェース１８は、ネットワークを介してデータの送受信を行なう。ネットワークには他の情報処理装置や通信機器等が接続されてもよい。
【0038】
音声データベース２０１，拡張音声データベース２０２および訓練用データ２０３を含む情報の少なくとも一部は、ネットワークを介して接続される他の情報処理装置に備えられてもよい。
【0039】
本音声処理システム１においては、プロセッサ１１がモデル生成プログラムを実行することで、訓練用データ作成部１０１，音声特徴変換部１０２および訓練処理部１０３としての機能が実現される。これらの訓練用データ作成部１０１，音声特徴変換部１０２および訓練処理部１０３は、訓練フェーズにおいて機能する。
【0040】
またプロセッサ１１が音声処理プログラムを実行することで、推論処理部１０５としての機能が実現される。この推論処理部１０５は、推論フェーズにおいて機能する。
【0041】
音声データベース２０１には、複数の話者について、事前に各話者の音声をそれぞれ個別にマイクで録音した音声（録音音声）を記憶する。これらの録音音声は、環境音等のノイズが含まれていないものであることが望ましく、さらに、各話者の録音音声には、当該話者以外の話者の音声は含まれていないものとする。
【0042】
また、録音音声としては、マイクの種類毎の周波数特性や、音声ファイルのデータフォーマットによる違いを考慮して、様々な音声データを用意することが望ましい。
【0043】
すなわち、ユーザは、話者の音声を複数種類のマイクを用いて録音したり、録音した音声のデータを複数種類のデータフォーマットで保存する。マイク種類とデータフォーマットとの組み合わせを変えることで、各話者の録音音声に複数のバリエーションを持たせる。
【0044】
訓練用データ作成部１０１は、訓練フェーズにおいて機械学習モデル（音声処理モデル）１０４を訓練するために用いられる訓練用データセット（教師データ）２０３を作成する。
【0045】
訓練用データセット２０３は、複数の訓練用音声セット（訓練データ）を備える。
【0046】
本音声処理システム１において、訓練用音声セットは、「明瞭化後の分離対象の主話者の音声」と、「明瞭化前の分離対象となる主話者の音声」と、「除外すべき音声」との３つの音声データを備える。これらの３つの音声データは、組み合わせて１つの訓練用音声セットとして取り扱われる。
【0047】
訓練用音声セットにおいては、機械学習モデル１０４の訓練フェーズにおいて、明瞭化前の分離対象となる主話者の音声と除外すべき音声とが機械学習モデル１０４への入力データとして用いられ、明瞭化後の分離対象の主話者の音声が正解データとして用いられる。
【0048】
訓練用データ作成部１０１は、このような訓練用音声セットを複数作成することで、訓練用データセット２０３を作成する。
【0049】
訓練用データ作成部１０１は、汎用性をより向上させるために、音声データベース２０１に記憶された各録音音声に対して加工を行なうことで、録音音声のデータ拡張（水増し）を行なう。
【0050】
例えば、訓練用データ作成部１０１は、録音音声に対して、周波数特性やサンプリング周波数等の音声ファイルのフォーマットを変更する加工を行なうことでデータ数を増加させるデータ拡張を行なってもよい。また、訓練用データ作成部１０１は、録音音声に対して、音のパワー（音響パワー）を変更して音量を変更することでデータ拡張を行なってもよい。なお、録音音声に対するデータ拡張の手法は、これらに限定されるものではなく、適宜変更して実施することができる。
【0051】
訓練用データ作成部１０１は、音声データベース２０１に記憶された録音音声に対してデータ拡張を行なうことで作成した拡張済みの録音音声を、拡張音声データベース２０２に記憶させる。
【0052】
図３は実施形態の一例としての音声処理システム１における拡張済みの録音音声の作成方法を例示する図である。
【0053】
この図３に例示する手法においては、音声データベース２０１から読み出した録音音声に対して、周波数特性変換（符号Ｐ１参照）、サンプリング周波数変換（符号Ｐ２参照）および音量変換（符号Ｐ３参照）の各処理を、これらの順に行なわれる。これにより、音声処理システム１は拡張済みの録音音声を作成する。
【0054】
作成された拡張済みの録音音声は、拡張音声データベース２０２に記憶される。また、音声データベース２０１に記憶された録音音声も読み出され、拡張音声データベース２０２に記憶される。
【0055】
以下、拡張音声データベース２０２に記憶された録音音声および拡張済みの録音音声を拡張録音音声といってもよい。
【0056】
なお、拡張済みの録音音声作成手法は、この図３に例示した手法に限定されるものではなく、適宜変更して実施することができる。例えば、これらの周波数特性変換、サンプリング周波数変換および音量変換の各手法の少なくとも一部を省略（オミット）してもよく、また、これらの処理の順序を入れ替えてもよい。さらに、これらの周波数特性変換、サンプリング周波数変換および音量変換に加えて、他の変換手法を追加して実施してもよい。
【0057】
訓練用データ作成部１０１は、拡張音声データベース２０２に記憶された拡張録音音声の中から、明瞭化音声を選択する。
【0058】
図４は実施形態の一例としての音声処理システム１における訓練用データ作成部１０１による明瞭化音声の選択方法を説明するための図である。
【0059】
訓練用データ作成部１０１は、拡張音声データベース２０２に記憶された拡張録音音声の中から、複数の拡張録音音声の音声ファイル（音声データ）を選択する（図４の符号Ｐ１参照）。例えば、訓練用データ作成部１０１は、複数の拡張録音音声の中からランダムに複数の拡張録音音声を選択してもよい。
【0060】
また、訓練用データ作成部１０１は、これらの複数の拡張録音音声の中から一つの拡張録音音声を選択する（図４の符号Ｐ２参照）。このように複数の拡張録音音声の中から選択した一つの拡張録音音声を明瞭化音声といってもよい。例えば、訓練用データ作成部１０１は、複数の拡張録音音声の中からランダムに明瞭化音声を選択してもよい。
【0061】
明瞭化音声は、訓練フェーズにおいて後述するニューラルネットワークの訓練フェーズにおいて正解データとして使用される音声であって、明瞭化後の分離対象の主話者の音声である。明瞭化音声は、ニューラルネットワークをＮＮと表してもよい。
【0062】
また、訓練用データ作成部１０１は、拡張音声データベース２０２に記憶された各話者の拡張録音音声を用いて、各話者のマイクで収音されると想定されるマイク音声（想定音声）を作成する。
【0063】
上述の如く、本音声処理システム１においては、複数の話者が同時に発話する環境（マイク環境）を想定しており、各話者のマイクには他の話者の音声も入力され、クロストークが生じることを想定している。このようなクロストークの発生を想定したマイク環境下において、訓練用データ作成部１０１が作成する想定音声を、クロストーク想定音声といってもよい。
図５は実施形態の一例としての音声処理システム１における訓練用データ作成部１０１によって作成されるクロストーク想定音声を説明するための図である。
図５は実施形態の一例としての音声処理システム１における訓練用データ作成部１０１によって作成されるクロストーク想定音声を説明するための図である。
【0064】
この図５においては、３人の話者Ａ，Ｂ，Ｃの拡張録音音声（符号α参照）と、これらの拡張録音音声を用いて作成されたクロストーク想定音声（符号β参照）とを例示している。なお、話者Ａの録音音声に基づいて生成された拡張録音音声を話者Ａの拡張録音音声という場合がある。同様に、話者Ｂの録音音声に基づいて生成された拡張録音音声を話者Ｂの拡張録音音声と、話者Ｃの録音音声に基づいて生成された拡張録音音声を話者Ｃの拡張録音音声と、それぞれいう場合がある。
【0065】
図５中においては、話者Ａの拡張録音音声を実線で、話者Ｂの拡張録音音声を点線で、話者Ｃの拡張録音音声を破線で、それぞれ示す。
【0066】
訓練用データ作成部１０１は、上述の如く、拡張音声データベース２０２に記憶された拡張録音音声の中から選択した複数の拡張録音音声の音声ファイル（音声データ）を用いて、各話者のマイクで収音されると想定されるクロストーク想定音声（話者の想定音声）を作成する。
【0067】
例えば、話者Ａのマイクには、話者Ｂの音声および話者Ｃの音声がそれぞれ入力される。そこで、訓練用データ作成部１０１は、例えば、話者Ａの拡張録音音声に、話者Ｂおよび話者Ｃの各拡張録音音声を合成（重畳）することで、話者Ａのクロストーク想定音声を作成する。ここで、他の拡張録音音声が合成される拡張録音音声を主拡張録音音声といってもよい。また、主拡張録音音声に合成される他の拡張録音音声を従拡張録音音声といってもよい。
【0068】
また、この際、話者Ａのマイクと話者Ｂとの距離および話者Ａのマイクと話者Ｃとの距離は、話者Ａのマイクと話者Ａとの距離に比べて、それぞれ遠い。これらにより、話者Ｂや話者Ｃの音声には、話者Ａのマイクに到達するまでに遅延や、音音量の低下（音のパワーの低下）等の影響が生じる。また、話者Ａ，Ｂ，Ｃのそれぞれの向き（発話方向）もマイクに入力される音声に影響を与えると考えられる。
【0069】
訓練用データ作成部１０１は、このようなマイクと各話者との相対的な関係（位置や向き等）をクロストーク想定音声に反映させる。
【0070】
具体的には、訓練用データ作成部１０１は、クロストーク想定音声の作成に際して、特定の話者の拡張録音音声（主拡張録音音声）に当該話者以外の他の話者の拡張録音音声（従拡張録音音声）を重畳する。この際に、訓練用データ作成部１０１は、他の話者の拡張録音音声（従拡張録音音声）に対して遅延処理と音量変換処理とを行なう。
【0071】
訓練用データ作成部１０１は、例えば、話者Ａのクロストーク想定音声に関しては、話者Ｂおよび話者Ｃの拡張録音音声（従拡張録音音声）が話者Ａの拡張録音音声（主拡張録音音声）よりも遅れるように、話者Ｂおよび話者Ｃの拡張録音音声（従拡張録音音声）に対して遅延処理を行なう。そして、このように遅延処理を行なった話者Ｂおよび話者Ｃの拡張録音音声（従拡張録音音声）をそれぞれ話者Ａの拡張録音音声（主拡張録音音声）に重畳させる。
【0072】
すなわち、訓練用データ作成部１０１は、話者Ａのクロストーク想定音声において、話者Ａの拡張録音音声に対して、話者Ａの拡張録音音声よりも遅延させた話者Ｂの拡張録音音声および話者Ｃ拡張録音音声をそれぞれ重畳する。
【0073】
これにより、話者Ａのクロストーク想定音声においては、話者Ｂおよび話者Ｃの各拡張録音音声が、話者Ａの拡張録音音声に対して、例えば、数ミリ秒遅延するように時間方向のずれ（時間ずれ）が生じる。
【0074】
同様に、訓練用データ作成部１０１は、話者Ｂのクロストーク想定音声において、話者Ｂの拡張録音音声（主拡張録音音声）に対して、時間ずれを生じさせた話者Ａの拡張録音音声（従拡張録音音声）および話者Ｃの拡張録音音声（従拡張録音音声）をそれぞれ重畳する。また、話者Ｃのクロストーク想定音声において、話者Ｃの拡張録音音声（主拡張録音音声）に対して、時間ずれを生じさせた話者Ａの拡張録音音声（従拡張録音音声）および話者Ｂの拡張録音音声（従拡張録音音声）をそれぞれ重畳する。
【0075】
また、訓練用データ作成部１０１は、話者Ａのクロストーク想定音声に関しては、話者Ａの拡張録音音声（主拡張録音音声）に比べて、話者Ｂおよび話者Ｃの拡張録音音声（従拡張録音音声）のパワーが小さくなるように、話者Ｂおよび話者Ｃの各拡張録音音声（従拡張録音音声）に対してそれぞれ音量変換処理を行なう。そして、このように音量変換処理を行なった話者Ｂおよび話者Ｃの拡張録音音声を話者Ａの拡張録音音声にそれぞれ重畳させる。
【0076】
すなわち、訓練用データ作成部１０１は、話者Ａのクロストーク想定音声において、話者Ａの拡張録音音声（主拡張録音音声）に対して、話者Ａの拡張録音音声（主拡張録音音声）に比べて音量を小さくした話者Ｂおよび話者Ｃの各拡張録音音声（従拡張録音音声）の音量を重畳する。
【0077】
これにより、話者Ａのクロストーク想定音声においては、話者Ａの拡張録音音声に対して話者Ｂおよび話者Ｃの各拡張録音音声に、周波数方向のずれ（パワーずれ）が生じる。
【0078】
同様に、訓練用データ作成部１０１は、話者Ｂのクロストーク想定音声において、話者Ｂの拡張録音音声（主拡張録音音声）に対して、話者Ｂの拡張録音音声に比べて音量を小さくした話者Ａおよび話者Ｃの各拡張録音声（従拡張録音音声）を重畳する。また、訓練用データ作成部１０１は、話者Ｃのクロストーク想定音声において、話者Ｃの拡張録音音声（主拡張録音音声）に対して、話者Ｃの録音音声に比べて音量を小さくした話者Ａおよび話者Ｂの各拡張録音声（従拡張録音音声）を重畳する。
【0079】
すなわち、訓練用データ作成部１０１は、特定の話者のクロストーク想定音声に関して、当該話者の拡張録音音声（主拡張録音音声）に対して、当該話者以外の他の話者の拡張録音音声（従拡張録音音声）をパワーずれおよび時間ずれを生じさせて重畳する。なお、これらのパワーずれの量および時間ずれの量は、適宜変更して実施することができる。
【0080】
図６は実施形態の一例としての音声処理システム１における訓練用データ作成部１０１による訓練用音声セットの作成方法を説明するための図である。
【0081】
この図６に示す訓練用音声セットの作成方法においては、先ず、上述した手法で複数のクロストーク想定音声（図６の符号Ｐ３参照）が作成される。そして、これらの複数のクロストーク想定音声を用いて、明確化前主話者音声（図６の符号Ｐ５参照）および、除外すべき音声（図６の符号Ｐ８参照）が作成される。
【0082】
先ず、訓練用データ作成部１０１は、拡張音声データベース２０２から選択した複数の拡張録音音声の中から、一人の話者（第１の話者）の拡張録音音声（主拡張録音音声）を選択し、この第１の話者についてのクロストーク想定音声を作成する。
【0083】
訓練用データ作成部１０１は、拡張音声データベース２０２から選択した複数の拡張録音音声のうち、上述した一人の話者（第１の話者）以外の話者（第２の話者）の拡張録音音声（従拡張録音音声）に対して、遅延処理（図６の符号Ｐ１参照）および音量変換処理（図６の符号Ｐ２）を行なう。第２の話者は複数であってもよい。
【0084】
訓練用データ作成部１０１は、一人の話者（第１の話者）の拡張録音音声（主拡張録音音声）に対して、遅延処理および音量変換処理を行なった第２の話者の拡張録音音声（従拡張録音音声）を重畳して、第１の話者のマイクで収音されると想定されるクロストーク想定音声を作成する。
【0085】
訓練用データ作成部１０１は、拡張音声データベース２０２に登録された複数の話者の拡張録音音声のそれぞれに対して、符号Ｐ１，Ｐ２の処理を遅延量や音量の変換量を適宜変更しながら繰り返し行なうことで、複数の話者のそれぞれに対して複数のクロストーク想定音声を作成する（図６の符号Ｐ３参照）。
【0086】
訓練用データ作成部１０１は、作成した複数のクロストーク想定音声の中から、主話者のクロストーク想定音声（第１のクロストーク想定音声）を一つ選択する（図６の符号Ｐ４参照）。このように選択した主話者のクロストーク想定音声は、明瞭化前の分離対象となる主話者の音声（訓練用第１音声データ）として用いられる（図６の符号Ｐ５参照）。
【0087】
複数のクロストーク想定音声の中からの主話者のクロストーク想定音声の選択は、ランダムに行なってもよく、適宜変更して実施することができる。
【0088】
また、訓練用データ作成部１０１は、作成した複数のクロストーク想定音声の中から、上述の如く選択した主話者以外のクロストーク想定音声（第２のクロストーク想定音声）を抽出する（図６の符号Ｐ６参照）。そして、訓練用データ作成部１０１は、これらの複数の主話者以外のクロストーク想定音声を重畳する（図６の符号Ｐ７参照）。このように、主話者以外のクロストーク想定音声を重畳した音声信号は、除外すべき音声（訓練用第２音声データを）として用いられる（図６の符号Ｐ８参照）。
【0089】
これらの明瞭化前の分離対象となる主話者の音声（主話者のクロストーク想定音声）と除外すべき音声（主話者以外のクロストーク想定音声を重畳した音声信号）とは、後述する機械学習モデル１０４への入力データとして用いられる。
【0090】
訓練用データ作成部１０１は、上述の如く選択・作成した「明瞭化後の分離対象の主話者の音声」、「明瞭化前の分離対象となる主話者の音声」および「除外すべき音声」の３つを組み合わせて１つの訓練用音声セットとする。そして、訓練用データ作成部１０１は、訓練用音声セットを用いて上記の処理を繰り返し行なうことで、複数の訓練用音声セットを作成する。これらの複数の訓練用音声セットが訓練用データセット２０３として記憶装置１３等の所定の記憶領域に記憶される。
【0091】
音声特徴変換部１０２は、音声データを機械学習モデル１０４への入力に用いるための符号化を行なう。音声特徴変換部１０２は、訓練フェーズにおいて、訓練用データ作成部１０１が作成した「明瞭化前の分離対象となる主話者の音声」および「除外すべき音声」の各データに対して特徴量変換を行なう。また、音声特徴変換部１０２は、推論フェーズにおいて、明瞭化の対象である主音声と主音声以外の重畳音声（詳細は後述）とに対して特徴量変換を行なう。
【0092】
音声特徴変換部１０２は、特徴量変換により、例えば、時間と振幅との関係で表される音声データを、時間と周波数との関係で表されるデータに変換する。
【0093】
音声特徴変換部１０２は、例えば、スペクトログラム変換やＭＦＣＣ（Mel-Frequency Cepstrum Coefficient：メル周波数ケプストラム係数）等の既知の種々の手法を用いて音声の特徴量変換を実現する。音声特徴変換部１０２は、音声をフーリエ変換し、周波数成分や強さで分解する時間周波数分析を行なってもよい。
【0094】
また、音声特徴変換部１０２は、訓練フェーズにおいて、訓練用データ作成部１０１が作成した除外すべき音声の信号に対してパワー調整も行なう。明瞭化の対象である主音声が一つの音声データであるのに対して、主音声以外の重畳音声は、後述の如く、複数の音声データを重畳するものである。そこで、音声特徴変換部１０２は、主音声以外の重畳音声のパワーレベルに対して、主音声のパワーレベルと同等にするための減衰等の調整を行なう。
【0095】
訓練処理部１０３は、訓練用データセットを用いて機械学習モデル１０４に対する訓練（機械学習）を実施する。
【0096】
機械学習モデル１０４は、例えばニューラルネットワークであり、「明瞭化前の分離対象となる主話者の音声」と「除外すべき音声」とが入力されると、「明瞭化後の分離対象の主話者の音声」を出力する。
【0097】
訓練処理部１０３は、訓練データを用いた機械学習により機械学習モデル１０４を生成する。訓練データは、第１音声の発生元（主音声，話者）に対応付けたマイクから得られた訓練用第１音声データ（明瞭化前の分離対象となる主話者の音声）と、主音声以外のマイクから得られた訓練用第２音声データ（除外すべき音声）と、第１音声データと訓練用第２音声データの少なくとも一方に含まれる音声を明瞭化処理した訓練用明瞭化音声データ（明瞭化後の分離対象の主話者の音声）と、を対応付けたデータである。
【0098】
ニューラルネットワークは、ハードウェア回路であってもよいし、プロセッサ１１によりコンピュータプログラム上で仮想的に構築される階層間を接続するソフトウェアによる仮想的なネットワークであってもよい。ニューラルネットワークをＮＮと表記する場合がある。
【0099】
訓練処理部１０３は、音声特徴変換部１０２により符号化された「明瞭化前の分離対象となる主話者の音声」および「除外すべき音声」を入力データとし、主話者の拡張録音音声を正解データとする訓練用データを用いて、機械学習モデル１０４の訓練を行なう。訓練処理部１０３は、例えば、機械学習モデル１０４の出力である「明瞭化後の分離対象の主話者の音声」と正解データ（拡張録音音声）との誤差が小さくなるよう、機械学習モデル１０４のニューラルネットワークのパラメータを更新する処理を繰り返し行なう。
【0100】
また、入力データとして用いられる「明瞭化前の分離対象となる主話者の音声」および「除外すべき音声」は、それぞれクロストークを想定して作成されたクロストーク想定音声である。クロストーク想定音声は時間軸方向にずれを有するという特徴がある。
【0101】
本音声処理システム１においては、このようなクロストーク想定音声の特徴を考慮し、「明瞭化前の分離対象となる主話者の音声」と「除外すべき音声」とを別々に時間方向に畳み込みを実施し、時間軸方向のずれが少なくすることで、明瞭化の精度向上につなげる。
【0102】
図７は実施形態の一例としての音声処理システム１における訓練処理部１０３による訓練フェーズの処理を説明するための図である。
【0103】
機械学習モデル１０４のニューラルネットワークは、１つ以上の畳み込み層と結合層と復元層とを備える。
【0104】
畳み込み層は、音声特徴変換部１０２による特徴量変換により作成されたデータに対して時間方向の畳み込みを行なう。このような時間方向の畳み込みを行なうことで、クロストーク想定音声に含まれる複数の想定音声の時間方向のずれを吸収する。
【0105】
機械学習モデル１０４には、上述の如く、「明瞭化前の分離対象となる主話者の音声」と「除外すべき音声」との２つの音声データが入力され、複数の畳み込み層は、これらの音声データに対してそれぞれ畳み込み処理を行なう。
【0106】
結合層は、畳み込み層が「明瞭化前の分離対象となる主話者の音声」に対して畳み込みを行なうことで生成した出力データと、畳み込み層が「除外すべき音声」に対して畳み込みを行なうことで生成した出力データとを結合させる。
【0107】
復元層は、結合層により結合され出力された出力データから個々の拡張録音音声を復元する。
【0108】
このように、機械学習モデル１０４は、入力された「明瞭化前の分離対象となる主話者の音声」と「除外すべき音声」との２つの音声データをそれぞれ時間方向に畳み込みを行なった後に結合し、復元する。
【0109】
機械学習モデル１０４は、復元された拡張録音音声の中から、主音声の拡張録音音声を抽出して推論結果として出力する。
【0110】
訓練処理部１０３は、機械学習モデル１０４の推論結果を「明瞭化後の分離対象の主話者の音声（正解データ）」とに基づき、ニューラルネットワークの重み等のパラメータを最適化することによって機械学習モデル１０４を生成する。
【0111】
訓練処理部１０３は、例えば、勾配降下法を用いて、訓練用データに対する機械学習モデル１０３の推論結果と正解データとの誤差を定義した損失関数を小さくする方向に、ニューラルネットワークのパラメータをと更新することによって、パラメータの最適化を行なってもよい。
【0112】
推論処理部１０５は、推論フェーズにおいて、機械学習モデル１０４を用いて推論を行なう。
【0113】
図８は実施形態の一例としての音声処理システム１の機械学習モデル１０４の推論フェーズにおける入力データを説明するための図である。
【0114】
推論処理部１０５は、機械学習モデル１０４に、クロストークを含む主音声（図８の符号Ａ参照）と主音声以外の重畳音声（図８の符号Ｂ～Ｆ参照）とを入力する。クロストークを含む主音声は明瞭化対象の音声である。また、主音声以外の重畳音声は除外すべき音声（ノイズ成分）である。
【0115】
機械学習モデル１０４は、クロストークを含む主音声からクロストーク（ノイズ成分）を除去し、明瞭化された主音声を出力する。
【0116】
図９は実施形態の一例としての音声処理システム１における推論処理部１０５による推論フェーズ時の処理を説明するための図である。
【0117】
推論処理部１０５は、音声特徴変換部１０２に、明瞭化の対象である主音声と、主音声以外の拡張録音音声を重畳させた音声（主音声以外の重畳音声）とを入力し、これらの音声データに対して時間周波数分析（特徴量変換）を行なわせる。また、この際、音声特徴変換部１０２は、主音声以外の重畳音声に対してパワー調整も行なう。
【0118】
機械学習モデル１０４は、音声特徴変換部１０２により変換された２つの音声データに対して、それぞれ時間方向に畳み込みを行なった後に結合し、復元する。また、機械学習モデル１０４は、復元された音声の中から、明瞭化された主音声を抽出して推論結果として出力する。
【0119】
（Ｂ）動作
上述の如く構成された実施形態の一例としての音声処理システム１における訓練フェーズの処理を、図１０に示すフローチャート（ステップＳ０１～Ｓ０６）に従って説明する。
上述の如く構成された実施形態の一例としての音声処理システム１における訓練フェーズの処理を、図１０に示すフローチャート（ステップＳ０１～Ｓ０６）に従って説明する。
【0120】
ステップＳ０１において、訓練処理部１０３は、拡張音声データベース２０２から訓練用データ（音声データセット）を読み出す。
【0121】
ステップＳ０２において、訓練処理部１０３は、音声データセットに含まれる「明瞭化前の分離対象となる主話者の音声」と「除外すべき音声」とを音声特徴変換部１０２に入力し、特徴量変換を実施させる。
【0122】
音声特徴変換部１０２は、「明瞭化前の分離対象となる主話者の音声」および「除外すべき音声」の各データに対して、それぞれ特徴量変換を行なう。
【0123】
ステップＳ０３において、訓練処理部１０３は、機械学習モデル１０４（ニューラルネットワーク）の訓練を行なう。訓練データは、音声特徴変換部１０２により符号化された「明瞭化前の分離対象となる主話者の音声」および「除外すべき音声」を入力データとし、主話者の拡張録音音声を正解データとするデータである。
【0124】
機械学習モデル１０４においては、畳み込み層が、入力された特徴変換済みの２つの音声データに対して、それぞれ時間方向の畳み込みを行なう。また、結合層が、畳み込み層から出力される２つの出力データを結合させる。そして、復元層が、結合層により結合され出力された出力データから個々の拡張録音音声を復元する。
【0125】
そして、機械学習モデル１０４は、復元された拡張録音音声の中から、主音声の拡張録音音声を抽出して推論結果として出力する。
【0126】
ステップＳ０４において、訓練処理部１０３は、機械学習モデル１０４に対して、入力データに基づいて機械学習モデル１０４が出力する推論結果を正解データと比較させる。
【0127】
ステップＳ０５において、訓練処理部１０３は、機械学習モデル１０４に、例えば、勾配降下法を用いて、訓練用データに対する機械学習モデル１０３の推論結果と正解データとの誤差を定義した損失関数を小さくする方向に、ニューラルネットワークのパラメータをと更新させることによって、重み等のパラメータの最適化を行なう。
【0128】
ステップＳ０６において、訓練処理部１０３は、訓練の終了条件を満たしているかを確認する。例えば、訓練用データ（音声データセット）を用いて行なった訓練の数が所定のエポック数に到達した場合や、機械学習モデル１０４の精度が所定の閾値に到達した場合に、訓練処理部１０３は、訓練の終了条件を満たしたと判断してもよい。
【0129】
訓練の終了条件を満たしていない場合には（ステップＳ０６のＮＯルート参照）、ステップＳ０１に戻る。また、訓練の終了条件を満たしている場合には（ステップＳ０６のＹＥＳルート参照）、処理を終了する。
【0130】
次に、実施形態の一例としての音声処理システム１における推論フェーズの処理を、図１１に示すフローチャート（ステップＳ１１～Ｓ１４）に従って説明する。
【0131】
ステップＳ１１において、推論処理部１０５は、明瞭化の対象である主音声と主音声以外の重畳音声とを取得する。
【0132】
ステップＳ１２において、推論処理部１０５は、主音声と主音声以外の重畳音声とを音声特徴変換部１０２に入力し、特徴量変換を実施させる。
【0133】
音声特徴変換部１０２は、主音声および主音声以外の重畳音声の各データに対して、それぞれ特徴量変換を行なう。
【0134】
ステップＳ１３において、推論処理部１０５は、音声特徴変換部１０２により符号化された主音声と主音声以外の重畳音声とを機械学習モデル１０４（ニューラルネットワーク）に入力する。
【0135】
機械学習モデル１０４においては、畳み込み層が、入力された特徴変換済みの２つの音声データに対して、それぞれ時間方向の畳み込みを行なう。また、結合層が、畳み込み層から出力される２つの出力データを結合させる。そして、復元層が、結合層により結合され出力された出力データから個々の音声を復元する。
【0136】
ステップＳ１４において、推論処理部１０５は、機械学習モデル１０４に対して、復元された音声の中から、主音声の拡張録音音声を抽出して推論結果として出力させる。
【0137】
（Ｃ）効果
このように、実施形態の一例としての音声処理システム１によれば、予訓練用データ作成部１０１が、「明瞭化前の分離対象となる主話者の音声」と「除外すべき音声」との２つの入力に対する、パワーずれおよび時間ずれが生じている場合を考慮した複数種類のクロストーク想定音声（訓練用データ）を生成する。
このように、実施形態の一例としての音声処理システム１によれば、予訓練用データ作成部１０１が、「明瞭化前の分離対象となる主話者の音声」と「除外すべき音声」との２つの入力に対する、パワーずれおよび時間ずれが生じている場合を考慮した複数種類のクロストーク想定音声（訓練用データ）を生成する。
【0138】
そして、訓練フェーズにおいて、これらのクロストーク想定音声を反映させた訓練用データを用いて機械学習モデル１０４の訓練を行なう。これにより、クロストークの発生を想定したマイク環境が機械学習モデル１０４の訓練に反映され、機械学習モデル１０４の精度を向上させることができる。そして、話者に最も近いマイクの音声に対して明瞭な発話を得ることができ、音声認識、発話区間の検出等に用いることができる。また、話者およびマイクが移動した場合でも、明瞭な主話者の音声を得ることができる。
【0139】
訓練フェーズにおいて、ニューラルネットワークのパラメータ更新を実施することで、推論フェーズにおいてパラメータ更新の反復を行なう必要がない。これにより、例えば、計算コストを低減することができる。
【0140】
推論フェーズにおいて、明瞭化の対象である主音声と主音声以外の重畳音声とを推論処理部１０５が特徴量変換を実施した各データに対して、機械学習モデル１０４（ニューラルネットワーク）が、時間方向の畳み込みを行なった後に結合し、復元する。
【0141】
これにより、主音声以外が重畳された音声において時間的なずれが生じていても、適切な音源分離を行なうことができる。また、音源（話者）音源とマイクとが移動している場合においても、主音声を適切に明瞭化することができる。
【0142】
また、複数の話者（音声発生元）のそれぞれにマイクが装着され、各話者の移動に従って各話者に装着されたマイクもそれぞれ移動する環境において、マイクの数（話者の数）にかかわらず、目的の話者の音声のみを明確化（抽出，分離）することができる。
【0143】
推論フェーズにおいて、分離対象の主音声以外の音声データを重畳することにより、多チャンネルにおいても一定の処理速度を維持することができる。
【0144】
主音声および主音声以外が重畳された音声に対して、機械学習モデル１０４（ニューラルネットワーク）が、時間方向の畳み込みを行なう。これにより、主音声以外が重畳された音声で、時間的なずれが生じていても適切な音源分離を行なうことができる。
【0145】
訓練用データ作成部１０１が、マイクから得られた音声データ（録音音声）に対して周波数特性変換やサンプリングデータ周波数変換，音量変換等の加工を行なうことで、録音音声のデータ拡張（水増し）を容易に行なうことができる。
【0146】
図１２は実施形態の一例としての音声処理システム１による推論結果を例示する図である。
【0147】
この図１２においては、２人の話者Ｘ，Ｙが同時に発話している環境下での話者Ｘのマイクの音声と話者Ｙのマイクの音声とを示す。話者Ｙのマイクには、話者Ｙの音声とともに話者Ｘの音声がクロストークとして入力されているものとする。
【0148】
そして、話者Ｘのマイク音声と話者Ｙのマイク音声とを入力データとして、明瞭化対象（主音声）を話者Ｘの音声とし、主音声以外の入力を話者Ｙとした場合の推論結果を符号Ａで示す。
【0149】
この符号Ａにおいては、話者Ｘの音声波形の先端に話者Ｙの音声が若干表れている（Ｙのクロストーク参照）。このような、マイクが収音した、話者Ｙの音声が混ざった明瞭化前の音声をBeforeと表す。そして、本音声処理システム１により話者Ｘの音声を明瞭化して出力した音声をAfterと表す。
【0150】
一方、話者Ｘのマイク音声と話者Ｙのマイク音声とを入力データとして、明瞭化対象（主音声）を話者Ｙの音声とし、主音声以外の入力を話者Ｘとした場合の推論結果を符号Ｂで示す。
【0151】
この符号Ｂにおいては、話者Ｙのマイクが収音した明瞭化前の音声（Before）と、本音声処理システム１により話者Ｙの音声を明瞭化して出力した音声（After）とを示す。
【0152】
この図１２において、符号Ａで示すように、明瞭化対象の音声として発話者Ｘの音声を入力した場合には、話者Ｘのマイクが収音した明瞭化前の音声（Before）と、本音声処理システム１により話者Ｘの音声を明瞭化して出力した音声（After）とがほぼ等しく、悪影響は少ないことがわかる（符号Ａ参照）。
【0153】
一方、符号Ｂで示すように、明瞭化対象の音声にクロストークが多く発生しているＹの音声を入力した場合においても、Afterにおいて、Ｘのクロストークが減衰され、話者Ｙの音声が明確化されていることが確認できる。
【0154】
（Ｄ）その他
本実施形態の各構成および各処理は、必要に応じて取捨選択することができ、あるいは適宜組み合わせてもよい。
本実施形態の各構成および各処理は、必要に応じて取捨選択することができ、あるいは適宜組み合わせてもよい。
【0155】
そして、開示の技術は上述した実施形態に限定されるものではなく、本実施形態の趣旨を逸脱しない範囲で種々変形して実施することができる。
【0156】
例えば、上述した実施形態においては、複数の話者の音声によるクロストークを解消する手法を例示しているが、これに限定されるものではない。
【0157】
例えば、クロストークとして入力される話者の音声を減衰する代わりに、音声に含まれる特定のノイズの除去に適用してもよい。例えば、コンサート会場において、環境音や拍手の音等を収音するマイクを用意し、演奏曲を収音するために備えられたマイクにクロストークとして入力された環境音や拍手の音等を減衰せることで、演奏曲の明瞭化を行なってもよい。
【0158】
また、本音声処理システム１において、複数のマイクから収音された音声をリアルタイムに処理することでノイズキャンセリングシステムを実現してもよい。
【0159】
また、上述した開示により本実施形態を当業者によって実施・製造することが可能である。
【0160】
（Ｅ）付記
以上の実施形態に関し、さらに以下の付記を開示する。
以上の実施形態に関し、さらに以下の付記を開示する。
【0161】
（付記１）
マイクから得られた訓練用第１音声データと、前記マイクと異なる他のマイクから得られた訓練用第２音声データと、前記訓練用第１音声データと前記訓練用第２音声データの少なくとも一方に含まれる音声を明瞭化処理した訓練用明瞭化音声データと、を対応付けた訓練データを用いた機械学習により、推論用第１音声データと推論用第２音声データとの入力に応じて、明瞭化音声データを生成する音声処理モデルを生成する
処理をコンピュータに実行させるモデル生成プログラム。
マイクから得られた訓練用第１音声データと、前記マイクと異なる他のマイクから得られた訓練用第２音声データと、前記訓練用第１音声データと前記訓練用第２音声データの少なくとも一方に含まれる音声を明瞭化処理した訓練用明瞭化音声データと、を対応付けた訓練データを用いた機械学習により、推論用第１音声データと推論用第２音声データとの入力に応じて、明瞭化音声データを生成する音声処理モデルを生成する
処理をコンピュータに実行させるモデル生成プログラム。
【0162】
（付記２）
前記訓練用第１音声データおよび前記訓練用第２音声データに対して加工を行なうことで複数の拡張録音音声を作成し、
前記複数の拡張録音音声の中から選択した主拡張録音音声に対して、前記複数の拡張録音音声のうちの前記主拡張録音音声とは異なる拡張録音音声に遅延処理および音量変換処理を行なった従拡張録音音声を重畳させることで、クロストーク想定音声を作成し、
複数の前記クロストーク想定音声の中から選択した第１のクロストーク想定音声を前記訓練用第１音声データとし、
複数のクロストーク想定音声の中から選択した、第１のクロストーク想定音声以外の複数の第２のクロストーク想定音声を重畳して、前記訓練用第２音声データを作成する
処理を前記コンピュータに実行させる付記１に記載のモデル生成プログラム。
前記訓練用第１音声データおよび前記訓練用第２音声データに対して加工を行なうことで複数の拡張録音音声を作成し、
前記複数の拡張録音音声の中から選択した主拡張録音音声に対して、前記複数の拡張録音音声のうちの前記主拡張録音音声とは異なる拡張録音音声に遅延処理および音量変換処理を行なった従拡張録音音声を重畳させることで、クロストーク想定音声を作成し、
複数の前記クロストーク想定音声の中から選択した第１のクロストーク想定音声を前記訓練用第１音声データとし、
複数のクロストーク想定音声の中から選択した、第１のクロストーク想定音声以外の複数の第２のクロストーク想定音声を重畳して、前記訓練用第２音声データを作成する
処理を前記コンピュータに実行させる付記１に記載のモデル生成プログラム。
【0163】
（付記３）
前記音声処理モデルが、前記訓練用第１音声データ，前記訓練用第２音声データ，前記推論用第１音声データおよび前記推論用第２音声データに対して、それぞれ時間方向の畳み込みを行なう
処理を前記コンピュータに実行させる付記１または２に記載のモデル生成プログラム。
前記音声処理モデルが、前記訓練用第１音声データ，前記訓練用第２音声データ，前記推論用第１音声データおよび前記推論用第２音声データに対して、それぞれ時間方向の畳み込みを行なう
処理を前記コンピュータに実行させる付記１または２に記載のモデル生成プログラム。
【0164】
（付記４）
マイクから得られた訓練用第１音声データと、前記マイクと異なる他のマイクから得られた訓練用第２音声データと、前記訓練用第１音声データと前記訓練用第２音声データの少なくとも一方に含まれる音声を明瞭化処理した訓練用明瞭化音声データと、を対応付けた訓練データを用いた機械学習により生成した音声処理モデルに、推論用第１音声データと推論用第２音声データとを入力し、明瞭化音声データを生成する
処理をコンピュータに実行させる音声処理プログラム。
マイクから得られた訓練用第１音声データと、前記マイクと異なる他のマイクから得られた訓練用第２音声データと、前記訓練用第１音声データと前記訓練用第２音声データの少なくとも一方に含まれる音声を明瞭化処理した訓練用明瞭化音声データと、を対応付けた訓練データを用いた機械学習により生成した音声処理モデルに、推論用第１音声データと推論用第２音声データとを入力し、明瞭化音声データを生成する
処理をコンピュータに実行させる音声処理プログラム。
【0165】
（付記５）
前記訓練用第１音声データおよび前記訓練用第２音声データに対して加工を行なうことで作成された複数の拡張録音音声の中から選択された主拡張録音音声に対して、前記複数の拡張録音音声のうちの前記主拡張録音音声とは異なる拡張録音音声に遅延処理および音量変換処理を行なった従拡張録音音声を重畳させることで作成されたクロストーク想定音声に基づき、
前記訓練用第１音声データが、複数の前記クロストーク想定音声の中から選択された第１のクロストーク想定音声であり、
前記訓練用第２音声データが、複数のクロストーク想定音声の中から選択された、第１のクロストーク想定音声以外の複数の第２のクロストーク想定音声を重畳して作成される
ことを特徴とする付記４に記載の音声処理プログラム。
前記訓練用第１音声データおよび前記訓練用第２音声データに対して加工を行なうことで作成された複数の拡張録音音声の中から選択された主拡張録音音声に対して、前記複数の拡張録音音声のうちの前記主拡張録音音声とは異なる拡張録音音声に遅延処理および音量変換処理を行なった従拡張録音音声を重畳させることで作成されたクロストーク想定音声に基づき、
前記訓練用第１音声データが、複数の前記クロストーク想定音声の中から選択された第１のクロストーク想定音声であり、
前記訓練用第２音声データが、複数のクロストーク想定音声の中から選択された、第１のクロストーク想定音声以外の複数の第２のクロストーク想定音声を重畳して作成される
ことを特徴とする付記４に記載の音声処理プログラム。
【0166】
（付記６）
前記音声処理モデルが、前記訓練用第１音声データ，前記訓練用第２音声データ，前記推論用第１音声データおよび前記推論用第２音声データに対して、それぞれ時間方向の畳み込みを行なう
ことを特徴とする付記４または５に記載の音声処理プログラム。
前記音声処理モデルが、前記訓練用第１音声データ，前記訓練用第２音声データ，前記推論用第１音声データおよび前記推論用第２音声データに対して、それぞれ時間方向の畳み込みを行なう
ことを特徴とする付記４または５に記載の音声処理プログラム。
【0167】
（付記７）
マイクから得られた訓練用第１音声データと、前記マイクと異なる他のマイクから得られた訓練用第２音声データと、前記訓練用第１音声データと前記訓練用第２音声データの少なくとも一方に含まれる音声を明瞭化処理した訓練用明瞭化音声データと、を対応付けた訓練データを用いた機械学習により、推論用第１音声データと推論用第２音声データとの入力に応じて、明瞭化音声データを生成する音声処理モデルを生成する
処理を実行する制御部を備えることを特徴とする情報処理装置。
マイクから得られた訓練用第１音声データと、前記マイクと異なる他のマイクから得られた訓練用第２音声データと、前記訓練用第１音声データと前記訓練用第２音声データの少なくとも一方に含まれる音声を明瞭化処理した訓練用明瞭化音声データと、を対応付けた訓練データを用いた機械学習により、推論用第１音声データと推論用第２音声データとの入力に応じて、明瞭化音声データを生成する音声処理モデルを生成する
処理を実行する制御部を備えることを特徴とする情報処理装置。
【0168】
（付記８）
前記制御部が、
前記訓練用第１音声データおよび前記訓練用第２音声データに対して加工を行なうことで複数の拡張録音音声を作成し、
前記複数の拡張録音音声の中から選択した主拡張録音音声に対して、前記複数の拡張録音音声のうちの前記主拡張録音音声とは異なる拡張録音音声に遅延処理および音量変換処理を行なった従拡張録音音声を重畳させることで、クロストーク想定音声を作成し、
複数の前記クロストーク想定音声の中から選択した第１のクロストーク想定音声を前記訓練用第１音声データとし、
複数のクロストーク想定音声の中から選択した、第１のクロストーク想定音声以外の複数の第２のクロストーク想定音声を重畳して、前記訓練用第２音声データを作成する
処理を実行する付記７に記載の情報処理装置。
前記制御部が、
前記訓練用第１音声データおよび前記訓練用第２音声データに対して加工を行なうことで複数の拡張録音音声を作成し、
前記複数の拡張録音音声の中から選択した主拡張録音音声に対して、前記複数の拡張録音音声のうちの前記主拡張録音音声とは異なる拡張録音音声に遅延処理および音量変換処理を行なった従拡張録音音声を重畳させることで、クロストーク想定音声を作成し、
複数の前記クロストーク想定音声の中から選択した第１のクロストーク想定音声を前記訓練用第１音声データとし、
複数のクロストーク想定音声の中から選択した、第１のクロストーク想定音声以外の複数の第２のクロストーク想定音声を重畳して、前記訓練用第２音声データを作成する
処理を実行する付記７に記載の情報処理装置。
【0169】
（付記９）
前記制御部が、
前記音声処理モデルが、前記訓練用第１音声データ，前記訓練用第２音声データ，前記推論用第１音声データおよび前記推論用第２音声データに対して、それぞれ時間方向の畳み込みを行なう
処理を実行する付記７または８に記載の情報処理装置。
前記制御部が、
前記音声処理モデルが、前記訓練用第１音声データ，前記訓練用第２音声データ，前記推論用第１音声データおよび前記推論用第２音声データに対して、それぞれ時間方向の畳み込みを行なう
処理を実行する付記７または８に記載の情報処理装置。
【0170】
（付記１０）
マイクから得られた訓練用第１音声データと、前記マイクと異なる他のマイクから得られた訓練用第２音声データと、前記訓練用第１音声データと前記訓練用第２音声データの少なくとも一方に含まれる音声を明瞭化処理した訓練用明瞭化音声データと、を対応付けた訓練データを用いた機械学習により生成した音声処理モデルに、推論用第１音声データと推論用第２音声データとを入力し、明瞭化音声データを生成する
処理を実行する制御部を備えることを特徴とする情報処理装置。
マイクから得られた訓練用第１音声データと、前記マイクと異なる他のマイクから得られた訓練用第２音声データと、前記訓練用第１音声データと前記訓練用第２音声データの少なくとも一方に含まれる音声を明瞭化処理した訓練用明瞭化音声データと、を対応付けた訓練データを用いた機械学習により生成した音声処理モデルに、推論用第１音声データと推論用第２音声データとを入力し、明瞭化音声データを生成する
処理を実行する制御部を備えることを特徴とする情報処理装置。
【0171】
（付記１１）
前記訓練用第１音声データおよび前記訓練用第２音声データに対して加工を行なうことで作成された複数の拡張録音音声の中から選択された主拡張録音音声に対して、前記複数の拡張録音音声のうちの前記主拡張録音音声とは異なる拡張録音音声に遅延処理および音量変換処理を行なった従拡張録音音声を重畳させることで作成されたクロストーク想定音声に基づき、
前記訓練用第１音声データが、複数の前記クロストーク想定音声の中から選択された第１のクロストーク想定音声であり、
前記訓練用第２音声データが、複数のクロストーク想定音声の中から選択された、第１のクロストーク想定音声以外の複数の第２のクロストーク想定音声を重畳して作成される
ことを特徴とする付記１０に記載の情報処理装置。
前記訓練用第１音声データおよび前記訓練用第２音声データに対して加工を行なうことで作成された複数の拡張録音音声の中から選択された主拡張録音音声に対して、前記複数の拡張録音音声のうちの前記主拡張録音音声とは異なる拡張録音音声に遅延処理および音量変換処理を行なった従拡張録音音声を重畳させることで作成されたクロストーク想定音声に基づき、
前記訓練用第１音声データが、複数の前記クロストーク想定音声の中から選択された第１のクロストーク想定音声であり、
前記訓練用第２音声データが、複数のクロストーク想定音声の中から選択された、第１のクロストーク想定音声以外の複数の第２のクロストーク想定音声を重畳して作成される
ことを特徴とする付記１０に記載の情報処理装置。
【0172】
（付記１２）
前記音声処理モデルが、前記訓練用第１音声データ，前記訓練用第２音声データ，前記推論用第１音声データおよび前記推論用第２音声データに対して、それぞれ時間方向の畳み込みを行なう
ことを特徴とする付記１０または１１に記載の情報処理装置。
前記音声処理モデルが、前記訓練用第１音声データ，前記訓練用第２音声データ，前記推論用第１音声データおよび前記推論用第２音声データに対して、それぞれ時間方向の畳み込みを行なう
ことを特徴とする付記１０または１１に記載の情報処理装置。
【0173】
（付記１３）
マイクから得られた訓練用第１音声データと、前記マイクと異なる他のマイクから得られた訓練用第２音声データと、前記訓練用第１音声データと前記訓練用第２音声データの少なくとも一方に含まれる音声を明瞭化処理した訓練用明瞭化音声データと、を対応付けた訓練データを用いた機械学習により、推論用第１音声データと推論用第２音声データとの入力に応じて、明瞭化音声データを生成する音声処理モデルを生成する
処理をコンピュータが実行することを特徴とするモデル生成方法。
マイクから得られた訓練用第１音声データと、前記マイクと異なる他のマイクから得られた訓練用第２音声データと、前記訓練用第１音声データと前記訓練用第２音声データの少なくとも一方に含まれる音声を明瞭化処理した訓練用明瞭化音声データと、を対応付けた訓練データを用いた機械学習により、推論用第１音声データと推論用第２音声データとの入力に応じて、明瞭化音声データを生成する音声処理モデルを生成する
処理をコンピュータが実行することを特徴とするモデル生成方法。
【0174】
（付記１４）
前記訓練用第１音声データおよび前記訓練用第２音声データに対して加工を行なうことで複数の拡張録音音声を作成し、
前記複数の拡張録音音声の中から選択した主拡張録音音声に対して、前記複数の拡張録音音声のうちの前記主拡張録音音声とは異なる拡張録音音声に遅延処理および音量変換処理を行なった従拡張録音音声を重畳させることで、クロストーク想定音声を作成し、
複数の前記クロストーク想定音声の中から選択した第１のクロストーク想定音声を前記訓練用第１音声データとし、
複数のクロストーク想定音声の中から選択した、第１のクロストーク想定音声以外の複数の第２のクロストーク想定音声を重畳して、前記訓練用第２音声データを作成する
処理を前記コンピュータが実行することを特徴とする付記１３に記載のモデル生成方法。
前記訓練用第１音声データおよび前記訓練用第２音声データに対して加工を行なうことで複数の拡張録音音声を作成し、
前記複数の拡張録音音声の中から選択した主拡張録音音声に対して、前記複数の拡張録音音声のうちの前記主拡張録音音声とは異なる拡張録音音声に遅延処理および音量変換処理を行なった従拡張録音音声を重畳させることで、クロストーク想定音声を作成し、
複数の前記クロストーク想定音声の中から選択した第１のクロストーク想定音声を前記訓練用第１音声データとし、
複数のクロストーク想定音声の中から選択した、第１のクロストーク想定音声以外の複数の第２のクロストーク想定音声を重畳して、前記訓練用第２音声データを作成する
処理を前記コンピュータが実行することを特徴とする付記１３に記載のモデル生成方法。
【0175】
（付記１５）
前記音声処理モデルが、前記訓練用第１音声データ，前記訓練用第２音声データ，前記推論用第１音声データおよび前記推論用第２音声データに対して、それぞれ時間方向の畳み込みを行なう
処理を前記コンピュータが実行することを特徴とする付記１３または１４に記載のモデル生成方法。
前記音声処理モデルが、前記訓練用第１音声データ，前記訓練用第２音声データ，前記推論用第１音声データおよび前記推論用第２音声データに対して、それぞれ時間方向の畳み込みを行なう
処理を前記コンピュータが実行することを特徴とする付記１３または１４に記載のモデル生成方法。
【0176】
（付記１６）
マイクから得られた訓練用第１音声データと、前記マイクと異なる他のマイクから得られた訓練用第２音声データと、前記訓練用第１音声データ訓練用明瞭化音声データを明瞭化処理した訓練用明瞭化音声データと、を対応付けた訓練データを用いた機械学習により生成した音声処理モデルに、推論用第１音声データと推論用第２音声データとを入力し、明瞭化音声データを生成する
処理をコンピュータが実行することを特徴とする音声処理方法。
マイクから得られた訓練用第１音声データと、前記マイクと異なる他のマイクから得られた訓練用第２音声データと、前記訓練用第１音声データ訓練用明瞭化音声データを明瞭化処理した訓練用明瞭化音声データと、を対応付けた訓練データを用いた機械学習により生成した音声処理モデルに、推論用第１音声データと推論用第２音声データとを入力し、明瞭化音声データを生成する
処理をコンピュータが実行することを特徴とする音声処理方法。
【0177】
（付記１７）
前記訓練用第１音声データおよび前記訓練用第２音声データに対して加工を行なうことで作成された複数の拡張録音音声の中から選択された主拡張録音音声に対して、前記複数の拡張録音音声のうちの前記主拡張録音音声とは異なる拡張録音音声に遅延処理および音量変換処理を行なった従拡張録音音声を重畳させることで作成されたクロストーク想定音声に基づき、
前記訓練用第１音声データが、複数の前記クロストーク想定音声の中から選択された第１のクロストーク想定音声であり、
前記訓練用第２音声データが、複数のクロストーク想定音声の中から選択された、第１のクロストーク想定音声以外の複数の第２のクロストーク想定音声を重畳して作成される
ことを特徴とする付記１６に記載の音声処理方法。
前記訓練用第１音声データおよび前記訓練用第２音声データに対して加工を行なうことで作成された複数の拡張録音音声の中から選択された主拡張録音音声に対して、前記複数の拡張録音音声のうちの前記主拡張録音音声とは異なる拡張録音音声に遅延処理および音量変換処理を行なった従拡張録音音声を重畳させることで作成されたクロストーク想定音声に基づき、
前記訓練用第１音声データが、複数の前記クロストーク想定音声の中から選択された第１のクロストーク想定音声であり、
前記訓練用第２音声データが、複数のクロストーク想定音声の中から選択された、第１のクロストーク想定音声以外の複数の第２のクロストーク想定音声を重畳して作成される
ことを特徴とする付記１６に記載の音声処理方法。
【0178】
（付記１８）
前記音声処理モデルが、前記訓練用第１音声データ，前記訓練用第２音声データ，前記推論用第１音声データおよび前記推論用第２音声データに対して、それぞれ時間方向の畳み込みを行なう
ことを特徴とする付記１６または１７に記載の音声処理方法。
前記音声処理モデルが、前記訓練用第１音声データ，前記訓練用第２音声データ，前記推論用第１音声データおよび前記推論用第２音声データに対して、それぞれ時間方向の畳み込みを行なう
ことを特徴とする付記１６または１７に記載の音声処理方法。
【符号の説明】
【0179】
１ 音声処理システム
１０ 情報処理装置
１１ プロセッサ（制御部）
１２ メモリ
１３ 記憶装置
１４ グラフィック処理装置
１４ａ モニタ
１５ 入力インタフェース
１５ａ キーボード
１５ｂ マウス
１６ 光学ドライブ装置
１６ａ 光ディスク
１７ 機器接続インタフェース
１７ａ メモリ装置
１７ｂ メモリリーダライタ
１７ｃ メモリカード
１８ ネットワークインタフェース
１９ バス
１０１ 訓練用データ作成部
１０２ 音声特徴変換部
１０３ 訓練処理部
１０４ 機械学習モデル
１０５ 推論処理部
２０１ 音声データベース
２０２ 拡張音声データベース
２０３ 訓練用データセット
１０ 情報処理装置
１１ プロセッサ（制御部）
１２ メモリ
１３ 記憶装置
１４ グラフィック処理装置
１４ａ モニタ
１５ 入力インタフェース
１５ａ キーボード
１５ｂ マウス
１６ 光学ドライブ装置
１６ａ 光ディスク
１７ 機器接続インタフェース
１７ａ メモリ装置
１７ｂ メモリリーダライタ
１７ｃ メモリカード
１８ ネットワークインタフェース
１９ バス
１０１ 訓練用データ作成部
１０２ 音声特徴変換部
１０３ 訓練処理部
１０４ 機械学習モデル
１０５ 推論処理部
２０１ 音声データベース
２０２ 拡張音声データベース
２０３ 訓練用データセット
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
