(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024054053
(43)【公開日】2024-04-16
(54)【発明の名称】音響モデルの訓練方法
(51)【国際特許分類】
G10L 13/06 20130101AFI20240409BHJP
G10L 13/00 20060101ALI20240409BHJP
【ＦＩ】
G10L13/06 230Z
G10L13/00 100Y
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2022212415
(22)【出願日】2022-12-28
(31)【優先権主張番号】63/412,887
(32)【優先日】2022-10-04
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】000004075
【氏名又は名称】ヤマハ株式会社
(74)【代理人】
【識別番号】110000408
【氏名又は名称】弁理士法人高橋・林アンドパートナーズ
(72)【発明者】
【氏名】大道 竜之介
(72)【発明者】
【氏名】才野 慶二郎
(72)【発明者】
【氏名】西村 方成
(72)【発明者】
【氏名】清水 正宏
(57)【要約】
【課題】訓練済みの音響モデルについて、そのモデルの追加訓練の可否を選択すること。
【解決手段】音響モデルの訓練方法は、音響特徴量を生成する音響モデルの訓練方法であって、付加情報がリンクした第１音響モデルを、音波形を用いた再訓練の対象として特定し、前記付加情報に基づき、前記第１音響モデルに対する再訓練の可否を判断し、再訓練が可能と判断された場合に、音波形の音響特徴量を用いて、前記第１音響モデルを再訓練することで、再訓済の第２音響モデルを作成する。前記付加情報は、前記音響モデルに対する再訓練の許可を示す許可フラグであってもよい。
【選択図】図５
【解決手段】音響モデルの訓練方法は、音響特徴量を生成する音響モデルの訓練方法であって、付加情報がリンクした第１音響モデルを、音波形を用いた再訓練の対象として特定し、前記付加情報に基づき、前記第１音響モデルに対する再訓練の可否を判断し、再訓練が可能と判断された場合に、音波形の音響特徴量を用いて、前記第１音響モデルを再訓練することで、再訓済の第２音響モデルを作成する。前記付加情報は、前記音響モデルに対する再訓練の許可を示す許可フラグであってもよい。
【選択図】図５
【特許請求の範囲】
【請求項1】
音響特徴量を生成する音響モデルの訓練方法であって、
付加情報がリンクした第１音響モデルを、音波形を用いた再訓練の対象として特定し、
前記付加情報に基づき、前記第１音響モデルに対する再訓練の可否を判断し、
再訓練が可能と判断された場合に、音波形の音響特徴量を用いて、前記第１音響モデルを再訓練することで、再訓済の第２音響モデルを作成する音響モデルの訓練方法。
付加情報がリンクした第１音響モデルを、音波形を用いた再訓練の対象として特定し、
前記付加情報に基づき、前記第１音響モデルに対する再訓練の可否を判断し、
再訓練が可能と判断された場合に、音波形の音響特徴量を用いて、前記第１音響モデルを再訓練することで、再訓済の第２音響モデルを作成する音響モデルの訓練方法。
【請求項2】
前記付加情報は、前記第１音響モデルに対する再訓練の許可を示す許可フラグである、請求項１に記載の方法。
【請求項3】
前記付加情報は、前記第１音響モデルの再訓練のプロセスを示す手順データを含み、
前記第１音響モデルの前記再訓練は、前記手順データに基づいて行われる、請求項１に記載の方法。
前記第１音響モデルの前記再訓練は、前記手順データに基づいて行われる、請求項１に記載の方法。
【請求項4】
前記付加情報は、前記第１音響モデルの第１特徴を示す情報を含み、
前記音波形が特定されると、前記第１特徴と前記音波形の第２特徴とに基づいて、それぞれ前記付加情報がリンクした複数の前記第１音響モデルから、再訓練が行われる前記第１音響モデルを選択する、請求項１に記載の方法。
前記音波形が特定されると、前記第１特徴と前記音波形の第２特徴とに基づいて、それぞれ前記付加情報がリンクした複数の前記第１音響モデルから、再訓練が行われる前記第１音響モデルを選択する、請求項１に記載の方法。
【請求項5】
再訓練が行われる前記第１音響モデルは、それぞれ前記付加情報がリンクした複数の前記第１音響モデルから選択され、
前記複数の第１音響モデルを用いて、前記音波形に係る楽曲の音響特徴量を各々生成し、
前記音波形と前記生成された複数の音響特徴量とに基づいて、再訓練が行われる前記第１音響モデルを選択する、請求項１に記載の方法。
前記複数の第１音響モデルを用いて、前記音波形に係る楽曲の音響特徴量を各々生成し、
前記音波形と前記生成された複数の音響特徴量とに基づいて、再訓練が行われる前記第１音響モデルを選択する、請求項１に記載の方法。
【請求項6】
前記第１音響モデルは、１以上の作成者によって作成された音響モデルであり、
前記付加情報は、前記１以上の作成者によって付与された、前記作成者が作成した第１音響モデルに対する再訓練の可否を制御する情報である、請求項１に記載の方法。
前記付加情報は、前記１以上の作成者によって付与された、前記作成者が作成した第１音響モデルに対する再訓練の可否を制御する情報である、請求項１に記載の方法。
【請求項7】
前記付加情報は、前記第１音響モデルの原作成者により前記第１音響モデルにリンクされた第１付加情報であり、
前記第２音響モデルを作成したユーザは、前記第２音響モデルに対する再訓練の可否を示す第２付加情報を設定して、前記第２音響モデルにリンクする、請求項１又は６に記載の方法。
前記第２音響モデルを作成したユーザは、前記第２音響モデルに対する再訓練の可否を示す第２付加情報を設定して、前記第２音響モデルにリンクする、請求項１又は６に記載の方法。
【請求項8】
前記第２音響モデルは第３者に販売され、その対価は、前記再訓練による前記第１音響モデルから前記第２音響モデルへの変化度に応じて、前記第１音響モデルの作成者と、前記第２音響モデルの作成者との間で、案分される、請求項１又は６に記載の方法。
【請求項9】
前記第２音響モデルは第３者に販売され、
前記付加情報は、前記第１音響モデルの作成者の取り分を示す取り分情報を含み、
前記販売の対価は、前記取り分情報に応じて、前記第１音響モデルの作成者に分配される、請求項１又は６に記載の方法。
前記付加情報は、前記第１音響モデルの作成者の取り分を示す取り分情報を含み、
前記販売の対価は、前記取り分情報に応じて、前記第１音響モデルの作成者に分配される、請求項１又は６に記載の方法。
【請求項10】
前記再訓練が行われる第１音響モデルは、複数の第１音響モデルの中から選択されたモデルであり、
前記複数の第１音響モデルは、未訓練の初期モデルであって、当該モデルへの再訓練の許可を示す付加情報がリンクされた、前記初期モデルを含む、請求項１に記載の方法。
前記複数の第１音響モデルは、未訓練の初期モデルであって、当該モデルへの再訓練の許可を示す付加情報がリンクされた、前記初期モデルを含む、請求項１に記載の方法。
【請求項11】
前記再訓練が行われる第１音響モデルは、複数の第１音響モデルの中から選択されたモデルであり、
前記複数の第１音響モデルには、複数の音色種別に対応する複数の普遍音響モデルであって、それぞれ、対応する音色種別の音響特徴量を生成するよう訓練された前記複数の普遍音響モデルが含まれる、請求項１に記載の方法。
前記複数の第１音響モデルには、複数の音色種別に対応する複数の普遍音響モデルであって、それぞれ、対応する音色種別の音響特徴量を生成するよう訓練された前記複数の普遍音響モデルが含まれる、請求項１に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の一実施形態は、音響モデルの訓練方法に関する。
【背景技術】
【0002】
特定の歌手の声音及び特定の楽器の演奏音を合成する音声合成技術（Sound Synthesis）が知られている。特に、機械学習を利用した音声合成技術（例えば、特許文献１）では、ユーザによって入力された楽譜データ及び音響データに基づいて当該特定の音声及び演奏音で自然な発音の合成音声を出力するために、十分に訓練された音響モデルが要求される。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】国際公開第２０２２／０８０３９５号
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、音響モデルを十分に訓練するためには、膨大な量の声音及び演奏音について言語特徴量をラベル付けする必要があり、莫大な時間と費用を要していた。そのため、資金を十分に有する企業しか音響モデルの訓練を実行することができず、音響モデルの種類が限られていた。一方で、近年、音響モデルの訓練を一般のユーザが実行するためのプラットフォームが整備されてきている。そのようなプラットフォームが完成した場合、一般のユーザが訓練を行った音響モデルを用いて、他のユーザがさらに訓練を実行するケースが想定される。
【0005】
本発明の一実施形態の目的の一つは、訓練済みの音響モデルについて、そのモデルの追加訓練の可否を選択することである。
【課題を解決するための手段】
【0006】
本発明の一実施形態による音響モデルの訓練方法は、音響特徴量を生成する音響モデルの提供方法であって、付加情報がリンクした第１音響モデルを、音波形を用いた再訓練の対象として特定し、前記付加情報に基づき、前記第１音響モデルに対する再訓練の可否を判断し、再訓練が可能と判断された場合に、音波形の音響特徴量を用いて、前記第１音響モデルを再訓練することで、再訓済の第２音響モデルを作成する。
【発明の効果】
【0007】
本発明の一実施形態によれば、訓練済みの音響モデルについて、そのモデルの追加訓練の可否を選択することができる。
【図面の簡単な説明】
【0008】
【図1】音響モデル訓練システムの全体構成図である。
【図2】サーバの構成図である。
【図3】音響モデルの説明図である。
【図4】音響モデルの訓練方法及び音声合成方法を示すシーケンス図である。
【図5】音響モデルの訓練方法を示すフローチャートである。
【図6】付加情報の一例を示す図である。
【図7】音響モデルの訓練方法を示すフローチャートである。
【図8】付加情報の一例を示す図である。
【図9】音響モデルの訓練方法を示す概念図である。
【図10】音響モデルの訓練方法を示すフローチャートである。
【図11】音響モデルの訓練方法を示すフローチャートである。
【図12】音響モデルの訓練方法を示すフローチャートである。
【発明を実施するための形態】
【0009】
以下、本発明の一実施形態における音響モデルの訓練方法について、図面を参照しながら詳細に説明する。以下に示す実施形態は本発明を実施する形態の一例であって、本発明はこれらの実施形態に限定して解釈されない。本実施形態で参照する図面において、同一部分又は同様の機能を有する部分には同一の符号又は類似の符号が付されており、それらの繰り返しの説明は省略される場合がある。
【0010】
以下の実施形態において、「楽譜データ」は、音符の音高及び強度に関する情報、音符における音韻に関する情報、音符の発音期間に関する情報、及び演奏記号に関する情報を含むデータである。例えば、楽譜データは、楽曲の楽譜及び歌詞の少なくとも一方を示すデータである。楽譜データは、当該楽曲を構成する音符の時系列を示すデータであってもよく、当該楽曲を構成する言語の時系列を示すデータであってもよい。
【0011】
「音波形」は、音声の波形データであり、その音声を発する音源は、音源ＩＤで特定される。例えば、音波形は、歌唱の波形データ及び楽器音の波形データの少なくとも一方である。例えば、音波形は、マイク等の入力装置を介して取り込まれた歌手の歌声及び楽器の演奏音の波形データを含む。音源ＩＤは、その歌手の歌唱の音色、又はその楽器の演奏音の音色を特定する。音波形のうち、音響モデルを用いて合成音波形を生成するために入力される音波形を「合成用音波形」といい、音響モデルを訓練するために用いられる音波形を「訓練用音波形」という。合成用音波形と訓練用音波形とを区別する必要がない場合、これらを併せて、単に「音波形」という。
【0012】
「音響モデル」は、楽譜データの楽譜特徴量の入力と、音波形の音響特徴量の入力とを有する。音響モデルとして、例えば、国際公開第２０２２／０８０３９５号に記載された、楽譜エンコーダ、音響エンコーダ、切換部、及び音響デコーダを有する音響モデルを用いる。この音響モデルは、入力された楽譜データの楽譜特徴量又は音波形の音響特徴量と音源ＩＤとを処理することで、その音源ＩＤが示す音色を有する、目的とする音波形の音響特徴量を生成する機能を有し、新たな合成音波形を生成するための音声合成プログラムによって使用される音声合成モデルである。音声合成プログラムは、ある楽曲の楽譜データから生成した楽譜特徴量と音源ＩＤとを音響モデルに供給することで、その音源ＩＤが示す音色で、かつその楽曲の音響特徴量を得て、その音響特徴量を音波形に変換する。或いは、音声合成プログラムは、ある楽曲の音波形から生成した音響特徴量と音源ＩＤとを音響モデルに供給することで、その音源ＩＤが示す音色で、かつその楽曲の新たな音響特徴量を得て、その新たな音響特徴量を音波形に変換する。音響モデル毎に、所定数の音源ＩＤが用意される。つまり、各音響モデルは、所定数の音色のうちの、音源ＩＤが示す音色の音響特徴量を選択的に生成する。
【0013】
音響モデルは、機械学習を利用した、例えば、畳み込みニューラルネットワーク（ＣＮＮ）又はリカレントニューラルネットワーク（ＲＮＮ）などを利用した所定のアーキテクチャの生成モデルである。音響特徴量は、自然音や合成音の波形の周波数スペクトルにおける発音の特徴を表すものであり、音響特徴量が近いことは歌声又は演奏音の音色やその時間変化が似ていることを意味する。
【0014】
音響モデルの訓練においては、音響モデルによって、参照した音波形の音響特徴量と類似する音響特徴量が生成されるように、音響モデルの変数が変更される。訓練には、例えば、国際公開第２０２２／０８０３９５号に記載された訓練プログラムＰ２、楽譜データＤ１（訓練用楽譜データ）、及び学習用音響データＤ２（訓練用音波形）を用いる。複数の音源ＩＤに対応する複数の音声の波形を用いた基本訓練によって、複数の音源ＩＤに対応する複数の音色の合成音の音響特徴量を生成できるように、音響モデル（楽譜エンコーダ、音響エンコーダ、及び音響デコーダ）の変数が変更される。さらに、その訓練済の音響モデルを、（未使用の）新たな音源ＩＤに対応する別の音色の音波形を用いて補助訓練（「再訓練」という場合がある）することで、その音響モデルは、新たな音源ＩＤの示す音色の音響特徴量を生成できるようになる。具体的には、ＸＸＸさん（複数人）の声の音波形で訓練済の音響モデルに対して、さらに、新たな音源ＩＤを用いて、ＹＹＹさん（一人）の声音の音波形で補助訓練を行うことにより、ＹＹＹさんの声音の音響特徴量を生成できる音響モデルになるように、音響モデル（少なくとも、音響デコーダ）の変数が変更される。音響モデルに対する、上記のような、新たな音源ＩＤに対応する訓練の単位を「訓練ジョブ」という。つまり、訓練ジョブとは、訓練のプログラムによって実行される一連の訓練プロセスを意味する。
【0015】
「プログラム」とは、プロセッサ及びメモリを備えたコンピュータにおいてプロセッサより実行される命令又は命令群を指す。「コンピュータ」は、プログラムの実行主体を指す総称である。例えば、サーバ（又はクライアント）によりプログラムが実行される場合、「コンピュータ」は、サーバ（又はクライアント）を指す。また、サーバとクライアントとの間の分散処理により「プログラム」が実行される場合、「コンピュータ」は、サーバ及びクライアントの両方を含む。この場合、「プログラム」は、「サーバで実行されるプログラム」及び「クライアントで実行されるプログラム」を含む。「プログラム」が、ネットワークに接続された複数のコンピュータで分散処理される場合、「コンピュータ」は、複数のコンピュータであり、「プログラム」は、複数のコンピュータで実行される複数のプログラムを含む。
【0016】
［１．第１実施形態］
［１－１．システムの全体構成］
図１は、本発明の一実施形態における音響モデル訓練システムの全体構成を示す図である。図１に示すように、音響モデル訓練システム１０は、サーバ１００（Ｓｅｒｖｅｒ）、通信端末２００（ＴＭ１）、及び通信端末３００（ＴＭ２）を含む。サーバ１００及び通信端末２００、３００は、それぞれネットワーク４００に接続されている。通信端末２００及び通信端末３００は、それぞれネットワーク４００を介してサーバ１００と通信できる。
［１－１．システムの全体構成］
図１は、本発明の一実施形態における音響モデル訓練システムの全体構成を示す図である。図１に示すように、音響モデル訓練システム１０は、サーバ１００（Ｓｅｒｖｅｒ）、通信端末２００（ＴＭ１）、及び通信端末３００（ＴＭ２）を含む。サーバ１００及び通信端末２００、３００は、それぞれネットワーク４００に接続されている。通信端末２００及び通信端末３００は、それぞれネットワーク４００を介してサーバ１００と通信できる。
【0017】
本実施形態において、サーバ１００は、音声合成器として機能し、音響モデルの訓練を実施するコンピュータである。サーバ１００は、ストレージ１１０を備えている。図１では、ストレージ１１０がサーバ１００に直接接続された構成が例示されているが、この構成に限定されない。例えば、ストレージ１１０が直接又は他のコンピュータを介してネットワーク４００に接続され、サーバ１００とストレージ１１０との間のデータの送受信がネットワーク４００を介して行われていてもよい。
【0018】
通信端末２００は、音響モデルを訓練するための訓練用音波形を選択し、サーバ１００に訓練を実行する指示を送信するユーザ（後述する作成者）の端末である。例えば、通信端末３００は、楽譜データを提供してサーバ１００に対して合成音波形の生成を要求するユーザの端末である。通信端末２００、３００は、例えばスマートフォンなどのモバイル用の通信端末、又は、デスクトップ型パソコンなどの据え置き用の通信端末を含む。なお、本発明の訓練方法は、本実施形態で説明するクライアントサーバの構成でなくても実施できる。例えば、通信端末とサーバの代わりに、プログラムを実行できるプロセッサを搭載した、スマートフォン、パソコン、電子楽器、音響機器などの１台の電子機器で実施してもよい。或いは、ネットワークで接続された複数台の電子機器で、分散処理として実施してもよい。
【0019】
ネットワーク４００は一般的なインターネット、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、又は社内ＬＡＮなどのＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）である。
【0020】
［１－２．音声合成に用いられるサーバなどの構成］
図２は、サーバの構成を示すブロック図である。図２に示すように、サーバ１００は、制御部１０１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０３、ユーザインタフェース（ＵＩ）１０４、通信インタフェース１０５、及びストレージ１１０を備える。サーバ１００の各機能部が協働することによって、本実施形態の音声合成技術が実現される。
図２は、サーバの構成を示すブロック図である。図２に示すように、サーバ１００は、制御部１０１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０３、ユーザインタフェース（ＵＩ）１０４、通信インタフェース１０５、及びストレージ１１０を備える。サーバ１００の各機能部が協働することによって、本実施形態の音声合成技術が実現される。
【0021】
制御部１０１は、中央処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、画像処理装置（ＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサ、当該ＣＰＵ及びＧＰＵに接続されたレジスタやメモリなどの記憶装置などを含む。制御部１０１は、メモリに一時的に記憶されたプログラムをＣＰＵ及びＧＰＵによって実行し、サーバ１００に備えられた各機能を実現させる。具体的には、制御部１０１は、通信端末２００からの各種要求信号に応じて演算処理を行い、通信端末２００、３００にその処理結果を提供する。
【0022】
ＲＡＭ１０２は、演算処理に必要な制御プログラム、音響モデル（アーキテクチャと変数で構成される）及びコンテンツデータなどを一時的に記憶する。また、ＲＡＭ１０２は、例えばデータバッファとして使用され、通信端末２００など、外部機器から受信した各種データを、ストレージ１１０に記憶させるまでの間、一時的に保持する。ＲＡＭ１０２として、例えば、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）又はＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの汎用メモリを用いてもよい。
【0023】
ＲＯＭ１０３は、サーバ１００の機能を実現させるための各種プログラム、各種音響モデル、及びパラメータ等を記憶する。ＲＯＭ１０３に記憶されているプログラム、音響モデル、及びパラメータ等は、必要に応じて制御部１０１によって読み出され、実行ないし利用される。
【0024】
ユーザインタフェース１０４は、グラフィカルな表示を行う表示器、ユーザ操作を受け付ける操作子やセンサ、サウンドを入出力するサウンドデバイスなどを備えており、制御部１０１の制御によって、その表示器に各種の表示画像を表示し、ユーザからの入力を受け付ける。
【0025】
通信インタフェース１０５は、制御部１０１の制御によって、ネットワーク４００に接続して、ネットワーク４００に接続された通信端末２００、３００などの他の通信装置との間で、情報の送信及び受信を行うインタフェースである。
【0026】
ストレージ１１０は、不揮発性メモリ、ハードディスクドライブなどの恒久的な情報の保持及び書き換えが可能な記録装置（記録媒体）である。ストレージ１１０は、プログラム、音響モデル、及び当該プログラムの実行に必要となるパラメータ等の情報を記憶する。図２に示すように、ストレージ１１０には、例えば音声合成プログラム１１１、訓練ジョブ１１２、楽譜データ１１３、及び音波形１１４が記憶されている。これらのプログラム及びデータとして、例えば、国際公開第２０２２／０８０３９５号に記載された音声合成プログラムＰ１、訓練プログラムＰ２、楽譜データＤ１、及び音響データＤ２をそれぞれ用いてもよい。
【0027】
上記のように、音声合成プログラム１１１は、楽譜データ１１３や音波形１１４から合成音波形を生成するためのプログラムである。制御部１０１が音声合成プログラム１１１を実行するとき、制御部１０１は音響モデル１２０を使用して合成音波形を生成する。なお、当該合成音波形は、国際公開第２０２２／０８０３９５号に記載された音響データＤ３に対応する。訓練ジョブ１１２で制御部１０１により実行される音響モデル１２０の訓練プログラムは、例えば国際公開第２０２２／０８０３９５号に記載されたエンコーダ及び音響デコーダを訓練するプログラムである。楽譜データ１１３は、楽曲を規定するデータである。音波形１１４は、歌手の歌声又は楽器の演奏音を示す波形データである。通信端末２００、３００の構成は、規模などに多少の差はあるが、基本的にはサーバ１００と同じである。
【0028】
［１－３．音声合成に用いられる音響モデル］
図３は、音響モデルの説明図である。上記のように、音響モデル１２０は、図２の制御部１０１が音声合成プログラム１１１を読み出して実行するとき、その制御部１０１が実行する音声合成処理において使用される機械学習モデルである。音響モデル１２０は、音響特徴量を生成するよう訓練されている。音響モデル１２０には、制御部１０１により、入力信号として所望の楽曲の楽譜データ１１３の楽譜特徴量１２３又は音波形１１４の音響特徴量１２４が入力される。制御部１０１が、音響モデル１２０を用いて、音源ＩＤと当該楽譜特徴量１２３とを処理することにより、当該楽曲の合成音の音響特徴量１２９が生成される。制御部１０１は、その音響特徴量１２９に基づいて、当該楽曲を音源ＩＤで特定される歌手が歌唱した又は楽器で演奏した合成音波形１３０を合成して出力する。又は、制御部１０１が、音響モデル１２０を用いて、音源ＩＤと当該音響特徴量１２４とを処理することにより、当該楽曲の合成音の音響特徴量１２９を生成する。制御部１０１は、その音響特徴量１２９に基づいて、当該楽曲の音波形を音源ＩＤで特定される歌手の歌声又は楽器の演奏音の音色に変換した合成音波形１３０を合成して出力する。
図３は、音響モデルの説明図である。上記のように、音響モデル１２０は、図２の制御部１０１が音声合成プログラム１１１を読み出して実行するとき、その制御部１０１が実行する音声合成処理において使用される機械学習モデルである。音響モデル１２０は、音響特徴量を生成するよう訓練されている。音響モデル１２０には、制御部１０１により、入力信号として所望の楽曲の楽譜データ１１３の楽譜特徴量１２３又は音波形１１４の音響特徴量１２４が入力される。制御部１０１が、音響モデル１２０を用いて、音源ＩＤと当該楽譜特徴量１２３とを処理することにより、当該楽曲の合成音の音響特徴量１２９が生成される。制御部１０１は、その音響特徴量１２９に基づいて、当該楽曲を音源ＩＤで特定される歌手が歌唱した又は楽器で演奏した合成音波形１３０を合成して出力する。又は、制御部１０１が、音響モデル１２０を用いて、音源ＩＤと当該音響特徴量１２４とを処理することにより、当該楽曲の合成音の音響特徴量１２９を生成する。制御部１０１は、その音響特徴量１２９に基づいて、当該楽曲の音波形を音源ＩＤで特定される歌手の歌声又は楽器の演奏音の音色に変換した合成音波形１３０を合成して出力する。
【0029】
音響モデル１２０は、機械学習により確立された生成モデルであり、訓練プログラムを実行している（つまり、訓練ジョブ１１２を実行中の）制御部１０１によって訓練される。制御部１０１は、（未使用の）新たな音源ＩＤと訓練用音波形を用いて音響モデル１２０を訓練し、音響モデル１２０（少なくとも音響デコーダ）の変数を決定する。具体的には、制御部１０１は、訓練用音波形から訓練用の音響特徴量を生成し、音響モデル１２０に新たな音源ＩＤと訓練用の音響特徴量が入力された場合に、合成音波形１３０を生成する音響特徴量が訓練用の音響特徴量に近づくように、その変数を徐々に繰り返し変更する。訓練用音波形は、例えば、通信端末２００又は通信端末３００からサーバ１００にアップロード（送信）され、ストレージ１１０にユーザデータとして保存されてもよく、参考データとしてサーバ１００の管理者が予めストレージ１１０に保存したものでもよい。以下の説明において、ストレージ１１０に保存することをサーバ１００に保存する、という場合がある。
【0030】
音響モデル１２０には付加情報１４１（図６、図８）がリンク（付与）されている。付加情報１４１は、音響モデル１２０に対する再訓練の可否を示す情報である。音響モデル１２０は、１以上の作成者によって作成された音響モデルである。訓練により音響モデル１２０を作成する乃至作成した会社又はユーザを、作成者と呼ぶ。当該音響モデル１２０に付与された付加情報１４１は、当該１以上の作成者によってリンクされた情報であり、作成者によって作成された音響モデルに対する再訓練の可否を示す情報である。付加情報のリンクとは、何らかの方法で、その付加情報を音響モデル１２０のユーザに提供することである。例えば、音響モデル１２０の一部に埋め込むことで、付加情報が音響モデルにリンクされる。或いは、音響モデルの管理データベースに、音響モデルに関連付けて付加情報を記憶することにより、付加情報が音響モデルにリンクされる。そのデータベースには、ブロックチェーンの技術が用いられても良い。
【0031】
例えば、付加情報１４１は、未訓練の初期モデルを訓練してオリジナルの音響モデル１２０を作成した作成者（原作成者と呼ぶ）が、自身が作成した音響モデル１２０をベースモデルとして訓練を実行することを許可するか否かを示す情報である。初期モデルは、音響特徴量の生成を未学習の音響モデルであって、例えば、訓練済みの楽譜エンコーダと音響エンコーダと、未訓練の音響デコーダとを備える。未訓練の音響デコーダとは、その変数が乱数などで初期化された音響デコーダである。従って、初期モデルは、楽曲の楽譜特徴量や音響特徴量が入力されても、その楽曲の合成音波形の音響特徴量を生成できない。初期モデルにリンクされた付加情報に含まれる履歴データ（図８）はその初期モデルが未訓練であることを示し、同第１付加情報（図８）は未設定であり、同第２付加情報（図８）は「〇」を示す。
【0032】
又は、付加情報１４１は、何れかの訓練済みの音響モデルをベースとして再訓練して音響モデル１２０を作成した作成者が、訓練済み音響モデル１２０に対して再訓練を実行することを許可するか否かを示す情報である。付加情報１４１は、例えば、音響モデル１２０に対する訓練の許可を示す許可フラグを含んでもよい。訓練済み又は再訓練済みの音響モデル１２０を提供されたユーザ（その音響モデルを再訓練する作成者を含む）は、その音響モデルにリンクされた付加情報を変更できない。
【0033】
付加情報１４１は、音響モデル１２０を訓練するためのプロセスを規定する手順データを含んでもよい。オリジナルの音響モデルを再訓練した音響モデル１２０に対して、そのオリジナルの音響モデルの原作成者が付与した付加情報１４６Ａを「第１付加情報」といい、再訓練を実行した作成者（ユーザ）が付与した付加情報１４２Ａを「第２付加情報」という場合がある（図８）。詳細は後述するが、「第２付加情報」１４２Ａは、その再訓練された音響モデル１２０に対する１回の再訓練の許可（直系の１世代の許可）を示し、「第１付加情報」１４６Ａは、オリジナルの音響モデル１２０に対するｎ回の再訓練の許可（ｎ世代の許可）を示す。
【0034】
［１－４．音声合成方法］
図４は、音響モデルの訓練方法を示すシーケンス図である。図４に示す音響モデルの訓練方法では、例えば、通信端末２００がサーバ１００に訓練用音波形をアップロードする。ただし、上記のように、訓練用音波形はその他の方法でサーバ１００に予め保存されていてもよい。通信端末２００側の処理ＴＭ１の各ステップおよびサーバ１００側の処理Ｓｅｒｖｅｒの各ステップは、実際には、通信端末２００の制御部およびサーバ１００の制御部１０１がそれぞれ実行するが、ここでは説明を単純にするため、通信端末２００およびサーバ１００を各ステップの実行主体として表現する。特に断らない限り、以降のフローチャートの説明も同様である。
図４は、音響モデルの訓練方法を示すシーケンス図である。図４に示す音響モデルの訓練方法では、例えば、通信端末２００がサーバ１００に訓練用音波形をアップロードする。ただし、上記のように、訓練用音波形はその他の方法でサーバ１００に予め保存されていてもよい。通信端末２００側の処理ＴＭ１の各ステップおよびサーバ１００側の処理Ｓｅｒｖｅｒの各ステップは、実際には、通信端末２００の制御部およびサーバ１００の制御部１０１がそれぞれ実行するが、ここでは説明を単純にするため、通信端末２００およびサーバ１００を各ステップの実行主体として表現する。特に断らない限り、以降のフローチャートの説明も同様である。
【0035】
図４に示すように、まず、通信端末２００は、サーバ１００のユーザのアカウントにログインした作成者の指示に基づいて、サーバ１００に、１又は複数の訓練用音波形をアップロード（送信）する（Ｓ４０１）。サーバ１００は、Ｓ４０１で送信された訓練用音波形を、ユーザの記憶領域に記憶する（Ｓ４１１）。サーバ１００にアップロードされる音波形は１つでも、複数でもよく、複数の音波形はユーザの記憶領域の複数のフォルダに分けて記憶されてもよい。上記のＳ４０１、４１１は、以下の訓練ジョブを実行するための準備に係るステップである。
【0036】
続いて、以下に訓練ジョブを実行するためのステップを説明する。通信端末２００は、サーバ１００に訓練ジョブの実行を要求する（Ｓ４０２）。Ｓ４０２の要求に対して、サーバ１００は、通信端末２００に対して、予め保存された音波形（及び保存される予定の音波形）のうち訓練ジョブに使用する音波形を選択するためのグラフィカルユーザインタフェース（ＧＵＩ）を提供する（Ｓ４１２）。
【0037】
Ｓ４１２で提供されたインタフェースに対する作成者（ユーザ）の入力によって、通信端末２００は、その表示器にＳ４１２で提供されたＧＵＩを表示し、作成者は、そのＧＵＩを用いて、記憶領域（乃至所望のフォルダ）にアップロードされた複数の音波形から一以上の音波形を訓練用の波形セットとして選択する（Ｓ４０３）。
【0038】
Ｓ４０３で波形セット（訓練用音波形）が選択された後に、作成者からの指示に応じて、通信端末２００は、訓練ジョブの実行開始を指示する（Ｓ４０４）。その指示に応じて、サーバ１００は、選択された波形セットを用いて訓練ジョブの実行を開始する（Ｓ４１３）。
【0039】
訓練には、選択された波形セット中の各波形が全部使用されるのではなく、無音区間やノイズ区間などを除いた有用区間のみを含む前処理済み波形セットが使用される。また、訓練される音響モデル１２０（ベースモデル）として、音響デコーダが未訓練の音響モデル（訓練済みの音響モデル１２０）を用いてもよいが、複数の基本訓練済みの音響モデル１２０のうち、波形セットの波形の音響特徴量に近い音響特徴量の生成を学習した音響デコーダを含む音響モデル（未訓練の音響モデル１２０）を選択して用いれば、訓練ジョブにかかる時間やコストを低減できる。何れの音響モデル１２０を選ぶとしても、楽譜エンコーダと音響エンコーダは、基本訓練済みのものを用いる。
【0040】
ベースモデルは、作成者が選択した波形セットに基づいて、サーバ１００が決定してもよい。又は、作成者が、複数の訓練済み音響モデルのいずれかをベースモデルとして選択して、第１実行指示にそのベースモデルを示す指定データを含めてもよい。音響デコーダに供給する音源ＩＤ（例えば、歌手ＩＤ、楽器ＩＤなど）としては、未使用の新たな音源ＩＤを用いる。ここで、新たな音源ＩＤとしてどの音源ＩＤを使用されたかを、作成者を含むユーザは必ずしも知らなくてよい。ただ、訓練済みモデルを使用して音声合成する際には、自動的に、その新たな音源ＩＤが用いられる。新たな音源ＩＤは、ユーザが訓練した音響モデルに、その訓練で学習した音色の音響特徴量を合成させるためのキーデータである。
【0041】
訓練ジョブでは、前処理済み波形セットから一部の短波形を少しずつ取り出し、取り出した短波形を用いて音響モデル（少なくとも音響デコーダ）を訓練する、という単位訓練を繰り返す。単位訓練では、前記新たな音源ＩＤと短波形の音響特徴量とを音響モデル１２０に入力し、それに応じて音響モデル１２０が出力する音響特徴量と入力した音響特徴量の間の差分が小さくなるよう、音響モデルの変数を調整する。変数の調整には、例えば、誤差逆伝搬法を用いる。単位訓練を繰り返すことで、前処理済み波形セットによる訓練が一通り終わったら、音響モデル１２０が生成する音響特徴量の品質を評価して、当該品質が所定の基準に達していなければ、その前処理済み波形セットを用いて、再び音響モデルの訓練を行う。音響モデル１２０が生成する音響特徴量の品質が所定の基準に達していれば、訓練ジョブは完了し、その時点の音響モデル１２０が訓練済み音響モデル１２０となる。
【0042】
Ｓ４１３で実行された訓練ジョブが完了することで、訓練済み音響モデル１２０が確立される（Ｓ４１４）。サーバ１００は、通信端末２００に、訓練済み音響モデル１２０が確立されたことを通知する（Ｓ４１５）。上記のＳ４０３～Ｓ４１５のステップが、音響モデル１２０の訓練ジョブである。
【0043】
Ｓ４１５の通知の後に、ユーザからの指示に応じて、通信端末２００が、所望の楽曲の楽譜データを含む音声合成の指示をサーバ１００に送信する（Ｓ４０５）。Ｓ４０５でのユーザは、作成者ではなく、音響モデル１２０の利用者の位置づけである。それに応じて、サーバ１００は、音声合成プログラムを実行して、その楽譜データに基づいて、Ｓ４１４で確立された訓練済み音響モデル１２０を用いた音声合成を実行する（Ｓ４１６）。Ｓ４１６で生成された合成音波形１３０を通信端末２００に送信する（Ｓ４１７）。この音声合成では、前記新たな音源ＩＤが用いられる。
【0044】
Ｓ４１６及びＳ４１７を併せて、訓練ジョブによって訓練された訓練済み音響モデル１２０（音声合成機能）を、通信端末２００（又はユーザ）に提供する、ということができる。Ｓ４１６の音声合成プログラムの実行を、サーバ１００の代わりに、通信端末２００で行ってもよい。その場合、サーバ１００は、当該訓練済み音響モデル１２０を通信端末２００に送信し、通信端末２００は、受け取った訓練済み音響モデル１２０を用いて、前記新たな音源ＩＤで、所望の楽曲の楽譜データに基づく音声合成処理を実行し、合成音波形１３０を取得する。
【0045】
本実施形態では、Ｓ４０２で訓練ジョブの実行を要求する前に、Ｓ４０１で訓練用音波形をアップロードしたが、この構成に限定されない。例えば、訓練用音波形のアップロードが、Ｓ４０４で訓練ジョブの実行を指示した後に行われてもよい。この場合、Ｓ４０３において、通信端末２００に記憶された複数の音波形（未アップロードの音波形を含む）から、波形セットとして一以上の音波形が選択され、訓練ジョブの実行指示に応じて、選択された音波形のうちの未アップロードの音波形が、アップロードされてもよい。
【0046】
［１－５．訓練済み音響モデルの再訓練方法］
図５は、音響モデルの訓練方法を示すフローチャートである。図５に示すフローチャートでは、既に訓練され、訓練の可否を示す付加情報がリンクされた音響モデル１２０を例示する。図５のフローチャートは、訓練する音響モデル１２０を作成者が指定した後、図４のＳ４０４において訓練ジョブの実行を指示してから、Ｓ４１４においてその訓練ジョブで確立された新たな音響モデルが作成者に提供されるまでの間に、サーバ１００によって実行される処理を示す。Ｓ４０４の訓練ジョブの指示に応じて、サーバ１００は図５の処理を開始する。
図５は、音響モデルの訓練方法を示すフローチャートである。図５に示すフローチャートでは、既に訓練され、訓練の可否を示す付加情報がリンクされた音響モデル１２０を例示する。図５のフローチャートは、訓練する音響モデル１２０を作成者が指定した後、図４のＳ４０４において訓練ジョブの実行を指示してから、Ｓ４１４においてその訓練ジョブで確立された新たな音響モデルが作成者に提供されるまでの間に、サーバ１００によって実行される処理を示す。Ｓ４０４の訓練ジョブの指示に応じて、サーバ１００は図５の処理を開始する。
【0047】
サーバ１００は、上記の訓練ジョブの実行指示（図４のＳ４０４）に含まれる指定データに基づいて、訓練すべき音響モデル１２０を特定する（Ｓ５０１）。本実施形態において、音響モデル１２０は、訓練済みまたは未訓練の音響モデルであり、付加情報がリンクされている。サーバ１００は、Ｓ５０１で特定された音響モデル１２０の付加情報に基づいて、音響モデル１２０に対する再訓練の可否を判断する（Ｓ５０２）。
【0048】
Ｓ５０２において、再訓練が可と判断された場合（Ｓ５０２の「Ｙｅｓ」）、サーバ１００は、音響モデル１２０を再訓練する訓練ジョブを実行し（Ｓ４１３に相当するＳ５０３）、通信端末２００に対し、再訓練済みの新たな音響モデル１２０を提供して（Ｓ４１４に相当するＳ５０４）、図５の処理を終了する。一方、Ｓ５０２において、再訓練が不可と判断された場合（Ｓ５０２の「Ｎｏ」）、音響モデル１２０の再訓練は実行されず、エラーメッセージが通信端末２００に通知され（Ｓ５０５）、図５に示す動作が終了する。作成者は、以上の処理で確立された新たな音響モデル１２０を、通信ネットワークを介して、第３者に無料で提供しても良いし、第３者に有償で販売しても良い。或いは、作成者は、新たな音響モデルを、第３者に無償で使わせてもよいし、サブスクリプションなどで、第３者に有償で使用させてもよい。
【0049】
図６は、付加情報１４１の一例を示す。図６に示すように、音響モデル１２０にリンクされる情報は、音響モデル１２０毎に、基本情報１２０ａ、許可フラグ１４２及び手順データ１４３を含む。なお、再訓練の可否の判断には、許可フラグ１４２と手順データ１４３の何れか一方が必要である。許可フラグがある場合、手順データ１４３は再訓練の可否の判断に用いなくても良い。手順データで再訓練の可否を判断する場合、付加情報１４１は許可フラグ１４２を含まなくて良い。
【0050】
許可フラグ１４２は、音響モデル１２０の作成者が設定（リンク）するフラグであって、その音響モデルに対する再訓練の許可と不許可の何れか一方を示す。図６では、音響モデル［１］及び［３］の許可フラグ「○」は、再訓練の実行可を示す。音響モデル［２］の許可フラグ「×」は、再訓練の実行不可を示す。再訓練の可否判断（Ｓ５０２）において、サーバ１００は、ある音響モデル１２０にリンクされた許可フラグ１４２が「○」であれば、その音響モデル１２０の再訓練は可と判断し（Ｓ５０２の「Ｙｅｓ」）、「×」であればその再訓練は不可と判断する（Ｓ５０２の「Ｎｏ」）。音響モデル１２０を受け取った第３者は、その音響モデルにリンクされた許可フラグが再訓練可を示していれば、自らが作成者としてその音響モデル１２０を再訓練できるが、再訓練不可を示していれば、その再訓練を行えない。
【0051】
手順データ１４３は、音響モデル１２０の再訓練に必須の情報である。作成者は、自分の作成した音響モデル１２０を再訓練されたくない場合、手順データ１４３をリンクしない、又は、無効な手順データをリンクすることにより、第３者によるその音響モデルの再訓練を防止できる。音響モデル１２０の訓練に必須の情報とは、例えば、その音響モデルのアーキテクチャ（ニューラルネットワークの構成や入出力）に関する情報である。Ｓ５０２において、サーバ１００は、ある音響モデル１２０に有効な手順データ１４３がリンクされていれば、その音響モデル１２０の再訓練を可と判断し（Ｓ５０２の「Ｙｅｓ」）、手順データがリンクされていない、又は、無効な手順データがリンクされていれば、その再訓練を不可と判断する（Ｓ５０２の「Ｎｏ」）。なお、Ｓ５０３における音響モデル１２０の再訓練は、手順データ１４３に基づいて行われる。
【0052】
本実施形態では、図５に示す再訓練の可否判断（Ｓ５０２）が、再訓練の実行指示（図４のＳ４０４）の後に実行される構成を例示したが、この構成に限定されない。図５のＳ５０２の再訓練の可否判断は、図４のＳ４０３におけるベースモデルの選択時に行われてもよい。この場合、例えば、用意されている全ての音響モデル１２０から再訓練の実行が不可な音響モデルを除外して、ベースモデルの選択肢として作成者に表示してもよい。又は、選択肢として全ての音響モデル１２０を表示するものの、その内の再訓練が不可の音響モデル１２０を選択できないよう非アクティブ表示してもよい。
【0053】
以上のように、本実施形態に係る音響モデル訓練システム１０によると、訓練済みの音響モデル１２０にリンクする付加情報１４１によって、音響モデル１２０の作成者は、その音響モデルの第３者による追加訓練の可否を制御できる。
【0054】
［２．第２実施形態］
図７及び図８を用いて、第２実施形態に係る音響モデル訓練システム１０Ａについて説明する。音響モデル訓練システム１０Ａの構成に関するブロック図は第１実施形態と同じなので、説明を省略する。以下において、第１実施形態と同じ点は説明を省略し、主に第１実施形態と相違する点を説明する。また、第１実施形態と同様の構成は、図１～図４に示された符号の後にアルファベット“Ａ”を付して説明する。
図７及び図８を用いて、第２実施形態に係る音響モデル訓練システム１０Ａについて説明する。音響モデル訓練システム１０Ａの構成に関するブロック図は第１実施形態と同じなので、説明を省略する。以下において、第１実施形態と同じ点は説明を省略し、主に第１実施形態と相違する点を説明する。また、第１実施形態と同様の構成は、図１～図４に示された符号の後にアルファベット“Ａ”を付して説明する。
【0055】
［２－１．訓練済み音響モデルの再訓練方法］
図７は、音響モデルの訓練方法を示すフローチャートである。図７のフローチャートは、図４のＳ４０３の音波形の選択から、Ｓ４１３の音響モデルの提供までの間に、通信端末２００Ａとサーバ１００Ａとが協働で実行する一連の処理を示す。上述したように、本発明の訓練方法はクライアントサーバの構成である必要はなく、各ステップの処理をサーバと通信端末の何れが行うかは、本発明にとって重要ではない。従って、以下の説明では、フローチャートの各ステップの実行主体を、サーバ１００Ａと通信端末２００Ａを含むシステムとして説明する。まず作成者による音波形の特定操作に応じて、システム（サーバ１００Ａと通信端末２００Ａ）は、訓練に用いる１以上の音波形を特定する（Ｓ７０１）。次に、システムは、特定された音波形を分析して、当該音波形の第２特徴を取得する（Ｓ７０２）。用意されている複数の音響モデルの各々に対応して、その音響モデルが生成する音響特徴量の音色的な特徴を示す第１特徴１４４Ａが提供されている。
図７は、音響モデルの訓練方法を示すフローチャートである。図７のフローチャートは、図４のＳ４０３の音波形の選択から、Ｓ４１３の音響モデルの提供までの間に、通信端末２００Ａとサーバ１００Ａとが協働で実行する一連の処理を示す。上述したように、本発明の訓練方法はクライアントサーバの構成である必要はなく、各ステップの処理をサーバと通信端末の何れが行うかは、本発明にとって重要ではない。従って、以下の説明では、フローチャートの各ステップの実行主体を、サーバ１００Ａと通信端末２００Ａを含むシステムとして説明する。まず作成者による音波形の特定操作に応じて、システム（サーバ１００Ａと通信端末２００Ａ）は、訓練に用いる１以上の音波形を特定する（Ｓ７０１）。次に、システムは、特定された音波形を分析して、当該音波形の第２特徴を取得する（Ｓ７０２）。用意されている複数の音響モデルの各々に対応して、その音響モデルが生成する音響特徴量の音色的な特徴を示す第１特徴１４４Ａが提供されている。
【0056】
第１特徴及び第２特徴は、１以上の音波形の音響特徴量を分析ないし集計して得られる、音響特徴量の音色的な特徴を示す情報である。ここで、音響特徴量は、例えば、スペクトル包絡とピッチのセットの時系列、又は、スペクトルの時系列などである。なお、第１特徴や第２特徴などの特徴情報は、その音響特徴量に応じて、公知の音色分類器の出力する分類ベクトル、又は、その処理の途中における潜在表現であってもよく、公知の音響指紋技術により、その音響特徴量から抽出された音響指紋であってもよい。
【0057】
続いて、システムは、用意された複数の音響モデル１２０Ａのうちの、再訓練が可と判断される音響モデルの中から、その音響モデルの第１特徴１４４ＡがＳ７０２で取得された第２特徴に近い音響モデルを抽出し、抽出された音響モデル１２０Ａを選択候補として作成者に提示する（Ｓ７０３）。次に、システムは、作成者の選択操作に応じて、Ｓ７０３で提示された音響モデルのなかのいずれか１の音響モデル１２０Ａを、ベースモデルとして選択する（Ｓ７０４）。以上のＳ７０１からＳ７０４までの処理が、図４のＳ４０３とＳ４０４に相当する。
【0058】
ユーザによる訓練ジョブの実行指示に応じて、システムは、Ｓ７０１で特定された音波形を用いて、Ｓ７０４で選択されたベースモデルを再訓練して、新たな音響モデル１２０Ａを確立する（Ｓ７０５）。次に、システムは、作成者の設定操作に応じて、第２付加情報１４２Ａなどを用意して、Ｓ７０５で確立した新たな音響モデル１２０Ａにリンクする（Ｓ７０６）。そして、システムは、上記の結果得られた新たな音響モデル１２０Ａを、作成者に提供する（Ｓ７０７）。Ｓ７０５の処理が図４のＳ４１３に相当し、Ｓ７０６とＳ７０７の処理がＳ４１４に相当する。作成者は、新たな音響モデル１２０Ａを、第３者に有償ないし無償で提供しても良いし、有償ないし無償で使用させても良い。
【0059】
音響モデル１２０Ａにリンクされた付加情報１４１Ａは、例えば、図８に示すように、訓練済みの音響モデル１２０Ａ毎に、第１付加情報１４６Ａ、第２付加情報１４２Ａ、履歴データ１４７Ａ、第１特徴１４４Ａ、及び変化度１４５Ａを含む。この実施形態では、手順データ１４３Ａは音響モデル１２０Ａに必ず付属し、付加情報１４１Ａには含まれない。なお、オリジナルの音響モデル１２０Ａに関しては、第１付加情報１４６Ａと第２付加情報１４２Ａ（許可フラグに相当）の両方が、原作成者により設定される。第１付加情報１４６Ａは、原作成者が、オリジナルの音響モデル１２０を確立したときに、その音響モデルにリンクした付加情報であり、その音響モデルに対するｎ回の再訓練の許可（ｎ世代の許可）を示す。第１付加情報は、ベースモデルから再訓練で確立された音響モデルへと自動で引き継がれ、再訓練を行う作成者は変更できない。オリジナルの音響モデルを１回再訓練することで第１世代の再訓練済み音響モデルが確立され、２回再訓練することで第２世代の再訓練済み音響モデルが確立され、オリジナルの音響モデルをｉ回再訓練することで第ｉ世代の再訓練済み音響モデルが確立される。第１付加情報により、その再訓練の可能な回数がｎに制限される。第２付加情報１４２Ａは、作成者が再訓練により音響モデル１２０を確立したときに、その音響モデルにリンクした付加情報であり、その音響モデルに対する再訓練の可否を示す。第２付加情報は、例えば、許可フラグ１４２と同種のデータである。履歴データ１４７Ａは、システムに管理され作成者が変更できないデータであり、訓練済みの音響モデル１２０Ａに対する訓練の履歴を示す。その履歴には、オリジナルの音響モデルの確率時の訓練と、それ以降の全ての再訓練とが含まれる。
【0060】
図７の右部分を用いて、Ｓ７０６のステップの詳細を説明する。第２付加情報のリンク処理（Ｓ７０６）では、システムは、まず、ベースモデルの変数と再訓練済み音響モデル１２０Ａの変数とを比較して、再訓練による変数の変化度１４５Ａを算出する（Ｓ７１１）。当該変化度は、再訓練の前後で音響モデル１２０Ａが変化した程度を示すものである。
【0061】
続いて、Ｓ７０２で取得された第２特徴とベースモデルの第１特徴とに基づき、システムは、新たな音響モデル１２０Ａの第１特徴１４４Ａを生成する（Ｓ７１２）。次に、作成者の設定操作に応じて、システムは、第２付加情報１４２Ａなどを設定する（Ｓ７１３）。そして、新たな音響モデル１２０Ａに許可フラグなどを含む第２付加情報１４２Ａ、第１特徴１４４Ａ、変化度１４５Ａなどをリンクする（Ｓ７１４）。Ｓ７１４の後、Ｓ７０７にて、これらの情報がリンクされた、新たな音響モデル１２０Ａが、作成者に提供される。なお、変数の変化度の代わりに、ベースモデルと再訓練済み音響モデルの間での、再訓練による第１特徴の変化度１４５Ａを用いても良い。
【0062】
以上のように、本実施形態に係る音響モデル訓練システム１０Ａによると、作成者は、再訓練が可の音響モデル１２０Ａのうちの、訓練に用いる音波形の特性に適合した音響モデル１２０Ａを、容易に選択することができ、再訓練を効率良く実行できる。
【0063】
［３．第３実施形態］
図９を用いて、第２実施形態の変形例として、第３実施形態に係る音響モデル訓練システム１０Ｂについて説明する。音響モデル訓練システム１０Ｂの構成に関するブロック図は第１及び第２実施形態と同じなので、説明を省略する。以下において、第２実施形態と同じ点の説明を省略し、主に第２実施形態と相違する点を説明する。また、第１及び第２実施形態と同様の構成は、図１～図４に示された符号の後にアルファベット“Ｂ”を付して説明する。
図９を用いて、第２実施形態の変形例として、第３実施形態に係る音響モデル訓練システム１０Ｂについて説明する。音響モデル訓練システム１０Ｂの構成に関するブロック図は第１及び第２実施形態と同じなので、説明を省略する。以下において、第２実施形態と同じ点の説明を省略し、主に第２実施形態と相違する点を説明する。また、第１及び第２実施形態と同様の構成は、図１～図４に示された符号の後にアルファベット“Ｂ”を付して説明する。
【0064】
［３－１．訓練済み音響モデルの再訓練方法］
図９を用いて、第３実施形態に係る訓練済み音響モデル１２０Ｂの再訓練方法を説明する。第２実施形態のＳ７０３では、訓練する音響モデル１２０Ａの候補を、各音響モデル１２０Ａにリンクされた第１特徴１４４Ａを用いて、複数の音響モデルの中から抽出ないし選択したが、第３実施形態では、各音響モデル１２０Ｂの生成する音響特徴量に基づいて抽出ないし選択する。図９は、その音響モデルの選択または抽出の方法を示す。
図９を用いて、第３実施形態に係る訓練済み音響モデル１２０Ｂの再訓練方法を説明する。第２実施形態のＳ７０３では、訓練する音響モデル１２０Ａの候補を、各音響モデル１２０Ａにリンクされた第１特徴１４４Ａを用いて、複数の音響モデルの中から抽出ないし選択したが、第３実施形態では、各音響モデル１２０Ｂの生成する音響特徴量に基づいて抽出ないし選択する。図９は、その音響モデルの選択または抽出の方法を示す。
【0065】
図９に示すように、訓練に用いる音波形（Ｓ７０１で特定された音波形に相当）の音響特徴量、または、その音波形に対応する楽曲の楽譜データの楽譜特徴量が、候補として用意された複数の音響モデル１２０Ｂ－１～１２０Ｂ－３の各々に入力される。システムは、各音響モデル１２０Ｂを用いて、音源ＩＤと、入力された音響特徴量又は楽譜特徴量とを処理することにより、その楽曲の合成音波形の音響特徴量を生成する。その際の音源ＩＤには、訓練に用いる音波形と最も近い音色に対応する音源ＩＤを用いる。
【0066】
例えば、音響モデル１２０Ｂ－１～１２０Ｂ－３によって、それぞれ音響特徴量１～３が生成される。さらに、生成された音響特徴量１～３に基づいて、それぞれ合成音波形１～３が生成される。そして、生成された合成音波形１～３と入力された音波形との比較に基づいて、再訓練の対象として特定される音響モデルが選択ないし抽出される。例えば、合成音波形１～３の各々と音波形との間の共通性又は類似性が評価される。そして、これらの比較結果に基づいて、音響モデル１２０Ｂ－１～１２０Ｂ－３のうち、入力された音波形に適した音響モデルが選択ないし抽出される。
【0067】
図９において、音響モデル１２０Ｂ－１～１２０Ｂ－３の動作は、システムにより並行して同じ期間に行われてもよく、順次行われてもよい。また、上記の例では、合成音波形１～３と入力された音波形とに基づいて音響モデルが選択される構成を例示したが、この構成に限定されない。例えば、システムは、生成された音響特徴量１～３と、入力された音波形を分析（Ｓ７０２）して得られる音響特徴量とに基づいて、音響モデルを選択してもよい。
【0068】
以上のように、本実施形態に係る音響モデル訓練システム１０Ｂによると、訓練に用いる音波形の特性に適合した音響モデル１２０Ｂを選択することができるため、再訓練を効率良く実行できる。
【0069】
［４．第４実施形態］
図１０を用いて、第２実施形態の変形例としての、第４実施形態に係る音響モデル訓練システム１０Ｃについて説明する。その構成に関するブロック図は第１及び第２実施形態に係る音響モデル訓練システム１０と同じなので、説明を省略する。以下において、第１及び第２実施形態と同じ点の説明を省略し、主に第１実施形態と相違する点を説明する。また、第１及び第２実施形態と同様の構成は、図１～図４に示された符号の後にアルファベット“Ｃ”を付して説明する。
図１０を用いて、第２実施形態の変形例としての、第４実施形態に係る音響モデル訓練システム１０Ｃについて説明する。その構成に関するブロック図は第１及び第２実施形態に係る音響モデル訓練システム１０と同じなので、説明を省略する。以下において、第１及び第２実施形態と同じ点の説明を省略し、主に第１実施形態と相違する点を説明する。また、第１及び第２実施形態と同様の構成は、図１～図４に示された符号の後にアルファベット“Ｃ”を付して説明する。
【0070】
［４－１．訓練済み音響モデルの再訓練方法］
図１０のフローチャートを用いて、第４実施形態に係る、第１付加情報１４６Ｃ及び第２付加情報１４２Ｃがリンクされた訓練済み音響モデル１２０Ｃの再訓練方法を説明する。これら付加情報は、図８で説明した付加情報と基本的に同じである。
図１０のフローチャートを用いて、第４実施形態に係る、第１付加情報１４６Ｃ及び第２付加情報１４２Ｃがリンクされた訓練済み音響モデル１２０Ｃの再訓練方法を説明する。これら付加情報は、図８で説明した付加情報と基本的に同じである。
【0071】
作成者が、訓練に用いる音波形を選択し（Ｓ４０３）、訓練する音響モデル１２０Ｃを指定して訓練ジョブの実行開始を指示したとき（Ｓ４０４）、システムは、その指示に基づいて、訓練する音響モデル１２０Ｃを特定する（Ｓ１００１）。システムは、Ｓ１００１で特定された音響モデル１２０Ｃにリンクされた第１付加情報１４６Ｃと履歴データ１４７Ｃとに基づいて、その音響モデル１２０Ｃに対する再訓練の可否を判断する（Ｓ１００２）。システムは、履歴データが示すこれ迄の再訓練の回数が、第１付加情報の示す回数ｎより小さければ再訓練が可と判断し、回数ｎに達していれば再訓練が不可と判断する。
【0072】
再訓練が可と判断された場合（Ｓ１００２の「Ｙｅｓ」）、システムは、その音響モデル１２０Ｃにリンクされた第２付加情報に基づいて、その音響モデル１２０Ｃに対する再訓練の可否を判断する（Ｓ１００３）。システムは、第２付加情報が「〇」を示していれば再訓練可と判断し、「×」を示していれば再訓練は不可と判断する。再訓練が可と判断された場合（Ｓ１００３の「Ｙｅｓ」）、システムは、選択された音波形を用いてその音響モデル１２０Ｃの再訓練を行い（Ｓ１００４）、再訓練済みの新たな音響モデル１２０Ｃを確立して提供し（Ｓ１００５）、図１１の処理を終了する。一方、Ｓ１００２かＳ１００３において、再訓練が不可能であると判断された場合（Ｓ１００２かＳ１００３の「Ｎｏ」）、システムは、その音響モデル１２０Ｃの再訓練を行わず、代わりに、エラーメッセージをユーザに通知して（Ｓ１００６）、図１１の処理を終了する。
【0073】
以上のように、本実施形態に係る音響モデル訓練システム１０Ｃは、訓練済み音響モデル１２０Ｃの再訓練の可否を、その音響モデルの作成者だけでなく、その音響モデルのルーツであるオリジナルの音響モデルの原作成者が制御できる。原作成者は、自身が確立したオリジナルの音響モデル１２０Ｃに対する再訓練を、所望の世代までに制限できる。
【0074】
［５．第５実施形態］
図１１を用いて、第２実施形態の変形例としての、第５実施形態に係る音響モデル訓練システム１０Ｄについて説明する。音響モデル訓練システム１０Ｄの構成に関するブロック図は第１実施形態と同じなので、説明を省略する。以下において、第１又は第２実施形態と同じ点は説明を省略し、主に第１及び第２実施形態と相違する点を説明する。以下の説明において、第１実施形態と同様の構成は、図１～図４に示された符号の後にアルファベット“Ｄ”を付して説明する。
図１１を用いて、第２実施形態の変形例としての、第５実施形態に係る音響モデル訓練システム１０Ｄについて説明する。音響モデル訓練システム１０Ｄの構成に関するブロック図は第１実施形態と同じなので、説明を省略する。以下において、第１又は第２実施形態と同じ点は説明を省略し、主に第１及び第２実施形態と相違する点を説明する。以下の説明において、第１実施形態と同様の構成は、図１～図４に示された符号の後にアルファベット“Ｄ”を付して説明する。
【0075】
［５－１．訓練済み音響モデルに係る対価の分配方法］
図１１のフローチャートを用いて、第５実施形態に係る訓練済み音響モデル１２０Ｄの再訓練方法を説明する。上述したように、第２実施形態における作成者は、Ｓ７０７で提供された新たな音響モデル１２０Ｄ乃至その使用権を、第３者に有償で販売できる。図１１は、その際の課金以降の対価の分配方法を示す。第３者への課金には、例えば、サブスクリプション方式、プリペイドポイント方式などを用いてもよい。
図１１のフローチャートを用いて、第５実施形態に係る訓練済み音響モデル１２０Ｄの再訓練方法を説明する。上述したように、第２実施形態における作成者は、Ｓ７０７で提供された新たな音響モデル１２０Ｄ乃至その使用権を、第３者に有償で販売できる。図１１は、その際の課金以降の対価の分配方法を示す。第３者への課金には、例えば、サブスクリプション方式、プリペイドポイント方式などを用いてもよい。
【0076】
まず、システムは、販売した音響モデル１２０Ｄ、又はその使用権の販売対価を、それを購入した第３者であるユーザに課金する（Ｓ１１０１）。次に、システムは、その音響モデルにリンクされた履歴データ１４７Ｄに基づき、その音響モデル１２０Ｄがオリジナルの音響モデルか否か判断する（Ｓ１１０２）。
【0077】
音響モデル１２０Ｄがオリジナルの音響モデルであると判断された場合（Ｓ１１０２の「Ｙｅｓ」）、販売対価からシステムの利用料等を控除することで原作成者の対価を算出して、原作成者への支払いを実行する（Ｓ１１０３）。一方、音響モデル１２０Ｄがオリジナルの音響モデルではないと判断された場合（Ｓ１１０２の「Ｎｏ」）、システムの利用料等を控除後の対価を、その音響モデルにリンクされた変化度１４５Ｄに基づいて分割することで、原作成者の対価と、音響モデル１２０Ｄの作成者の対価とを算出し、原作成者と作成者への対価の支払いを実行する（Ｓ１１０４）。
【0078】
以上のように、本実施形態に係る音響モデル訓練システム１０Ｄによると、第１及び第２実施形態と同様の効果に加え、再訓練された音響モデル１２０Ｄに係る販売対価を、再訓練を行った作成者の貢献度に応じて、原作成者と作成者とで合理的に分配できる。
【0079】
［６．第６実施形態］
図１２を用いて、第２実施形態の変形例としての、第６実施形態に係る音響モデル訓練システム１０Ｅについて説明する。音響モデル訓練システム１０Ｅ構成に関するブロック図は第１実施形態と同じなので、説明を省略する。以下の説明において、第１又は第２実施形態と同じ点は説明を省略し、主に第１及び第２実施形態と相違する点を説明する。以下の説明において、第１実施形態と同様の構成は、図１～図４に示された符号の後にアルファベット“Ｅ”を付して説明する。
図１２を用いて、第２実施形態の変形例としての、第６実施形態に係る音響モデル訓練システム１０Ｅについて説明する。音響モデル訓練システム１０Ｅ構成に関するブロック図は第１実施形態と同じなので、説明を省略する。以下の説明において、第１又は第２実施形態と同じ点は説明を省略し、主に第１及び第２実施形態と相違する点を説明する。以下の説明において、第１実施形態と同様の構成は、図１～図４に示された符号の後にアルファベット“Ｅ”を付して説明する。
【0080】
［６－１．訓練済み音響モデルに係る対価の分配方法］
図１２を用いて、第６実施形態に係る訓練済み音響モデル１２０Ｅの再訓練方法を説明する。図１２は、図１１と同様、再訓練された音響モデル１２０Ｅ、又はその使用権の対価を、原作成者と作成者とで分配する方法を示すフローチャートである。第６実施形態で再訓練済みの音響モデル１２０Ｅにリンクされる付加情報には、図８に示される、第２及び第５実施形態における変化度１４５Ａの代わりに、取り分１４８Ｅが含まれる。取り分１４８Ｅは、その音響モデル１２０Ｅのルーツであるオリジナルの音響モデルの原作成者が設定した、前記対価の内の自分の取り分の割合を示すデータである。取り分１４８Ｅは、例えば、原作成者の取り分を固定額で示すデータ、又は、販売対価に対する原作成者の取り分の割合を示すデータでもよい。取り分１４８Ｅは、ベースモデルから再訓練で確立された音響モデルへと自動で引き継がれ、再訓練を行う作成者は変更できない。未訓練の初期モデルには、取り分１４８Ｅがリンクされていない、又は、無効な取り分１４８Ｅがリンクされていてもよい。さらに、ある作成者が再訓練済みの音響モデル１２０Ｅに、その音響モデル１２０Ｅをさらに再訓練した音響モデルに係る販売対価における、その作成者の取り分１４８Ｅ’を、その作成者がリンクしてもよい。
図１２を用いて、第６実施形態に係る訓練済み音響モデル１２０Ｅの再訓練方法を説明する。図１２は、図１１と同様、再訓練された音響モデル１２０Ｅ、又はその使用権の対価を、原作成者と作成者とで分配する方法を示すフローチャートである。第６実施形態で再訓練済みの音響モデル１２０Ｅにリンクされる付加情報には、図８に示される、第２及び第５実施形態における変化度１４５Ａの代わりに、取り分１４８Ｅが含まれる。取り分１４８Ｅは、その音響モデル１２０Ｅのルーツであるオリジナルの音響モデルの原作成者が設定した、前記対価の内の自分の取り分の割合を示すデータである。取り分１４８Ｅは、例えば、原作成者の取り分を固定額で示すデータ、又は、販売対価に対する原作成者の取り分の割合を示すデータでもよい。取り分１４８Ｅは、ベースモデルから再訓練で確立された音響モデルへと自動で引き継がれ、再訓練を行う作成者は変更できない。未訓練の初期モデルには、取り分１４８Ｅがリンクされていない、又は、無効な取り分１４８Ｅがリンクされていてもよい。さらに、ある作成者が再訓練済みの音響モデル１２０Ｅに、その音響モデル１２０Ｅをさらに再訓練した音響モデルに係る販売対価における、その作成者の取り分１４８Ｅ’を、その作成者がリンクしてもよい。
【0081】
まず、システムは、販売した音響モデル１２０Ｅ、又はその使用権の販売対価を、それを購入した第３者であるユーザに課金する（Ｓ１２０１）。次に、システムは、履歴データ１４７Ｅ及び取り分１４８Ｅに基づき、その音響モデル１２０Ｅについて、その作成者とは別の原作成者の取り分が生じるか否か判断する（Ｓ１２０２）。その音響モデル１２０Ｅの作成者が原作成者であれば、その取り分は生じない。
【0082】
原作成者の取り分が生じない場合（Ｓ１２０２の「Ｎｏ」）、販売対価からシステムの利用料等を控除することで、原作成者である作成者の対価を算出して、原作成者への支払いを実行する（Ｓ１２０３）。一方、原作成者の取り分が生じる場合（Ｓ１２０２の「Ｙｅｓ」）、販売対価とその音響モデル１２０Ｅにリンクされた取り分１４８Ｅに基づいて、原作成者の対価を決定し、システムの利用料等を控除後の対価から原作成者の対価を減算することで、音響モデル１２０Ｅの作成者の対価を算出して、原作成者と作成者への対価の支払いを実行する（Ｓ１２０４）。
【0083】
上記のように、取り分情報１２５Ｅが音響モデル１２０Ｅにリンクされている場合、再訓練の実行前に、当該再訓練を行うユーザに対して取り分情報１２５Ｅを開示してもよい。
【0084】
以上のように、本実施形態に係る音響モデル訓練システム１０Ｅによると、第１及び第２実施形態と同様の効果に加え、訓練済み音響モデル１２０Ｅに係る販売対価を、音響モデル１２０Ｅの原作成者の設定した取り分１４８Ｅに基づいて、原作成者と作成者とに分配できる。
【0085】
［７．第７実施形態］
第２実施形態の変形例である第７実施形態に係る音響モデル訓練システム１０Ｆについて説明する。音響モデル訓練システム１０Ｆの構成に関するブロック図は第１実施形態と同じなので、説明を省略する。以下の説明において、第１又は第２実施形態と同じ点の説明を省略し、主に第１及び第２実施形態と相違する点について説明する。以下の説明において、第１実施形態と同様の構成は、図１～図４に示された符号の後にアルファベット“Ｆ”を付して説明する。
第２実施形態の変形例である第７実施形態に係る音響モデル訓練システム１０Ｆについて説明する。音響モデル訓練システム１０Ｆの構成に関するブロック図は第１実施形態と同じなので、説明を省略する。以下の説明において、第１又は第２実施形態と同じ点の説明を省略し、主に第１及び第２実施形態と相違する点について説明する。以下の説明において、第１実施形態と同様の構成は、図１～図４に示された符号の後にアルファベット“Ｆ”を付して説明する。
【0086】
［７－１．訓練済み音響モデルの再訓練方法］
図４を用いて、第８実施形態に係る訓練済み音響モデル１２０Ｇの再訓練方法について説明する。第７実施形態では、ユーザに対して訓練対象の候補として提供される複数の音響モデル１２０Ｆに、普遍的な音響モデル１２０Ｆ（普遍モデル１２０Ｆと呼ぶ）が含まれる。訓練済みの音響モデル１２０Ｆにリンクされる付加情報には、図８に示される、第２実施形態における変化度１４５Ａの代わりに、その音響モデル１２０Ｆが生成する音響特徴量の音色種別を示す識別子が含まれる。さらに、当該識別子は、その音響モデル１２０Ｆが普遍モデルか否かを特定する。普遍モデルは、初期モデルの代わりとして使えるよう、１つの音色種別の音波形を用いた訓練用に用意された音響モデルであって、その音色種別の典型的な音色を有する複数の音信号の音響特徴量を用いて訓練された音響モデルである。複数の音色種別に対応する複数の普遍モデル１２０Ｆが用意される。作成者は、訓練に用いる音波形を選択し（Ｓ４０３）、ベースモデルとして普遍モデルを指定して訓練ジョブの実行を指示することにより（Ｓ４０４）、選択された音波形を用いて普遍モデルの再訓練が行われ（Ｓ４１３）、再訓練されたオリジナルの音響モデル１２０Ｆが確立される（Ｓ４１４）。つまり、この場合の作成者は、確立されたオリジナルの音響モデル１２０Ｆの原作成者として、その音響モデルに第１付加情報と第２付加情報とをリンクする。
図４を用いて、第８実施形態に係る訓練済み音響モデル１２０Ｇの再訓練方法について説明する。第７実施形態では、ユーザに対して訓練対象の候補として提供される複数の音響モデル１２０Ｆに、普遍的な音響モデル１２０Ｆ（普遍モデル１２０Ｆと呼ぶ）が含まれる。訓練済みの音響モデル１２０Ｆにリンクされる付加情報には、図８に示される、第２実施形態における変化度１４５Ａの代わりに、その音響モデル１２０Ｆが生成する音響特徴量の音色種別を示す識別子が含まれる。さらに、当該識別子は、その音響モデル１２０Ｆが普遍モデルか否かを特定する。普遍モデルは、初期モデルの代わりとして使えるよう、１つの音色種別の音波形を用いた訓練用に用意された音響モデルであって、その音色種別の典型的な音色を有する複数の音信号の音響特徴量を用いて訓練された音響モデルである。複数の音色種別に対応する複数の普遍モデル１２０Ｆが用意される。作成者は、訓練に用いる音波形を選択し（Ｓ４０３）、ベースモデルとして普遍モデルを指定して訓練ジョブの実行を指示することにより（Ｓ４０４）、選択された音波形を用いて普遍モデルの再訓練が行われ（Ｓ４１３）、再訓練されたオリジナルの音響モデル１２０Ｆが確立される（Ｓ４１４）。つまり、この場合の作成者は、確立されたオリジナルの音響モデル１２０Ｆの原作成者として、その音響モデルに第１付加情報と第２付加情報とをリンクする。
【0087】
識別子が示す音色種別は、例えば楽器音の場合はピアノ、低音弦楽器、高音金管楽器、ベースギター、クラリネットなどであり、歌唱音の場合はアルト歌手、ソプラノ歌手、男性演歌歌手、女性ロック歌手などである。
【0088】
それぞれの音色種別について、再訓練する音響モデル１２０Ｆを選択する作成者に対して、その選択肢として、普遍的な音響モデル１２０Ｆが提供される。識別子は、例えば、音響モデル１２０Ｆの音色種別が低音弦楽器の場合は「ＬｏｗＳｔ」であり、さらにそれが普遍モデルである場合は、普遍モデルを示す「Ｕ」が付加された「ＬｏｗＳｔ＿Ｕ」である。また、識別子は、音響モデル１２０Ｆの音色種別がアルト歌手である場合は「Ａｌｔ」であり、さらに普遍モデルである場合は「Ａｌｔ＿Ｕ」である。なお、初期モデルの識別子は音色なしを示す「ｖｏｉｄ」である。識別子は、音色種別を示す第１識別子と、普遍モデル（又は初期モデル）か否かを示す第２識別子で構成されてもよい。訓練する音響モデルの指定時（Ｓ４０４）に、システムは、識別子（第２識別子）に基づき、候補となる各音響モデル１２０Ｆが普遍モデルであるか否かを、作成者に通知する。その通知により、作成者は、初期モデル、何れかの普遍モデル、又は、何れかの普遍モデルでない音響モデルを選択的に指定できる。作成者が、初期モデル又は普遍モデルを選択すれば、その作成者は、原作成者としてオリジナルの音響モデル１２０Ｆを確立できる。なお、具体的な音響モデル１２０Ｆの再訓練方法は第１、第２実施形態と同様である。
【0089】
以上のように、本実施形態に係る音響モデル訓練システム１０Ｆによると、第１及び第２実施形態と同様の効果に加え、ユーザは、選択した音信号に適した普遍モデルを選択することで、初期モデルを訓練するより効率的に、原作成者としてオリジナルの音響モデル１２０Ｆを確立できる。
【0090】
なお、本発明は上記の実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
【符号の説明】
【0091】
１０：音響モデル訓練システム、 １００：サーバ、 １０１：制御部、 １０２：ＲＡＭ、 １０３：ＲＯＭ、 １０４：表示部、 １０５：通信インタフェース、 １１０：ストレージ、 １１１：音声合成プログラム、 １１２：訓練ジョブ、 １１３：楽譜データ、 １１４：音波形、 １２０：音響モデル、 １２３：楽譜特徴量、 １２４：音響特徴量、 １２５Ｅ：取り分情報、 １２９：音響特徴量、 １４１：付加情報、 １４２：許可フラグ、 １４２Ａ：第２付加情報、 １４３：手順データ、 １４４Ａ：第１特徴、 １４５Ａ：変化度、 １４６Ａ：第１付加情報、 １４７Ａ：履歴データ、 １３０：合成音波形、 ２００、３００：通信端末、 ４００：ネットワーク
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】