知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024054058
(43)【公開日】2024-04-16
(54)【発明の名称】音波形の特性分布に係る表示方法
(51)【国際特許分類】
G10L 25/48 20130101AFI20240409BHJP
G10L 13/00 20060101ALI20240409BHJP
G10L 13/033 20130101ALI20240409BHJP
G10L 25/51 20130101ALI20240409BHJP
G10H 1/00 20060101ALI20240409BHJP
G10L 13/06 20130101ALI20240409BHJP
【ＦＩ】
G10L25/48 100
G10L13/00 100Y
G10L13/033 102B
G10L25/51
G10H1/00 102Z
G10L13/06 230Z
【審査請求】未請求
【請求項の数】22
【出願形態】ＯＬ
(21)【出願番号】P 2023043561
(22)【出願日】2023-03-17
(31)【優先権主張番号】63/412,887
(32)【優先日】2022-10-04
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】000004075
【氏名又は名称】ヤマハ株式会社
(74)【代理人】
【識別番号】110000408
【氏名又は名称】弁理士法人高橋・林アンドパートナーズ
(72)【発明者】
【氏名】大道 竜之介
(72)【発明者】
【氏名】才野 慶二郎
(72)【発明者】
【氏名】西村 方成
【テーマコード（参考）】
5D478
【Ｆターム（参考）】
5D478EB00
(57)【要約】
【課題】音響モデルの訓練に用いる音波形を特定しやすくすること。
【解決手段】音響特徴量を生成するよう、複数の音波形を用いて訓練されることで確立される音響モデルに関連する情報を表示する方法は、音波形が有する複数の特性のうちいずれかの特性であって、前記音響モデルの訓練に使用された複数の音波形の前記特性の分布を取得し、前記特性の分布に関連する情報を表示する。前記特性の分布は、前記使用された複数の音波形を分析して得られる特性の分布であってもよい。
【選択図】図５
【解決手段】音響特徴量を生成するよう、複数の音波形を用いて訓練されることで確立される音響モデルに関連する情報を表示する方法は、音波形が有する複数の特性のうちいずれかの特性であって、前記音響モデルの訓練に使用された複数の音波形の前記特性の分布を取得し、前記特性の分布に関連する情報を表示する。前記特性の分布は、前記使用された複数の音波形を分析して得られる特性の分布であってもよい。
【選択図】図５
【特許請求の範囲】
【請求項1】
音響特徴量を生成するよう、複数の音波形を用いて訓練されることで確立される音響モデルに関連する情報を表示する方法であって、
音波形が有する複数の特性のうちいずれかの特性であって、前記音響モデルの訓練に使用された複数の音波形の前記特性の分布を取得し、
前記特性の分布に関連する情報を表示する表示方法。
音波形が有する複数の特性のうちいずれかの特性であって、前記音響モデルの訓練に使用された複数の音波形の前記特性の分布を取得し、
前記特性の分布に関連する情報を表示する表示方法。
【請求項2】
前記特性の分布は、前記使用された複数の音波形を分析して得られる特性の分布である、請求項１に記載の表示方法。
【請求項3】
前記特性の分布に関連する情報は、前記音響モデルに不足する訓練を示す、請求項１に記載の表示方法。
【請求項4】
前記特性の分布に関連する情報は、前記音響モデルが前記訓練で獲得した能力を示す、請求項１に記載の表示方法。
【請求項5】
前記取得では、前記音響モデルの訓練に先立って、その訓練に使用する予定の音波形を含む、その訓練で確立されると期待される音響モデルの訓練で使用された音波形の前記特性の分布を取得し、
前記表示では、前記期待される音響モデルの訓練に使用された複数の音波形の前記取得された特性の分布に関連する情報を表示する、請求項１に記載の表示方法。
前記表示では、前記期待される音響モデルの訓練に使用された複数の音波形の前記取得された特性の分布に関連する情報を表示する、請求項１に記載の表示方法。
【請求項6】
前記訓練は追加訓練であって、
前記特性の分布は、前記追加訓練前の音響モデルの訓練に使用された複数の音波形と前記追加訓練に使用される音波形とを分析して得られる特性の分布である、請求項５に記載の表示方法。
前記特性の分布は、前記追加訓練前の音響モデルの訓練に使用された複数の音波形と前記追加訓練に使用される音波形とを分析して得られる特性の分布である、請求項５に記載の表示方法。
【請求項7】
前記追加訓練前の音響モデルは、ユーザによって複数の訓練済み音響モデルの中から選択された音響モデルである、請求項６に記載の表示方法。
【請求項8】
前記複数の音波形の特性は、音高、強度、音韻、音長、スタイルのうち一以上を含む、請求項１に記載の表示方法。
【請求項9】
前記表示では、前記特性の分布を示すグラフが表示される、請求項１又は請求項８に記載の表示方法。
【請求項10】
前記複数の特性は、第１特性及び第２特性を含み、
前記表示では、前記第１特性及び前記第２特性の２次元分布を示すグラフが表示される、請求項１に記載の表示方法。
前記表示では、前記第１特性及び前記第２特性の２次元分布を示すグラフが表示される、請求項１に記載の表示方法。
【請求項11】
前記特性の分布を前記取得することは、
前記複数の音波形を分析して、前記特性として第１特性及び第２特性を取得し、
前記表示では、前記第１特性が所定範囲内のときの前記第２特性の分布を表示する、請求項１に記載の表示方法。
前記複数の音波形を分析して、前記特性として第１特性及び第２特性を取得し、
前記表示では、前記第１特性が所定範囲内のときの前記第２特性の分布を表示する、請求項１に記載の表示方法。
【請求項12】
前記表示では、
前記取得された前記特性の分布において、前記分布が閾値より小さくなる、前記特性に関する音波形の不足範囲を検出し、
前記不足範囲を表示する、請求項１に記載の表示方法。
前記取得された前記特性の分布において、前記分布が閾値より小さくなる、前記特性に関する音波形の不足範囲を検出し、
前記不足範囲を表示する、請求項１に記載の表示方法。
【請求項13】
前記表示は、前記検出された範囲の上限と下限との少なくとも一方の特性値を表示する、請求項１２に記載の表示方法。
【請求項14】
前記表示は、複数の楽曲のうちの、前記検出された範囲の特性値の音符を含む楽曲を選択的に表示する、請求項１２に記載の表示方法。
【請求項15】
前記表示は、複数の楽曲のうちの、前記検出された範囲の特性値の音符を含む複数の候補曲を検出し、
ユーザに対して、検出された候補曲を提示する、請求項１２に記載の表示方法。
ユーザに対して、検出された候補曲を提示する、請求項１２に記載の表示方法。
【請求項16】
前記音響モデルは、第１楽曲の前記音波形の少なくとも一部の楽譜特徴量と、前記音波形の第１音響特徴量を含む訓練データを用いて訓練されることで、第２楽曲の楽譜特徴量に応じて第２音響特徴量を生成する能力を習得したモデルであり、
前記取得は、前記音響モデルの訓練に用いた前記音波形の履歴を示す履歴データを取得し、前記履歴データに基づいて、前記音響モデルの訓練に用いた前記音波形の特性分布に関する情報を取得し、
前記表示は、前記取得した音波形の特性分布に関する情報を表示する、請求項１に記載の表示方法。
前記取得は、前記音響モデルの訓練に用いた前記音波形の履歴を示す履歴データを取得し、前記履歴データに基づいて、前記音響モデルの訓練に用いた前記音波形の特性分布に関する情報を取得し、
前記表示は、前記取得した音波形の特性分布に関する情報を表示する、請求項１に記載の表示方法。
【請求項17】
前記表示は、前記取得した音波形の特性分布に基づき、前記第２楽曲の楽譜の特徴量に対する前記音響モデルの得意度を表示する、請求項１６に記載の表示方法。
【請求項18】
前記表示は、前記第２楽曲の楽譜と前記取得した音波形の特性分布とに基づき、前記音響モデルの、前記第２楽曲に対する得意度を評価し、前記評価された得意度を表示する、請求項１６に記載の表示方法。
【請求項19】
前記表示は、
前記第２楽曲の各区間の楽譜と前記取得した音波形の特性分布とに基づいて、その区間の第２楽曲に対する前記音響モデルの得意度を評価し、
前記評価された得意度を、区間毎に表示する、請求項１６に記載の表示方法。
前記第２楽曲の各区間の楽譜と前記取得した音波形の特性分布とに基づいて、その区間の第２楽曲に対する前記音響モデルの得意度を評価し、
前記評価された得意度を、区間毎に表示する、請求項１６に記載の表示方法。
【請求項20】
前記表示は、
複数の第２楽曲の複数の楽譜と前記取得した音波形の特性分布とに基づき、前記音響モデルの、複数の第２楽曲の各々に対する得意度を評価し、
前記評価された得意度に基づき、前記複数の楽曲のうちの少なくとも一の楽曲を推薦表示する、請求項１６に記載の表示方法。
複数の第２楽曲の複数の楽譜と前記取得した音波形の特性分布とに基づき、前記音響モデルの、複数の第２楽曲の各々に対する得意度を評価し、
前記評価された得意度に基づき、前記複数の楽曲のうちの少なくとも一の楽曲を推薦表示する、請求項１６に記載の表示方法。
【請求項21】
前記取得は、複数の音響モデルの各々について、その音響モデルの履歴データに基づいて、その音響モデルの訓練に用いた音信号の特性分布を取得し、
前記表示は、前記第２楽曲の楽譜と前記取得された複数の音響モデルの複数の特性分布とに基づいて、前記第２楽曲に適合する一以上の音響モデルを推薦表示する、請求項１６に記載の表示方法。
前記表示は、前記第２楽曲の楽譜と前記取得された複数の音響モデルの複数の特性分布とに基づいて、前記第２楽曲に適合する一以上の音響モデルを推薦表示する、請求項１６に記載の表示方法。
【請求項22】
第２楽曲の楽譜の一部を順次受け取り、前記音響モデルを用いて前記受け取った楽譜の一部の特徴量をリアルタイム処理して、前記受け取った楽譜の一部に対応する、前記第２音響特徴量の一部をリアルタイム生成する生成方法の実行中に、
前記表示は、
前記受け取った楽譜の一部と前記取得した音信号の特性分布とに基づき、前記受け取った楽譜の一部に対する前記音響モデルの得意度をリアルタイム評価し、
前記評価された得意度をリアルタイム表示する、請求項１６に記載の表示方法。
前記表示は、
前記受け取った楽譜の一部と前記取得した音信号の特性分布とに基づき、前記受け取った楽譜の一部に対する前記音響モデルの得意度をリアルタイム評価し、
前記評価された得意度をリアルタイム表示する、請求項１６に記載の表示方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の一実施形態は、音波形の特性分布に係る表示方法に関する。
【背景技術】
【0002】
特定の歌手の声音及び特定の楽器の演奏音を合成する音声合成（Sound Synthesis）技術が知られている。特に、機械学習を利用した音声合成技術（例えば、特許文献１、２）では、ユーザによって入力された楽譜データ及び音響データに基づいて当該特定の音声及び演奏音で自然な発音の合成音声を出力するために、十分に訓練された音響モデルが要求される。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２０－０７６８４３号公報
【特許文献2】国際公開第２０２２／０８０３９５号
【発明の概要】
【発明が解決しようとする課題】
【0004】
十分に訓練された音響モデルを得るためには、現在の音響モデルにおいて不足した音域を正確に把握し、当該音域を補うために適した訓練用の音波形を選定する必要がある。しかし、上記のように音響モデルにおいて不足した音域を正確に把握することは非常に困難であり、訓練に用いる音波形を効率よく正確に特定することは難しかった。
【0005】
本発明の一実施形態の目的の一つは、音響モデルの訓練に用いる音波形を特定しやすくすることである。
【課題を解決するための手段】
【0006】
本発明の一実施形態による、音響特徴量を生成するよう、複数の音波形を用いて訓練されることで確立される音響モデルに関連する情報を表示する方法は、音波形が有する複数の特性のうちいずれかの特性であって、前記音響モデルの訓練に使用された複数の音波形の前記特性の分布を取得し、前記特性の分布に関連する情報を表示する。
【発明の効果】
【0007】
本発明の一実施形態によれば、音響モデルの訓練に用いる音波形を特定しやすくすることができる。
【図面の簡単な説明】
【0008】
【図1】音響モデルの訓練システムの全体構成図である。
【図2】サーバの構成図である。
【図3】音響モデルの説明図である。
【図4】音響モデルの訓練方法を例示するシーケンス図である。
【図5】音響モデルの訓練処理及び音波形の特性分布の表示処理を例示するフローチャートである。
【図6】音波形の特性分布の一例である。
【図7】音波形の特性分布の表示方法を例示するフローチャートの変形例である。
【図8】音響モデルの訓練処理を例示するフローチャートである。
【図9】不足範囲のグラフ表示の一例である。
【図10】ユーザに対して推薦する楽曲の特性分布の一例である。
【図11】楽曲の選択・編集・再生処理を例示するフローチャートである。
【図12】得意度に基づく推薦曲表示の一例である。
【図13】ピアノロール表示の一例である。
【図14】音波形の特性分布の一例である。
【図15】楽曲再生処理を例示するフローチャートである。
【発明を実施するための形態】
【0009】
以下、本発明の一実施形態における音波形の特性分布に係る表示方法について、図面を参照しながら詳細に説明する。以下に示す実施形態は本発明を実施する形態の一例であって、本発明はこれらの実施形態に限定して解釈されない。本実施形態で参照する図面において、同一部分又は同様の機能を有する部分には同一の符号又は類似の符号（数字の後にＡ、Ｂ等を付しただけの符号）が付されており、それらの繰り返しの説明は省略される場合がある。
【0010】
以下の実施形態において、「楽譜データ」は、音符の音高及び強度に関する情報、音符における音韻に関する情報、音符の発音期間に関する情報、及び演奏記号に関する情報を含むデータである。例えば、楽譜データは、楽曲の楽譜及び歌詞の少なくとも一方を示すデータである。楽譜データは、当該楽曲を構成する音符の時系列を示すデータであってもよく、当該楽曲を構成する言語の時系列を示すデータであってもよい。
【0011】
「音波形」は、音声の波形データであり、その音声を発する音源は、音源ＩＤで特定される。例えば、音波形は、歌唱の波形データ及び楽器音の波形データの少なくとも一方である。例えば、音波形は、マイク等の入力装置を介して取り込まれた歌手の歌声及び楽器の演奏音の波形データを含む。音源ＩＤは、その歌手の歌唱の音色、又はその楽器の演奏音の音色を特定する。音波形のうち、音響モデルを用いて合成音波形を生成するために入力される音波形を「合成用音波形」といい、音響モデルを訓練するために用いられる音波形を「訓練用音波形」という。合成用音波形と訓練用音波形とを区別する必要がない場合、これらを併せて、単に「音波形」という。
【0012】
「音響モデル」は、楽譜データの楽譜特徴量の入力と、音波形の音響特徴量の入力とを有する。音響モデルとして、例えば、国際公開第２０２２／０８０３９５号に記載された、楽譜エンコーダ、音響エンコーダ、切換部、及び音響デコーダを有する音響モデルを用いる。この音響モデルは、入力された楽譜データの楽譜特徴量又は音波形の音響特徴量と音源ＩＤとを処理することで、その音源ＩＤが示す音色を有する、目的とする音波形の音響特徴量を生成する機能を有し、新たな合成音波形を生成するための音声合成プログラムによって使用される音声合成モデルである。音声合成プログラムは、ある楽曲の楽譜データから生成した楽譜特徴量と音源ＩＤとを音響モデルに供給することで、その音源ＩＤが示す音色で、かつその楽曲の音響特徴量を得て、その音響特徴量を音波形に変換する。或いは、音声合成プログラムは、ある楽曲の音波形から生成した音響特徴量と音源ＩＤとを音響モデルに供給することで、その音源ＩＤが示す音色で、かつその楽曲の新たな音響特徴量を得て、その新たな音響特徴量を音波形に変換する。音響モデル毎に、所定数の音源ＩＤが用意される。つまり、各音響モデルは、所定数の音色のうちの、音源ＩＤが示す音色の音響特徴量を選択的に生成する。
【0013】
音響モデルは、機械学習を利用した、例えば、畳み込みニューラルネットワーク（ＣＮＮ）又はリカレントニューラルネットワーク（ＲＮＮ）などを利用した所定のアーキテクチャの生成モデルである。音響特徴量は、自然音や合成音の波形の周波数スペクトルにおける発音の特徴を表すものであり、音響特徴量が近いことは歌声又は演奏音の音色やその時間変化が似ていることを意味する。
【0014】
音響モデルの訓練においては、音響モデルによって、参照した音波形の音響特徴量と類似する音響特徴量が生成されるように、音響モデルの変数が変更される。訓練には、例えば、国際公開第２０２２／０８０３９５号に記載された訓練プログラムＰ２、楽譜データＤ１（訓練用楽譜データ）、及び学習用音響データＤ２（訓練用音波形）を用いる。複数の音源ＩＤに対応する複数の音声の波形を用いた基本訓練によって、複数の音源ＩＤに対応する複数の音色の合成音の音響特徴量を生成できるように、音響モデル（楽譜エンコーダ、音響エンコーダ、及び音響デコーダ）の変数が変更される。さらに、その訓練済の音響モデルを、（未使用の）新たな音源ＩＤに対応する別の音色の音波形を用いて補助訓練することで、その音響モデルは、新たな音源ＩＤの示す音色の音響特徴量を生成できるようになる。具体的には、ＸＸＸさん（複数人）の声の音波形で訓練済の音響モデルに対して、さらに、新たな音源ＩＤを用いて、ＹＹＹさん（一人）の声音の音波形で補助訓練を行うことにより、ＹＹＹさんの声音の音響特徴量を生成できる音響モデルになるように、音響モデル（少なくとも、音響デコーダ）の変数が変更される。音響モデルに対する、上記のような、新たな音源ＩＤに対応する訓練の単位を「訓練ジョブ」という。つまり、訓練ジョブとは、訓練のプログラムによって実行される一連の訓練プロセスを意味する。
【0015】
「プログラム」とは、プロセッサ及びメモリを備えたコンピュータにおいてプロセッサより実行される命令又は命令群を指す。「コンピュータ」は、プログラムの実行主体を指す総称である。例えば、サーバ（又はクライアント）によりプログラムが実行される場合、「コンピュータ」は、サーバ（又はクライアント）を指す。また、サーバとクライアントとの間の分散処理により「プログラム」が実行される場合、「コンピュータ」は、サーバ及びクライアントの両方を含む。この場合、「プログラム」は、「サーバで実行されるプログラム」及び「クライアントで実行されるプログラム」を含む。「プログラム」が、ネットワークに接続された複数のコンピュータで分散処理される場合、「コンピュータ」は、複数のコンピュータであり、「プログラム」は、複数のコンピュータで実行される複数のプログラムを含む。
【0016】
［１．第１実施形態］
［１－１．システムの全体構成］
図１は、音響モデル訓練システムの全体構成図である。図１に示すように、音響モデル訓練システム１０は、クラウドのサーバ１００（Ｓｅｒｖｅｒ）、通信端末２００（ＴＭ１）、及び通信端末３００（ＴＭ２）を含む。サーバ１００及び通信端末２００、３００は、それぞれネットワーク４００に接続されている。通信端末２００及び通信端末３００は、それぞれネットワーク４００を介してサーバ１００と通信できる。
［１－１．システムの全体構成］
図１は、音響モデル訓練システムの全体構成図である。図１に示すように、音響モデル訓練システム１０は、クラウドのサーバ１００（Ｓｅｒｖｅｒ）、通信端末２００（ＴＭ１）、及び通信端末３００（ＴＭ２）を含む。サーバ１００及び通信端末２００、３００は、それぞれネットワーク４００に接続されている。通信端末２００及び通信端末３００は、それぞれネットワーク４００を介してサーバ１００と通信できる。
【0017】
本実施形態において、サーバ１００は、音声合成器として機能し、音響モデルの訓練を実施するコンピュータである。サーバ１００は、ストレージ１１０を備えている。図１では、ストレージ１１０がサーバ１００に直接接続された構成が例示されているが、この構成に限定されない。例えば、ストレージ１１０が直接又は他のコンピュータを介してネットワーク４００に接続され、サーバ１００とストレージ１１０との間のデータの送受信がネットワーク４００を介して行われていてもよい。
【0018】
通信端末２００は、音響モデルを訓練するための訓練用音波形を選択し、サーバ１００に訓練を実行する指示を送信するユーザ（後述する作成者）の端末である。例えば、通信端末３００は、楽譜データを提供してサーバ１００に対して合成音波形の生成を要求するユーザの端末である。通信端末２００、３００は、例えばスマートフォンなどのモバイル用の通信端末、又は、デスクトップ型パソコンなどの据え置き用の通信端末を含む。なお、本発明の訓練方法は、本実施形態で説明するクライアントサーバの構成でなくても実施できる。例えば、通信端末とサーバを含むシステムの代わりに、プログラムを実行できるプロセッサを搭載した、スマートフォン、パソコン、電子楽器、音響機器などの１台の電子機器で実施してもよい。或いは、ネットワークで接続された複数台の電子機器で、分散処理として実施してもよい。
【0019】
ネットワーク４００は一般的なインターネット、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、又は社内ＬＡＮなどのＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）である。
【0020】
［１－２．音声合成に用いられるサーバの構成］
図２は、クラウドのサーバの構成を示すブロック図である。図２に示すように、サーバ１００は、制御部１０１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０３、ユーザインタフェース（ＵＩ）１０４、通信インターフェース１０５、及びストレージ１１０を備える。サーバ１００の各機能部が協働することによって、本実施形態の音声合成技術が実現される。
図２は、クラウドのサーバの構成を示すブロック図である。図２に示すように、サーバ１００は、制御部１０１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０３、ユーザインタフェース（ＵＩ）１０４、通信インターフェース１０５、及びストレージ１１０を備える。サーバ１００の各機能部が協働することによって、本実施形態の音声合成技術が実現される。
【0021】
制御部１０１は、中央処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、画像処理装置（ＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサ、当該ＣＰＵ及びＧＰＵに接続されたレジスタやメモリなどの記憶装置などを含む。制御部１０１は、メモリに一時的に記憶されたプログラムをＣＰＵ及びＧＰＵによって実行し、サーバ１００に備えられた各機能を実現させる。具体的には、制御部１０１は、通信端末２００からの各種要求信号に応じて演算処理を行い、通信端末２００、３００にその処理結果を提供する。
【0022】
ＲＡＭ１０２は、演算処理に必要な制御プログラム、音響モデル（アーキテクチャと変数で構成される）及びコンテンツデータなどを一時的に記憶する。また、ＲＡＭ１０２は、例えばデータバッファとして使用され、通信端末２００など、外部機器から受信した各種データを、ストレージ１１０に記憶させるまでの間、一時的に保持する。ＲＡＭ１０２として、例えば、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）又はＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの汎用メモリを用いてもよい。
【0023】
ＲＯＭ１０３は、サーバ１００の機能を実現させるための各種プログラム、各種音響モデル、及びパラメータ等を記憶する。ＲＯＭ１０３に記憶されているプログラム、音響モデル、及びパラメータ等は、必要に応じて制御部１０１によって読み出され、実行ないし利用される。
【0024】
ユーザインタフェース１０４は、グラフィカルな表示を行う表示器、ユーザ操作を受け付ける操作子やセンサ、サウンドを入出力するサウンドデバイスなどを備えており、制御部１０１の制御によって、その表示器に各種の表示画像を表示し、ユーザからの入力を受け付ける。
【0025】
通信インターフェース１０５は、制御部１０１の制御によって、ネットワーク４００に接続して、ネットワーク４００に接続された通信端末２００、３００などの他の通信装置との間で、情報の送信及び受信を行うインターフェースである。
【0026】
ストレージ１１０は、不揮発性メモリ、ハードディスクドライブなどの恒久的な情報の保持及び書き換えが可能な記録装置（記録媒体）である。ストレージ１１０は、プログラム、音響モデル、及び当該プログラムの実行に必要となるパラメータ等の情報を記憶する。図２に示すように、ストレージ１１０には、例えば音声合成プログラム１１１、訓練ジョブ１１２、楽譜データ１１３、及び音波形１１４が記憶されている。これらのプログラム及びデータとして、例えば、国際公開第２０２２／０８０３９５号に記載された音声合成プログラムＰ１、訓練プログラムＰ２、楽譜データＤ１、及び音響データＤ２をそれぞれ用いてもよい。ストレージ１１０に記憶される音波形１１４は、過去に音響モデル１２０の訓練に使用された訓練用音波形を含む。このように、過去に訓練に使用された訓練用音波形に係るデータを「履歴データ」という場合がある。
【0027】
上記のように、音声合成プログラム１１１は、楽譜データや音波形から合成音波形を生成するためのプログラムである。制御部１０１が音声合成プログラム１１１を実行するとき、制御部１０１は音響モデル１２０を使用して合成音波形を生成する。なお、当該合成音波形は、国際公開第２０２２／０８０３９５号に記載された音響データＤ３に対応する。訓練ジョブ１１２で制御部１０１により実行される音響モデル１２０の訓練プログラムによって実行される訓練プロセスであり、例えば国際公開第２０２２／０８０３９５号に記載されたエンコーダ及び音響デコーダを訓練するプログラムである。楽譜データは、楽曲を規定するデータである。音波形は、歌手の歌声又は楽器の演奏音を示す波形データである。通信端末２００、３００の構成は、規模などに多少の差はあるが、基本的にはサーバ１００と同じである。
【0028】
［１－３．音声合成に用いられる音響モデル］
図３は、音響モデルの説明図である。上記のように、音響モデル１２０は、図２の制御部１０１が音声合成プログラム１１１を読み出して実行するとき、その制御部１０１が実行する音声合成処理において使用される機械学習モデルである。音響モデル１２０は、音響特徴量を生成するよう訓練されている。音響モデル１２０には、制御部１０１により、入力信号として所望の楽曲の楽譜データ１１３の楽譜特徴量１２３又は音波形１１４の音響特徴量１２４が入力される。制御部１０１が、音響モデル１２０を用いて、音源ＩＤと当該楽譜特徴量１２３とを処理することにより、当該楽曲の合成音の音響特徴量１２９が生成される。制御部１０１は、その音響特徴量１２９に基づいて、当該楽曲を音源ＩＤで特定される歌手が歌唱した又は楽器で演奏した合成音波形１３０を合成して出力する。又は、制御部１０１が、音響モデル１２０を用いて、音源ＩＤと当該音響特徴量１２４とを処理することにより、当該楽曲の合成音の音響特徴量１２９を生成する。制御部１０１は、その音響特徴量１２９に基づいて、当該楽曲の音波形を音源ＩＤで特定される歌手の歌声又は楽器の演奏音の音色に変換した合成音波形１３０を合成して出力する。
図３は、音響モデルの説明図である。上記のように、音響モデル１２０は、図２の制御部１０１が音声合成プログラム１１１を読み出して実行するとき、その制御部１０１が実行する音声合成処理において使用される機械学習モデルである。音響モデル１２０は、音響特徴量を生成するよう訓練されている。音響モデル１２０には、制御部１０１により、入力信号として所望の楽曲の楽譜データ１１３の楽譜特徴量１２３又は音波形１１４の音響特徴量１２４が入力される。制御部１０１が、音響モデル１２０を用いて、音源ＩＤと当該楽譜特徴量１２３とを処理することにより、当該楽曲の合成音の音響特徴量１２９が生成される。制御部１０１は、その音響特徴量１２９に基づいて、当該楽曲を音源ＩＤで特定される歌手が歌唱した又は楽器で演奏した合成音波形１３０を合成して出力する。又は、制御部１０１が、音響モデル１２０を用いて、音源ＩＤと当該音響特徴量１２４とを処理することにより、当該楽曲の合成音の音響特徴量１２９を生成する。制御部１０１は、その音響特徴量１２９に基づいて、当該楽曲の音波形を音源ＩＤで特定される歌手の歌声又は楽器の演奏音の音色に変換した合成音波形１３０を合成して出力する。
【0029】
音響モデル１２０は、機械学習により確立された生成モデルであり、訓練プログラムを実行している（つまり、訓練ジョブ１１２を実行中の）制御部１０１によって訓練される。制御部１０１は、（未使用の）新たな音源ＩＤと訓練用音波形を用いて音響モデル１２０を訓練し、音響モデル１２０（少なくとも音響デコーダ）の変数を決定する。具体的には、制御部１０１は、訓練用音波形から訓練用の音響特徴量を生成し、音響モデル１２０に新たな音源ＩＤと訓練用の音響特徴量が入力された場合に、合成音波形１３０を生成する音響特徴量が訓練用の音響特徴量に近づくように、その変数を徐々に繰り返し変更する。訓練用音波形は、例えば、通信端末２００又は通信端末３００から、クラウドのサーバ１００にアップロード（送信）され、ストレージ１１０にユーザデータとして保存されてもよく、参考データとしてサーバ１００の管理者が予めストレージ１１０に保存したものでもよい。以下の説明において、ストレージ１１０に保存することをサーバ１００に保存する、という場合がある。
【0030】
［１－４．音声合成方法］
図４は、音響モデルの訓練方法を示すシーケンス図である。図４に示す音響モデルの訓練方法では、例えば、通信端末２００がサーバ１００に訓練用音波形をアップロードする。ただし、上記のように、訓練用音波形はその他の方法でサーバ１００に予め保存されていてもよい。実際には、通信端末２００側の処理ＴＭ１の各ステップは通信端末の制御部が実行し、サーバ１００側の処理Ｓｅｒｖｅｒの各ステップはサーバ１００の制御部１０１が実行するが、ここでは説明を単純にするため、通信端末２００およびサーバ１００を各ステップの実行主体として表現する。また、以降のフローチャートの説明も同様であるが、実行主体が通信端末かサーバかの区別は本発明にとって全く重要ではないので、フローチャートに関しては、基本的には、通信端末２００、３００とサーバ１００を含むシステムを実行主体として説明する。
図４は、音響モデルの訓練方法を示すシーケンス図である。図４に示す音響モデルの訓練方法では、例えば、通信端末２００がサーバ１００に訓練用音波形をアップロードする。ただし、上記のように、訓練用音波形はその他の方法でサーバ１００に予め保存されていてもよい。実際には、通信端末２００側の処理ＴＭ１の各ステップは通信端末の制御部が実行し、サーバ１００側の処理Ｓｅｒｖｅｒの各ステップはサーバ１００の制御部１０１が実行するが、ここでは説明を単純にするため、通信端末２００およびサーバ１００を各ステップの実行主体として表現する。また、以降のフローチャートの説明も同様であるが、実行主体が通信端末かサーバかの区別は本発明にとって全く重要ではないので、フローチャートに関しては、基本的には、通信端末２００、３００とサーバ１００を含むシステムを実行主体として説明する。
【0031】
図４に示すように、まず、通信端末２００は、サーバ１００のユーザのアカウントにログインした作成者の指示に基づいて、サーバ１００に、１又は複数の訓練用音波形をアップロード（送信）する（Ｓ４０１）。サーバ１００は、Ｓ４０１で送信された訓練用音波形を、ユーザの記憶領域に記憶する（Ｓ４１１）。サーバ１００にアップロードされる音波形は１つでも、複数でもよく、複数の音波形はユーザの記憶領域の複数のフォルダに分けて記憶されてもよい。上記のＳ４０１、４１１は、以下の訓練ジョブを実行するための準備に係るステップである。Ｓ４１１で記憶された音波形を、「音響モデルの訓練に関連する音波形」又は「訓練に使用される音波形」という場合がある。これらの音波形に関するデータを「入力音波形に関する履歴データ」という場合がある。上記の音波形のうち、訓練ジョブに使用された音波形を「訓練に使用された音波形」という場合がある。
【0032】
続いて、以下に訓練ジョブを実行するためのステップを説明する。通信端末２００は、サーバ１００に訓練ジョブの実行を要求する（Ｓ４０２）。Ｓ４０２の要求に対して、サーバ１００は、通信端末２００に対して、予め保存された音波形又は保存される予定の音波形のうち訓練ジョブに使用する音波形を選択するためのグラフィカルユーザインターフェース（ＧＵＩ）を提供する（Ｓ４１２）。
【0033】
Ｓ４１２で提供されたＧＵＩに対する作成者（ユーザ）の入力によって、通信端末２００は、そのＵＩの表示器にＳ４１２で提供されたＧＵＩを表示し、作成者は、そのＧＵＩを用いて、記憶領域（又は所望のフォルダ）にアップロードされた複数の音波形から一以上の音波形を訓練用の波形セットとして選択する（Ｓ４０３）。
【0034】
Ｓ４０３で波形セット（訓練用音波形）が選択された後に、作成者からの指示に応じて、通信端末２００は、訓練ジョブの実行開始を指示する（Ｓ４０４）。その指示に応じて、サーバ１００は、選択された波形セットを用いて訓練ジョブの実行を開始する（Ｓ４１３）。
【0035】
訓練には、選択された波形セット中の各波形が全部使用されるのではなく、無音区間やノイズ区間などを除いた有用区間のみを含む前処理済み波形セットが使用される。また、訓練される音響モデル１２０（ベースとして指定されたモデル）として、音響デコーダが未訓練の音響モデルを用いてもよいが、複数の基本訓練済みの音響モデル１２０のうち、波形セットの波形の音響特徴量に近い音響特徴量の生成を学習した音響デコーダを含む音響モデルを選択して用いれば、訓練ジョブにかかる時間やコストを低減できる。何れの音響モデル１２０を選ぶとしても、楽譜エンコーダと音響エンコーダは、基本訓練済みのものを用いる。
【0036】
ベースモデルは、作成者が選択した波形セットに基づいて、複数の訓練済み音響モデル乃至初期モデルから、サーバ１００が自動的に、或いは、ユーザからの指示に基づいて決定してもよい。例えば、通信端末２００は、訓練ジョブの実行開始をサーバ１００に対して指示する際に、複数の訓練済み音響モデル１２０乃至初期モデルのうち作成者（ユーザ）が選択したいずれかをベースモデルとし、その選択されたベースモデルを示す指定データをサーバ１００に送信してもよい。サーバ１００は、当該指定データに基づいて、訓練される音響モデル１２０を指定する。音響デコーダに供給する音源ＩＤ（例えば、歌手ＩＤ、楽器ＩＤなど）としては、未使用の新たな音源ＩＤを用いる。ここで、新たな音源ＩＤとしてどの音源ＩＤを使用されたかを、作成者を含むユーザは必ずしも知らなくてよい。ただし、訓練済みモデルを使用して音声合成する際には、自動的に、その新たな音源ＩＤが用いられる。新たな音源ＩＤは、ユーザが訓練した音響モデルに、その訓練で学習した音色の音響特徴量を合成させるためのキーデータである。
【0037】
訓練ジョブでは、前処理済み波形セットから一部の短波形を少しずつ取り出し、取り出した短波形を用いて音響モデル（少なくとも音響デコーダ）を訓練する、という単位訓練を繰り返す。単位訓練では、前記新たな音源ＩＤと短波形の音響特徴量とを音響モデル１２０に入力し、それに応じて音響モデル１２０が出力する音響特徴量と入力した音響特徴量の間の差分が小さくなるよう、音響モデルの変数を調整する。変数の調整には、例えば、誤差逆伝搬法を用いる。単位訓練を繰り返すことで、前処理済み波形セットによる訓練が一通り終わったら、音響モデル１２０が生成する音響特徴量の品質を評価して、当該品質が所定の基準に達していなければ、その前処理済み波形セットを用いて、再び音響モデルの訓練を行う。音響モデル１２０が生成する音響特徴量の品質が所定の基準に達していれば、訓練ジョブは完了し、その時点の音響モデル１２０が訓練済み音響モデル１２０となる。
【0038】
Ｓ４１３で実行された訓練ジョブが完了することで、訓練済み音響モデル１２０が確立される（Ｓ４１４）。サーバ１００は、通信端末２００に、訓練済み音響モデル１２０が確立されたことを通知する（Ｓ４１５）。上記のＳ４０３～Ｓ４１５のステップが、音響モデル１２０の訓練ジョブである。
【0039】
Ｓ４１５の通知の後に、ユーザからの指示に応じて、通信端末２００が、所望の楽曲の楽譜データを含む音声合成の指示をサーバ１００に送信する（Ｓ４０５）。Ｓ４０５でのユーザは、作成者ではなく、音響モデル１２０の利用者の位置づけである。それに応じて、サーバ１００は、音声合成プログラムを実行して、その楽譜データに基づいて、Ｓ４１４で確立された訓練済み音響モデル１２０を用いた音声合成を実行する（Ｓ４１６）。Ｓ４１６で生成された合成音波形１３０を通信端末２００に送信する（Ｓ４１７）。この音声合成では、前記新たな音源ＩＤが用いられる。
【0040】
Ｓ４１６及びＳ４１７を併せて、訓練ジョブによって訓練された訓練済み音響モデル１２０（音声合成機能）を、通信端末２００（又はユーザ）に提供する、ということができる。Ｓ４１６の音声合成プログラムの実行を、サーバ１００の代わりに、通信端末２００で行ってもよい。その場合、サーバ１００は、当該訓練済み音響モデル１２０を通信端末２００に送信し、通信端末２００は、受け取った訓練済み音響モデル１２０を用いて、前記新たな音源ＩＤで、所望の楽曲の楽譜データに基づく音声合成処理を実行し、合成音波形１３０を取得する。
【0041】
本実施形態では、Ｓ４０２で訓練ジョブの実行を要求する前に、Ｓ４０１で訓練用音波形をアップロードしたが、この構成に限定されない。例えば、訓練用音波形のアップロードが、Ｓ４０４で訓練ジョブの実行を指示した後に行われてもよい。この場合、Ｓ４０３において、通信端末２００に記憶された複数の音波形（未アップロードの音波形を含む）から、波形セットとして一以上の音波形が選択され、訓練ジョブの実行指示に応じて、選択された音波形のうちの未アップロードの音波形が、アップロードされてもよい。
【0042】
［１－５．特性分布の表示方法］
図５は、音響モデル１２０の訓練処理、及び、音響モデル１２０の訓練に用いた音波形の特性分布の表示処理を例示するフローチャートである。図５の処理は、システムによって実行される。本実施形態において、訓練に用いた音波形は公開されていないが、その音波形の特性分布は公開されており、第３者によって閲覧可能である。
図５は、音響モデル１２０の訓練処理、及び、音響モデル１２０の訓練に用いた音波形の特性分布の表示処理を例示するフローチャートである。図５の処理は、システムによって実行される。本実施形態において、訓練に用いた音波形は公開されていないが、その音波形の特性分布は公開されており、第３者によって閲覧可能である。
【0043】
図５の「訓練処理」では、サーバ１００にアップロードされた音波形の中から、ユーザが音波形を選択し、システムは、選択された音波形を用いて訓練ジョブを実行する。システム（サーバ１００）は、ユーザの選択操作に応じて、音響モデル１２０の訓練に用いる複数の音波形を特定する（Ｓ５０１）。システム（サーバ１００）は、特定された複数の音波形を用いて、ベースとなる音響モデル１２０の訓練ジョブを実行することで、訓練済みの音響モデル１２０を確立する（Ｓ５０２）。そして、システム（サーバ１００）は、確立した音響モデル１２０の訓練に用いられた音波形の識別子を含む履歴データを、当該音響モデル１２０にリンク（関連付け）する（Ｓ５０３）。ここで、履歴データなどの音響モデルにリンクされた各種データは、クラウドのストレージから、その音響モデルを入手する第３者に対し、その音響モデルに関連して提供される。そのストレージは、サーバ１００と一体でもよいし、一体でなくてもよい。第３者は、その履歴データ（識別子）に基づいて、その音響モデルの訓練に用いられた音波形の特性分布などの概要を取得し確認できる。しかし、著作権や個人情報の保護のため、音響モデル１２０の訓練に用いられた音波形そのものは、その音波形をアップロードした作成者を除くユーザの通信端末３００からアクセスできないよう保護される。一方、サーバ１００は、下述する音波形の分析のため、その識別子を用いて、訓練済み音響モデル１２０の訓練に用いられた音波形を、そのユーザがアップロードしたか否かに関係なく、特定し取得できる。
【0044】
システム（サーバ１００）は、履歴データに含まれる識別子が示す複数の音波形を分析し、当該音波形が有する複数の特性について、特性分布を取得する。特性分布は、例えば、分布を示す対象の特性値をｘ軸及びｙ軸とし、ｘ軸及びｙ軸における各特性値における音波形のデータ量をｚ軸としたヒストグラム形式の分布である。
【0045】
図５の「表示処理」では、ユーザによって音響モデル１２０及び特性種別が選択され、システムは、選択された音響モデル１２０の履歴データが特定する音波形の特性分布を、ユーザの通信端末２００のＵＩの表示器（システムの表示器とも呼ぶ）に表示する。ユーザによる音響モデルの選択操作に応じて、システムは、複数の音響モデルの中から１つの音響モデル１２０を選択する（Ｓ５１１）。システムは、ユーザによる特性種別の選択操作に応じて、複数の特性種別の中から、表示する特性種別を選択する（Ｓ５１２）。ここで選択する種別は、１つでも複数でもよい。
【0046】
ここで、特性種別とは、当該音響モデル１２０の訓練に用いられた音波形が有する複数の特性の種別を意味する。例えば、音波形が有する複数の特性は、音高、強度、音韻、音長、スタイルである。ユーザは、上記選択操作によって、これらの特性から一以上の特性を選択する。
【0047】
上記のスタイルは、歌唱スタイル及び演奏スタイルを含む。歌唱スタイルは歌い方であり、演奏スタイルは演奏の仕方である。具体的には、歌唱スタイルとして、ニュートラル、ビブラート、ハスキー、フライ、及びグロウル等が挙げられる。演奏スタイルとして、擦弦楽器であれば、ニュートラル、ビブラート、ピチカート、スピカート、フラジョレット、及びトレモロ等が挙げられ、撥弦楽器であれば、ニュートラル、ポジション、レガート、スライド、及びスラップ／ミュート等が挙げられる。クラリネットであれば、ニュートラル、スタカート、ビブラート、及びトリル等が挙げられる。なお、例えば、上記のビブラートは、ビブラートを多用する歌唱スタイル又は演奏スタイルを意味する。歌唱又は演奏におけるピッチ、音量、音色、及びこれらの動的挙動は、全体的にスタイルによって変わる。
【0048】
システム（サーバ１００）は、履歴データに含まれる識別子が示す複数の音波形の各々を分析して、その波形のＳ５１２で選択された種別の特性分布を取得し、それら複数音波形の特性分布を合成して１つの合成された特性分布にする（Ｓ５１３）。例えば、システム（サーバ１００）は、履歴データに含まれる識別子が示す音波形Ａ、Ｂについて、音高に関する特性分布Ａ、Ｂを取得し、各音高における音波形Ａ、Ｂのデータ量を合成（積算）する。システムは、選択された種別の、合成された特性分布を表示する（Ｓ５１４）。なお、当該特性分布の表示は、特性分布に関連する情報の１つの表示例である。Ｓ５１２で２以上の種別が選択されたときは、Ｓ５１３で、各音波形の分析により当該２以上の種別の特性分布を取得し、複数の音波形分の特性分布を種別ごとに合成して、Ｓ５１４で、当該２以上の種別の、合成された特性分布を表示する。
【0049】
上記のように、サーバ１００は、ユーザによって選択された音響モデル１２０の訓練に用いた全音波形の特性分布に関連する情報を表示する。上記合成された特性分布は、音響モデル１２０がその訓練で獲得した能力に相当する。
【0050】
本実施形態では、表示される特性分布に対応する特性種別は、Ｓ５１２でユーザによって選択される構成を例示したが、当該特性種別が固定されており、ユーザによって選択できなくてもよい。
【0051】
なお、Ｓ５０２の訓練が、未訓練の初期モデルをベースとして行われた場合、Ｓ５０３の履歴データには、その訓練で用いた全ての音波形の識別子が含まれる。一方、Ｓ５０２の訓練が、既存の訓練済みの音響モデル１２０をベースとして行われた場合、Ｓ５０３の履歴データには、その訓練で用いた全ての音波形の識別子と、ベースとなった音響モデル１２０の訓練に用いた全ての音波形の識別子とが含まれる。ベースが初期モデルか否かに関わらず、訓練済みの音響モデル１２０にリンクされた属性データには、初期モデルからその音響モデル１２０が確立されるまでの全訓練に用いた全ての音波形（音響モデルの訓練に用いた全音波形）の識別子が含まれる。
【0052】
図５のＳ５１４において表示される特性分布の一例を図６に示す。この実施形態では、Ｓ５１２で特性種別として「音高」と「強度」の２つが選択されており、図６の画面１４０には、履歴データに含まれる複数の音波形について合成された、「音高」と「強度」の特性分布を示すグラフが表示される。
【0053】
図６に示す画面１４０は、システム（サーバ１００）によって提供され、システム（通信端末２００）の表示器に表示される。画面１４０には、２次元表示部１４１、第１軸表示部１４２、第２軸表示部１４３、及びデータ量バー１４４が含まれる。
【0054】
第１軸表示部１４２は、第１軸における第１特性の各値に対する音波形のデータ量を示すカーブを表示する。本実施形態の第１特性は音高なので、第１軸の単位は［Ｈｚ］である。第２軸表示部１４３は、第２軸における第２特性の各値に対する音波形のデータ量を示すカーブを表示する。本実施形態の第２特性は強度（音量）なので、第２軸の単位は［Ｄｙｎ．］である。
【0055】
２次元表示部１４１は、第１軸及び第２軸を用いた直交座標におけるデータ量の２次元分布である。２次元表示部１４１では、第１軸及び第２軸の各々の値における音波形のデータ量が、当該データ量の区分に応じた態様で表示されている。データ量バー１４４は、当該データ量の区分に応じた態様のスケールを示す。
【0056】
図６に示す例では、音波形のデータ量が、０［ｓｅｃ］である第１区分、０［ｓｅｃ］より大きく２０［ｓｅｃ］以下である第２区分、２０［ｓｅｃ］より大きく１００［ｓｅｃ］以下である第３区分、及び１００［ｓｅｃ］より大きく１４０［ｓｅｃ］以下である第４区分に分けられている。第１～第４区分は、それぞれ異なる態様で表示される。例えば、これらは色の違いで表示されてもよい。例えば、第１区分は「黒」、第２区分は「青」、第３区分は「緑」、第４区分は「黄色」で表示されてもよい。又は、第１区分は「黒」で、第２区分は上記黒より明るく、第３区分は第１区分より明るく、第４区分は第３区分より明るく表示されてもよい。より多い態様又は少ない態様を用いて、より多くの区分又は少ない区分の表示を行ってもよい。また、異なる区分は、色や明るさの差異に限らず、ハッチング、形状、ぼやけ具合などの差異で表現してもよい。
【0057】
以上のように、本実施形態に係る音響モデル訓練システム１０によると、現在の音響モデル１２０の訓練に使用された音波形、又は音響モデル１２０の訓練に使用される候補である音波形に対応する特性分布を示すグラフを表示することで、ユーザが訓練に用いる訓練用音波形を特定しやすくなる。
【0058】
［１－６．変形例］
図７は、図５の表示方法に類似する、音波形の特性分布の表示方法を例示するフローチャートである。以下の説明において、両者の類似する部分について説明を省略し、主に両者の相違する部分について説明する。
図７は、図５の表示方法に類似する、音波形の特性分布の表示方法を例示するフローチャートである。以下の説明において、両者の類似する部分について説明を省略し、主に両者の相違する部分について説明する。
【0059】
図７の「訓練処理」では、図５と同様に、ユーザによって音波形が選択され、システムは、選択された音波形を用いて訓練ジョブを実行する。図７のＳ７０１、Ｓ７０２は、図５のＳ５０１、Ｓ５０２と同じである。システム（サーバ１００）は、Ｓ７０２で訓練済みの音響モデル１２０を確立した後、その訓練に用いられた複数の各音波形を分析して複数種別の特性分布を取得し、それらを種別ごとに合成して、複数種別の合成された特性分布を取得する（Ｓ７０３）。続いて、システム（サーバ１００）は、Ｓ７０２の訓練のベースの音響モデルが未訓練の初期モデルか否かを判断する（Ｓ７０４）。
【0060】
Ｓ７０４でベースモデルが初期モデルではないと判断された場合（Ｓ７０４の「ＮＯ」）、システム（サーバ１００）は、Ｓ７０３で取得した複数種別の特性分布と、その訓練のベースとした訓練済みの音響モデルの履歴データが示す複数種別の特性分布とを、種別ごとに合成する（Ｓ７０５）。その合成後、システム（サーバ１００）は、Ｓ７０２で確立した音響モデル１２０に、Ｓ７０５で合成された複数種別の特性分布を、履歴データとしてリンクする（Ｓ７０６）。一方、Ｓ７０４でベースモデルが初期モデルであると判断された場合（Ｓ７０４の「ＹＥＳ」）、システム（サーバ１００）は、Ｓ７０５の処理をスキップして、Ｓ７０２で確立した音響モデル１２０に、Ｓ７０３で取得した複数種別の特性分布を、履歴データとしてリンクする（Ｓ７０６）。
【0061】
図５及び図７のいずれの表示処理においても、履歴データは、訓練済み音響モデル１２０に関して、その訓練に用いた全音波形の特性分布を得るために用いられる。図５のＳ５０３で音響モデル１２０にリンクされる履歴データは、その訓練に用いた全音波形を示す識別子であり、図５の表示処理では、システムは、その識別子が示す各音波形を分析して、それら音波形の特性分布を取得し合成した（Ｓ５１３）。それに対し、図７の訓練処理では、システムは、訓練済みの音響モデル１２０に、履歴データとして、その訓練に用いられた全音波形の合成された特性分布を複数種別分リンクする（Ｓ７０６）。従って、図７の表示処理では、システムは、何れの音波形も分析することなく、その音響モデル１２０の、選択された種別の特性分布を取得し（Ｓ７１３）、画面（図６）に表示する（Ｓ７１４）。
【0062】
何れの本実施形態においても、第３者は、音響モデル１２０ごとの特性分布を入手し閲覧できる。
【0063】
【0064】
［２．第２実施形態］
図８～図１３を用いて、第２実施形態に係る音響モデル訓練システム１０Ａについて説明する。音響モデル訓練システム１０Ａの全体構成及びサーバに関するブロック図は第１実施形態に係る音響モデル訓練システム１０と同じなので、説明を省略する。以下の説明において、第１実施形態と同じ構成については説明を省略し、主に第１実施形態と相違する点について説明する。以下の説明において、第１実施形態と同様の構成について説明をする場合、図１～図４を参照し、これらの図に示された符号の後にアルファベット“Ａ”を付して説明する。
図８～図１３を用いて、第２実施形態に係る音響モデル訓練システム１０Ａについて説明する。音響モデル訓練システム１０Ａの全体構成及びサーバに関するブロック図は第１実施形態に係る音響モデル訓練システム１０と同じなので、説明を省略する。以下の説明において、第１実施形態と同じ構成については説明を省略し、主に第１実施形態と相違する点について説明する。以下の説明において、第１実施形態と同様の構成について説明をする場合、図１～図４を参照し、これらの図に示された符号の後にアルファベット“Ａ”を付して説明する。
【0065】
［２－１．音響モデルの訓練処理］
図８は、システム１０Ａによって実行される、音響モデルの訓練処理を例示するフローチャートである。図８に示す音響モデルの訓練処理では、特定の特性分布に関して訓練データが不足した範囲を検出し、その領域を補うために適したデータを用いて訓練を実行する構成について説明する。
図８は、システム１０Ａによって実行される、音響モデルの訓練処理を例示するフローチャートである。図８に示す音響モデルの訓練処理では、特定の特性分布に関して訓練データが不足した範囲を検出し、その領域を補うために適したデータを用いて訓練を実行する構成について説明する。
【0066】
システム（サーバ１００Ａ）は、通信端末２００Ａ（又はユーザ）からの指示に応じて、音響モデル１２０Ａと１乃至複数の特性種別とを選択する（Ｓ８０１）。システム（サーバ１００Ａ）は、選択された音響モデル１２０Ａの選択された種別の特性分布を取得し、音響モデル１２０Ａに対する訓練における不足範囲を検出する（Ｓ８０２）。具体的には、システムは、選択された音響モデル１２０Ａにリンクした履歴データを取得し、当該履歴データに基づいて、当該音響モデルの訓練に使用された音波形の選択された種別の特性分布を取得する。
【0067】
システム（サーバ１００Ａ）は、取得された各種別の特性分布に関して、その種別で訓練が必要とされる特性値の範囲（必要範囲）において、データ量が閾値より小さい範囲を、その種別の不足範囲として検出する。又は、システムは、取得した各種別の特性分布とその種別の参照用の特性値の分布（参照分布）とを比較し、その種別の特性分布が参照分布より小さい範囲を不足範囲として検出してもよい。各種別の必要範囲及び閾値、又は参照分布は、例えば、ユーザによって選択された任意の楽曲等のその種別の特性分布に基づいて決定してもよく、既存の訓練済み音響モデルのその種別の特性分布に基づいて決定してもよい。
【0068】
Ｓ８０２で不足範囲が検出されると、システムは、ユーザに対して、画面１４０（図６）への当該不足範囲の表示の要否を問い合わせる（Ｓ８０３）。この問い合わせは、当該不足範囲を文字表示で行うか（文字表示ボタン）、グラフ表示で行うか（グラフ表示ボタン）、に関する問い合わせを含む。ユーザが（文字表示ボタンを操作して）文字表示を選択した場合、システムは当該不足範囲をその画面上に文字で表示する（Ｓ８０４）。
【0069】
他方、ユーザが（グラフ表示ボタンを操作して）グラフ表示を選択した場合、システムは当該不足範囲をその画面上にグラフ表示する（Ｓ８０５）。ユーザが当該不足範囲の表示を不要と判断した場合（文字表示ボタンとグラフ表示ボタンが操作されない場合）、システムはＳ８０４、Ｓ８０５の表示を行わずに次のステップ（Ｓ８０７）に進む。
【0070】
Ｓ８０５のグラフ表示の一例を図９に示す。図９に示すように、検出された音響モデル１２０Ａの不足範囲を、枠で囲んで表示する。この例では、不足範囲がたまたま三角形の形状だったので、三角形の枠で囲んでいる。この枠によって、ユーザは、第１特性（音高）及び第２特性（強度）における不足範囲の上限及び下限を確認できる。本実施形態では、不足範囲の上限及び下限の両方を表示したが、上限及び下限の一方だけ表示してもよい。
【0071】
図９に示す画面１４０Ａは、システム（サーバ１００Ａ）によって提供され、システム（通信端末２００Ａ）の表示器に表示される。図９に示す特性分布は、音高が高い範囲、かつ、強度が低い範囲のデータが不足するため、画面１４０Ａにおいて、不足範囲をユーザに通知するメッセージ（「データ補充が必要です」）が表示される。
【0072】
図９に示す画面１４０Ａ及びメッセージは、一例に過ぎず、その他の態様で表示されてもよい。システムは、Ｓ８０４において、不足範囲に係る情報、例えば、不足範囲に含まれる音高又は強度を、テキストで表示器に表示してもよい。或いは、システムは、不足する音信号の表現（スタカート又はビブラートなど）を表示してもよい。
【0073】
図８のＳ８０４、Ｓ８０５に続き、システムは、ユーザに対して、音響モデル１２０Ａの訓練の要否を問い合わせる（Ｓ８０６）。この問い合わせは、既存の音波形を使用して訓練を行うか（訓練ボタン）、訓練に使用する音波形を新たに録音する必要があるか（録音＆訓練ボタン）、に関する問い合わせを含む。
【0074】
ユーザが（訓練ボタンを操作して）既存の音波形を使用して訓練を行うことを選択した場合、システム（サーバ１００Ａ）は、ユーザの波形選択操作に応じて、既にアップロードされサーバ１００Ａに保存されている音波形の中から音波形を選択し、訓練に用いる音波形として特定する（Ｓ８０７）。そして、システム（サーバ１００Ａ）は、訓練に用いる音波形を分析して、当該音波形が有する１乃至複数の特性について、特性分布を取得し、ベースが初期モデルならそのまま、初期モデルでなければベースの音響モデルの特性分布と合成して、例えば図６と同様の態様で通信端末２００の表示器に表示する（Ｓ８０８）。
【0075】
他方、上記の問い合わせに対して、ユーザが（録音＆訓練ボタンを操作して）音波形を新たに録音することを選択した場合、システム（サーバ１００Ａ）は、複数の楽曲から不足範囲の特性値の音を十分に含む楽曲を特定し、ユーザに推薦する（Ｓ８０９）。つまり、システムは、複数の楽曲のうちの、不足範囲の特性値の音符を含む１乃至複数の候補曲を検出し、ユーザに対して、検出された候補曲を提示する。本実施形態の場合、システムは、予め（図８に示す訓練処理が開始される前に）公開された楽曲の楽譜データに含まれる複数の音符を分析し、当該楽曲で演奏されるべき音信号の特性分布（当該楽曲の特性分布と呼ぶ）を取得している。
【0076】
システムは、ユーザに対して楽曲を推薦する際に、例えば図６と同様の態様で、推薦した各楽曲の特性分布を参考として表示する（Ｓ８１０）。推薦する楽曲が複数の場合、システムは、複数の楽曲の複数の特性分布を一括で表示してもよいし、１曲分ずつ個別に表示してもよい。Ｓ８１０で表示される特性分布は、当該特性分布に対応する楽曲の楽譜データに基づく、当該楽曲の特性分布である。
【0077】
Ｓ８０９で推薦される楽曲の音波形は、音響モデル１２０Ａの訓練に先立って録音される音波形であり、その訓練に使用する予定の（又は、使用する可能性がある）音波形である。
【0078】
Ｓ８１０で表示される楽曲の特性分布の画面の一例を図１０に示す。図１０の画面には、参考として、図９と同様の不足範囲が点線で表示されている。システム（サーバ１００Ａ）は、例えば、分析済みの楽曲の中から、この不足範囲に十分なデータ量を有する楽曲を、推薦する楽曲として特定する。なお、図１０の特性分布は１つの楽曲分の音信号だけの特性分布なので、図６に示す、音響モデル１２０の訓練に用いた全音波形の特性分布と比較すると、データ量がかなり少ない。
【0079】
ユーザは、Ｓ８０９、Ｓ８１０で推薦された楽曲から、例えば１つの楽曲を選択して演奏し、システム（通信端末２００）は、演奏された楽曲を録音し（Ｓ８１１）、その録音データ（新たな音波形）をサーバ１００Ａに送信する。システム（サーバ１００Ａ）は、その新たな音波形を既存の音波形と同様に、そのユーザの記憶領域に保存する。続いてＳ８０７で音波形の選択処理が行われる。
【0080】
Ｓ８１１でユーザによって録音された新たな音波形の特性分布は、当該楽曲の楽譜データの特性分布と必ずしも一致せず、新たな音波形全体の特性分布は、図１０の特性分布と必ずしも一致しない。システム（サーバ１００Ａ）は、既存の音波形と新たな音波形の中から訓練に用いる音波形を選択し（Ｓ８０７）、訓練に用いる音波形を分析してその特性分布を取得する（Ｓ８０８）。ここで取得される特性分布は、その音波形を用いた将来の訓練で確立されると期待される音響モデル１２０Ａについて、その将来の訓練で使用された音波形の特性分布である。Ｓ８０８において、システムは、当該期待される訓練済み音響モデル１２０Ａの訓練で使用された全音波形の特性分布を表示する。その訓練のベースモデルが訓練済み音響モデルである場合、ベースモデルの特性分布と当該期待される音響モデル１２０の特性分布とを合成した特性分布が表示される。ユーザは、この特性分布を見て、Ｓ８０７で特定した音波形が適正か否か判断できる。
【0081】
Ｓ８０６の問い合わせに対して、ユーザが（訓練不要ボタンを操作して）訓練を希望しない旨の返答をした場合、図８に示すフローは終了する。
【0082】
Ｓ８０８に続き、サーバ１００Ａは、ユーザに対して、音響モデル１２０Ａの訓練実行の要否を問い合わせる（Ｓ８１２）。当該問い合わせに対して、ユーザが訓練実行ボタンを操作して、Ｓ８０７で選択した音波形を用いた訓練の実行を指示した場合、システム（サーバ１００Ａ）は、Ｓ５０２と同様に、Ｓ８０１で選択した音響モデル１２０Ａの訓練を、Ｓ８０７で選択した音波形を用いて実行し、訓練済みの音響モデル１２０Ａを確立して（Ｓ８１３）、Ｓ７０３～Ｓ７０６と同様に、確立した音響モデル１２０Ａの訓練に用いた全音信号の特性分布を取得し、履歴データとして当該音響モデル１２０Ａにリンクする（Ｓ８１４）。
【0083】
他方、上記の問い合わせに対して、ユーザが（音波形の再選択ボタンを操作して）音波形の再選択を指示した場合、システム（サーバ１００Ａ）は、再度ユーザに対して音波形を選択するためのＧＵＩを提供し、Ｓ８０７に示すようにユーザの選択操作に応じて音波形を特定する。
【0084】
Ｓ８１２の問い合わせに対して、ユーザが（訓練のキャンセルボタンを操作して）訓練の実行をキャンセルする旨を指示した場合、システムは、図８に示す処理を終了する。
【0085】
なお、Ｓ８１２において、システムはユーザに対して新たな録音の要否を問い合わせてもよい。その問い合わせに対し、ユーザが（録音＆訓練ボタンを操作して）音波形を新たに録音する旨を指示した場合、上述したＳ８０９～Ｓ８１１以降の処理が行われる。
【0086】
Ｓ８０９では、過去に音響モデル１２０Ａの訓練に使用された楽曲に基づいて、新たな楽曲を推薦してもよい。例えば、既に訓練に使用した楽曲と同じ歌手又は演奏者の別の楽曲を推薦してもよい。また、訓練に使用された楽曲と同じ又は近いジャンルの楽曲を推薦してもよい。さらに、一曲の全体を推薦してもよく、一曲の一部だけを推薦してもよい。
【0087】
以上のように、本実施形態に係る音響モデル訓練システム１０Ａによると、現在の音響モデル１２０Ａにおいて訓練不足の領域に適した訓練用音波形をユーザが効率よく準備ないし選定すること、および、当該領域にデータを補充するために適した楽曲をユーザに推薦することができる。
【0088】
［３．第３実施形態］
図１１を用いて、第３実施形態に係る音響モデル訓練システム１０Ｂについて説明する。音響モデル訓練システム１０Ｂの全体構成及びサーバに関するブロック図は第１実施形態に係る音響モデル訓練システム１０と同じなので、説明を省略する。以下の説明において、第１実施形態と同じ構成については説明を省略し、主に第１実施形態と相違する点について説明する。以下の説明において、第１実施形態と同様の構成について説明をする場合、図１～図４を参照し、これらの図に示された符号の後にアルファベット“Ｂ”を付して説明する。
図１１を用いて、第３実施形態に係る音響モデル訓練システム１０Ｂについて説明する。音響モデル訓練システム１０Ｂの全体構成及びサーバに関するブロック図は第１実施形態に係る音響モデル訓練システム１０と同じなので、説明を省略する。以下の説明において、第１実施形態と同じ構成については説明を省略し、主に第１実施形態と相違する点について説明する。以下の説明において、第１実施形態と同様の構成について説明をする場合、図１～図４を参照し、これらの図に示された符号の後にアルファベット“Ｂ”を付して説明する。
【0089】
［３－１．楽曲の選択・編集・再生処理］
図１１は、システム１０Ｂによって実行される、ユーザに所望の楽曲の選択、編集、再生をできるようにするための、楽曲の選択・編集・再生処理を例示するフローチャートである。図１１では、音響モデル１２０Ｂの特性分布に基づいて、音響モデル１２０Ｂの得意度を評価し、その得意度をユーザに対して表示する構成について説明する。
図１１は、システム１０Ｂによって実行される、ユーザに所望の楽曲の選択、編集、再生をできるようにするための、楽曲の選択・編集・再生処理を例示するフローチャートである。図１１では、音響モデル１２０Ｂの特性分布に基づいて、音響モデル１２０Ｂの得意度を評価し、その得意度をユーザに対して表示する構成について説明する。
【0090】
システム（サーバ１００Ｂ）は、ユーザからの選択指示に応じて、複数の訓練済み音響モデルの中から音響モデル１２０Ｂを選択し、リンクされた履歴データに基づいて、当該音響モデル１２０Ｂの特性分布を取得する（Ｓ１１０１）。続いて、システム（サーバ１００Ｂ）は、複数の楽曲から、Ｓ１１０１で取得した特性分布に適合しそうな１乃至複数の候補曲を特定し（Ｓ１１０２）、各候補曲に対する当該音響モデル１２０Ｂの得意度を評価する（Ｓ１１０３）。
【0091】
各音響モデル１２０Ｂは、初期モデルから複数の第１楽曲の音波形を用いて訓練されたモデルであるが、その訓練の少なくとも一部において、第１楽曲の演奏音の音波形及び当該音波形に対応する楽譜を用いて訓練されている。つまり、音響モデル１２０Ｂは、過去に訓練に用いられた第１楽曲の音波形の少なくとも一部の楽譜の楽譜特徴量と、当該音波形の第１音響特徴量とを含む訓練データを用いて訓練されたモデルである。この音響モデル１２０Ｂに（訓練に使用されていない）未知の第２楽曲の楽譜が入力されると、音響モデル１２０Ｂは、当該第２楽曲の楽譜特徴量に応じた第２音響の音響特徴量（第２音響特徴量）を生成する。
【0092】
Ｓ１１０１において、システム（サーバ１００Ｂ）は、選択した音響モデル１２０Ｂの訓練に用いた第１楽曲の全音波形の履歴を示す履歴データを取得する。第１実施形態に関して説明したように、当該音響モデル１２０Ｂにリンクされた履歴データには、前記全音波形の識別子、または、前記全音波形の特性分布が含まれていてもよい。システム（サーバ１００Ｂ）は、当該履歴データに基づいて、前記全音信号の特性分布を、当該音響モデル１２０Ｂの特性分布として取得する。ここで取得する特性分布は、音信号の複数の特性のうちの、ユーザの指定した或いは所定の、何れか１以上の特性の分布である。システムは、当該音響モデルの特性分布を通信端末２００Ｂの表示器に表示してもよい。なお、本明細書において、楽譜データを「楽譜」と呼ぶ場合がある。
【0093】
システムには、複数の楽曲の楽譜データが用意されている。Ｓ１１０２において、システムは、前記複数の楽曲の各々を分析してその楽曲の特性分布を取得し、前記複数の楽曲のうちから、その楽曲の特性分布が当該音響モデル１２０Ｂの特性分布から外れる量の少ない楽曲を選択して、当該音響モデル１２０に適合しそうな候補曲（推薦曲とも呼ぶ）として特定する。或いは、Ｓ１１０２において、システムは、前記複数の楽曲の各々の最高音と最低音とを検出し、前記取得された音響モデル１２０Ｂの特性分布がその最高音と最低音を含む１乃至複数の楽曲を選択して、当該音響モデル１２０Ｂに適合しそうな候補曲として特定してもよい。
【0094】
演奏する楽曲に対する得意度は、前記取得した特性分布及びその楽曲の楽譜データに基づいて評価される。具体的には、その得意度は、当該音響モデル１２０Ｂの特性分布が、その楽譜データの特性をカバーする程度である。当該音響モデル１２０Ｂの特性分布が楽譜データの特性をカバーする、とは、楽譜データに基づく音信号の特性が分布する範囲に、当該音響モデル１２０Ｂの特性が分布している、つまり、その範囲の音信号を当該音響モデル１２０Ｂが既に学習していることを意味する。例えば、両特性分布を重ねた場合に、楽譜データの特性分布が、当該音響モデルの特性分布の内側に存在する場合、得意度は１００％である。
【0095】
さらに、得意度は、楽譜データの特性が分布する範囲の各特性値における、当該音響モデル１２０Ｂの特性分布のデータ量に基づいて評価されてもよい。具体的には、得意度は、その範囲の特性値のうちの、その特性分布のデータ量が所定量（例えば、４０秒）より多くなる特性値の割合を意味してもよい。例えば、楽譜データの特性分布の範囲の全特性値において、当該音響モデル１２０Ｂの特性分布のデータ量が所定量より多い特性値の割合が８０％の場合、当該音響モデルの得意度（カバー率）は８０％である。
【0096】
得意度は数値、メータ、又はバーグラフで表されてもよい。或いは、図６の表示において、システムが当該音響モデル１２０Ｂの特性分布と楽曲の楽譜データの特性分布とを重ねて表示すれば、ユーザは、その表示を見て、当該音響モデルのその楽曲に対する得意度を認識できる。
【0097】
Ｓ１１０３において、システム（サーバ１００Ｂ）は、候補曲として特定された楽曲（第２楽曲）の楽譜及び当該音響モデル１２０Ｂの特性分布に基づき、当該音響モデルの、第２楽曲に対する得意度を評価する。なお、Ｓ１１０２とＳ１１０３の実行順を逆にしてもよい。その場合、システムは、まずＳ１１０３において、用意された複数の楽曲全部の得意度を評価し、続くＳ１１０２において、複数の楽曲のうちから、得意度が高い１乃至複数の曲を選択し、候補曲として特定してもよい。或いは、複数の楽曲のうちの得意度が閾値より高い楽曲を選び、選択された楽曲のうちから得意度の高い１乃至複数の楽曲を候補曲として特定してもよい。
【0098】
続いて、システムは、各候補曲（推薦曲）に対応付けて、当該音響モデル１２０Ｂのその候補曲に対する得意度を表示する（Ｓ１１０４）。この推薦曲及び得意度の表示の一例を図１２に示す。この例では、当該音響モデル１２０Ｂの特性分布に基づいて選択された複数の第２楽曲と、その各楽曲に対する当該音響モデル１２０Ｂの得意度とを対応付けて表示することで、ユーザにそれら楽曲を推薦している。
【0099】
図１２に示すＧＵＩ１６０Ｂは、システム（通信端末２００Ｂ）の表示器に表示され、表題１６１Ｂ、推薦曲の表示欄、及び選択ボタン１６６Ｂを含む。推薦曲の表示欄には、各推薦曲と、その推薦曲を選ぶためのラジオボタン１６２Ｂ～１６５Ｂと、その推薦曲についての得意度、ジャンルなどの付加情報が表示される。
【0100】
ユーザが、ＧＵＩ１６０Ｂにおいて、複数の推薦曲のうちの所望の楽曲に対応するラジオボタンを選択して選択ボタン１６６Ｂを押すと、システム（サーバ１００Ｂ）は当該ユーザ操作に応じてその楽曲を選択する（Ｓ１１０５）。
【0101】
続いて、システム（サーバ１００Ｂ）は、選択された楽曲の楽譜データの一連の音符のうちの各音符に対する当該音響モデル１２０Ｂの得意度を、当該音響モデル１２０Ｂの特性分布に基づいて評価し（Ｓ１１０６）、システム（通信端末２００）の表示器に、その楽曲の各音符を、その音符に対する得意度とともに表示する（Ｓ１１０７）。例えば、システムは、得意度の表示付きで、その楽曲のピアノロールを表示してもよい。当該得意度は、各音符に対して評価されているため、当該ピアノロールにおいて、音符毎に得意度が表示される。
【0102】
【0103】
ピアノロール１７０Ｂ中には、選択された楽曲の一連の音符の各々のピッチとタイミングとを示す複数の音符バー１７１Ｂが表示される。各音符の音符バー１７１Ｂは、例えば、３種類の態様のうちのその音符に対する得意度に応じた何れか１の態様で表示される。密なハッチングの音符バー１７２Ｂ「優」は、その音符に対する得意度が高いことを示す。疎なハッチングの音符バー１７３Ｂ「可」は、その音符に対する得意度が中程度であることを示す。白の音符バー１７４Ｂ「劣」は、その音符に対する得意度が低いことを示す。つまり、得意度が高い順に「優」、「可」、「劣」の３レベル表示である。
【0104】
ここでは、当該音響モデル１２０Ｂの得意度が、音符毎に評価され表示される。当該得意度は、上記楽曲（第２楽曲）の各音符の区間の楽譜について評価され、図１３のように、音符の区間毎に表示される。
【0105】
同じ音高であっても、強度が異なれば得意度が異なる場合がある。図１３には、音高が同じでも得意度が異なる音符や、得意度が途中で変わる音符がある。楽曲に対する得意度の区分数は、３に限らず、２つでも４つ以上でもよい。また、異なる区分は、ハッチングの差異に限らず、色、明るさ、形状、ぼやけ具合などの差異で表現してもよい。
【0106】
図１３のバーをその上方から指し示す矢印は、後述する再生動作で、再生位置を示すカーソル１７５Ｂである。さらに、グラフの下方に示された得意度メータ１７６Ｂには、カーソル１７５Ｂの位置における楽曲の得意度が表示される。得意度メータ１７６Ｂの下方には、再生ボタン１７８Ｂ及び取消ボタン１７９Ｂが表示される。システムは、ユーザが音符バーを編集操作したか否かの判定（Ｓ１１０８）と、ユーザが再生ボタン１７８Ｂを操作したかい否かの判定（Ｓ１１１０）とを行う。
【0107】
ユーザが何れかの音符バーを編集操作した場合（Ｓ１１０８の「ＹＥＳ」）、サーバ１００Ｂは、その編集操作に応じて、楽曲の楽譜データのうちの、その音符バーに対応する音符を編集する（Ｓ１１０９）。当該編集は、その音符の音高、強度、音韻、音長、及びスタイルのいずれかの変更を含む。例えば、ユーザがある音符バーを縦軸方向に動かすと、対応する音符の音高が変更され、横方向に動かすと、その音符のタイミングが変更される。また、ユーザがある音符バーの長さを変更すると、対応する音符の音長が変化する。さらに、ある音符バーのプロパティ編集画面を開いて、対応する音符の強度やスタイルを変更できる。当該編集が行われると、再度Ｓ１１０６、Ｓ１１０７の処理によって、編集された音符に対する得意度が評価し直され、当該音符に対する表示（得意度を含む表示）が更新される。
【0108】
一方、ユーザが何れの音符バーも編集操作しない場合（Ｓ１１０８の「ＮＯ」）、システムは、Ｓ１１１０で再生ボタン操作の有無を判断する。ユーザが再生ボタン１７８Ｂを操作した場合（Ｓ１１１０の「ＹＥＳ」）、サーバ１００Ｂは、当該音響モデル１２０Ｂを用いて、当該楽曲の楽譜データに応じた音波形を合成し、再生デバイスを用いて、その合成された音波形を再生し（Ｓ１１１１）、その再生が完了したら、ピアノロール表示を消去して、図１１の処理を終了する。なお、再生の完了時に、図１１の処理を終了する代わりに、ピアノロール表示を残したまま、Ｓ１１０８に進んでもよい。
【0109】
上記の音波形の合成は、システム（サーバ１００Ｂ又は通信端末２００Ｂ）が入手した楽曲の楽譜データに基づく音波形（歌唱又は楽器音）の合成である。本実施形態では、Ｓ１１１０で再生指示された後に、Ｓ１１１１で楽譜データに基づく音波形を合成している。しかし、当該音波形の合成は、再生指示されるより前、例えば、Ｓ１１０５で楽曲が選択された時点や、楽譜データの編集が行われた時点などに、行われてもよい。この場合、Ｓ１１１０で再生指示に応じて、予め合成された音波形が再生される。
【0110】
他方、ユーザが図１３に示す再生ボタン１７８Ｂを操作しない場合（Ｓ１１１０の「ＮＯ」）、システムは、Ｓ１１０８のステップに戻り、編集要否を判断する。つまり、ユーザが音符バーの編集操作も再生ボタンの操作も行わない場合、サーバ１００Ｂは、Ｓ１１０８、Ｓ１１１０のステップを繰り返すスタンバイ状態である。また、ユーザが取消ボタン１７９Ｂを操作すると、システムは、ピアノロール表示を消去して、図１１の処理を終了する。
【0111】
以上のように、本実施形態に係る音響モデル訓練システム１０Ｂによると、ユーザは、選択した訓練済み音響モデル１２０Ｂの特性分布に基づき、当該音響モデル１２０Ｂで再生するのに適した楽曲を、容易に選択できる。また、ユーザは、楽曲の各音符に関連づけて、当該音響モデル１２０Ｂのその音符に対する得意度を確認できる。さらに、ユーザは、楽曲の一連の音符の各々に対する得意度を確認しつつ、その楽曲の音符を個別に編集できる。
【0112】
［４．第４実施形態］
図１４を用いて、第４実施形態に係る音響モデル訓練システム１０Ｃについて説明する。音響モデル訓練システム１０Ｃの全体構成及びサーバに関するブロック図は第１実施形態に係る音響モデル訓練システム１０と同じなので、説明を省略する。以下の説明において、第１実施形態と同じ構成については説明を省略し、主に第１実施形態と相違する点について説明する。以下の説明において、第１実施形態と同様の構成について説明をする場合、図１～図４を参照し、これらの図に示された符号の後にアルファベット“Ｃ”を付して説明する。
図１４を用いて、第４実施形態に係る音響モデル訓練システム１０Ｃについて説明する。音響モデル訓練システム１０Ｃの全体構成及びサーバに関するブロック図は第１実施形態に係る音響モデル訓練システム１０と同じなので、説明を省略する。以下の説明において、第１実施形態と同じ構成については説明を省略し、主に第１実施形態と相違する点について説明する。以下の説明において、第１実施形態と同様の構成について説明をする場合、図１～図４を参照し、これらの図に示された符号の後にアルファベット“Ｃ”を付して説明する。
【0113】
［４－１．特性分布の表示方法］
図１４は、システム１０Ｃが表示する音波形の特性分布の一例である。図１４に示す特性分布は、図６に示す特性分布と類似しているが、特性分布を表示する２つの特性のうち、一方の特性が所定の範囲にある場合における他方の特性に係る分布を表示する点において、両者は相違する。
図１４は、システム１０Ｃが表示する音波形の特性分布の一例である。図１４に示す特性分布は、図６に示す特性分布と類似しているが、特性分布を表示する２つの特性のうち、一方の特性が所定の範囲にある場合における他方の特性に係る分布を表示する点において、両者は相違する。
【0114】
図１４では、ユーザが、第３区分に相当する音波形のデータ量が１００［ｓｅｃ］より大の条件を指定し、データ量の表示を音高についてその条件を満たす範囲（Ｍ１［Ｈｚ］～Ｍ２［Ｈｚ］）に限定した場合の、第２軸表示部１４３Ｃにおける音量の特性分布の表示例が示されている。つまり、第１軸表示部１４２Ｃにおいて斜線で示された範囲（Ｍ１［Ｈｚ］～Ｍ２［Ｈｚ］）の音波形の音量の分布が、第２軸表示部１４３Ｃに表示される。このように、図１４で、システムは、音高（第１特性）が所定範囲内の音信号の音量（第２特性）の特性分布を表示する。
【0115】
図１４の例では、音波形のデータ量に基づいて、第１特性の範囲を決定したが、これに限定されない。第１特性の範囲、つまり下限Ｍ１と上限Ｍ２を、それぞれユーザが任意の値に設定してよい。また、下限Ｍ１と上限Ｍ２の何れか一方だけを指定してもよい。或いは、第２特性の範囲を指定し、その範囲における音波形の第１特性の分布が表示されてもよい。
【0116】
以上のように、本実施形態に係る音響モデル訓練システム１０Ｃによると、ユーザは、第１特性に関して注目した音信号（訓練データ）の第２特性の特性分布を確認できる。例えば、音高が上限Ｍ２より低い範囲において、どの強度の音波形による訓練が不足しているか確認できる。或いは、強度が下限Ｍ１より強い範囲において、どの音高の音波形による訓練が十分か確認できる。
【0117】
［５．第５実施形態］
図１５を用いて、第５実施形態に係る音響モデル訓練システム１０Ｄについて説明する。音響モデル訓練システム１０Ｄの全体構成及びサーバに関するブロック図は第１実施形態に係る音響モデル訓練システム１０と同じなので、説明を省略する。以下の説明において、第１実施形態と同じ構成については説明を省略し、主に第１実施形態と相違する点について説明する。以下の説明において、第１実施形態と同様の構成について説明をする場合、図１～図４を参照し、これらの図に示された符号の後にアルファベット“Ｄ”を付して説明する。
図１５を用いて、第５実施形態に係る音響モデル訓練システム１０Ｄについて説明する。音響モデル訓練システム１０Ｄの全体構成及びサーバに関するブロック図は第１実施形態に係る音響モデル訓練システム１０と同じなので、説明を省略する。以下の説明において、第１実施形態と同じ構成については説明を省略し、主に第１実施形態と相違する点について説明する。以下の説明において、第１実施形態と同様の構成について説明をする場合、図１～図４を参照し、これらの図に示された符号の後にアルファベット“Ｄ”を付して説明する。
【0118】
［５－１．リアルタイム得意度表示］
図１５は、楽曲再生処理を例示するフローチャートである。図１５に示すフローチャートに示す処理では、音響モデル訓練システム１０Ｄは、サーバ１００Ｄないし通信端末２００Ｄに未保存の楽曲を、外部の配信サイトから、楽曲のストリームとして、その楽曲の楽譜データの一部分を順次受信しつつ音声合成を行う。本実施形態の場合、システムは、当該楽曲の一連の各音に対する得意度を予め算出できない。したがって、本実施形態では、システム（サーバ１００Ｄ）は、各時点に受信したストリームに基づいて、そのストリームに含まれる各音に対する得意度をリアルタイムに計算し、表示する。
図１５は、楽曲再生処理を例示するフローチャートである。図１５に示すフローチャートに示す処理では、音響モデル訓練システム１０Ｄは、サーバ１００Ｄないし通信端末２００Ｄに未保存の楽曲を、外部の配信サイトから、楽曲のストリームとして、その楽曲の楽譜データの一部分を順次受信しつつ音声合成を行う。本実施形態の場合、システムは、当該楽曲の一連の各音に対する得意度を予め算出できない。したがって、本実施形態では、システム（サーバ１００Ｄ）は、各時点に受信したストリームに基づいて、そのストリームに含まれる各音に対する得意度をリアルタイムに計算し、表示する。
【0119】
システム１０Ｄは、通信端末２００Ｄ（又はユーザ）からの選択操作に応じて、複数の楽曲の中から所望の楽曲を選択する（Ｓ１５０１）。システム（サーバ１００Ｄ）は、選択された楽曲の楽譜を分析してその楽曲の特性分布を取得し、当該特性分布を、複数の音響モデル１２０Ｄの特性分布と対比して、その楽曲の特性分布をカバーできる特性分布を有する１以上の音響モデル１２０Ｄを、当該楽曲に適した候補モデルとして特定する（Ｓ１５０２）。つまり、システムは、楽曲に応じて、当該楽曲に適した音響モデル１２０Ｄを推薦する。そして、システム（サーバ１００Ｄ）は、当該楽曲に対する、各候補モデルの得意度を取得する（Ｓ１５０３）。得意度の評価方法は、第２実施形態（図１１に係る説明）と同様の手法で行われるため、詳細な説明を省略する。
【0120】
続いて、システムは、上記楽曲の特性分布及び各候補モデルの特性分布と、当該楽曲に対する各候補モデルの得意度とをシステム（通信端末２００Ｄ）の表示器に表示する（Ｓ１５０４）。当該表示は、例えば、当該楽曲の特性分布及びユーザの指定した何れかの候補モデルの特性分布が図６に示すようなグラフ表示され、その候補モデルの当該楽曲に対する得意度が、テキスト形式で、グラフ表示と重ねて又は並べて表示される。当該グラフ表示とテキスト形式の表示とが並列に表示されてもよい。
【0121】
候補モデルとして複数の音響モデル１２０Ｄが特定された場合、ユーザは、Ｓ１５０４で表示された特性分布及び得意度を参照して、何れか１の音響モデル１２０Ｄを選択し、システム（サーバ１００Ｄ）は、その選択操作に応じて、その音響モデル１２０Ｄを選択する（Ｓ１５０５）。
【0122】
続いて、システムは、ユーザに対して、Ｓ１５０１で選択した楽曲又はＳ１５０５で選択した音響モデル１２０Ｄの変更要否（Ｓ１５０６）、及び当該楽曲の再生要否（Ｓ１５０７）を問い合わせる。
【0123】
ユーザがＳ１５０６で（音響モデルの選択ボタンを操作して）音響モデル１２０Ｄの変更を指示した場合、システムは、再度、上記の特性分布及び得意度をシステム（通信端末２００Ｄ）の表示器に表示し（Ｓ１５０４）、ユーザによる新たな選択操作に応じて、何れか１の音響モデル１２０Ｄを選択する（Ｓ１５０５）。他方、ユーザがＳ１５０６で（楽曲の選択ボタンを操作して）楽曲の変更を指示した場合、システム（サーバ１００Ｄ）は、ユーザによる新たな選択操作に応じて、何れか１の楽曲を選択する（Ｓ１５０１）。
【0124】
ユーザがＳ１５０６で（いずれの選択ボタンも操作せず）変更を指示しない場合（Ｓ１５０６の「ＮＯ」）、システムは、楽曲の再生要否（Ｓ１５０７）を判断する。ユーザが（再生ボタンを操作して）楽曲の再生を指示した場合（Ｓ１５０７の「ＹＥＳ」）、処理フローは楽曲再生のステップに進む。他方、ユーザがＳ１５０７で（再生ボタンを操作せず）再生を指示しない場合（Ｓ１５０７の「ＮＯ」）、システムは、Ｓ１６０６のステップに戻り、再び、上述の変更要否を判断する。つまり、ユーザが変更も再生も指示しない場合、システムは、Ｓ１５０６及びＳ１５０７のステップを繰り返すスタンバイ状態である。このように、処理フローがループすることによって、ユーザが楽曲の再生に先立って楽曲や使用する音響モデルを選択し直すことができる。なお、ユーザがＳ１５０７で取消を指示すると、システムは、図１５に示す一連の処理フローを終了する。
【0125】
Ｓ１５０７でユーザが再生を指示すると、システム（サーバ１００Ｄ）は、楽曲のストリームを取得する（Ｓ１５０８）。具体的には、ユーザが再生を指示すると、システムは、当該再生指示の操作に応じて、配信サイトに当該楽曲を要求する。当該要求に応じて、当該配信サイトからシステム（サーバ１００Ｄ）に、当該楽曲のストリーム配信が開始される。楽譜データの部分ごとのストリーム配信は、楽曲の先頭から末尾まで継続的に行われる。つまり、Ｓ１５０８において、システム（サーバ１００Ｄ）は、楽曲（第２楽曲）の楽譜の一部分を順次受け取る。なお、配信サイトが楽曲を通信端末２００Ｄにストリーム配信し、通信端末２００Ｄがその受信した楽譜の一部分をサーバ１００Ｄに順次転送してもよい。
【0126】
システム（サーバ１００Ｄ）は、楽曲のストリーム（一部分）を取得するごとに、選択された音響モデル１２０Ｄを用いた第２音響のリアルタイム生成と、その音響モデル１２０の得意度の表示とを並行で行う（Ｓ１５０９、Ｓ１５１０）。システム（サーバ１００Ｄ）は、リアルタイム生成に並行して、受け取った楽譜の一部分とその音響モデル１２０Ｄの特性分布とに基づいて、その楽譜の一部分に対する、その音響モデル１２０Ｄの得意度をリアルタイムで取得（評価）する（Ｓ１５０９）。続いて、サーバ１００Ｄは、その音響モデル１２０Ｄを用いて、その楽譜の一部分を処理して、その一部分に対応する第２音響特徴量をリアルタイムで生成し、その第２音響特徴量に基づいて音波形（第２音響）をリアルタイムで合成して再生するとともに、その取得された得意度をリアルタイムで表示する（Ｓ１５１０）。
【0127】
なお、本発明は上記の実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
【符号の説明】
【0128】
１０：音響モデル訓練システム、 １００：サーバ、 １０１：制御部、 １０２：ＲＡＭ、 １０３：ＲＯＭ、 １０４：ユーザインタフェース（ＵＩ）、 １０５：通信インターフェース、 １１０：ストレージ、 １１１：音声合成プログラム、 １１２：訓練ジョブ、 １１３：楽譜データ、 １１４：音波形、 １２０：音響モデル、 １２３：楽譜特徴量、 １２４、１２９：音響特徴量、 １３０：合成音波形、 １４０：画面、 １４１：２次元表示部、 １４２：第１軸表示部、 １４３：第２軸表示部、 １４４：データ量バー、 １６０Ｂ：ＧＵＩ、 １６１Ｂ：表題、 １６２Ｂ～１６５Ｂ：ラジオボタン、 １６６Ｂ：選択ボタン、 １７０Ｂ：ピアノロール、 １７１Ｂ～１７４Ｂ：音符バー、 １７５Ｂ：カーソル、 １７６Ｂ：得意度メータ、 １７８Ｂ：再生ボタン、 １７９Ｂ：取消ボタン、 ２００、３００：通信端末、 ４００：ネットワーク
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】