ホーム > 特許ランキング > ソニーグループ株式会社
知財求人 - 知財ポータルサイト「IP Force」
特開2024-57679情報処理装置及び情報処理方法、コンピュータプログラム、音生成システム、並びに情報端末
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024057679
(43)【公開日】2024-04-25
(54)【発明の名称】情報処理装置及び情報処理方法、コンピュータプログラム、音生成システム、並びに情報端末
(51)【国際特許分類】
G10H 1/00 20060101AFI20240418BHJP
G10L 25/18 20130101ALI20240418BHJP
【ＦＩ】
G10H1/00 102Z
G10L25/18
【審査請求】未請求
【請求項の数】16
【出願形態】ＯＬ
(21)【出願番号】P 2022164477
(22)【出願日】2022-10-13
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】100093241
【弁理士】
【氏名又は名称】宮田 正昭
(74)【代理人】
【識別番号】100101801
【弁理士】
【氏名又は名称】山田 英治
(74)【代理人】
【識別番号】100095496
【弁理士】
【氏名又は名称】佐々木 榮二
(74)【代理人】
【識別番号】100086531
【弁理士】
【氏名又は名称】澤田 俊夫
(74)【代理人】
【識別番号】110000763
【氏名又は名称】弁理士法人大同特許事務所
(72)【発明者】
【氏名】成田 岳
(72)【発明者】
【氏名】清水 惇一
(72)【発明者】
【氏名】赤間 健人
(72)【発明者】
【氏名】小口 真太郎
(72)【発明者】
【氏名】山本 昂平
(72)【発明者】
【氏名】岸 治彦
【テーマコード（参考）】
5D478
【Ｆターム（参考）】
5D478AA34
(57)【要約】
【課題】楽器音の生成に関する情報処理を行う情報処理装置を提供する。
【解決手段】情報処理装置は、入力音及び音程情報を入力する入力部と、入力音から音色特徴量を抽出する抽出部と、音色特徴量と音程情報に基づいて、入力音の特徴を反映した音程付き楽器音の情報を生成する生成部を具備する。前記生成部は、本開示モデルによって学習された生成器を用いて、入力音を前処理後の情報と音程情報をインスタンス条件として音程付き楽器音の情報を生成する。前記抽出部は、音程に関する敵対的学習を行った音色特徴抽出器を用いて、音程情報が残らないように、入力音の音色特徴量を抽出する。
【選択図】 図３
【解決手段】情報処理装置は、入力音及び音程情報を入力する入力部と、入力音から音色特徴量を抽出する抽出部と、音色特徴量と音程情報に基づいて、入力音の特徴を反映した音程付き楽器音の情報を生成する生成部を具備する。前記生成部は、本開示モデルによって学習された生成器を用いて、入力音を前処理後の情報と音程情報をインスタンス条件として音程付き楽器音の情報を生成する。前記抽出部は、音程に関する敵対的学習を行った音色特徴抽出器を用いて、音程情報が残らないように、入力音の音色特徴量を抽出する。
【選択図】 図３
【特許請求の範囲】
【請求項1】
入力音及び音程情報を入力する入力部と、
入力音から音色特徴量を抽出する抽出部と、
音色特徴量と音程情報に基づいて、入力音の特徴を反映した音程付き楽器音の情報を生成する生成部と、
を具備する情報処理装置。
入力音から音色特徴量を抽出する抽出部と、
音色特徴量と音程情報に基づいて、入力音の特徴を反映した音程付き楽器音の情報を生成する生成部と、
を具備する情報処理装置。
【請求項2】
前記生成部は、学習済みモデルを用いて、入力音を前処理後の情報と音程情報をインスタンス条件として音程付き楽器音の情報を生成する、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項3】
前記抽出部は、音程情報が残らないように音色特徴量を抽出する、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項4】
前記抽出部は、音程に関する敵対的学習を行った音色特徴抽出器を用いて、入力音の音色特徴量を抽出する、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項5】
入力音をメルスペクトログラムに変換する変換部をさらに備え、
前記抽出部は、入力音のメルスペクトログラムから入力音の音色特徴量を抽出する、
請求項１乃至４のいずれか１つの記載の情報処理装置。
前記抽出部は、入力音のメルスペクトログラムから入力音の音色特徴量を抽出する、
請求項１乃至４のいずれか１つの記載の情報処理装置。
【請求項6】
前記生成部は、音色特徴量と音程情報をインスタンス条件として、音程付き楽器音のメルスペクトログラムを生成し、
前記生成部が生成したメルスペクトログラムからオーディオ波形を構築する逆変換部をさらに備える、
請求項５に記載の情報処理装置。
前記生成部が生成したメルスペクトログラムからオーディオ波形を構築する逆変換部をさらに備える、
請求項５に記載の情報処理装置。
【請求項7】
前記逆変換部は、メルスペクトログラムを線形スペクトログラムに周波数スケールに変換するスケール変換部と、線形スペクトログラムの位相を復元する位相復元部と、位相を復元した後の線形スペクトログラムをフーリエ逆変換するフーリエ逆変換部を含む、
請求項６に記載の情報処理装置。
請求項６に記載の情報処理装置。
【請求項8】
前記スケール変換部は、非負値制約なしの最小二乗法の解に非負値への修正を施したものを反復計算の初期値に設定して、勾配法による更新と非負値への修正を繰り返す反復法によって周波数スケール変換を行う、
請求項７に記載の情報処理装置。
請求項７に記載の情報処理装置。
【請求項9】
前記入力部は、複数の入力音を入力可能であり、
前記抽出部は、入力された各入力音から音色特徴量を抽出し、
前記生成部は、各入力音の音色特徴量を混合した音色特徴量と音程情報に基づいて楽器音情報を生成する、
請求項１に記載の情報処理装置。
前記抽出部は、入力された各入力音から音色特徴量を抽出し、
前記生成部は、各入力音の音色特徴量を混合した音色特徴量と音程情報に基づいて楽器音情報を生成する、
請求項１に記載の情報処理装置。
【請求項10】
前記入力部は、複数の入力音の混合比率に関する情報をさらに入力し、
前記生成部は、入力された混合比率に基づいて各入力音の音色特徴量を混合した音色特徴量と音程情報に基づいて楽器音情報を生成する、
請求項９に記載の情報処理装置。
前記生成部は、入力された混合比率に基づいて各入力音の音色特徴量を混合した音色特徴量と音程情報に基づいて楽器音情報を生成する、
請求項９に記載の情報処理装置。
【請求項11】
前記入力部は、ユーザ操作に基づいて指定された入力音及び音程情報を入力する、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項12】
前記生成部が生成した音程付き楽器音の情報を出力する出力部をさらに備える、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項13】
入力音及び音程情報を入力する入力ステップと、
入力音から音色特徴量を抽出する抽出ステップと、
音色特徴量と音程情報に基づいて、入力音の特徴を反映した音程付き楽器音の情報を生成する生成ステップと、
を有する情報処理方法。
入力音から音色特徴量を抽出する抽出ステップと、
音色特徴量と音程情報に基づいて、入力音の特徴を反映した音程付き楽器音の情報を生成する生成ステップと、
を有する情報処理方法。
【請求項14】
入力音及び音程情報を入力する入力部、
入力音から音色特徴量を抽出する抽出部、
音色特徴量と音程情報に基づいて、入力音の特徴を反映した音程付き楽器音の情報を生成する生成部、
としてコンピュータを機能させるようにコンピュータ可読形式で記述されたコンピュータプログラム。
入力音から音色特徴量を抽出する抽出部、
音色特徴量と音程情報に基づいて、入力音の特徴を反映した音程付き楽器音の情報を生成する生成部、
としてコンピュータを機能させるようにコンピュータ可読形式で記述されたコンピュータプログラム。
【請求項15】
楽器音の生成をリクエストする情報端末と、楽器音を生成する情報処理装置を具備し、
前記情報端末は、ユーザ操作によって指定された入力音及び音程情報を含めて楽器音の生成を前記情報処理装置にリクエストし、
前記情報処理装置は、前記情報端末から受け取った入力音から抽出した音色特徴量と音程情報に基づいて、入力音の特徴を反映した音程付き楽器音の情報を生成する、
音生成システム。
前記情報端末は、ユーザ操作によって指定された入力音及び音程情報を含めて楽器音の生成を前記情報処理装置にリクエストし、
前記情報処理装置は、前記情報端末から受け取った入力音から抽出した音色特徴量と音程情報に基づいて、入力音の特徴を反映した音程付き楽器音の情報を生成する、
音生成システム。
【請求項16】
情報処理装置と通信する通信部と、
入力音及び音程情報を含む、楽器音の生成に関する指定を行うユーザ操作部と、
を具備し、
前記ユーザ操作部を介して指定された内容に基づいて、入力音及び音程情報を含めて楽器音の生成リクエストを前記情報処理装置に送信するとともに、前記情報処理装置から音程付き楽器音の情報を受信する、
情報端末。
入力音及び音程情報を含む、楽器音の生成に関する指定を行うユーザ操作部と、
を具備し、
前記ユーザ操作部を介して指定された内容に基づいて、入力音及び音程情報を含めて楽器音の生成リクエストを前記情報処理装置に送信するとともに、前記情報処理装置から音程付き楽器音の情報を受信する、
情報端末。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書で開示する技術（以下、「本開示」とする）は、音楽制作に関する情報処理を行う情報処理装置及び情報処理方法、コンピュータプログラム、音生成システム、並びに情報端末に関する。
【背景技術】
【0002】
ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）技術の発達が目覚ましく、学習モデルを用いた画像や音声などの認識技術が普及している。最近では、敵対的生成ネットワーク（ＧＡＮ）を用いて精巧な画像を生成する画像生成技術も開発されている。さらに、ＡＩ技術を音楽の制作に活用する方法も模索されている。例えば、楽器音の特性を反映したＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いて音源強調をする楽音強調装置や（特許文献１を参照のこと）、ＧＡＮｓやＶＡＥ（Ｖａｒｉａｔｉｏｎａｌ ＡｕｔｏＥｎｃｏｄｅｒ）を用いて生成された学習済みモデルを使って多様な楽曲を自動生成する情報処理方法（特許文献２を参照のこと）などが提案されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１９－７８８６４号公報
【特許文献2】特開２０２０－３５３５号公報
【非特許文献】
【0004】
【非特許文献1】Ａｒａｎｔｘａ Ｃａｓａｎｏｖａ，Ｍａｒｌ'ｅｎｅ Ｃａｒｅｉｌ，Ｊａｋｏｂ Ｖｅｒｂｅｅｋ，Ｍｉｃｈａｌ Ｄｒｏｚｄｚａｌ， ａｎｄ Ａｄｒｉａｎａ Ｒｏｍｅｒｏ－Ｓｏｒｉａｎｏ，"Ｉｎｓｔａｎｃｅ－ｃｏｎｄｉｔｉｏｎｅｄ ＧＡＮ，" ｉｎ Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ （ＮｅｕｒＩＰＳ），２０２１．
【非特許文献2】Ｊｅｓｓｅ Ｅｎｇｅｌ， Ｃｉｎｊｏｎ Ｒｅｓｎｉｃｋ， Ａｄａｍ Ｒｏｂｅｒｔｓ，Ｓａｎｄｅｒ Ｄｉｅｌｅｍａｎ，Ｍｏｈａｍｍａｄ Ｎｏｒｏｕｚｉ，Ｄｏｕｇｌａｓ Ｅｃｋ，ａｎｄ Ｋａｒｅｎ Ｓｉｍｏｎｙａｎ，"Ｎｅｕｒａｌ ａｕｄｉｏ ｓｙｎｔｈｅｓｉｓ ｏｆ ｍｕｓｉｃａｌ ｎｏｔｅｓ ｗｉｔｈ ｗａｖｅｎｅｔ ａｕｔｏｅｎｃｏｄｅｒｓ，" ｉｎ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ．ＰＭＬＲ，２０１７，ｐｐ．１０６８-１０７７．
【非特許文献3】Ａａｒｏｎ ｖａｎ ｄｅｎ Ｏｏｒｄ， Ｓａｎｄｅｒ Ｄｉｅｌｅｍａｎ，Ｈｅｉｇａ Ｚｅｎ，Ｋａｒｅｎ Ｓｉｍｏｎｙａｎ，Ｏｒｉｏｌ Ｖｉｎｙａｌｓ，Ａｌｅｘ Ｇｒａｖｅｓ，Ｎａｌ Ｋａｌｃｈｂｒｅｎｎｅｒ，Ａｎｄｒｅｗ Ｓｅｎｉｏｒ， ａｎｄ Ｋｏｒａｙ Ｋａｖｕｋｃｕｏｇｌｕ， "Ｗａｖｅｎｅｔ：Ａ ｇｅｎｅｒａｔｉｖｅ ｍｏｄｅｌ ｆｏｒ ｒａｗ ａｕｄｉｏ，" ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１６０９．０３４９９，２０１６．
【非特許文献4】Jｅｓｓｅ Ｅｎｇｅｌ， Ｋｕｍａｒ Ｋｒｉｓｈｎａ Ａｇｒａｗａｌ， Ｓｈｕｏ Ｃｈｅｎ， Ｉｓｈａａｎ Ｇｕｌｒａｊａｎｉ， Ｃｈｒｉｓ Ｄｏｎａｈｕｅ， ａｎｄ Ａｄａｍ Ｒｏｂｅｒｔｓ， "Ｇａｎｓｙｎｔｈ： Ａｄｖｅｒｓａｒｉａｌ ｎｅｕｒａｌ ａｕｄｉｏ ｓｙｎｔｈｅｓｉｓ，" ｉｎ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｌｅａｒｎｉｎｇ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ， ２０１８．
【非特許文献5】Ｓｅａｎ Ｖａｓｑｕｅｚ ａｎｄ Ｍｉｋｅ Ｌｅｗｉｓ，"Ｍｅｌｎｅｔ： Ａ ｇｅｎｅｒａｔｉｖｅ ｍｏｄｅｌ ｆｏｒ ａｕｄｉｏ ｉｎ ｔｈｅ ｆｒｅｑｕｅｎｃｙ ｄｏｍａｉｎ，" ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１９０６．０１０８３，２０１９．
【発明の概要】
【発明が解決しようとする課題】
【0005】
計算機を用いて音楽を制作するアプローチとして主に、メロディーや伴奏を含む音楽の音を直接合成する方法と、単音の楽器音を合成してＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）を演奏する方法の２つが挙げられる。前者は、ｅｎｄ－ｔｏ－ｅｎｄでの音楽生成が可能であるが、生成の制御性が低いという問題がある。これに対し、後者は、ＭＩＤＩの生成と音色のデザインをそれぞれ独立に制御可能であり、生成される音の品質が高いという利点がある。
【0006】
そこで、本開示の目的は、例えばＭＩＤＩ演奏に使用可能な楽器音の生成に関する情報処理を行う情報処理装置及び情報処理方法、コンピュータプログラム、音生成システム、並びに情報端末を提供することとする。
【課題を解決するための手段】
【0007】
本開示は、上記課題を参酌してなされたものであり、その第１の側面は、
入力音及び音程情報を入力する入力部と、
入力音から音色特徴量を抽出する抽出部と、
音色特徴量と音程情報に基づいて、入力音の特徴を反映した音程付き楽器音の情報を生成する生成部と、
を具備する情報処理装置である。
入力音及び音程情報を入力する入力部と、
入力音から音色特徴量を抽出する抽出部と、
音色特徴量と音程情報に基づいて、入力音の特徴を反映した音程付き楽器音の情報を生成する生成部と、
を具備する情報処理装置である。
【0008】
前記生成部は、本開示モデルによって学習された生成器を用いて、入力音を前処理後の情報と音程情報をインスタンス条件として音程付き楽器音の情報を生成するように構成されている。
【0009】
また、前記抽出部は、音程に関する敵対的学習を行った音色特徴抽出器を用いて、音程情報が残らないように入力音の音色特徴量を抽出するように構成されている。
【0010】
第１の側面に係る情報処理装置は、入力音をメルスペクトログラムに変換する変換部をさらに備えている。そして、前記抽出部は、入力音のメルスペクトログラムから入力音の音色特徴量を抽出するように構成されている。この場合、前記生成部は、音色特徴量と音程情報をインスタンス条件として、音程付き楽器音のメルスペクトログラムを生成するように構成されている。そして、第１の側面に係る情報処理装置は、前記生成部が生成したメルスペクトログラムからオーディオ波形を構築する逆変換部をさらに備えている。
【0011】
また、本開示の第２の側面は、
入力音及び音程情報を入力する入力ステップと、
入力音から音色特徴量を抽出する抽出ステップと、
音色特徴量と音程情報に基づいて、入力音の特徴を反映した音程付き楽器音の情報を生成する生成ステップと、
を有する情報処理方法である。
入力音及び音程情報を入力する入力ステップと、
入力音から音色特徴量を抽出する抽出ステップと、
音色特徴量と音程情報に基づいて、入力音の特徴を反映した音程付き楽器音の情報を生成する生成ステップと、
を有する情報処理方法である。
【0012】
また、本開示の第３の側面は、
入力音及び音程情報を入力する入力部、
入力音から音色特徴量を抽出する抽出部、
音色特徴量と音程情報に基づいて、入力音の特徴を反映した音程付き楽器音の情報を生成する生成部、
としてコンピュータを機能させるようにコンピュータ可読形式で記述されたコンピュータプログラムである。
入力音及び音程情報を入力する入力部、
入力音から音色特徴量を抽出する抽出部、
音色特徴量と音程情報に基づいて、入力音の特徴を反映した音程付き楽器音の情報を生成する生成部、
としてコンピュータを機能させるようにコンピュータ可読形式で記述されたコンピュータプログラムである。
【0013】
本開示の第３の側面に係るコンピュータプログラムは、コンピュータ上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータプログラムを定義したものである。コンピュータプログラムは、さまざまなプログラムコードを実行可能なコンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能である。そして、本開示の第３の側面に係るコンピュータプログラムをいずれかの媒体経由でコンピュータにインストールすることによって、コンピュータ上では協働的作用が発揮され、本開示の第１の側面に係る情報処理装置と同様の作用効果を得ることができる。
【0014】
また、本開示の第４の側面は、楽器音の生成をリクエストする情報端末と、楽器音を生成する情報処理装置を具備し、
前記情報端末は、ユーザ操作によって指定された入力音及び音程情報を含めて楽器音の生成を前記情報処理装置にリクエストし、
前記情報処理装置は、前記情報端末から受け取った入力音から抽出した音色特徴量と音程情報に基づいて、入力音の特徴を反映した音程付き楽器音の情報を生成する、
音生成システムである。
前記情報端末は、ユーザ操作によって指定された入力音及び音程情報を含めて楽器音の生成を前記情報処理装置にリクエストし、
前記情報処理装置は、前記情報端末から受け取った入力音から抽出した音色特徴量と音程情報に基づいて、入力音の特徴を反映した音程付き楽器音の情報を生成する、
音生成システムである。
【0015】
但し、ここで言う「システム」とは、複数の装置（又は特定の機能を実現する機能モジュール）が論理的に集合した物のことを言い、各装置や機能モジュールが単一の筐体内にあるか否かは特に問わない。すなわち、複数の部品又は機能モジュールからなる１つの装置も、複数の装置の集合体も、「システム」に相当する。
【0016】
また、本発明の第５の側面は、
情報処理装置と通信する通信部と、
入力音及び音程情報を含む、楽器音の生成に関する指定を行うユーザ操作部と、
を具備し、
前記ユーザ操作部を介して指定された内容に基づいて、入力音及び音程情報を含めて楽器音の生成リクエストを前記情報処理装置に送信するとともに、前記情報処理装置から音程付き楽器音の情報を受信する、
情報端末である。
情報処理装置と通信する通信部と、
入力音及び音程情報を含む、楽器音の生成に関する指定を行うユーザ操作部と、
を具備し、
前記ユーザ操作部を介して指定された内容に基づいて、入力音及び音程情報を含めて楽器音の生成リクエストを前記情報処理装置に送信するとともに、前記情報処理装置から音程付き楽器音の情報を受信する、
情報端末である。
【発明の効果】
【0017】
本開示によれば、任意の入力音の特徴を反映した音程付き楽器音を生成する情報処理を行う情報処理装置及び情報処理方法、コンピュータプログラム、音生成システム、並びに情報端末を提供することができる。
【0018】
なお、本明細書に記載された効果は、あくまでも例示であり、本開示によりもたらされる効果はこれに限定されるものではない。また、本開示が、上記の効果以外に、さらに付加的な効果を奏する場合もある。
【0019】
本開示のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【図面の簡単な説明】
【0020】
【発明を実施するための形態】
【0021】
以下、図面を参照しながら本開示について、以下の順に従って説明する。
【0022】
Ａ．概要
Ｂ．音生成システム
Ｂ－１．システム構成
Ｂ－２．システム動作
Ｂ－３．システムの特徴
Ｂ－４．システムの運用について
Ｃ．音色特徴量の抽出について
Ｄ．入力音の特徴を反映した音程付き楽器音の生成について
Ｅ．オーディオ波形の再構成について
Ｆ．クライアントサーバモデルによる運用形態
Ｇ．ＧＵＩの構成及び操作例
Ｇ－１．第１の例
Ｇ－２．第２の例
Ｈ．情報処理装置の構成
Ｉ．関連研究との比較
Ｂ．音生成システム
Ｂ－１．システム構成
Ｂ－２．システム動作
Ｂ－３．システムの特徴
Ｂ－４．システムの運用について
Ｃ．音色特徴量の抽出について
Ｄ．入力音の特徴を反映した音程付き楽器音の生成について
Ｅ．オーディオ波形の再構成について
Ｆ．クライアントサーバモデルによる運用形態
Ｇ．ＧＵＩの構成及び操作例
Ｇ－１．第１の例
Ｇ－２．第２の例
Ｈ．情報処理装置の構成
Ｉ．関連研究との比較
【0023】
Ａ．概要
本開示は、単音の楽器音を生成する技術である。本開示に基づいて生成した楽器音を利用してＭＩＤＩを演奏するという手法によって、計算機上での音楽制作が実現する。本開示を利用した音楽制作方法によれば、ＭＩＤＩの生成と音色のデザインをそれぞれ独立に制御可能であり、生成される音の品質が向上するという利点がある。
本開示は、単音の楽器音を生成する技術である。本開示に基づいて生成した楽器音を利用してＭＩＤＩを演奏するという手法によって、計算機上での音楽制作が実現する。本開示を利用した音楽制作方法によれば、ＭＩＤＩの生成と音色のデザインをそれぞれ独立に制御可能であり、生成される音の品質が向上するという利点がある。
【0024】
本開示は、単音の楽器音を生成する技術であるが、例えば人間の生活空間で発生する任意の入力音から得られるインスピレーションに基づいて楽器音を生成することができる。また、本開示によって生成される楽器音は、実在する楽器を用いて生成される楽器音には限定されない。すなわち、本開示によって生成される楽器音は、楽器を特定できないが、楽器によって生成された音として識別される音、言い換えれば楽器以外から生成された音とは識別されない音である。
【0025】
図１には、本開示の概要を模式的に示している。本開示において、インスピレーションを与える任意の入力音は、例えば人間の生活環境で発生するさまざまな音であるが、自然音や環境音だけでなく、あらかじめ人工的に生成された人工音も含む。例えば、会話の音声やカラオケの歌声、犬や鳥などの動物の鳴き声、鹿威しや雨音、風鈴の音、風音（もがりぶえ）などの環境音、チェーンソーや重機などで対象物を切断や粉砕する騒音でもよい。これらの任意の入力音は、コンピュータ処理を行う都合上、ｗａｖ形式ファイルなどのオーディオファイルとして入力される。
【0026】
そして、本開示では、入力音から得られるインスピレーションに基づいて、楽器音を生成する。具体的には、本開示によれば、１秒又は数秒程度の比較的短い時間の、指定された音程からなる単音の楽器音を、例えばＭＩＤＩデータとして出力する。本開示によって生成される楽器音は、鍵盤楽器、打楽器、弦楽器、管楽器、電気・電子楽器といった既存の楽器で奏でられる単音でもよいが、これらに限定されず、全く新しくユニークな楽器音を作ることができる。本開示によって作られるユニークな楽器音は、楽器を特定できないが、楽器によって生成された音として識別される音、言い換えれば楽器以外から生成された音とは識別されない音である。
【0027】
本開示では、深層学習された生成モデルを用いて、入力音及び音程を条件として、楽器音を生成する。したがって、本開示によれば、ユーザが楽器を自由にカスタマイズできる、楽曲に音で意味付けすることができる、といった効果がある。ここで言う深層学習された生成モデルは、本開示に固有の学習済みモデルであり、具体的には、インスタンス条件付きＧＡＮ（ＩＣ－ＧＡＮ）のアイデアを利用して楽器音を生成するＧＡＮの枠組み（以下、「本開示モデル」とも呼ぶ）によって生成された生成器である。
【0028】
従来、楽器音の合成方法として、人工的に生成した周期的なオシレーター波形を変調して音色を制御する「シンセサイザー」や、シンセサイザーでは合成が難しいアコースティック楽器のリアルさを表現するために、実際の楽器音を収録して加工する「サンプリング」などの手法がある。サンプリングは任意の音を直接音楽制作に活用できるが、全く新しい音色を生成したり、複数の音の特徴を組み合わせたりすることはできない。
【0029】
これに対し、本開示によれば、深層学習された生成モデルを用いることによって、潜在空間を探索して、多彩で全く新しくユニークな楽器音を生成したり、複数の音の特徴を組み合わせるインテリジェントな音合成処理を行ったりすることが可能である。また、本開示によれば、２又は３以上の任意の入力音を、深層学習された生成モデルの潜在表現で混合することで、全く新しくユニークな楽器音を作ることができる。
【0030】
図２には、一例として、本開示によって２つの入力音を混合して得られるインスピレーションに基づいて楽器音を生成する仕組みを模式的に示している。図２に示す例では、第１の入力音としてトランペットのオーディオ波形と第２の入力音として犬の鳴き声のオーディオ波形を、それぞれｗａｖ形式のファイルとして取り込んでいる。まず、各入力音は音色特徴抽出器にかけられて、それぞれ特徴ベクトルｈt及びｈdが得られる。次いで、ユーザなどによって指定された混合比で各特徴ベクトルが合成される。そして、第１の入力音及び第２の入力音から得られるインスピレーションに基づく、ユニークな楽器音が生成される。具体的には、本開示モデルによって生成された学習済みモデル（生成器）が、合成後の音色の特徴ベクトルと、ユーザが指定した音程を条件として、ユニークな楽器音を生成する。
【0031】
ユーザは、複数の入力音の混合比率を調整することによって、作る楽器音をコントロールすることができる。図２中の上段に示す例では、第１の入力音及び第２の入力音の各特徴ベクトルｈt及びｈdが０．５：０．５の比率で混合されて、合成された特徴ベクトルｈs1が生成される。そして、深層学習された生成モデルを用いて、特徴ベクトルｈs1から犬の音色っぽいトランペットに似たユニークな楽器音Ｓ1が生成される。また、図２中の下段に示す例では、第１の入力音及び第２の入力音の各特徴ベクトルｈt及びｈdが０．８：０．２の比率で混合されて、合成された特徴ベクトルｈs2が生成される。そして、深層学習された生成モデルを用いて、トランペットの音色っぽい犬の鳴き声に似たユニークな楽器音Ｓ2が生成される。
【0032】
本開示に係る、深層学習された生成モデルを用いた楽器音の生成技術は、以下の（１）～（４）のような特徴を持つ。
【0033】
（１）サンプラーのようにユーザの任意の音のインスピレーションを生成モデルへ入力可能で、且つ多様な入力音に効率よく汎化する。
（２）深層学習された生成モデルを用いることで、潜在空間を介して複数の音を混合することが可能である。
（３）幅広いレンジのピッチを正確且つ一貫した音色で生成可能である。
（４）インタラクティブな時間内で楽器音を生成することが可能である。
（２）深層学習された生成モデルを用いることで、潜在空間を介して複数の音を混合することが可能である。
（３）幅広いレンジのピッチを正確且つ一貫した音色で生成可能である。
（４）インタラクティブな時間内で楽器音を生成することが可能である。
【0034】
本開示では、モデルへの入力を可能とし且つ入力に対する汎化特性を向上するという観点から、ＩＣ－ＧＡＮを用いて生成された生成モデルを適用する。ＩＣ－ＧＡＮは、データポイントすなわちインスタンスの特徴量で生成器と識別器を条件付けることによって、データ全体の分布をインスタンス近傍の局所的な分布の重ね合わせとして表現するものである。ＩＣ－ＧＡＮは、モデルへの入力とモード崩壊の回避を実現できる、ＧＡＮの学習の新たな技術である。
【0035】
【0036】
図３を参照すると、楽器音生成システム３００は、波形スペクトログラム変換部３０１と、音色特徴抽出部３０２と、生成部３０３と、スペクトログラム波形逆変換部３０４を備えている。このうち、音色特徴抽出部３０２と生成部３０３は、ＤＮＮを用いて実装される。この楽器音生成システム３００は、短時間のオーディオ波形（ｗａｖファイル）からなる入力音と、音程と、乱数を入力として、入力音の特徴を反映した音程付き楽器音を出力する。出力される楽器音は、１秒間又は数秒程度の長さとする。
【0037】
楽器音生成システム３００は、オーディオ波形からなる入力音を、ｗａｖ形式ファイルとして入力する。スペクトログラム変換部３０１は、短時間フーリエ変換により入力音の線形スペクトログラムを生成し、さらに線形スペクトログラムを対数スケール変換して、メルスペクトログラムを生成する。楽器音生成システム３００に２以上の入力音が入力される場合には、スペクトログラム変換部３０１は、各入力音のオーディオ波形をそれぞれメルスペクトログラムに変換する。
【0038】
ここで、スペクトログラムは、オーディオ波形から音声信号の周波数成分と振幅成分をフーリエ変換により取り出した各音声データセグメント（フレーム）のスペクトルを時間軸に沿って並べた、いわゆる声紋に相当する。本明細書に添付する各図では、スペクトログラムを、各時間成分及び周波数成分における信号成分の強さ（振幅）を濃淡で視覚化した２次元のグラフとして示している。また、メルスペクトログラムは、人間の耳には実際の周波数の音がそのまま聞こえる訳でなく、可聴域の上限に近い音は実際の音よりも低めに聞こえるというずれが生じることに着目して、メルスケールで等間隔な特定の周波数帯のみを抽出するメルフィルタバンクを線形スペクトログラムに適用して算出された対数メルスペクトログラムである。また、メルスケールは、人間の聴覚、すなわち音の聞こえ方に基づいたスケールである。
【0039】
音色特徴抽出部３０２は、入力音のオーディオ波形を視覚化表現したメルスペクトログラムから音色特徴量ｈを抽出する。楽器音生成システム３００に２以上の入力音が入力される場合には、音色特徴抽出部３０２は、入力音毎にメルスペクトログラムから音色特徴量ｈ1、ｈ2、…を抽出する（図３では、図示を省略）。
【0040】
音色特徴抽出部３０２は、例えば畳み込みニューラルネットワーク（ＣＮＮ）で構成された、メルスペクトログラム（画像情報）から音色特徴量を抽出するように事前学習された学習済みモデルを用いて、音色特徴量の抽出を行う。また、音色特徴量は、具体的にはｎ次元（但し、ｎは正の整数とする）の特徴ベクトルである。
【0041】
生成部３０３は、入力音の音色特徴量と、音程と、乱数を入力として、入力音の特徴を反映した音程付き楽器音のメルスペクトログラムを生成する。楽器音生成システム３００に２以上の入力音が入力され、音色特徴抽出部３０２が入力音毎のメルスペクトログラムから複数の音色特徴量（特徴ベクトル）ｈ1、ｈ2、…を抽出した場合には、指定された混合比率で各音色特徴量を混合したものが生成部３０３に入力される。
【0042】
生成部３０３は、深層学習された生成モデルを用いて、音程付き楽器音のメルスペクトログラムを生成する。具体的には、生成部３０３は、本開示モデルによって生成された学習済みモデル（生成器）を用いて、入力音の音色特徴量と音程をインスタンス条件として、入力音の特徴を反映した音程付き楽器音のメルスペクトログラムを生成する。
【0043】
スペクトログラム波形逆変換部３０４は、生成部３０３が生成したメルスペクトログラムをフーリエ逆変換して、例えばｗａｖ形式ファイルからなるオーディオ波形データを再構成する。再構築されたオーディオ波形は、１秒間又は数秒程度の長さとする。メルスペクトログラムからオーディオ波形への変換処理が遅いという問題があるが、この点の詳細について後述に譲る。
【0044】
Ｂ－２．システム動作
図４には、楽器音生成システム３００において、入力音の特徴を反映した音程付き楽器音を生成するための処理手順をフローチャートの形式で示している。
図４には、楽器音生成システム３００において、入力音の特徴を反映した音程付き楽器音を生成するための処理手順をフローチャートの形式で示している。
【0045】
まず、楽器音生成システム３００は、ユーザが指定した、対象となる入力音が入力される（ステップＳ４０１）。当該ステップでは、例えば、入力音の音源となるｗａｖ形式ファイルのファイル名を指定するという形態で取得する。また、ユーザが２以上の入力音を指定した場合には、当該ステップでは、各入力音のｗａｖ形式ファイルを取得する。
【0046】
次いで、スペクトログラム変換部３０１は、入力音のオーディオ波形をメルスペクトログラムに変換する（ステップＳ４０２）。すなわち、スペクトログラム変換部３０１は、フーリエ変換により入力音の線形スペクトログラムを生成し、さらに線形スペクトログラムを対数スケール変換して、メルスペクトログラムを生成する。ステップＳ４０１で２以上の入力音が入力された場合には、ステップＳ４０２では、スペクトログラム変換部３０１は、すべての入力音についてメルスペクトログラムを生成する。
【0047】
次いで、音色特徴抽出部３０２は、入力音のメルスペクトログラムから音色特徴量ｈを抽出する（ステップＳ４０３）。
【0048】
ステップＳ４０１で２以上の入力音が入力された場合には（ステップＳ４０４のＹｅｓ）、ステップＳ４０３では、音色特徴抽出部３０２は、すべての入力音のメルスペクトログラムから音色特徴量ｈ1、ｈ2、…を抽出し、さらに各音色特徴量ｈ1、ｈ2、…を混合して音色特徴量ｈを生成する（ステップＳ４０５）。
【0049】
各入力音について混合比率が指定されている場合には、ステップＳ４０５では、指定された混合比率に従って、各入力音の音色特徴量ｈ1、ｈ2、…を加重平均して混合処理する。また、混合比率が指定されていない場合には、各入力音の音色特徴量ｈ1、ｈ2、…を単純平均して混合処理するようにしてもよい。ここで、ステップＳ４０１でＮ個の入力音が入力され、各入力音のメルスペクトログラムから音色特徴量ｈ1、ｈ2、…、ｈNがそれぞれ生成され、且つ、ｉ番目の入力音の混合比ｒiが指定されたとすると（但し、ｒ1＋ｒ2＋…＋ｒN＝１とする）、ステップＳ４０５では下式（１）に従って混合音色特徴量ｈを生成することができる。
【0050】
【数1】
【0051】
次いで、楽器音生成システム３００には、ユーザが指定した、生成すべき楽器音の音程情報が入力される（ステップＳ４０６）。但し、音程情報は、ステップＳ４０１で入力音と同時に楽器音生成システム３００に入力するようにしてもよい。
【0052】
そして、生成部３０３は、ステップＳ４０３又はＳ４０５で得られた音色特徴量ｈとステップＳ４０６で得られた音程情報から、入力音の特徴を反映した音程付き楽器音のメルスペクトログラムを生成する（ステップＳ４０７）。生成部３０３は、具体的には、本開示モデルによって生成された学習済みモデル（生成器）を用いて、入力音の音色特徴量と音程をインスタンス条件として、楽器音生成システム３００において生成した乱数から、入力音の特徴を反映した音程付き楽器音のメルスペクトログラムを生成する。
【0053】
そして、スペクトログラム波形逆変換部３０４は、生成部３０３が生成したメルスペクトログラムをフーリエ逆変換して、例えばｗａｖ形式ファイルからなるオーディオ波形データを再構成して、ＭＩＤＩデータとして出力して（ステップＳ４０８）、本処理を終了する。出力される楽器音は、１秒間又は数秒程度の長さとする。
【0054】
Ｂ－３．システムの特徴
上記で、音再生システム３００の構成及び動作について概略的に説明してきた。音再生システム３００は、以下のような特徴がある。
（１）楽器音生成システム３００は、学習済みモデルを用いて、入力音の音色を反映した音程付き楽器音を、インタラクティブな時間内で生成することができる。
（２）インスタンス条件付けを用いることによって、生成した楽器音の品質及び楽器音の生成能力を向上させることができる。
（３）音色特徴抽出器に対し音程に関する敵対的学習を行うことによって、音程精度及び音色の一貫性を向上させることができる。
上記で、音再生システム３００の構成及び動作について概略的に説明してきた。音再生システム３００は、以下のような特徴がある。
（１）楽器音生成システム３００は、学習済みモデルを用いて、入力音の音色を反映した音程付き楽器音を、インタラクティブな時間内で生成することができる。
（２）インスタンス条件付けを用いることによって、生成した楽器音の品質及び楽器音の生成能力を向上させることができる。
（３）音色特徴抽出器に対し音程に関する敵対的学習を行うことによって、音程精度及び音色の一貫性を向上させることができる。
【0055】
Ｂ－４．システムの運用について
図３に示した、楽器音生成システム３００は、例えばコンピュータなどで構成される情報処理装置上で実装される。本開示モデルを用いて学習済みモデル（生成器）を生成する処理や、学習済みモデル（生成器）を用いて入力音の特徴を反映した音程付き楽器音を生成する処理は、計算負荷が大きい。このため、楽器音生成システム３００の１つの運用形態として、クライアントサーバモデルも想定される。
図３に示した、楽器音生成システム３００は、例えばコンピュータなどで構成される情報処理装置上で実装される。本開示モデルを用いて学習済みモデル（生成器）を生成する処理や、学習済みモデル（生成器）を用いて入力音の特徴を反映した音程付き楽器音を生成する処理は、計算負荷が大きい。このため、楽器音生成システム３００の１つの運用形態として、クライアントサーバモデルも想定される。
【0056】
この場合、クライアント側では、例えばユーザによるＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）操作を通じて、入力音のｗａｖ形式ファイルの選択（複数の入力音を選択する場合は、各入力音の混合比率も指定される）、及び音程の指定が行われて、サーバに対して入力音の特徴を反映した音程付き楽器音の生成をリクエストする。これに対し、サーバ側では、クライアント側から指定された入力音（その音色特徴量）と音程をインスタンス条件として、入力音の特徴を反映した音程付き楽器音を生成して、リクエスト元のクライアントに返す。この運用形態の詳細については、後述（Ｆ項）に譲る。
【0057】
Ｃ．音色特徴量の抽出について
上記Ｂ項で説明したように、音色特徴抽出部３０２は、入力音のオーディオ波形を視覚化表現したメルスペクトログラムから音色特徴量ｈを抽出する。具体的には、音色特徴抽出部３０２は、ＣＮＮで構成された、メルスペクトログラム（画像情報）から音色特徴量を抽出するように事前学習された学習済みモデルを用いた特徴抽出器である。
上記Ｂ項で説明したように、音色特徴抽出部３０２は、入力音のオーディオ波形を視覚化表現したメルスペクトログラムから音色特徴量ｈを抽出する。具体的には、音色特徴抽出部３０２は、ＣＮＮで構成された、メルスペクトログラム（画像情報）から音色特徴量を抽出するように事前学習された学習済みモデルを用いた特徴抽出器である。
【0058】
後述のＤ項で説明するインスタンス条件付きＧＡＮの学習には、良質な特徴抽出器を用いることが重要である。特徴抽出器を獲得する最も簡単な方法は、ラベル付きの教師データを用いて暮らす識別器を学習し、最終の全結合層の直前の出力を特徴量として利用することである。
【0059】
しかしながら、上記の方法に従って学習された特徴抽出器を音色特徴抽出部３０２に適用すると、楽器音生成システム３００による生成音の音程精度や音色一貫性が低下するという問題がある。例えば、入力音の音程が「レ」であるのに対し、生成音の音程が「ミ」に近い「レ」になってしまうという問題がある。この問題の原因として、以下の２点が考えられる。
【0060】
（ａ）一般的な方法で学習された特徴抽出器の特徴量には音程情報が含まれている。
（ｂ）ユーザが指定する音程と、特徴量に含まれる音程情報が互いに干渉することで、（生成部３０３が用いる）生成器の学習が不安定になる。例えば、ユーザが指定した音程がＣ４であるのに対して、特徴抽出器が抽出した特徴量に音程情報としてＧ４が含まれる場合、後段の生成器はＣ４又はＧ４のどちらの音程の楽器音を生成してよいか判断がつかない。
（ｂ）ユーザが指定する音程と、特徴量に含まれる音程情報が互いに干渉することで、（生成部３０３が用いる）生成器の学習が不安定になる。例えば、ユーザが指定した音程がＣ４であるのに対して、特徴抽出器が抽出した特徴量に音程情報としてＧ４が含まれる場合、後段の生成器はＣ４又はＧ４のどちらの音程の楽器音を生成してよいか判断がつかない。
【0061】
そこで、本開示では、メルスペクトログラムから音程情報が残らない音色特徴量を抽出できるように、音色特徴抽出器の学習を行う。具体的には、本開示では、音色特徴量に音色特徴量が残らないように、音色特徴抽出器に対して音程に関する敵対的学習を行うようにする。
【0062】
図５には、音色特徴抽出器の学習時におけるワークフローの一例を示している。図５に示す例では、音色特徴抽出部３０２に用いられる音色特徴抽出器５０１を、楽器識別器５０２とともに学習する。上述と同様に、音色特徴抽出器５０１は、オーディオ波形のメルスペクトログラムから音色特徴量ｈを抽出する。また、楽器識別器５０２は、音色特徴量ｈから元のオーディオ波形の楽器を識別する。そして、楽器識別器５０２から出力される予測分布Ｃpredと正解分布Ｃgtとを比較して、誤差逆伝播によって音色特徴抽出器５０１及び楽器識別器５０２の学習を行う。例えば、楽器識別器５０２を固定して音色特徴抽出器５０１の学習を行う学習フェーズと、音色特徴抽出器５０１を固定して楽器識別器５０２の学習を行う学習フェーズを交互に繰り返す。
【0063】
しかしながら、図５に示した学習方法では、音色特徴抽出器５０１が抽出する特徴量ｈに音程情報が残らないようにすることは難しい。指定した音程の楽器音を正確に生成することが困難になるという問題がある。何故ならば、後述のＤ項で説明するように、生成器Ｇと識別器Ｄは音色特徴量ｈと音程情報ｐの両方を入力するため、音色特徴量に音程情報が含まれていると、どちらの音程情報が正しいのか混乱してしまい、適切な学習が困難になるからである。
【0064】
図６には、特徴量の音程情報が残らないように音程に関する敵対的学習を行う場合の、音色特徴抽出器の学習時においてワークフローを示している。図６に示す例では、音色特徴抽出部３０２に用いられる音色特徴抽出器６０１を、楽器識別器６０２及び音程識別器６０３とともに学習する。とりわけ本実施形態では、楽器識別器６０２と音程識別器６０３を同時に学習し、且つ、音色特徴抽出器６０１が抽出する音色特徴量を用いて音程が識別できないような学習を行うことで、音色特徴抽出器６０１が抽出する音色特徴量に音程情報が残存することを回避する。
【0065】
上述と同様に、音色特徴抽出器６０１は、オーディオ波形のメルスペクトログラムから音色特徴量ｈを抽出する。また、楽器識別器６０２は、音色特徴量ｈから元のオーディオ波形の楽器を識別する。楽器識別器６０２の学習は、図５に示したワークフローの場合と同様であり、ここでは詳細な説明を省略する。
【0066】
また、音色特徴量に音程情報が残らないように、音色特徴抽出器６０１に対して音程に関する敵対的学習を行う。音程識別器６０３は、音色特徴量ｈから元のオーディオ波形の音程を識別する。
【0067】
まず、音程識別器６０３が、音色特徴抽出器６０１が抽出した音色特徴量から、元のオーディオ波形の音程を正確に識別できるように学習を行う。すなわち、音程識別器６０３から出力される予測分布Ｃ2,predと正解分布Ｃ2,gtとを比較して、誤差逆伝播によって音程識別器６０３を学習する。このようにして、音程識別器６０３の学習を行った後、続いて音程識別器６０３を固定して、音程情報が残存しない音色特徴量ｈを生成できるように、音色特徴抽出器６０１の学習を行う。すなわち、音程識別器６０３から出力される予測分布Ｃ2,predが一様分布Ｃ2,uniとなり、言い換えれば、音程識別器６０３において音程を識別できない音色特徴量ｈを生成できるように、音色特徴抽出器６０１の学習を行う。
【0068】
図６に示すような、敵対的学習に基づく音程不変な音色特徴抽出器の学習方法によれば、音色と音程情報が特徴量空間で絡み合ってＧＡＮの学習が不安定化することを回避する効果があり、音程精度及び音色の一貫性を向上させることができる。
【0069】
音色に関する敵対的学習について、もう少し具体的に説明する。特徴量ｆφ（ｘ）（＝ｈ）を入力として、音程識別器６０３が楽器識別及び音程識別を行う浅いＭＬＰをそれぞれＣi、Ｃpとする。下式（２）及び（３）に示す損失関数を交互に最適化する敵対的学習により、音程情報を含まない音色特徴量を抽出できる音色特徴抽出器ｆφを獲得することができる。
【0070】
【数2】
【0071】
【数3】
【0072】
上式（２）及び（３）において、ｉ（ｘ）とｐ（ｘ）は、サンプルｘに対する楽器ラベル及び音程ラベルをそれぞれ表す。また、ＣＥは交差エントロピー（ｃｒｏｓｓ ｅｎｔｒｏｐｙ）であり、ＫＬはカルバック・ライブラー情報量（Ｋｕｌｌｂａｃｋ－Ｌｅｉｂｌｅｒ ｄｉｖｅｒｇｅｎｃｅ）である。
【0073】
上式（２）の第１項は、正しく楽器を識別できるように、特徴抽出器ｆφと楽器識別Ｃiを更新する。これに対し、上式（２）の第２項は、特徴量ｆφ（ｘ）を用いた音程識別が不能、すなわち音程に関する予測分布が一様分布に近づくように、音色特徴抽出器ｆφを更新する。一方、上式（３）は、特徴量ｆφ（ｘ）が与えられた条件下で、音程識別精度を最大化するように、Ｃpを更新する。このような敵対的学習を行うことによって、音程情報が残らないように音色特徴量を抽出できる音色特徴抽出器を獲得することができる。
【0074】
実際、学習済みの音色特徴抽出器ｆφを固定して、上式（３）を用いて識別器６０３の音程識別のみを事後的に学習したところ、敵対的学習を用いない場合は１７％以上の精度で音程識別が可能であるのに対し、音程に関する敵対的学習では２．５％まで低下することを確認した。
【0075】
Ｄ．入力音の特徴を反映した音程付き楽器音の生成について
上記Ｂ項で説明したように、生成部３０３は、入力音の音色特徴量と、音程と、乱数を入力として、入力音の特徴を反映した音程付き楽器音のメルスペクトログラムを生成する。具体的には、生成部３０３は、本開示モデルによって生成された学習済みモデル（生成器）を用いて、入力音の音色特徴量と音程をインスタンス条件として、入力音の特徴を反映した音程付き楽器音のメルスペクトログラムを生成する。
上記Ｂ項で説明したように、生成部３０３は、入力音の音色特徴量と、音程と、乱数を入力として、入力音の特徴を反映した音程付き楽器音のメルスペクトログラムを生成する。具体的には、生成部３０３は、本開示モデルによって生成された学習済みモデル（生成器）を用いて、入力音の音色特徴量と音程をインスタンス条件として、入力音の特徴を反映した音程付き楽器音のメルスペクトログラムを生成する。
【0076】
ここで、ＧＡＮは、当業界において既に周知のように、真のデータと人工データを見分ける識別器（Ｄｉｓｃｒｉｍｉｎａｔｏｒ：Ｄ）と、ノイズからデータを生成する生成器（Ｇｅｎｅｒａｔｏｒ：Ｇ）の２つのニューラルネットワークを競わせて学習させる深層学習モデルである。ＧＡＮには、生成データが訓練データ中の一部に偏ってしまうことにより生成サンプルの質や多様性が損なわれというモード崩壊の課題がある。これに対し、ＩＣ－ＧＡＮは、データ点（インスタンス）に対応する特徴量によって識別器Ｄと生成器Ｇを条件付けて、データ点の近傍も真のデータとして識別器に教えることにより、モード崩壊の課題を解決したＧＡＮの学習の新たな技術である。
【0077】
図２７には、ＩＣ－ＧＡＮのモデルの概要を示している（例えば、非特許文献１を参照のこと）。識別器Ｄと生成器Ｇは、それぞれＤＮＮを用いて実装される。同図において、インスタンスとしての入力画像ｘiは、特徴抽出器ｆφにより特徴量空間へとマッピングされる。そして、特徴抽出器ｆφの出力として得られた画像ｘiの特徴量ｈiが、生成器Ｇと識別器Ｄの各々に入力される。生成器Ｇは、インスタンスｘiから抽出された特徴量ｈiと、サンプリングしたノイズ（乱数）ｚから、画像ｘgを生成する。また、識別器Ｄは、生成器Ｇが特徴量ｈiを基に生成した画像ｘgと、実サンプルである近傍画像ｘnを判別する。そして、生成器Ｇは識別器Ｄが近傍画像ｘnを判別不能となる生成画像ｘgをできるように、一方の識別器Ｄは生成器Ｇによる生成画像ｘgと近傍画像ｘnを判別できるように、互いに競わせて学習させる。結果として、識別器Ｄにおいて真偽の判別が不能となるような精緻な画像Ｘgを生成する生成器Ｇを得ることができる。
【0078】
本実施形態では、特徴抽出器ｆφが音色特徴抽出部３０２に対応し、生成器Ｇが生成部３０３に対応する。そして、入力画像ｘiは入力音を視覚化したメルスペクトログラムに対応するとともに特徴量ｈiは音色特徴量に対応し、生成画像ｘgは生成器Ｇが生成したメルスペクトログラムに対応する。
【0079】
本開示モデルは、ＩＣ－ＧＡＮのアイデアを利用して、楽器音を生成するＧＡＮの枠組みによって学習された生成モデルである（前述）。図７には、楽器音生成システム３００の生成部３０３で用いる生成器を学習する場合の本開示モデルの概要を示している。この場合の生成器Ｇは、入力音と音程情報ｐとノイズベクトルｚから、入力音の特徴を反映した音程付き楽器音を生成する。また、識別器Ｄは、生成器Ｇによる生成音の真偽（ｒｅａｌ／ｆａｌｓｅ）を識別する。
【0080】
入力音は、スペクトログラム変換部３０１で、短時間フーリエ変換により対数スケールのメルスペクトログラムｘiに変換されている。そして、音色特徴抽出部３０２が、上記Ｃ項で説明した特徴抽出器ｆφを用いて、メルスペクトログラムｘiを音色特徴量ｈiに写像する。生成器Ｇは、音色特徴量ｈiとともに、音程情報ｐのワンショットベクトル及び標準正規分布からサンプリングしたノイズベクトルｚを入力して、メルスペクトログラムｘgを生成する。生成したメルスペクトログラムは、後述のＥ項で説明するスペクトログラム波形逆変換部３０４によって、オーディオ波形に再構築される。オーディオ波形は、入力音の特徴を反映した音程付き楽器音である。
【0081】
一般的なクラス条件付けは、データ全体の分布をクラス数分だけのオーバーラップのない複数の分布に分割する。これに対し、ＩＣ－ＧＡＮ（非特許文献１を参照のこと）におけるインスタンス条件付けは、データ全体の分布をオーバーラップのある多数の局所的な分布へと分割することによって、複雑なデータ分布を獲得しようとするものである。インスタンスｘiの特徴量ｈi＝ｆφ（ｘi）及び音程情報のワンショットベクトルｐを用いて生成器Ｇと識別器Ｄの両方を条件付けすることによって、インスタンスｘiの近傍の局所的な分布Ｐ（ｘ｜ｈi，ｐ）をモデリングし、その重ね合わせとしてデータ全体の分布Ｐ（ｘ）を下式（４）のように表現する。
【0082】
【数4】
【0083】
生成モデルの学習手順は、非特許文献１に従う。入力ｘiに対して、学習済み特徴抽出器ｆφ（・）で定義される特徴量空間においてＬ２距離がｋさいきおぼうのデータ集合をＡiとする。このとき、図７に示すように、一様分布に基づいてＡiから近傍データ点ｘjをサンプルする。ｘjは、リアルサンプルとして、生成サンプルｘgとともに識別器Ｄの学習に利用される。また、リアルサンプルｘjに対応するピッチｐ（ｘj）は、生成器Ｇと識別器Ｄに条件付けとして入力される。本実施形態では、生成器Ｇと識別器Ｄを、下式（５）に示すｍｉｎ－ｍａｘゲームを通じて最適化する。
【0084】
【数5】
【0085】
Ｅ．オーディオ波形の再構成について
メルスペクトログラムからオーディオ波形データを再構成する方法には、主に学習ペースト最適化ベースの２つのアプローチが挙げられる。Ｔｅｘｔ－ｔｏ－Ｓｐｅｅｃｈの分野では、学習によってｖｏｃｏｄｅｒを獲得するアプローチが盛んに研究されている。しかし、本開示は多様な音色と音程の楽器音の生成を目的としており、そのような生成音に対応可能な汎用的なｖｏｃｏｄｅｒを獲得することは必ずしも容易でない。一方、周波数方向に高解像度のメルスペクトログラムを生成することで、最適化ベースのオーディオ反転を用いた場合でも、音楽を含む多様な音響を一定程度の音質で合成できるという研究成果がある（非特許文献５を参照のこと）。そこで、本開示では、最適化ベースのアプローチを採用して、メルスペクトログラムからオーディオ波形データを再構成する。
メルスペクトログラムからオーディオ波形データを再構成する方法には、主に学習ペースト最適化ベースの２つのアプローチが挙げられる。Ｔｅｘｔ－ｔｏ－Ｓｐｅｅｃｈの分野では、学習によってｖｏｃｏｄｅｒを獲得するアプローチが盛んに研究されている。しかし、本開示は多様な音色と音程の楽器音の生成を目的としており、そのような生成音に対応可能な汎用的なｖｏｃｏｄｅｒを獲得することは必ずしも容易でない。一方、周波数方向に高解像度のメルスペクトログラムを生成することで、最適化ベースのオーディオ反転を用いた場合でも、音楽を含む多様な音響を一定程度の音質で合成できるという研究成果がある（非特許文献５を参照のこと）。そこで、本開示では、最適化ベースのアプローチを採用して、メルスペクトログラムからオーディオ波形データを再構成する。
【0086】
図８には、最適化ベースのアプローチによってメルスペクトログラムからオーディオ波形データを再構成する一般的な処理フローを模式的に示している。
【0087】
メルスペクトログラムは、人間の聴覚に基づいたメルスケールで等間隔な特定の周波数帯のみを抽出するメルフィルタバンクを線形スペクトログラムに適用して算出された対数メルスペクトログラムである。このため、周波数スケール変換部８０１が、生成部３０３が生成したメルスペクトログラムを、線形スペクトログラムに周波数スケールに変換する。次いで、位相復元部８０２は、例えば公知のＧｒｉｆｆｉｎ－Ｌｉｍアルゴリズムを用いて、線形スペクトログラムの位相を復元する。そして、短時間フーリエ逆変換部（ｉＳＴＦＴ）８０３は、フーリエ逆変換を施して、オーディオ波形を再構築する。このオーディオ波形は、楽器音生成システム３００が生成した音程付き楽器音のオーディオ波形である。
【0088】
図８に示す処理フローにおいて、とりわけ周波数スケール変換部８０１がメルスペクトログラムを線形スペクトログラムに周波数スケール変換する処理は、計算コストが高くボトルネックになるという問題がある。メルスペクトログラムから線形スペクトログラムへの周波数スケール変換は、非負値制約付き最小二乗問題として、下式（６）のように定式化することが可能であるが、一般的な解法は計算量が大きい。下式（６）において、Ｆmelはメルフィルタバンク行列、ｘmelはメルスケールのスペクトログラム、ｘlinは線形スケールのスペクトログラムである。
【0089】
【数6】
【0090】
また、勾配法による更新と非負値への修正を繰り返す反復法によって良好な解を得るアプローチが考えられるが、初期値を乱数で設定しているために、良好な解への収束には十分な反復回数を必要とする。
【0091】
図９には、勾配法による更新と非負値への修正を繰り返す反復法による周波数スケール変換処理フローの概略を示している。当業界において、図示の処理フローに基づいて周波数スケール変換を行うソフトウェアライブラリは既に提供されている。この処理フローでは、まず、初期化部９０１では乱数でスペクトログラムを初期化する（例えば、時間軸及び周波数軸上の各点の強度（振幅）を乱数で与える）。そして、更新部９０２は、勾配法により、時間軸及び周波数軸上の各点の強度（振幅）を更新する、次いで、修正部９０３は、負値となった変数に０を代入する。更新部９０２及び修正部９０３による処理を、計算結果が収束するまで繰り返し実施する。既に述べたように、勾配法による更新と非負値への修正を繰り返す反復法は効率的であるが、収束速度が遅い。
【0092】
そこで、本開示では、基本的には同様の反復法を用いるが、スペクトラムの初期化には、乱数の代わりに、非負値制約なしの最小二乗法の解を活用する。具体的には、高速に計算可能な制約なし最小二乗法の解（下式（７）を参照）を求めた後に、その解に非負値への修正を施したものを反復計算の初期値に設定することで、少ない反復回数で良好な解へと収束することが可能になる。これにより、同程度の精度への解へ１０分の１程度の反復回数で収束することを実験により確認した。
【0093】
【数7】
【0094】
図１０には、図９と同様の反復法において、乱数の代わりに非負値制約なしの最小二乗法の解を活用した場合の周波数スケール変換処理フローの概略を示している。まず、初期化部１００１は、制約なし最小二乗法の解でスペクトログラムを初期化するが、その際に初期値修正部１００２は、負値となった変数に０を代入する。そして、更新部１００３は、勾配法により、時間軸及び周波数軸上の各点の強度（振幅）を更新する、次いで、修正部１００４は、負値となった変数に０を代入する。更新部１００３及び修正部１００４による処理を、計算結果が収束するまで繰り返し実施する。
【0095】
図１０に示す周波数スケール変換方法によれば、最小二乗法の解のうち負値を０に置換したものを、反復計算の初期値に設定することで、少ない反復回数で良好な階へと収束することが可能になる。その結果、楽器音生成システム３００は、インタラクティブな時間内での楽器音の生成を実現することができるようになる。
【0096】
Ｆ．クライアントサーバモデルによる運用形態
楽器音生成システム３００は、例えばコンピュータなどで構成される情報処理装置上で実装される。本開示モデルを用いて学習済みモデル（生成器）を生成する処理や、学習済みモデル（生成器）を用いて入力音の特徴を反映した音程付き楽器音を生成する処理は、計算負荷が大きい。このため、楽器音生成システム３００の１つの運用形態としてクライアントサーバモデルが想定される。
楽器音生成システム３００は、例えばコンピュータなどで構成される情報処理装置上で実装される。本開示モデルを用いて学習済みモデル（生成器）を生成する処理や、学習済みモデル（生成器）を用いて入力音の特徴を反映した音程付き楽器音を生成する処理は、計算負荷が大きい。このため、楽器音生成システム３００の１つの運用形態としてクライアントサーバモデルが想定される。
【0097】
図１１には、クライアントサーバモデル１１００からなる楽器音生成システム３００の構成を模式的に示している。クライアントサーバモデル１１００は、音程付き楽器音の生成サービスを提供するサーバ１１０１と、音程付き楽器音の生成をリクエストする１又は多数のクライアント１１０２で構成される。サーバ１１０１と各クライアント１１０２間は、例えばＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットなどのネットワーク経由で相互接続されている。
【0098】
クライアント１１０２は、例えば、ユーザが使用するスマートフォンやタブレット、パーソナルコンピュータ（ＰＣ）などの情報端末（エッジデバイス）からなる。ここで言うユーザは、例えば、サーバ１１０１から提供されるユニークな楽器音を使って、作曲やその他の音楽活動を行う一般ユーザである。クライアント１１０２側では、例えばＧＵＩ画面を介して、入力音のｗａｖ形式ファイルの選択、音程の指定といったＧＵＩ操作が実施される。その際、複数の入力音を選択する場合は各入力音の混合比率の指定もＧＵＩ操作に含まれる。そして、クライアント１１０２は、サーバ１１０１に対し、入力音の特徴を反映した音程付き楽器音の生成処理をリクエストする。
【0099】
サーバ１１０１は、例えばコンピュータなどの情報処理装置からなり、楽器音生成システム３００の主要コンポーネント３０１～３０４を装備している。サーバ１１０１は、クライアント１１０２からのリクエストに対して、指定された入力音及び音程をインスタンス条件として、本開示モデルを用いて生成した学習済みモデル（生成器）を使って、入力音の特徴を反映した音程付き楽器音を生成して、リクエスト元のクライアント１１０２に返す。また、クライアント１０２から複数の入力音がリクエストされている場合には、サーバ１１０１は、クライアント１１０２が指定した混合比で各入力音の特徴ベクトルを合成した特徴ベクトルを用いて、音程付き楽器音を生成して、クライアント１１０２に返す。
【0100】
図１２には、クライアント１１０２とサーバ１１０１で実施される処理シーケンス例を示している。
【0101】
クライアント１１０２側では、ユーザは、ＧＵＩ操作を通じて、楽器音を生成するための音源となる入力音と、生成すべき楽器音の音程を指定する（ＳＥＱ１２０１）。
【0102】
入力音の指定は、該当するｗａｖ形式ファイルのファイル名をプリセットの中から指定するという形態で行われる。例えば、サーバ１１０１側であらかじめ用意されたｗａｖ形式ファイルや、クライアント１１０２側で指定可能でサーバ１１０１が取得可能なｗａｖ形式ファイル、さらにはクライアント１１０２からサーバ１１０１にアップロードすることが可能なｗａｖ形式ファイルも、入力音のプリセットとして指定可能であってもよい。また、ユーザは、２以上の入力音を指定することも可能であり、複数の入力音を指定した場合には、さらに各入力音の混合比率を指定することができる。
【0103】
そして、クライアント１１０２は、サーバ１１０１に対して、音程付き楽器音の生成リクエストを送信する（ＳＥＱ１２０２）。このリクエストは、ユーザが指定した入力音及び音程の情報を含む。ユーザが複数の入力音を指定した場合には、リクエストは各入力音の混合比率も含む。
【0104】
サーバ１１０１は、クライアント１１０２からのリクエストを受け取ると（ＳＥＱ１２０３）、まず、このリクエストで指定された入力音を取得する（ＳＥＱ１２０４）。サーバ１１０１は、指定された入力音のｗａｖ形式ファイルを、自身のローカルディスクから取得したり、ネットワーク経由で外部の蓄積装置から取得したりしてもよい。また、サーバ１１０１は、クライアント１１０２からアップロードされたｗａｖ形式ファイルを取得するようにしてもよい。
【0105】
次いで、サーバ１１０１は、スペクトログラム変換部３０１を用いて、入力音のオーディオ波形をメルスペクトログラムに変換する（ＳＥＱ１２０５）。クライアント１１０２からのリクエストが複数の入力音を指定している場合には、サーバ１１０１は、すべての入力音のオーディオ波形をメルスペクトログラムに変換する。
【0106】
次いで、サーバ１１０１は、音色特徴抽出部３０２を使って、入力音のメルスペクトログラムから音色特徴量ｈを抽出する（ＳＥＱ１２０６）。クライアント１１０２からのリクエストが複数の入力音を指定している場合には、上式（１）に従って、各入力音から生成されたメルスペクトログラムを、指定された混合比率で混合した音色特徴量ｈを計算する。
【0107】
次いで、サーバ１１０１は、生成部３０３を使って、入力音のメルスペクトログラムから抽出された音色特徴量ｈから、クライアント１１０２からのリクエストで指定された音程からなる楽器音のメルスペクトログラムを生成する（ＳＥＱ１２０７）。生成部３０３は、具体的には、本開示モデルによって生成された学習済みモデル（生成器）を用いて、入力音の音色特徴量と音程をインスタンス条件として、楽器音生成システム３００において生成した乱数から、入力音の特徴を反映した、音程付き楽器音のメルスペクトログラムを生成する。
【0108】
次いで、サーバ１１０１は、スペクトログラム波形逆変換部３０４を使って、生成したメルスペクトログラムからオーディオ波形を再構築する（ＳＥＱ１２０８）。このオーディオ波形は、入力音の特徴を反映した音程付き楽器音であり、出力される楽器音は、１秒間又は数秒程度の長さとする。ＭＩＤＩデータとして出力される。
【0109】
そして、サーバ１１０１は、生成した音程付き楽器音のデータを、リクエスト元のクライアント１１０２に返す（ＳＥＱ１２０９）。なお、サーバ１１０１は、再構築されたオーディオ波形とともに、再構築する前のメルスペクトログラムの情報も併せて返送するようにしてもよい。また、サーバ１１０１は、クライアント１１０２に対して、楽器音のデータを、ストリーミングしてもよいし、ファイル自体を送信するようにしてもよい。
【0110】
クライアント１１０２側では、サーバ１１０１から音程付き楽器音のＭＩＤＩデータを受信すると（ＳＥＱ１２０９）、ユーザのＧＵＩ操作に従って、その楽器音の再生（ユーザの試聴）、保存を行うことができる（ＳＥＱ１２１０）。また、ユーザは、ＧＵＩ操作によって、さらに次の楽器音の生成をリクエストすることもできる。
【0111】
Ｇ．ＧＵＩの構成及び操作例
このＧ項では、クライアント１１０２側で音程付き楽器音の生成をリクエストしたり、生成された音程付き楽器音に対する再生や保存などの処理を指示したりするための、ＧＵＩ画面及びＧＵＩ操作について説明する。Ｆ項で説明したように音再生システム３００がクライアントサーバモデルとして実装される場合には、このＧ項で説明するＧＵＩ操作はクライアントの端末上で行われる。なお、音再生システム３００が単一の情報処理装置上で実装される場合には、このＧ項で説明するＧＵＩ操作は情報処理装置のコンソールを用いて行われる。
このＧ項では、クライアント１１０２側で音程付き楽器音の生成をリクエストしたり、生成された音程付き楽器音に対する再生や保存などの処理を指示したりするための、ＧＵＩ画面及びＧＵＩ操作について説明する。Ｆ項で説明したように音再生システム３００がクライアントサーバモデルとして実装される場合には、このＧ項で説明するＧＵＩ操作はクライアントの端末上で行われる。なお、音再生システム３００が単一の情報処理装置上で実装される場合には、このＧ項で説明するＧＵＩ操作は情報処理装置のコンソールを用いて行われる。
【0112】
Ｇ－１．第１の例
図１３には、本開示によって音程付き楽器音の生成や再生などを行うためのＧＵＩ画面の構成例を示している。但し、図１３は、２つの入力音を組み合わせて音程付き楽器音を生成する場合に使用されるＧＵＩ画面の構成である。本開示では、３以上の入力音を基に音程付き楽器音を生成することも可能である。３つの入力音を指定して音程付き楽器音を生成する場合に使用されるＧＵＩ画面の構成及び操作については、後述に譲る。
図１３には、本開示によって音程付き楽器音の生成や再生などを行うためのＧＵＩ画面の構成例を示している。但し、図１３は、２つの入力音を組み合わせて音程付き楽器音を生成する場合に使用されるＧＵＩ画面の構成である。本開示では、３以上の入力音を基に音程付き楽器音を生成することも可能である。３つの入力音を指定して音程付き楽器音を生成する場合に使用されるＧＵＩ画面の構成及び操作については、後述に譲る。
【0113】
図１３に示すＧＵＩ画面１３００は、入出力フィールドとして、プリセット選択部１３０１と、第１の入力音情報表示部１３０２と、第２の入力音情報表示部１３０３と、混合比率指定部１３０４と、音程情報指定部１３０５と、生成楽器音情報提示部１３０６を含んでいる。
【0114】
プリセット選択部１３０１は、プルダウンメニューを介して第１の入力音と第２の入力音の音源を選択するＧＵＩ部品である。プルダウンメニューは、楽器音生成システム３００（又は、サーバ１１０１）があらかじめ用意した、入力音として選択可能なプリセット（ｗａｖ形式ファイルのファイル名）の一覧からなる（図示を省略）。このプルダウンメニュー上でユーザが選択したｗａｖ形式ファイルが順次第１の入力音と第２の入力音として指定される。
【0115】
第１の入力音情報表示部１３０２と、第２の入力音情報表示部１３０３には、プリセット選択部１３０１を通じて指定された第１の入力音及び第２の入力音のｗａｖ形式ファイルのファイル名が表示される。また、第１の入力音情報表示部１３０２と第２の入力音情報表示部１３０３は、それぞれ入力音を変更するためのプルダウンメニューを有している。第１の入力音情報表示部１３０２と第２の入力音情報表示部１３０３の各プルダウンメニューは、楽器音生成システム３００（又は、サーバ１１０１）があらかじめ用意したプリセットではなく、クライアント（又は、情報処理装置）内で独自に入力音として選択可能なｗａｖ形式ファイルのファイル名の一覧からなる。ユーザは、第１の入力音情報表示部１３０２と第２の入力音情報表示部１３０３の各プルダウンメニューを使って、第１の入力音と第２の入力音を選択することもできる。
【0116】
第１の入力音情報表示部１３０２と第２の入力音情報表示部１３０３は、入力音として指定されたｗａｖ形式ファイルの再生を指示する再生ボタン１３０２－１及び１３０３－１をそれぞれ備えている。ユーザは、これらの再生ボタン１３０２－１及び１３０３－１を使って、入力音として指定された各ｗａｖ形式ファイルを再生させて試聴して、自分が所望する音源であるかどうかを、楽器音の生成をリクエストする前に事前確認することができる。
【0117】
混合比率指定部１３０４は、第１の入力音情報表示部１３０２と第２の入力音情報表示部１３０３に設定された２つの入力音の混合比率を、ユーザが指定するための入力フィールドである。図１３に示す例では、混合比率指定部１３０４は、第１の入力音に対する第２の入力音の混合比率０．０、０．１、０．２、…、０．８、０．９、１．０を択一的に指定するラジオボタンで構成されている。０．０に近い混合比率ほど第１の入力音の特徴をより捉えた楽器音の生成をリクエストすることができ、１．０に近い混合比率ほど第２の入力音の特徴をより捉えた楽器音の生成をリクエストすることができる。混合比率０．０は第１の入力音のみの単音、混合比率１．０は第２の入力音のみの単音を指定することを意味し、それぞれ単音の特徴から楽器音生成をリクエストすることができる。
【0118】
音程情報指定部１３０５は、図１３に示すＧＵＩ画面構成例では、画面の最下段に配置されている。音程情報指定部１３０５は、ピアノの鍵盤のレイアウトを利用したデザイン（以下、単に「鍵盤」とする）１３０５－１からなる。ユーザは、生成する楽器音の音程を鍵盤１３０５－１中のキーに対するクリック又はタッチ操作で指定することができる。生成ターゲットとなる音程を表すテキスト１３０５－２（図１３に示す例では、「生成ターゲットＭＩＤＩノート／音程：６０」というテキスト）が鍵盤１３０５－１の上付近に表示されているので、ユーザは目視で確認することができる。
【0119】
また、鍵盤１３０５－１の左下端付近に一対のプラスマイナスボタン１３０５－３が配置されている。ユーザは、「＋」ボタン及び「－」ボタンを選択することで、オクターブの上下を指示することができる。したがって、Ａ－１～Ｃ７の８８ピッチ分の音程を指定することが可能である。
【0120】
また、鍵盤１３０５－１の下方中央部には、「低音質」のオン又はオフの２状態を切り替えるトグルスイッチ１３０５－４が配置されている。このトグルスイッチ１３０５－４を使って「低音質」のオン状態にトグルすると、入力音の特徴を反映した楽器音が低音質で生成される。一方、このトグルスイッチ１３０５－４を使って「低音質」のオフ状態にトグルすると、入力音の特徴を反映した楽器音が高音質で生成される。
【0121】
また、音程情報指定部１３０５は、鍵盤１３０５－１の上方ほぼ中央に「更新」ボタン１３０５－５を備えている。ユーザは、同じ特徴の楽器音を別の音程で生成したい場合には、鍵盤１３０５－１の中から所望する別の音程に該当するキーをクリック又はタッチ操作して指定した後、この更新ボタン１３０５－５を選択することで、同じ楽器音の別の音程での再生成を指示することができる。
【0122】
ユーザが音程情報指定部１３０５上で鍵盤１３０５－１のいずれかのキーを選択したことによって、音程付き楽器音の生成リクエストが、サーバ１１０１に対して出力される（又は、情報処理装置内で音程付き楽器音の生成処理が起動する）。
【0123】
サーバ１１０１側（又は、情報処理装置内）では、第１の入力音及び第２の入力音の各入力音のオーディオ波形をメルスペクトログラムに変換し、各メルスペクトログラムから音色特徴量を抽出し且つ指定された混合比率で混合した後、音色特徴量及び音程情報をインスタンス条件として、音程付き楽器音を指定された音質（高音質又は低音質のいずれか）で生成する。これに対し、クライアント１１０２側では、サーバ１１０１側で生成された音程付き楽器音をストリーミング再生する（又は、ダウンロードして再生出力する）（但し、情報処理装置内部で音程付き楽器音を生成する場合は、情報処理装置において生成音を再生出力する）。
【0124】
生成楽器音情報提示部１３０６は、生成された音程付き楽器音に関する情報を提示する提示フィールド１３０６－１を備えている。提示される「音程付き楽器音に関する情報」は特に限定されない。例えば、メルスペクトログラム（又は、周波数スペクトログラム）のように楽器音のオーディオ波形の特徴を視覚的に表現する情報を、この提示フィールド１３０６－１に表示するようにしてもよい（後述）。もちろん、スペクトログラムではなく、楽器音のオーディオ波形をこの提示フィールド１３０６－１に表示するようにしてもよい。
【0125】
また、生成楽器音情報提示部１３０６は、再生ボタン１３０６－２を備えている。ユーザは、この再生ボタン１３０６－２を使って、生成された音程付き楽器音を再生させて試聴して、指定した入力音の特徴を反映した、期待した通りの音程及び楽器音であったかどうかを確認することができる。
【0126】
【0127】
図１４には、プリセット選択部１３０１のプルダウンメニュー１４０１に表示されたｗａｖ形式ファイルのファイル名の一覧から、第１の入力音及び第２の入力音として使用するファイル名を順次指定する様子を示している。プルダウンメニュー１４０１で指定された各ファイルは、それぞれ第１の入力音情報表示部１３０２と第２の入力音情報表示部１３０３に表示される。図１４に示す例では、プルダウンメニュー１４０１上でオーディオファイル「Ｉｎｐｕｔ＿ａｕｄｉｏ＃００１．ｗａｖ」及び「Ｉｎｐｕｔ＿ａｕｄｉｏ＃００２．ｗａｖ」がそれぞれ指定されている。
【0128】
図１５には、プルダウンメニュー１４０１上でオーディオファイル「ｉｎｐｕｔ＿ａｕｄｉｏ＃００１．ｗａｖ」及び「ｉｎｐｕｔ＿ａｕｄｉｏ＃００２．ｗａｖ」がそれぞれ指定されたことに応答して、第１の入力音情報表示部１３０２と第２の入力音情報表示部１３０３に各ファイル名が表示されている様子を示している。ユーザは、第１の入力音情報表示部１３０２と第２の入力音情報表示部１３０３にそれぞれ表示されるファイル名から、音程付き楽器音の生成に用いる入力音の組み合わせを目視により確認することができる。さらに、ユーザは、第１の入力音情報表示部１３０２再生ボタン１３０２－１と第２の入力音情報表示部１３０３の再生ボタン１３０３－１を使って、入力音として指定された各ｗａｖ形式ファイル「ｉｎｐｕｔ＿ａｕｄｉｏ＃００１．ｗａｖ」及び「ｉｎｐｕｔ＿ａｕｄｉｏ＃００２．ｗａｖ」を個別に再生させて、音程付き楽器音の生成に用いる入力音の組み合わせを試聴により確認することができる。
【0129】
図１６には、混合比率指定部１３０４のラジオボタンを使って、第１の入力音及び第２の入力音としてそれぞれ指定された「ｉｎｐｕｔ＿ａｕｄｉｏ＃００１．ｗａｖ」及び「ｉｎｐｕｔ＿ａｕｄｉｏ＃００２．ｗａｖ」のオーディオ波形の混合比率を指定する様子を示している。混合比率指定部１３０４は、第１の入力音に対する第２の入力音の混合比率０．０、０．１、０．２、…、０．８、０．９、１．０を択一的に指定するラジオボタンで構成され、０．０に近い混合比率ほど第１の入力音の特徴を捉えた楽器音の生成をリクエストすることができ、１．０に近い混合比率ほど第２の入力音の特徴を捉えた楽器音の生成をリクエストすることができる（前述）。図１６に示す例では、混合比率０．３が指定されている。
【0130】
図１６には、さらに、音程情報指定部１３０５を使って、生成する楽器音の音程を指定する様子を示している。音程情報指定部１３０５は、ピアノの鍵盤のレイアウトを利用したデザインを有し、鍵盤１３０５－１の各キー上には該当する音程を表す文字が表示されている。また、鍵盤１３０５－１の左下端付近に配置されたプラスマイナスボタン１３０５－３を使って、オクターブの上下を指示することができる。したがって、ユーザは、音程情報指定部１３０５の鍵盤１３０５－１及びプラスマイナスボタン１３０５－３の各操作を組み合わせて、Ａ－１～Ｃ７の８８ピッチ分の音程を指定することが可能である（前述）。なお、「低音質」のオン／オフ切り替えのトグルスイッチ１３０５－４は「オフ」にトグルされている。
【0131】
ユーザが音程情報指定部１３０５上で鍵盤１３０５－１のいずれかのキー（図１６に示す例では、キー「Ａ」とする）を選択したことによって、音程付き楽器音の生成リクエストが、サーバ１１０１に対して出力される（又は、情報処理装置内で音程付き楽器音の生成処理が起動する）。そして、サーバ１１０１側で生成された（又は、情報処理装置内部で生成された）、１秒又は数秒程度の比較的短い時間の、入力音の特徴を反映した音程付き楽器音が再生される。図１７には、楽器音の再生に併せて、生成楽器音情報提示部１３０６の提示フィールド１３０６－１に、当該楽器音のメルスペクトログラムが表示される様子を示している。この提示フィールド１３０６－１には、混合比率指定部１３０４で指定した混合比率に対応して生成されたメルスペクトログラムが反映される。混合比率指定部１３０４で他のラジオボタンを選択すると、混合比率指定部１３０４でラジオボタンのオン／オフ表示が切り替わり（図示を省略）、提示フィールド１３０６－１中のメルスペクトログラムは新たに選択された混合比率に対応する楽器音に反映されるとともに、ユーザはその楽器音を試聴して確認することができる。
【0132】
ユーザは、他の楽器音のサンプルを探索したくなった場合には、プリセット選択部１３０１を通じて再度プリセットを選択するか、又は、第１の入力音情報表示部１３０２と第２の入力音情報表示部１３０３を通じて第１の入力音及び第２の入力音を個々に変更することができる。図１８には、第１の入力音情報表示部１３０２と第２の入力音情報表示部１３０３の各プルダウンメニューから第１の入力音及び第２の入力音を個々に変更する様子を示している。図１８に示す例では、第１の入力音情報表示部１３０２のプルダウンメニュー１３０２－２上での選択操作によって、第１の入力音がオーディオファイル「ｉｎｐｕｔ＿ａｕｄｉｏ＃１０１．ｗａｖ」に変更される。また、第２の入力音情報表示部１３０３のプルダウンメニュー１３０３－２上での選択操作によって、第２の入力音が「ｉｎｐｕｔ＿ａｕｄｉｏ＃２０３．ｗａｖ」に変更されている。各入力音を個々に変更した後の、混合比率の指定、音程情報の指定、及び生成された音程付き楽器音の再生に関する操作は上記と同様なので、ここでは説明を省略する。
【0133】
また、図１９には、ユーザは、入力音の組み合わせを維持しながら、別の音程で楽器音を生成する場合の操作例を示している。、ユーザは、音程情報指定部１３０５の鍵盤１３０５－１及びプラスマイナスボタン１３０５－３の操作を行うことによって、同じ入力音の組み合わせで新たに生成したい楽器音の音程を再度指定した後、さらに鍵盤１３０５－１の上方ほぼ中央の更新ボタン１３０５－１を選択することによって、同じ楽器音の別の音程での再生成を指示する。
【0134】
なお、図１８には、第１の入力音情報表示部１３０２と第２の入力音情報表示部１３０３の各プルダウンメニューを通じて入力音を指定又は変更する操作例を示した。プルダウンメニュー上には、プリセットされたｗａｖ形式ファイルのファイル名の一覧が表示される。これに対し、プリセットされていないが、ユーザの手元の音源を入力音に選択することもできる。図２０には、ユーザの手元の音源を第１の入力音に指定する場合の操作例を示している。ここで言う「ユーザの手元の音源」は、クライアント１１０２（又は、情報処理装置）のローカルディスクから取得したり、ネットワーク経由で外部の蓄積装置から取得したりすることが可能なｗａｖ形式ファイルである。生成する音程付き楽器音は１秒又は数秒程度の比較的短い時間であることから、音源も１秒又は数秒程度の比較的短い時間のオーディオデータであることが好ましい。図２０に示す例では、第１の入力音情報表示部１３０２には、ユーザの手元の音源を選択する入力ボックス１３０２－３が出現している。この入力ボックス１３０２－３は、左半分でユーザの手元の音源（ｗａｖ形式ファイル）の一覧を表示し、右半分では現在選択中（反転表示されているファイル）の属性情報を表示している。ユーザは入力ボックス１３０２－３の左半分を使って手元の音源を探索するとともに、右半分に表示された属性情報や再生音に基づいて所望する入力音か否かを確認することができる。そして、入力ボックス１３０２－３上でいずれかのｗａｖ形式ファイルの選択が確定すると、入力ボックス１３０２－３が消滅するとともに、第１の入力音情報表示部１３０２には選択が確定したｗａｖ形式ファイルのファイル名が表示される（図示を省略）。
【0135】
ユーザは、サーバ１１０１側で生成した音程付き楽器音を気に入った場合には、クライアント１１０２（例えば、ユーザ自身の情報端末）にその音源となるｗａｖ形式ファイルをダウンロードすることができる。図２１には、サーバ１１０１側で生成した音程付き楽器音をダウンロードする際の操作例を示している。生成楽器音情報提示部１３０６の提示フィールド１３０６－１には、ダウンロードの対象となる楽器音のメルスペクトログラムが表示されている。ユーザは、提示フィールド１３０６－１の右下端付近に配置されたダウンロードボタン１３０６－４を選択することによって、気に入った音程付き楽器音のダウンロードを指示することができる。
【0136】
また、音程情報指定部１３０５の鍵盤１３０５－１の下方ほぼ中央には、「１２音程のファイルをダウンロード」ボタン１３０５－５が配置されている。この「１２音程のファイルをダウンロード」ボタン１３０５－５は、鍵盤１３０５－１中のキーで指定した特定の１つの音程だけではなく、１２ピッチ分の楽器音のダウンロードを指示するためのボタンである。「１２音程のファイルをダウンロード」ボタン１３０５－５が選択されると、サーバ１１０１側では、１２ピッチ分の音程付き楽器音を生成して、リクエスト元のクライアント１１０２にダウンロードする。但し、１２ピッチ分の音程付き楽器音を生成するための処理時間がかかる。
【0137】
図２２には、生成楽器音情報提示部１３０６の上方ほぼ中央に配置された「すべて補間」ボタン１３０６－３が選択された様子を示している。「すべて補間」ボタン１３０６－３は、混合比率０．１から０．９まで（又は、単音を含む０．０から１．０まで）順番に、第１の入力音第２の入力音を組み合わせて音程付き楽器音を生成することを指示するボタンである。この「すべて補間」ボタン１３０６－３が選択されると、サーバ１１０１側では各混合比率で音程付き楽器音が順番に自動生成され、クライアント１１０２側では自動生成された各楽器音が順番に再生される（又は、情報処理装置内で各混合比率の音程付き楽器音の自動生成処理が起動し、順次生成された楽器音が再生出力される）。
【0138】
図２３には、エンベロープ処理を行う場合の操作例を示している。エンベロープは、生成した楽器音に対して時間の経過に伴う定型的な変化を付与する処理である。生成楽器音情報提示部１３０６の下方ほぼ中央に配置されたエンベロープボタン１３０６－５を選択すると、提示フィールド１３０６－１が、メルスペクトログラムの表示から、エンベロープの各パラメータを調整するためのスライダーの表示に切り替わる。エンベロープのパラメータは、ＡＤＳＲ（Ａｔｔａｃｋ（立ち上がり）、Ｄｅｃａｙ（減衰）、Ｓｕｓｔａｉｎ（減衰後の保持）、Ｒｅｌｅａｓｅ（余韻））を含む。Ａｔｔａｃｋ Ｔｉｍｅが短いほどレスポンスの良い音になり、長いほど柔らかい立ち上がりになる。Ｄｅｃａｙ Ｔｉｍｅが長いほど長い時間かけて減衰し、短いほどあっさり減衰する。Ｓｕｓｔａｉｎ Ｌｅｖｅｌは、時間ではなく音量をコントロールするパラメータであり、ノートオンし続けることで最終的に到達する音量をコントロールする。Ｒｅｌｅａｓｅ Ｔｉｍｅが長いほど余韻も長くなり、短いほど歯切れの良い音になる。なお、トグルスイッチ１３０５－４については既に説明した通りである。このトグルスイッチ１３０５－４を使って「低音質」のオフ状態（言い換えれば、高音質の状態）にトグルすると、入力音の特徴を反映した楽器音が高音質で生成され、エンベロープなどによりカスタマイズされていく。
【0139】
Ｇ－２．第２の例
図２４には、本開示によって音程付き楽器音の生成や再生などを行うためのＧＵＩ画面の他の構成例を示している。但し、図１３では２つの入力音を組み合わせて楽器音を生成する場合に使用されるＧＵＩ画面を示したのに対し、図２４では、３つの入力音を組み合わせて音程付き楽器音を生成する場合に使用されるＧＵＩ画面を示している。
図２４には、本開示によって音程付き楽器音の生成や再生などを行うためのＧＵＩ画面の他の構成例を示している。但し、図１３では２つの入力音を組み合わせて楽器音を生成する場合に使用されるＧＵＩ画面を示したのに対し、図２４では、３つの入力音を組み合わせて音程付き楽器音を生成する場合に使用されるＧＵＩ画面を示している。
【0140】
図２４に示すＧＵＩ画面２４００は、音源指定フィールド２４１０と、楽器音生成操作フィールド２４２０と、前処理操作フィールド２４３０を含んでいる。
【0141】
音源指定フィールド２４１０は、第１乃至第３の入力音の各音源を選択する操作領域である。各入力音の音源となるｗａｖ形式ファイルを、プルダウンメニューを使ってプリセットから選択するようにしてもよいし、入力ボックス（例えば、図２０を参照のこと）を使ってユーザの手元の音源を選択するようにしてもよい。プルダウンメニュー及び入力ボックスを使った音源の選択操作については、上述した通りであり、ここでは詳細な説明を省略する。図２４に示す例では、ユーザの操作によって、「第１の入力音．ｗａｖ」、「第２の入力音．ｗａｖ」、「第３の入力音．ｗａｖ」、の３つのｗａｖ形式ファイルが選択されており、これらの各ファイルのファイル名及び作成日時が音源指定フィールド２４１０内に表示されている。
【0142】
楽器音生成操作フィールド２４２０は、音源指定フィールド２４１０で選択した第１乃至第３の入力音を組み合わせる際の設定を行うための操作領域である。楽器音生成操作フィールド２４２０は、三角形のバックグラウンドを有している。第１乃至第３の入力音はこの三角形の各頂点２４２１～２４２３にそれぞれ割り付けられ、各頂点２４２１～２４２３付近には対応する入力音のサンプル波形が表示される。
【0143】
前処理操作フィールド２４３０は、各入力音のサンプル波形に対する前処理を行うための操作領域である。楽器音生成操作フィールド２４２０内で、第１乃至第３の入力音のうちいずれかのサンプル波形を選択すると、前処理操作フィールド２４３０には、選択された入力音に指定された音源のＥＱ（イコライザー）及びＡＤＳＲ（エンベロープ処理）の操作画面が表示され、その音源に対してＥＱ及びＡＤＳＲの前処理を行うことができる。
【0144】
再び、楽器音生成操作フィールド２４２０について説明する。バックグラウンドの三角形内のいずれかの位置２４２４を選択すると、その選択した位置２４２４と各頂点２４２１～２４２３との距離の比に基づいて、第１乃至第３の入力音の混合比率が設定される。例えば、三角形内で第１の入力音が割り付けられた頂点２４２１に近い位置が選択されるほど、第１の入力音の混合比率が高くなり、第１の入力音の特徴をより捉えた楽器音の生成をリクエストすることができる。また、三角形のいずれかの頂点位置を選択すると、第１乃至第３の頂点のうちその頂点に割り付けられた入力音のみの単音を指定することを意味し、その単音の特徴から楽器音生成をリクエストすることができる。
【0145】
三角形内で選択された位置には、最初に半透明の○が表示される。その後、楽器音生成操作フィールド２４２０の上方の「Ｇｅｎｅｒａｔｅ」ボタン２４２５が選択されると、楽器音の生成リクエストが、サーバ１１０１に対して出力される（又は、情報処理装置内で楽器音の生成処理が起動する）また、この「Ｇｅｎｅｒａｔｅ」ボタン２４２５を選択したことによって、○の位置で指定された第１乃至第３の入力音の混合比率が確定して、○の表示は半透明から不透明（図示を省略）に変化する。
【0146】
図２４に示すＧＵＩ画面２４００では、楽器音の生成リクエストは、８８キー分の楽器音の生成をリクエストすることを想定している。もちろん、８９キー以上又は８７キー以下の楽器音の生成リクエストであってもよい。あるいは、音程情報を指定するＧＵＩ部品（例えば鍵盤など）を、楽器音生成操作フィールド２４２０内又はその他のフィールドに配置して、そのＧＵＩ部品を通じて指定された１キー分のみの音程付き楽器音の生成リクエストであってもよい。
【0147】
サーバ１１０１側（又は、情報処理装置内）では、第１乃至第３の入力音の各入力音のオーディオ波形をメルスペクトログラムに変換し、各メルスペクトログラムから音色特徴量を抽出し且つ指定された混合比率で混合した後、音色特徴量及び８８キーの各音程情報をインスタンス条件として、音程付き楽器音を指定された音質（高音質又は低音質のいずれか）で生成する。これに対し、クライアント１１０２側では、サーバ１１０１側で生成された８８キー分の楽器音をストリーミング再生する（又は、ダウンロードして再生出力する）（但し、情報処理装置内部で音程付き楽器音を生成する場合は、情報処理装置において生成音を再生出力する）。
【0148】
なお、前処理操作フィールド２４３０でいずれかの入力音のパラメータを変更すると、「Ｇｅｎｅｒａｔｅ」ボタン２４２５がハイライト表示され、「Ｇｅｎｅｒａｔｅ」ボタン２４２５を選択して楽器音の生成をリクエストしないと、パラメータの変更が楽器音に反映されないことをユーザに視覚的に警告するようになっている。
【0149】
ユーザは、サーバ１１０１側で生成された８８キー分の楽器音を試聴して、気に入ると、お気に入りボタン２４２６を選択して、この楽器音をお気に入りリストへ登録することができる。お気に入りリストへの登録は、該当する楽器音の音源へのアクセス方法（例えば、サーバ１１０１側で保管しているｗａｖ形式ファイルの所在を識別するＵＲＩ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｉｄｅｎｔｉｆｉｅｒ）など）を記録する処理や、楽器音のｗａｖ形式ファイルをサーバ１１０１からダウンロードする処理を含んでいてもよい。
【0150】
図２５には、図２４に示したＧＵＩ画面の変形例を示している。図２５に示すＧＵＩ画面２５００では、楽器音生成操作フィールド２４２０は水平方向に並んだ２つの三角形２５１０及び２５２０をバックグラウンドに有している点で、図２４に示したＧＵＩ画面とは相違する。
【0151】
左側の三角形２５１０は、図２４に示したＧＵＩ画面２４００の楽器音生成操作フィールド２４２０内の三角形と同様に、第１乃至第３の入力音のサンプル波形の表示及び混合比率の設定に用いられる。ここでは、左側の三角形２５１０については詳細な説明を省略する。
【0152】
一方、右側の三角形２５２０は、本開示モデルによって生成された生成器を用いてインスタンス条件付きで楽器音を生成する際に、生成器に入力する乱数ｚを微調整するために使用される。右側の三角形２５２０においても、第１乃至第３の入力音はこの三角形２５２０の各頂点にそれぞれ割り付けられられている。この三角形内でいずれかの位置２５２１を選択すると、その選択した位置２５２１と各頂点との距離の比に基づいて、生成器に入力する乱数ｚが微調整される。例えば、三角形内で第１の入力音が割り付けられた頂点に近い位置が選択されるほど、第１の入力音の特徴をより多く含むように、乱数ｚが微調整される。
【0153】
Ｈ．情報処理装置の構成
このＨ項では、本開示の実施に供される情報処理装置の具体的な構成について説明する。
このＨ項では、本開示の実施に供される情報処理装置の具体的な構成について説明する。
【0154】
図２６には、情報処理装置２０００の具体的なハードウェア構成例を示している。図２６に示す情報処理装置２０００は、例えばＰＣなどで構成される。情報処理装置２０００は、図３に示した楽器音生成システム３００として動作し、又は図１１に示したサーバ１１０１又はクライアント１１０２として動作することができる。
【0155】
図２６に示す情報処理装置２０００は、ＣＰＵ２００１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２００２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２００３と、ホストバス２００４と、ブリッジ２００５と、拡張バス２００６と、インターフェース部２００７と、入力部２００８と、出力部２００９と、ストレージ部２０１０と、ドライブ２０１１と、通信部２０１３を含んでいる。
【0156】
ＣＰＵ２００１は、演算処理装置及び制御装置として機能し、各種プログラムに従って情報処理装置２０００の動作全般を制御する。ＲＯＭ２００２は、ＣＰＵ２００１が使用するプログラム（基本入出力システムなど）や演算パラメータを不揮発的に格納している。ＲＡＭ２００３は、ＣＰＵ２００１の実行において使用するプログラムをロードしたり、プログラム実行において適宜変化する作業データなどのパラメータを一時的に格納したりするのに使用される。ＲＡＭ２００３にロードしてＣＰＵ２００１において実行するプログラムは、例えば各種アプリケーションプログラムやオペレーティングシステム（ＯＳ）などである。
【0157】
ＣＰＵ２００１とＲＯＭ２００２とＲＡＭ２００３は、ＣＰＵバスなどから構成されるホストバス２００４により相互に接続されている。そして、ＣＰＵ２００１は、ＲＯＭ２００２及びＲＡＭ２００３の協働的な動作により、ＯＳが提供する実行環境下で各種アプリケーションプログラムを実行して、さまざまな機能やサービスを実現することができる。情報処理装置２０００がＰＣの場合、ＯＳは例えば米マイクロソフト社のＷｉｎｄｏｗｓやＵｎｉｘである。また、アプリケーションプログラムには、波形スペクトログラム変換部３０１、音色特徴抽出部３０２、生成部３０３、スペクトログラム波形逆変換部３０４の各々としての処理を実施するアプリケーション、音色特徴抽出部３０２及び生成部３０３の各々で用いられる機械学習モデル（ＤＮＮなど）の学習処理を実施するアプリケーション、図１３～図２５に示したようなＧＵＩ画面を通じたユーザ操作を処理するアプリケーションが含まれるものとする。
【0158】
ホストバス２００４は、ブリッジ２００５を介して拡張バス２００６に接続されている。拡張バス２００６は、例えばＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）バス又はＰＣＩ Ｅｘｐｒｅｓｓであり、ブリッジ２００５はＰＣＩ規格に基づく。但し、情報処理装置２０００がホストバス２００４、ブリッジ２００５及び拡張バス２００６によって回路コンポーネントを分離される構成する必要はなく、単一のバス（図示しない）によってほぼすべての回路コンポーネントが相互接続される実装であってもよい。
【0159】
インターフェース部２００７は、拡張バス２００６の規格に則って、入力部２００８、出力部２００９、ストレージ部２０１０、ドライブ２０１１、及び通信部２０１３といった周辺装置を接続する。但し、図２６に示す周辺装置がすべて必須であるとは限らず、また図示しない周辺装置を情報処理装置２０００がさらに含んでもよい。また、周辺装置は情報処理装置２０００の本体に内蔵されていてもよいし、一部の周辺装置は情報処理装置２０００本体に外付け接続されていてもよい。
【0160】
入力部２００８は、ユーザからの入力に基づいて入力信号を生成し、ＣＰＵ２００１に出力する入力制御回路などから構成される。入力部２００８は、キーボードやマウス、タッチパネル、マイクなどの入力デバイスを含んでもよい。出力部２００９は、例えば、液晶ディスプレイ（ＬＣＤ）装置、有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ装置、及びＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）などの表示装置を含む。入力部２００８及び出力部２００９の少なくとも一部のデバイスを使って、入力音及び音程を指定して音程付き楽器音の生成を指示したり、生成された音程付き楽器音の再生やダウンロードなどを指示したりするためのＧＵＩ操作が行われる。
【0161】
ストレージ部２０１０は、例えば、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）やＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの大容量記憶装置で構成されるが、外付けの記憶装置を含んでもよい。ストレージ部２０１０は、ＣＰＵ２００１で実行されるプログラム（アプリケーション、ＯＳなど）や各種データなどのファイルを格納する。また、ストレージ部２０１０は、楽器音の音源となるオーディオ波形のｗａｖ形式ファイルを蓄積したり、生成された楽器音のＭＩＤＩデータを保存したりするために使用される。
【0162】
リムーバブル記憶媒体２０１２は、例えばｍｉｃｒｏＳＤカードのようなカートリッジ式で構成される記憶媒体である。ドライブ２０１１は、装填したリムーバブル記憶媒体２０１３に対して読み出し及び書き込み動作を行う。ドライブ２０１１は、リムーバブル記録媒体２０１２から読み出したデータをＲＡＭ２００３やストレージ部２０１０に出力したり、ＲＡＭ２００３やストレージ部２０１０上のデータをリムーバブル記録媒体２０１２に書き込んだりする。リムーバブル記憶媒体２０１２は、楽器音の音源となるオーディオ波形のｗａｖ形式ファイルを読み込んだり、生成された楽器音のＭＩＤＩデータを保存したりするために使用される。
【0163】
通信部２０１３は、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）や４Ｇや５Ｇなどのセルラー通信網などの無線通信を行うデバイスである。情報処理装置２０００がサーバ１１０１として動作する場合、通信部２０１３を介してクライアント１１０２の相互通信が行われる。また、通信部２０１３は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）やＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）などの端子を備え、スキャナやプリンタなどのＵＳＢデバイスやディスプレイなどとのデータ通信を行う機能をさらに備えていてもよい。
【0164】
本明細書中において説明した一連の処理はハードウェア、ソフトウェア、又はハードウェアとソフトウェアを複合した構成によって実行することが可能である。ソフトウェアによる処理を実行する場合、本開示の実現に関わる処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。各種処理が実行可能な汎用的なコンピュータにプログラムをインストールして本開示の実現に関わる処理を実行させることも可能である。
【0165】
プログラムは、例えば記録媒体としてのＨＤＤやＳＳＤ、ＲＯＭなどのコンピュータ内に装備された記録媒体にあらかじめ格納しておくことができる。又は、プログラムを、フレキシブルディスク、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＭＯ（Ｍａｇｎｅｔｏ ｏｐｔｉｃａｌ）ディスク，ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＢＤ（Ｂｌｕ－Ｒａｙ Ｄｉｓｃ（登録商標））、磁気ディスク、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリなどのリムーバブル記録媒体に、一時的又は永続的に格納しておくことができる。このようなリムーバブル記録媒体を用いて、いわゆるパッケージソフトウェアとして本開示の実現に関わるプログラムを提供することができる。
【0166】
また、プログラムは、ダウンロードサイトからセルラーに代表されるＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットなどのネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、コンピュータ内のＨＤＤやＳＳＤなどの大容量記憶装置にインストールすることができる。
【0167】
Ｉ．関連研究との比較
このＩ項では、楽器音の生成に関する他の研究と本開示との比較について説明する。
このＩ項では、楽器音の生成に関する他の研究と本開示との比較について説明する。
【0168】
ＮＳｙｎｔｈ（非特許文献２を参照のこと）は、Ｗａｖｅｎｅｔ（非特許文献３を参照のこと）ベースのオートエンコーダを用いて楽器音の波形を生成するものであるが、自己回帰サンプリングのために生成が遅く、生成音にアーチファクトが生じ易いという課題がある。これに対し、本開示は、インタラクティブな時間内で、入力音を反映した楽器音を生成することができる。
【0169】
ＧＡＮＳｙｎｔｈ（非特許文献４を参照のこと）は、画像生成モデルを用いて位相情報を含むスペクトログラムを生成することにより、生成速度と音質の改善を実現することができるが、条件なしの生成モデルであり入力を受け付けないため、複雑な潜在空間で所望の音色を探索するのが困難である。これに対し、本開示は、インスタンス条件付きの生成モデルであるので、入力音を受け付けて、複雑な潜在空間で入力音を反映した音色を探索することができる。
【産業上の利用可能性】
【0170】
以上、特定の実施形態を参照しながら、本開示について詳細に説明してきた。しかしながら、本開示は上述した実施形態に限定して解釈されるべきでなく、本開示の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。また、本明細書に記載した効果はあくまで例示であって、本開示がもたらす効果は限定されるものではなく、本明細書に記載されていない付加的な効果があってもよい。
【0171】
本開示は、例えば、作曲や楽曲編集など音楽制作に関する処理を行うパーソナルコンピュータや電子楽器などに適用されて、任意の音のインスピレーションからユニークな楽器音を生成して、楽器を自由にカスタマイズしたり、楽曲に音で意味付けを行ったりすることができる。
【0172】
要するに、例示という形態により本開示について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本開示の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【0173】
なお、本開示は、以下のような構成をとることも可能である。
【0174】
（１）入力音及び音程情報を入力する入力部と、
入力音から音色特徴量を抽出する抽出部と、
音色特徴量と音程情報に基づいて、入力音の特徴を反映した音程付き楽器音の情報を生成する生成部と、
を具備する情報処理装置。
入力音から音色特徴量を抽出する抽出部と、
音色特徴量と音程情報に基づいて、入力音の特徴を反映した音程付き楽器音の情報を生成する生成部と、
を具備する情報処理装置。
【0175】
（２）前記生成部は、本開示モデルによって学習された生成器を用いて、入力音を前処理後の情報と音程情報をインスタンス条件として音程付き楽器音の情報を生成する、
上記（１）に記載の情報処理装置。
上記（１）に記載の情報処理装置。
【0176】
（３）前記抽出部は、音程情報が残らないように音色特徴量を抽出する、
上記（１）又は（２）のいずれか１つに記載の情報処理装置。
上記（１）又は（２）のいずれか１つに記載の情報処理装置。
【0177】
（４）前記抽出部は、音程に関する敵対的学習を行った音色特徴抽出器を用いて、入力音の音色特徴量を抽出する、
上記（１）乃至（３）のいずれか１つに記載の情報処理装置。
上記（１）乃至（３）のいずれか１つに記載の情報処理装置。
【0178】
（５）入力音をメルスペクトログラムに変換する変換部をさらに備え、
前記抽出部は、入力音のメルスペクトログラムから入力音の音色特徴量を抽出する、
上記（１）乃至（４）のいずれか１つの記載の情報処理装置。
前記抽出部は、入力音のメルスペクトログラムから入力音の音色特徴量を抽出する、
上記（１）乃至（４）のいずれか１つの記載の情報処理装置。
【0179】
（６）前記生成部は、音色特徴量と音程情報をインスタンス条件として、音程付き楽器音のメルスペクトログラムを生成し、
前記生成部が生成したメルスペクトログラムからオーディオ波形を構築する逆変換部をさらに備える、
上記（５）に記載の情報処理装置。
前記生成部が生成したメルスペクトログラムからオーディオ波形を構築する逆変換部をさらに備える、
上記（５）に記載の情報処理装置。
【0180】
（７）前記逆変換部は、メルスペクトログラムを線形スペクトログラムに周波数スケールに変換するスケール変換部と、線形スペクトログラムの位相を復元する位相復元部と、位相を復元した後の線形スペクトログラムをフーリエ逆変換するフーリエ逆変換部を含む、
上記（６）に記載の情報処理装置。
上記（６）に記載の情報処理装置。
【0181】
（８）前記スケール変換部は、非負値制約なしの最小二乗法の解に非負値への修正を施したものを反復計算の初期値に設定して、勾配法による更新と非負値への修正を繰り返す反復法によって周波数スケール変換を行う、
上記（７）に記載の情報処理装置。
上記（７）に記載の情報処理装置。
【0182】
（９）前記入力部は、複数の入力音を入力可能であり、
前記抽出部は、入力された各入力音から音色特徴量を抽出し、
前記生成部は、各入力音の音色特徴量を混合した音色特徴量と音程情報に基づいて楽器音情報を生成する、
上記（１）乃至（８）のいずれか１つに記載の情報処理装置。
前記抽出部は、入力された各入力音から音色特徴量を抽出し、
前記生成部は、各入力音の音色特徴量を混合した音色特徴量と音程情報に基づいて楽器音情報を生成する、
上記（１）乃至（８）のいずれか１つに記載の情報処理装置。
【0183】
（１０）前記入力部は、複数の入力音の混合比率に関する情報をさらに入力し、
前記生成部は、入力された混合比率に基づいて各入力音の音色特徴量を混合した音色特徴量と音程情報に基づいて楽器音情報を生成する、
上記（９）に記載の情報処理装置。
前記生成部は、入力された混合比率に基づいて各入力音の音色特徴量を混合した音色特徴量と音程情報に基づいて楽器音情報を生成する、
上記（９）に記載の情報処理装置。
【0184】
（１１）前記入力部は、ユーザ操作に基づいて指定された入力音及び音程情報を入力する、
上記（１）乃至（１０）のいずれか１つに記載の情報処理装置。
上記（１）乃至（１０）のいずれか１つに記載の情報処理装置。
【0185】
（１２）前記生成部が生成した音程付き楽器音の情報を出力する出力部をさらに備える、
上記（１）乃至（１１）のいずれか１つに記載の情報処理装置。
上記（１）乃至（１１）のいずれか１つに記載の情報処理装置。
【0186】
（１３）入力音及び音程情報を入力する入力ステップと、
入力音から音色特徴量を抽出する抽出ステップと、
音色特徴量と音程情報に基づいて、入力音の特徴を反映した音程付き楽器音の情報を生成する生成ステップと、
を有する情報処理方法。
入力音から音色特徴量を抽出する抽出ステップと、
音色特徴量と音程情報に基づいて、入力音の特徴を反映した音程付き楽器音の情報を生成する生成ステップと、
を有する情報処理方法。
【0187】
（１４）入力音及び音程情報を入力する入力部、
入力音から音色特徴量を抽出する抽出部、
音色特徴量と音程情報に基づいて、入力音の特徴を反映した音程付き楽器音の情報を生成する生成部、
としてコンピュータを機能させるようにコンピュータ可読形式で記述されたコンピュータプログラム。
入力音から音色特徴量を抽出する抽出部、
音色特徴量と音程情報に基づいて、入力音の特徴を反映した音程付き楽器音の情報を生成する生成部、
としてコンピュータを機能させるようにコンピュータ可読形式で記述されたコンピュータプログラム。
【0188】
（１５）楽器音の生成をリクエストする情報端末と、楽器音を生成する情報処理装置を具備し、
前記情報端末は、ユーザ操作によって指定された入力音及び音程情報を含めて楽器音の生成を前記情報処理装置にリクエストし、
前記情報処理装置は、前記情報端末から受け取った入力音から抽出した音色特徴量と音程情報に基づいて、入力音の特徴を反映した音程付き楽器音の情報を生成する、
音生成システム。
前記情報端末は、ユーザ操作によって指定された入力音及び音程情報を含めて楽器音の生成を前記情報処理装置にリクエストし、
前記情報処理装置は、前記情報端末から受け取った入力音から抽出した音色特徴量と音程情報に基づいて、入力音の特徴を反映した音程付き楽器音の情報を生成する、
音生成システム。
【0189】
（１６）情報処理装置と通信する通信部と、
入力音及び音程情報を含む、楽器音の生成に関する指定を行うユーザ操作部と、
を具備し、
前記ユーザ操作部を介して指定された内容に基づいて、入力音及び音程情報を含めて楽器音の生成リクエストを前記情報処理装置に送信するとともに、前記情報処理装置から音程付き楽器音の情報を受信する、
情報端末。
入力音及び音程情報を含む、楽器音の生成に関する指定を行うユーザ操作部と、
を具備し、
前記ユーザ操作部を介して指定された内容に基づいて、入力音及び音程情報を含めて楽器音の生成リクエストを前記情報処理装置に送信するとともに、前記情報処理装置から音程付き楽器音の情報を受信する、
情報端末。
【0190】
（１６－１）前記ユーザ操作部は、複数の入力音の指定が可能である、
上記（１６）に記載の情報処理装置。
上記（１６）に記載の情報処理装置。
【0191】
（１６－２）前記ユーザ操作部は、複数の入力音の混合比率に関する情報をさらに指定可能である、
上記（１６－１）に記載の情報処理装置。
上記（１６－１）に記載の情報処理装置。
【0192】
（１６－３）前記情報処理装置がリクエストに基づいて入力音の音色特徴量と音程情報をインスタンス条件として生成した音程付き楽器音の情報を受信する、
上記（１６）に記載の情報処理装置。
上記（１６）に記載の情報処理装置。
【0193】
（１６－４）前記情報処理装置から受信した音程付き楽器音の情報を出力する出力部をさらに備える、
上記（１６）に記載の情報処理装置。
上記（１６）に記載の情報処理装置。
【符号の説明】
【0194】
３００…音生成システム、３０１…波形スペクトログラム変換部
３０２…音色特徴抽出部、３０３…生成部
３０４…スペクトログラム波形逆変換部
５０１…音色特徴抽出器、５０２…楽器識別器
６０１…音色特徴抽出器、６０２…楽器識別器、６０３…音程識別器
８０１…周波数スケール変換部、８０２…位相復元部
８０３…短時間フーリエ逆変換部（ｉＳＴＦＴ）
９０１…初期化部、９０２…更新部、９０３…修正部
１００１…初期化部、１００２…初期値修正部
１００３…更新部、１００４…修正部
１１００…音生成システム（クライアントサーバモデル）
１１０１…サーバ、１１０２…クライアント
２０００…情報処理装置、２００１…ＣＰＵ、２００２…ＲＯＭ
２００３…ＲＡＭ、２００４…ホストバス、２００５…ブリッジ
２００６…拡張バス、２００７…インターフェース部
２００８…入力部、２００９…出力部、２０１０…ストレージ部
２０１１…ドライブ、２０１２…リムーバブル記録媒体
２０１３…通信部
３０２…音色特徴抽出部、３０３…生成部
３０４…スペクトログラム波形逆変換部
５０１…音色特徴抽出器、５０２…楽器識別器
６０１…音色特徴抽出器、６０２…楽器識別器、６０３…音程識別器
８０１…周波数スケール変換部、８０２…位相復元部
８０３…短時間フーリエ逆変換部（ｉＳＴＦＴ）
９０１…初期化部、９０２…更新部、９０３…修正部
１００１…初期化部、１００２…初期値修正部
１００３…更新部、１００４…修正部
１１００…音生成システム（クライアントサーバモデル）
１１０１…サーバ、１１０２…クライアント
２０００…情報処理装置、２００１…ＣＰＵ、２００２…ＲＯＭ
２００３…ＲＡＭ、２００４…ホストバス、２００５…ブリッジ
２００６…拡張バス、２００７…インターフェース部
２００８…入力部、２００９…出力部、２０１０…ストレージ部
２０１１…ドライブ、２０１２…リムーバブル記録媒体
２０１３…通信部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
