特許 7420220 訓練済みモデルの確立方法、推定方法、演奏エージェントの推薦方法、演奏エージェントの調整方法、訓練済みモデルの確立システム、推定システム、訓練済みモデルの確立プログラム及び推定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-15

(45)【発行日】2024-01-23

(54)【発明の名称】訓練済みモデルの確立方法、推定方法、演奏エージェントの推薦方法、演奏エージェントの調整方法、訓練済みモデルの確立システム、推定システム、訓練済みモデルの確立プログラム及び推定プログラム

(51)【国際特許分類】

   G10G 1/00 20060101AFI20240116BHJP

   G10H 1/36 20060101ALI20240116BHJP

【ＦＩ】

G10G1/00

G10H1/36

【請求項の数】 15

(21)【出願番号】P 2022509545

(86)(22)【出願日】2021-03-09

(86)【国際出願番号】 JP2021009362

(87)【国際公開番号】W WO2021193033

(87)【国際公開日】2021-09-30

【審査請求日】2022-09-08

(31)【優先権主張番号】P 2020052757

(32)【優先日】2020-03-24

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000004075

【氏名又は名称】ヤマハ株式会社

(74)【代理人】

【識別番号】100124039

【弁理士】

【氏名又は名称】立花 顕治

(72)【発明者】

【氏名】前澤 陽

(72)【発明者】

【氏名】石川 克己

【審査官】大野 弘

(56)【参考文献】

【文献】特開２０１８－０７８９７５（ＪＰ，Ａ）

【文献】特開２０１９－１９１９３７（ＪＰ，Ａ）

【文献】特開２０１９－１６２２０７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｇ １／００

Ｇ１０Ｈ １／３６

(57)【特許請求の範囲】

【請求項1】

演奏者による第１演奏の第１演奏データ、前記第１演奏と共に行われる第２演奏の第２演奏データ、及び前記演奏者の満足度を示すように構成される満足度ラベルの組み合わせによりそれぞれ構成される複数のデータセットを取得し、
前記複数のデータセットを使用して、満足度推定モデルの機械学習を実施する、
処理を備え、
前記機械学習は、前記各データセットについて、前記第１演奏データ及び前記第２演奏データから前記演奏者の満足度を推定した結果が前記満足度ラベルにより示される満足度に適合するものとなるように前記満足度推定モデルを訓練することにより構成される、
コンピュータにより実現され、
前記第２演奏は、前記演奏者と共演する演奏エージェントによる演奏であり、
前記機械学習は、前記各データセットについて、前記第１演奏データ及び前記第２演奏データに基づいて算出される共演特徴量から前記演奏者の満足度を推定した結果が前記満足度ラベルにより示される満足度に適合するものとなるように前記満足度推定モデルを訓練することにより構成され、
前記第２演奏は、前記演奏者の前記第１演奏に係る第１演奏者データに基づいて前記演奏エージェントが自動的に行う、
訓練済みモデルの確立方法。

【請求項2】

前記第１演奏者データは、前記演奏者による第１演奏における演奏音、演奏データ、及び画像の少なくともいずれかを含む、
請求項１に記載の訓練済みモデルの確立方法。

【請求項3】

前記満足度ラベルは、感情推定モデルを使用することで、前記演奏者の反応から推定された満足度を示すように構成される、
請求項１または２に記載の訓練済みモデルの確立方法。

【請求項4】

前記演奏者の反応は、前記共演における演奏者の音声、画像、及び生体情報の少なくともいずれかを含む、
請求項３に記載の訓練済みモデルの確立方法。

【請求項5】

演奏者による第１演奏の第１演奏データ、前記第１演奏と共に行われる第２演奏の第２演奏データ、及び前記演奏者の満足度を示すように構成される満足度ラベルの組み合わせによりそれぞれ構成される複数のデータセットを取得し、
前記複数のデータセットを使用して、満足度推定モデルの機械学習を実施する、
処理を備え、
前記機械学習は、前記各データセットについて、前記第１演奏データ及び前記第２演奏データから前記演奏者の満足度を推定した結果が前記満足度ラベルにより示される満足度に適合するものとなるように前記満足度推定モデルを訓練することにより構成される、
コンピュータにより実現され、
前記第２演奏は、前記演奏者と共演する演奏エージェントによる演奏であり、
前記第２演奏は、前記演奏者の前記第１演奏に係る第１演奏者データに基づいて前記演奏エージェントが自動的に行う、
確立方法。

【請求項6】

演奏者による第１演奏の第１演奏データ及び前記第１演奏と共に行われる第２演奏の第２演奏データを取得し、
機械学習により生成された訓練済みの満足度推定モデルを使用して、取得された前記第１演奏データ及び前記第２演奏データから前記演奏者の満足度を推定し、
前記満足度を推定した結果に関する情報を出力する、
処理を備える、
コンピュータにより実現され、
前記第２演奏は、前記演奏者と共演する演奏エージェントによる演奏であり、
前記推定することは、前記訓練済みの満足度推定モデルを使用して、前記第１演奏データ及び前記第２演奏データに基づいて算出される共演特徴量から前記演奏者の満足度を推定することにより構成され、
前記第２演奏は、前記演奏者による第１演奏に係る第１演奏者データに基づいて前記演奏エージェントが自動的に行う、
推定方法。

【請求項7】

前記第１演奏者データは、前記演奏者による第１演奏における演奏音、演奏データ、及び画像の少なくともいずれかを含む、
請求項６に記載の推定方法。

【請求項8】

前記第１演奏データは、前記演奏者による実際の演奏の演奏データ、又は前記演奏者による実際の演奏から抽出された特徴を含む演奏データである、
請求項６または７に記載の推定方法。

【請求項9】

演奏者による第１演奏の第１演奏データ及び前記第１演奏と共に行われる第２演奏の第２演奏データを取得し、
機械学習により生成された訓練済みの満足度推定モデルを使用して、取得された前記第１演奏データ及び前記第２演奏データから前記演奏者の満足度を推定し、
前記満足度を推定した結果に関する情報を出力する、
処理を備える、
コンピュータにより実現され、
前記第２演奏は、前記演奏者と共演する演奏エージェントによる演奏であり、
前記第２演奏は、前記演奏者の前記第１演奏に係る第１演奏者データに基づいて前記演奏エージェントが自動的に行う、
推定方法。

【請求項10】

複数の演奏エージェントそれぞれに対して前記第１演奏に係る第１演奏者データを供給することで、複数件の第２演奏の第２演奏データを生成し、
請求項６から８のいずれか１項に記載の推定方法により、訓練済みの満足度推定モデルを使用して、前記複数の演奏エージェントそれぞれに対する前記演奏者の満足度を推定し、
推定された前記複数の演奏エージェントそれぞれに対する前記満足度に基づいて、前記複数の演奏エージェントの中から推薦する演奏エージェントを選択する、
処理を備える、
コンピュータにより実現される演奏エージェントの推薦方法。

【請求項11】

前記演奏エージェントに前記第１演奏に係る第１演奏者データを供給することで、第２演奏の第２演奏データを生成し、
請求項６から８のいずれか１項に記載の推定方法により、前記満足度推定モデルを使用して、前記演奏エージェントに対する前記演奏者の満足度を推定し、
前記第２演奏データを生成する際に使用する前記演奏エージェントの内部パラメータの値を変更する、
処理を備え、
前記生成すること、前記推定すること、及び前記変更することを反復的に実行することで、前記満足度が高くなるように前記内部パラメータの値を調整する、
コンピュータにより実現される調整方法。

【請求項12】

プロセッサリソースと、
前記プロセッサリソースにより実行されるプログラムを保持するメモリリソースと、
を備える訓練済みのモデル生成システムであって、
前記プロセッサリソースは、前記プログラムを実行することにより、
演奏者による第１演奏の第１演奏データ、前記第１演奏と共に行われる第２演奏の第２演奏データ、及び前記演奏者の満足度を示すように構成される満足度ラベルの組み合わせによりそれぞれ構成される複数のデータセットを取得し、
前記複数のデータセットを使用して、満足度推定モデルの機械学習を実施する、
ように構成され、
前記機械学習は、前記各データセットについて、前記第１演奏データ及び前記第２演奏データから前記演奏者の満足度を推定した結果が前記満足度ラベルにより示される満足度に適合するものとなるように前記満足度推定モデルを訓練することにより構成され、
前記第２演奏は、前記演奏者と共演する演奏エージェントによる演奏であり、
前記第２演奏は、前記演奏者の前記第１演奏に係る第１演奏者データに基づいて前記演奏エージェントが自動的に行う、
訓練済みモデルの確立システム。

【請求項13】

プロセッサリソースと、
前記プロセッサリソースにより実行されるプログラムを保持するメモリリソースと、
を備える訓練済みのモデル生成システムであって、
前記プロセッサリソースは、前記プログラムを実行することにより、
演奏者による第１演奏の第１演奏データ及び前記第１演奏と共に行われる第２演奏の第２演奏データを取得し、
機械学習により生成された訓練済みの満足度推定モデルを使用して、取得された前記第１演奏データ及び前記第２演奏データから前記演奏者の満足度を推定し、
前記満足度を推定した結果に関する情報を出力する、
ように構成され、
前記第２演奏は、前記演奏者と共演する演奏エージェントによる演奏であり、
前記第２演奏は、前記演奏者の前記第１演奏に係る第１演奏者データに基づいて前記演奏エージェントが自動的に行う、
推定システム。

【請求項14】

コンピュータに、
演奏者による第１演奏の第１演奏データ、前記第１演奏と共に行われる第２演奏の第２演奏データ、及び前記演奏者の満足度を示すように構成される満足度ラベルの組み合わせによりそれぞれ構成される複数のデータセットを取得し、
前記複数のデータセットを使用して、満足度推定モデルの機械学習を実施する、
処理を実行させるための訓練済みモデルの確立プログラムであって、
前記機械学習は、前記各データセットについて、前記第１演奏データ及び前記第２演奏データから前記演奏者の満足度を推定した結果が前記満足度ラベルにより示される満足度に適合するものとなるように前記満足度推定モデルを訓練することにより構成され、
前記第２演奏は、前記演奏者と共演する演奏エージェントによる演奏であり、
前記第２演奏は、前記演奏者の前記第１演奏に係る第１演奏者データに基づいて前記演奏エージェントが自動的に行う、
訓練済みモデルの確立プログラム。

【請求項15】

コンピュータに、
演奏者による第１演奏の第１演奏データ及び前記第１演奏と共に行われる第２演奏の第２演奏データを取得し、
機械学習により生成された訓練済みの満足度推定モデルを使用して、取得された前記第１演奏データ及び前記第２演奏データから前記演奏者の満足度を推定し、
前記満足度を推定した結果に関する情報を出力する、
処理を実行させ、
前記第２演奏は、前記演奏者と共演する演奏エージェントによる演奏であり、
前記第２演奏は、前記演奏者の前記第１演奏に係る第１演奏者データに基づいて前記演奏エージェントが自動的に行う、
推定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、訓練済みモデルの確立方法、推定方法、演奏エージェントの推薦方法、演奏エージェントの調整方法、訓練済みモデルの確立システム、推定システム、訓練済みモデルの確立プログラム及び推定プログラムに関する。

【背景技術】

【0002】

従来、演奏者により行われる演奏を評価する様々な演奏評価方法が開発されている。例えば、特許文献１には、演奏された楽曲全体のうちから一部を選択的に対象として演奏操作を評価する技術が提案されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第３６７８１３５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１により提案される技術によれば、演奏者による演奏の正確さを評価することができる。しかしながら、本件発明者らは、従来の技術には、次のような問題点があることを見出した。すなわち、一般的に、演奏者は、他の演奏者（例えば、他者、演奏エージェント等）と共に演奏する（共演する）ことが多い。共演では、演奏者による第１演奏及び他の演奏者による第２演奏が並行して行われる。この他の演奏者により行われる第２演奏は、基本的には、第１演奏と同じではない。そのため、演奏の正確性から演奏者の共演又は共演者に対する満足度を推定することは困難である。

【0005】

本発明は、一側面では、以上の事情を鑑みてなされたものであり、その目的は、演奏者による第１演奏と共に行われる第２演奏に対する第１演奏の演奏者の満足度を適切に推定するための技術、並びにその技術を利用した演奏エージェントを推薦するための技術、及び演奏エージェントを調整する技術を提供することである。

【課題を解決するための手段】

【0006】

上記目的を達成するために、本発明の一態様に係る１又は複数のコンピュータにより実現される訓練済みモデルの確立方法は、演奏者による第１演奏の第１演奏データ、前記第１演奏と共に行われる第２演奏の第２演奏データ、及び前記演奏者の満足度を示すように構成される満足度ラベルの組み合わせによりそれぞれ構成される複数のデータセットを取得し、前記複数のデータセットを使用して、満足度推定モデルの機械学習を実施する、
処理を備える。前記機械学習は、前記各データセットについて、前記第１演奏データ及び前記第２演奏データから前記演奏者の満足度を推定した結果が前記満足度ラベルにより示される満足度に適合するものとなるように前記満足度推定モデルを訓練することにより構成される。

【0007】

また、本発明の一態様に係る１又は複数のコンピュータにより実現される推定方法は、演奏者による第１演奏の第１演奏データ及び前記第１演奏と共に行われる第２演奏の第２演奏データを取得し、機械学習により生成された訓練済みの満足度推定モデルを使用して、取得された前記第１演奏データ及び前記第２演奏データから前記演奏者の満足度を推定し、前記満足度を推定した結果に関する情報を出力する、処理を備える。

【0008】

また、本発明の一態様に係るコンピュータにより実現される演奏エージェントの推薦方法は、複数の演奏エージェントそれぞれに対して前記第１演奏に係る第１演奏者データを供給することで、複数件の第２演奏の第２演奏データを生成し、上記推定方法により、訓練済みの満足度推定モデルを使用して、前記複数の演奏エージェントそれぞれに対する前記演奏者の満足度を推定し、推定された前記複数の演奏エージェントそれぞれに対する前記満足度に基づいて、前記複数の演奏エージェントの中から推薦する演奏エージェントを選択する、処理を備える。

【0009】

また、本発明の一態様に係るコンピュータにより実現される演奏エージェントの調整方法は、前記演奏エージェントに前記第１演奏に係る第１演奏者データを供給することで、第２演奏の第２演奏データを生成し、上記推定方法により、前記満足度推定モデルを使用して、前記演奏エージェントに対する前記演奏者の満足度を推定し、前記第２演奏データを生成する際に使用する前記演奏エージェントの内部パラメータの値を変更する、処理を備える。前記生成すること、前記推定すること、及び前記変更することを反復的に実行することで、前記満足度が高くなるように前記内部パラメータの値を調整する。

【発明の効果】

【0010】

本発明によれば、演奏者による第１演奏と共に行われる第２演奏に対する第１演奏の演奏者の満足度を適切に推定するための技術、並びにその技術を利用した演奏エージェントを推薦するための技術、及び演奏エージェントを調整する技術を提供することができる。

【図面の簡単な説明】

【0011】

【図1】図１は、第１実施形態に係る情報処理システムの構成の一例を示す。

【図2】図２は、第１実施形態に係る演奏制御装置のハードウェア構成の一例を示す。

【図3】図３は、第１実施形態に係る推定装置のハードウェア構成の一例を示す。

【図4】図４は、第１実施形態における情報処理システムのソフトウェア構成の一例を示す。

【図5】図５は、第１実施形態に係る満足度推定モデルの訓練処理の一例を示すフローチャートである。

【図6】図６は、第１実施形態に係る推定処理の一例を示すフローチャートである。

【図7】図７は、第２実施形態に係る推薦処理の一例を示すシーケンス図である。

【図8】図８は、第３実施形態に係る調整処理の一例を示すシーケンス図である。

【発明を実施するための形態】

【0012】

以下、本発明の実施形態について添付図面を参照しながら詳細に説明する。以下に説明される各実施形態は、本発明を実現可能な構成の一例に過ぎない。以下の各実施形態は、本発明が適用される装置の構成や各種の条件に応じて適宜に修正又は変更することが可能である。また、以下の各実施形態に含まれる要素の組合せの全てが本発明を実現するに必須であるとは限られず、要素の一部を適宜に省略することが可能である。したがって、本発明の範囲は、以下の各実施形態に記載される構成によって限定されるものではない。また、相互に矛盾のない限りにおいて実施形態内に記載された複数の構成を組み合わせた構成も採用可能である。

【0013】

＜１．第１実施形態＞
図１は、第１実施形態に係る情報処理システムＳの構成の一例を示す。図１に示すように、第１実施形態に係る情報処理システムＳは、演奏制御装置１００及び推定装置３００を有する。第１実施形態に係る情報処理システムＳは、訓練済みモデルの確立システムの一例である。また、第１実施形態に係る情報処理システムＳは、推定システムの一例でもある。演奏制御装置１００及び推定装置３００は、例えば、パーソナルコンピュータ、サーバ、タブレット端末、携帯端末（例えば、スマートフォン）等の情報処理装置（コンピュータ）によって実現されてよい。演奏制御装置１００及び推定装置３００は、ネットワークＮＷを介して又は直接的に通信可能に構成されてよい。

【0014】

第１実施形態に係る演奏制御装置１００は、自動演奏ピアノ等の演奏装置２００を制御して楽曲を演奏させる演奏エージェント１６０を備えるように構成されるコンピュータである。演奏装置２００は、第２演奏を示す第２演奏データに従って第２演奏をおこなうように適宜構成されてよい。第１実施形態に係る推定装置３００は、機械学習により、訓練済みの満足度推定モデルを生成するように構成されたコンピュータである。また、推定装置３００は、訓練済みの満足度推定モデルを使用して、演奏者及び演奏エージェント１６０の共演に対する演奏者の満足度（好感度）を推定するように構成されるコンピュータである。なお、訓練済みの満足度推定モデルを生成する処理、及び訓練済みの満足度推定モデルを使用して演奏者の満足度を推定する処理は、同一のコンピュータにより実行されてもよいし、或いは別々のコンピュータにより実行されてもよい。本発明における「満足度」は、ある特定の演奏者の個人的な満足度（personal satisfaction）を意味する。

【0015】

本実施形態に係る演奏者は、典型的には、演奏制御装置１００に接続された電子楽器ＥＭを用いて演奏する。本実施形態の電子楽器ＥＭは、例えば、電子鍵盤楽器（電子ピアノ等）、電子弦楽器（エレキギター等）、電子管楽器（ウィンドシンセサイザ等）等であってよい。ただし、演奏者が演奏に使用する楽器は、電子楽器ＥＭに限られなくてよい。他の一例では、演奏者は、アコースティック楽器を用いて演奏してもよい。更に他の一例では、本実施形態に係る演奏者は、楽器を用いない楽曲の歌唱者であってもよい。この場合、演奏者による演奏は、楽器を用いずに行われてもよい。以下、演奏者による演奏を「第１演奏」と称し、第１演奏を行う演奏者ではない主体（演奏エージェント１６０、他者等）による演奏を「第２演奏」と称する。

【0016】

概略的には、第１実施形態の情報処理システムＳは、訓練段階において、演奏者による訓練用の第１演奏の第１演奏データ、第１演奏と共に行われる訓練用の第２演奏の第２演奏データ、及び演奏者の満足度（真値／正解）を示すように構成される満足度ラベルの組み合わせによりそれぞれ構成される複数のデータセットを取得し、取得された複数のデータセットを使用して、満足度推定モデルの機械学習を実施する。満足度推定モデルの機械学習は、各データセットについて、訓練用の第１演奏データ及び第２演奏データから演奏者の満足度を推定した結果が満足度ラベルにより示される満足度（真値／正解）に適合するものとなるように満足度推定モデルを訓練することにより構成される。

【0017】

また、第１実施形態の情報処理システムＳは、推定段階において、演奏者による第１演奏の第１演奏データ及び第１演奏と共に行われる第２演奏の第２演奏データを取得し、機械学習により生成された訓練済みの満足度推定モデルを使用して、取得された第１演奏データ及び第２演奏データから演奏者の満足度を推定し、満足度を推定した結果に関する情報を出力する。なお、第１演奏データ及び第２演奏データから演奏者の満足度を推定することは、第１演奏データ及び第２演奏データに基づいて共演特徴量を算出し、算出された共演特徴量から演奏者の満足度を推定することにより構成されてよい。

【0018】

＜２．ハードウェア構成例＞
（演奏制御装置）
図２は、本実施形態に係る演奏制御装置１００のハードウェア構成の一例を示す。図２に示すように、演奏制御装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ストレージ１０３、入力部１０４、出力部１０５、集音部１０６、撮像部１０７、送受信部１０８、及びドライブ１０９がバスＢ１により電気的に接続されたコンピュータである。

【0019】

ＣＰＵ１０１は、演奏制御装置１００における種々の演算を実行するための１又は複数のプロセッサにより構成される。ＣＰＵ１０１は、プロセッサリソースの一例である。プロセッサの種類は、実施の形態に応じて適宜選択されてよい。ＲＡＭ１０２は、揮発性の記憶媒体であって、ＣＰＵ１０１で使用される設定値等の情報を保持すると共に種々のプログラムが展開されるワーキングメモリとして動作する。ストレージ１０３は、不揮発性の記憶媒体であって、ＣＰＵ１０１によって用いられる種々のプログラム及びデータを記憶する。ＲＡＭ１０２及びストレージ１０３は、プロセッサリソースにより実行されるプログラムを保持するメモリリソースの一例である。

【0020】

本実施形態では、ストレージ１０３は、プログラム８１等の各種情報を記憶する。プログラム８１は、演奏者による楽曲の第１演奏に並行して行われる第２演奏を示す第２演奏データを生成する情報処理及び演奏エージェント１６０の内部パラメータの値を調整する情報処理を演奏制御装置１００に実行させるためのプログラムである。プログラム８１は、当該情報処理の一連の命令を含む。

【0021】

入力部１０４は、演奏制御装置１００に対する操作を受け付けるための入力装置により構成される。入力部１０４は、例えば、演奏制御装置１００に接続されるキーボード、マウス等の１又は複数の入力装置により構成されてよい。

【0022】

出力部１０５は、種々の情報を出力するための出力装置により構成される。出力部１０５は、例えば、演奏制御装置１００に接続されるディスプレイ、スピーカ等の１又は複数の出力装置により構成されてよい。情報の出力は、例えば、映像信号、音信号等により行われてよい。

【0023】

なお、入力部１０４及び出力部１０５は、演奏制御装置１００に対するユーザの操作を受け付けると共に種々の情報を出力するタッチパネルディスプレイ等の入出力装置によって一体的に構成されていてもよい。

【0024】

集音部１０６は、集音した音を電気信号に変換してＣＰＵ１０１に供給するように構成される。集音部１０６は、例えば、マイクロフォンにより構成される。集音部１０６は、演奏制御装置１００に内蔵されていてもよいし、不図示のインタフェースを介して演奏制御装置１００に接続されていてもよい。

【0025】

撮像部１０７は、撮影した映像を電気信号に変換してＣＰＵ１０１に供給するように構成される。撮像部１０７は、例えば、デジタルカメラにより構成される。撮像部１０７は、演奏制御装置１００に内蔵されていてもよいし、不図示のインタフェースを介して演奏制御装置１００に接続されていてもよい。

【0026】

送受信部１０８は、無線又は有線でデータを他の装置と送受信するように構成される。本実施形態では、演奏制御装置１００は、送受信部１０８を介して、制御対象である演奏装置２００、演奏者が楽曲を演奏する際に用いる電子楽器ＥＭ、及び推定装置３００と接続し、データを送受信してよい。送受信部１０８は、複数のモジュール（例えば、Bluetooth（登録商標）モジュール、Wi-Fi（登録商標）モジュール、ＵＳＢ（Universal Serial Bus）ポート、専用ポート等）を含んでよい。

【0027】

ドライブ１０９は、記憶媒体９１に記憶されたプログラム等の各種情報を読み込みためのドライブ装置である。記憶媒体９１は、コンピュータその他装置、機械等が、記憶されたプログラム等の各種情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。記憶媒体９１は、例えば、フロッピディスク、光ディスク（例えば、コンパクトディスク、デジタル・ヴァーサタイル・ディスク、ブルーレイディスク）、光磁気ディスク、磁気テープ、不揮発性のメモリカード（例えば、フラッシュメモリ）等であってよい。ドライブ１０９の種類は、記憶媒体９１の種類に応じて任意に選択されてよい。上記プログラム８１は、記憶媒体９１に記憶されていてもよく、演奏制御装置１００は、この記憶媒体９１から上記プログラム８１を読み出してもよい。

【0028】

バスＢ１は、演奏制御装置１００の上記ハードウェアの構成要素を相互にかつ電気的に接続する信号伝送路である。なお、演奏制御装置１００の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、入力部１０４、出力部１０５、集音部１０６、撮像部１０７、送受信部１０８、及びドライブ１０９の少なくともいずれかは省略されてよい。

【0029】

（推定装置）
図３は、本実施形態に係る推定装置３００のハードウェア構成の一例を示す。図３に示すように、推定装置３００は、ＣＰＵ３０１、ＲＡＭ３０２、ストレージ３０３、入力部３０４、出力部３０５、集音部３０６、撮像部３０７、送受信部３０９、及びドライブ３１０がバスＢ３により電気的に接続されたコンピュータである。

【0030】

ＣＰＵ３０１は、推定装置３００における種々の演算を実行するための１又は複数のプロセッサにより構成される。ＣＰＵ３０１は、プロセッサリソースの一例である。プロセッサの種類は、実施の形態に応じて適宜選択されてよい。ＲＡＭ３０２は、揮発性の記憶媒体であって、ＣＰＵ３０１で使用される設定値等の各種情報を保持すると共に種々のプログラムが展開されるワーキングメモリとして動作する。ストレージ３０３は、不揮発性の記憶媒体であって、ＣＰＵ３０１によって用いられる種々のプログラム及びデータを記憶する。ＲＡＭ３０２及びストレージ３０３は、プロセッサリソースにより実行されるプログラムを保持するメモリリソースの一例である。

【0031】

本実施形態では、ストレージ３０３は、プログラム８３等の各種情報を記憶する。プログラム８３は、満足度推定モデルの機械学習を実施する情報処理（後述する図５）及び訓練済みの満足度推定モデルを使用して満足度を推定する情報処理（後述する図６）を推定装置３００に実行させるためのプログラムである。プログラム８３は、当該情報処理の一連の命令を含む。満足度推定モデルの機械学習を実施するプログラム８３の命令部分は、訓練済みモデルの確立プログラムの一例である。また、満足度を推定するプログラム８３の命令部分は、推定プログラムの一例である。確立プログラム及び推定プログラムは、同一のファイルに含まれてもよいし、或いは別々のファイルで保持されてもよい。

【0032】

入力部３０４から撮像部３０７、ドライブ３１０及び記憶媒体９３は、演奏制御装置１００の入力部１０４から撮像部１０７、ドライブ１０９及び記憶媒体９１と同様に構成されてよい。プログラム８３は、記憶媒体９３に記憶されていてよく、推定装置３００は、記憶媒体９３からプログラム８３を読み出してもよい。

【0033】

生体センサ３０８は、演奏者の生体情報を示す生体信号を時系列的に取得するように構成される。演奏者の生体情報は、例えば、心拍数、発汗量、血圧等の１又は複数種類のデータにより構成されてよい。生体センサ３０８は、例えば、心拍計、発汗計、血圧計等のセンサにより構成されてよい。

【0034】

送受信部３０９は、無線又は有線でデータを他の装置と送受信するように構成される。本実施形態では、推定装置３００は、送受信部３０９を介して、演奏者が楽曲を演奏する際に用いる電子楽器ＥＭ及び演奏制御装置１００と接続し、データを送受信してよい。送受信部３０９は、送受信部１０８と同様に複数のモジュールを含んでよい。

【0035】

バスＢ３は、推定装置３００の上記ハードウェアの構成要素を相互にかつ電気的に接続する信号伝送路である。なお、推定装置３００の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、入力部３０４、出力部３０５、集音部３０６、撮像部３０７、生体センサ３０８、送受信部３０９、及びドライブ３１０の少なくともいずれかは省略されてよい。

【0036】

＜３．ソフトウェア構成例＞
図４は、本実施形態に係る情報処理システムＳのソフトウェア構成の一例を示す。

【0037】

演奏制御装置１００は、制御部１５０及び記憶部１８０を有する。制御部１５０は、ＣＰＵ１０１及びＲＡＭ１０２により、演奏制御装置１００の動作を統合的に制御するように構成される。記憶部１８０は、ＲＡＭ１０２及びストレージ１０３により、制御部１５０において用いられる種々のデータを記憶するように構成される。演奏制御装置１００のＣＰＵ１０１は、ストレージ１０３に記憶されたプログラム８１をＲＡＭ１０２に展開し、ＲＡＭ１０２に展開されたプログラム８１に含まれる命令を実行する。これにより、演奏制御装置１００（制御部１５０）は、認証部１５１、演奏取得部１５２、映像取得部１５３、及び演奏エージェント１６０をソフトウェアモジュールとして備えるコンピュータとして動作する。

【0038】

認証部１５１は、推定装置３００等の外部装置と協働してユーザ（演奏者）を認証するように構成される。一例では、認証部１５１は、ユーザが入力部１０４を用いて入力したユーザ識別子及びパスワード等の認証データを推定装置３００に送信し、推定装置３００から受信した認証結果に基づいてユーザのアクセスを許可又は拒否するように構成される。なお、ユーザを認証する外部装置は、推定装置３００以外の認証サーバでもよい。認証部１５１は、認証された（アクセスが許可された）ユーザのユーザ識別子を他のソフトウェアモジュールに供給するように構成されてよい。

【0039】

第１演奏者データは、演奏者による第１演奏における演奏音、第１演奏データ、及び画像の少なくともいずれかを含むように構成されてよい。これらのうち、演奏取得部１５２は、演奏者による第１演奏の音に関する第１演奏者データを取得するように構成される。一例では、演奏取得部１５２は、集音部１０６が第１演奏の音を集音して出力する電気信号により示される演奏音のデータを第１演奏者データとして取得してもよい。また、演奏取得部１５２は、例えば、電子楽器ＥＭから供給された第１演奏を示す第１演奏データ（例えば、タイムスタンプ付きのＭＩＤＩデータ列）を第１演奏者データとして取得してもよい。第１演奏者データは、演奏に含まれる音の特性（例えば、発音時刻及び音高）を示す情報により構成されてよく、演奏者による第１演奏を表現する高次元の時系列データの一種であってよい。演奏取得部１５２は、取得した音に関する第１演奏者データを演奏エージェント１６０に供給するように構成される。演奏取得部１５２は、音に関する第１演奏者データを推定装置３００に送信するように構成されてもよい。

【0040】

映像取得部１５３は、演奏者による第１演奏の映像に関する第１演奏者データを取得するように構成される。映像取得部１５３は、第１演奏を行う演奏者の映像を示す映像データを第１演奏者データとして取得するように構成される。一例では、映像取得部１５３は、第１演奏者データとして、撮像部１０７が撮影した第１演奏における演奏者の映像を示す電気信号に基づく映像データを取得してよい。或いは、映像データは、演奏における演奏者の動きの特徴を示す動きデータにより構成されてよく、演奏者による演奏を表現する高次元の時系列データの一種であってよい。動きデータは、例えば、演奏者の全体像又は骨格（スケルトン）等を時系列的に取得したデータである。なお、第１演奏者データに含まれる画像は、映像（動画像）に限られなくてよく、静止画像であってもよい。映像取得部１５３は、取得された映像に関する第１演奏者データを演奏エージェント１６０に供給するように構成される。映像取得部１５３は、取得された映像に関する第１演奏者データを推定装置３００に送信するように構成されてもよい。

【0041】

演奏エージェント１６０は、演奏者の第１演奏に並行して行う第２演奏を示す第２演奏データを生成し、生成された第２演奏データに基づいて演奏装置２００の動作を制御するように構成される。演奏エージェント１６０は、演奏者の第１演奏に係る第１演奏者データに基づいて第２演奏を自動的に行うように構成されてよい。演奏エージェント１６０は、例えば、国際公開２０１８／０７０２８６号に開示される手法、「音響信号によるリアルタイム楽譜追跡と能動的演奏支援システムに関する研究」（酒向慎司（名古屋工業大学）、電気通信普及財団「研究調査助成報告書」第３１号、２０１６年度）に開示される手法等の任意の方法に基づく自動演奏制御を実行するように構成されてよい。自動演奏（第２演奏）は、例えば、第１演奏に対する伴奏であってもよいし、対旋律であってもよい。

【0042】

一例では、演奏エージェント１６０は、その時の状態（例えば、「両者（演奏者及び演奏エージェント）の音量差」、「演奏エージェントの音量」、「演奏エージェントのテンポ」、「両者のタイミング差」等）に応じて実行する行動（例えば、「テンポを１上げる」、「テンポを１下げる」、「テンポを１０下げる」、・・・、「音量を３上げる」、「音量を１上げる」、「音量を１下げる」等）を決定する複数の内部パラメータを有する演算モデルにより構成されてよい。演奏エージェント１６０は、その時の状態に応じた行動(action)をそれら複数の内部パラメータに基づいて決定し、決定された行動に従ってその時行っている演奏を変えるように適宜構成されてよい。本実施形態では、演奏エージェント１６０は、当該演算モデルにより、演奏解析部１６１及び演奏制御部１６２を含むように構成される。非限定的かつ概略的な自動演奏制御について以下に例示する。

【0043】

演奏解析部１６１は、演奏者が現に演奏している楽曲上の位置である演奏位置を、演奏取得部１５２及び映像取得部１５３から供給される第１演奏に係る第１演奏者データに基づいて推定するように構成される。演奏解析部１６１による演奏位置の推定は、演奏者による演奏と並行して継続的に（例えば、周期的に）実行されてよい。

【0044】

一例では、演奏解析部１６１は、第１演奏者データが示す一連の音と自動演奏のための楽曲データが示す一連の音符とを相互比較することにより、演奏者の演奏位置を推定するように構成されてよい。楽曲データは、演奏者による第１演奏（演奏者パート）に対応する参照パートデータと、演奏エージェント１６０による第２演奏（自動演奏パート）を示す自動パートデータとを含む。演奏解析部１６１による演奏位置の推定には、任意の音楽解析技術（スコアアライメント技術）が適宜に採用されてよい。

【0045】

演奏制御部１６２は、演奏解析部１６１により推定される演奏位置の進行（時間軸上の移動）に同期するように、楽曲データ内の自動演奏データに基づいて第２演奏を示す第２演奏データを自動生成し、生成された第２演奏データを演奏装置２００に供給するように構成される。これにより、演奏制御部１６２は、演奏解析部１６１により推定される演奏位置の進行（時間軸上の移動）に同期するように、楽曲データ内の自動パートデータに応じた自動演奏を演奏装置２００に実行させるように構成されてよい。より具体的には、演奏制御部１６２は、自動パートデータが示す一連の音符のうちの、楽曲における推定された演奏位置付近の音符に任意の表現を付与して第２演奏データを生成し、生成された第２演奏データに従った自動演奏を実行させるように演奏装置２００を制御するように構成されてよい。すなわち、演奏制御部１６２は、自動パートデータ（例えば、タイムスタンプ付きＭＩＤＩデータ列）に表現を付けて演奏装置２００に対して供給する演奏データ変換器として動作する。ここでの表現付与は、人間の演奏表現に類するものであり、例えば、ある音符のタイミングを前又は後ろに少しずらす、ある音符にアクセントを付ける、複数の音符にわたりクレッシェンド又はデクレッシェンドする等であってよい。なお、演奏制御部１６２は、生成された第２演奏データを推定装置３００にも供給するように構成されてよい。演奏装置２００は、演奏制御部１６２から供給される第２演奏データに応じて、楽曲の自動演奏である第２演奏を行うように適宜構成されてよい。

【0046】

なお、演奏エージェント１６０（演奏解析部１６１及び演奏制御部１６２）の構成は、このような例に限定されなくてよい。他の一例では、演奏エージェント１６０は、既存の楽曲データを用いずに、演奏者の第１演奏に係る第１演奏者データに基づいて即興的に第２演奏データを生成し、生成された第２演奏データを演奏装置２００に供給することで、演奏装置２００に自動演奏（即興演奏）を実行させるように構成されてもよい。

【0047】

（推定装置）
推定装置３００は、制御部３５０及び記憶部３８０を有する。制御部３５０は、ＣＰＵ３０１及びＲＡＭ３０２により、推定装置３００の動作を統合的に制御するように構成される。記憶部３８０は、ＲＡＭ３０２及びストレージ３０３により、制御部３５０において用いられる種々のデータ（特に、後述される満足度推定モデル及び感情推定モデル）を記憶するように構成される。推定装置３００のＣＰＵ３０１は、ストレージ３０３に記憶されたプログラム８３をＲＡＭ３０２に展開し、ＲＡＭ３０２に展開されたプログラム８３に含まれる命令を実行する。これにより、推定装置３００（制御部３５０）は、認証部３５１、演奏取得部３５２、反応取得部３５３、満足度取得部３５４、データ前処理部３５５、モデル訓練部３５６、満足度推定部３５７、及び満足度出力部３５８をソフトウェアモジュールとして備えるコンピュータとして動作する。

【0048】

認証部３５１は、演奏制御装置１００と協働してユーザ（演奏者）を認証するように構成される。一例では、認証部３５１は、演奏制御装置１００から提供された認証データが記憶部３８０に格納されている認証データと一致するか否かを判定し、認証結果（許可又は拒否）を演奏制御装置１００に送信するように構成される。

【0049】

演奏取得部３５２は、演奏者による演奏の第１演奏データ及び演奏エージェント１６０に制御された演奏装置２００による演奏の第２演奏データを取得する（受け取る）ように構成される。第１演奏データ及び第２演奏データはそれぞれ音符列を示すデータであって、各音符の発音タイミング、音長、音高、及び強度を規定するように構成されてよい。本実施形態では、第１演奏データは、演奏者による実際の演奏の演奏データ、又は演奏者による実際の演奏から抽出された特徴を含む演奏データ（例えば、抽出された特徴をプレーンな演奏データに付与することで生成された演奏データ）であってよい。一例では、演奏取得部３５２は、例えば、電子楽器ＥＭから供給される第１演奏を示す第１演奏データを、電子楽器ＥＭから直接的に又は演奏制御装置１００を介して取得するように構成されてよい。他の一例では、演奏取得部３５２は、集音部３０６を用いて又は演奏制御装置１００を介して第１演奏を示す演奏音を取得し、取得された演奏音のデータに基づいて第１演奏データを生成するように構成されてよい。更に他の一例では、演奏取得部３５２は、演奏者による実際の演奏から特徴を抽出し、表現の付与されていない演奏データに対して抽出された特徴を付与することで、第１演奏データを生成するように構成されてよい。この第１演奏データを生成する方法には、例えば、国際公開２０１９／０２２１１８号に開示される手法が用いられてよい。また、一例では、演奏取得部３５２は、例えば、演奏エージェント１６０により生成された第２演奏を示す第２演奏データを演奏制御装置１００又は演奏装置２００から取得するように構成されてよい。他の一例では、演奏取得部３５２は、集音部３０６を用いて第２演奏を示す演奏音を取得し、取得された演奏音のデータに基づいて第２演奏データを生成するように構成されてよい。演奏取得部３５２は、取得された第１演奏データ及び第２演奏データを共通の時間軸に関連付けて、記憶部３８０に記憶するように構成されてよい。ある時刻の第１演奏データにより示される第１演奏、及びそれと同じ時刻の第２演奏データにより示される第２演奏は、同時に行われた２つの演奏（すなわち、合奏）である。演奏取得部３５２は、上記第１演奏データ及び第２演奏データに対して、認証部３５１により認証された演奏者のユーザ識別子を関連付けるように構成されてもよい。

【0050】

反応取得部３５３は、第１演奏を行う演奏者の反応を示す反応データを取得するように構成される。演奏者の反応は、共演における演奏者の音声、画像、及び生体情報の少なくともいずれかを含むように構成されてよい。一例では、反応取得部３５３は、撮像部３０７により撮影される、共演中の演奏者の反応（表情等）が反映された演奏者映像に基づいて反応データを取得するように構成されてよい。演奏者映像は、演奏者の画像の一例である。また、反応取得部３５３は、演奏者の反応が反映された演奏（第１演奏）及び生体情報の少なくともいずれかに基づいて反応データを取得するように構成されてもよい。反応データを取得するのに用いる第１演奏は、例えば、演奏取得部３５２により取得された第１演奏データであってよい。反応データを取得するのに用いる生体情報は、演奏者による第１演奏の際に生体センサ３０８により取得される１又は複数の生体信号（例えば、心拍数、発汗量、血圧等）により構成されてよい。

【0051】

満足度取得部３５４は、演奏エージェント１６０（演奏装置２００）との共演における演奏者の個人的な満足度（真値／正解）を示す満足度ラベルを取得するように構成される。一例では、満足度ラベルにより示される満足度は、反応取得部３５３により取得された反応データから推定されてもよい。一例では、記憶部３８０は、反応データが示す値及び満足度の間の対応関係を示す対応表データを保持してよく、満足度取得部３５４は、当該対応表データに基づいて、反応データにより示される演奏者の反応から満足度を取得するように構成されてよい。他の一例では、満足度の推定には、感情推定モデルが使用されてよい。感情推定モデルは、演奏者の反応から満足度を推定する能力を有するように適宜構成されてよい。感情推定モデルは、機械学習により生成された訓練済みの機械学習モデルにより構成されてよい。感情推定モデルには、例えば、ニューラルネットワーク等の任意の機械学習モデルが採用されてよい。このような訓練済みの感情推定モデルは、例えば、演奏者の反応を示す訓練用の反応データ及び満足度の真値を示す正解ラベルの組み合わせによりそれぞれ構成される複数の学習データセットを用いた機械学習により生成可能である。この場合、満足度取得部３５４は、演奏者の反応を示す反応データを訓練済みの感情推定モデルに入力し、訓練済みの感情推定モデルの演算処理を実行することで、訓練済みの感情推定モデルから満足度を推定した結果を取得するように構成されてよい。訓練済みの感情推定モデルは、記憶部３８０に記憶されていてよい。満足度取得部３５４は、演奏取得部３５２により取得された第１演奏データ及び第２演奏データに満足度ラベルを関連付けることによりデータセットを生成し、生成された各データセットを記憶部３８０に記憶するように構成されてよい。

【0052】

データ前処理部３５５は、演奏者の満足度を推定する満足度推定モデルに入力するデータ（第１演奏データ、第２演奏データ等）を、満足度推定モデルの演算に適した形式となるように前処理するように構成される。データ前処理部３５５は、任意の手法（例えば、コード進行に基づいたフレーズ検出、ニューラルネットワークを用いたフレーズ検出等）により、第１演奏データ及び第２演奏データを共通の位置（時刻）で複数のフレーズに分解するように構成されてよい。加えて、データ前処理部３５５は、共演に係る第１演奏データ及び第２演奏データを解析して共演特徴量を算出するように構成されてよい。共演特徴量は、演奏者による第１演奏と演奏エージェント１６０による第２演奏との共演に関するデータであり、例えば、以下のような特徴を表現する値により構成されてよい。

【0053】

－第１演奏と第２演奏との間の音高、音量、及び発音タイミングの少なくともいずれかの調和度（又は非調和度）
－第１演奏及び第２演奏の対応フレーズの先頭部、中間部、末尾部における音符タイミングの一致度又はずれ傾向
－第１演奏及び第２演奏の対応フレーズにおける強拍位置及び弱拍位置の一致度又はずれ傾向
－第１演奏及び第２演奏の対応フレーズ（特に、リタルダンド箇所及びアッチェレランド箇所）におけるテンポ変化カーブの一致度又はずれ傾向
－第１演奏及び第２演奏の対応フレーズ（特に、クレッシェンド箇所及びデクレッシェンド箇所）における音量変化カーブの一致度又はずれ傾向
－第１演奏及び第２演奏における演奏記号（フォルテ、ピアノ等）に応じた変化カーブ（テンポ、音量等）の一致度又はずれ傾向
－演奏者による第１演奏のテンポに対する演奏エージェントによる第２演奏のテンポの追従度
－演奏者による第１演奏の音量に対する演奏エージェントによる第２演奏の音量の追従度
－第２演奏が即興演奏又は自動伴奏である場合における第１演奏及び第２演奏の音程列ヒストグラム
以上の共演特徴量に関して、音符タイミングに関する「一致度」は、第１演奏と第２演奏とでタイミングが共通する拍における音符の開始タイミングのずれの平均及び分散である。変化カーブに関する「一致度」は、変化タイプ（例えば、リタルダンド、アッチェレランド、その他）に分類され正規化された変化カーブの形状の変化タイプ毎の類似度（例えば、ユークリッド距離）の平均である。「追従度」は、例えば、国際公開２０１８／０１６６３７号に開示される「追従係数」又は「結合係数」に相当する値である。「音程列ヒストグラム」は、音高ごとの音符数をカウントした度数分布を示す。

【0054】

訓練段階では、データ前処理部３５５は、前処理したデータをモデル訓練部３５６に供給するように構成される。推定段階では、データ前処理部３５５は、前処理したデータを満足度推定部３５７に供給するように構成される。

【0055】

モデル訓練部３５６は、データ前処理部３５５から供給される各データセットの第１演奏データ及び第２演奏データを訓練データ（入力データ）として用い、満足度ラベルを教師信号（正解データ）として用いて、満足度推定モデルの機械学習を実施するように構成される。訓練データは、第１演奏データ及び第２演奏データにより算出された共演特徴量により構成されてよい。各データセットにおいて、第１演奏データ及び第２演奏データは、予め共演特徴量に変換された状態で取得されてよい。満足度推定モデルは、複数のパラメータを有する任意の機械学習モデルにより構成されてよい。満足度推定モデルを構成する機械学習モデルには、例えば、多層パーセプトロンによって構成されるフィードフォワード型ニューラルネットワーク（ＦＦＮＮ）、隠れマルコフモデル（ＨＭＭ）等が使用されてよい。その他に、満足度推定モデルを構成する機械学習モデルには、例えば、時系列データに適合した回帰型ニューラルネットワーク（ＲＮＮ）、その派生の構成（長・短期記憶（ＬＳＴＭ）、ゲート付き回帰型ユニット（ＧＲＵ）等）、畳み込みニューラルネットワーク（ＣＮＮ）等が使用されてもよい。

【0056】

機械学習は、各データセットについて、満足度推定モデルを使用して、第１演奏データ及び第２演奏データから演奏者の満足度を推定した結果が満足度ラベルにより示される満足度（真値／正解）に適合するものとなるように満足度推定モデルを訓練することにより構成される。本実施形態では、機械学習は、各データセットについて、第１演奏データ及び第２演奏データに基づいて算出される共演特徴量から演奏者の満足度を推定した結果が満足度ラベルにより示される満足度に適合するものとなるように満足度推定モデルを訓練することにより構成されてよい。機械学習の方法は、採用する機械学習モデルの種類に応じて適宜選択されてよい。機械学習により生成された訓練済みの満足度推定モデルは、記憶部３８０等の記憶領域に学習結果データの形式で適宜保存されてよい。

【0057】

満足度推定部３５７は、モデル訓練部３５６によって生成される訓練済みの満足度推定モデルを備える。満足度推定部３５７は、訓練済みの満足度推定モデルを使用して、推論時に取得された第１演奏データ及び第２演奏データから演奏者の満足度を推定するように構成される。本実施形態では、推定することは、訓練済みの満足度推定モデルを使用して、第１演奏データ及び第２演奏データに基づいて算出される共演特徴量から演奏者の満足度を推定することにより構成されてよい。一例では、満足度推定部３５７は、データ前処理部３５５から供給される共演特徴量を入力データとして訓練済みの満足度推定モデルに入力し、訓練済みの満足度推定モデルの演算処理を実行する。この演算処理により、満足度推定部３５７は、入力された共演特徴量から演奏者の満足度を推定した結果に対応する出力を訓練済みの満足度推定モデルから取得する。推定された満足度（満足度の推定結果）は満足度出力部３５８に供給される。

【0058】

満足度出力部３５８は、満足度推定部３５７により満足度を推定した結果（推定された満足度）に関する情報を出力するように構成される。出力先及び出力形式は、実施の形態に応じて適宜選択されてよい。一例では、満足度の推定結果に関する情報を出力することは、例えば、出力部３０５等の出力装置に推定結果を示す情報を単純に出力することにより構成されてよい。他の一例では、満足度の推定結果に関する情報を出力することは、満足度を推定した結果に基づいて種々の制御処理を実行することにより構成されてよい。満足度出力部３５８による具体的な制御例については後述される。

【0059】

（その他）
本実施形態では、演奏制御装置１００及び推定装置３００の各ソフトウェアモジュールがいずれも汎用のＣＰＵによって実現される例について説明している。しかしながら、上記ソフトウェアモジュールの一部又は全部が、１又は複数の専用のプロセッサにより実現されてもよい。上記各モジュールは、ハードウェアモジュールとして実現されてもよい。また、演奏制御装置１００及び推定装置３００それぞれのソフトウェア構成に関して、実施形態に応じて、適宜、ソフトウェアモジュールの省略、置換及び追加が行われてもよい。

【0060】

＜４．動作例＞
（満足度推定モデルの訓練処理）
図５は、本実施形態に係る情報処理システムＳによる満足度推定モデルの訓練処理の一例を示すフローチャートである。以下の処理手順は、訓練済みモデルの確立方法の一例である。ただし、以下の処理手順は一例に過ぎず、各ステップは可能な限り変更されてよい。また、以下の処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が行われてよい。

【0061】

ステップＳ５１０では、推定装置３００のＣＰＵ３０１は、演奏者による第１演奏の第１演奏データ、第１演奏と共に行われる第２演奏の第２演奏データ、及び演奏者の満足度を示すように構成される満足度ラベルの組み合わせによりそれぞれ構成される複数のデータセットを取得する。ＣＰＵ３０１は、取得された各データセットを記憶部３８０に格納してよい。

【0062】

本実施形態では、ＣＰＵ３０１は、演奏取得部３５２として動作し、演奏者による第１演奏の第１演奏データ及び第２演奏の第２演奏データを取得してよい。本実施形態では、第２演奏は、演奏者と共演する演奏エージェント１６０（演奏装置２００）による演奏であってよい。演奏制御装置１００のＣＰＵ１０１は、演奏解析部１６１及び演奏制御部１６２として動作することで、演奏者の第１演奏に係る第１演奏者データに基づく第２演奏を演奏エージェント１６０により自動的に行ってよい。ＣＰＵ１０１は、演奏取得部１５２及び映像取得部１５３の少なくともいずれかとして動作し、第１演奏者データを取得してよい。取得される第１演奏者データは、演奏者による第１演奏における演奏音、第１演奏データ、及び画像の少なくともいずれかを含むように構成されてよい。画像は、第１演奏の際の演奏者の写るように適宜取得されてよい。画像は、動画像（映像）であってもよいし、或いは静止画像であってもよい。

【0063】

また、ＣＰＵ３０１は、満足度ラベルを適宜取得してよい。一例では、ＣＰＵ３０１は、入力部３０４等の入力装置を介した演奏者の入力により満足度ラベルが直接的に取得されてよい。他の一例では、ＣＰＵ３０１は、訓練用の第１演奏データにより示される第１演奏の際の演奏者の反応から満足度を取得してよい。この場合、ＣＰＵ３０１は、反応取得部３５３として動作し、第１演奏の際における演奏者の反応を示す反応データを取得し、取得された反応データを満足度取得部３５４に供給する。ＣＰＵ３０１は、反応データから任意の方法（例えば、所定のアルゴリズムによる演算）で満足度を取得してよい。ＣＰＵ３０１は、上記感情推定モデルを使用することで、反応データにより示される演奏者の反応から満足度を推定してよい。満足度ラベルは、推定された満足度を示すように構成されてよい。なお、「第１演奏の際」は、第１演奏の間及び第１演奏の終了後の余韻の残る間を含んでよい。演奏者の反応は、共演における演奏者の音声、画像、及び生体情報の少なくともいずれかを含んでよい。

【0064】

第１演奏データ、第２演奏データ、及び満足度ラベルを取得する順序及びタイミングは、特に限定されなくてよく、実施の形態に応じて適宜決定されてよい。取得するデータセットの件数は、満足度推定モデルの機械学習に十分なように適宜決定されてよい。

【0065】

ステップＳ５２０では、ＣＰＵ３０１は、データ前処理部３５５として動作し、演奏取得部３５２から供給される各データセットの第１演奏データ及び第２演奏データに対して前処理を実行する。この前処理は、各データセットの第１演奏データ及び第２演奏データに基づいて共演特徴量を算出することを含む。ＣＰＵ３０１は、前処理後の共演特徴量及び満足度ラベルをモデル訓練部３５６に供給する。なお、ステップＳ５１０で得られる各データセットの第１演奏データ及び第２演奏データが共演特徴量に予め変換されている場合、ステップＳ５２０の処理は省略されてよい。

【0066】

ステップＳ５３０では、ＣＰＵ３０１は、モデル訓練部３５６として動作し、取得された各データセットを使用して、満足度推定モデルの機械学習を実施する。本実施形態では、ＣＰＵ３０１は、各データセットについて、第１演奏データ及び第２演奏データに基づいて算出される共演特徴量から演奏者の満足度を推定した結果が満足度ラベルにより示される満足度に適合するものとなるように満足度推定モデルを訓練してよい。この機械学習の結果として、第１演奏データ及び第２演奏データ（共演特徴量）から演奏者の満足度を推定する能力を獲得した訓練済みの満足度推定モデルが生成される。

【0067】

ステップＳ５４０では、ＣＰＵ３０１は、上記機械学習の結果を保存する。一例では、ＣＰＵ３０１は、訓練済みの満足度推定モデルを示す学習結果データを生成し、生成された学習結果データを記憶部３８０等の記憶領域に保存してよい。この機械学習が追加学習又は再学習である場合、ＣＰＵ３０１は、新たに生成された学習結果データにより、記憶部３８０等の記憶領域に保存された学習結果データを更新してよい。

【0068】

以上により、本動作例に係る満足度推定モデルの訓練処理は終了する。上記訓練処理は、定期的に実行されてもよいし、或いはユーザ（演奏制御装置１００）からの要求に応じて実行されてもよい。なお、ステップＳ５１０の処理を実行する前に、演奏制御装置１００のＣＰＵ１０１及び推定装置３００のＣＰＵ３０１はそれぞれ認証部（１５１、３５１）として動作し、演奏者を認証してもよい。これにより、認証された演奏者のデータセットを収集し、訓練済みの満足度推定モデルを生成してもよい。

【0069】

（推定処理）
図６は、本実施形態に係る情報処理システムＳによる推定処理の一例を示すフローチャートである。以下の処理手順は、推定方法の一例である。ただし、以下の処理手順は一例に過ぎず、各ステップは可能な限り変更されてよい。また、以下の処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が行われてよい。

【0070】

ステップＳ６１０では、推定装置３００のＣＰＵ３０１は、演奏取得部３５２として動作し、演奏者による第１演奏の第１演奏データ及び第１演奏と共に行われる第２演奏の第２演奏データを取得し、取得された第１演奏データ及び第２演奏データをデータ前処理部３５５に供給する。訓練段階と同様に、推定段階における第２演奏も、演奏者と共演する演奏エージェント１６０（演奏装置２００）による演奏であってよい。

【0071】

ステップＳ６２０では、ＣＰＵ３０１は、データ前処理部３５５として動作し、演奏取得部３５２から供給される第１演奏データ及び第２演奏データに対して前処理を実行する。この前処理は、取得された第１演奏データ及び第２演奏データに基づいて共演特徴量を算出することを含む。ＣＰＵ３０１は、前処理後のデータ（共演特徴量）を満足度推定部３５７に供給する。なお、共演特徴量の算出は、他のコンピュータにより予め実行されてよい。この場合、ステップＳ６２０の処理は、省略されてよい。

【0072】

ステップＳ６３０では、ＣＰＵ３０１は、満足度推定部３５７として動作し、上記機械学習により生成された訓練済みの満足度推定モデルを使用して、取得された第１演奏データ及び第２演奏データに基づいて算出された共演特徴量から演奏者の満足度を推定する。一例では、ＣＰＵ３０１は、記憶部３８０に保持される訓練済みの満足度推定モデルに対して、データ前処理部３５５から供給された共演特徴量を入力データとして入力し、訓練済みの満足度推定モデルの演算処理を実行する。この演算処理の結果として、ＣＰＵ３０１は、共演特徴量から演奏者の個人的な満足度を推定した結果に対応する出力を訓練済みの満足度推定モデルから取得する。推定された満足度は、満足度推定部３５７から満足度出力部３５８に供給される。

【0073】

ステップＳ６４０では、ＣＰＵ３０１は、満足度出力部３５８として動作し、満足度を推定した結果に関する情報を出力する。出力先及び出力形式は、実施の形態に応じて適宜選択されてよい。一例では、ＣＰＵ３０１は、出力部３０５等の出力装置に推定結果を示す情報をそのまま出力してよい。他の一例では、ＣＰＵ３０１は、当該出力処理として、満足度を推定した結果に基づいて種々の制御処理を実行してよい。制御処理の具体例については他の実施形態にて詳述される。

【0074】

以上により、本動作例に係る推定処理は終了する。上記ステップＳ６１０～ステップＳ６４０の処理は、演奏者が共演を行うことに応じて第１演奏データ及び第２演奏データが推定装置３００に入力されるのと並行してリアルタイムに実行されてもよい。或いは、上記ステップＳ６１０～ステップＳ６４０の処理は、共演が行われた後、推定装置３００等に記憶された第１演奏データ及び第２演奏データに対して事後的に実行されてもよい。

【0075】

（特徴）
本実施形態によれば、上記訓練処理により、演奏者による第１演奏と共に行われる第２演奏に対する第１演奏の演奏者の満足度を適切に推定可能な訓練済みの満足度推定モデルを生成することができる。また、上記推定処理では、そのように生成された訓練済みの満足度推定モデルを使用することで、演奏者の満足度を適切に推定することができる。

【0076】

また、ステップＳ５２０及びステップＳ６２０の前処理により満足度推定モデルに対する入力データ（第１演奏データ及び第２演奏データ）を共演特徴量に変換することで、入力データの情報量を低減すると共に、満足度推定モデルが共演の特徴を的確に捉えることができるようになる。そのため、満足度をより適切に推定し、かつ満足度推定モデルの演算処理の負荷を低減することができる。

【0077】

また、本実施形態では、第２演奏は、演奏者による第１演奏に係る第１演奏者データに基づいて演奏エージェント１６０により自動的に行われてよい。また、第１演奏者データは、演奏者による第１演奏における演奏音、演奏データ、及び画像の少なくともいずれかを含んでよい。これにより、演奏エージェント１６０により第１演奏に適合する第２演奏データを自動的に生成することができるため、第２演奏データを生成する手間を削減することができると共に、第２演奏を介して演奏エージェント１６０に対する演奏者の満足度を推定可能な訓練済みの満足度推定モデルを生成することができる。

【0078】

また、本実施形態では、満足度ラベルにより示される満足度は、演奏者の反応から取得されてよい。満足度の取得には、感情推定モデルが使用されてよい。これにより、上記複数のデータセットを取得する手間を削減することができる。そのため、満足度推定モデルの機械学習にかかるコストの低減を図ることができる。

【0079】

＜５．第２実施形態＞
以下、本発明の第２実施形態について説明する。以下に例示する各実施形態において、作用、動作が第１実施形態と同等である構成要素については、以上の説明で参照した符号を流用して各々の説明を適宜に省略することがある。

【0080】

上記第１実施形態に係る情報処理システムＳは、機械学習により訓練済みの満足度推定モデルを生成し、生成された訓練済みの満足度推定モデルを使用して、演奏エージェント１６０に対する演奏者の個人的な満足度を推定するように構成される。第２実施形態では、情報処理システムＳは、複数の演奏エージェントに対する演奏者の満足度を推定し、推定された満足度に基づいて、複数の演奏エージェントの中からの演奏者に適合する演奏エージェントを推薦するように構成される。

【0081】

すなわち、第２実施形態では、それぞれ異なる演奏表現特性（第１演奏に対するテンポ、音量の追従性等）を有する、すなわち、少なくとも一部の内部パラメータの値が異なる複数の演奏エージェントが用いられる。一例では、１台の演奏制御装置１００が、複数の演奏エージェント１６０を備えてもよい。他の一例では、複数の演奏制御装置１００それぞれが１以上の演奏エージェント１６０を備えてもよい。本実施形態の以下の例では、説明の便宜上、１台の演奏制御装置１００が複数の演奏エージェント１６０を有する構成を採用したものと想定する。これらの点を除き、第２実施形態は、上記第１実施形態と同様に構成されてよい。

【0082】

図７は、第２実施形態に係る情報処理システムＳによる推薦処理の一例を示すシーケンス図である。以下の処理手順は、演奏エージェントの推薦方法の一例である。ただし、以下の処理手順は一例に過ぎず、各ステップは可能な限り変更されてよい。また、以下の処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が行われてよい。

【0083】

ステップＳ７１０では、演奏制御装置１００のＣＰＵ１０１が、複数の演奏エージェント１６０それぞれに対して演奏者による第１演奏に係る第１演奏者データを供給することで、各演奏エージェント１６０にそれぞれ対応する複数件の第２演奏の第２演奏データを生成する。より具体的には、ＣＰＵ１０１は、上記第１実施形態と同様に、各演奏エージェント１６０の演奏解析部１６１及び演奏制御部１６２として動作し、第１演奏者データから各演奏エージェント１６０に対応する第２演奏データを生成する。ＣＰＵ１０１は、各演奏エージェント１６０の第２演奏データを演奏装置２００に適宜供給することで、演奏装置２００に対して自動演奏（第２演奏）を実行させてよい。生成された各演奏エージェント１６０の第２演奏データは、推定装置３００に供給される。

【0084】

ステップＳ７２０では、推定装置３００のＣＰＵ３０１は、演奏取得部３５２として動作し、演奏者による第１演奏の第１演奏データ及び上記ステップＳ７１０により生成された複数の演奏エージェント１６０による複数件の第２演奏データを取得する。第１演奏データ及び各件の第２演奏データは、上記第１実施形態のステップＳ６１０と同様に取得されてよい。

【0085】

ステップＳ７３０では、ＣＰＵ３０１は、データ前処理部３５５及び満足度推定部３５７として動作し、訓練済みの満足度推定モデルを使用して、各演奏エージェント１６０の第２演奏に対する演奏者の満足度を推定する。ステップＳ７２０における各演奏エージェント１６０に対する満足度を推定する処理は、上記第１実施形態におけるステップＳ６２０及びステップＳ６３０の処理と同様であってよい。

【0086】

ステップＳ７４０において、推定装置３００のＣＰＵ３０１は、満足度出力部３５８として動作し、推定された複数の演奏エージェント１６０それぞれに対する満足度に基づいて、複数の演奏エージェント１６０の中から推薦する演奏エージェントを選択する。一例では、ＣＰＵ３０１は、満足度の最も高い演奏エージェント１６０又は満足度が高いものから順に選択された所定数の演奏エージェント１６０をユーザ（演奏者）に推薦する演奏エージェントとして選択してよい。

【0087】

上記ステップＳ６４０の出力処理（制御処理）の一例として、ＣＰＵ３０１（又はＣＰＵ１０１）は、推定装置３００の出力部３０５（又は演奏制御装置１００の出力部１０５）に、推薦する演奏エージェント１６０をメッセージにより表示してもよいし、或いは推薦する演奏エージェント１６０に対応するアバターを表示してもよい。ユーザは、この推薦に従って或いは参考にして、自分と共演する演奏エージェントを選択してよい。

【0088】

第２実施形態によれば、上記機械学習により生成された訓練済みの満足度推定モデルを使用することで、複数の演奏エージェント１６０それぞれに対する演奏者の満足度を推定することができる。そして、その満足度の推定結果を用いることにより、演奏者の属性に適合する可能性の高い演奏エージェント１６０を当該演奏者に対して推薦することができる。

【0089】

＜６．第３実施形態＞
第３実施形態では、情報処理システムＳは、生成された訓練済みの満足度推定モデルを使用して、演奏エージェント１６０に対する演奏者の満足度を推定すると共に、演奏者の満足度が向上するように演奏エージェント１６０の内部パラメータの値を調整するように構成される。この点を除き、第３実施形態は、上記第１実施形態と同様に構成されてよい。

【0090】

図８は、第３実施形態に係る情報処理システムＳによる調整処理の一例を示すシーケンス図である。以下の処理手順は、演奏エージェントの調整方法の一例である。ただし、以下の処理手順は一例に過ぎず、各ステップは可能な限り変更されてよい。また、以下の処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が行われてよい。

【0091】

ステップＳ８１０では、演奏制御装置１００のＣＰＵ１０１が、演奏エージェント１６０に対して演奏者による第１演奏に係る第１演奏者データを供給するで、第２演奏の第２演奏データを生成する。ステップＳ８１０の処理は、上記ステップＳ７１０の各演奏エージェント１６０により第２演奏データを生成する処理と同様であってよい。ＣＰＵ１０１は、生成された第２演奏データを演奏装置２００に適宜供給することで、演奏装置２００に対して自動演奏（第２演奏）を実行させてよい。生成された第２演奏データは、推定装置３００に供給される。

【0092】

ステップＳ８２０では、推定装置３００のＣＰＵ３０１は、演奏取得部３５２として動作し、演奏者による第１演奏の第１演奏データ及び上記ステップＳ８１０により生成された第２演奏データを取得する。第１演奏データ及び第２演奏データは、上記第１実施形態のステップＳ６１０と同様に取得されてよい。

【0093】

ステップＳ８３０では、ＣＰＵ３０１は、データ前処理部３５５及び満足度推定部３５７として動作し、訓練済みの満足度推定モデルを使用して、演奏エージェント１６０の第２演奏に対する演奏者の満足度を推定する。ステップＳ８３０における演奏エージェント１６０に対する満足度を推定する処理は、上記第１実施形態におけるステップＳ６２０及びステップＳ６３０の処理と同様であってよい。上記ステップＳ６４０の出力処理（制御処理）の一例として、ＣＰＵ３０１は、満足度出力部３５８として動作し、満足度を推定した結果を示す情報を演奏制御装置１００に供給する。

【0094】

ステップＳ８４０では、演奏制御装置１００のＣＰＵ１０１は、第２演奏データを生成する際に使用される演奏エージェント１６０の内部パラメータの値を変更する。第３実施形態に係る情報処理システムＳは、上記生成すること（ステップＳ８１０）、推定すること（ステップＳ８３０）、及び変更すること（ステップＳ８４０）を反復的に実行することで、推定される満足度が高くなるように演奏エージェント１６０の内部パラメータの値を調整する。一例では、反復的に実行されるステップＳ８４０の処理において、ＣＰＵ１０１は、演奏エージェント１６０の複数の内部パラメータぞれぞれの値を確率的に徐々に推移させてよい。これにより、ステップＳ８３０の処理により推定される満足度が前の反復処理で推定された満足度よりも向上した場合、ＣＰＵ１０１は、前の反復処理で使用された内部パラメータの値を破棄し、その処理における内部パラメータの値を採用してもよい。その他、情報処理システムＳは、任意の方法（例えば、価値反復法、方策反復法等）により、上記一連の処理を反復することで、推定される満足度が高くなるように演奏エージェント１６０の内部パラメータの値を調整してよい。

【0095】

第３実施形態によれば、上記機械学習により生成された訓練済みの満足度推定モデルを使用することで、演奏エージェント１６０に対する演奏者の満足度を推定することができる。そして、その満足度の推定結果を用いることにより、演奏エージェント１６０による第２演奏に対する演奏者の満足度が向上するように当該演奏エージェント１６０の内部パラメータの値を調整することができる。これにより、演奏者に適合する演奏エージェント１６０を生成する手間を削減することができる。

【0096】

＜７．変形例＞
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良又は変形を行うことができることは言うまでもない。例えば、以下のような変更が可能である。なお、以下の変形例は適宜組み合わせ可能である。

【0097】

上記実施形態では、第２演奏は、演奏エージェント１６０により自動的に行われてよい。しかしながら、第２演奏は、このような例に限定されなくてよい。他の一例では、第２演奏は、第１演奏を行う演奏者以外の他者（第２演奏者）によって行われてもよい。本変形例によれば、実際の他の演奏者による第２演奏に対する演奏者の満足度を推定する訓練済みの満足度推定モデルを生成することができる。また、生成された訓練済みの満足度推定モデルを使用して、実際の他の演奏者による第２演奏に対する演奏者の満足度を適切に推定することができる。

【0098】

また、上記実施形態では、満足度推定モデルは、第１演奏データ及び第２演奏データに基づいて算出される共演特徴量の入力を受け付けるように構成されている。しかしながら、満足度推定モデルの入力形式は、このような例に限定されなくてよい。他の一例では、満足度推定モデルには、系列データである第１演奏データ及び第２演奏データが入力されてもよい。更に他の一例では、満足度推定モデルには、第１演奏データと第２演奏データとを対比して導出された系列データ（例えば、差分系列）が入力されてもよい。この場合、上記各処理手順において、ステップＳ５２０及びステップＳ６２０は省略されてよい。

【0099】

上記実施形態では、情報処理システムＳは、演奏制御装置１００、演奏装置２００、推定装置３００、及び電子楽器ＥＭを別個の装置として備えている。しかしながら、これらの装置のうちの少なくともいずれか複数の装置は一体的に構成されてもよい。他の一例では、演奏制御装置１００及び演奏装置２００が一体的に構成されてもよい。或いは、演奏制御装置１００及び推定装置３００が一体的に構成されてもよい。

【0100】

また、上記実施形態では、推定装置３００は、訓練処理及び推定処理の両方を実行するように構成されている。しかしながら、訓練処理及び推定処理はそれぞれ別個のコンピュータにより実行されてよい。この場合、訓練処理を実行する第１コンピュータから推定処理を実行する第２コンピュータに任意のタイミングで訓練済みの満足度推定モデル（学習結果データ）が提供されてよい。第１コンピュータ及び第２コンピュータの数は、実施の形態に応じて適宜決定されてよい。第２コンピュータは、第１コンピュータから提供される訓練済みの満足度推定モデルを用いて推定処理を実行することができる。

【0101】

なお、上記各記憶媒体（９１、９３）は、コンピュータに読み取り可能な非一過性の記録媒体により構成されてよい。また、プログラム（８１、８３）は、伝送媒体等を介して供給されてもよい。なお、「コンピュータに読み取り可能な非一過性の記録媒体」は、例えば、インターネット、電話回線等の通信ネットワークを介してプログラムが送信される場合において、例えば、サーバ、クライアント等を構成するコンピュータシステム内部の揮発性メモリ（例えば、ＤＲＡＭ（Dynamic Random Access Memory））等のように、一定時間の間、プログラムを保持する記録媒体を含んでよい。

【符号の説明】

【0102】

１００…演奏制御装置、１５０…制御部、１８０…記憶部、２００…演奏装置、３００…推定装置、３５０…制御部、３８０…記憶部、ＥＭ…電子楽器、Ｓ…情報処理システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】