IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー株式会社の特許一覧

特許7574803情報処理装置、情報処理方法及び情報処理プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-21
(45)【発行日】2024-10-29
(54)【発明の名称】情報処理装置、情報処理方法及び情報処理プログラム
(51)【国際特許分類】
   G10G 1/00 20060101AFI20241022BHJP
   G10H 1/00 20060101ALI20241022BHJP
【FI】
G10G1/00
G10H1/00 102Z
【請求項の数】 20
(21)【出願番号】P 2021561335
(86)(22)【出願日】2020-11-17
(86)【国際出願番号】 JP2020042871
(87)【国際公開番号】W WO2021106693
(87)【国際公開日】2021-06-03
【審査請求日】2023-10-19
(31)【優先権主張番号】P 2019212913
(32)【優先日】2019-11-26
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】岸 治彦
【審査官】大野 弘
(56)【参考文献】
【文献】特開2019-159146(JP,A)
【文献】特開平01-296286(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G10H 1/00
G10G 1/00
(57)【特許請求の範囲】
【請求項1】
機械学習を用いた作曲処理において学習データとして使用される楽曲特徴情報であって、楽曲情報から抽出された複数の種別の特徴量と所定の識別情報とが対応付けられた楽曲特徴情報を複数記憶する記憶部と、
端末装置から送信された指示情報を受信する受信部と、
前記指示情報にしたがって、前記記憶部から前記楽曲特徴情報を抽出する抽出部と、
前記抽出部によって抽出された前記楽曲特徴情報の提示情報を出力する出力部と、
を有することを特徴とする情報処理装置。
【請求項2】
前記指示情報は、前記特徴量に関する情報を含み、
前記抽出部は、前記特徴量に関する情報を基に、所定ルールを用いて複数の前記楽曲特徴情報の順位付けを行い、予め設定された順位の前記楽曲特徴情報を抽出し、
前記出力部は、前記抽出部によって抽出された前記楽曲特徴情報の提示情報を、前記楽曲特徴情報の順位を示す順位情報とともに外部装置に出力する
ことを特徴とする請求項1に記載の情報処理装置。
【請求項3】
前記指示情報は、前記端末装置における操作情報である
ことを特徴とする請求項2に記載の情報処理装置。
【請求項4】
前記楽曲特徴情報は、規定された長さの小節における、コード進行を示すコード進行情報、メロディを示すメロディ情報、ベースの進行を示すベース情報を有するスコア情報を有する
ことを特徴とする請求項3に記載の情報処理装置。
【請求項5】
前記スコア情報は、前記規定された長さの小節における、ドラムの進行を示すドラム進行情報をさらに含む
ことを特徴とする請求項4に記載の情報処理装置。
【請求項6】
前記楽曲特徴情報は、前記規定された長さの小節における、歌詞を示す歌詞情報を有することを特徴とする請求項4に記載の情報処理装置。
【請求項7】
前記楽曲特徴情報は、同じ小節に対する前記スコア情報の識別情報と前記歌詞情報の識別情報とを対応付けて登録する楽曲形式情報と、前記楽曲形式情報の順序を示す楽曲順序情報とを有する
ことを特徴とする請求項6に記載の情報処理装置。
【請求項8】
前記受信部は、前記スコア情報のいずれかを選択する指示情報を受信し、
前記抽出部は、前記指示情報が選択した前記スコア情報を有する前記楽曲特徴情報に対し、所定ルールを用いて順位付けを行い、予め設定された順位の前記楽曲特徴情報を抽出する
ことを特徴とする請求項4に記載の情報処理装置。
【請求項9】
前記受信部は、歌詞の検索を指示する指示情報を受信し、
前記抽出部は、前記指示情報が検索を指示した歌詞を含む歌詞情報を有する前記楽曲特徴情報に対し、所定ルールを用いて順位付けを行い、予め設定された順位の前記楽曲特徴情報を抽出する
ことを特徴とする請求項6に記載の情報処理装置。
【請求項10】
前記端末装置は、楽曲の創作に関するアプリケーションがインストールされた制作者端末装置であり、
前記指示情報は、楽曲を創作する制作者が前記アプリケーションの起動時に前記制作者端末装置に対して実行した操作の履歴を示す操作履歴情報であり、
前記抽出部は、前記操作履歴情報を基に、所定の操作の回数が閾値を超えた楽曲情報を求め、前記所定の操作の回数が多い順に、求めた楽曲情報に使用された楽曲特徴情報を順位付けし、予め設定された順位の前記楽曲特徴情報を抽出し、
前記出力部は、前記抽出部によって抽出された前記楽曲特徴情報の提示情報を前記制作者端末装置に出力する
ことを特徴とする請求項3に記載の情報処理装置。
【請求項11】
前記端末装置は、楽曲を視聴するアプリケーションがインストールされた利用者端末装置であり、
前記指示情報は、楽曲を視聴する利用者が前記アプリケーションの起動時に前記利用者端末装置に対して実行した操作の履歴を示す操作履歴情報であり、
当該情報処理装置は、前記操作履歴情報を分析して各操作の回数を求める分析部
をさらに有することを特徴とする請求項3に記載の情報処理装置。
【請求項12】
前記抽出部は、前記分析部による分析結果を基に、所定の操作の回数が閾値を超えた楽曲情報を求め、前記所定の操作の回数が多い順に、求めた楽曲情報に使用された楽曲特徴情報を順位付けし、予め設定された順位の前記楽曲特徴情報を抽出し、
前記出力部は、前記抽出部によって抽出された前記楽曲特徴情報の提示情報を、楽曲の創作に関するアプリケーションがインストールされた制作者端末装置に出力する
ことを特徴とする請求項11に記載の情報処理装置。
【請求項13】
前記分析部による分析結果を基に、所定の操作の回数が閾値を超えた楽曲情報を求め、求めた楽曲情報を基に再生リストを生成する生成部をさらに有し、
前記出力部は、前記再生リストを前記利用者端末装置に出力する
ことを特徴とする請求項11に記載の情報処理装置。
【請求項14】
前記楽曲特徴情報を基に、機械学習を用いて楽曲情報を作曲する作曲部
をさらに有し、
前記抽出部は、前記分析部による分析結果を基に、所定の操作の回数が閾値を超えた前記楽曲情報を求め、前記所定の操作の回数が多い順に、求めた楽曲情報に使用された楽曲特徴情報を順位付けし、予め設定された順位の前記楽曲特徴情報を抽出し、
前記作曲部は、前記抽出部によって抽出された楽曲特徴情報を基に楽曲情報を再作曲または編曲し、
前記出力部は、再作曲または編曲された楽曲情報を前記利用者端末装置に出力する
ことを特徴とする請求項11に記載の情報処理装置。
【請求項15】
前記端末装置は、楽曲を視聴するアプリケーションがインストールされた利用者端末装置であり、
前記指示情報は、前記利用者端末装置の移動履歴を示す行動履歴情報であり、
当該情報処理装置は、前記利用者端末装置において視聴された楽曲情報を求めるとともに、前記行動履歴情報を分析して、利用者の位置を求める分析部
をさらに有することを特徴とする請求項3に記載の情報処理装置。
【請求項16】
前記抽出部は、前記分析部による分析結果を基に、所定の場所で、閾値を超えた回数視聴された楽曲情報に使用された前記楽曲特徴情報に対して、所定ルールを用いて順位付けを行い、予め設定された順位の前記楽曲特徴情報を抽出し、
前記出力部は、前記抽出部によって抽出された前記楽曲特徴情報の提示情報を、楽曲の創作に関するアプリケーションがインストールされた制作者端末装置に出力する
ことを特徴とする請求項15に記載の情報処理装置。
【請求項17】
前記分析部による分析結果を基に、所定の場所で、所定の操作の回数が閾値を超えた楽曲情報を求め、求めた楽曲情報を基に再生リストを生成する生成部と、
前記出力部は、前記再生リストを、前記所定の場所に位置する前記利用者端末装置に出力する
ことを特徴とする請求項15に記載の情報処理装置。
【請求項18】
前記楽曲特徴情報を基に、機械学習を用いて楽曲情報を作曲する作曲部
をさらに有し、
前記抽出部は、前記分析部による分析結果を基に、所定の場所において、所定の操作の回数が閾値を超えた楽曲情報に使用された前記楽曲特徴情報を、所定の操作の回数が多い順に順位付けし、予め設定された順位の前記楽曲特徴情報を抽出し、
前記作曲部は、前記抽出部によって、前記抽出された楽曲特徴情報を基に楽曲情報を再作曲または編曲し、
前記出力部は、再作曲または編曲された楽曲情報を、前記所定の場所に位置する前記利用者端末装置に出力する
ことを特徴とする請求項15に記載の情報処理装置。
【請求項19】
コンピュータが実行する情報処理方法であって、
端末装置から送信された指示情報を受信し、
楽曲情報から抽出された複数の種別の特徴量と所定の識別情報とが対応付けられた複数の楽曲特徴情報から、前記指示情報にしたがって前記楽曲特徴情報を抽出し、
抽出した前記楽曲特徴情報の提示情報を出力する
ことを特徴とする情報処理方法。
【請求項20】
端末装置から送信された指示情報を受信し、
楽曲情報から抽出された複数の種別の特徴量と所定の識別情報とが対応付けられた複数の楽曲特徴情報から、前記指示情報にしたがって前記楽曲特徴情報を抽出し、
抽出した前記楽曲特徴情報の提示情報を出力する
をコンピュータに実行させることを特徴とする情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、情報処理方法及び情報処理プログラムに関する。
【背景技術】
【0002】
AI(Artificial Intelligence)の進歩に伴い、芸術分野におけるコンピュータの活用が進められている。例えば、既存の楽曲を学習データとして機械学習を行って楽曲生成のためのモデルを生成し、新たな楽曲をコンピュータに作曲させる技術が知られている(例えば、特許文献1)。かかる技術では、マルコフモデルを用いて、既存の楽曲の特徴を模倣したり、より自然な旋律を生成したりすることが可能である。
【先行技術文献】
【特許文献】
【0003】
【文献】米国特許第9110817号明細書
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来技術によれば、作曲作業においてAIによって提案(生成)された楽曲情報を利用することができるため、ユーザは、より多様な観点に基づいて作曲を行うことができる。
【0005】
AIによる自動作曲機能は、一般利用者向けに設定されており、一般利用者は、明るい、暗いなどのイメージを設定するだけで、自動的に創作された楽曲情報を受け取ることができる。これに対し、楽曲を創作する制作者は、楽曲の創作の過程で、コード進行やベース進行等の曲の特徴を具体的に設定することが多いため、制作者からは、イメージではなく曲の特徴に合わせた楽曲情報の提供を受けたいという要望があった。
【0006】
そこで、本開示では、利用者による楽曲作成機能の利便性を向上させることができることできる情報処理装置、情報処理方法及び情報処理プログラムを提案する。
【課題を解決するための手段】
【0007】
上記の課題を解決するために、本開示に係る一形態の情報処理装置は、機械学習を用いた作曲処理において学習データとして使用される楽曲特徴情報であって、楽曲情報から抽出された複数の種別の特徴量と所定の識別情報とが対応付けられた楽曲特徴情報を複数記憶する記憶部と、端末装置から送信された指示情報を受信する受信部と、指示情報にしたがって、記憶部から楽曲特徴情報を抽出する抽出部と、抽出部によって抽出された楽曲特徴情報の提示情報を出力する出力部と、を有する。
【図面の簡単な説明】
【0008】
図1】第1の実施形態に係る情報処理の流れを示す概念図である。
図2】第1の実施形態に係るスタイル情報のデータ構成の一例を示す図である。
図3】第1の実施形態に係る利用者端末の表示画面の一例を示す図である。
図4】第1の実施形態に係る利用者端末の表示画面の一例を示す図である。
図5】第1の実施形態に係る利用者端末の表示画面の一例を示す図である。
図6】第1の実施形態に係る情報処理システムの一例を示す図である。
図7】第1の実施形態に係る情報処理装置の構成例を示す図である。
図8】第1の実施形態に係る利用者情報記憶部の一例を示す図である。
図9】第1の実施形態に係るスタイル情報記憶部の一例を示す図である。
図10】第1の実施形態に係る所有情報記憶部の一例を示す図である。
図11】第1の実施形態に係る制作情報記憶部の一例を示す図である。
図12】第1の実施形態に係る操作履歴情報記憶部の一例を示す図である。
図13】第1の実施形態に係る制作者端末の構成例を示す図である。
図14】第1の実施形態に係る情報処理の手順を示すシーケンス図である。
図15】第1の実施形態の変形例に係る制作者端末の表示画面の一例を示す図である。
図16】第1の実施形態の変形例に係る制作者端末の表示画面の一例を示す図である。
図17】第1の実施形態の変形例に係る制作者端末の表示画面の一例を示す図である。
図18】第1の実施形態の変形例に係る制作者端末の表示画面の一例を示す図である。
図19】第1の実施形態の変形例に係る情報処理の手順を示すフローチャートである。
図20】第2の実施形態に係る情報処理の流れを示す概念図である。
図21】第2の実施形態に係る情報処理システムの一例を示す図である。
図22】第2の実施形態に係る情報処理装置の構成例を示す図である。
図23】第2の実施形態に係る利用者履歴情報記憶部の一例を示す図である。
図24】第2の実施形態に係る一般利用者端末の構成例を示す図である。
図25】第2の実施形態に係る情報処理の手順を示すシーケンス図である。
図26】第2の実施形態に係る情報処理の手順を示すシーケンス図である。
図27】第2の実施形態に係る情報処理の手順を示すシーケンス図である。
図28】第3の実施形態に係る情報処理の流れを示す概念図である。
図29】第3の実施形態に係る情報処理システムの一例を示す図である。
図30】第3の実施形態に係る情報処理装置の構成例を示す図である。
図31】第3の実施形態に係る利用者行動履歴情報記憶部の一例を示す図である。
図32】第3の実施形態に係る位置スタイル情報記憶部の一例を示す図である。
図33】第3の実施形態に係る一般利用者端末の構成例を示す図である。
図34】第3の実施形態に係る情報処理の手順を示すシーケンス図である。
図35】第3の実施形態に係る情報処理の手順を示すシーケンス図である。
図36】第3の実施形態に係る情報処理の手順を示すシーケンス図である。
図37】情報処理システムの構成の概念図の一例を示す図である。
図38】実施形態に係るユーザインターフェイスの一例を示す図である。
図39】実施形態に係るユーザインターフェイスの一例を示す図である。
図40】情報処理装置、一般利用者端末の機能を実現するコンピュータの一例を示すハードウェア構成図である。
【発明を実施するための形態】
【0009】
以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、この実施形態により本願にかかる情報処理装置、情報処理方法及び情報処理プログラムが限定されるものではない。また、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
【0010】
以下に示す項目順序に従って本開示を説明する。
1.第1の実施形態
1-1.第1の実施形態に係る情報処理の一例
1-2.第1の実施形態に係る情報処理システムの構成
1-3.第1の実施形態に係る情報処理装置の構成
1-4.第1の実施形態に係る制作者端末の構成
1-5.第1の実施形態に係る情報処理の手順
1-6.第1の実施形態に係る効果
2.第1の実施形態の変形例
2-1.第1の実施形態の変形例に係る情報処理の一例
2-2.第1の実施形態の変形例に係る情報処理の手順
2-3.第1の実施形態の変形例に係る効果
3.第2の実施形態
3-1.第2の実施形態に係る情報処理の一例
3-2.第2の実施形態に係る情報処理システムの構成
3-3.第2の実施形態に係る情報処理装置の構成
3-4.第2の実施形態に係る一般利用者端末の構成
3-5.第2の実施形態に係る情報処理の手順
3-5-1.スタイル情報の提示処理
3-5-2.再生リストの提供処理
3-5-3.再作曲または編曲後の楽曲情報の提供処理
3-6.第2の実施形態に係る効果
4.第3の実施形態
4-1.第3の実施形態に係る情報処理の一例
4-2.第3の実施形態に係る情報処理システムの構成
4-3.第3の実施形態に係る情報処理装置の構成
4-4.第3の実施形態に係る一般利用者端末の構成
4-5.第4の実施形態に係る情報処理の手順
4-5-1.スタイル情報の提示処理
4-5-2.再生リストの提供処理
4-5-3.再作曲または編曲後の楽曲情報の提供処理
4-6.第3の実施形態に係る効果
5.情報処理システムの構成の概念図
5-1.全体構成について
5-2.サーバ装置について
5-3.楽曲制作者用アプリ部について
5-4.一般利用者用アプリについて
5-5.UI(ユーザインターフェイス)
6.その他の実施形態
6-1.その他の構成例
6-2.その他
7.ハードウェア構成
【0011】
[1.第1の実施形態]
[1-1.第1の実施形態に係る情報処理の一例]
まず、図1を用いて、第1の実施形態に係る情報処理の一例を説明する。図1は、第1の実施形態に係る情報処理の流れを示す概念図である。第1の実施形態に係る情報処理は、情報処理装置100及び制作者端末200によって実行される。
【0012】
本第1の実施形態では、情報処理装置100が著作物としてのコンテンツの創作に関するサービス(単に「サービス」ともいう)を提供する情報処理装置である場合を一例として示す。なお、以下では、楽曲(音楽コンテンツ)をコンテンツの一例として示すが、コンテンツは、楽曲に限らず、映画などの映像コンテンツや書籍(小説等)等の文字コンテンツ等、種々のコンテンツであってもよい。また、ここでいう楽曲は、完成された1つの曲(全体)に限らず、1つの曲(楽曲)を構成する一部の音源や、サンプリングに利用される短い音などの種々の音楽情報が含まれる概念である。
【0013】
情報処理装置100は、情報処理装置100が提供するサービスを利用する利用者の制作者端末200との間で、インターネット等のネットワークN(図6参照)を用いて相互に通信を行う。なお、制作者端末200の台数は、図1に図示したものに限られない。
【0014】
制作者端末200は、PC(personal computer)やタブレット端末等の情報処理端末である。制作者端末200には、各種のプログラムアプリケーションがインストールされる。制作者端末200には、楽曲の創作に関するアプリケーションがインストールされる。例えば、制作者端末200は、総合的な音楽制作環境を実現するDAW等のアプリに、プラグイン(拡張アプリ)により追加された、AIによる自動作曲機能を有する。例えば、プラグインは、VST(Steinberg's Virtual Studio Technology)(登録商標)、AudioUnits、AAX(Avid Audio eXtension)等の形態をとることができる。また、制作者端末200は、DAWに限らず、例えば、iOSなどのモバイルアプリを用いてもよい。
【0015】
制作者端末200は、DAW及びAIによる自動作曲機能を起動実行し、情報処理装置100との間で通信を行うことによって、情報処理装置100において作曲された楽曲情報の提供を受ける。また、制作者端末200は、自動作曲機能の起動時に制作者端末200に対して実行した操作の履歴を示す操作履歴情報を情報処理装置100に送信する。
【0016】
制作者端末200の利用者は、システム全体の運用及び管理を行う管理者、楽曲の創作を行う作曲家、アレンジャー、スタジオエンジニア等の制作者、自動作曲機能を介して楽曲情報の提供を受ける一般利用者のいずれかである。本第1の実施形態では、制作者C1によって制作者端末200が使用されているものとして説明する。
【0017】
情報処理装置100は、制作者端末200のAIによる自動作曲機能に関する情報処理を実行するサーバ装置である。例えば、情報処理装置100は、いわゆるクラウドサーバであり、ネットワークNを介して制作者端末200から指示された情報にしたがって、AIによる自動作曲を実行し、制作者端末200に生成した楽曲情報を提供する。
【0018】
情報処理装置100は、機械学習を行うことで、楽曲生成のための作曲モデルを生成する。例えば、情報処理装置100は、マルコフモデル等を用いて自動作曲された楽曲情報を制作者端末200に提供する。
【0019】
情報処理装置100は、作曲モデルの学習データとして、スタイル情報(楽曲特徴情報)を用いる。スタイル情報は、楽曲情報から、複数の種別の特徴量として抽出された、コード進行、メロディ、ベース進行等の複数の種別の特徴量と所定の識別情報とを対応付けた情報であり、機械学習を用いた作曲処理において使用される。情報処理装置100は、著作楽曲情報、或いは、制作者によって創作された楽曲情報から複数の種別の特徴量を求め、楽曲情報毎に、各特徴量をまとめてスタイル情報ID(所定の識別情報)を付与することで、複数のスタイル情報を生成し、データベース化する。
【0020】
図2は、第1の実施形態に係るスタイル情報のデータ構成の一例を示す図である。スタイル情報は、スタイル情報の識別情報であるスタイル情報ID710、スタイルパレットシーケンス情報720(楽曲順序情報)、スタイルパレット情報730(楽曲形式情報)、スコア情報740及び歌詞情報750を有する。
【0021】
スコア情報740は、楽曲から抽出された複数の種別の特徴量を含む。スコア情報740は、スコアID、メロディ情報、コード進行情報、ベース情報及びドラム情報を有する。スコアIDは、スコア情報の識別情報である。メロディ情報は、規定された長さの小節におけるメロディである。コード進行情報は、規定された長さの小節におけるコード進行を示す情報である。ベース情報は、規定された長さの小節におけるベース音の進行を示す情報である。ドラム情報は、規定された長さの小節におけるドラム音の進行(ドラムのパターンやテンポ)を示す情報である。
【0022】
歌詞情報750は、歌詞ID及び歌詞情報を含む。歌詞IDは、歌詞情報の識別情報である。歌詞情報は、規定された長さの小節における、歌詞を示す情報である。歌詞情報は、例えば、歌詞の元となるフレーズや文字キーワードであり、複数の歌詞情報を用いた自動作詞も可能である。
【0023】
スタイルパレット情報730は、スタイルパレット情報の識別情報であるスタイルパレットIDに、同じ小節に対するスコア情報740のスコアIDと歌詞情報750の歌詞IDとを対応付けて登録した情報である。
【0024】
スタイルパレット情報730には、複数のスコア情報740及び歌詞情報750より、コード情報のコード進行が類似しているものが束ねられていてもよい。類似するコード進行は、例えば、コード進行が全く同一のものである。或いは、類似するコード進行は、各コードをTonic(T)、Sub-dominat(S)、Dominat(D)に分類して、T,S,Dの並びが同一のものでもよい。なお、ハ長調イ短調の場合は、Tは、C/Em/Amであり、Sは、F,Dmであり、Dは、G,Dm7-5である。そして、コード進行C-D-G-CとEm-Dm-Bm7-5-Amは、いずれもT-S-D-Tであるため、同一のコード進行と考えることができる。また、類似するコード進行は、音楽理論を用いるのではく、例えば、機械学習や深層学習により類似するコード進行を基準に分類することも可能である。
【0025】
スタイルパレットシーケンス情報720は、スタイルパレット情報730の順序を示す情報である。スタイルパレットシーケンス情報720は、スタイルパレット情報730を一意に示すスタイルパレットIDと、bar indexとを1組とし、この組を複数有することにより、スタイルパレット情報730の楽曲中における順序を管理する情報となる。例えば、図2に示す例の場合、楽曲の1~4小節はスタイルパレットID731aが対応し、5~8小節はスタイルパレットID731bが対応し、x~y小節はスタイルパレットID731zが対応する、と定義される。
【0026】
情報処理装置100は、このスタイル情報700を学習データとして用いた機械学習を行い、作曲処理を行う。したがって、情報処理装置100は、楽曲情報そのものを学習するのではなく、楽曲情報から抽出されたコード進行、メロディ、ベース進行等の複数の種別の特徴量で構成されたスタイル情報を学習する。すなわち、情報処理装置100は、楽曲情報から予め抽出された複数の特徴量を学習するため、楽曲情報そのものを学習する倍と比して情報処理の負荷が小さく、ユーザへの楽曲情報も効率的に提供できる。
【0027】
また、情報処理装置100は、制作者による作曲時に、学習データの候補となるスタイル情報を制作者端末200に提示する。制作者は、提示されたスタイル情報の中から所望の特徴を有するスタイル情報を選択することができ、情報処理装置100は、制作者が選択したスタイル情報に基づいて作曲した楽曲情報を制作者に提供することができる。これによって、制作者は、自身が選択した曲の特徴に合う楽曲情報を得ることができる。
【0028】
具体的に、制作者による楽曲創作の過程について説明する。図3図5は、第1の実施形態に係る制作者端末200の表示画面の一例を示す図である。制作者が、制作者端末200において、自動作曲機能を起動させると、図3に示すウインドウ270が制作者端末200に表示される。
【0029】
なお、ウインドウ270は、作曲パラメータ設定部271、スタイル情報表示部272、作曲制御部273及び制作楽曲表示編集部274を有する。作曲パラメータ設定部271は、音符長さや複雑度などのパラメータが設定できる領域である。スタイル情報表示部272は、キーワード入力やプルダウン選択によって作曲に使用するスタイル情報を選択できる領域である。作曲制御部273は、作曲実行指示ボタンの選択によって作曲指示が可能である領域である。制作楽曲表示編集部274は、メロディや歌詞が表示される複数のピアノロールが表示される領域である。
【0030】
そして、図4に示すように、スタイルパレット選択プルダウン271aが選択されると、情報処理装置100が有する各スタイル情報のコード進行が候補として一覧表示される。
【0031】
コード進行の候補は、アルファベット順、制作者の利用回数が多い順、全利用者による利用回数が多い順、スタイル情報の生成順等、いずれの順序で表示されてもよい。コード進行は、情報処理装置100が有するスタイル情報の全てについて表示されてもよい。また、コード進行は、情報処理装置100が有するスタイル情報の一部についてのみ表示されてもよい。この場合、コード進行は、所定ルールを用いて順位付けされたスタイル情報のうち、所定順位のスタイル情報のコード進行が、順位順に、スタイルパレット選択プルダウン271aに表示される。
【0032】
そして、コード進行の候補が多い場合には、ページャーにて表示領域を選択可能とする。また、制作者が検索キーワード入力欄に、所望のコード進行を入力することもできる。この場合、情報処理装置100は、入力されたコード進行を特徴量として有するスタイル情報に対して、所定のルールを用いて順位付けを行い、予め設定された順位のスタイル情報を抽出する。この順位は、例えば、制作者端末200のスタイルパレット選択プルダウン371aに一覧表示可能であるコード進行情報の数に対応させて設定される。そして、情報処理装置100は、抽出したスタイル情報のコード進行情報を、順位の高い順に、制作者端末200のスタイルパレット選択プルダウン371aに一覧表示させてもよい。
【0033】
制作者は、スタイルパレット選択プルダウン371aに提示されたコード進行から所望のコード進行を選択し、作曲実行指示ボタンを選択する。制作者は、例えば、コード進行「C-Am-F-C」を選択する。これによって、情報処理装置100では、選択されたコード進行「C-Am-F-C」を有するスタイル情報を抽出し、抽出したスタイル情報700を学習データとして用いた機械学習を行い、作曲処理を行う。そして、情報処理装置100は、制作者端末200に楽曲情報を提供する。
【0034】
これに応じて、制作者端末200の画面には、図5のメロディ表示ピアノロール374aに、情報処理装置100から提供された楽曲情報のメロディが表示される。このように、制作者は、スタイルパレット選択プルダウン371aに提示されたコード進行から所望のコード進行を選択するだけで、このコード進行に合わせて生成された楽曲情報の提供を受けることができる。
【0035】
上記のように、情報処理装置100は、楽曲情報の複数の種別の特徴量を有するスタイル情報をデータベース化し、制作者に、スタイル情報を提示する。そして、情報処理装置100は、制作者によって選択されたスタイル情報を、学習データとして作曲モデルに学習させる。これによって、情報処理装置100は、制作者が選択した楽曲の特徴に合わせて作曲された楽曲情報を制作者に提供する。
【0036】
また、情報処理装置100は、スタイル情報を制作者に提示する際、所定ルールを用いて順位付けされたスタイル情報のうち、所定順位のスタイル情報を提示する。例えば、情報処理装置100は、制作者端末200における操作情報を、指示情報として受け取り、指示情報にしたがって、スタイル情報を抽出する。情報処理装置100は、アプリケーション(DAWや自動作曲機能)の起動時に、楽曲を創作する制作者が制作者端末200に対して実行した操作の履歴を示す操作履歴情報を制作者端末200から取得する。そして、情報処理装置100は、操作履歴情報を基に、楽曲情報に対して所定の操作の回数が多い順に、楽曲情報の作曲に使用されたスタイル情報を順位付けする。
【0037】
所定の操作は、例えば、再生、編集、作曲実行指示ボタンの選択等である。何度も再生をした楽曲情報や、何度も編集を行った楽曲情報は、制作者の嗜好に合うものだと考えられる。このため、情報処理装置100は、操作履歴情報から、再生や編曲の回数が所定数よりも多い楽曲情報を求め、この楽曲情報の作曲に使用されたスタイル情報を、再生や修正の回数が多い順に順位付けする。或いは、情報処理装置100は、これらのスタイル情報を気に入りのスタイル学習として登録し、気に入りのスタイル情報を再度提示し、または、気に入りのスタイル情報と類似するスタイル情報を提示してもよい。
【0038】
また、一部再生を行ったが直ちに自動作曲処理を行った楽曲情報は、制作者の嗜好に合わないものと考えられる。このため、情報処理装置100は、この楽曲情報に使用されたスタイル情報の順位を下げる。或いは、情報処理装置100は、これらのスタイル情報を気に入らないスタイル情報と登録して、気に入らないスタイル情報の提示を再度行わないようにしてもよい。
【0039】
情報処理装置100は、このようなルールで順位付けされたスタイル情報のうち、予め設定された順位のスタイル情報を順位順に制作者に提示する。この結果、制作者の嗜好に合うスタイル情報が制作者端末200に提示されるため、制作者は、自分の嗜好に合うスタイル情報を選択することで、自分のスタイルに近い楽曲情報の提供を受けることができる。以下、本実施形態に係る情報処理のうち、スタイル情報提示処理の流れを、図1を用いて説明する。
【0040】
楽曲創作中に、制作者端末200は、情報処理装置100からスタイル情報の提示情報を受けると、例えば、スタイル情報のコード進行をスタイルパレット選択プルダウン371aに提示する。制作者が、提示されたコード進行から所望のコード進行を選択すると、情報処理装置100は、選択されたコード進行を有するスタイル情報を基に、作曲を行い、制作者端末200に楽曲提供する。
【0041】
そして、情報処理装置100は、制作者端末200から、制作者がアプリケーションの起動時に一般利用者端末300に対して実行した操作の履歴を示す操作履歴情報を取得する(ステップS11)。情報処理装置100は、楽曲情報に対する再生や編集の回数が多い順に、楽曲情報で使用されたスタイル情報を順位付けし、予め設定された順位のスタイル情報を抽出する(ステップS12)。そして、情報処理装置100は、抽出したスタイル情報の提示情報を制作者端末装置に出力する(ステップS13)。
【0042】
このように、本第1の実施形態に係る情報処理では、制作者による制作者端末200に対する操作履歴情報を分析して、制作者の嗜好に合うスタイル情報を制作者端末200に提示することで、制作者による楽曲作成機能の利便性を向上させている。
【0043】
以上、本第1の実施形態に係る情報処理の全体の流れの概要を説明した。図6以降では、情報処理装置100及び制作者端末200を含む情報処理システム1の構成を説明するとともに、種々の処理の詳細を順に説明する。
【0044】
[1-2.第1の実施形態に係る情報処理システムの構成]
図6は、第1の実施形態に係る情報処理システム1の一例を示す図である。図6に示すように、情報処理システム1は、制作者端末200-1~200-3と、情報処理装置100とを有する。情報処理システム1は、自動作曲機能管理システムとして機能する。図6の例では、3台の制作者端末200-1~200-3を図示するが、特に区別なく説明する場合には、制作者端末200と記載する。
【0045】
情報処理装置100と、制作者端末200とはネットワークNを介して、有線または無線により通信可能に接続される。
【0046】
制作者端末200は、制作者による指示情報、及び、自動作曲機能起動時における制作者の制作者端末200に対する操作履歴情報を、情報処理装置100に送信する。制作者端末200は、自動作曲機能起動時において、情報処理装置100において作曲された楽曲情報の提供を受ける。
【0047】
情報処理装置100は、楽曲情報から生成された複数のスタイル情報を、機械学習の学習データとして有する。そして、情報処理装置100は、これらのスタイル情報を用いて機械学習を行うことで、作曲モデルを生成し、作曲した楽曲情報を制作者端末200に提供する。この際、情報処理装置100は、制作者端末200から送信された指示情報にしたがって、スタイル情報を抽出し、抽出したスタイル情報の提示情報を制作者端末200に出力して、制作者による楽曲の創作を支援する。
【0048】
[1-3.第1の実施形態に係る情報処理装置100の構成]
次に、図7を用いて、図6に示す情報処理装置100の構成について説明する。図7は、第1の実施形態に係る情報処理装置100の構成例を示す図である。図7に示すように、情報処理装置100は、通信部110、記憶部120及び制御部130を有する。
【0049】
通信部110は、例えば、NIC(Network Interface Card)等によって実現される。通信部110は、ネットワークNと有線又は無線で接続され、ネットワークNを介して、制作者端末200との間で情報の送受信を行う。
【0050】
記憶部120は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部120は、情報処理に用いる各種データを記憶する。記憶部120は、利用者情報記憶部121、スタイル情報記憶部122、所有情報記憶部123、制作情報記憶部124及び操作履歴情報記憶部125を有する。
【0051】
利用者情報記憶部121は、利用者に関する各種情報(利用者情報)を記憶する。図8は、第1の実施形態に係る利用者情報記憶部121の一例を示す図である。
【0052】
利用者情報記憶部121には、利用者ID、利用者メタ情報、権限情報を含む利用者情報が記憶される。利用者情報記憶部121は、各利用者IDに対応する利用者メタ情報や権限情報を各利用者IDに対応付けて記憶する。
【0053】
利用者IDは、利用者を一意に特定するための識別情報を示す。例えば、利用者IDは、制作者、一般利用者、システム管理者等の利用者を一意に特定するための識別情報を示す。利用者メタ情報は、例えば、利用者の氏名や住所など、利用者の付加情報である。権限情報は、例えば、システム管理者権限情報、制作者権限情報、一般利用者権限情報といった権限を識別するための値が保存される。なお、利用者情報記憶部121は、上記に限らず、目的に応じて種々の情報を記憶してもよい。利用者メタ情報には、利用者に関する各種情報を記憶してもよい。例えば、利用者メタ情報には、利用者が自然人である場合、利用者の性別や年齢などのデモグラフィック属性情報やサイコグラフィック属性情報等を記憶してもよい。
【0054】
スタイル情報記憶部122は、作曲モデルに関する情報を記憶する。図9は、第1の実施形態に係るスタイル情報記憶部122の一例を示す図である。
【0055】
スタイル情報記憶部122には、モデル情報ID、作成者ID、モデル情報メタ情報、スタイル情報700、著作物ID、共有可否情報を含む学習モデル情報が記憶される。スタイル情報記憶部122は、各モデル情報IDに対応する作成者IDやモデル情報メタ情報やスタイル情報や著作物IDや共有可否情報を各モデル情報IDに対応付けて記憶する。
【0056】
モデル情報IDは、作曲モデル情報を一意に特定するための識別情報を示す。作成者IDは、対応する作曲モデル情報の作成者を一意に特定するための識別情報を示す。例えば、作成者IDは、システム管理者、制作者、一般利用者等の利用者を一意に特定するための識別情報を示す。
【0057】
モデル情報メタ情報は、例えば、学習対象となる著作物の特徴を表す情報である。学習モデル情報メタ情報は、楽曲のテンポ、ジャンル、明暗などの雰囲気、AメロBメロサビなどの曲の構造、コード進行、スケール、チャーチモードなどの情報である。
【0058】
スタイル情報700は、情報処理装置100が有する作曲モデルの学習データである。図2において説明したように、スタイル情報700は、楽曲情報から抽出された、コード進行、メロディ、ベース進行等の複数の種別の特徴量と所定の識別情報とを対応付けた情報である。
【0059】
共有可否情報は、例えば、対応する学習モデルの共有可否を示す。共有可否情報は、例えば、対応する学習モデルの共有が可能であるか否かを特定識別するための値が保存される。
【0060】
なお、スタイル情報記憶部122は、上記に限らず、目的に応じて種々の情報を記憶してもよい。例えば、作曲モデル情報メタ情報には、作曲モデルが作成された日時に関する情報等、作曲モデルに関する種々の付加情報を記憶してもよい。
【0061】
所有情報記憶部123は、楽曲を創作する制作者が楽曲創作時に選択したスタイル情報に関する各種情報を記憶する。図10は、第1の実施形態に係る所有情報記憶部123の一例を示す図である。所有情報記憶部123には、楽曲を創作する制作者の利用者IDと、この制作者が選択したスタイル情報IDとが対応付けて記憶される。
【0062】
制作情報記憶部124は、制作された楽曲に関する各種情報を記憶する。図11は、第1の実施形態に係る制作情報記憶部124の一例を示す図である。図11に示すように、制作情報記憶部124は、楽曲を創作した制作者の利用者IDと、制作者によって制作されたスコアIDとが対応付けて記憶される。
【0063】
操作履歴情報記憶部125は、制作者端末200に対する制作者による操作履歴情報を記憶する。図12は、第1の実施形態に係る操作履歴情報記憶部125の一例を示す図である。
【0064】
図12に示すように、操作履歴情報記憶部125は、制作者による制作者端末200に対する操作履歴情報を記憶する。例えば、各操作履歴情報は、各制作者の利用者IDに対応付けられる。操作履歴情報は、制作者が自動作曲機能起動時に制作者端末200に対して実行した操作の履歴を示す情報である。例えば、操作履歴情報には、制作者が行った操作の内容や操作が行われた日時等、制作者の操作に関する各種情報が含まれてもよい。例えば、操作として、情報処理装置100から提示されたスタイル情報の選択、作曲実行指示ボタンの選択、情報処理装置100から受信した楽曲情報の再生や編集などがある。
【0065】
図7に戻って説明を続ける。制御部130は、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、制作者端末200内部に記憶されたプログラムがRAM(Random Access Memory)等を作業領域として実行されることにより実現される。また、制御部130は、コントローラであり、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現されてもよい。
【0066】
制御部130は、受信部131、抽出部132、送信部133、作曲部134、登録部135、履歴取得部136及び分析部137を有し、以下に説明する情報処理の機能や作用を実現または実行する。
【0067】
受信部131は、制作者端末200との間において通信を行い、各種情報の受信を行う。受信部131は、制作者端末200から、スタイル情報の提示情報の出力に関する指示情報を受信する。指示情報は、端末装置に関する操作情報である。
【0068】
具体的には、指示情報は、自動作曲機能の起動にともなう作曲開始情報や自動作曲を指示する情報である。また、指示情報は、スコア情報のいずれかを選択する情報である。具体的には、指示情報は、楽曲の特徴量として制作者が入力したコード進行情報や、検索対象の歌詞を示す歌詞情報等の楽曲情報の特徴量に関する情報である。また、指示情報は、情報処理装置100が提示したスタイル情報のいずれかを選択する選択情報等である。また、指示情報は、制作者による制作者端末200に対する操作履歴情報である。
【0069】
抽出部132は、受信部131が受信した指示情報にしたがって、スタイル情報記憶部122からスタイル情報を抽出する。抽出部132は、指示情報が、コード進行情報等の楽曲情報の特徴量に関する情報である場合、指示情報で示された特徴量を基に、所定ルールを用いて複数のスタイル情報の順位付けを行い、予め設定された順位のスタイル情報を抽出する。
【0070】
例えば、抽出部132は、操作履歴情報記憶部125に記憶された制作者の操作履歴情報を基に、所定の操作の回数が閾値を超えた楽曲情報を求める。そして、抽出部132は、所定の操作の回数が多い順に、求めた楽曲情報に使用されたスタイル情報を順位付けし、予め設定された順位のスタイル情報を抽出する。所定の操作は、再生や編集である。抽出部132は、操作履歴情報から、再生や修正の回数が所定数よりも多い楽曲情報を求め、この楽曲情報の作曲に使用されたスタイル情報を、再生や修正の回数が多い順に順位付けする。
【0071】
送信部133は、各種情報を外部装置に送信する。例えば、抽出部132によって抽出されたスタイル情報の提示情報を出力する。この際、送信部133は、抽出部132によって抽出されたスタイル情報の提示情報を、スタイル情報の順位を示す順位情報とともに制作者端末200に送信する。
【0072】
これによって、制作者端末200では、スタイルパレット選択プルダウンに、順位が高い順に、スタイル情報のコード進行を選択可能に一覧表示される。制作者は、スタイルパレット選択プルダウンに示されたコード進行の中から所望のコード進行を選択すれば、このコード進行を有するスタイル情報を用いて作曲された楽曲情報の提供を受けることができる。また、送信部133は、作曲部134(後述)が作曲した楽曲情報を制作者端末200に送信する。
【0073】
作曲部134は、スタイル情報を基に、機械学習を用いて楽曲情報を作曲する。作曲部134は、制作者端末200から、提示したスタイル情報のいずれかの選択を指示する選択情報を受け付けると、スタイル情報記憶部122から、選択されたスタイル情報を取得する。そして、作曲部134は、取得したスタイル情報を基に、機械学習を用いて楽曲情報を作曲する。作曲部134は、種々の既存の楽曲生成アルゴリズムを利用して作曲を行ってもよい。
【0074】
例えば、作曲部134は、マルコフ連鎖を用いた楽曲生成アルゴリズムを利用してもよいし、深層学習を用いた楽曲生成アルゴリズムを利用してもよい。また、作曲部134は、制作者端末200から送信された指示情報に対して、複数の楽曲情報を生成してもよい。これにより、制作者は、複数の提案を作曲部134から受けることができるため、より多様な情報を利用して作曲作業を進めることができる。
【0075】
登録部135は、制作者端末200から送信された演奏情報等から特徴量を抽出し、抽出した特徴量をスコア情報として登録する。例えば、制作者端末200では、作曲部134によって送信された楽曲情報に基づいて、楽曲の編集や、演奏による楽曲の制作が行なわれる。登録部135は、編集結果或いは制作結果を制作者端末200から受信すると、特徴量を抽出して、スコア情報として登録する。登録部135は、制作者によって楽曲が完成されるまで、スコア情報を生成し、記憶部120に登録する。
【0076】
履歴取得部136は、楽曲制作中における製作者が制作者端末200に対して実行した操作の履歴を示す操作履歴情報を取得する。履歴取得部136は、操作履歴情報記憶部125に記憶された操作履歴情報から、対象となる操作履歴情報を取得してもよい。また、履歴取得部136は、制作者端末200から、楽曲制作中における操作履歴情報の送信を要求することで、操作履歴情報を取得してもよい。
【0077】
分析部137は、操作履歴情報を分析して各操作の回数を求める。所定の操作は、例えば、再生や編集である。或いは、所定の操作は、一部再生を行ったが直ちに自動作曲処理を行ったという操作である。何度も再生をした楽曲情報や、何度も編集を行った楽曲情報は、制作者の嗜好に合うものだと考えられる。また、一部再生を行ったが直ちに自動作曲処理を行った楽曲情報は、制作者の嗜好に合わないものと考えられる。このため、分析部137は、各操作の回数を求めることで、制作者の嗜好に合う楽曲情報や、制作者の嗜好に合わない楽曲情報を分析する。
【0078】
そして、抽出部132は、分析部による分析結果を基に、所定の操作の回数が多い順にスタイル情報を順位付けし、予め設定された順位のスタイル情報を抽出する。抽出部132は、楽曲情報に対する再生や編集の回数が多い順に、この楽曲情報で使用されたスタイル情報を順位付けし、予め設定された順位のスタイル情報を抽出する。何度も再生をした楽曲情報や、何度も編集を行った楽曲情報は、制作者の嗜好に合うものと考えられるためである。また、一部再生を行ったが直ちに自動作曲処理を行った楽曲情報は、制作者の嗜好に合わないものと考えられるため、抽出部132は、この楽曲情報に使用されたスタイル情報の順位を下げてもよい。
【0079】
このように、操作履歴情報の分析結果を基に抽出部132によって抽出されたスタイル情報の提示情報は、送信部133によって制作者端末200に送信される。この結果、制作者の嗜好に合うスタイル情報が制作者端末200に提示されるため、制作者は、自分の嗜好に合うスタイル情報を選択することで、自分のスタイルに近い楽曲情報の提供を受けることができる。
【0080】
[1-4.第1の実施形態に係る制作者端末200の構成]
次に、図13を用いて、図6に示す制作者端末200の構成について説明する。図13は、第1の実施形態に係る制作者端末200の構成例を示す図である。図13に示すように、制作者端末200は、通信部210、入力部220、出力部230、記憶部240、制御部250及び表示部260を有する。
【0081】
通信部210は、例えば、NICや通信回路等によって実現される。通信部210は、ネットワークNと有線又は無線で接続され、ネットワークNを介して、情報処理装置100や他の端末装置等の他の装置等との間で情報の送受信を行う。
【0082】
入力部220は、利用者から各種操作が入力される。入力部220は、制作者端末2000に接続されたキーボードやマウスを有する。入力部220は、利用者による入力を受け付ける。入力部220は、キーボードやマウスによる利用者の入力を受け付ける。入力部220は、音声を検知する機能を有してもよい。この場合、入力部220は、音声を検知するマイクが含まれてもよい。
【0083】
入力部220は、表示部260を介して各種情報が入力されてもよい。この場合、入力部220は、キーボードやマウスと同等の機能を実現できるタッチパネルを有してもよい。この場合、入力部220は、各種センサにより実現されるタッチパネルの機能により、表示画面を介して利用者から各種操作を受け付ける。なお、入力部220による利用者の操作の検知方式には、タブレット端末では主に静電容量方式が採用されるが、他の検知方式である抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式など、利用者の操作を検知できタッチパネルの機能が実現できればどのような方式を採用してもよい。また、制作者端末200は、ボタン等による操作も受け付ける入力部を有してもよい。
【0084】
出力部230は、各種情報を出力する。出力部230は、音声を出力するスピーカーを有する。
【0085】
記憶部240は、例えば、RAM、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部240は、情報の表示に用いる各種情報を記憶する。記憶部240は、操作履歴情報241を記憶する。
【0086】
操作履歴情報241は、楽曲を創作する制作者がアプリケーションの起動時に制作者端末200に対して実行した操作の履歴を示す情報である。例えば、操作履歴情報には、制作者が行った操作の内容や操作が行われた日時等、制作者の操作に関する各種情報が含まれてもよい。操作として、情報処理装置100から提示されたスタイル情報の選択、作曲実行指示ボタンの選択、情報処理装置100から受信した楽曲情報の再生、編集、制作などがある。
【0087】
制御部250は、例えば、CPUやMPU等によって、制作者端末200内部に記憶されたプログラムがRAM等を作業領域として実行されることにより実現される。また、制御部250は、コントローラであり、例えば、ASICやFPGA等の集積回路により実現されてもよい。制御部250は、表示制御部251、送受信部252、選択部253、及び再生部254を有する。
【0088】
表示制御部251は、表示部260に対する各種表示を制御する。表示制御部251は、表示部260の表示を制御する。表示制御部251は、情報処理装置100から受信した情報に基づいて、表示部260の表示を制御する。表示制御部251は、制御部250の各構成要素による処理により生成された情報に基づいて、表示部260の表示を制御する。表示制御部251は、画像を表示するアプリケーションにより表示部260の表示を制御してもよい。
【0089】
表示制御部251は、DAW及びAIによる自動作曲機能のアプリケーションにより、ウインドウ270(図3図5参照)等を表示部260に表示させる。また、表示制御部251は、情報処理装置100からスタイルパレットの提示情報を受信すると、提示されたスタイルパレットのコード進行や歌詞を、ウインドウ270のスタイルパレット選択プルダウン371a(図4参照)に表示させる。
【0090】
送受信部252は、情報処理装置100との間において通信を行い、各種情報の送信及び受信を行う。自動作曲機能起動時には、送受信部252は、情報処理装置100から送信された、スタイル情報の提示情報を受信する。送受信部252は、スタイル情報を選択する指示情報を、情報処理装置100に送信する。そして、送受信部252は、情報処理装置100が生成した楽曲情報を受信する。また、送受信部252は、制作者によって編曲、制作されたメロディ等の楽曲情報を情報処理装置100に送信する。
【0091】
選択部253は、情報処理装置100から提示されたスタイル情報のいずれかを選択する。例えば、ウインドウ270のスタイルパレット選択プルダウン371a(図4参照)に表示されたコード進行のうち、利用者による入力部220の操作によっていずれかのコード進行が選択される。これによって、選択部253は、この選択されたコード進行に対応するスタイル情報を選択する指示情報を、送受信部252から情報処理装置100に送信する。
【0092】
再生部254は、情報処理装置100が生成した楽曲情報を再生する。具体的には、再生部254は、楽曲データに含まれるメロディやコード、ベース音の各々に任意の楽器情報を設定し、各々のデータを再生する。なお、再生部254は、メロディやコード、ベース音の各々を組み合わせて再生してもよい。
【0093】
また、制御部250は、制作者が、自動作曲機能によって提供された作曲とともに演奏を行う場合に、制作者による演奏を受け付ける。また、制御部250は、制作者による、自動作曲機能によって提供された作曲への編曲や、楽曲の制作に関する処理も受け付ける。
【0094】
表示部260は、各種情報を表示する。表示部260は、例えば液晶ディスプレイや有機EL(Electro-Luminescence)ディスプレイ等によって実現される。表示部260は、表示制御部251による制御に応じて、各種情報を表示する。表示部260は、情報処理装置100から提供される画像等の情報を表示することも可能である。
【0095】
[1-5.第1の実施形態に係る情報処理の手順]
次に、図14を用いて、第1の実施形態に係る各種情報処理の手順について説明する。図14は、第1の実施形態に係る情報処理の手順を示すシーケンス図である。
【0096】
情報処理装置100は、制作者端末200での自動作曲機能の起動に伴い(ステップS101)、作曲開始情報を受信すると(ステップS102)、スタイル情報を抽出し(ステップS103)、抽出したスタイル情報の提示情報を制作者端末200に送信する(ステップS104)。情報処理装置100は、例えば、スタイル情報記憶部222から、全てのスタイル情報、制作者の利用回数が所定回数を超えるスタイル情報、或いは、全利用者による利用回数が所定回数を超えるスタイル情報を抽出し、抽出したスタイル情報の提示情報を送信する。
【0097】
そして、制作者端末200は、提示情報を基にスタイル情報を一覧表示する(ステップS105)。制作者端末200は、例えば、スタイル情報のコード進行を候補として一覧表示する。そして、制作者端末200は、制作者によってスタイル情報が選択されると(ステップS106)、選択されたスタイル情報を示す選択情報を、情報処理装置100に送信する(ステップS107)。
【0098】
情報処理装置100は、選択されたスタイル情報を抽出し、抽出したスタイル情報を学習データとして用いた機械学習を行って作曲処理を行い(ステップS108)、制作者端末200に楽曲情報を提供する(ステップS109)。なお、情報処理装置100は、作曲した楽曲情報から複数の種別の特徴量を抽出してこれらの特徴量を含む新たなスコア情報として記憶部120に格納するとともに、所有情報記憶部123に登録する。
【0099】
制作者端末200は、提供を受けた楽曲を再生すると(ステップS110)、制作者による楽曲情報に対する編集や制作処理のための操作を受け付ける(ステップS111)。制作者が、例えば、MIDI keyboardにより演奏する場合、MIDI情報を受け付ける。そして、制作者端末200は、制作者による編集処理や制作処理によって制作された楽曲情報を情報処理装置100に送信する(ステップS112)。
【0100】
情報処理装置100は、編曲、制作された楽曲情報を受け付けると、楽曲情報から特徴量を抽出し、抽出した特徴量を基に生成したスコア情報を登録する(ステップS113)。情報処理装置100は、制作者が選択したスタイル情報に、制作者によって編曲、制作された楽曲情報に基づくスコア情報を追加し、スタイル情報を制作者のスタイルに近づかせてもよい。
【0101】
制作者端末200は、自動作曲機能の起動時に、操作履歴情報を情報処理装置100に送信する(ステップS114,S115)。情報処理装置100は、操作履歴情報を分析して各操作の回数を求める(ステップS116)。そして、情報処理装置100は、制作者の嗜好に合うスタイル情報を抽出するために、分析結果を基に、所定の操作の回数が多い順にスタイル情報を順位付けし、予め設定された順位のスタイル情報を抽出する(ステップS117)。情報処理装置100は、抽出したスタイル情報の提示情報を制作者端末200に送信する(ステップS118)。
【0102】
そして、制作者端末200は、操作履歴情報を基に抽出されたスタイル情報を一覧表示する(ステップS119)。そして、制作者端末200は、作曲が終了していない場合には(ステップS120:No)、ステップS106に戻り、制作者による楽曲の制作処理を継続する。また、制作者による作曲が終了すると(ステップS120:Yes)、制作者は、一般利用者端末300を操作し、例えば、アレンジ処理(ステップS121)、ミックスやマスタリング処理を行ってもよい(ステップS122)。
【0103】
[1-6.第1の実施形態に係る効果]
上述のように、第1の実施形態に係る情報処理装置(実施形態では情報処理装置100)は、機械学習を用いた作曲処理において学習データとして使用される楽曲特徴情報であって、楽曲情報から抽出された複数の種別の特徴量と所定の識別情報とが対応付けられた楽曲特徴情報(実施の形態ではスタイル情報700)を記憶する記憶部(実施形態では記憶部120)と、端末装置(実施形態では制作者端末200)から送信された指示情報を受信する受信部(131)と、指示情報にしたがって、記憶部から楽曲特徴情報を抽出する抽出部(実施形態では抽出部132)と、抽出部によって抽出された楽曲特徴情報の提示情報を出力する出力部(実施形態では送信部133)と、を有する。
【0104】
このように、第1の実施形態に係る情報処理装置では、楽曲情報の複数の種別の特徴量を有するスタイル情報を保持し、指示情報にしたがって、抽出した楽曲特徴情報の提示情報を出力する。すなわち、第1の実施形態に係る情報処理装置が、端末装置に、指示情報に応じた楽曲特徴情報を提示することで、制作者は、その中から所望の楽曲特徴情報を選択することができる。そして、情報処理装置は、制作者が所望した楽曲特徴情報に基づいて作曲された楽曲情報を提供することができる。したがって、本実施の形態に係る情報処理装置によれば、利用者による楽曲作成機能の利便性を向上させることができる。
【0105】
また、指示情報は、特徴量に関する情報を含む。抽出部は、特徴量に関する情報を基に、所定ルールを用いて複数の楽曲特徴情報の順位付けを行い、予め設定された順位の楽曲特徴情報を抽出する。出力部は、抽出部によって抽出された楽曲特徴情報の提示情報を、楽曲特徴情報の順位を示す順位情報とともに外部装置に出力する。これにより、情報処理装置は、制作者が指示した楽曲の特徴量を基に、順位が高い楽曲特徴情報を順位情報とともに提示するため、制作者は、楽曲特徴情報の一覧を確認するだけで、自身の希望に合う楽曲特徴情報を迅速に選択することができる。
【0106】
また、指示情報は、端末装置における操作情報である。このため、情報処理装置は、操作情報を、指示情報として受け取り、操作情報にしたがった適切なスタイル情報を抽出することができる。
【0107】
楽曲特徴情報は、規定された長さの小節における、コード進行を示すコード進行情報、メロディを示すメロディ情報、ベースの進行を示すベース情報を有するスコア情報を有する。これにより、情報処理装置は、コード進行、メロディ、ベース情報を含む楽曲特徴情報を基に、作曲を実行することができる。そして、情報処理装置は、作曲時において、楽曲情報そのものではなく、コード進行情報、メロディ情報、ベース情報といった特徴量を学習するため、利用者へ楽曲情報を効率的に提供できる。
【0108】
スコア情報は、規定された長さの小節における、ドラムの進行を示すドラム進行情報をさらに含む。これにより、情報処理装置は、コード進行、メロディ、ベース情報、ドラム進行情報を含む楽曲特徴情報を基に、作曲を実行することができる。
【0109】
楽曲特徴情報は、同じ小節に対するスコア情報の識別情報と歌詞情報の識別情報とを対応付けて登録する楽曲形式情報と、楽曲形式情報の順序を示す楽曲順序情報とを有する。情報処理装置は、楽曲形式情報とその順序も学習できるため、さらに利用者が所望する楽曲情報を提供できる。
【0110】
受信部は、スコア情報のいずれかを選択する指示情報を受信する。抽出部は、指示情報が選択したスコア情報を有する楽曲特徴情報に対し、所定ルールを用いて順位付けを行い、予め設定された順位の楽曲特徴情報を抽出する。これにより、情報処理装置は、例えば制作者が指示したスコア情報の特徴量を基に、順位が高い楽曲特徴情報を提示するため、制作者は、楽曲特徴情報の一覧を確認するだけで、自身の希望に合う楽曲特徴情報を迅速に選択することができる。
【0111】
また、端末装置は、楽曲の創作に関するアプリケーションがインストールされた制作者端末装置である。指示情報は、楽曲を創作する制作者がアプリケーションの起動時に制作者端末装置に対して実行した操作の履歴を示す操作履歴情報である。抽出部は、操作履歴情報を基に、所定の操作の回数が多い順に楽曲特徴情報を順位付けし、予め設定された順位の楽曲特徴情報を抽出する。出力部は、抽出部によって抽出された楽曲特徴情報の提示情報を制作者端末装置に出力する。これにより、情報処理装置は、操作履歴情報を分析して、制作者の嗜好に合う楽曲情報を制作者に提示するため、制作者は、自身の嗜好に合う楽曲特徴情報を迅速に選択することができる。
【0112】
[2.第1の実施形態の変形例]
[2-1.第1の実施形態の変形例に係る情報処理の一例]
次に、第1の実施形態の変形例に係る情報処理について説明する。スタイル情報700(図2参照)は、特徴量として歌詞情報を含む。このため、制作者は、制作者端末200に所望の歌詞を入力するだけで、この歌詞に合ったスタイル情報の提示を受けることができる。図15図18は、第1の実施形態の変形例に係る制作者端末200の表示画面の一例を示す図である。
【0113】
具体的には、図15に示すように、制作者がウインドウ270の検索キーワード入力欄272bに、所望の歌詞(例えば、「楽しい」)を入力した場合には、情報処理装置100は、歌詞「楽しい」を検索する指示情報を受信する。
【0114】
そして、情報処理装置100は、この歌詞或いはこの歌詞に類似する歌詞を含む歌詞情報を特徴量として有するスタイル情報に対し、所定ルールを用いて順位付けを行い、予め設定された順位のスタイル情報を抽出する。そして、情報処理装置100は、抽出した各スタイル情報の提示情報を制作者端末200に送信すると、制作者端末200では、歌詞情報が、スタイルパレット選択プルダウン371aに一覧表示される。例えば、スタイルパレット選択プルダウン371aには、「楽しい未来が・・・」、「その国は楽しい・・・」、「友達と楽しい時間を・・・」等の「楽しい」を含む歌詞情報が表示される。
【0115】
制作者は、スタイルパレット選択プルダウン371aに提示された歌詞情報から所望の歌詞情報を選択し、作曲実行指示ボタンを選択する。図16の例では、「友達と楽しい時間を・・・」が選択される。これによって、情報処理装置100では、選択された歌詞情報を有するスタイル情報を抽出し、抽出したスタイル情報700を学習データとして用いた機械学習を行い、作曲処理を行い、制作者端末200に楽曲情報を提供する。
【0116】
この際、情報処理装置100は、生成した楽曲に合わせて歌詞も自動生成し、メロディと歌詞とを対応付けた楽曲情報を制作者端末200に提供してもよい。この場合、制作者端末200の画面には、図16のメロディ表示ピアノロール374aに、メロディと、メロディに対応する歌詞とが表示される。
【0117】
このように、制作者は、検索した歌詞を入力した後に、スタイルパレット選択プルダウン371aに提示された歌詞情報から所望の歌詞情報を選択するだけで、選択した歌詞情報に合わせて生成された楽曲情報の提供を受けることができる。
【0118】
また、利用者が歌詞を入力した場合、図17に示すように、制作者端末200は、情報処理装置100から提示されたスタイル情報のコード進行の候補を一覧表示して、制作者の楽曲創作を支援してもよい。この場合、制作者端末200の画面には、図18のメロディ表示ピアノロール374aに、メロディと、メロディに対応する歌詞とが表示される。
【0119】
このように、情報処理装置100では、受信部131が、歌詞の検索を指示する指示情報を受信する。そして、抽出部132は、指示情報が検索を指示した歌詞或いはこの歌詞に類似する歌詞を有する歌詞情報を有するスタイル情報に対し、所定ルールを用いて順位付けを行い、予め設定された順位のスタイル情報を抽出する。例えば、情報処理装置100は、検索対象の歌詞(文字キーワード)と、歌詞が一致する歌詞情報を有するスタイル情報を抽出して提示する他、機械学習や深層学習によりあらかじめ歌詞情報を分類しておき検索対象の歌詞を含む分類に属するスタイル情報を提示してもよい。また、作曲部134は、生成した楽曲に合わせて歌詞も自動生成する。
【0120】
[2-2.第1の実施形態の変形例に係る情報処理の手順]
次に、図19を用いて、第1の実施形態の変形例に係る各種情報処理の手順について説明する。図19は、第1の実施形態の変形例に係る情報処理の手順を示すフローチャートである。
【0121】
図19に示すステップS131は、図14に示すステップS101と同じ処理である。制作者端末200は、歌詞の検索を受け付けると(ステップS132)、この歌詞の検索を指示する指示情報を情報処理装置100に送信する(ステップS133)。
【0122】
情報処理装置100は、この歌詞或いはこの歌詞に類似する歌詞を含む歌詞情報を特徴量として有するスタイル情報に対し、所定ルールを用いて順位付けを行い、予め設定された順位のスタイル情報を抽出する(ステップS134)。
【0123】
そして、情報処理装置100は、抽出した各スタイル情報の歌詞情報を含む提示情報を制作者端末200に送信すると(ステップS135)、制作者端末200では、歌詞情報或いはコード進行が一覧表示される(ステップS136)。図19に示すステップS137~ステップS139は、図14に示すステップS106~ステップS108と同じ処理である。情報処理装置100は、歌詞の自動生成を行い(ステップS140)、作曲した楽曲情報と生成した歌詞情報とを制作者端末200に提供する(ステップS141)。なお、情報処理装置100は、作曲した楽曲情報から歌詞を含む複数の種別の特徴量を抽出してこれらの特徴量を含む新たなスコア情報として記憶部120に格納するとともに、所有情報記憶部123に登録する。
【0124】
制作者端末200は、提供を受けた楽曲を歌詞とともに再生すると(ステップS142)、制作者による、楽曲情報や歌詞情報に対する編集や制作処理のための操作を受け付ける(ステップS143)。制作者端末200は、制作者による編集処理や制作処理によって制作された楽曲情報及び歌詞情報を情報処理装置100に送信する(ステップS144)。
【0125】
情報処理装置100は、編曲、制作された楽曲情報を受け付けると、楽曲情報から歌詞情報を含む特徴量を抽出し、抽出した特徴量を基に生成したスコア情報及び歌詞情報を登録する(ステップS145)。情報処理装置100は、制作者が選択したスタイル情報に、制作者によって編曲、制作された楽曲情報に基づくスコア情報及び歌詞情報を追加し、スタイル情報を制作者のスタイルに近づかせてもよい。
【0126】
図19に示すステップS146~ステップS149は、図14に示すステップS115~ステップS117と同じ処理である。情報処理装置100は、抽出したスタイル情報の歌詞情報を含む提示情報を制作者端末200に送信する(ステップS150)。図19に示すステップS151~ステップS154は、図14に示すステップS119~ステップS122と同じ処理である。
【0127】
[2-3.第1の実施形態の変形例に係る効果]
上述したように、第1の実施形態の変形例では、情報処理装置は、受信部は、歌詞の検索を指示する指示情報を受信する。抽出部は、指示情報が検索を指示した歌詞を有する歌詞情報を有する楽曲特徴情報に対し、所定ルールを用いて順位付けを行い、予め設定された順位の楽曲特徴情報を抽出する。これにより、制作者は、検索した歌詞を入力し、提示された楽曲特徴情報から所望の楽曲特徴情報を選択するだけで、選択した歌詞に合わせて生成された楽曲情報の提供を受けることができる。したがって、本実施の形態に係る情報処理装置によれば、利用者による楽曲作成機能の利便性を向上させることができる。
【0128】
[3.第2の実施形態]
[3-1.第2の実施形態に係る情報処理の一例]
次に、図20を用いて、第2の実施形態に係る情報処理の一例を説明する。図20は、第2の実施形態に係る情報処理の流れを示す概念図である。第2の実施形態に係る情報処理は、情報処理装置2100、制作者端末200及び一般利用者端末300によって実行される。
【0129】
一般利用者端末300は、タブレット端末等の情報処理端末である。一般利用者端末300には、各種のプログラムアプリケーションがインストールされる。一般利用者端末300には、楽曲を視聴するアプリケーションがインストールされる。一般利用者端末300は、情報処理装置100との間で通信を行うことによって楽曲情報の提供を受ける。一般利用者端末300の利用者は、楽曲情報の提供を受ける一般利用者である。
【0130】
一般利用者端末300は、楽曲視聴用のアプリケーションの起動時に、利用者が一般利用者端末300に対して実行した操作の履歴を示す操作履歴情報を情報処理装置2100に送信する。また、一般利用者端末300は、DAW及びAIによる自動作曲機能の起動も可能である。一般利用者端末300は、DAWに限らず、例えば、iOSなどのモバイルアプリを用いてもよい。
【0131】
情報処理装置2100は、情報処理装置100と同様に、スタイル情報の提示情報や楽曲情報を制作者端末200に提供する。そして、情報処理装置2100は、一般利用者端末300の操作履歴情報を基に、制作者端末200に対するスタイル情報の提示、一般利用者端末300に提供する楽曲情報の再生リストの提供、または、一般利用者端末300に提供する楽曲情報の再作曲或いは編曲を行う。
【0132】
図20を参照して、具体的に、第2の実施形態に係る情報処理の流れについて説明する。図20に示すように、情報処理装置2100は、一般利用者端末300における操作履歴情報を取得する(ステップS31)。そして、情報処理装置2100は、操作履歴情報を分析して、利用者による各操作の回数を求める。
【0133】
所定の操作は、例えば、利用者による楽曲情報の視聴の際に実行された再生、スキップ、リピートなどの操作である。例えば、情報処理装置2100は、所有情報記憶部113に登録された制作楽曲において再生回数が閾値よりも多い楽曲を利用者が好きな楽曲であると分類する。また、情報処理装置2100は、再生回数が閾値よりも少ない楽曲を利用者が好きでない楽曲であると分類する。また、情報処理装置2100は、スキップされた楽曲を嫌いな楽曲と分類する。
【0134】
そして、情報処理装置2100は、楽曲情報への所定の操作の回数が多い順に、楽曲情報の作曲に使用されたスタイル情報を順位付けし、予め設定された順位のスタイル情報を抽出して(ステップS32)、制作者端末200に出力する(ステップS33)。
【0135】
このように、第2の実施形態に係る情報処理では、利用者による一般利用者端末300に対する操作履歴情報を分析し、利用者に好まれている楽曲情報のスタイル情報を制作者端末200に提示する。これによって、制作者は、現在流行っている楽曲に使用されているスタイル情報を用いて、利用者が要求する新曲をほぼリアルタイムで制作することができる。
【0136】
また、情報処理装置2100は、操作履歴情報を分析し、利用者による所定の操作の回数が閾値を超えた楽曲情報を求め、求めた楽曲情報を基に再生リストを生成して(ステップS34)、一般利用者端末300に再生リストを出力する(ステップS35)。
【0137】
このように、第2の実施形態に係る情報処理では、利用者による一般利用者端末300に対する操作履歴情報を分析し、利用者の好みに合う再生リストを生成して、利用者毎にカスタマイズされた再生リストを配信提供する。
【0138】
そして、情報処理装置2100は、操作履歴情報を分析し、利用者による所定の操作の回数が閾値を超えた楽曲情報を求める。そして、情報処理装置2100は、所定の操作の回数が多い順に、求めた楽曲情報に使用されたスタイル情報を順位付けし、予め設定された順位のスタイル情報を抽出する。情報処理装置2100は、抽出したスタイル情報を基に楽曲情報を再作曲または編曲し(ステップS34)、再作曲または編曲された楽曲情報を一般利用者端末300に出力する(ステップS35)。
【0139】
このように、第2の実施形態に係る情報処理では、利用者が好む制作楽曲に用いられたスタイル情報を用いて、再生中の制作楽曲をさらに再作曲もしくは編曲して、利用者に提供することができる。この再作曲及び編曲は、利用者が一般利用者端末300から指示情報を送信することによって能動的に行われてもよいし、情報処理装置2100が操作履歴情報を基に自動的に行ってもよい。次に、情報処理装置2100、制作者端末200及び一般利用者端末300を含む情報処理システム201の構成を説明するとともに、種々の処理の詳細を順に説明する。
【0140】
[3-2.第2の実施形態に係る情報処理システムの構成]
図21は、第2の実施形態に係る情報処理システム201の一例を示す図である。図21に示すように、情報処理システム201は、制作者端末200-1~200-3と、一般利用者端末300-1~300-3と、情報処理装置2100とを有する。情報処理システム201は、自動作曲機能管理システム及び視聴楽曲提供システムとして機能する。図21の例では、3台の制作者端末200-1~200-3を図示するが、特に区別なく説明する場合には、制作者端末200と記載する。また、図21の例では、3台の一般利用者端末300-1~300-3を図示するが、特に区別なく説明する場合には、一般利用者端末300と記載する。
【0141】
情報処理装置2100と、制作者端末200とはネットワークNを介して、有線または無線により通信可能に接続される。情報処理装置2100と、一般利用者端末300とはネットワークNを介して、有線または無線により通信可能に接続される。
【0142】
一般利用者端末300は、操作履歴情報を情報処理装置2100に送信する。操作履歴情報は、楽曲視聴用のアプリケーションの起動時に、利用者が一般利用者端末300に対して実行した操作の履歴を示す情報である。また、一般利用者端末300は、楽曲視聴時に、情報処理装置2100において生成された再生リストや、再作曲または編曲された楽曲情報の提供を受ける。
【0143】
情報処理装置2100は、情報処理装置100と同様に、複数のスタイル情報を、機械学習の学習データとして有する。情報処理装置2100は、一般利用者端末300から受信した操作履歴情報を分析する。情報処理装置2100は、操作履歴情報の分析結果を基に抽出したスタイル情報の提示情報を制作者端末200に出力して、制作者による楽曲の創作を支援する。また、情報処理装置2100は、操作履歴情報の分析結果を基に、視聴者にカスタマイズした再生リストを生成し、一般利用者端末300に提供する。また、情報処理装置2100は、操作履歴情報の分析結果を基に、利用者が好む制作楽曲に用いられたスタイル情報を用いて、再生中の制作楽曲をさらに再作曲もしくは編曲して、利用者に提供する。
【0144】
[3-3.第2の実施形態に係る情報処理装置100の構成]
次に、図22を用いて、図21に示す情報処理装置2100の構成について説明する。図22は、第2の実施形態に係る情報処理装置2100の構成例を示す図である。図22に示すように、情報処理装置2100では、記憶部120は、利用者操作履歴情報記憶部2125を有する。そして、情報処理装置2100は、制御部130に代えて、制御部2130を有する。
【0145】
利用者操作履歴情報記憶部2125は、一般利用者端末300に対する利用者による操作履歴情報を記憶する。図23は、第2の実施形態に係る利用者履歴情報記憶部2125の一例を示す図である。
【0146】
図23に示すように、利用者操作履歴情報記憶部2125は、利用者による一般利用者端末300に対する操作履歴情報を記憶する。例えば、各操作履歴情報は、各利用者の利用者IDに対応付けられる。例えば、利用者の操作履歴情報には、利用者が行った操作の内容や操作が行われた日時等、利用者の操作に関する各種情報が含まれてもよい。例えば、操作として、楽曲情報の再生、スキップ、リピートなどがある。
【0147】
制御部2130は、図7に示す制御部130と比して、抽出部2132、履歴取得部2136、分析部2137及び生成部2138を有する。
【0148】
履歴取得部2136は、利用者の操作履歴情報を取得する。履歴取得部2136は、利用者操作履歴情報記憶部2125に記憶された操作履歴情報から、対象となる利用者の操作履歴情報を取得してもよい。また、履歴取得部2136は、一般利用者端末300に対し、楽曲視聴中における利用者の操作履歴情報の送信を要求することで、操作履歴情報を取得してもよい。
【0149】
分析部2137は、利用者の操作履歴情報を分析して各操作の回数を求める。所定の操作は、例えば、楽曲の再生、スキップ、リピートなどの操作である。例えば、分析部2137は、再生回数が閾値よりも多い楽曲を利用者が好きな楽曲であると分類する。また、分析部2137は、再生回数が閾値よりも少ない楽曲を利用者が好きでない楽曲であると分類する。また、分析部2137は、スキップされた楽曲を嫌いな楽曲と分類する。このように、分析部2137は、各操作の回数を求めることで、利用者の嗜好に合う楽曲情報や、利用者の嗜好に合わない楽曲情報を分析する。
【0150】
生成部2138は、分析部2137による分析結果を基に、所定の操作の回数が閾値を超えた楽曲情報を求め、求めた楽曲情報を基に再生リストを生成する。送信部133は、再生リストを一般利用者端末300に出力する。
【0151】
抽出部2132は、分析部2137による分析結果を基に、所定の操作の回数が閾値を超えた楽曲情報を求める。そして、抽出部2132は、所定の操作の回数が多い順に、求めた楽曲情報に使用されたスタイル情報を順位付けし、予め設定された順位のスタイル報を抽出する。送信部133は、抽出部2132によって抽出されたスタイル情報の提示情報を、制作者端末200に送信する。
【0152】
そして、作曲部134は、抽出部2132によって抽出されたスタイル情報を基に楽曲情報を再作曲または編曲する。送信部133は、再作曲または編曲された楽曲情報を一般利用者端末300に送信する。
【0153】
[3-4.第2の実施形態に係る一般利用者端末300の構成]
次に、図24を用いて、図21に示す一般利用者端末300の構成について説明する。図24は、第2の実施形態に係る一般利用者端末300の構成例を示す図である。図24に示すように、一般利用者端末300は、通信部310、入力部320、出力部330、記憶部340、制御部350及び表示部360を有する。
【0154】
通信部310は、図13に示す通信部210と同様の機能を有する。入力部320は、図13に示す入力部220と同様に、タッチパネルを有してもよい。また、入力部320は、音声を検知するマイクが含まれてもよい。出力部330は、図13に示す出力部230と同様の機能を有する。
【0155】
記憶部340は、図13に示す記憶部240と同様の機能を有する。記憶部340は、操作履歴情報341を記憶する。操作履歴情報341は、楽曲を視聴する利用者がアプリケーションの起動時に一般利用者端末300に対して実行した操作の履歴を示す情報である。例えば、操作履歴情報には、利用者が行った操作の内容や操作が行われた日時等、制作者の操作に関する各種情報が含まれてもよい。操作として、楽曲の再生、スキップ、リピートなどの操作などがある。
【0156】
制御部350は、図13に示す制御部250と同様の機能を有する。制御部350は、表示制御部351、送受信部352、選択部353及び再生部354を有する。
【0157】
表示制御部351は、図13に示す表示制御部251と同様の機能を有する。表示制御部351は、楽曲視聴用のアプリケーションにより、視聴リスト、視聴中の楽曲に関する情報や、再生、スキップ、リピート等の各操作を選択できるアイコンを表示する。
【0158】
送受信部352は、図13に示す送受信部252と同様の機能を有する。送受信部352は、情報処理装置2100から送信された楽曲情報や再生リストを受信する。送受信部352は、利用者の操作履歴情報341を情報処理装置2100に送信する。
【0159】
選択部353は、楽曲情報或いは再生リストの選択や、再生、スキップ、リピート等の各操作の選択を行う。再生部354は、情報処理装置2100から受信した楽曲情報や再生リストを再生する。表示部360は、図13に示す表示部260と同様の機能を有する。
【0160】
[3-5.第2の実施形態に係る情報処理の手順]
[3-5-1.スタイル情報の提示処理]
次に、図25を用いて、第2の実施形態に係る各種情報処理の手順について説明する。図25は、第2の実施形態に係る情報処理の手順を示すシーケンス図である。図25では、制作者に対するスタイル情報の提示処理について説明する。
【0161】
一般利用者端末300から、視聴者による視聴楽曲の選択によって(ステップS161)、視聴楽曲指示情報が送信されると(ステップS162)、情報処理装置2100は、指示された楽曲を一般利用者端末300に送信して、楽曲を提供する(ステップS163,S164)。
【0162】
そして、一般利用者端末300は、利用者の操作履歴情報を情報処理装置2100に送信する(ステップS165,S166)。情報処理装置2100は、利用者の操作履歴情報を分析して各操作の回数を求める(ステップS167)。そして、情報処理装置2100は、利用者が好むスタイル情報を抽出するために、分析結果を基に、所定の操作の回数が多い順にスタイル情報を順位付けし、予め設定された順位のスタイル情報を抽出する(ステップS168)。
【0163】
情報処理装置2100は、抽出したスタイル情報の提示情報を制作者端末200に送信する(ステップS169)。図25に示すステップS170~ステップS178は、図14に示すステップS105~ステップS113と同じ処理である。図25に示すステップS179~ステップS181は、図14に示すステップS120~ステップS122と同じ処理である。
【0164】
[3-5-2.再生リストの提供処理]
次に、図26を用いて、第2の実施形態に係る各種情報処理の手順について説明する。図26は、第2の実施形態に係る情報処理の手順を示すシーケンス図である。図26では、利用者に対する再生リストの提供処理について説明する。
【0165】
図26に示すステップS191~ステップS197は、図25に示すステップS161~ステップS167と同じ処理である。情報処理装置2100は、一般利用者端末300から再生を指示する再生指示情報を受信すると(ステップS198)、再生リストを生成する(ステップS199)。ステップS199において、情報処理装置2100は、利用者の操作履歴情報に対する分析結果を基に、所定の操作の回数が閾値を超えた楽曲情報を求め、求めた楽曲情報を基に再生リストを生成する。そして、情報処理装置2100は、生成した再生リストを一般利用者端末300に送信する(ステップS200)。
【0166】
[3-5-3.再作曲または編曲後の楽曲情報の提供処理]
次に、図27を用いて、第2の実施形態に係る各種情報処理の手順について説明する。図27は、第2の実施形態に係る情報処理の手順を示すシーケンス図である。図27では、利用者に対する再生リストの提供処理について説明する。
【0167】
図27に示すステップS201~ステップS207は、図25に示すステップS161~ステップS167と同じ処理である。情報処理装置2100は、一般利用者端末300から再作曲または編集を指示する指示情報を受信する(ステップS208)。情報処理装置2100は、利用者の操作履歴情報に対する分析結果を基に、所定の操作の回数が閾値を超えた楽曲情報を求め、所定の操作の回数が多い順に、求めた楽曲情報に使用されたスタイル情報を順位付けする。そして、情報処理装置2100は、予め設定された順位のスタイル情報報を抽出する(ステップS209)。
【0168】
情報処理装置2100は、ステップS209において抽出されたスタイル情報を基に楽曲情報を再作曲または編曲する(ステップS210)。そして、情報処理装置2100は、再作曲または編曲された楽曲情報を一般利用者端末300に送信する(ステップS211)。
【0169】
[3-6.第2の実施形態に係る効果]
上述したように、第2の実施形態では、指示情報は、楽曲を視聴する利用者がアプリケーションの起動時に利用者端末装置に対して実行した操作の履歴を示す操作履歴情報である。情報処理装置(実施形態では情報処理装置2100)は、操作履歴情報を分析して利用者による各操作の回数を求める分析部(実施形態では分析部2137)をさらに有する。これにより、情報処理装置は、利用者の楽曲情報に対する好みを分析することができる。
【0170】
また、抽出部(実施形態では抽出部2132)は、分析部による分析結果を基に、所定の操作の回数が多い順に楽曲特徴情報を順位付けし、予め設定された順位の楽曲特徴情報を抽出する。出力部(実施形態では送信部133)は、抽出部によって抽出された楽曲特徴情報の提示情報を、楽曲の創作に関するアプリケーションがインストールされた制作者端末装置に出力する。これにより、情報処理装置は、利用者に好まれている楽曲情報のスタイル情報を制作者端末に提示することができる。この結果、制作者は、現在流行っている楽曲に使用されている楽曲特徴情報を用いて、利用者が要求する新曲をほぼリアルタイムで制作することができる。
【0171】
また、情報処理装置は、分析部による分析結果を基に、所定の操作の回数が閾値を超えた楽曲情報を求め、求めた楽曲情報を基に再生リストを生成する生成部(実施形態では送信部2138)をさらに有する。出力部は、再生リストを利用者端末装置に出力する。これにより、情報処理装置は、利用者の好みに合う再生リストを生成して、利用者毎にカスタマイズされた再生リストを配信提供することができる。
【0172】
また、抽出部は、分析部による分析結果を基に、所定の操作の回数が閾値を超えた楽曲情報を求め、所定の操作の回数が多い順に、求めた楽曲情報に使用された楽曲特徴情報を順位付けし、予め設定された順位の楽曲特徴情報を抽出する。作曲部は、抽出部によって抽出されたスタイル情報を基に楽曲情報を再作曲または編曲する。出力部は、再作曲または編曲された楽曲情報を利用者端末装置に出力する。これにより、情報処理装置は、利用者が好む制作楽曲に用いられたスタイル情報を用いて、再生中の制作楽曲をさらに再作曲もしくは編曲して、利用者に提供することができる。
【0173】
上記のように、第2の実施形態によれば、制作者による楽曲作成機能の利便性を向上させることができるとともに、利用者による楽曲視聴機能の利便性も向上させることができる。
【0174】
[4.第3の実施形態]
[4-1.第3の実施形態に係る情報処理の一例]
次に、図28を用いて、第3の実施形態に係る情報処理の一例を説明する。図28は、第3の実施形態に係る情報処理の流れを示す概念図である。第3の実施形態に係る情報処理は、情報処理装置3100、制作者端末200及び利用者端末3300によって実行される。
【0175】
一般利用者端末3300は、一般利用者端末300と同様に、タブレット端末等であり、楽曲を視聴するアプリケーションがインストールされる。一般利用者端末3300は、一般利用者端末3300の移動の履歴を示す行動履歴情報を情報処理装置3100に送信する。
【0176】
情報処理装置3100は、情報処理装置2100と同様に、スタイル情報の提示情報や楽曲情報を制作者端末200に提供する。また、情報処理装置3100は、一般利用者端末3300の行動履歴情報を基に、制作者端末200に対するスタイル情報の提示、一般利用者端末3300に提供する楽曲情報の再生リストの提供、または、一般利用者端末3300に提供する楽曲情報の再作曲或いは編曲を行う。
【0177】
図28を参照して、具体的に、第3の実施形態に係る情報処理の流れについて説明する。図28に示すように、情報処理装置3100は、一般利用者端末3300における行動履歴情報を取得する(ステップS41)。そして、情報処理装置3100は、一般利用者端末3300において視聴された楽曲情報を求めるとともに、行動履歴情報を分析して、利用者の位置を求める。
【0178】
そして、情報処理装置3100は、所定の場所で、閾値を超えた回数視聴された楽曲情報に使用されたスタイル情報を順位付けし、予め設定された順位のスタイル情報を抽出して(ステップS42)、制作者端末200に出力する(ステップS43)。情報処理装置3100は、例えば、所有情報記憶部123に登録された制作楽曲がどの場所で視聴されているかなど、分類する。所定の場所は、例えば、利用者が位置する自治体や、利用者が位置するイベント会場等である。
【0179】
このように、第3の実施形態に係る情報処理では、一般利用者端末3300に対する行動履歴情報を分析し、所定の場所で一般の利用者に多く視聴されている楽曲情報のスタイル情報を制作者端末200に提示する。これによって、制作者は、例えば、特定の場所で好まれている楽曲情報のスタイル情報を用いて、特定の場所で好まれるような新曲をほぼリアルタイムで制作することができる。
【0180】
また、情報処理装置3100は、行動履歴情報を分析し、所定の場所で、所定の操作の回数が閾値を超えた楽曲情報を求め、求めた楽曲情報を基に再生リストを生成して(ステップS44)、一般利用者端末3300に再生リストを出力する(ステップS45)。
【0181】
このように、第3の実施形態に係る情報処理では、一般利用者端末3300に対する行動履歴情報を分析し、利用者の好みに合う再生リストを生成して、利用者が位置する場所に特化してカスタマイズされた再生リストを配信提供する。例えば、情報処理装置3100は、東京にいる利用者と横浜にいる利用者とに対して、それぞれ異なる地域ヒット再生リストを配信提供することができる。また、情報処理装置3100は、例えば、イベントに特化した再生リストを動的に作りながら配信提供することができる。
【0182】
そして、情報処理装置3100は、行動履歴情報を分析し、所定の場所において、所定の操作の回数が閾値を超えた楽曲情報に使用されたスタイル情報を、所定の操作の回数が多い順に順位付けし、予め設定された順位のスタイル情報を抽出する。情報処理装置3100は、抽出したスタイル情報を基に楽曲情報を再作曲または編曲し(ステップS44)、再作曲または編曲された楽曲情報を一般利用者端末3300に出力する(ステップS45)。
【0183】
このように、第3の実施形態に係る情報処理では、利用者が位置する場所において好まれている制作楽曲に用いられたスタイル情報を用いて、再生中の制作楽曲をさらに再作曲もしくは編曲して、利用者に提供することができる。これによって、例えば、一般利用者は、再生中の制作楽曲を、その場所にアレンジした形で再生することができる。この再作曲及び編曲は、利用者が一般利用者端末3300から指示情報を送信することによって能動的に行われてもよいし、情報処理装置3100が行動履歴情報を基に自動的に行ってもよい。次に、情報処理装置3100、制作者端末200及び一般利用者端末3300を含む情報処理システム301の構成を説明するとともに、種々の処理の詳細を順に説明する。
【0184】
[4-2.第3の実施形態に係る情報処理システムの構成]
図29は、第3の実施形態に係る情報処理システム301の一例を示す図である。図29に示すように、情報処理システム301は、制作者端末200-1~200-3と、一般利用者端末3300-1~3300-3と、情報処理装置3100とを有する。情報処理システム301は、自動作曲機能管理システム及び視聴楽曲提供システムとして機能する。図29の例では、3台の制作者端末200-1~200-3を図示するが、特に区別なく説明する場合には、制作者端末200と記載する。また、図29の例では、3台の一般利用者端末3300-1~3300-3を図示するが、特に区別なく説明する場合には、一般利用者端末3300と記載する。
【0185】
情報処理装置3100と、制作者端末200とはネットワークNを介して、有線または無線により通信可能に接続される。情報処理装置3100と、一般利用者端末3300とはネットワークNを介して、有線または無線により通信可能に接続される。
【0186】
一般利用者端末3300は、一般利用者端末3300の移動履歴を示す行動履歴情報を情報処理装置3100に送信する。一般利用者端末3300は、楽曲視聴時に、情報処理装置3100において生成された再生リストや、再作曲または編曲された楽曲情報の提供を受ける。
【0187】
情報処理装置3100は、情報処理装置100と同様に、複数のスタイル情報を、機械学習の学習データとして有する。情報処理装置3100は、一般利用者端末3300から受信した行動履歴情報を分析する。情報処理装置3100は、行動履歴情報の分析結果を基に抽出したスタイル情報の提示情報を制作者端末200に出力して、制作者による楽曲の創作を支援する。また、情報処理装置3100は、行動履歴情報の分析結果を基に、視聴者の位置に合わせてカスタマイズした再生リストを生成し、一般利用者端末3300に提供する。また、情報処理装置3100は、行動履歴情報の分析結果を基に、利用者が位置する場所において好まれている制作楽曲に用いられたスタイル情報を用いて、再生中の制作楽曲をさらに再作曲もしくは編曲して、利用者に提供する。
【0188】
[4-3.第3の実施形態に係る情報処理装置3100の構成]
次に、図30を用いて、図29に示す情報処理装置3100の構成について説明する。図30は、第3の実施形態に係る情報処理装置3100の構成例を示す図である。図30に示すように、情報処理装置3100では、記憶部120は、利用者行動履歴情報記憶部3125及び位置スタイル情報記憶部3126を有する。そして、情報処理装置3100は、制御部130に代えて、制御部3130を有する。
【0189】
利用者行動履歴情報記憶部3125は、一般利用者端末3300の位置の履歴を記憶する。図31は、第3の実施形態に係る利用者行動履歴情報記憶部3125の一例を示す図である。
【0190】
図31に示すように、利用者行動履歴情報記憶部3125は、一般利用者端末3300の行動履歴情報を記憶する。例えば、各行動履歴情報は、各利用者の利用者IDに対応付けられる。利用者の行動履歴情報は、一般利用者端末300の位置の履歴を示す情報である。例えば、利用者の位置履歴情報には、利用者端末3300の各位置情報とともに、各位置に対する日時等、利用者の位置が含まれてもよい。
【0191】
位置スタイル情報記憶部3126は、所定の位置に対応するスタイル情報を記憶する。図32は、第3の実施形態に係る位置スタイル情報記憶部3126の一例を示す図である。
【0192】
図31に示すように、位置スタイル情報記憶部3126は、位置スタイル情報ID、位置スタイル情報、及び、スタイル情報IDが記憶される。位置スタイル情報IDは、位置スタイル情報を一意に特定するための識別情報である。位置スタイル情報は、位置を示す情報である。スタイル情報IDは、スタイル情報を一意に特定するための識別情報である。このように、位置スタイル情報は、位置スタイル情報が示す位置において、好まれて視聴されていた楽曲情報に使用されたスタイル情報を示す情報である。
【0193】
制御部3130は、図7に示す制御部130と比して、抽出部3132、履歴取得部3136、分析部3137及び生成部3138を有する。
【0194】
履歴取得部3136は、一般利用者端末3300から、行動履歴情報を取得する。履歴取得部3136は、利用者行動履歴情報記憶部3125に記憶された行動履歴情報から、対象となる利用者の行動履歴情報を取得してもよい。また、履歴取得部3136は、一般利用者端末3300に対し、行動履歴情報の送信を要求することで、行動履歴情報を取得してもよい。
【0195】
分析部3137は、一般利用者端末3300において視聴された楽曲情報を求めるとともに、行動履歴情報を分析して、利用者の位置を求める。また、分析部3137は、各操作の回数を求めることで、利用者の嗜好に合う楽曲情報や、利用者の嗜好に合わない楽曲情報を分析してもよい。例えば、分析部3137は、再生回数が閾値よりも多い楽曲を利用者が好きな楽曲であると分類する。また、分析部3137は、再生回数が閾値よりも少ない楽曲を利用者が好きでない楽曲であると分類する。また、分析部3137は、スキップされた楽曲を嫌いな楽曲と分類する。
【0196】
生成部2138は、所定の場所で、所定の操作の回数が閾値を超えた楽曲情報を求め、求めた楽曲情報を基に再生リストを生成する。所定の操作は、再生、リピート、お気に入り登録等である。
【0197】
抽出部3132は、分析部3137による分析結果を基に、所定の場所で、閾値を超えた回数視聴された楽曲情報に使用されたスタイル情報に対して、所定ルールを用いて順位付けを行い、予め設定された順位のスタイル情報を抽出する。送信部133は、抽出部3132によって抽出されたスタイル情報の提示情報を、制作者端末200に送信する。
【0198】
そして、作曲部134は、抽出部3132によって抽出されたスタイル情報を基に楽曲情報を再作曲または編曲する。送信部133は、再作曲または編曲された楽曲情報を一般利用者端末3300に送信する。
【0199】
[4-4.第3の実施形態に係る一般利用者端末3300の構成]
次に、図33を用いて、図29に示す一般利用者端末3300の構成について説明する。図33は、第3の実施形態に係る一般利用者端末3300の構成例を示す図である。図33に示すように、一般利用者端末3300は、図24に示す制御部350に代えて、制御部3350を有する。また、一般利用者端末3300の記憶部340は、この一般利用者端末3300の移動履歴を示す行動履歴情報3341を記憶する。行動履歴情報3341は、一般利用者端末3300のGPS機能等を利用して生成される。
【0200】
制御部3350は、図24に示す制御部350と同様の機能を有する。制御部3350は、図24に示す送受信部352と同様の機能を有する送受信とともに行動履歴情報3341を送信する送受信部3352を有する。
【0201】
[4-5.第4の実施形態に係る情報処理の手順]
[4-5-1.スタイル情報の提示処理]
次に、図34を用いて、第3の実施形態に係る各種情報処理の手順について説明する。図34は、第3の実施形態に係る情報処理の手順を示すシーケンス図である。図34では、制作者に対するスタイル情報の提示処理について説明する。
【0202】
図34に示すステップS221~ステップS224は、図25に示すステップS161~ステップS164と同じ処理である。一般利用者端末3300は、一般利用者端末3300の行動履歴情報を情報処理装置3100に送信する(ステップS225,S226)。
【0203】
情報処理装置3100は、一般利用者端末3300において視聴された楽曲情報を求めるとともに、行動履歴情報を分析して、利用者の位置を求める(ステップS227)。そして、情報処理装置3100は、分析結果を基に、所定の場所で、閾値を超えた回数視聴された楽曲情報に使用されたスタイル情報に対して、所定ルールを用いて順位付けを行い、予め設定された順位のスタイル情報を抽出する(ステップS228)。これによって、情報処理装置3100は、利用者が位置する場所において好まれている楽曲情報のスタイル情報を抽出する。
【0204】
情報処理装置3100は、抽出したスタイル情報の提示情報を制作者端末200に送信する(ステップS229)。図34に示すステップS230~ステップS241は、図25に示すステップS169~ステップS181と同じ処理である。
【0205】
[4-5-2.再生リストの提供処理]
次に、図35を用いて、第3の実施形態に係る各種情報処理の手順について説明する。図35は、第3の実施形態に係る情報処理の手順を示すシーケンス図である。図35では、利用者に対する再生リストの提供処理について説明する。
【0206】
図35に示すステップS251~ステップS257は、図34に示すステップS2211~ステップS227と同じ処理である。情報処理装置3100は、一般利用者端末3300から再生を指示する再生指示情報を受信すると(ステップS258)、再生リストを生成する(ステップS259)。ステップS259において、情報処理装置3100は、分析結果を基に、所定の場所で、所定の操作の回数が閾値を超えた楽曲情報を求め、求めた楽曲情報を基に再生リストを生成する。そして、情報処理装置3100は、生成した再生リストを一般利用者端末300に送信する(ステップS260)。
【0207】
[4-5-3.再作曲または編曲後の楽曲情報の提供処理]
次に、図36を用いて、第3の実施形態に係る各種情報処理の手順について説明する。図36は、第3の実施形態に係る情報処理の手順を示すシーケンス図である。図36では、利用者に対する再作曲または編曲後の楽曲情報の提供処理について説明する。
【0208】
図36に示すステップS261~ステップS267は、図34に示すステップS221~ステップS227と同じ処理である。情報処理装置3100は、一般利用者端末300から再作曲または編集を指示する指示情報を受信する(ステップS268)。情報処理装置3100は、分析結果を基に、所定の場所で、閾値を超えた回数視聴された楽曲情報に使用されたスタイル情報に対して、所定ルールを用いて順位付けを行い、予め設定された順位のスタイル情報を抽出する(ステップS269)。
【0209】
情報処理装置3100は、ステップS269において抽出されたスタイル情報を基に楽曲情報を再作曲または編曲する(ステップS370)。そして、情報処理装置3100は、再作曲または編曲された楽曲情報を一般利用者端末300に送信する(ステップS371)。
【0210】
[4-6.第3の実施形態に係る効果]
上述したように、第3の実施形態では、指示情報は、利用者端末装置(実施形態では一般用利用者端末3300)の移動履歴を示す行動履歴情報である。情報処理装置(実施形態では情報処理装置3100)は、利用者端末装置において視聴された楽曲情報を求めるとともに、行動履歴情報を分析して、利用者の位置を求める分析部(実施形態では分析部3137)をさらに有する。これにより、情報処理装置は、利用者がいる場所で好まれて視聴されている楽曲情報を分析することができる。
【0211】
また、抽出部(実施形態では抽出部3132)は、分析部による分析結果を基に、所定の場所で、閾値を超えた回数視聴された楽曲情報に使用された楽曲特徴情報に対して、所定ルールを用いて順位付けを行い、予め設定された順位の楽曲特徴情報を抽出する。出力部(実施形態では送信部133)は、抽出部によって抽出された楽曲特徴情報の提示情報を、楽曲の創作に関するアプリケーションがインストールされた制作者端末装置に出力する。このように、情報処理装置は、所定の場所で一般の利用者に多く視聴されている楽曲情報の楽曲特徴情報を制作者端末に提示することができる。これによって、制作者は、特定の場所で好まれている楽曲情報の楽曲特徴情報を用いて、特定の場所で好まれるような新曲をほぼリアルタイムで制作することができる。
【0212】
また、情報処理装置は、分析部による分析結果から、所定の場所で、所定の操作の回数が閾値を超えた楽曲情報を求め、求めた楽曲情報を基に再生リストを生成する生成部(実施形態では送信部3138)をさらに有する。出力部は、再生リストを、所定の場所に位置する利用者端末装置に出力する。これにより、情報処理装置は、利用者の好みに合う再生リストを生成して、利用者が位置する場所に特化してカスタマイズされた再生リストを配信提供する。
【0213】
また、抽出部は、分析部による分析結果から、所定の場所において、所定の操作の回数が閾値を超えた楽曲情報に使用された楽曲特徴情報を、所定の操作の回数が多い順に順位付けし、予め設定された順位の楽曲特徴情報を抽出する。作曲部は、抽出部によって、抽出された楽曲特徴情報を基に楽曲情報を再作曲または編曲する。出力部は、再作曲または編曲された楽曲情報を、所定の場所に位置する利用者端末装置に出力する。これにより、情報処理装置は、利用者が位置する場所において好まれている制作楽曲に用いられた楽曲特徴情報を用いて、再生中の制作楽曲をさらに再作曲もしくは編曲して、利用者に提供することができる。
【0214】
上記のように、第3の実施形態によれば、制作者による楽曲作成機能の利便性を向上させることができるとともに、利用者が位置する場所に合わせて利用者による楽曲視聴機能の利便性も向上させることができる。
【0215】
[5.情報処理システムの構成の概念図]
ここで、図を用いて、情報処理システムにおける各機能やハードウェア構成やデータを概念的に示す。図37は、情報処理システムの構成の概念図の一例を示す図である。具体的には、図37は、情報処理システム1,201,301の適用の一例であるシステムの機能概要を示す模式図である。
【0216】
[5-1.全体構成について]
図37に示すサーバ装置は、情報処理システム1,201,301における情報処理装置100,2100,3100に対応する。また、図37に示すシステム管理者用アプリ部は、システム管理者が使用する端末にインストールされたアプリに対応する。また、図37に示す制作者用アプリ部は、情報処理システム1における制作者端末200に対応し、制作者端末200にインストールされたアプリに対応する。また、図37に示す一般利用者用アプリ部は、情報処理システム201,301における一般利用者端末300,3300に対応し、一般利用者端末300,3300にインストールされたアプリに対応する。図37の例では、システム管理者用アプリ部、楽曲制作者用アプリ部や一般利用者用アプリ部を各々1つずつ図示したが、これらは、対応する端末の数に応じて複数含まれてもよい。
【0217】
図37に示すサーバ装置の学習処理部や制御部は、情報処理装置100,2100,3100の制御部130,2130,3130に対応する。例えば、サーバ装置の学習処理部は、情報処理装置100,2100,3100の作曲部134に対応する。サーバ装置のサーバ内データベース部は、情報処理装置100,2100,3100の記憶部120に対応する。
【0218】
図37に示す楽曲制作者用アプリ部の表示操作部や制御部は、制作者端末200の制御部250に対応する。例えば、楽曲制作者用アプリ部の表示操作部は、制作者端末200の表示制御部251に対応する。図37に示す一般利用者用アプリ部の表示操作部や制御部は、一般利用者端末300,3300の制御部350に対応する。例えば、一般利用者用アプリ部の表示操作部は、一般利用者端末300,3300の表示制御部351に対応する。システム管理者用アプリ部及び一般利用者用アプリ部の表示操作理部や制御部は、それぞれの使用者が使用する端末装置の制御部に対応する。
【0219】
図37に示すように、サーバ装置は、例えばインターネットなどのネットワークNを介して、システム管理者用アプリ部、楽曲制作者者用アプリ部、および、一般利用者用アプリ部に接続される。
【0220】
[5-2.サーバ装置について]
まず、サーバ装置に関連する構成について説明する。
【0221】
サーバ装置は、制御部、学習処理部、及びサーバ内データベース部を有している。サーバ装置の制御部は、制作楽曲情報管理機能、スタイル情報管理機能、利用者操作履歴情報管理機能、利用者行動履歴情報を有する。サーバ装置の学習処理部は、機械学習処理機能及び深層学習処理機能を有する。
【0222】
[5-3.楽曲制作者用アプリ部について]
次に、楽曲制作者用アプリ部に関連する構成について説明する。
【0223】
楽曲制作者用アプリ部は、表示操作部と制御部とを有している。楽曲制作者用アプリ部の表示操作部は、制作楽曲情報表示機能、スタイル情報表示編集機能を有する。楽曲制作者用アプリ部は、スタイル情報共有機能及び利用者操作履歴情報送信機能を有する。
【0224】
楽曲制作者用アプリ部は、例えば音楽編集ソフト(DAW等)であり、著作物情報表示機能にて、例えば音楽情報を表示することができる。DAWが、例えばAIアシスト音楽制作機能を有していれば、スタイル情報表示編集機能を利用しながら新しい音楽情報を制作することができる。なお、システム管理者用アプリ部も同様の構成を有しており、使用者のシステムに対する権限が異なる。
【0225】
[5-4.一般利用者用アプリについて]
次に、一般利用者用アプリ部に関連する構成について説明する。
【0226】
一般利用者用アプリ部は、表示操作部と制御部とを有している。一般利用者用アプリ部の表示操作部は、制作楽曲情報表示機能、スタイル情報表示編集機能を有する。楽曲制作者用アプリ部は、スタイル情報共有機能、利用者操作履歴情報送信、機能、及び利用者行動履歴情報送信機能を有する。
【0227】
[5-5.UI(ユーザインターフェイス)]
ここで、図38及び図39を用いて、アプリ(楽曲創作アプリ)による情報表示他自動作曲機能の詳細について説明する。図38及び図39は、実施形態に係るユーザインターフェイスの一例を示す図である。
【0228】
図38には、楽曲創作アプリが制作者端末200の画面上に表示された際のユーザインターフェイスの一例を示す。
【0229】
図38に示す例では、ユーザインターフェイスIF11は、楽曲創作アプリが受信した楽曲データを表示する。なお、詳細は後述するが、楽曲創作アプリにおける楽曲データは、メロディとコードとベース音の3種類の異なるデータから構成される。図38に示すユーザインターフェイスIF11は、3種類の異なるデータのうち、メロディに関するデータを表示する。
【0230】
設定情報ST11は、自動作曲機能における設定情報の一例である、スタイルパレットに関する情報を表示する。スタイルパレットとは、機械学習の学習データとなるスタイル情報を指定するための指定情報である。
【0231】
設定情報ST12は、自動作曲機能における設定情報の一例である、ハーモニーに関する情報を表示する。ハーモニーに関する情報とは、例えば、情報処理装置100によって作曲される楽曲データにおける、コードに含まれる構成音がメロディに登場する確率を決定するための情報である。例えば、ユーザがハーモニーに関する情報を「厳格(strict)」に設定すると、自動作曲された楽曲データにおいて、コードに含まれる構成音がメロディに登場する確率が高くなる。一方、ユーザがハーモニーに関する情報を「ゆるい(loose)」に設定すると、自動作曲された楽曲データにおいて、コードに含まれる構成音がメロディに登場する確率が低くなる。図38の例では、ユーザは、ハーモニーに関する情報を「厳格(strict)」よりに適用させたことを示している。
【0232】
設定情報ST13は、自動作曲機能における設定情報の一例である、音符の長さ情報を表示する。音符の長さ情報とは、例えば、情報処理装置100によって作曲される楽曲データにおける、音符の長さを決定するための情報である。例えば、ユーザが音符の長さ情報を「長い(long)」に設定すると、自動作曲された楽曲データにおいて、発音される音の長さが比較的長い音符(例えば、全音符や2分音符等)が登場する確率が高くなる。一方、ユーザが音符の長さ情報を「短い(short)」に設定すると、自動作曲された楽曲データにおいて、発音される音の長さが比較的短い音符(例えば、8分音符や16分音符等)が登場する確率が高くなる。
【0233】
設定情報ST14は、自動作曲機能における設定情報の一例である、指定情報(ユーザが指定したスタイルパレット)に含まれる素材楽曲以外の素材楽曲の種別及び量を決定するための情報を表示する。かかる情報は、例えば、情報処理装置100によって作曲される楽曲データにおいて、ユーザが指定したスタイルパレットに含まれる楽曲に基づいて学習を厳格に行うか否かを決定するための情報である。例えば、ユーザがかかる情報を「利用しない(never)」に設定すると、自動作曲における学習において、スタイルパレットに含まれる楽曲以外の楽曲が利用される傾向が低くなる。一方、ユーザがかかる情報を「利用する(only)」に設定すると、自動作曲における学習において、スタイルパレットに含まれる楽曲以外の楽曲が利用される傾向が高くなる。
【0234】
楽曲データMDT1は、情報処理装置100から送信された具体的な楽曲データを表示する。図38の例では、楽曲データMDT1は、Cm等のコード進行を示す情報や、小節内の音高や音符の長さを示す情報、音符の高さの移り変わり(言い換えればメロディ)等を含む。また、図26に示すように、楽曲データMDT1は、例えば4種類の異なる内容を含んでもよい。すなわち、情報処理装置100は、自動作曲された楽曲データとして1種類だけを送信するのではなく、複数の楽曲データを送信してもよい。これにより、ユーザは、生成された複数の楽曲データの候補から、自身が好む楽曲データを選択したり、複数の楽曲データを組み合わせて好みの楽曲を作曲したりすることができる。
【0235】
なお、図38に示すユーザインターフェイスIF11は、楽曲データに含まれるメロディ、コード、ベース音の3種類の異なるデータのうち、メロディに関するデータを表示しているが、他のデータについては、他のユーザインターフェイスに表示される。この点について、図39を用いて説明する。
【0236】
図39に示すように、制作者端末200は、メロディに関するデータを表示するユーザインターフェイスIF11に加えて、コードに関するデータを表示するユーザインターフェイスIF12や、ベース音に関するデータを表示するユーザインターフェイスIF13を画面上に表示してもよい。図39での図示は省略しているが、ユーザインターフェイスIF12やユーザインターフェイスIF13には、ユーザインターフェイスIF11における楽曲データMDT1とは異なる音符情報が表示される。具体的には、ユーザインターフェイスIF12には、楽曲データのメロディに対応するコードに関する音符情報(例えば、コードCmの構成音等)が表示される。また、ユーザインターフェイスIF13には、楽曲データのメロディやコードに対応するベース音に関する音符情報(例えば、コードCmであれば「C」音等)が表示される。
【0237】
利用者は、表示されたユーザインターフェイスIF11、ユーザインターフェイスIF12、ユーザインターフェイスIF13の中から、コピーする情報を選択したり、例えばベース音の一部を編集したりといった作業を行うことができる。
【0238】
[6.その他の実施形態]
上述した実施形態や変形例に係る処理は、上記実施形態や変形例以外にも種々の異なる形態(変形例)にて実施されてよい。
【0239】
[6-1.その他の構成例]
上記の各構成は一例であり、情報処理システム1,201,301は、上述した情報処理が実現可能であればどのようなシステム構成であってもよい。
【0240】
[6-2.その他]
また、上記各実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
【0241】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
【0242】
また、上述してきた各実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【0243】
また、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
【0244】
[7.ハードウェア構成]
上述してきた各実施形態や変形例に係る情報処理装置100,2100,3100、制作者端末200、一般利用者端末300,3300等の情報機器は、例えば図40に示すような構成のコンピュータ1000によって実現される。図40は、情報処理装置1002100,3100、制作者端末200、一般利用者端末300,3300の機能を実現するコンピュータ1000の一例を示すハードウェア構成図である。以下、実施形態に係る情報処理装置100を例に挙げて説明する。コンピュータ1000は、CPU1100、RAM1200、ROM(Read Only Memory)1300、HDD(Hard Disk Drive)1400、通信インターフェイス1500、及び入出力インターフェイス1600を有する。コンピュータ1000の各部は、バス1050によって接続される。
【0245】
CPU1100は、ROM1300又はHDD1400に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、CPU1100は、ROM1300又はHDD1400に格納されたプログラムをRAM1200に展開し、各種プログラムに対応した処理を実行する。
【0246】
ROM1300は、コンピュータ1000の起動時にCPU1100によって実行されるBIOS(Basic Input Output System)等のブートプログラムや、コンピュータ1000のハードウェアに依存するプログラム等を格納する。
【0247】
HDD1400は、CPU1100によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、HDD1400は、プログラムデータ1450の一例である本開示に係る情報処理プログラムを記録する記録媒体である。
【0248】
通信インターフェイス1500は、コンピュータ1000が外部ネットワーク1550(例えばインターネット)と接続するためのインターフェイスである。例えば、CPU1100は、通信インターフェイス1500を介して、他の機器からデータを受信したり、CPU1100が生成したデータを他の機器へ送信したりする。
【0249】
入出力インターフェイス1600は、入出力デバイス1650とコンピュータ1000とを接続するためのインターフェイスである。例えば、CPU1100は、入出力インターフェイス1600を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、CPU1100は、入出力インターフェイス1600を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス1600は、所定の記録媒体(メディア)に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばDVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
【0250】
例えば、コンピュータ1000が実施形態に係る情報処理装置100として機能する場合、コンピュータ1000のCPU1100は、RAM1200上にロードされた情報処理プログラムを実行することにより、制御部130等の機能を実現する。また、HDD1400には、本開示に係る情報処理プログラムや、記憶部120内のデータが格納される。なお、CPU1100は、プログラムデータ1450をHDD1400から読み取って実行するが、他の例として、外部ネットワーク1550を介して、他の装置からこれらのプログラムを取得してもよい。
【0251】
なお、本技術は以下のような構成も取ることができる。
(1)
機械学習を用いた作曲処理において学習データとして使用される楽曲特徴情報であって、楽曲情報から抽出された複数の種別の特徴量と所定の識別情報とが対応付けられた楽曲特徴情報を複数記憶する記憶部と、
端末装置から送信された指示情報を受信する受信部と、
前記指示情報にしたがって、前記記憶部から前記楽曲特徴情報を抽出する抽出部と、
前記抽出部によって抽出された前記楽曲特徴情報の提示情報を出力する出力部と、
を有することを特徴とする情報処理装置。
(2)
前記指示情報は、前記特徴量に関する情報を含み、
前記抽出部は、前記特徴量に関する情報を基に、所定ルールを用いて複数の前記楽曲特徴情報の順位付けを行い、予め設定された順位の前記楽曲特徴情報を抽出し、
前記出力部は、前記抽出部によって抽出された前記楽曲特徴情報の提示情報を、前記楽曲特徴情報の順位を示す順位情報とともに外部装置に出力する
ことを特徴とする(1)に記載の情報処理装置。
(3)
前記指示情報は、前記端末装置における操作情報である
ことを特徴とする(2)に記載の情報処理装置。
(4)
前記楽曲特徴情報は、規定された長さの小節における、コード進行を示すコード進行情報、メロディを示すメロディ情報、ベースの進行を示すベース情報を有するスコア情報を有する
ことを特徴とする(3)に記載の情報処理装置。
(5)
前記スコア情報は、前記規定された長さの小節における、ドラムの進行を示すドラム進行情報をさらに含む
ことを特徴とする(4)に記載の情報処理装置。
(6)
前記楽曲特徴情報は、前記規定された長さの小節における、歌詞を示す歌詞情報を有することを特徴とする(4)に記載の情報処理装置。
(7)
前記楽曲特徴情報は、同じ小節に対する前記スコア情報の識別情報と前記歌詞情報の識別情報とを対応付けて登録する楽曲形式情報と、前記楽曲形式情報の順序を示す楽曲順序情報とを有する
ことを特徴とする(6)に記載の情報処理装置。
(8)
前記受信部は、前記スコア情報のいずれかを選択する指示情報を受信し、
前記抽出部は、前記指示情報が選択した前記スコア情報を有する前記楽曲特徴情報に対し、所定ルールを用いて順位付けを行い、予め設定された順位の前記楽曲特徴情報を抽出する
ことを特徴とする(4)に記載の情報処理装置。
(9)
前記受信部は、歌詞の検索を指示する指示情報を受信し、
前記抽出部は、前記指示情報が検索を指示した歌詞を含む歌詞情報を有する前記楽曲特徴情報に対し、所定ルールを用いて順位付けを行い、予め設定された順位の前記楽曲特徴情報を抽出する
ことを特徴とする(6)に記載の情報処理装置。
(10)
前記端末装置は、楽曲の創作に関するアプリケーションがインストールされた制作者端末装置であり、
前記指示情報は、楽曲を創作する制作者が前記アプリケーションの起動時に前記制作者端末装置に対して実行した操作の履歴を示す操作履歴情報であり、
前記抽出部は、前記操作履歴情報を基に、所定の操作の回数が閾値を超えた楽曲情報を求め、前記所定の操作の回数が多い順に、求めた楽曲情報に使用された楽曲特徴情報を順位付けし、予め設定された順位の前記楽曲特徴情報を抽出し、
前記出力部は、前記抽出部によって抽出された前記楽曲特徴情報の提示情報を前記制作者端末装置に出力する
ことを特徴とする(3)に記載の情報処理装置。
(11)
前記端末装置は、楽曲を視聴するアプリケーションがインストールされた利用者端末装置であり、
前記指示情報は、楽曲を視聴する利用者が前記アプリケーションの起動時に前記利用者端末装置に対して実行した操作の履歴を示す操作履歴情報であり、
当該情報処理装置は、前記操作履歴情報を分析して各操作の回数を求める分析部
をさらに有することを特徴とする(3)に記載の情報処理装置。
(12)
前記抽出部は、前記分析部による分析結果を基に、所定の操作の回数が閾値を超えた楽曲情報を求め、前記所定の操作の回数が多い順に、求めた楽曲情報に使用された楽曲特徴情報を順位付けし、予め設定された順位の前記楽曲特徴情報を抽出し、
前記出力部は、前記抽出部によって抽出された前記楽曲特徴情報の提示情報を、楽曲の創作に関するアプリケーションがインストールされた制作者端末装置に出力する
ことを特徴とする(11)に記載の情報処理装置。
(13)
前記分析部による分析結果を基に、所定の操作の回数が閾値を超えた楽曲情報を求め、求めた楽曲情報を基に再生リストを生成する生成部をさらに有し、
前記出力部は、前記再生リストを前記利用者端末装置に出力する
ことを特徴とする(11)に記載の情報処理装置。
(14)
前記楽曲特徴情報を基に、機械学習を用いて楽曲情報を作曲する作曲部
をさらに有し、
前記抽出部は、前記分析部による分析結果を基に、所定の操作の回数が閾値を超えた前記楽曲情報を求め、前記所定の操作の回数が多い順に、求めた楽曲情報に使用された楽曲特徴情報を順位付けし、予め設定された順位の前記楽曲特徴情報を抽出し、
前記作曲部は、前記抽出部によって抽出された楽曲特徴情報を基に楽曲情報を再作曲または編曲し、
前記出力部は、再作曲または編曲された楽曲情報を前記利用者端末装置に出力する
ことを特徴とする(11)に記載の情報処理装置。
(15)
前記端末装置は、楽曲を視聴するアプリケーションがインストールされた利用者端末装置であり、
前記指示情報は、前記利用者端末装置の移動履歴を示す行動履歴情報であり、
当該情報処理装置は、前記利用者端末装置において視聴された楽曲情報を求めるとともに、前記行動履歴情報を分析して、利用者の位置を求める分析部
をさらに有することを特徴とする(3)に記載の情報処理装置。
(16)
前記抽出部は、前記分析部による分析結果を基に、所定の場所で、閾値を超えた回数視聴された楽曲情報に使用された前記楽曲特徴情報に対して、所定ルールを用いて順位付けを行い、予め設定された順位の前記楽曲特徴情報を抽出し、
前記出力部は、前記抽出部によって抽出された前記楽曲特徴情報の提示情報を、楽曲の創作に関するアプリケーションがインストールされた制作者端末装置に出力する
ことを特徴とする(15)に記載の情報処理装置。
(17)
前記分析部による分析結果を基に、所定の場所で、所定の操作の回数が閾値を超えた楽曲情報を求め、求めた楽曲情報を基に再生リストを生成する生成部と、
前記出力部は、前記再生リストを、前記所定の場所に位置する前記利用者端末装置に出力する
ことを特徴とする(15)に記載の情報処理装置。
(18)
前記楽曲特徴情報を基に、機械学習を用いて楽曲情報を作曲する作曲部
をさらに有し、
前記抽出部は、前記分析部による分析結果を基に、所定の場所において、所定の操作の回数が閾値を超えた楽曲情報に使用された前記楽曲特徴情報を、所定の操作の回数が多い順に順位付けし、予め設定された順位の前記楽曲特徴情報を抽出し、
前記作曲部は、前記抽出部によって、前記抽出された楽曲特徴情報を基に楽曲情報を再作曲または編曲し、
前記出力部は、再作曲または編曲された楽曲情報を、前記所定の場所に位置する前記利用者端末装置に出力する
ことを特徴とする(15)に記載の情報処理装置。
(19)
コンピュータが実行する情報処理方法であって、
端末装置から送信された指示情報を受信し、
楽曲情報から抽出された複数の種別の特徴量と所定の識別情報とが対応付けられた複数の楽曲特徴情報から、前記指示情報にしたがって前記楽曲特徴情報を抽出し、
抽出した前記楽曲特徴情報の提示情報を出力する
ことを特徴とする情報処理方法。
(20)
端末装置から送信された指示情報を受信し、
楽曲情報から抽出された複数の種別の特徴量と所定の識別情報とが対応付けられた複数の楽曲特徴情報から、前記指示情報にしたがって前記楽曲特徴情報を抽出し、
抽出した前記楽曲特徴情報の提示情報を出力する
をコンピュータに実行させることを特徴とする情報処理プログラム。
【符号の説明】
【0252】
1,201,301 情報処理システム
100,2100,3100 情報処理装置
110,210,310 通信部
120,240,340 記憶部
121 利用者情報記憶部
122 スタイル情報記憶部
123 所有情報記憶部
124 制作情報記憶部
125 操作履歴情報記憶部
130,250,350,2130,3130,3350 制御部
131 受信部
132,2132,3132 抽出部
133 送信部
134 作曲部
135 登録部
136,2136,3136 履歴取得部
137,2137,3137 分析部
200 制作者端末
220,320 入力部
230,330 出力部
241,341 操作履歴情報
251,351 表示制御部
252,352,3352 送受信部
253,353 選択部
254,354 再生部
260,360 表示部
300,3300 一般利用者端末
2125 利用者操作履歴情報
2138,3138 生成部
3125 利用者行動履歴情報記憶部
2136 位置スタイル情報記憶部
3341 行動履歴情報
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
図28
図29
図30
図31
図32
図33
図34
図35
図36
図37
図38
図39
図40