特開 2024-172864 情報処理装置、学習装置および映像生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024172864

(43)【公開日】2024-12-12

(54)【発明の名称】情報処理装置、学習装置および映像生成方法

(51)【国際特許分類】

   G10G 3/04 20060101AFI20241205BHJP

   G06T 7/00 20170101ALI20241205BHJP

   H04N 5/262 20060101ALI20241205BHJP

【ＦＩ】

G10G3/04

G06T7/00 P

G06T7/00 350B

H04N5/262

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2023090872

(22)【出願日】2023-06-01

(71)【出願人】

【識別番号】522382406

【氏名又は名称】メタバーサルネイチャーテクノロジーズ株式会社

(74)【代理人】

【識別番号】110003177

【氏名又は名称】弁理士法人旺知国際特許事務所

(72)【発明者】

【氏名】山崎 亮

【テーマコード（参考）】

5C023

5D182

5L096

【Ｆターム（参考）】

5C023AA11

5C023BA12

5D182AB03

5D182AC01

5D182AD10

5L096DA01

5L096HA11

5L096JA11

5L096KA04

5L096KA15

(57)【要約】

【課題】楽曲のイメージに適合した映像を効率的に生成する。
【解決手段】情報処理装置１は、楽曲を示す楽曲データＤＭを取得する取得部１１と、楽曲の特徴量と画像の特徴量との関係を機械学習した学習済モデルＭＪを用いて、楽曲データＤＭに基づいて、楽曲データＤＭの示す楽曲に対応する画像の特徴量を所定期間ごとに推定する推定部１２と、推定部１２の推定結果に基づいて、楽曲データＤＭの示す楽曲に同期した映像を示す映像データＤＭＶを生成する生成部１３と、を備え、当該所定期間は、楽曲データＤＭの示す楽曲の拍期間の整数倍の期間である。
【選択図】図２

【特許請求の範囲】

【請求項1】

楽曲を示す楽曲データを取得する取得部と、
楽曲の特徴量と画像の特徴量との関係を機械学習した学習済モデルを用いて、前記楽曲データの示す楽曲の特徴量に基づいて、前記楽曲データの示す楽曲に対応する画像の特徴量を所定期間ごとに推定する推定部と、
前記推定部の推定結果に基づいて、前記楽曲データの示す楽曲に同期した映像を示す映像データを生成する生成部と、を備え、
前記所定期間は、前記楽曲データの示す楽曲の拍期間の整数倍の期間である、
情報処理装置。

【請求項2】

前記所定期間は、前記楽曲データの示す楽曲の小節に対応した期間以上の期間である、
請求項１に記載の情報処理装置。

【請求項3】

前記所定期間は、前記楽曲データの示す楽曲の小節に対応した期間の整数倍である、
請求項２に記載の情報処理装置。

【請求項4】

前記推定部は、前記所定期間の長さを変化させる、
請求項１または２に記載の情報処理装置。

【請求項5】

前記推定部は、前記楽曲データの示す楽曲の休符期間に応じて前記所定期間の長さを変化させる、
請求項４に記載の情報処理装置。

【請求項6】

前記楽曲データの示す楽曲は、歌声を含んでおり、
前記推定部は、前記楽曲データの示す楽曲の歌詞の文章、文節または単語に基づいて、前記所定期間の長さを変化させる、
請求項４に記載の情報処理装置。

【請求項7】

前記推定部は、
前記楽曲データの示す楽曲の楽譜の特徴量を前記所定期間ごとに抽出する楽譜特徴量抽出部１２ｄと、
前記楽曲データの示す楽曲の歌詞の特徴量を前記所定期間ごとに抽出する歌詞特徴量抽出部と、を含み、
前記学習済モデルは、楽譜の特徴量と歌詞の特徴量と画像の特徴量との関係を機械学習したモデルである、
請求項１または２に記載の情報処理装置。

【請求項8】

前記推定部は、前記楽曲データを解析することにより、前記楽曲データの示す楽曲の楽譜を示す楽譜データを生成する楽曲解析部を含み、
前記楽曲解析部は、前記楽譜データに基づいて、前記所定期間を示す期間データを生成する、
請求項１または２に記載の情報処理装置。

【請求項9】

前記学習済モデルは、楽曲の特徴量と画像の特徴量と属性の特徴量との関係を機械学習したモデルであり、
前記推定部は、前記学習済モデルを用いて、前記楽曲データのほか、前記楽曲データの示す楽曲の属性を示す属性データに基づいて、前記楽曲データの示す楽曲に対応する画像の特徴量を前記所定期間ごとに推定する、
請求項１または２に記載の情報処理装置。

【請求項10】

前記取得部は、前記楽曲データのほか、前記属性データを取得可能である、
請求項９に記載の情報処理装置。

【請求項11】

前記生成部は、前記楽曲データの示す楽曲の休符期間に応じて、前記映像データの示す映像の切り替わりタイミングを調整する、
請求項１または２に記載の情報処理装置。

【請求項12】

楽曲と当該楽曲に同期した映像とを示す複数のミュージックビデオデータを取得する取得部と、
前記複数のミュージックビデオデータに基づいて、楽曲の特徴量と画像の特徴量との所定期間ごとの関係を機械学習することにより、学習済モデルを生成する学習部と、を備え、
前記所定期間は、前記複数のミュージックビデオデータのそれぞれの示す楽曲の拍期間の整数倍の期間である、
学習装置。

【請求項13】

楽曲を示す楽曲データを取得することと、
楽曲の特徴量と画像の特徴量との関係を機械学習した学習済モデルを用いて、前記楽曲データに基づいて、前記楽曲データの示す楽曲に対応する画像の特徴量を所定期間ごとに推定することと、
推定した特徴量に基づいて、前記楽曲データの示す楽曲に同期した映像を示す映像データを生成することと、を含み、
前記所定期間は、前記楽曲データの示す楽曲の拍期間の整数倍の期間である、
映像生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置、学習装置および映像生成方法に関する。

【背景技術】

【0002】

楽曲を示す楽曲データに基づいて、当該楽曲データの示す楽曲に同期した映像を生成する技術が知られている。例えば、特許文献１に記載の装置は、音楽データの分析結果に基づく属性値を取得し、その属性値を用いて画像を取得し、その画像を出力する。ここで、音楽データの分析は、音の波形における振幅の変化、音の波形を構成する周波数成分の変化等の特徴量を取得することにより行われる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１８－１３６３６３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、特許文献１には、音楽データの分析をどのような期間ごとに行うのか具体的な記載がない。このため、特許文献１に記載の装置では、取得した画像が楽曲のイメージからずれやすいという問題がある。

【0005】

以上の事情を考慮して、本開示のひとつの態様は、楽曲のイメージに適合した映像を効率的に生成することを目的とする。

【課題を解決するための手段】

【0006】

本開示の一態様に係る情報処理装置は、楽曲を示す楽曲データを取得する取得部と、楽曲の特徴量と画像の特徴量との関係を機械学習した学習済モデルを用いて、前記楽曲データの示す楽曲の特徴量に基づいて、前記楽曲データの示す楽曲に対応する画像の特徴量を所定期間ごとに推定する推定部と、前記推定部の推定結果に基づいて、前記楽曲データの示す楽曲に同期した映像を示す映像データを生成する生成部と、を備え、前記所定期間は、前記楽曲データの示す楽曲の拍期間の整数倍の期間である。

【0007】

本開示の一態様に係る学習装置は、楽曲と当該楽曲に同期した映像とを示す複数のミュージックビデオデータを取得する取得部と、前記複数のミュージックビデオデータに基づいて、楽曲の特徴量と画像の特徴量との所定期間ごとの関係を機械学習することにより、学習済モデルを生成する学習部と、を備え、前記所定期間は、前記複数のミュージックビデオデータのそれぞれの示す楽曲の拍期間の整数倍の期間である。

【0008】

本開示の一態様に係る映像生成方法は、楽曲を示す楽曲データを取得することと、楽曲の特徴量と画像の特徴量との関係を機械学習した学習済モデルを用いて、前記楽曲データに基づいて、前記楽曲データの示す楽曲に対応する画像の特徴量を所定期間ごとに推定することと、推定した特徴量に基づいて、前記楽曲データの示す楽曲に同期した映像を示す映像データを生成することと、を含み、前記所定期間は、前記楽曲データの示す楽曲の拍期間の整数倍の期間である。

【発明の効果】

【0009】

本開示によれば、楽曲のイメージに適合した映像を効率的に生成することができる。

【図面の簡単な説明】

【0010】

【図1】実施形態に係る情報処理装置のブロック図である。

【図2】推定部および生成部の詳細を説明するためのブロック図である。

【図3】実施形態に係る映像生成方法の流れを示す図である。

【図4】実施形態に係る学習装置のブロック図である。

【図5】学習部の詳細を説明するためのブロック図である。

【図6】学習装置の動作を説明するための図である。

【発明を実施するための形態】

【0011】

以下、添付図面を参照しながら本開示に係る好適な実施形態を説明する。なお、図面において各部の寸法および縮尺は実際のものと適宜異なり、理解を容易にするために模式的に示している部分もある。また、本開示の範囲は、以下の説明において特に本開示を限定する旨の記載がない限り、これらの形態に限られるものではない。

【0012】

１．実施形態
１－１．情報処理装置の概略
図１は、実施形態に係る情報処理装置１のブロック図である。情報処理装置１は、入力される楽曲に対応する画像の特徴量を推定し、その推定結果に基づいて、当該楽曲に同期した映像を生成するコンピューターまたはコンピューターシステムである。当該推定は、後述の学習済モデルＭＪを用いて、当該楽曲の拍期間の整数倍の所定期間ごとに行われる。これにより、当該楽曲のイメージに適合した映像が効率的に生成される。

【0013】

図１に示すように、情報処理装置１は、処理装置１０と記憶装置２０と通信装置３０と入力装置４０と表示装置５０とを備える。これらは、単体または複数のバスで相互に通信可能に接続される。以下、図１に基づいて、情報処理装置１の各部の概略を説明する。

【0014】

処理装置１０は、情報処理装置１の各部を制御する装置である。処理装置１０は、ＣＰＵ（Central Processing Unit）等の単一または複数のプロセッサーで構成される。なお、処理装置１０の機能の一部または全部は、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで実現されてもよい。処理装置１０は、各種の処理を並列的または逐次的に実行する。

【0015】

記憶装置２０は、処理装置１０が読取可能なプログラムおよびデータ等の情報を記憶する装置である。記憶装置２０は、例えば、ハードディスクドライブで構成されるか、または、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、ＲＡＭ（Random Access Memory）等の半導体メモリーで構成される。なお、記憶装置２０の一部または全部は、情報処理装置１に通信可能に接続される外部のコンピューターまたはサーバー等の装置に設けてもよい。

【0016】

記憶装置２０には、プログラムＰＲ１と楽曲データＤＭと学習済モデルＭＪと画像群データＤＧＧと映像データＤＭＶとが記憶される。

【0017】

プログラムＰＲ１は、情報処理装置１の動作を制御するためのプログラムであり、映像データＤＭＶの生成のための後述の各種機能を実現する。プログラムＰＲ１は、ユーザーによるインストール作業等により、記憶装置２０に予め記憶される。

【0018】

楽曲データＤＭは、楽曲を示すデータである。楽曲データＤＭは、後述の取得部１１による取得により取得される。楽曲とは、音楽における声楽曲、器楽曲および管弦楽曲等の総称である。楽曲データＤＭの示す楽曲は、演奏および歌声のうちの一方または両方を含んでいればよい。本実施形態では、楽曲データＤＭの示す楽曲が演奏および歌声の両方を含む態様が例示される。楽曲データＤＭの形式は、特に限定されないが、例えば、ＡＡＣ（Advanced Audio Coding）、ＭＰ３（MPEG-1 Audio Layer-3）等の音声ファイルフォーマットである。なお、楽曲データＤＭの形式は、デジタル形式に限定されず、アナログ形式であってもよい。

【0019】

学習済モデルＭＪは、楽曲の特徴量と画像の特徴量との関係を機械学習することにより得られる推定モデルである。具体的には、学習済モデルＭＪは、楽曲の特徴量から画像の特徴量を生成する演算を処理装置１０に実行させるプログラムと、当該演算に適用される複数の係数との組合せで実現される。当該プログラムは、例えば、人工知能ソフトウェアを構成するプログラムモジュールである。当該複数の係数は、例えば、複数の教師データを利用した深層学習により設定されて記憶装置２０に格納される。学習済モデルＭＪとしては、例えば、深層ニューラルネットワーク等の数理モデルが好適に利用される。学習済モデルＭＪは、後述の推定部１２による推定に用いられる。学習済モデルＭＪは、後述の学習装置１００により得られる。

【0020】

画像群データＤＧＧは、画像を示す複数の画像データを含むデータ群である。画像群データＤＧＧは、ユーザーによるインストール作業等により、記憶装置２０に予め記憶される。画像群データＤＧＧに含まれる画像データの示す画像は、静止画であってもよいし、動画であってもよい。ただし、当該画像データの示す画像が動画である場合、その動画の長さは、一般的な楽曲の数泊から数小節程度の長さ、具体的には、数秒から数十秒程度であることが好ましい。当該画像データの形式は、特に限定されないが、例えば、ＪＰＥＧ（Joint Photographic Experts Group）またはＰＮＧ（Portable Network Graphics）等の静止画ファイル形式であるか、または、ＡＶＩ（Audio Video Interleave）またはＭＰ４等の動画ファイル形式である。

【0021】

映像データＤＭＶは、楽曲データＤＭの示す楽曲に同期した映像を示すデータである。映像データＤＭＶは、後述の生成部１３により生成される。映像データＤＭＶの形式は、特に限定されないが、例えば、ＡＶＩ（Audio Video Interleave）またはＭＰ４等の動画ファイル形式である。なお、映像データＤＭＶは、楽曲データＤＭの示す楽曲に同期した映像を示す動画データを含んでいればよいが、楽曲データＤＭ等の音声データを含んでもよい。すなわち、映像データＤＭＶは、楽曲データＤＭとは個別に映像のみを示す動画データであってもよいし、楽曲データＤＭを含む音声付動画データ（ミュージックビデオデータ）であってもよい。

【0022】

通信装置３０は、他装置と通信する機器である。通信装置３０は、例えば、ＬＴＥ４Ｇ、５Ｇ等の移動通信方式の通信回路、Ｗｉ－Ｆｉ（登録商標）またはＢｌｕｅｔｏｏｔｈ（登録商標）等の無線通信方式の通信回路、または、ＵＳＢ（Universal Serial Bus）等の有線通信方式の通信回路を有する。

【0023】

入力装置４０は、外部からの入力を受け付ける入力デバイスである。入力装置４０は、例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサ等である。なお、入力装置４０は、必要に応じて設けられ、省略されてもよい。

【0024】

表示装置５０は、外部に対して情報を表示する表示デバイスである。表示装置５０は、例えば、液晶パネル、有機ＥＬパネル等の各種の表示パネルを含む。なお、表示装置５０は、必要に応じて設けられ、省略されてもよい。

【0025】

以上の概略の情報処理装置１では、処理装置１０が記憶装置２０からプログラムＰＲ１を読み取って実行する。この実行により、処理装置１０は、取得部１１、推定部１２および生成部１３として機能する。このように、情報処理装置１は、取得部１１と推定部１２と生成部１３とを備える。なお、処理装置１０は、これらの機能のほか、適宜の処理を行う。

【0026】

取得部１１は、楽曲データＤＭを取得する。具体的には、取得部１１は、例えば、ユーザーによる入力装置４０の操作に基づいて、通信装置３０を介して楽曲データＤＭを取得する。本実施形態では、取得部１１は、楽曲データＤＭのほか、後述するように、属性データＤＡＴを取得する。

【0027】

推定部１２は、学習済モデルＭＪを用いて、楽曲データＤＭの示す楽曲に対応する画像の特徴量を所定期間ごとに推定する。当該所定期間は、当該推定のための単位期間であり、後に詳述するが、楽曲データＤＭの示す楽曲の拍期間の整数倍の期間である。拍期間とは、拍間の期間である。当該所定期間としては、後述の機械学習を好適に行う観点から、一般に、楽曲データＤＭの示す楽曲の小節に対応した期間以上の期間が好ましく、より具体的には、４拍以上の期間であることが好ましく、８拍以上１６拍以下の期間であることがより好ましい。なお、以下では、楽曲データＤＭの示す楽曲の拍期間の整数倍の期間として、楽曲データＤＭの示す楽曲の小節に対応する期間の整数倍の期間を用いる場合が例示される。

【0028】

推定部１２による推定のための単位期間は、楽曲データＤＭの示す１つの楽曲内で固定であっても変化してもよい。変化する場合、例えば、楽曲の内容と映像のマッチングとが不自然とならないように、当該単位期間を楽曲データＤＭの示す楽曲の曲調等に応じて動的に変化させることが好ましい。

【0029】

このような観点から、推定部１２は、推定部１２による推定の単位期間である所定期間の長さを変化させることが好ましい。この場合、当該所定期間の長さが一定である態様に比べて、推定部１２の推定結果を楽曲データＤＭの示す楽曲のイメージに近づけやすいという利点がある。

【0030】

ここで、推定部１２は、楽曲データＤＭの示す楽曲の休符期間に応じて当該所定期間の長さを変化させることが好ましい。休符期間は、休符間の期間、すなわち、休符で区切られた期間である。このように当該所定期間の長さを休符期間に応じて変化させることにより、推定部１２の推定結果を楽曲データＤＭの示す楽曲のイメージに近づけやすい。これは、一般的なミュージックビデオの映像が楽曲の曲調とともに休符期間ごとに大きく変化するからである。

【0031】

本実施形態では、後述するように楽曲データＤＭの示す楽曲が歌声を含むので、推定部１２による推定の単位期間である所定期間の長さを変化させる場合、推定部１２は、楽曲データＤＭの示す楽曲の歌詞の文章、文節または単語に基づいて、当該所定期間の長さを変化させることが好ましい。この場合、推定部１２の推定結果を楽曲データＤＭの示す楽曲のイメージに近づけやすいという利点がある。

【0032】

生成部１３は、推定部１２の推定結果に基づいて、映像データＤＭＶを生成する。本実施形態では、生成部１３は、推定部１２の推定結果に基づいて、画像群データＤＧＧに含まれる複数の画像データから所定期間ごとに１以上の画像データを選択し、選択された画像データを用いて映像データＤＭＶを生成する。

【0033】

映像データＤＭＶの示す映像の切り替わりの期間は、前述の推定部１２による推定のための単位期間と同じであっても異なっていてもよい。ただし、映像データＤＭＶの示す楽曲の内容と映像のマッチングとが不自然とならないように、当該期間を楽曲データＤＭの示す楽曲の曲調等に応じて動的に変化させることが好ましい。

【0034】

このような観点から、生成部１３は、楽曲データＤＭの示す楽曲の休符期間に応じて、映像データＤＭＶの示す映像の切り替わりタイミングを調整することが好ましい。これにより、楽曲の内容と映像のマッチングとが不自然とならないように、映像データＤＭＶの示す映像の切り替えることができる。これは、前述のように、一般的なミュージックビデオの映像が楽曲の曲調とともに休符期間ごとに大きく変化するからである。なお、生成部１３が映像データＤＭＶの示す映像を切り替える複数のタイミングは、楽曲データＤＭに示す楽曲の休符期間で区切られたタイミングのみを含んでもよいし、当該タイミングに加えて、拍期間で区切られたタイミング等の他のタイミングを含んでもよい。

【0035】

１－２．推定部および生成部の詳細
図２は、推定部１２および生成部１３の詳細を説明するためのブロック図である。図２に示すように、取得部１１は、楽曲データＤＭおよび属性データＤＡＴを取得する。取得部１１による属性データＤＡＴの取得は、例えば、ユーザーによる入力装置４０の操作に基づいて行われる。この取得は、予め作成された属性データＤＡＴを通信装置３０を介して入力することにより行ってもよいし、ユーザーによる入力装置４０の操作に基づいて属性データＤＡＴを作成することにより行ってもよい。

【0036】

属性データＤＡＴは、楽曲データＤＭの示す楽曲の属性を示すデータである。楽曲の属性には、ジャンル、歌手の性別、ソロまたはグループの別等が含まれる。ジャンルには、バラード、クラシック、ジャズ、ロック、パンク、メタル、アールアンドビー、ポップ、ファンク、レゲエ、ヒップホップ、トラップ、ディスコ、ハウス、テクノ、フューチャーベース、デーディーエム等が含まれる。属性データＤＡＴは、例えば、属性ごとの要素の特徴量を特徴量ベクトルで示す。なお、情報処理装置１において、属性データＤＡＴは、ユーザーによる入力装置４０の操作に基づいて取得される態様に限定されず、例えば、後述の楽曲解析部１２ｂの解析により取得される態様であってもよい。

【0037】

推定部１２は、分離部１２ａと楽曲解析部１２ｂと音声認識部１２ｃと楽譜特徴量抽出部１２ｄと歌詞特徴量抽出部１２ｅと入出力部１２ｆとを含む。

【0038】

分離部１２ａは、楽曲データＤＭからボーカルデータＤＶを分離する。具体的には、分離部１２ａは、例えば、楽曲データＤＭの示す楽曲の周波数成分から音声帯域の周波数成分を抽出することにより、ボーカルデータＤＶを生成する。ボーカルデータＤＶは、楽曲データＤＭの示す楽曲に含まれる歌声を示すデータである。なお、分離部１２ａにおいて楽曲データＤＭからボーカルデータＤＶを分離する方法は、前述の例に限定されず、公知の各種方法を用いてもよい。また、分離部１２ａは、楽曲データＤＭをボーカルデータＤＶと楽曲データＤＭからボーカルデータＤＶを減算した差分データとに分離してもよい。この場合、後述の楽曲解析部１２ｂは、当該差分データに基づいて楽譜データＤＭＳおよび期間データＤＭＭを生成する。

【0039】

楽曲解析部１２ｂは、楽曲データＤＭに基づいて楽譜データＤＭＳおよび期間データＤＭＭを生成する。具体的には、楽曲解析部１２ｂは、例えば、楽曲データＤＭの示す楽曲を解析することにより、当該楽曲の主旋律（メインメロディ）を抽出することにより、楽譜データＤＭＳを生成する。また、楽曲解析部１２ｂは、楽譜データＤＭＳに基づいて期間データＤＭＭを生成する。

【0040】

本実施形態では、楽曲解析部１２ｂは、楽譜データＤＭＳのほか、後述の歌詞データＤＬＹに基づいて、期間データＤＭＭを生成する。ここで、歌詞データＤＬＹの示す歌詞の文章、文節または単語に基づいて、期間データＤＭＭの示す期間の長さを調整することにより、前述の推定部１２による推定の単位期間である所定期間の長さを変化させることができる。

【0041】

楽譜データＤＭＳは、楽曲データＤＭの示す楽曲の楽譜を示すデータである。楽譜データＤＭＳの示す楽譜には、楽曲の主旋律（メインメロディ）のビート、調性、コード等の要素が含まれる。なお、楽譜データＤＭＳの示す楽譜は、主旋律のほか、当該楽曲を構成する楽器ごとのリズムまたはメロディ等の要素が含まれてもよい。楽譜データＤＭＳは、楽曲データＤＭの示す楽曲の拍および小節に関するデータを含んでおり、期間データＤＭＭを兼ねてもよい。

【0042】

期間データＤＭＭは、楽曲データＤＭの示す楽曲の小節に対応する期間の整数倍の期間を示すデータである。楽曲の小節は、楽譜が読みやすいように適当な長さに区切られた時間の区分であり、楽曲が拍子を有する場合、拍子のひとまとまりの時間長さで規定される。ここで、拍子とは、拍のひとまとまりであり、２拍子、３拍子、４拍子等の一般的な拍子だけでなく、理論的にあり得る２分の１拍子等の拍子も含む。期間データＤＭＭの示す期間は、楽曲データＤＭの示す楽曲の休符期間、後述の歌詞データＤＬＹの示す歌詞の文節等に基づいて変化し得る。なお、小節に対応する期間の整数倍の期間とは、休符期間を含む概念である。

【0043】

音声認識部１２ｃは、ボーカルデータＤＶに基づいて歌詞データＤＬＹを生成する。具体的には、音声認識部１２ｃは、例えば、ボーカルデータＤＶに音声認識処理を施すことにより、歌詞データＤＬＹを生成する。

【0044】

歌詞データＤＬＹは、楽曲データＤＭの示す楽曲の歌詞を示すデータである。歌詞データＤＬＹは、例えば、歌詞を記述したテキストデータである。

【0045】

楽譜特徴量抽出部１２ｄは、期間データＤＭＭの示す期間ごとに、楽譜データＤＭＳに基づいて、楽譜特徴量データＤＦ１を生成する。具体的には、楽譜特徴量抽出部１２ｄは、例えば、期間データＤＭＭの示す期間ごとに、楽譜データＤＭＳの示す楽譜のビート、調性、コード等の要素の特徴量を抽出することにより、楽譜特徴量データＤＦ１を生成する。

【0046】

楽譜特徴量データＤＦ１は、期間データＤＭＭの示す期間ごとに、楽譜データＤＭＳの示す楽譜の特徴量を特徴量ベクトルで示すデータである。楽譜の特徴量ベクトルの要素としては、例えば、ビート、調性、コード等の要素が挙げられる。

【0047】

歌詞特徴量抽出部１２ｅは、期間データＤＭＭの示す期間ごとに、歌詞データＤＬＹに基づいて、歌詞特徴量データＤＦ２を生成する。具体的には、歌詞特徴量抽出部１２ｅは、例えば、期間データＤＭＭの示す期間ごとに、歌詞データＤＬＹの示す歌詞の喜怒哀楽、風景等の要素の特徴量を抽出することにより、歌詞特徴量データＤＦ２を生成する。

【0048】

歌詞特徴量データＤＦ２は、期間データＤＭＭの示す期間ごとに、歌詞データＤＬＹの示す歌詞の特徴量を特徴量ベクトルで示すデータである。歌詞の特徴量ベクトルの要素としては、例えば、喜怒哀楽等の感情、また、都会、山、川、海等の風景等の要素が挙げられる。

【0049】

入出力部１２ｆは、学習済モデルＭＪを用いて、属性データＤＡＴと楽譜特徴量データＤＦ１と歌詞特徴量データＤＦ２とに基づいて、画像特徴量データＤＦ３を生成する。すなわち、入出力部１２ｆは、属性データＤＡＴと楽譜特徴量データＤＦ１と歌詞特徴量データＤＦ２とを学習済モデルＭＪに対する入力データとすることにより、画像特徴量データＤＦ３を学習済モデルＭＪの出力データとして取得する。

【0050】

画像特徴量データＤＦ３は、期間データＤＭＭの示す期間ごとに、画像の特徴量を特徴量ベクトルで示すデータである。画像の特徴量ベクトルの要素としては、例えば、喜怒哀楽等の感情、また、都会、山、川、海等の風景等の要素が挙げられる。

【0051】

生成部１３は、マッチング部１３ａと画像取得部１３ｂとを含む。

【0052】

マッチング部１３ａは、画像特徴量データＤＦ３に基づいて画像ＩＤを出力する。本実施形態では、画像群データＤＧＧは、画像を示す複数の画像データＤＧのほか、複数の画像データＤＧの画像ＩＤと画像の特徴量ベクトルとの対応関係を示す画像属性テーブルＧＴを含む。そして、マッチング部１３ａは、画像特徴量データＤＦ３の示す特徴量ベクトルと画像属性テーブルＧＴ中の複数の特徴量ベクトルのそれぞれとの類似度を算出し、最も類似度の高い特徴量ベクトルの画像ＩＤを出力する。

【0053】

画像取得部１３ｂは、画像群データＤＧＧから画像ＩＤに対応する画像データＤＧを取得する。そして、画像取得部１３ｂは、取得した画像データＤＧに基づいて、映像データＤＭＶを生成する。このとき、画像取得部１３ｂは、画像データＤＧのトリミング、フレーム数の調整等の処理を適宜に行うことにより、映像データＤＭＶを生成する。

【0054】

ここで、画像取得部１３ｂは、期間データＤＭＭに基づいて、楽曲データＤＭの示す楽曲の休符期間に応じて、映像データＤＭＶの示す映像の切り替わりタイミングを調整してもよい。

【0055】

１－３．映像生成方法
図３は、実施形態に係る映像生成方法の流れを示す図である。当該映像生成方法は、前述の情報処理装置１を用いて実行される。当該映像生成方法では、図３に示すように、まず、ステップＳＴ１０において、前述の取得部１１による楽曲データＤＭの取得が実行される。

【0056】

次に、ステップＳＴ２０において、前述の取得部１１による属性データＤＡＴの取得が実行される。なお、ステップＳＴ２０は、ステップＳＴ１０の前に実行されてもよい。

【0057】

ステップＳＴ１０およびステップＳＴ２０の実行後、ステップＳＴ３０において、前述の推定部１２による画像の特徴量の推定が行われる。

【0058】

具体的には、ステップＳＴ３０は、ステップＳＴ３１からステップＳＴ３６を含む。ステップＳＴ３１において、楽曲データＤＭに基づいて、前述の分離部１２ａによるボーカルデータＤＶの生成が実行される。

【0059】

次に、ステップＳＴ３２において、ボーカルデータＤＶに基づいて、前述の音声認識部１２ｃによる歌詞データＤＬＹの生成が実行される。

【0060】

次に、ステップＳＴ３３において、楽曲データＤＭに基づいて、前述の楽曲解析部１２ｂによる楽譜データＤＭＳの生成が実行される。なお、ステップＳＴ３３は、ステップＳＴ３１とステップＳＴ３２との間で実行されてもよい。

【0061】

次に、ステップＳＴ３４において、歌詞データＤＬＹおよび楽譜データＤＭＳに基づいて、前述の楽曲解析部１２ｂによる期間データＤＭＭの生成が実行される。

【0062】

次に、ステップＳＴ３５において、期間データＤＭＭの示す期間ごとに、楽譜データＤＭＳの示す楽譜の特徴量が前述の楽譜特徴量抽出部１２ｄにより抽出されるとともに、歌詞データＤＬＹの示す歌詞の特徴量が前述の歌詞特徴量抽出部１２ｅにより抽出される。このように、ステップＳＴ３５において、前述の楽譜特徴量抽出部１２ｄによる楽譜特徴量データＤＦ１の生成と前述の歌詞特徴量抽出部１２ｅによる歌詞特徴量データＤＦ２の生成とが実行される。

【0063】

次に、ステップＳＴ３６において、学習済モデルＭＪを用いて、楽譜特徴量データＤＦ１および歌詞特徴量データＤＦ２に基づいて、前述の入出力部１２ｆによる画像特徴量データＤＦ３の取得が実行される。

【0064】

以上のステップＳＴ３０により、推定部１２による画像の特徴量の推定結果として、画像特徴量データＤＦ３が取得される。

【0065】

ステップＳＴ３０の実行後、ステップＳＴ４０において、前述の生成部１３による映像の生成が実行される。

【0066】

具体的には、ステップＳＴ４０は、ステップＳＴ４１とステップＳＴ４２とを含む。ステップＳＴ４１において、画像特徴量データＤＦ３に基づいて、画像のマッチングが行われる。すなわち、ステップＳＴ４１において、前述のマッチング部１３ａによる画像ＩＤの取得が実行される。

【0067】

次に、ステップＳＴ４２において、画像ＩＤに基づいて、前述の画像取得部１３ｂによる画像データＤＧの取得が実行される。そして、画像取得部１３ｂは、取得した画像データＤＧに基づいて、映像データＤＭＶを生成する。

【0068】

以上のように、映像生成方法は、ステップＳＴ１０とステップＳＴ３０とステップＳＴ４０とを含む。ここで、前述のように、ステップＳＴ１０は、楽曲を示す楽曲データＤＭを取得する。ステップＳＴ３０は、楽曲の特徴量と画像の特徴量との関係を機械学習した学習済モデルＭＪを用いて、楽曲データＤＭに基づいて、楽曲データＤＭの示す楽曲に対応する画像の特徴量を所定期間ごとに推定する。ステップＳＴ４０は、推定した特徴量に基づいて、楽曲データＤＭの示す楽曲に同期した映像を示す映像データＤＭＶを生成する。当該所定期間は、楽曲データＤＭの示す楽曲の拍期間（本実施形態では小節に対応する期間）の整数倍の期間である。

【0069】

以上の映像生成方法では、楽曲のイメージに適合した映像を効率的に生成することができる。

【0070】

以上の情報処理装置１では、楽曲の特徴量と画像の特徴量との関係を機械学習した学習済モデルＭＪを用いて推定部１２による推定が行われるので、未知の楽曲データＤＭであっても、過去のミュージックビデオ等の楽曲の特徴量と画像の特徴量との間に潜在する傾向のもとで統計的に妥当な映像データＤＭＶを効率的に生成することができる。また、楽曲データＤＭの示す楽曲の小節に対応した期間の整数倍の期間ごとに推定部１２による推定が行われるので、推定部１２の推定結果を楽曲データＤＭの示す楽曲のイメージに近づけやすい。これは、小節が楽曲のイメージを表す時間的な最小単位であるとともに、一般的なミュージックビデオの映像が楽曲の曲調とともに小節の整数倍、例えば、１小節、８小節、１６小節等で大きく変化するからである。以上から、楽曲のイメージに適合した映像を効率的に生成することができる。

【0071】

なお、推定部１２による推定の単位期間は、楽曲データＤＭの示す楽曲の小節に対応した期間よりも短くてもよい。この場合、楽曲データＤＭの示す楽曲の拍期間の整数倍の期間ごとに推定部１２による推定が行われる。これにより、推定部１２の推定結果を楽曲データＤＭの示す楽曲のイメージに近づけることができる。これは、拍期間が楽曲を構成する時間的な最小単位であるからである。

【0072】

また、前述のように、推定部１２による推定の単位期間である所定期間の長さを変化させることにより、当該所定期間の長さが一定である態様に比べて、推定部１２の推定結果を楽曲データＤＭの示す楽曲のイメージに近づけやすいという利点がある。

【0073】

ここで、前述のように、推定部１２は、楽曲データＤＭの示す楽曲の休符期間に応じて当該所定期間の長さを変化させることにより、推定部１２の推定結果を楽曲データＤＭの示す楽曲のイメージに近づけやすい。

【0074】

本実施形態では、前述のように、楽曲データＤＭの示す楽曲が歌声を含む。このため、歌詞の文章、文節または単語に基づいて当該所定期間の長さを変化させることにより、推定部１２の推定結果を楽曲データＤＭの示す楽曲のイメージに近づけやすいという利点がある。

【0075】

また、前述のように、推定部１２は、楽譜特徴量抽出部１２ｄと歌詞特徴量抽出部１２ｅとを含む。楽譜特徴量抽出部１２ｄは、楽曲データＤＭの示す楽曲の楽譜の特徴量を当該所定期間ごとに抽出する。歌詞特徴量抽出部１２ｅは、楽曲データＤＭの示す楽曲の歌詞の特徴量を当該所定期間ごとに抽出する。本実施形態の学習済モデルＭＪは、楽譜の特徴量と歌詞の特徴量と画像の特徴量との関係を機械学習したモデルである。このように、楽曲データＤＭの示す楽曲の楽譜および歌詞の両方を考慮して、推定部１２の推定結果を楽曲データＤＭの示す楽曲のイメージに近づけることができる。

【0076】

さらに、前述のように、推定部１２は、楽曲解析部１２ｂを含む。楽曲解析部１２ｂは、楽曲データＤＭを解析することにより、楽曲データＤＭの示す楽曲の楽譜を示す楽譜データＤＭＳを生成する。そして、楽曲解析部１２ｂは、楽譜データＤＭＳに基づいて、当該所定期間を示す期間データＤＭＭを生成する。このため、期間データＤＭＭを用いることにより、楽曲データＤＭの示す楽曲の楽譜に基づく期間ごとに推定部１２による推定を行うことができる。

【0077】

また、前述のように、学習済モデルＭＪは、楽曲の特徴量と画像の特徴量と属性の特徴量との関係を機械学習したモデルである。推定部１２は、学習済モデルＭＪを用いて、楽曲データＤＭのほか、楽曲データＤＭの示す楽曲の属性を示す属性データＤＡＴに基づいて、楽曲データＤＭの示す楽曲に対応する画像の特徴量を当該所定期間ごとに推定する。このため、楽曲データＤＭの示す楽曲の楽譜に現れない属性を考慮して、推定部１２の推定結果を楽曲データＤＭの示す楽曲のイメージに近づけることができる。

【0078】

さらに、前述のように、取得部１１は、楽曲データＤＭのほか、属性データＤＡＴを取得可能である。このため、ユーザーの意図に応じた属性を考慮して、推定部１２の推定結果を楽曲データＤＭの示す楽曲のイメージに近づけることができる。

【0079】

また、前述のように、生成部１３が楽曲データＤＭの示す楽曲の休符期間に応じて映像データＤＭＶの示す映像の切り替わりタイミングを調整することにより、楽曲の内容と映像のマッチングとが不自然とならないように、映像データＤＭＶの示す映像の切り替えることができる。

【0080】

１－４．学習装置の概略
図４は、実施形態に係る学習装置１００のブロック図である。学習装置１００は、複数のミュージックビデオデータＤＭＶ０を教師データとして用いて学習済モデルＭＪを作成するコンピューターまたはコンピューターシステムである。ミュージックビデオデータＤＭＶ０は、楽曲と当該楽曲に同期した映像とを示すデータである。ミュージックビデオデータＤＭＶ０には、例えば、既存のミュージックビデオ等が利用される。

【0081】

図４に示すように、学習装置１００は、処理装置１１０と記憶装置１２０と通信装置１３０と入力装置１４０と表示装置１５０とを備える。これらは、単体または複数のバスで相互に通信可能に接続される。以下、図４に基づいて、情報処理装置１の各部の概略を説明する。

【0082】

処理装置１１０は、学習装置１００の各部を制御する装置である。処理装置１１０は、ＣＰＵ等の単一または複数のプロセッサーで構成される。なお、処理装置１１０の機能の一部または全部は、ＤＳＰ、ＡＳＩＣ、ＰＬＤ、ＦＰＧＡ等のハードウェアで実現されてもよい。処理装置１１０は、各種の処理を並列的または逐次的に実行する。

【0083】

記憶装置１２０は、処理装置１１０が読取可能なプログラムおよびデータ等の情報を記憶する装置である。記憶装置１２０は、例えば、ハードディスクドライブで構成されるか、または、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＲＡＭ等の半導体メモリーで構成される。なお、記憶装置１２０の一部または全部は、学習装置１００に通信可能に接続される外部のコンピューターまたはサーバー等の装置に設けてもよい。

【0084】

記憶装置１２０には、プログラムＰＲ２と複数のミュージックビデオデータＤＭＶ０と学習済モデルＭＪとが記憶される。

【0085】

プログラムＰＲ２は、学習装置１００の動作を制御するためのプログラムであり、学習済モデルＭＪの生成のための後述の各種機能を実現する。プログラムＰＲ２は、ユーザーによるインストール作業等により、記憶装置１２０に予め記憶される。

【0086】

通信装置１３０は、他装置と通信する機器である。通信装置１３０は、例えば、ＬＴＥ４Ｇ、５Ｇ等の移動通信方式の通信回路、Ｗｉ－Ｆｉ（登録商標）またはＢｌｕｅｔｏｏｔｈ（登録商標）等の無線通信方式の通信回路、または、ＵＳＢ等の有線通信方式の通信回路を有する。

【0087】

入力装置１４０は、外部からの入力を受け付ける入力デバイスである。入力装置１４０は、例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサ等である。なお、入力装置１４０は、必要に応じて設けられ、省略されてもよい。

【0088】

表示装置１５０は、外部に対して情報を表示する表示デバイスである。表示装置１５０は、例えば、液晶パネル、有機ＥＬパネル等の各種の表示パネルを含む。なお、表示装置１５０は、必要に応じて設けられ、省略されてもよい。

【0089】

以上の概略の学習装置１００では、処理装置１１０が記憶装置１２０からプログラムＰＲ２を読み取って実行する。この実行により、処理装置１１０は、取得部１１１および学習部１１２として機能する。このように、学習装置１００は、取得部１１１と学習部１１２とを備える。なお、処理装置１１０は、これらの機能のほか、適宜の処理を行う。

【0090】

取得部１１１は、複数のミュージックビデオデータＤＭＶ０を取得する。具体的には、取得部１１１は、例えば、ユーザーによる入力装置１４０の操作に基づいて、通信装置１３０を介して複数のミュージックビデオデータＤＭＶ０を取得する。本実施形態では、取得部１１１は、複数のミュージックビデオデータＤＭＶ０のほか、後述するように、ミュージックビデオデータＤＭＶ０ごとの属性データＤＡＴ０を取得する。

【0091】

学習部１１２は、複数のミュージックビデオデータＤＭＶ０に基づいて、楽曲の特徴量と画像の特徴量との所定期間ごとの関係を機械学習することにより、学習済モデルＭＪを生成する。当該所定期間は、当該機械学習に用いられる複数のミュージックビデオデータＤＭＶ０のそれぞれの示す楽曲の小節に対応した期間の整数倍の期間である。

【0092】

１－５．学習部の詳細
図５は、学習部１１２の詳細を説明するためのブロック図である。図５に示すように、取得部１１１は、ミュージックビデオデータＤＭＶ０および属性データＤＡＴ０を取得する。取得部１１１による属性データＤＡＴ０の取得は、例えば、ユーザーによる入力装置１４０の操作に基づいて行われる。この取得は、予め作成された属性データＤＡＴ０を通信装置１３０を介して入力することにより行ってもよいし、ユーザーによる入力装置１４０の操作に基づいて属性データＤＡＴ０を作成することにより行ってもよい。

【0093】

属性データＤＡＴ０は、ミュージックビデオデータＤＭＶ０の示す楽曲の属性を示すデータである。属性データＤＡＴ０は、属性データＤＡＴ０と同様、例えば、属性ごとの要素の特徴量を特徴量ベクトルで示す。なお、学習装置１００において、属性データＤＡＴ０は、ユーザーによる入力装置１４０の操作に基づいて取得される態様に限定されず、例えば、楽曲解析部１２ｂの解析により取得される態様であってもよい。

【0094】

学習部１１２は、分離部１２ａおよび入出力部１２ｆに代えて分離部１２ｇおよび訓練部１２ｋを含むとともに、画像抽出部１２ｈおよび画像特徴量抽出部１２ｉを含むこと以外は、前述の情報処理装置１の推定部１２と同様である。なお、以下では、学習部１１２について推定部１２と同様の事項については、その説明を適宜に省略する。

【0095】

分離部１２ｇは、ミュージックビデオデータＤＭＶ０を楽曲データＤＭとボーカルデータＤＶと動画データＤＭＯとに分離する。なお、分離部１２ｇは、動画データＤＭＯを分離する機能を追加したこと以外は、前述の分離部１２ａと同様である。

【0096】

画像抽出部１２ｈは、期間データＤＭＭの示す期間ごとに、動画データＤＭＯに基づいて画像データＤＧを抽出する。これにより、複数の画像データＤＧが得られる。このようにして得られた複数の画像データＤＧは、例えば、前述の画像群データＤＧＧに用いられる。

【0097】

画像特徴量抽出部１２ｉは、画像データＤＧに基づいて、画像特徴量データＤＦ３を生成する。具体的には、画像特徴量抽出部１２ｉは、例えば、画像データＤＧの示す画像の喜怒哀楽、風景等の要素の特徴量を抽出することにより、画像特徴量データＤＦ３を生成する。

【0098】

訓練部１２ｋは、属性データＤＡＴ０と楽譜特徴量データＤＦ１と歌詞特徴量データＤＦ２と画像特徴量データＤＦ３との組を教師データとして用いた深層学習等の機械学習により、学習済モデルＭＪを訓練する。具体的には、訓練部１２ｋは、教師データに用いる属性データＤＡＴ０と楽譜特徴量データＤＦ１と歌詞特徴量データＤＦ２との入力に対して暫定的な学習済モデルＭＪが出力する画像特徴量データＤＦ３と、教師データに用いる画像特徴量データＤＦ３との相違が低減されるように、学習済モデルＭＪの複数の係数を更新する。例えば、訓練部１２ｋは、当該相違を表す評価関数が最小化されるように、誤差逆伝播法により学習済モデルＭＪの複数の係数を反復的に更新する。以上の機械学習により設定された学習済モデルＭＪの複数の係数は、記憶装置１２０に記憶される。

【0099】

以上の機械学習後の学習済モデルＭＪは、当該教師データにおける属性データＤＡＴ０と楽譜特徴量データＤＦ１と歌詞特徴量データＤＦ２と画像特徴量データＤＦ３との間に潜在する傾向のもとで、未知の属性データＤＡＴ０と楽譜特徴量データＤＦ１と歌詞特徴量データＤＦ２とに対して統計的に妥当な画像特徴量データＤＦ３を出力する。

【0100】

１－６．学習装置の動作
図６は、学習装置１００の動作を説明するための図である。学習装置１００は、図６に示すように、まず、ステップＳＴ１１０において、前述の取得部１１１によるミュージックビデオデータＤＭＶ０の取得が実行される。

【0101】

次に、ステップＳＴ１２０において、前述の取得部１１１による属性データＤＡＴ０の取得が実行される。なお、ステップＳＴ１２０は、ステップＳＴ１１０の前に実行されてもよい。

【0102】

ステップＳＴ１１０およびステップＳＴ１２０の実行後、ステップＳＴ１３０において、前述の学習部１１２による学習済モデルＭＪの生成が行われる。

【0103】

具体的には、ステップＳＴ１３０は、ステップＳＴ１３１からステップＳＴ１３７を含む。ステップＳＴ１３１において、ミュージックビデオデータＤＭＶ０に基づいて、前述の分離部１２ｇによる楽曲データＤＭとボーカルデータＤＶと動画データＤＭＯとの生成が実行される。

【0104】

次に、ステップＳＴ１３２において、ボーカルデータＤＶに基づいて、前述の音声認識部１２ｃによる歌詞データＤＬＹの生成が実行される。

【0105】

次に、ステップＳＴ１３３において、楽曲データＤＭに基づいて、前述の楽曲解析部１２ｂによる楽譜データＤＭＳの生成が実行される。なお、ステップＳＴ１３３は、ステップＳＴ１３１とステップＳＴ１３２との間で実行されてもよい。

【0106】

次に、ステップＳＴ１３４において、歌詞データＤＬＹおよび楽譜データＤＭＳに基づいて、前述の楽曲解析部１２ｂによる期間データＤＭＭの生成が実行される。

【0107】

次に、ステップＳＴ１３５において、動画データＤＭＯに基づいて、前述の画像抽出部１２ｈによる画像データＤＧの生成が実行される。なお、ステップＳＴ１３５は、ステップＳＴ１３１とステップＳＴ１３４との間で実行されてもよい。

【0108】

次に、ステップＳＴ１３６において、期間データＤＭＭの示す期間ごとに、楽譜データＤＭＳの示す楽譜の特徴量が前述の楽譜特徴量抽出部１２ｄにより抽出されるとともに、歌詞データＤＬＹの示す歌詞の特徴量が前述の歌詞特徴量抽出部１２ｅにより抽出される。また、ステップＳＴ１３６において、画像データＤＧの示す画像の特徴量が前述の画像特徴量抽出部１２ｉにより抽出される。このように、ステップＳＴ１３６において、前述の楽譜特徴量抽出部１２ｄによる楽譜特徴量データＤＦ１の生成と前述の歌詞特徴量抽出部１２ｅによる歌詞特徴量データＤＦ２の生成と前述の画像特徴量抽出部１２ｉによる画像特徴量データＤＦ３の生成とが実行される。

【0109】

次に、ステップＳＴ１３７において、楽譜特徴量データＤＦ１と歌詞特徴量データＤＦ２と画像特徴量データＤＦ３とに基づいて、前述の訓練部１２ｋによる学習済モデルＭＪの生成が実行される。

【0110】

以上のように、学習装置１００は、取得部１１１と学習部１１２とを備える。ここで、前述のように、取得部１１１は、楽曲と当該楽曲に同期した映像とを示す複数のミュージックビデオデータＤＭＶ０を取得する。学習部１１２は、複数のミュージックビデオデータＤＭＶ０に基づいて、楽曲の特徴量と画像の特徴量との所定期間ごとの関係を機械学習することにより、学習済モデルＭＪを生成する。当該所定期間は、ミュージックビデオデータＤＭＶ０の示す楽曲の拍期間（本実施形態では小節に対応した期間）の整数倍の期間である。

【0111】

以上の学習装置１００では、楽曲のイメージに適合した映像の効率的な生成に利用可能な学習済モデルＭＪを得ることができる。

【0112】

２．変形例
本開示は、前述の実施形態に限定されるものではない。また、本開示の各部の構成は、前述した実施形態の同様の機能を発揮する任意の構成のものに置換することができ、また、任意の構成を付加することもできる。

【0113】

２－１．変形例１
前述の形態では、楽曲データＤＭおよびミュージックビデオデータＤＭＶ０のそれぞれがボーカルデータＤＶを含む態様が例示されるが、この態様に限定されず、楽曲データＤＭおよびミュージックビデオデータＤＭＶ０のそれぞれがボーカルデータＤＶを含まなくてもよい。この場合、情報処理装置１および学習装置１００のボーカルデータＤＶに関する構成が省略されてもよい。

【0114】

２－２．変形例２
前述の形態では、情報処理装置１の生成部１３が画像特徴量データＤＦ３に基づいて複数の画像データＤＧから１つの画像データＤＧを選択する態様が例示されるが、この態様に限定されず、例えば、生成部１３が画像特徴量データＤＦ３に基づいて新たな画像データＤＧを生成したり外部から画像データＤＧを取得したりしてもよい。

【符号の説明】

【0115】

１…情報処理装置、１０…処理装置、１１…取得部、１２…推定部、１２ａ…分離部、１２ｂ…楽曲解析部、１２ｃ…音声認識部、１２ｄ…楽譜特徴量抽出部、１２ｅ…歌詞特徴量抽出部、１２ｆ…入出力部、１２ｇ…分離部、１２ｈ…画像抽出部、１２ｉ…画像特徴量抽出部、１２ｋ…訓練部、１３…生成部、１３ａ…マッチング部、１３ｂ…画像取得部、２０…記憶装置、３０…通信装置、４０…入力装置、５０…表示装置、１００…学習装置、１１０…処理装置、１１１…取得部、１１２…学習部、１２０…記憶装置、１３０…通信装置、１４０…入力装置、１５０…表示装置、ＤＡＴ…属性データ、ＤＡＴ０…属性データ、ＤＦ１…楽譜特徴量データ、ＤＦ２…歌詞特徴量データ、ＤＦ３…画像特徴量データ、ＤＧ…画像データ、ＤＧＧ…画像群データ、ＤＬＹ…歌詞データ、ＤＭ…楽曲データ、ＤＭＭ…期間データ、ＤＭＯ…動画データ、ＤＭＳ…楽譜データ、ＤＭＶ…映像データ、ＤＭＶ０…ミュージックビデオデータ、ＤＶ…ボーカルデータ、ＧＴ…画像属性テーブル、ＭＪ…学習済モデル、ＰＲ１…プログラム、ＰＲ２…プログラム、ＳＴ１０…ステップ、ＳＴ１１０…ステップ、ＳＴ１２０…ステップ、ＳＴ１３０…ステップ、ＳＴ１３１…ステップ、ＳＴ１３２…ステップ、ＳＴ１３３…ステップ、ＳＴ１３４…ステップ、ＳＴ１３５…ステップ、ＳＴ１３６…ステップ、ＳＴ１３７…ステップ、ＳＴ２０…ステップ、ＳＴ３０…ステップ、ＳＴ３１…ステップ、ＳＴ３２…ステップ、ＳＴ３３…ステップ、ＳＴ３４…ステップ、ＳＴ３５…ステップ、ＳＴ３６…ステップ、ＳＴ４０…ステップ、ＳＴ４１…ステップ、ＳＴ４２…ステップ。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】