特許 7274082 音楽生成装置、音楽生成方法、及び音楽生成プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-05-08

(45)【発行日】2023-05-16

(54)【発明の名称】音楽生成装置、音楽生成方法、及び音楽生成プログラム

(51)【国際特許分類】

   G10G 1/00 20060101AFI20230509BHJP

   G10H 1/00 20060101ALI20230509BHJP

【ＦＩ】

G10G1/00

G10H1/00 102Z

【請求項の数】 16

(21)【出願番号】P 2021133991

(22)【出願日】2021-08-19

(65)【公開番号】P2023028345

(43)【公開日】2023-03-03

【審査請求日】2021-08-31

(73)【特許権者】

【識別番号】000005821

【氏名又は名称】パナソニックホールディングス株式会社

(73)【特許権者】

【識別番号】516168780

【氏名又は名称】クラウド・テン株式会社

(74)【代理人】

【識別番号】100115381

【弁理士】

【氏名又は名称】小谷 昌崇

(74)【代理人】

【識別番号】100118049

【弁理士】

【氏名又は名称】西谷 浩治

(72)【発明者】

【氏名】南方 郁夫

(72)【発明者】

【氏名】針谷 爽

(72)【発明者】

【氏名】松田 剛英

【審査官】菊池 智紀

(56)【参考文献】

【文献】特開２０１７－２１５３７５（ＪＰ，Ａ）

【文献】特開平０９－１２０２８３（ＪＰ，Ａ）

【文献】深山覚、外5名，音楽要素の分解再構成に基づく日本語歌詞からの旋律自動作曲，情報処理学会論文誌，日本，情報処理学会，2013年05月15日，第54巻、第5号，第1709-1720頁

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｇ １／００－７／０２

Ｇ１０Ｈ １／００－７／１２

(57)【特許請求の範囲】

【請求項1】

音楽を生成する音楽生成装置であって、
第１ストリームデータ及び前記第１ストリームデータとは異なる第２ストリームデータを取得する取得部と、
前記第１ストリームデータの変化に基づいて伴奏を示す音楽データである伴奏情報を生成する伴奏生成部と、
前記第２ストリームデータの変化に基づいて、メロディを示す音楽データであるメロディ情報を生成するメロディ生成部と、
生成された前記伴奏情報が示す伴奏の和音に合うように、前記メロディ情報が示すメロディの１拍の音高を調整するメロディ調整部と、
前記伴奏情報と調整された前記メロディ情報とを合成して曲情報を生成する音楽合成部と、
生成された曲情報を出力する出力部と、を備え、
前記メロディ調整部は、前記メロディの１拍を構成する音が同時刻に置かれた伴奏の和音を構成する音以外の音である場合、当該音の音高を、当該伴奏の和音を構成する音のうち最も近い音の音高に移動させる、
音楽生成装置。

【請求項2】

前記第２ストリームデータは、複数のストリームデータを含み、
前記メロディ生成部は、各ストリームデータの変化に基づいて複数のメロディを示す前記メロディ情報を生成する、
請求項１記載の音楽生成装置。

【請求項3】

前記伴奏生成部は、小節単位で前記伴奏情報を生成し、
前記メロディ生成部は、拍単位で前記メロディ情報を生成する、
請求項１又は２記載の音楽生成装置。

【請求項4】

前記メロディ生成部は、前記第２ストリームデータの変化に基づいて、前記メロディの上昇又は下降、リズム、和音、音量、及び楽器の少なくとも一つを変化させる、
請求項１～３のいずれかに記載の音楽生成装置。

【請求項5】

前記メロディ生成部は、前記第２ストリームデータの変化量が所定の閾値より大きい場合、前記変化量に基づいて前記メロディの上昇又は下降の傾きを変化させ、前記変化量が所定の閾値より小さい場合、前記メロディの上昇又は下降の傾きを変化させない、
請求項１～４のいずれかに記載の音楽生成装置。

【請求項6】

前記メロディ生成部は、前記第２ストリームデータの変化量が所定の閾値より大きい場合、前記メロディの１拍を複数の音符で表される音で構成し、前記変化量が所定の閾値よりも小さい場合、前記メロディの１拍を１つの音符で表される音で構成してリズムを表現する、
請求項１～５のいずれかに記載の音楽生成装置。

【請求項7】

前記メロディ生成部は、前記第２ストリームデータの変化量が所定の閾値より大きい場合、前記メロディの１拍を和音を含む音で構成し、前記第２ストリームデータの変化量が所定の閾値よりも小さい場合、前記メロディの１拍を単音で構成する、
請求項１～６のいずれかに記載の音楽生成装置。

【請求項8】

前記メロディ生成部は、前記第２ストリームデータの変化量が所定の閾値より大きい場合、前記メロディの音量が第１音量に設定され、前記第２ストリームデータの変化量が所定の閾値よりも小さい場合、前記メロディの音量が前記第１音量よりも小さい第２音量に設定される、
請求項１～７のいずれかに記載の音楽生成装置。

【請求項9】

前記メロディ生成部は、前記メロディの上昇又は下降、前記リズム、及び前記和音は、拍単位で変化させ、前記音量は小節単位で変化させ、前記楽器は曲単位又は小節単位で変化させる、
請求項４記載の音楽生成装置。

【請求項10】

前記メロディ調整部は、前記メロディの１拍を構成する複数の音のうち、前記伴奏が有する和音に含まれない音については、当該音の音高を、前記和音のうち最も近い音の音高に移動させる、
請求項１～９のいずれかに記載の音楽生成装置。

【請求項11】

前記メロディの激しさを示す複数のレベルに応じた複数の決定関数をさらに備え、
各レベルは、前記第２ストリームデータの変化量を区画する複数のバンドを備え、
各決定関数は、前記複数のバンドのそれぞれに対応する前記メロディの設定内容を規定する関数であり、
前記メロディ生成部は、前記複数のレベルの中からいずれかのレベルに対応する決定関数を設定し、設定された前記決定関数の設定内容に基づいて前記メロディを生成する、
請求項１～１０のいずれかに記載の音楽生成装置。

【請求項12】

前記決定関数が規定するメロディの設定内容は、前記メロディの上昇又は下降の傾き、１拍のリズム、及び１拍に含ませる和音の確率、の少なくとも１つを含む、
請求項１１記載の音楽生成装置。

【請求項13】

複数のメロディのそれぞれについて鳴らす又は鳴らさないかの条件を予め規定する発火条件をさらに備え、
前記メロディ生成部は、前記発火条件を満足する１以上のメロディを前記メロディ情報に含ませる、
請求項１～１２のいずれかに記載の音楽生成装置。

【請求項14】

前記発火条件は、第２ストリームデータの変化量がある閾値を越えた場合、設定した時間条件を満足した場合、設定したイベントが発生した場合のいずれかを含む、
請求項１３に記載の音楽生成装置。

【請求項15】

音楽を生成する音楽生成装置における音楽生成方法であって、
前記音楽生成装置のプロセッサが、
第１ストリームデータ及び前記第１ストリームデータとは異なる第２ストリームデータを取得し、
前記第１ストリームデータの変化に基づいて伴奏を示す音楽データである伴奏情報を生成し、
前記第２ストリームデータの変化に基づいて、メロディを示す音楽データであるメロディ情報を生成し、
生成された前記伴奏情報が示す伴奏の和音に合うように、前記メロディ情報が示すメロディの１拍の音高を調整し、
前記伴奏情報と調整された前記メロディ情報とを合成して曲情報を生成し、
生成された曲情報を出力し、
前記音高の調整では、前記メロディの１拍を構成する音が同時刻に置かれた伴奏の和音を構成する音以外の音である場合、当該音の音高を、当該伴奏の和音を構成する音のうち最も近い音の音高に移動させる、
音楽生成方法。

【請求項16】

音楽を生成する音楽生成装置における音楽生成プログラムであって、
前記音楽生成装置のプロセッサに、
第１ストリームデータ及び前記第１ストリームデータとは異なる第２ストリームデータを取得し、
前記第１ストリームデータの変化に基づいて伴奏を示す音楽データである伴奏情報を生成し、
前記第２ストリームデータの変化に基づいて、メロディを示す音楽データであるメロディ情報を生成し、
生成された前記伴奏情報が示す伴奏の和音に合うように、前記メロディ情報が示すメロディの１拍の音高を調整し、
前記伴奏情報と調整された前記メロディ情報とを合成して曲情報を生成し、
生成された曲情報を出力する、処理を実行させ、
前記音高の調整では、前記メロディの１拍を構成する音が同時刻に置かれた伴奏の和音を構成する音以外の音である場合、当該音の音高を、当該伴奏の和音を構成する音のうち最も近い音の音高に移動させる、
音楽生成プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、入力データに基づいて音楽を自動生成する技術に関するものである。

【背景技術】

【0002】

特許文献１は、車両の外部環境センサの出力信号に基づき「曲」を生成し、障害物センサの出力信号に基づき「効果音」を生成し、両センサのうち少なくとも一方のセンサからの出力信号の変化に応じて、生成された「曲」及び「効果音」を変化させて、障害物による危険度に対応した音楽を作成する技術を開示する。

【0003】

特許文献２は、環境検出センサの出力信号又は対象検出センサの出力信号に基づいて曲を示す音楽データを生成し、車両の危険性に応じて、曲のスケール、和音、タイミング、及びテンポを変化させる技術を開示する。

【先行技術文献】

【特許文献】

【0004】

【文献】特許第６５７５１０１号公報

【文献】特許第６３９８９６０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１、２の技術では、入力データに対する追従性と音楽の情緒性とのバランスが図られていないため、さらなる改善の必要がある。ここで、入力データに対する追従性とは、例えば入力データの傾向変化を反映して音楽の曲調を変化させる等、入力データの変化に対して音楽が追従していくことを意味する。

【0006】

本開示は、このような課題を解決するためになされたものであり、入力データに対する追従性と情緒性とのバランスが図られた音楽を生成することを目的とする。

【課題を解決するための手段】

【0007】

本開示の一態様における音楽生成装置は、音楽を生成する音楽生成装置であって、第１ストリームデータ及び前記第１ストリームデータとは異なる第２ストリームデータを取得する取得部と、前記第１ストリームデータの変化に基づいて伴奏を示す音楽データである伴奏情報を生成する伴奏生成部と、前記第２ストリームデータの変化に基づいて、メロディを示す音楽データであるメロディ情報を生成するメロディ生成部と、生成された前記伴奏情報が示す伴奏の調に合わせて、前記メロディ情報を調整するメロディ調整部と、前記伴奏情報と調整された前記メロディ情報とを合成して曲情報を生成する音楽合成部と、生成された曲情報を出力する出力部と、を備える。

【発明の効果】

【0008】

本開示によれば、入力データに対する追従性と情緒性とのバランスが図られた音楽を生成することができる。

【図面の簡単な説明】

【0009】

【図1】本開示の実施の形態１における音楽生成装置の構成の一例を示すブロック図である。

【図2A】メロディの上昇または下降を決定する決定関数の仕組みを示す図である。

【図2B】メロディの上昇または下降を決定する決定関数の仕組みを示す図である。

【図2C】メロディの上昇または下降を決定する決定関数の仕組みを示す図である。

【図3A】メロディのリズムを決定する決定関数の仕組みを示す図である。

【図3B】メロディのリズムを決定する決定関数の仕組みを示す図である。

【図3C】メロディのリズムを決定する決定関数の仕組みを示す図である。

【図4A】メロディ音を操作してメロディのリズム変化させる仕組みを示す図である。

【図4B】メロディ音を操作してメロディのリズム変化させる仕組みを示す図である。

【図5A】メロディの和音の使用の有無を決定する決定関数の仕組みを示す図である。

【図5B】メロディの和音の使用の有無を決定する決定関数の仕組みを示す図である。

【図6】本開示の実施の形態１における音楽生成装置の処理の一例を示すフローチャートである。

【図7A】本開示の実施の形態２における音楽生成装置の構成の一例を示すブロック図である。

【図7B】レベルに応じた決定関数を纏めた表である。

【図8】本開示の実施の形態３における音楽生成装置の構成の一例を示すブロック図である。

【図9A】各メロディの設定状況を示した表である。

【図9B】図９Ａの表の設定状況を示した表である。

【図10】本開示の実施の形態３における音楽生成装置の処理の一例を示すフローチャートである。

【図11】本開示の実施の形態４に係る音楽生成システムの全体構成の一例を示す図である。

【発明を実施するための形態】

【0010】

（本開示の基礎となる知見）
視覚を用いて情報の状態又は変化を伝達する手法は世の中で広く用いられている。グラフや表がその代表例である。視覚を用いた情報表現は、定量性及び正確性に富むという長所を持つ一方、表現された記号や文字を注視して、それを逐次解釈しなければ意味を理解できない、という弱点もある。また、視覚を用いた情報表現は、その情報を伝えたい相手の視野にその情報が入らない場合には、その情報が相手に伝わらない、という欠点もある。

【0011】

一方、聴覚を利用した情報表現は、視覚による情報表現と比較すると、これまでその応用は限定されていた。聴覚を利用した情報表現の多くは、ブザー音などによる「警告」のレベルにとどまっており、伝達される情報量は非常に少ない。しかし、聴覚による情報表現は、集中していなくても情報の概要を理解できる、多人数且つ広範囲に情報が伝わる、などの視覚による情報表現にはない長所がある。その一方、定量性に欠けるという短所がある。

【0012】

聴覚を利用した情報表現は、「合図」、「言語」、「音楽」の３つに分類されると言われる（大橋力、「音と文明－音の環境学ことはじめ」、岩波書店、２００３年１０月２８日）。

【0013】

「合図」は何らかの状態変化を単発の音（ブザー音など）で表現したものである。「合図」では、音色を変える、音を連続的に鳴らす、などのバリエーションで複数種の情報を表現する工夫がなされているが、基本的にはその情報表現能力は低く、シンプルなメッセージしか伝えられない。

【0014】

「言語」はヒトの話し言葉である。「言語」は、音声で符号化された言語情報であるので、非常にリッチな情報表現能力を持っている。

【0015】

「音楽」は前者２つとは異なり、音の高低、リズム、及び和音などの技法により、楽音で感情や雰囲気などの「情緒」を表現することができる芸術的な情報表現手段である。

【0016】

情報システムのユーザーインターフェイス（出力インターフェイス）においては、従来、視覚では対応できない場合、又は視覚を補完する目的で、様々な聴覚インターフェイスが実現されてきた。イベントの発生を知らせるブザー音（合図の一種）、ｔｅｘｔ－ｔｏ－ｓｐｅｅｃｈ、音声応答の音声合成メッセージ（言語の一種）などの例がある。

【0017】

しかし、これらの聴覚インターフェイスは、周囲に流れている音との音響的調和が考慮されておらず、また多くの場合は突然に発音されるため、感性的に優れたユーザーインターフェイスとは言えない。

【0018】

このような聴覚インターフェイスの欠点に対して、「音楽」を用いて、情緒を表現しながら情報を伝達するという手法で改善することが考えられる。

【0019】

例えば、ある状況において、その状況の持つ雰囲気を表すような音楽が音響的な背景(バックグラウンド音楽)として流れている状態において、伝達したい情報をバックグラウンド音楽とは別の音楽（フォアグラウンド音楽）に変換して、それをバックグラウンド音楽と音楽的に整合、合体させて演奏する、という手法が考えられる。

【0020】

すなわち、バックグラウンド音楽としてゆったりとした音楽（いわゆるＢＧＭ音楽）が流れている中で、注意を払うべき情報に変化があったときにはそれに対応するフォアグラウンド音楽を変動させることにより、注意を払うべき情報の変化を音楽の変化で伝える、という手法である。

【0021】

ここで、バックグラウンド音楽は、比較的長いサイクルで変動する音楽であり、ヒーリング音楽などの特にテーマや方向性の無い音楽であってもよいが、季節、時刻、天候、気温、周囲の状況などを反映した音楽のほうがより感性的にふさわしくなる。

【0022】

一方、フォアグラウンド音楽は、注意を払うべき情報に変化があったときには、その変化量に応じて即座に音の流れが変化する音楽である。すなわち、フォアグラウンド音楽はデータの変化に対する追従性が高い。

【0023】

ここで言う「バックグランド音楽」及び「フォアグラウンド音楽」は、１つの音楽として合体して演奏されるものであり、一般的にはそれぞれ「伴奏」及び「メロディ（または旋律）」と呼ばれることが多い。以下ではそれぞれを伴奏、メロディと呼ぶ。

【0024】

このような伴奏とメロディを組み合わせた音楽を用いることにより、入力データに対する追従性と音楽の情緒性との良いバランスを保ったまま、周囲の環境変化を聴覚によって伝達することができる、との知見が得られた。

【0025】

上述の特許文献１、２は、いずれも、車両に設けられたセンサからの出力信号に基づいて音楽を変化させる技術であり、危険性に応じてバックグラウンド音楽（伴奏）とフォアグラウンド音楽（メロディ）との変更は行われていない。そのため、特許文献１、２は、入力データに対する追従性と音楽の情緒性とのバランスを保つことができる音楽を生成することはできない。

【0026】

本開示は、このような知見に基づいてなされたものである。

【0027】

本開示の一態様における音楽生成装置は、音楽を生成する音楽生成装置であって、第１ストリームデータ及び前記第１ストリームデータとは異なる第２ストリームデータを取得する取得部と、前記第１ストリームデータの変化に基づいて伴奏を示す音楽データである伴奏情報を生成する伴奏生成部と、前記第２ストリームデータの変化に基づいて、メロディを示す音楽データであるメロディ情報を生成するメロディ生成部と、生成された前記伴奏情報が示す伴奏の調に合わせて、前記メロディ情報を調整するメロディ調整部と、前記伴奏情報と調整された前記メロディ情報とを合成して曲情報を生成する音楽合成部と、生成された曲情報を出力する出力部と、を備える。

【0028】

この構成によれば、第２ストリームデータの変化に基づいて生成されたメロディ情報の示すメロディが、第１ストリームデータの変化に基づいて生成された伴奏情報の示す伴奏の調に合わせて調整され、伴奏情報と調整されたメロディ情報とが合成され、曲を示す曲情報が生成され、当該曲情報が出力される。これにより、入力データに対する追従性と音楽の情緒性とのバランスを保つことができる音楽を生成することができる。

【0029】

上記音楽生成装置において、前記第２ストリームデータは、複数のストリームデータを含み、前記メロディ生成部は、各ストリームデータの変化に基づいて複数のメロディを示す前記メロディ情報を生成してもよい。

【0030】

この構成によれば、第２ストリームデータは複数のストリームデータを含み、各ストリームデータの変化に基づいて複数のメロディを示すメロディ情報が生成されているので、より追従性と情緒性とに富んだ音楽を生成できる。

【0031】

上記音楽生成装置において、前記伴奏生成部は、小節単位で前記伴奏情報を生成し、前記メロディ生成部は、拍単位で前記メロディ情報を生成してもよい。

【0032】

この構成によれば、伴奏情報は小節単位で生成され、メロディ情報は拍単位で生成されているため、追従性と情緒性とのバランスをより確実に図ることができる。

【0033】

上記音楽生成装置において、前記メロディ生成部は、前記第２ストリームデータの変化に基づいて、前記メロディの上昇又は下降、リズム、和音、音量、及び楽器の少なくとも一つを変化させてもよい。

【0034】

この構成によれば、第２ストリームデータの変化に基づいて、メロディの上昇、下降、リズム、和音、音量、及び楽器音の少なくとも一つが変化されるため、より追従性の高い音楽を生成できる。

【0035】

上記音楽生成装置において、前記メロディ生成部は、前記第２ストリームデータの変化量が所定の閾値より大きい場合、前記変化量に基づいて前記メロディの上昇又は下降の傾きを変化させ、前記変化量が所定の閾値より小さい場合、前記メロディの上昇又は下降の傾きを変化させなくてもよい。

【0036】

この構成によれば、第２ストリームデータの変化が大きい場合はメロディを急峻に上昇又は下降させ、第２ストリームデータの変化が小さい場合はメロディの流れを変化させないため、第２ストリームデータの変化に対してより追従性の高いメロディを生成することができる。

【0037】

上記音楽生成装置において、前記メロディ生成部は、前記第２ストリームデータの変化量が所定の閾値より大きい場合、前記メロディの１拍を複数の音符で表される音で構成し、前記変化量が所定の閾値よりも小さい場合、前記メロディの１拍を１つの音符で表される音で構成してリズムを表現してもよい。

【0038】

この構成によれば、第２ストリームデータの変化が大きい場合はメロディの１拍が複数の音符で表される音で構成され、第２ストリームデータの変化が小さい場合はメロディの１拍が１つの音符で表される音のみで構成される。そのため、第２ストリームデータの変化に応じたリズムの変化を持った躍動感を有するメロディを生成することができる。

【0039】

上記音楽生成装置において、前記メロディの１拍を構成する複数の音符の少なくとも１つは休符であってもよい。

【0040】

この構成によれば、１拍に割り当てられた複数の音符で表される音のうち少なくとも１つの音が休符で構成されるため、より躍動感のあるメロディを生成することができる。

【0041】

上記音楽生成装置において、前記メロディ生成部は、前記第２ストリームデータの変化量が所定の閾値より大きい場合、前記メロディの１拍を和音を含む音で構成し、前記第２ストリームデータの変化量が所定の閾値よりも小さい場合、前記メロディの１拍を単音で構成してもよい。

【0042】

この構成によれば、第２ストリームデータの変化が大きい場合はメロディの１拍が和音を含む音で構成され、第２ストリームデータの変化が小さい場合はメロディの１拍が単音のみで構成される。そのため、第２ストリームデータの変化に応じた躍動感を有するメロディを生成することができる。

【0043】

上記音楽生成装置において、前記メロディ生成部は、前記第２ストリームデータの変化量が所定の閾値より大きい場合、前記メロディの音量が第１音量に設定され、前記第２ストリームデータの変化量が所定の閾値よりも小さい場合、前記メロディの音量が前記第１音量よりも小さい第２音量に設定されてもよい。

【0044】

この構成によれば、第２ストリームデータの変化が大きい場合はメロディの音量が第１音量に設定され、第２ストリームデータの変化が小さい場合はメロディの音量が第１音量よりも小さい第２音量に設定される。そのため、第２ストリームデータの変化に応じてメロディの音量を制御することができる。

【0045】

上記音楽生成装置において、前記メロディ生成部は、前記メロディの上昇又は下降、前記リズム、及び前記和音は、拍単位で変化させ、前記音量は小節単位で変化させ、前記楽器は曲単位又は小節単位で変化させてもよい。

【0046】

この構成によれば、メロディの上昇又は下降、リズム、及び和音は、拍単位で変化され、音量は小節単位で変化され、楽器は曲単位又は小節単位で変化されるため、違和感のないメロディを生成することができる。

【0047】

上記音楽生成装置において、前記メロディ調整部は、前記メロディの１拍を構成する複数の音のうち、前記伴奏が有する調に含まれない音については、当該音の音高を、前記調の和音のうち最も近い音の音高に移動させてもよい。

【0048】

この構成によれば、メロディの１拍を構成する複数の音のうち、伴奏が有する調に含まれない音については、当該音の音高が、調の和音のうち最も近い音の音高に移動されるため、調和のとれたメロディを生成することができる。

【0049】

上記音楽生成装置において、前記メロディの激しさを示す複数のレベルに応じた複数の決定関数をさらに備え、各レベルは、前記第２ストリームデータの変化量を区画する複数のバンドを備え、各決定関数は、前記複数のバンドのそれぞれに対応する前記メロディの設定内容を規定する関数であり、前記メロディ生成部は、前記複数のレベルの中からいずれかのレベルに対応する決定関数を設定し、設定された前記決定関数の設定内容に基づいて前記メロディを生成してもよい。

【0050】

この構成によれば、メロディの激しさを示す複数のレベルの中からいずれかのレベルに対応する決定関数が設定され、設定された決定関数が区画する複数のバンドのうち、第２ストリームデータの変化量に応じたバンドを決定し、決定したバンドの設定内容に基づいてメロディが生成される。そのため、レベルを選択することにより生成されるメロディの激しさを制御できる。

【0051】

上記音楽生成装置において、前記決定関数が規定するメロディの設定内容は、前記メロディの上昇又は下降の傾き、１拍のリズム、及び１拍に含ませる和音の確率、の少なくとも１つを含んでもよい。

【0052】

この構成によれば、メロディの上昇又は下降の傾き、１拍のリズム、及び１拍に含ませる和音の確率の少なくとも１つを設定されるので、第２ストリームデータの変化量に応じて、メロディの華やかさを変更できる。

【0053】

上記音楽生成装置において、複数のメロディのそれぞれについて鳴らす又は鳴らさないかの条件を予め規定する発火条件をさらに備え、前記メロディ生成部は、前記発火条件を満足する１以上のメロディを前記メロディ情報に含ませてもよい。

【0054】

この構成によれば、発火条件に応じて鳴るメロディの数を変更できる。

【0055】

上記音楽生成装置において、前記発火条件は、第２ストリームデータの変化量がある閾値を越えた場合、設定した時間条件を満足した場合、設定したイベントが発生した場合のいずれかを含んでもよい。

【0056】

この構成によれば、第２ストリームデータの変化量、設定した時間条件、設定したイベントの発生のいずれかの条件に応じて複数のメロディのそれぞれを鳴らしたり鳴らさなかったりすることができる。

【0057】

本開示の別の一態様における音楽生成方法は、音楽を生成する音楽生成装置における音楽生成方法であって、前記音楽生成装置のプロセッサが、第１ストリームデータ及び前記第１ストリームデータとは異なる第２ストリームデータを取得し、前記第１ストリームデータの変化に基づいて伴奏を示す音楽データである伴奏情報を生成し、前記第２ストリームデータの変化に基づいて、メロディを示す音楽データであるメロディ情報を生成し、生成された前記伴奏情報が示す伴奏の調に合わせて、前記メロディ情報を調整し、前記伴奏情報と調整された前記メロディ情報とを合成して曲情報を生成し、生成された曲情報を出力する。

【0058】

この構成によれば、上記音楽生成装置と同様の効果が得られる音楽生成方法を提供できる。

【0059】

本開示のさらに別の一態様における音楽生成プログラムは、音楽を生成する音楽生成装置における音楽生成プログラムであって、前記音楽生成装置のプロセッサに、第１ストリームデータ及び前記第１ストリームデータとは異なる第２ストリームデータを取得し、前記第１ストリームデータの変化に基づいて伴奏を示す音楽データである伴奏情報を生成し、前記第２ストリームデータの変化に基づいて、メロディを示す音楽データであるメロディ情報を生成し、生成された前記伴奏情報が示す伴奏の調に合わせて、前記メロディ情報を調整し、前記伴奏情報と調整された前記メロディ情報とを合成して曲情報を生成し、生成された曲情報を出力する、処理を実行させる。

【0060】

この構成によれば、上記音楽生成装置と同様の効果が得られる音楽生成プログラムを提供できる。

【0061】

本開示は、このような音楽生成プログラムによって動作する音楽生成システムとして実現することもできる。また、このような音楽生成プログラムを、ＣＤ－ＲＯＭ等のコンピュータ読取可能な非一時的な記録媒体あるいはインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。

【0062】

なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また全ての実施の形態において、各々の内容を組み合わせることもできる。

【0063】

（実施の形態１）
図１は、本開示の実施の形態１における音楽生成装置１の構成の一例を示すブロック図である。音楽生成装置１は、センサ１１、メモリ１２、スピーカ１３、操作部１５、及びプロセッサ１４を含む。これらの構成要素は、バスラインを介して相互に接続されている。

【0064】

センサ１１は、音楽生成装置１の周辺の環境情報を所定のサンプリングレートで時系列に検知する１つまたは複数のセンサである。センサ１１は、例えばイメージセンサ、温度センサ、及び位置センサ等である。センサ１１が検知したセンシングデータは所定のサンプリングレートでプロセッサ１４に入力される。

【0065】

メモリ１２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、及びフラッシュメモリ等の記憶装置で構成される。メモリ１２は、例えばコンピュータを音楽生成装置１として機能させる音楽生成プログラム及びプロセッサが種々の種処理を行うために必要なデータを予め記憶する。

【0066】

スピーカ１３は、音の波形データを音に変換するデバイスである。スピーカ１３は、例えば、出力部１４６が出力する曲情報が示す音の波形データを音に変換して外部に出力する。これにより、音楽生成装置１の周囲の人物に曲情報が示す曲を聴かせることができる。

【0067】

操作部１５は、ディスプレイなどの出力装置とキーボード及びマウス等の入力装置で構成され、ユーザから決定関数の選択指示を受け付ける。

【0068】

プロセッサ１４は、例えば中央演算処理装置で構成され、取得部１４１、伴奏生成部１４２、メロディ生成部１４３、メロディ調整部１４４、音楽合成部１４５、出力部１４６、及び決定関数設定部１４７を含む。これらの構成要素は、プロセッサ１４が音楽生成プログラムを実行することで実現される。但し、これは一例であり、プロセッサ１４が備える各ブロックは専用の半導体回路で構成されてもよい。

【0069】

取得部１４１は、センサ１１により生成されたセンシングデータを入力データとして取得する。入力データは、第１ストリームデータ及び第１ストリームデータとは異なる第２ストリームデータを含む。ここで、入力データは、経時的に変化する、いわゆるストリームデータである。例えば、入力データは、イメージセンサが音楽生成装置１の周囲の環境を所定のフレームレートで撮影することで得られる動画データ列であってもよいし、温度センサにより所定のサンプリングレートで時系列に検知される温度データ列であってもよいし、位置センサにより所定のサンプリングレートで時系列に検知される位置データ列であってもよい。取得部１４１は、入力データから第１ストリームデータと第２ストリームデータを生成して、それぞれを伴奏生成部１４２とメロディ生成部１４３に入力する。例えば、取得部１４１は、入力データが動画データ列の場合、動画データ列をそのまま第１ストリームデータとして伴奏生成部１４２に入力すればよい。また、取得部１４１は、例えば動画データ列から各画像フレームに含まれる物体を抽出し、抽出した物体を示す物体情報のデータ列を第２ストリームデータとしてメロディ生成部１４３に入力すればよい。

【0070】

入力データは、複数のストリームデータを多重化したものであってもよい。この場合、取得部１４１は、多重化されたストリームデータを、必要に応じて分離して個別のストリームデータとして処理してもよい。例えば、入力データとして動画データ列と、その動画を構成する画像データ列を外部で処理して生成された物体情報のデータ列とが多重化されたストリームデータとして取り込まれた場合、取得部１４１は、ストリームデータを分離して、動画データ列を第１ストリームデータとして伴奏生成部１４２に入力し、物体情報のデータ列を第２ストリームデータとしてメロディ生成部１４３に入力する。

【0071】

なお、取得部１４１が取得するデータは、センサ１１から入力されるセンシングデータに代えて、ファイルに記録されたデータ（例えば動画ファイル）のデータであってもよい。この場合、取得部１４１は、メモリ１２に記録されたファイルを入力データとして取得してもよいし、インターネット等のネットワークを介して取得したファイルを入力データとして取得してもよい。さらに、入力データは、外界の環境変化に関するデータ以外のデータであってもよい。例えば、入力データは、株価など経時的に変化するデータ列であってもよい。

【0072】

伴奏生成部１４２は、第１ストリームデータの変化に基づいて、伴奏を示す音楽データである伴奏情報を生成する。ここでは、第１ストリームデータは動画データ列であるものとして説明する。音楽データは、音楽を構成する複数の音について、発音のタイミング、音の高さ、強さ、長さ、及び楽器等の音楽の演奏情報をプロセッサ１４が認識可能に表された記号情報である。たとえば、音楽データはｍｉｄｉ形式の情報である。

【0073】

伴奏は、小節の単位で生成することが好ましい。これは、伴奏を小節よりも短い単位で生成すると、不安定且つ不快な音楽になる傾向があるからである。

【0074】

伴奏生成部１４２は、小節単位で伴奏情報を生成する。この小節単位は、１小節であってもよいし、２小節あるいは４小節というように１小節より長い小節数であってもよく、表現する音楽の目的及び入力データの性質に応じて小節単位を設定すればよい。例えば、人の流れや街の騒音など変動周期の比較的短い入力データを使って、ある程度変化のある伴奏を生成する場合、伴奏生成部１４２は、１小節単位で伴奏情報を生成すればよい。一方、雲の流れや外気温の変化などの変動周期の長い入力データから、変化の少ない安定した伴奏を生成する場合、伴奏生成部１４２は、４小節又は８小節等の小節単位で伴奏情報を生成させてもよい。

【0075】

伴奏生成部１４２は、入力される第１ストリームデータ（動画データ列）を小節単位（例えば１小節）の時間間隔でサンプリングして、サンプリングした画像フレームに含まれる画素の色及び明るさの分布からその時間間隔に相当する長さの伴奏情報を生成すればよい。伴奏生成部１４２は、例えば、特許第６０５８１９２号公報及び特開２０１７－２１９６９９号公報に開示された音楽自動生成アルゴリズムを用いて伴奏情報を生成してもよい。この音楽自動生成アルゴリズムは、音の高さに対応する縦軸及び音の進行時間に対応する横軸で画像を格子状のブロックに分割し、各ブロックの代表色を決定し、複数の色属性値の範囲及び複数の音源名称に対応付けられた色名の中から、各ブロックの代表色に対応する色名を決定し、色名が決定された各ブロックを所定の基準で選別することで図形楽譜を生成するアルゴリズムである。例えば、このアルゴリズムでは、図形楽譜を示す画像が全体的に明るければ長調、画像が全体的に暗ければ短調というように調が決定され、図形楽譜の各列の音が和音になるようにブロックを再配列して和音が決定され、ブロックの明度に比例させて音の強弱が決定される。但し、これは一例であり、伴奏生成部１４２は、この自動生成アルゴリズム以外の種々の音楽の自動生成アルゴリズムを用いて伴奏を生成してもよい。

【0076】

なお、生成される伴奏情報には、例えば、ｍｉｄｉなどの発音情報とともに、各拍のキー（調）の情報が含まれる。このキー情報はメロディ情報の生成に利用される。

【0077】

以上が伴奏生成部１４２の説明である。

【0078】

メロディ生成部１４３は、第２ストリームデータの変化に基づいて、メロディを示す音楽データであるメロディ情報を生成する。

【0079】

ここでは、第２ストリームデータは、入力された動画データ列に含まれる物体の個数のデータ列であるとして説明する。

【0080】

メロディは、入力データの変化への高い追従性が要求される。そこで、メロディ生成部１４３は、基本的に１拍ごとにメロディを構成する音を生成する。ここではメロディの１拍を構成する１つまたは複数の音を「メロディ音」と呼ぶ。

【0081】

メロディ生成部１４３は、入力される第２ストリームデータ（物体の個数のデータ列）を１拍の時間間隔でサンプリングして、１拍分のメロディ情報を生成すればよい。

【0082】

例えば、４分の４拍子、テンポが１２０ＢＰＭのメロディを生成する場合、メロディ生成部１４３は、１拍の時間幅に当たる０．５秒ごとに第２ストリームデータをサンプリングして１つのメロディ音を生成する。テンポが速いときはサンプリング間隔が短くなり、テンポが遅いときはサンプリング間隔が長くなる。このようなメロディ音を入力データの流れに応じて連続して生成することにより、１つのメロディができる。

【0083】

メロディ生成部１４３は、第２ストリームデータの変化をメロディ情報に変換するために、以下の音楽要素を用いることができる。

【0084】

（上昇又は下降）
入力データが大きく変化するときはメロディの流れが上下に大きく激しく変化し、入力データの変化が少ないときはメロディはゆったりと流れるようにすることで入力データの変化の度合いを表現する。そのためにメロディ生成部１４３は、第２ストリームデータの変化に応じて、メロディ音の音高を音階の上昇方向又は下降方向に変化させるか、或いは、変化させずに同じ音高に維持するかを決定する。さらに、メロディ生成部１４３は、メロディを上昇又は下降させる場合、上昇又は下降の傾きをどれだけ急峻にするか、或いはどれだけなだらかにするかを決定する。

【0085】

例えば、第２ストリームデータの変化量が所定の閾値より大きい時、メロディ生成部１４３は、変化量に比例した値に当該傾きを決定する。一方、第２ストリームデータの変化量が所定の閾値より小さい時、メロディ生成部１４３は、メロディ音の音高を同じに決定する。また、メロディ生成部１４３は、第２ストリームデータの変化が増加方向の時は傾きを正として音高を上昇させ、減少方向の時は傾きを負として下降させるというように、メロディの流れを直観に合うように決定してもよい。但し、これは一例であり、これとは異なる決定をしてもよい。また、メロディ生成部１４３は、第２ストリームデータの変化量に基づいてメロディの上昇又は下降の傾きを段階的に変化させてもよい。

【0086】

（リズム）
リズムは「サンバのリズム」等のように曲全体を通しての音の並びの特徴を言うことが多いが、本実施の形態ではリズムは局所的な１拍の中での「音の長さの並び」のことを言う。

【0087】

入力データが大きく変化するときはメロディ音のリズムが多彩に変化し、入力データの変化が少ないときはメロディ音のリズムは変化しないようにすることで入力データの変化の度合いを表現する。そのためにメロディ生成部１４３は、第２ストリームデータの変化量によってメロディ音を構成する音符及び休符の組み合わせを決定する。メロディが４分の４拍子の場合、例えば、メロディ生成部１４３は、第２ストリームデータの変化量が所定の閾値よりも小さい時は、メロディ音を１個の４分音符で鳴らす。一方、第２ストリームデータの変化量が所定の閾値より大きい時は、８分音符、１６分音符、及び休符などの組み合わせでメロディ音を鳴らす。例えば、「１拍＝８分音符＋１６文音符＋１６分音符」、或いは「１拍＝１６分音符＋１６分休符＋１６文音符＋１６分音符」などというようにする。

【0088】

このようにすることで、第２ストリームデータの変化が少ない時はメロディはゆっくりしたリズムになる。特に、第２ストリームデータの変化が少ない時は上述の上昇又は下降の項目で述べたようにメロディ音は同じ音高が続く確率が高くなるので、メロディ生成部１４３は、音高が同じ音符が連続する時は音楽の演奏手法におけるタイを適用して、それらの音符を連結してより長い音符にしてもよい。これにより、第２ストリームデータの変化が微少な時は、メロディ生成部１４３は、ゆっくりした長い単音でメロディを構成することができる。一方、第２ストリームデータの変化が大きい時は、メロディ音が短い音符及び休符の組み合わせとなり、メロディは躍動感のあるリズムになる。またこの場合、メロディ生成部１４３は、メロディ音を構成する音の音高をすべて同じにする必要はなく、ある程度の範囲内で上下させてもよい。これにより、より躍動的なメロディを生成することができる。さらにこの場合、メロディ生成部１４３は、音高の上下の有無及び上下の幅を、ランダム関数で決定してもよい。また、メロディ生成部１４３は、ランダム関数に代えて、音高の上下の有無及び上下の幅を入力データの変化の過去の履歴に基づいて決定してもよい。

【0089】

（和音）
入力データが大きく変化するときはメロディ音を和音で鳴らし、入力データの変化が少ないときはメロディ音を単音で鳴らすようにすることで入力データの変化の度合いを表現する。

【0090】

和音としては、１度、３度、及び５度の音からなる３和音、或いは、１度、３度、５度、７度の音からなる４和音がある。

【0091】

一般に音を単音で鳴らす場合に比べて、和音で鳴らすほうが華やかに聴こえる。その特性を利用して、メロディ生成部１４３は、第２ストリームデータの変化量が所定の閾値より小さい時はメロディ音を単音で構成しておとなしい表現にする。一方、メロディ生成部１４３は、第２ストリームデータの変化量が所定の閾値よりも大きい時はメロディ音を和音で構成して躍動的に表現する。

【0092】

これと前述のリズムの項目で述べた処理を合わせることにより、メロディ生成部１４３は、例えば１拍を「８分音符単音＋１６文音符和音＋１６分音符単音」等のように和音と単音の組み合わせにすることにより、単音だけの組み合わせよりも躍動感の大きいメロディの表現が可能となる。

【0093】

（音量）
入力データが大きく変化するときはメロディの音量を大きくして目立たせ、入力データの変化が少ないときはメロディの音量を小さくして控えめにすることで入力データの変化の度合いを表現する。単純には、メロディ生成部１４３は、第２ストリームデータの変化量が所定の閾値よりも小さい時はメロディ音の音量を小さく設定し、第２ストリームデータの変化量が所定の閾値よりも大きい時はメロディ音の音量を大きく設定すればよい。しかし、こうすると音量が拍ごとにふらついて、非常に不安的に聞こえるメロディが生成されるおそれがある。そこで、メロディ生成部１４３は、よりマクロな単位（例えば１小節単位）で第２ストリームデータの変化量を算出し、算出結果に基づいてその小節全体の音量を決定してもよい。マクロな単位の第２ストリームデータの変化量は、例えばマクロな単位における第２ストリームデータの変化量の平均値が採用できる。

【0094】

（楽器）
メロディを鳴らす楽器により、メロディの表情が大きく変わる。ここで言う楽器は、人が演奏する楽器のみならず、シンセサイザーの合成音、あるいは鳥の鳴き声などの予めサンプリングされた環境音（効果音）を含む。

【0095】

メロディのリズム及び和音は拍ごとに変動するが、１つのメロディに割り当てられた楽器は曲の最初から最後まで変わらない、あるいは数小節にわたって変わらないことが普通である。このように、メロディの楽器の選択は入力データとは無関係にアプリオリに決める必要がある。

【0096】

例えば、主要な入力データに対してはピアノなどの変化を追いやすいはっきりした音色を持った楽器を割り当て、副次的な入力データに対してはストリングス系のなだらかな音色の楽器を割り当て、入力データの単発的な変化を強調したい時はベルやドラムなどの楽器を割り当てればよい。

【0097】

以上が入力データの変化をメロディ情報に変換するために使用する音楽要素の説明である。

【0098】

さて、メロディを使って入力データの変化を表現する目的又は局面によっては、入力データの変化が同程度であっても、変化量に敏感に反応して大きく躍動的に変化するメロディが望ましい場合がある。逆に、入力データの多少の変化には反応せず、ゆったりとなだらかに変化するメロディが望ましい場合もある。

【0099】

そこで、メロディ生成部１４３は、メロディの音楽要素のうち、上昇又は下降、リズム、及び和音を、「決定関数」を用いて決定してもよい。

【0100】

この決定関数は、入力に第２ストリームデータの変化量を取り、出力が単調に増加する階段関数（ステップ関数）である。この階段関数においては、入力値がある閾値から次の閾値の間は同じ出力値になる。

【0101】

決定関数において、段階を定める区間の閾値範囲と、段階に応じた傾き（出力増分値）とを変化させることにより、第２ストリームデータの変化に対するメロディの音楽要素の敏感さを制御することができる。

【0102】

以下、メロディの上昇又は下降の場合を例に挙げて説明する。図２Ａ、図２Ｂ、図２Ｃは、メロディの上昇または下降を決定する決定関数の仕組みを示す図である。

【0103】

図２Ａは、第２ストリームデータの変化量（入力）が「０～２０（区間の下限の閾値が０、上限の閾値が２０）」のとき、上昇の傾きを「０（同じ音高を保つ）」に設定し、「２１～５０」のとき、傾きを「１（１度音程が上がる）」に設定し、「５１～１００」のとき、傾きを「２（２度音程が上がる）」とする決定関数の例である。ここで、第２ストリームデータの変化量は、最大変化量を「１００」としたときの相対値とする。

【0104】

図２Ｂは、図２Ａと同じ区間の設定のままで、それぞれの傾きを変えた決定関数の例である。具体的には、第２ストリームデータの変化量（入力）が「０～２０」のとき傾きを「１」、「２１～５０」のとき傾きを「２」、「５１～１００」のとき傾きを「３」、に設定するようなケースである。図２Ｂの決定関数を用いると、図２Ａの場合よりもより急峻に音高が上下するメロディになる可能性が高くなる。

【0105】

図２Ｃは、図２Ａと同じ傾きの設定のままで、区間の設定を変えた決定関数の例である。具体的には、第２ストリームデータの変化量（入力）が「０～４０」のとき傾きを「０」、「４１～７０」のとき傾きを「１」、「７１～１００」のとき傾きを「２」、に設定するようなケースである。図２Ｃの決定関数を用いると、図２Ａの場合よりも第２ストリームデータの変化量に対してより鈍感になり、メロディの上昇又は下降はゆったりとしたものになりやすくなる。

【0106】

決定関数設定部１４７は、予め定められた決定関数の選択肢リストを持ち、例えば、操作部１５のディスプレイに選択肢を表示する。そして、ユーザがマウスなどで適切なものを選択すると、決定関数設定部１４７はメロディ生成部１４３にその決定関数を設定する。また、ユーザが選択する以外の方法として、例えば、選択肢リストの中で使用する決定関数を表すインデックスを入力データに多重化しておいて、取得部１４１がストリームデータを分離するときに決定関数のインデックスを感知して、取得部１４１が決定関数設定部１４７にその旨を通知し、決定関数設定部１４７は保持している決定関数の選択肢リストからインデックスに対応した決定関数を取り出し、メロディ生成部１４３にその決定関数を設定する、などというようにしてもよい。

【0107】

決定関数設定部１４７によりメロディ生成部１４３にメロディの上昇又は下降の決定関数が設定されると、メロディ生成部１４３は入力データから決定関数に応じた傾きを持ったメロディの上昇または下降を生成する。

【0108】

メロディのリズムも決定関数を変えることで変化する。図３Ａは、メロディのリズムを決定する決定関数の仕組みを示す図である。

【0109】

図３Ａは、第２ストリームデータの変化量（入力）が「０～２０」のときはメロディ音の構成を「４分音符」に設定し、「２１～５０」のときは「８分音符＋８分音符」に設定し、「５１～１００」のときは「８分音符＋１６分音符＋１６分音符」とする決定関数の例である。このとき、よりリズムの変化を大きくするために、メロディ音の構成に休符を加えてもよい。例えば、図３Ｂは、「８分音符＋１６分音符＋１６分音符」のパターンに加えて、第２ストリームデータの変化量が「８１～１００」のとき、「８分音符＋１６分休符＋１６分音符」とする決定関数の例である。これにより、メロディは入力データの変化が大きくなると、図３Ａに比べてさらに躍動感の増したリズムになる。

【0110】

また、メロディ音の構成がランダムに変わるような決定関数であってもよい。例えば、図３Ｃは、図３Ａの決定関数と似ているが、第２ストリームデータの変化量が「２１～５０」のときは「８分音符＋８分音符」あるいは「８分音符＋８分休符」あるいは「８分休符＋８分音符」のいずれかにランダムに決まり、「５１～１００」のときは「８分音符＋１６分音符＋１６分音符」あるいは「８分音符＋１６分休符＋１６分音符」あるいは「８分音符＋１６分音符＋１６分休符」のいずれかにランダムに決まる決定関数の例である。なお、このランダムな選択の方法はよく知られたランダム関数などを使って確率的に決定すればよい。このような決定関数を使えば、メロディのリズムのバラエティが広がり、入力データの変化が大きくなると、図３Ａに比べてさらに躍動感の増したリズムになる。

【0111】

決定関数設定部１４７によりメロディ生成部１４３にメロディのリズムの決定関数が設定されると、メロディ生成部１４３は入力データから決定関数に応じた構成のリズムでメロディ音を生成する。

【0112】

また、生成されたメロディ音を構成する音を個別に上げ下げすることで、さらにメロディのリズムに変化を与えることができる。メロディ音が４分音符以外の時には、それを構成する個々の音の音高を数度、上下させると、より躍動感の増したリズムを持ったメロディになる。

【0113】

図４Ａ、図４Ｂは、メロディ音を操作してメロディのリズムを変化させる仕組みを示す図で、ピアノロール形式で１小節分のメロディを表示したものである。例えば、メロディ生成部１４３は、ある決定関数を用いて図４Ａのような１小節のメロディを生成する場合を考える。この１小節のメロディは、１拍目が４分音符の「レ♯」、２拍目が８分音符の「レ♯」が２つ並んだもの、３拍目も８分音符の「レ♯」が２つ、４拍目は４分音符の「ファ♯」、で構成され、比較的ゆったりとした流れである。

【0114】

ここで、図４Ａにおいて、丸で囲んだ２拍目、３拍目に注目する。例えば、２拍目の前半の８分音符の音を５度下げて下のオクターブの「シ」に移動させ、後半の８分音符の音を４度上げてそのオクターブの「ファ♯」に移動させる。そして、３拍目の前半の８分音符の音は変化させずにそのままの「レ♯」、後半の８分音符の音は５度下げて下のオクターブの「シ」に移動させる。すると図４Ｂのように音が跳ねるようなメロディになる。

【0115】

このように、メロディ生成部１４３は生成中のメロディ音が４分音符以外の時には、それを構成する個々の音の音高を数度、上下させる処理を加えることにより、より躍動感の増したリズムを持ったメロディにすることができる。なお、メロディ生成部１４３は、メロディ音を構成する音のうち音高を上下させる音の選択、およびそれぞれの音の音高を上下させる幅を、ランダム関数などを使って確率的に決定してもよい。

【0116】

メロディの和音も決定関数を変えることで変化する。図５Ａは、メロディの和音の使用の有無を決定する決定関数の仕組みを示す図である。

【0117】

図５Ａは、第２ストリームデータの変化量（入力）が「０～２０」のときはメロディ音を和音にする確率を「０％（常に単音）」に設定し、「２１～５０」のときは「１０％」に設定し、「５１～１００」のときは「２０％」とする決定関数の例である。

【0118】

図５Ｂは、第２ストリームデータの変化量（入力）が「０～５０」のときは図５Ａと同じであるが、「５１～８０」のときはメロディ音を和音にする確率を「３０％」に設定し、「８１～１００」のときは「５０％」とする決定関数の例である。

【0119】

図５Ｂの決定関数を用いると、図５Ａの場合よりも第２ストリームデータの変化量が増大するに従ってメロディ音の構成音が和音で鳴る確率が増え、より華やかなメロディになる。

【0120】

決定関数設定部１４７によりメロディ生成部１４３にメロディの和音の決定関数が設定されると、メロディ生成部１４３は入力データから決定関数に応じた確率でメロディ音を和音で発音するメロディを生成する。

【0121】

以上がメロディ生成部１４３の説明である。

【0122】

メロディ調整部１４４は、伴奏生成部１４２により生成された伴奏情報が示す伴奏の調（キー）に合わせて、メロディ生成部１４３により生成されたメロディ情報の調性を調整する。メロディ生成部１４３により生成されたメロディ音を構成するそれぞれの音の音高は、必ずしも伴奏を構成する拍のキー（調）に合致しているとは限らない。その場合、伴奏のキーに合致しない音高でメロディ音が構成されるので不協和音になり、不快な音楽になってしまう。そこで、メロディ調整部１４４は、メロディ生成部１４３により生成されたメロディ音を構成する複数の音のうち、伴奏が有する調に一致しない音については、当該音の音高を調の構成音のうち最も近い構成音の音高に移動させる。

【0123】

具体的には、メロディ調整部１４４は、メロディ生成部１４３により生成されたメロディ音を構成する音の音高が、伴奏を構成する当該拍のキーの根音から１度、３度、及び５度（加えて、４和音を使用している場合は７度）の音程にあればその音高をそのまま採用する。一方、メロディ調整部１４４は、メロディ音の音高が、伴奏を構成する当該拍のキーの根音から１度、３度、及び５度（加えて、４和音を使用している場合は７度）の音程になければ、１度、３度、及び５度（加えて、４和音を使用している場合は７度）の音程うち、音高が最も近い音程に、該当する音の音高を移動させればよい。これにより、メロディ音の音高を伴奏が有するキーに合致させることができる。

【0124】

なお、ここでは音程が１オクターブを超えない単音程として説明したが、１オクターブを超える複合音程の場合においても、１回ないし数回オクターブ音程を差し引いて単音程に還元すればよい。

【0125】

音楽合成部１４５は、伴奏生成部１４２により生成された伴奏情報とメロディ調整部１４４により調整されたメロディ情報とを合成して曲情報を生成する。曲情報は、伴奏情報と調整されたメロディ情報とを含む音楽データである。

【0126】

出力部１４６は、音楽合成部１４５により生成された曲情報をスピーカ１３を介して外部に出力する。具体的には、出力部１４６は、曲情報を音の波形データに変換し、変換した音の波形データをスピーカ１３を介して外部に出力する。これにより、入力データの変化に追従する音楽が出力される。

【0127】

以上が音楽生成装置１の構成である。次に、音楽生成装置１の処理について説明する。図６は、本開示の実施の形態１における音楽生成装置１の処理の一例を示すフローチャートである。ここでは、入力データは、音楽生成装置１の周囲の環境を撮影した動画データ列であるものとし、第１ストリームデータは、動画を構成する画像フレームを用い、第２ストリームデータは、動画を構成する各画像フレームから抽出された人物の人数情報であるものとする。

【0128】

ステップＳ０において、決定関数設定部１４７はメロディ生成部１４３が使用するメロディの上昇又は下降、メロディのリズム、およびメロディの和音の決定関数を、ユーザが操作部１５から選択したものに設定する。

【0129】

ステップＳ１において、取得部１４１は、時刻カウンタを０にリセットする。時刻カウンタは例えばミリ秒で常に計時される。

【0130】

ステップＳ２において、取得部１４１は、センサ１１により検知されたセンシングデータの入力データから第１ストリームデータと第２ストリームデータとを取得する。すなわち、画像フレームが第１ストリームデータとして取得され、画像フレームから抽出された人物の人数情報が第２ストリームデータとして取得される。第１ストリームデータ及び第２ストリームデータは例えば０．１秒毎に取得される。

【0131】

ステップＳ３において、取得部１４１は、時刻カウンタが小節サンプリングのタイミングに達しているかどうか判断する。例えばテンポが１２０ＢＰＭの場合、１小節の長さは２秒なので、時刻カウンタが２秒の刻みに達したかどうかで容易に判断できる。

【0132】

小節サンプリングのタイミングの場合は（ステップＳ３でＹＥＳ）、処理はステップＳ４に進み、伴奏生成部１４２は、伴奏情報を生成する。そうでない場合は（ステップＳ３でＮＯ）、伴奏生成部１４２は、伴奏情報を生成せずに処理をステップＳ５に進める。

【0133】

ステップＳ４において、伴奏生成部１４２は、第１ストリームデータに対して上述の音楽自動生成アルゴリズムを適用して、１小節分の伴奏情報を生成する。

【0134】

ステップＳ５において、取得部１４１は、時刻カウンタが拍サンプリングのタイミングに達しているかどうか判断する。例えばテンポが１２０ＢＰＭの場合、１拍の長さは０．５秒なので、時刻カウンタが０．５秒の刻みに達したかどうかで容易に判断できる。

【0135】

拍サンプリングのタイミングの場合は（ステップＳ５でＹＥＳ）、処理はステップＳ６に進み、メロディ生成部１４３は、メロディ情報を生成する。そうでない場合は（ステップＳ５でＮＯ）、メロディ生成部１４３は、メロディ情報を生成せずに処理をステップＳ１０に進める。

【0136】

ステップＳ６において、メロディ生成部１４３は、第２ストリームデータから取得したデータの変化量に基づいて、メロディ情報を生成する。データの変化量は、例えば１つ前の拍サンプリング（０．５秒前）のタイミングで取得したデータと今回取得したデータとの比較によって算出してもよいし、１つ前に取得した第２ストリームデータのデータ（０．１秒前のデータ）と今回取得したデータとの比較によって算出してもよいし、第２ストリームデータの数個前（例えば３つ前＝０．３秒前）までのデータの平均値と今回取得したデータとの比較によって算出してもよい。

【0137】

メロディ生成部１４３は、このデータの変化量をステップＳ０で設定したメロディの上昇又は下降、リズム、和音のそれぞれの決定関数に入力することで、メロディの上昇又は下降の傾き、リズム、及び和音を決定し、メロディの１拍にあたるメロディ音のメロディ情報を生成する。なおここではメロディの音楽要素のうち音量および楽器は特に指定しておらず、最初から最後まで何らかの決まった楽器と音量を使用する、としているが、例えば何らかの条件を設定してステップＳ６でメロディの楽器や音量を変更するようにしてもよい。

【0138】

ステップＳ７において、メロディ調整部１４４は、ステップＳ６で生成されたメロディ音が、ステップＳ４で生成された小節の伴奏情報から、その拍のキーに合うようにメロディ情報を調整する。

【0139】

ステップＳ８において、音楽合成部１４５は、ステップＳ４で生成された小節の伴奏情報とステップＳ７で調整されたメロディ音のメロディ情報から１拍分の曲情報を生成する。

【0140】

ステップＳ９において、出力部１４６は、ステップＳ８で生成された１拍分の曲情報を音の波形データに変換し、変換された音の波形データをスピーカ１３を介して外部に出力する。例えば、曲情報がｍｉｄｉデータであるときは、ｍｉｄｉシークエンサーおよびシンセサイザーを使うと、ｍｉｄｉデータから１拍分の波形データが生成される。

【0141】

ステップＳ１０において、入力データがまだあるかどうか判定して、まだ入力データがあれば（ステップＳ１０でＹＥＳ）、ステップＳ２に戻って処理は継続する。入力データが終わっていれば（ステップＳ１０でＮＯ）、処理は終了する。

【0142】

このように、本実施の形態によれば、第２ストリームデータの変化に基づいて１拍ごとに生成されたメロディ情報の示すメロディが、第１ストリームデータの変化に基づいて１小節ごとに生成された伴奏情報の示す伴奏の調に合わせて調整され、伴奏情報と調整されたメロディ情報とが合成され、曲を示す曲情報が生成され、当該曲情報が出力される。これにより、入力データに対する追従性と音楽の情緒性とのバランスの取れた音楽を生成することができる。

【0143】

（実施の形態２）
実施の形態２は、実施の形態１で説明した決定関数を、「レベル」により簡便に且つ構造的に設定できるようにしたものである。なお、本実施の形態において実施の形態１と同一の構成要素には同一の符号を付し、説明を省く。

【0144】

レベルは、生成するメロディの激しさ（あるいは穏やかさ）を簡便に設定できるように、関連する音楽要素の決定関数を組にしたものである。ここで、メロディの激しさとは、音高や音量、リズムなどの変化度合いによって、聴き手に与える印象の深さであり、一般的に変化度合いが大きいほど激しいという印象を与える。

【0145】

図７Ｂは、レベルの決定関数の設定内容の一例を示す表である。この例では、レベルは、最も穏やかな「レベルＬ１」から最も激しい「レベルＬ３」までの３段階があるものとし、これら３つのレベルに対応するメロディの上昇又は下降、メロディのリズム、およびメロディの和音の決定関数が予め定められている。

【0146】

各レベルは第２ストリームデータの変化量により分割された複数の「バンド」に分けられる。この例では、「弱バンド」、「中バンド」、「強バンド」の３つがある。「弱バンド」は第２ストリームデータの変化量が少ない状況に対応するバンドであり、バンドが強くなるほど第２ストリームデータの変化量が大きくなる。

【0147】

これらのバンドに対して、その適用範囲でのメロディの上昇又は下降、メロディのリズム、およびメロディの和音の決定関数の出力値を設定する。実施の形態１では、決定関数の適用範囲はそれぞれ個別に定義されたが、本実施の形態ではバンドを用いて各決定関数の適用範囲を統一することにより、これらの音楽要素を複合的に組み合わせたメロディを簡便に設定できるようになる。

【0148】

各バンドは、第２ストリームデータの変化量の閾値の上限値と下限値とで適用範囲が定義される。各バンドの適用範囲は、隣接するバンドとは重ならないように、また隙間が開かないように設定される。また、後に述べるように、バンドの適用範囲は空であっても良い。

【0149】

次に、レベルにおけるバンドの設定について説明する。

【0150】

レベルが低いほど穏やかなメロディが生成されやすく、レベルが高いほど激しく躍動するメロディが生成されやすいことが望まれる。そのためには、低いレベルに対しては弱バンドの適用範囲を広くし、また強バンドの適用範囲を狭くする（あるいは空とする）。それにより、決定関数への入力値（すなわち第２ストリームデータの変化量）が弱バンドの範囲内に入る確率が高くなり、その結果、穏やかなメロディを生成する可能性が高くなる。逆に、高いレベルに対しては強バンドの適用範囲を広くし、また、弱バンドの適用範囲を狭くすることにより、決定関数への入力値が強バンドの範囲内に入る確率が高くなり、その結果、激しいメロディを生成する可能性が高くなる。

【0151】

図７Ｂを用いて説明する。例えば、レベルＬ１を選択した場合において、メロディ生成部１４３は、第２ストリームデータの変化量が「５５」であったとすると、それは弱バンドの適用範囲（「０～６０」）なので弱バンドの音楽要素を選択する。すなわちメロディの上昇又は下降の傾きを「０」に設定し、１拍のリズムを「４分音符」に設定し、１拍の和音の確率を「０％（すなわち単音）」に設定する。この場合、上下変化の少ないおとなしいメロディが生成される。

【0152】

また、例えば、レベルＬ２を選択した場合において、メロディ生成部１４３は、第２ストリームデータの変化量が前例と同じ「５５」であったとすると、それは中バンドの適用範囲（「４１～８０」）なので中バンドの音楽要素を選択し、メロディの上昇又は下降の傾きを「１」に設定し、１拍のリズムを「８分音符＋８分音符」に設定し、和音の確率を「１０％」に設定する。この場合、ときどき和音の入る８分音符の組み合わせで、多少音高が上下する動きのあるメロディが生成される。

【0153】

また、例えば、レベルＬ３を選択した場合において、メロディ生成部１４３は、第２ストリームデータの変化量が前例と同じ「５５」であったとすると、それは強バンドの適用範囲（「５１～１００」）なので強バンドの音楽要素を選択し、メロディの上昇又は下降の傾きを「３」に設定し、１拍のリズムを「４つの１６分音符」に設定し、和音の確率を「５０％」に設定する。これにより、高い確率で和音になる１６分音符の組み合わせで、音高が激しく上下する躍動感のあるメロディが生成される。

【0154】

図７Ａは、本開示の実施の形態２における音楽生成装置１Ａの構成の一例を示すブロック図である。音楽生成装置１Ａは、音楽生成装置１に対して決定関数設定部１４７に代わりレベル設定部１４８を含む。

【0155】

レベル設定部１４８は、予め定められたレベルの選択肢リストを持ち、例えば、操作部１５のディスプレイに選択肢を表示する。そして、ユーザがマウスなどで適切なものを選択すると、レベル設定部１４８は、レベルに定義されている音楽要素の決定関数をメロディ生成部１４３に設定する。

【0156】

以上が音楽生成装置１Ａの構成である。次に、音楽生成装置１Ａの処理について説明する。本開示の実施の形態２における音楽生成装置１Ａの処理の一例を示すフローチャートは、実施の形態１の図６のフローチャートとほぼ同じである。唯一の違いは、ステップＳ０において、レベル設定部１４８がユーザが操作部１５から選択したレベルに基づき、メロディ生成部１４３が使用するメロディの上昇又は下降、メロディのリズム、およびメロディの和音の決定関数を設定する、という点である。それ以外は、実施の形態１と同じなので、説明を省く。

【0157】

このように、本実施の形態によれば、レベルを選択するだけで、簡単に生成するメロディの性格を変えることができる。

【0158】

なお、この例では、レベルを３段階、バンドを３段階に設定したが、それ以外の設定でも構わない。例えば、レベルやバンドの段階数を増やすと、生成するメロディの「おとなしい」～「激しい」の幅を広げることができる。また、この例では、レベルとバンドの組のそれぞれに対して１つの決定関数が定義されているが、本開示はこれに限定されず、レベルとバンドの組のそれぞれに対してある確率で分散した複数の決定関数の組が含まれていてもよい。例えば、レベルＬ２、中バンドのリズムの決定関数を、「８分音符＋８分音符」の固定ではなく、４０％の確率で「８分音符＋８分音符」、２０％の確率で「８分音符＋８分休符」、２０％の確率で「８分休符＋８分音符」、２０％の確率で「８分音符＋１６分音符＋１６分音符」などとなるように設定してもよい。この場合、生成されるメロディは、偶然に左右される非決定的なリズムになり、より躍動感が出る。

【0159】

（実施の形態３）
実施の形態３は、複数のメロディを持った曲情報を生成するものである。なお、本実施の形態において、実施の形態２と同一の構成要素には同一の符号を付し、説明を省く。

【0160】

図８は、本開示の実施の形態３における音楽生成装置１Ｂの構成の一例を示すブロック図である。

【0161】

プロセッサ１４Ｂは、メロディ生成部１４３Ｂ、レベル設定部１４８Ｂ、及びメロディ生成情報設定部１４９をさらに含む。

【0162】

メロディ生成部１４３Ｂは、複数のメロディのそれぞれについて、鳴らす又は鳴らさない、の条件を予め規定する発火条件を参照し、発火条件を満足するメロディだけをメロディ情報に含ませる。

【0163】

メロディ生成情報設定部１４９は、予め定められたメロディ生成情報の選択肢リストを持ち、各メロディに対して、例えば、操作部１５のディスプレイに選択肢を表示する。メロディ生成情報としては、レベル、楽器、発火条件の３つがある。そして、ユーザがマウスなどで適切なものを選択すると、メロディ生成情報設定部１４９は、そのメロディに対するメロディ生成情報のうち、楽器と発火条件をメロディ生成部１４３Ｂに設定する。そして、メロディ生成情報設定部１４９は、メロディ生成情報のうち、レベルをレベル設定部１４８Ｂに設定する。

【0164】

レベル設定部１４８Ｂは、メロディ生成情報設定部１４９により設定されたレベルに定義されている音楽要素の決定関数の組をメロディ生成部１４３Ｂに設定する。

【0165】

伴奏の上にメロディを複数鳴らすと、音楽の表現が広がる。単純に、複数のメロディが鳴るだけで、メロディが１つだけの場合よりも華やかな曲になる。また、それぞれのメロディを対応する入力データの変化に関連付ければ、複数のデータの変化をダイナミックに表現した曲になる。

【0166】

具体的には、第２ストリームデータに複数のストリームデータが含まれている場合、各ストリームデータに個別のメロディを割り当てると、メロディ生成部１４３Ｂは、各メロディに対して実施の形態２の方法でメロディ情報を生成することで、複数のメロディを持った曲を生成できる。

【0167】

しかし、複数のメロディを常時鳴らすことは好ましいとは言えない。オーケストラの演奏のように音楽の山場の時は多数のメロディが演奏され、そうでない時は１または少数のメロディだけが演奏されることが望ましい。そこで、それぞれのメロディに「鳴らす又は鳴らさない」の条件（「発火条件」と呼ぶ）を設定し、その条件が満たされるときだけメロディが鳴るようにすれば、このようなメロディを重ねた曲を生成することができる。また、これ以外にも、時間経過や外部イベントによって、メロディを鳴らす／鳴らさない、を制御することで様々な効果を持った曲を生成することができる。

【0168】

次に、メロディの発火条件について説明する。ここでは、発火条件の例として、第２ストリームデータの変化量がある閾値を越えた（条件Ｃ１）、設定した時間条件を満足した（条件Ｃ２）、設定したイベントが発生した（条件Ｃ３）、の３つを説明する。

【0169】

条件Ｃ１は、例えば閾値を５０に設定すると、第２ストリームデータの変化量が少ない時（５０未満）はメロディを演奏しないが、５０以上になるとメロディを演奏する、という条件である。これを複数のメロディに対して異なる閾値を設定すると、第２ストリームデータの変化量によって演奏されるメロディ数が増減するオーケストラの演奏のような音楽が得られる。

【0170】

条件Ｃ２は、あるメロディを５分おきに２０秒間だけ演奏する、という条件である。

【0171】

条件Ｃ３は、第２ストリームデータとは無関係なイベントを設定し、そのイベントが発生した場合、メロディを鳴らす、という条件である。イベントの例としては、例えば電池の残量が一定以下になった、人感センサが人を検知した等である。

【0172】

複数のメロディの生成を具体的な例で説明する。

【0173】

例えば、入力データとして繁華街の定点カメラからのライブ動画を用い、動画に写っている人物の人数によってピアノのメロディが変化し、人数がある閾値以上になるとトランペットのメロディが加わる、という設定とする。また、１０分おきにチャイムのメロディが１０秒間加わり、定点カメラとは別の外部センサ（例えば、温度センサで気温が３５℃を越えた場合にオンになる）がオンになっている間は、太鼓のメロディが鳴る、というように全体で４つのメロディから構成されているとする。

【0174】

各メロディのメロディ生成情報を示したのが図９Ａの表である。また、メロディ生成情報に含まれるレベルＬ１～Ｌ３に対する決定関数は図９Ｂに示されている。

【0175】

メロディ「１」は、動画に写っている人数の増減に合わせて、常にピアノのメロディが比較的ゆるやかに変化（レベルＬ１）しながら流れるように設定されている。発火条件は条件Ｃ１で閾値が０となっているので、メロディ「１」は第２ストリームデータの変化量がどのような値でも常に発火条件を満足する。具体的には、第２ストリームデータの変化量が４０以下のときは「弱バンド」として４分音符、単音で音高の変化が非常に少ないメロディになる。第２ストリームデータの変化量が４１～８０のときは、「中バンド」として８分音符の刻みで、時々和音が入り、すこし上昇・下降のあるメロディになる。第２ストリームデータの変化量が８１以上のときは「強バンド」として、８分音符と１６分音符が混じり、和音で鳴る場合が増え、より上昇・下降がきついメロディになる。

【0176】

メロディ「２」は、人数が多くなったときに、トランペットで強く変化（レベルＬ２）するメロディが流れるように設定されている。発火条件が条件Ｃ１で閾値が１０となっているので、第２ストリームデータの変化量が１０を越えたときのみメロディ「２」が流れるようになっている。具体的には、第２ストリームデータの変化量が１０以下のときは発火条件が満足されないので、メロディ「２」は鳴らない。第２ストリームデータの変化量が１１～２０のときは「弱バンド」として４分音符、１０％の確率で和音が入り、上昇・下降が非常に少ないメロディになる。第２ストリームデータの変化量が２１～５０のときは、「中バンド」として８分音符と１６分音符が混じり、２０％の確率で和音が入り、多少上昇・下降のあるメロディになる。第２ストリームデータの変化量が５１以上のときは「強バンド」として、１６分音符の刻みで、和音で鳴る場合が５０％になり、大きく上昇・下降するような激しいメロディになる。

【0177】

メロディ「３」は、動画とは無関係に、発火条件が１０分間隔で１０秒間だけ満足されるようになっているので、その間だけチャイムのメロディがレベルＬ３で流れるように設定されている。具体的には、その決定関数はすべての入力範囲において、４分音符、単音、上昇・下降が無いメロディになる。

【0178】

メロディ「４」も動画とは無関係に、発火条件が気温が３５℃を越えた場合に満足されるようになっているので、その間だけ太鼓のメロディがレベルＬ３で鳴るように設定されている。

【0179】

この例によると、第２ストリームデータの変化量が１０以下のときは、ピアノのメロディ「１」だけがゆったりと鳴り、第２ストリームデータの変化量が１１を越えるとトランペットのメロディ「２」が加わり、変化量が増えるに従いメロディ「１」、メロディ「２」はそれぞれ違った傾斜でリズムが激しくなっていく。また、第２ストリームデータの変化量とは無関係に、１０分間隔で１０秒間だけチャイムのメロディ「３」が鳴り、気温が３５℃を越えている間は太鼓のメロディ「４」が鳴る、というように外界の変化に多彩に追従する音楽を作り出すことができる。

【0180】

次に、この実施例における音楽生成装置１Ｂの処理について説明する。

【0181】

図１０は、本開示の実施の形態３における音楽生成装置１Ｂの処理の一例を示すフローチャートである。

【0182】

このフローチャートは実施の形態１の図６のフローチャートとよく似ているので、実施の形態１と同一の構成要素には同一の符号を付し、説明を省く。

【0183】

ステップＳ０において、メロディ生成情報設定部１４９は、ユーザが操作部１５から選択したメロディ生成情報基づき、各メロディに対して、メロディ生成情報のうち、楽器と発火条件をメロディ生成部１４３Ｂに設定する。そして、メロディ生成情報設定部１４９は、メロディ生成情報のうち、レベルをレベル設定部１４８Ｂに設定する。レベル設定部１４８Ｂは、設定されたレベルに定義されている音楽要素の決定関数をメロディ生成部１４３Ｂに設定する。

【0184】

ステップＳ５において、取得部１４１は、時刻カウンタが拍サンプリングのタイミングに達しているかどうか判断し、時刻カウンタが拍サンプリングのタイミングに達している場合（ステップＳ５でＹＥＳ）、処理はステップＳ６１に進む。

【0185】

ステップＳ６１において、メロディ生成部１４３Ｂは、次のメロディのメロディ生成情報（レベル、楽器、発火条件）を取得する。具体的には、ステップＳ５からステップＳ６１に到達したときは、メロディ「１」のメロディ生成情報を取得する。ステップＳ６４からステップＳ６１に到達したときは、次のメロディのメロディ生成情報を取得する。例えば直前にメロディ「１」の処理をしたのであればメロディ「２」のメロディ生成情報が取得される。

【0186】

ステップＳ６２において、メロディ生成部１４３Ｂは、取得したメロディ生成情報の発火条件を評価する。発火条件が条件Ｃ１の場合は、メロディ生成部１４３Ｂは、第２ストリームデータの変化量と発火条件に設定された閾値とを比較し、第２ストリームデータの変化量の方が閾値より大きければ発火条件を満足したと評価する。発火条件が条件Ｃ２の場合は、メロディ生成部１４３は、時刻カウンタと、発火条件に設定された時間間隔と、継続時間と、を用いて発火条件を評価する。この例の場合、現在の時刻カウンタ（例えばステップＳ０から１５分経過した時点であれば、９０００００（＝１５×６０×１０００））を時間間隔（この例では６０００００＝６０×１０×１０００）で除算して、その剰余が継続時間（この例では１００００）以下であれば、メロディ生成部１４３Ｂは、発火条件を満足したと評価する。発火条件が条件Ｃ３の場合は、メロディ生成部１４３Ｂは、発火条件に設定されたセンサのその時点での状態を評価し、オンであれば発火条件を満足したと評価する。

【0187】

発火条件を満足していれば（ステップＳ６２でＹＥＳ）、処理はステップＳ６３に進み、メロディ生成部１４３Ｂは、そのメロディのメロディ情報を生成する。そうでない場合は（ステップＳ６２でＮＯ）、メロディ生成部１４３Ｂは、メロディ情報を生成せずに処理をステップＳ６４に進める。

【0188】

ステップＳ６３において、メロディ生成部１４３Ｂは、そのメロディのメロディ情報を生成する。メロディ生成部１４３Ｂは、第２ストリームデータの変化量に基づき、設定されたメロディの上昇又は下降、リズム、和音の決定関数を用いて、メロディの上昇又は下降の傾き、リズム、及び和音を決定し、メロディの１拍にあたるメロディ音のメロディ情報を生成する。またメロディ生成情報に設定された楽器が用いられる。

【0189】

ステップＳ６４において、メロディ生成部１４３Ｂは、すべてのメロディを処理したかどうか判定し、そうであればこの拍でのメロディ生成は完了したので（ステップＳ６４でＹＥＳ）、処理をステップＳ７に進める。そうでなければ（ステップＳ６４でＮＯ）、処理はステップＳ６１に戻り、次のメロディが処理される。

【0190】

実施の形態３によれば、入力データの変化量に応じて、メロディが上昇又は下降、リズム、及び和音等が変化する複数のメロディがあり、各メロディに個別の発火条件が設定されているので、複数のメロディを適切に束ねることが可能となり、それによって、多数の用途及び目的に合致する音楽を自動生成することができる。

【0191】

（実施の形態４）
実施の形態４は、実施の形態３で説明した音楽生成装置１Ｂをクラウドシステムに適用したものである。図１１は、本開示の実施の形態４に係る音楽生成システム１００の全体構成の一例を示す図である。なお、本実施の形態において、実施の形態３と同一の構成要素には同一の符号を付し、説明を省略する。

【0192】

音楽生成システム１００は、音楽生成装置１Ｃ及び端末２を含む。音楽生成装置１Ｃはクラウドサーバで構成されている。端末２は、音楽生成装置１Ｃが生成した曲が出力される場所に設置される。端末２は、据え置き型コンピュータで構成されてもよいし、タブレット型コンピュータで構成されてもよいし、スマートフォンで構成されてもよい。音楽生成装置１Ｃ及び端末２はネットワークＮＴを介して相互に通信可能に接続されている。ネットワークＮＴは、例えばインターネットである。

【0193】

音楽生成装置１Ｃは、通信部１６及びプロセッサ１４Ｃを含む。通信部１６は音楽生成装置１ＣをネットワークＮＴに接続する通信回路である。プロセッサ１４Ｃは、取得部１４１Ｂ、伴奏生成部１４２、メロディ生成部１４３Ｂ、メロディ調整部１４４、音楽合成部１４５、出力部１４６Ｂ、レベル設定部１４８Ｂ、及びメロディ生成情報設定部１４９Ｂを含む。

【0194】

取得部１４１Ｂは、端末２から送信されたセンサ２１のセンシングデータを通信部１６を用いて取得する。これ以外の取得部１４１Ｂの機能は取得部１４１と同じである。

【0195】

出力部１４６Ｂは、音楽合成部１４５により生成された曲情報を通信部１６を用いて端末２に送信する。

【0196】

メロディ生成情報設定部１４９Ｂは、端末２の操作部２６によって選択されたメロディ生成情報を通信部１６を用いて取得する。これ以外のメロディ生成情報設定部１４９Ｂの機能はメロディ生成情報設定部１４９と同じである。

【0197】

端末２は、センサ２１、メモリ２２、スピーカ２３、制御部２４、通信部２５、及び操作部２６を含む。センサ２１は、図１のセンサ１１と同様、センシングデータを生成し、生成したセンシングデータを通信部２５を用いて音楽生成装置１Ｃに送信する。メモリ２２は、制御部２４が処理を行う上で必要なデータを記憶する。

【0198】

制御部２４は、音楽生成装置１Ｃにより送信された曲情報を通信部２５を用いて取得し、取得した曲情報を音の波形データに変換し、スピーカ２３に入力する。スピーカ２３は、音の波形データを音に変換し、外部に出力する。これにより、端末２の周囲において入力データの変化に追従する曲が出力される。通信部２５は、端末２をネットワークＮＴに接続する通信回路である。操作部２６は、ディスプレイなどの出力装置とキーボード及びマウス等の入力装置で構成され、ユーザからメロディ生成情報の選択指示を受け付ける。

【0199】

このように、実施の形態４によれば入力データの変化に追従する曲を生成するクラウドサービスを実現できる。

【0200】

なお、この例では取得部１４１Ｂが取得するデータは端末２に装着されたセンサ２１から送られるものとしたが、端末２とは異なる他の端末に装着されたセンサから送られるものであってもよい。また、センサからのデータに限らず、インターネット等のネットワークを介して取得したデータであってもよい。同様にスピーカ２３も、端末２とは異なる他の端末に装着されたスピーカであってもよい。

【0201】

（応用例Ａ１）
次に、本開示の応用例について説明する。応用例Ａ１は、駅やショッピングモールなど人通りの多い場所に置かれた定点カメラの動画データから、人の流れに応じた音楽をリアルタイムに生成し、生成した曲をスピーカから出力する、というものである。入力データは、カメラの動画データのフレーム列である。このフレーム列から、伴奏生成部１４２は、前述の方法で伴奏を１小節ずつ生成する。また、伴奏生成部１４２は、季節、時刻、及び気温等の環境情報を用いて、楽器の組み合わせ、テンポ等を決定することによって伴奏を生成すればよい。さらに、伴奏生成部１４２は、季節、時刻、及び気温に応じて異なる性格の音楽を生成してもよい。

【0202】

メロディ生成部１４３は、例えば動画フレームを画像処理して人物の数と移動方向とを検知して、画面の右から左へ移動する人物の数と、画面の左から右へ移動する人物の数とを所定間隔（例えば０．５秒間隔）でカウントする。メロディ生成部１４３は、これら２つの人数の変化を２種類の第２ストリームデータとし、それぞれにメロディを割り当てる。そしてそれぞれのメロディに異なる楽器を設定する。例えば、メロディ生成部１４３は、左から右への人物の移動に対応するメロディにはピアノを割り当て、右から左への人物の移動に対応するメロディにはバイオリンを割り当てる。そして、メロディ生成部１４３は、２種類の第２ストリームデータに対して、例えば図７Ｂで示したレベル及びバンド設定から、同じレベルを選択して適用し、２つのメロディ情報を生成する。これにより、２つの方向の人物の流れの変化が、２つの楽器のメロディで表現された音楽が生成される。また、メロディ生成部１４３は、例えば右から左への人物の移動に対応するメロディのレベルを上げて、その方向の人物の流れに敏感に変化する音楽にしてもよい。或いは、メロディ生成部１４３は、左から右への人物の移動に対してある閾値を設定して、入力データがその閾値を超えた場合は（条件Ｃ１）、更に別のメロディを異なるレベルで鳴るようにしてもよい。これにより、様々に変化するメロディ情報を生成することができる。このように、少数のパラメータを設定及び変更するだけで、入力データの変化に合わせて変化する様々な曲を作り出すことができる。

【0203】

（応用例Ａ２）
応用例Ａ２は、音楽生成装置１をＶＲ（バーチャルリアリティ）に適用したものである。ＶＲゴーグルを装着すると、顔の向き、歩く方向などに合わせてＶＲゴーグルのディスプレイに風景を含む画像が表示され、ＶＲゴーグルを装着した人物は、手の動きで画面上のモノを操作することができる。ＶＲゴーグルを装着した人物は、視覚的には体の動きとディスプレイに表示される画面とが連動した、リアリティのある画像により刺激の高い経験ができる。しかし、従来のＶＲゴーグルは、聴覚的には環境音楽のようなＢＧＭと、体の動き、モノへの接触、及び風の音などの効果音とが繰り返し出力されるに過ぎず、視覚に比べてリアリティ及び面白さに欠けていた。

【0204】

本技術をＶＲゴーグルに適用した場合、ＶＲゴーグルのディスプレイに表示される動画を第１ストリームデータとし、ＶＲゴーグルが備える角度センサ、手足に装着された角度センサなどのセンシングデータを第２ストリームデータとすることにより、人物の動作に合わせてリアルタイムに変化する音楽を人物に聴かせることが可能になり、より面白いＶＲ体験を与えることができる。

【産業上の利用可能性】

【0205】

本開示は、入力データの変化に追従する音楽を生成できるため、周囲の環境に適した音楽を生成する技術分野において有用である。

【符号の説明】

【0206】

１ ：音楽生成装置
１１ ：センサ
１２ ：メモリ
１３ ：スピーカ
１４ ：プロセッサ
１５ ：操作部
１４１ ：取得部
１４２ ：伴奏生成部
１４３ ：メロディ生成部
１４４ ：メロディ調整部
１４５ ：音楽合成部
１４６ ：出力部
１４７ ：決定関数設定部

【図1】

【図2A】

【図2B】

【図2C】

【図3A】

【図3B】

【図3C】

【図4A】

【図4B】

【図5A】

【図5B】

【図6】

【図7A】

【図7B】

【図8】

【図9A】

【図9B】

【図10】

【図11】