特許 6677079 音楽生成装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6677079

(24)【登録日】2020年3月17日

(45)【発行日】2020年4月8日

(54)【発明の名称】音楽生成装置及びプログラム

(51)【国際特許分類】

   G10G 1/00 20060101AFI20200330BHJP

   G10H 1/00 20060101ALI20200330BHJP

【ＦＩ】

   G10G1/00

   G10H1/00 102Z

【請求項の数】10

【全頁数】17

(21)【出願番号】特願2016-107543(P2016-107543)

(22)【出願日】2016年5月30日

(65)【公開番号】特開2017-215375(P2017-215375A)

(43)【公開日】2017年12月7日

【審査請求日】2019年2月28日

(73)【特許権者】

【識別番号】000003609

【氏名又は名称】株式会社豊田中央研究所

(74)【代理人】

【識別番号】100079049

【弁理士】

【氏名又は名称】中島 淳

(74)【代理人】

【識別番号】100084995

【弁理士】

【氏名又は名称】加藤 和詳

(72)【発明者】

【氏名】宇田 尚典

【審査官】 山下 剛史

(56)【参考文献】

【文献】 特開２００４−２０５７３８（ＪＰ，Ａ）

【文献】 特開２００５−２８３８５８（ＪＰ，Ａ）

【文献】 特開２００６−６９２８８（ＪＰ，Ａ）

【文献】 特開平７−７３３２０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ１０Ｇ １／００−３／０４

Ｇ１０Ｈ １／００−７／１２

(57)【特許請求の範囲】

【請求項1】

主となる１つの視点から撮影された主映像に基づいて基本の音楽情報を生成し、前記主映像の撮影とは異なる他の視点から撮影された副映像に基づいて前記基本の音楽情報以外の他の音楽情報を生成する生成手段と、
前記基本の音楽情報と前記他の音楽情報とを合成して１つの音楽情報を出力する合成手段と、
を備えた音楽生成装置。

【請求項2】

前記生成手段が、前記主映像及び前記副映像の各々から被写体の動きを検出する動き検出を実施し、検出された被写体の動きに応じて音楽情報を生成する、請求項１に記載の音楽生成装置。

【請求項3】

前記生成手段が、前記主映像に基づいてベロシティ、リズム及びコード進行を生成し、前記副映像に基づいてトーンを生成する、請求項１または請求項２に記載の音楽生成装置。

【請求項4】

前記生成手段が、前記主映像から物標を検出し、前記物標が検出された場合の音を生成する、請求項１から請求項３までのいずれか１項に記載の音楽生成装置。

【請求項5】

前記主映像と前記副映像とを合成して１つの合成映像を生成する映像合成手段を更に備える、
請求項１から請求項４までのいずれか１項に記載の音楽生成装置。

【請求項6】

ネットワークを介して映像信号を送受信する通信手段を更に備え、
前記副映像の映像信号を前記通信手段により取得する、
請求項１から請求項５までのいずれか１項に記載の音楽生成装置。

【請求項7】

前記主映像が、車載カメラによって撮影された車両前方の映像である、請求項１から請求項６までのいずれか１項に記載の音楽生成装置。

【請求項8】

前記副映像が、車載カメラによって撮影された車両後方の映像、他の車両の車載カメラによって撮影された車両前方の映像、または、車両外部のカメラによって撮影された映像である、請求項７に記載の音楽生成装置。

【請求項9】

前記副映像が、前記主映像の撮影と並行して撮影された映像である、請求項１から請求項８までのいずれか１項に記載の音楽生成装置。

【請求項10】

コンピュータを、
主となる１つの視点から撮影された主映像に基づいて基本の音楽情報を生成し、前記主映像の撮影とは異なる他の視点から撮影された副映像に基づいて前記基本の音楽情報以外の他の音楽情報を生成する生成手段、
前記基本の音楽情報と前記他の音楽情報とを合成して１つの音楽情報を出力する合成手段、
として機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、音楽生成装置及びプログラムに関する。

【背景技術】

【0002】

従来、楽曲データと車両状態の検出結果を利用して音楽を発生する車両用音楽発生装置が知られている（特許文献１）。また、モニタに表示される監視対象から入力される外部信号に基づいて、監視対象の変化を音楽の変化に変換することで、監視作業を聴覚にも反映させる信号監視用音楽演奏装置が知られている（特許文献２）。また、クルマの走行スピード、回転数、加速度の車両情報と、ＧＰＳとから自動作曲を行うスマホアプリが知られている（非特許文献１）。また、外部環境や人の生態情報を使って自動作曲する音響構成装置が知られている（特許文献３）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第４９８４８６１号公報

【特許文献2】特許第４４５８５８１号公報

【特許文献3】特許第３３８１０７４号公報

【非特許文献】

【0004】

【非特許文献1】インターネット＜URL:http://www.volkswagen.co.uk/playtheroad＞

【発明の概要】

【発明が解決しようとする課題】

【0005】

車載カメラによって撮影された車両前方の映像から音楽を生成する等、従来は１つの視点から撮影された映像に基づいて音楽を生成するのが通常であった。いずれの従来技術も、異なる視点から撮影された複数の映像から音楽を生成するものではない。また、異なる視点から撮影された複数の映像は関連性が無く、複数の映像の各々から生成した複数の音楽を単に合成して１つの音楽としたのでは、無秩序で違和感のある音楽が生成される。なお、以下では、シンセサイザー等の音楽出力装置に音楽を演奏させるための情報を「音楽情報」という。

【0006】

本発明は上記事情に鑑みなされたものであり、本発明の目的は、異なる視点から撮影された複数の映像から、違和感の無い１つの音楽を生成することにある。

【課題を解決するための手段】

【0007】

上記目的を達成するために本発明に係る映像音楽生成装置は、主となる１つの視点から撮影された主映像に基づいて基本の音楽情報を生成し、前記主映像の撮影とは異なる他の視点から撮影された副映像に基づいて前記基本の音楽情報以外の他の音楽情報を生成する生成手段と、前記基本の音楽情報と前記他の音楽情報とを合成して１つの音楽情報を生成する合成手段と、を備える。

【0008】

本発明に係るプログラムは、コンピュータを、主となる１つの視点から撮影された主映像に基づいて基本の音楽情報を生成し、前記主映像の撮影とは異なる他の視点から撮影された副映像に基づいて前記基本の音楽情報以外の他の音楽情報を生成する生成手段、前記基本の音楽情報と前記他の音楽情報とを合成して１つの音楽情報を出力する合成手段、として機能させる。

【発明の効果】

【0009】

本発明の音楽生成装置及びプログラムによれば、異なる視点から撮影された複数の映像から、違和感の無い１つの音楽を生成することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施の形態に係る音楽生成装置の全体構成の一例を示すブロック図である。

【図2】カメラの構成の一例を示すブロック図である。

【図3】音楽出力部の構成の一例を示すブロック図である。

【図4】映像音楽生成部のハードウエア構成の一例を示す図である。

【図5】映像音楽生成部の機能を概念的に示す模式図である。

【図6】第１の実施の形態に係る音楽生成装置における複数のカメラの配置を示す模式図である。

【図7】第１の実施の形態に係る映像音楽生成部の構成の一例を示す機能ブロック図である。

【図8】「音楽生成処理」の手順の一例を示すフローチャートである。

【図9】（Ａ）及び（Ｂ）はエッジ検出を実施する領域を示す模式図である。

【図10】第２の実施の形態に係る音楽生成装置における複数のカメラの配置を示す模式図である。

【図11】第２の実施の形態に係る映像音楽生成部の構成の一例を示すブロック図である。

【図12】複数のカメラの他の配置例を示す模式図である。

【図13】複数のカメラの他の配置例を示す模式図である。

【図14】複数のカメラの他の配置例を示す模式図である。

【図15】ＶＲ映像を使用する映像音楽生成部の機能を概念的に示す模式図である。

【図16】複数のカメラの他の配置例を示す模式図である。

【発明を実施するための形態】

【0011】

＜第１の実施の形態＞
（音楽生成装置の全体構成）
まず、音楽生成装置の全体構成について説明する。
図１は本発明の実施の形態に係る音楽生成装置の全体構成の一例を示すブロック図である。本実施の形態に係る音楽生成装置は、異なる視点から撮影された複数の映像から１つの音楽を生成すると共に、複数の映像を合成して１つの合成映像を生成する。

【0012】

図１に示すように、音楽生成装置は、映像音楽生成部１０、複数のカメラ２０、映像出力部５９、及び音楽出力部６０を備えている。映像音楽生成部１０は、映像情報生成部２９と音楽情報生成部３０とを備えている。複数のカメラ２０の各々は、映像音楽生成部１０に電気的に接続されており、映像音楽生成部１０に出力信号を出力する。カメラ２０からの出力信号は、映像情報生成部２９及び音楽情報生成部３０の各々に入力される。

【0013】

映像情報生成部２９は、映像出力部５９に電気的に接続されている。映像情報生成部２９は、複数のカメラ２０の出力信号に基づいて１つの合成映像の映像情報を生成し、映像出力部５９に合成映像の映像情報を出力する。映像出力部５９は、ディスプレイ、プロジェクター、ヘッド・マウント・ディスプレイ（ＨＭＤ）等の表示装置であり、入力された映像情報に基づいて合成映像を表示する。

【0014】

音楽情報生成部３０は、音楽出力部６０に電気的に接続されている。音楽情報生成部３０は、複数のカメラ２０の出力信号に基づいて１つの音楽情報を生成し、音楽出力部６０に出力する。音楽出力部６０は、入力された音楽情報に基づいて音楽を演奏する。なお、映像音楽生成部１０、カメラ２０、及び音楽出力部６０の詳細な構成については後述する。

【0015】

「音楽」には、メロディ（旋律）、ハーモニー（和声）、リズム（律動）の三要素がある。また、音楽を構成する「音」には、高さ（周波数）、大きさ（音圧レベル）、音色（周波数成分）の三要素がある。また、音楽の種類を表す「曲調」には、マイナー調、メジャー調、クラシック風、ボサノバ風、日本風、琉球風、アラビック風等がある。

【0016】

本実施の形態で生成される「音楽」は、音楽の三要素のうち、「音」の高さが時間と共に変化するメロディと、「音」の時間的な長さが一定の規律で変化するリズムとを、少なくとも含むものである。

【0017】

また、「音楽の変化」とは、音楽の構成要素が変化することである。音楽の基本の構成要素としては、楽器（音色）の割り当て、ベロシティ（音の強さ）、スケール（音の高さの間隔）、コード進行（２音以上の音の重なり）、リズム等がある。音楽のその他の構成要素としては、トーン（音の高さ）がある。後述するＭＩＤＩ信号においてこれら音楽の構成要素を変更することで音楽が変化する。

【0018】

（カメラ）
次に、カメラの概略構成について説明する
図２はカメラの構成の一例を示すブロック図である。図２に示すように、カメラ２０は、撮像部２２、Ａ／Ｄ変換部２４、処理部２６、及び送信部２８を備えている。Ａ／Ｄ変換部２４、処理部２６、及び送信部２８は、撮像部２２側から記載した順序で電気的に接続されている。カメラ２０の撮像部２２は、或る視点から撮像した映像を表す映像信号（アナログ信号）をＡ／Ｄ変換部２４に出力する。

【0019】

Ａ／Ｄ変換部２４は、入力されたアナログ信号をデジタル信号に変換して、処理部２６に出力する。処理部２６は、入力されたデジタル信号に対して増幅処理やフィルタリング処理等を行い、波形整形されたデジタル信号を送信部２８に出力する。送信部２８は、入力されたデジタル信号を、映像音楽生成部１０に出力する。即ち、波形整形されたデジタル信号を、カメラ２０の出力信号として、映像音楽生成部１０に出力する。

【0020】

本実施の形態では、複数のカメラ２０は、主たるカメラ２０Ｍと従たるカメラ２０Ｓとで構成されている。主たるカメラ２０Ｍは、主となる１つの視点から主映像を撮影する。従たるカメラ２０Ｓは、主映像の撮影と並行して他の視点から副映像を撮影する。なお、音楽生成装置は、従たるカメラ２０Ｓを複数個備えていてもよい。また、従たるカメラ２０Ｓは、主映像の撮影とは時間をずらして副映像を撮影してもよい。

【0021】

（音楽出力部）
次に、音楽出力部の構成について説明する。
図３は音楽出力部の構成の一例を示すブロック図である。図３に示すように、音楽出力部６０は、Ｄ／Ａ変換部６２、増幅部６４、及びスピーカ６６を備えている。Ｄ／Ａ変換部６２、増幅部６４、及びスピーカ６６は、音楽情報の入力側から記載した順序で電気的に接続されている。

【0022】

音楽情報生成部３０は、生成した音楽を表す音楽情報を、デジタル信号として音楽出力部６０に出力する。入力されたデジタル信号は、Ｄ／Ａ変換部６２によりアナログ信号に変換され、増幅部６４により増幅されて、スピーカ６６に出力される。スピーカ６６は、入力されたアナログ信号を応じて音を発生させる。これにより、音楽出力部６０では、入力された音楽情報に基づいて音楽が演奏される。

【0023】

（映像音楽生成部）
次に、映像音楽生成部のハードウエア構成について説明する。
図４は映像音楽生成部のハードウエア構成の一例を示す図である。図４に示すように、映像音楽生成部１０は、各種制御及び各種演算を行うコンピュータとして構成されている。即ち、映像音楽生成部１０は、ＣＰＵ１０Ａ、ＲＯＭ１０Ｂ、ＲＡＭ１０Ｃ、不揮発性メモリ１０Ｄ、及び入出力インターフェース（Ｉ／Ｏ）１０Ｅを備えている。ＣＰＵ１０Ａ、ＲＯＭ１０Ｂ、ＲＡＭ１０Ｃ、不揮発性メモリ１０Ｄ、及びＩ／Ｏ１０Ｅの各々は、バス１０Ｆを介して接続されている。

【0024】

本実施の形態では、ＲＯＭ１０Ｂには、後述する「音楽生成処理」を実行するための制御プログラムが記憶されている。また、「ＭＩＤＩ信号変換用のソフトウエア」や、「ＭＩＤＩ信号から音楽情報を生成するソフトウエア」も、ＲＯＭ３０Ｂに記憶されている。これらのＭＩＤＩ用ソフトウエアとして、汎用のソフトウエアを用いてもよい。ＣＰＵ１０Ａは、ＲＯＭ１０Ｂに記憶されたプログラムを読み出し、ＲＡＭ１０Ｃをワークエリアとして使用してプログラムを実行する。なお、ここでは、ソフトウエアはプログラムと同義である。

【0025】

ＭＩＤＩ（Musical Instrument Digital Interface）とは、音楽情報をデジタル信号で通信するための国際規格である。ＭＩＤＩ信号とは、ＭＩＤＩ規格の情報であり、標準的なＭＩＤＩファイル形式（ＳＭＦ：Standard MIDI File Format）の情報である。「ＭＩＤＩ信号変換用のソフトウエア」では、音の基本振動数を「ノートナンバー」、音圧レベルを「ベロシティレベル」、音色を「楽器名を表すナンバー」、時間変化を「ノートオン／ノートオフ」を表すデータに各々変換している。

【0026】

また、「ＭＩＤＩ信号から音楽情報を生成するソフトウエア」では、ＭＩＤＩ信号のノートナンバーに音源を割り当てると共に、音源に付随する表現に関する各種パラメータを設定、変更する。例えば、カメラ２０からの出力信号から得られたＭＩＤＩ信号について、ノートナンバー０〜８７をピアノの８８鍵盤の音階に割り当ててもよい。また、波形データのある範囲を繰り返し再生するループ、音源の時間変化を示すエンベロープ、各音源の音量変化の設定、音の鮮明度の変化をカットオフ周波数の設定により行うフィルタの設定、音像定位、音の強弱を表すベロシティ、及び同時に発音させる音源の選択等、各種のパラメータを設定、変更してもよい。

【0027】

映像音楽生成部１０には、Ｉ／Ｏ１０Ｅを介して、上記のカメラ２０、映像出力部５９、音楽出力部６０に加えて、利用者の操作を受け付ける操作部３２、利用者に各種情報を表示する表示部３４、及びネットワークを介して外部装置と通信を行うためのインターフェースである通信部３６の各部が接続されている。映像音楽生成部１０は、カメラ２０から出力信号を受け取り、映像出力部５９に映像情報を出力すると共に、音楽出力部６０に音楽情報を出力する。また、ＣＰＵ１０Ａは、カメラ２０、映像出力部５９、音楽出力部６０、操作部３２、表示部３４、及び通信部３６の各部を制御する。

【0028】

情報の授受は通信部３６を介して行うこともできる。図４に示すように、従たるカメラ２０Ｓはネットワークを介して映像音楽生成部１０に接続されており、従たるカメラ２０Ｓの出力信号（副映像の映像信号）は、通信部３６を介して取得される。なお、主たるカメラ２０Ｍは、Ｉ／Ｏ１０Ｅを介して映像音楽生成部１０に接続されている。

【0029】

また、映像音楽生成部１０には、各種ドライブが接続されていてもよい。各種ドライブは、フレキシブルディスク、光磁気ディスク、ＣＤ−ＲＯＭなどのコンピュータ読み取り可能な可搬性の記録媒体からデータを読み込んだり、記録媒体に対してデータを書き込んだりする装置である。各種ドライブを備える場合には、可搬性の記録媒体に制御プログラムを記録しておいて、これを対応するドライブで読み込んで実行してもよい。

【0030】

（カメラの配置例）
次に、第１の実施の形態に係る音楽生成装置のカメラ２０の配置について説明する。
図６は音楽生成装置における複数のカメラの配置を示す模式図である。図６に示す例では、主たるカメラ２０Ｍは、自車両１００の正面に搭載され、車両前方を撮影する車載カメラである。主映像（自分の映像）は、自分２１Ｍの視点から撮影される、車両前方の映像である。搭乗者である自分２１Ｍは、車両前方の景色を見ることができる。

【0031】

従たるカメラ２０Ｓは、自車両１００の後部に搭載され、車両後方を撮影する車載カメラである。副映像（他者の映像）は、他者２１Ｓの視点から撮影される、車両後方の映像である。同乗者である他者２１Ｓは、車両後方の景色を見ることができる。

【0032】

自車両１００には、主たるカメラ２０Ｍ及び従たるカメラ２０Ｓの外に、映像音楽生成部１０、映像出力部５９、及び音楽出力部６０が搭載されている。搭乗者である自分２１Ｍ及び同乗者である他者２１Ｓは、利用者として、映像出力部５９に表示される合成映像を観ることができるし、音楽出力部６０により演奏される音楽を聞くことができる。

【0033】

この例では、自車両１００の正面に主たるカメラ２０Ｍが搭載され、自車両１００の後部に従たるカメラ２０Ｓが搭載されているので、主映像と副映像を合成した合成映像は、車両後方の映像が折り返されて車両前方の映像に重畳された映像となり、利用者には不可思議な映像空間が提供される。

【0034】

なお、従たるカメラ２０Ｓを、自車両１００に対して水平方向に回転可能に構成してもよい。従たるカメラ２０Ｓを回転させると、回転に伴い副映像が変化し、合成映像と音楽も変化する。従たるカメラ２０Ｓが他者２１Ｓの操作により回転駆動される場合は、他者２１Ｓの操作により合成映像と音楽とを意図的に変化させることができる。

【0035】

（映像音楽生成部の機能）
次に、映像音楽生成部１０を機能面から説明する。
図５は映像音楽生成部の機能を概念的に示す模式図である。図５に示すように、映像音楽生成部１０は、主映像と副映像とを合成して合成映像を生成すると共に、主映像から生成した音楽情報と副映像から生成した音楽情報とを合成して１つの音楽情報（音楽）を生成する。以下、映像音楽生成部１０の構成を詳細に説明する。

【0036】

図７は第１の実施の形態に係る映像音楽生成部の構成の一例を示す機能ブロック図である。図７に示すように、映像音楽生成部１０は、バッファ４０、映像情報生成部２９、及び音楽情報生成部３０を備えている。映像情報生成部２９は、映像処理部４１及び映像合成部４２を備えている。音楽情報生成部３０は、信号処理部４４、音楽情報生成部４６、及び音楽情報合成部４８を備えている。

【0037】

主たるカメラ２０Ｍからは主映像の出力信号が出力され、従たるカメラ２０Ｓからは副映像の出力信号が出力されている。映像音楽生成部１０は、予め定めた周波数（例えば、３０Ｈｚ〜６０Ｈｚ）でサンプリングを行い、主たるカメラ２０Ｍ及び従たるカメラ２０Ｓからのデジタルの出力信号を取得する。なお、主たるカメラ２０Ｍと従たるカメラ２０Ｓとを区別する必要が無い場合は、カメラ２０と総称する。

【0038】

バッファ４０は、例えば、数ミリ秒以上２００ミリ秒以下の短い期間、サンプリングした出力信号を一時的に保持する。デジタルの出力信号は、カメラ２０の出力電圧を時間ごとにデジタル値で表したものである。以下、カメラ２０の出力信号の表す値を「カメラ２０の出力値」という。出力信号の表す値（カメラ２０の出力値）は、サンプリング時間内での平均値、最大値等の代表値とすることができる。バッファ４０は、主たるカメラ２０Ｍ及び従たるカメラ２０Ｓからの出力信号の各々を、映像情報生成部２９及び音楽情報生成部３０の各々に取得した順序で出力する。

【0039】

まず、映像情報生成部２９の機能について説明する。映像処理部４１は、主たるカメラ２０Ｍ及び従たるカメラ２０Ｓからの出力信号に対して、映像処理を実施して映像情報を生成する。映像処理部４１は、得られた映像情報の各々を、映像合成部４２に出力する。映像合成部４２は、主映像の映像情報と副映像の映像情報とを合成して合成映像の映像情報を生成する。そして、映像合成部４２は、得られた合成映像の映像情報を、映像出力部５９に出力する。主映像及び副映像の少なくとも一方が変化することにより、合成映像も変化する。

【0040】

映像合成部４２により合成映像の映像情報を生成する際に、単に画像を重畳するのではなく、再構成処理を加えて抽象化してもよい。例えば、主画像及び副画像の各々を複数のブロック画像に分解し、主画像のブロック画像と副画像のブロック画像とを、例えば交互に並べる等、適宜配置して合成画像を再構成する。

【0041】

複数の映像の各々は、異なる視点から撮影されたものであり、各映像空間はパラレルワールドを表す。本実施の形態では、これら複数の映像が合成された合成映像を生成することで、複数のパラレルワールドが同時に進行しているような不思議な映像空間を利用者に提供することができる。また、再構成処理を加えて抽象化した場合、異なる視点から撮影されたブロック画像が適宜配置された合成映像は、動くキュビズムといった印象を利用者に与える。

【0042】

次に、音楽情報生成部３０の機能について説明する。信号処理部４４は、主たるカメラ２０Ｍ及び従たるカメラ２０Ｓの各々からの出力信号に対してフレーム単位でエッジ検出処理を実施し、検出されたエッジの変化量に応じて出力信号をＭＩＤＩ信号に変換する。そして、信号処理部４４は、得られたＭＩＤＩ信号を、音楽情報生成部４６に出力する。音楽情報生成部４６は、ＭＩＤＩ信号を受け取ると、ＭＩＤＩ信号から音楽情報を生成する。

【0043】

ここで、信号処理部４４は、主たるカメラ２０Ｍの主映像の出力信号から、基本の音楽情報用のＭＩＤＩ信号を生成する。音楽情報生成部４６は、これらのＭＩＤＩ信号から基本の音楽情報を生成する。一方、信号処理部４４は、従たるカメラ２０Ｓの副映像の出力信号から、他の音楽情報用のＭＩＤＩ信号を生成する。音楽情報生成部４６は、これらのＭＩＤＩ信号から他の音楽情報を生成する。

【0044】

音楽情報生成部４６は、基本の音楽情報及び他の音楽情報の各々を、音楽情報合成部４８に出力する。音楽情報合成部４８は、基本の音楽情報と他の音楽情報とを合成して、主映像及び副映像に応じた１つの音楽情報を生成する。そして、音楽情報合成部４８は、得られた音楽情報を演奏用の音楽情報として音楽出力部６０に出力する。主映像及び副映像の少なくとも一方が変化することにより、音楽も変化する。

【0045】

上記の通り、異なる視点から撮影された主映像と副映像とは関連性が無く、主映像から生成した音楽情報と副映像から生成した音楽情報とを単に合成して１つの音楽情報としたのでは、無秩序で違和感のある音楽が生成される。

【0046】

本実施の形態では、異なる視点から撮影された複数の映像を、秩序化して使用することで、違和感の無い１つの音楽を生成する。秩序化は音楽のランダム性を低下させる手段である。違和感を発生させないためには、主映像と副映像は１つの音楽に対して同等ではない。音楽の基調を成す基本の音楽情報を主映像から生成することで、秩序化される。ここで「秩序化」について詳しく説明する。

【0047】

具体的には、主映像に基づいて基本の音楽情報である「ベロシティ、リズム及びコード進行」を生成する。例えば、自分が明るい場所に居るならば、他者が暗い場所に居ても、強いベロシティで音が鳴るようにする。その方が、自分が居る環境と対応するからである。また、リズムやコード進行は、主映像の変化速度に応じて変化させる。自分の移動速度に合わせたリズムやコード進行でなければ、自分の体感と一致せず違和感を生じるからである。なお、基本の音楽情報の一部は、一定としてもよい。例えば、「スケール」は、アボイドノート（聞きづらい和音）が生じないように、Ｃメジャースケール等、全ての楽器に同じスケールを当てはめてもよい。また、「音色」の変化は曲調を変化させるので、主映像に基づいて変化させる。

【0048】

一方、副映像に基づいて基本の音楽情報以外の他の音楽情報である「トーン」を生成する。例えば、副映像が車両前方の景色を撮影した映像等の場合は、副映像の全体からトーンを生成する。この場合は、副映像から生成される音楽は、伴奏音や雰囲気を表すＢＧＭ的な音楽となる。また、例えば、副映像が人物を撮影した映像等の場合は、人物の動きからトーンを生成する。この場合は、副映像から生成される音楽は、人物の動きに応じて発生するアクセント的な音となる。そして、基本の音楽情報と他の音楽情報とを合成して１つの音楽情報を得ることで、秩序化されていて違和感の無い１つの音楽を生成することができる。

【0049】

また、本実施の形態では、主映像が車両前方の景色を撮影した映像等の場合は、主映像から物標を検出し、物標が検出された場合の音を生成する。物標があるとドンドンと音がする、物標が近づいてくると連続的に音が変化する等、物標との対応関係に応じて音が発生する。自分の映像からそれらの音を生成する方が、自分が観ている風景に対応する。

【0050】

なお、１つの視点から撮影された主映像（自分の映像）に基づいて音楽を生成する従来技術では、他者の関与が無いために疎外感を生じることがある。本実施の形態では、他の視点から撮影された副映像（他者の映像）を併せて用いることで、映像や音楽の生成に他者を関与させることができ、他者との連帯感を感じることができる。例えば、他者が居てくれたので自分は映像や音楽を生成することができたと他者に感謝し、自分は他者の役に立ったという喜びを感じることができる。

【0051】

（音楽生成処理）
次に、映像音楽生成部１０のＣＰＵ１０Ａにより実行される「音楽生成処理」について説明する。「音楽生成処理」は、操作部３２を介して搭乗者からの開始指示があり、カメラ２０からの出力信号が取得されると開始される。図８は「音楽生成処理」の手順の一例を示すフローチャートである。

【0052】

まず、ステップ１００で、取得した出力信号が主たるカメラ２０Ｍから主映像の出力信号か否かを判定する。主映像の出力信号を取得した場合は、ステップ１０２に進む。主映像の出力信号を取得していない場合は、取得した出力信号は、従たるカメラ２０Ｓから取得された副映像の出力信号であるため、ステップ１１０に進む。

【0053】

次に、ステップ１０２で、主映像の出力信号に対してフレーム単位でエッジ検出処理を実施し、前のフレームと現在のフレームとを比較して、エッジの変化量を算出する。エッジの変化量は、フレーム内での平均値、最大値等の代表値とすることができる。続くステップ１０４で、算出されたエッジの変化量に応じて主映像の出力信号を、基本の音楽情報用のＭＩＤＩ信号に変換する。続くステップ１０６で、上記ステップ１０４で得られたＭＩＤＩ信号から基本の音楽情報を生成する。

【0054】

一方、ステップ１１０では、副映像の出力信号に対してフレーム単位でエッジ検出処理を実施し、前のフレームと現在のフレームとを比較して、エッジの変化量を算出する。続くステップ１１２で、算出されたエッジの変化量に応じて副映像の出力信号を、他の音楽情報用のＭＩＤＩ信号に変換する。続くステップ１１４で、上記ステップ１１２で得られたＭＩＤＩ信号から他の音楽情報を生成する。

【0055】

なお、図９（Ａ）及び（Ｂ）に示すように、エッジ検出処理はフレームＦ全体について実施してもよく、フレームＦ内の限定した領域Ａ、Ｂ、Ｃの何れかについて実施してもよい。例えば、フレームＦ全体でエッジ検出処理を実施してエッジの変化量を算出する場合、全体の中の一部で映像が変化してもエッジの変化量は小さい。これに対して、領域Ａ、Ｂ、Ｃのように領域を絞ると、領域内で映像が変化するとエッジの変化量が大きくなる。

【0056】

例えば、主たるカメラ２０Ｍ及び従たるカメラ２０Ｓの両方が車載カメラである場合、主たるカメラ２０Ｍから得られる主映像については、領域Ａ、Ｃのように狭い領域についてエッジ検出処理を実施し、従たるカメラ２０Ｓから得られる副映像については、フレームＦ全体又は領域Ｂのように広い領域についてエッジ検出処理を実施する。これにより、主映像の変化が、副映像の変化よりも音楽の変化に大きく反映され、より違和感の無い音楽が生成される。

【0057】

なお、本実施の形態では、各映像に対してフレーム単位でエッジ検出処理を実施し、直前のフレームと現在のフレームとを比較して、エッジの変化量を「被写体の動き（画像の変化）」として求めるが、他の方法で「被写体の動き」を求めてもよい。例えば、エッジ検出の代わりにフレーム単位でＲＧＢ各色の映像信号から明るさを求め、明るさの変化量を算出してもよい。この場合は、明るさの変化量に応じて主映像の出力信号をＭＩＤＩ信号に変換する。

【0058】

また、エッジ等の被写体の位置を表す特徴点での変化量を求めるのではなく、フレーム内の各画素の階調値に着目して、直前のフレームと現在のフレームとの差分画像を求め、階調値が「０」ではない部分に「被写体の動き」が在るものとしてもよい。更に、フレーム内の全画素について、階調値の最大値、最小値、平均値等を求め、それぞれの変化量を求めると、「被写体の動き（画像の変化）」がより明確になる。

【0059】

次に、ステップ１０８で、上記ステップ１０６で得られた基本の音楽情報と上記ステップ１１４で得られた他の音楽情報とを合成し、演奏用の１つの音楽情報を生成して、音楽出力部６０に出力する。次に、ステップ１１６で、利用者からの停止指示があったか否かを判定する。停止指示があればルーチンを終了し、停止指示が無ければステップ１００に戻って、ステップ１００からステップ１１６までの手順を繰り返す。

【0060】

以上説明したように、第１の実施の形態に係る音楽再生装置によれば、異なる視点から撮影された複数の映像を、秩序化して使用することで、違和感の無い１つの音楽を生成することができる。

【0061】

＜第２の実施の形態＞
第２の実施の形態は、カメラ２０の配置を変更した以外は、第１の実施の形態に係る音楽生成装置と同様の構成であるため、同じ構成部分には同じ符号を付して説明を省略する。

【0062】

（カメラの配置例）
まず、第２の実施の形態のカメラ２０の配置について説明する。
図１０は第２の実施の形態に係る音楽生成装置における複数のカメラ２０の配置を示す模式図である。図１０に示す例では、自車両１００と他車両２００の２台の車両が在る。主たるカメラ２０Ｍは、自車両１００の正面に搭載され、車両前方を撮影する車載カメラである。主映像（自分の映像）は、自分２１Ｍの視点から撮影される、車両前方の映像である。搭乗者である自分２１Ｍは、自車両１００の車両前方の景色を見ることができる。

【0063】

従たるカメラ２０Ｓは、他車両２００の正面に搭載され、車両前方を撮影する車載カメラである。副映像（他者の映像）は、他者２１Ｓの視点から撮影される、車両前方の映像である。同乗者である他者２１Ｓは、他車両２００の車両前方の景色を見ることができる。

【0064】

自車両１００には、主たるカメラ２０Ｍの外に、映像音楽生成部１０、映像出力部５９、音楽出力部６０、及び通信部３６が搭載されている。搭乗者である自分２１Ｍは、映像出力部５９に表示される合成映像を観ることができるし、音楽出力部６０により演奏される音楽を聞くことができる。なお、自車両１００には、他の搭乗者が搭乗していてもよい。他の搭乗者も、映像出力部５９に表示される合成映像を観ることができるし、音楽出力部６０により演奏される音楽を聞くことができる。

【0065】

（映像音楽生成部）
図１１は第２の実施の形態に係る映像音楽生成部の構成の一例を示す機能ブロック図である。図１１に示すように、映像音楽生成部１０に、従たるカメラ２０Ｓが通信部３６を介して接続されている以外は、図７に示す映像音楽生成部１０と同様の構成であるため、同じ構成部分には同じ符号を付して説明を省略する。なお、映像音楽生成部１０の各機能部については図示を省略する。

【0066】

主たるカメラ２０Ｍは、映像音楽生成部１０に接続されている。映像音楽生成部１０は、主たるカメラ２０Ｍの出力信号（主映像の映像信号）を取得する。従たるカメラ２０Ｓは、ネットワークを介して映像音楽生成部１０に接続される。映像音楽生成部１０は、従たるカメラ２０Ｓの出力信号（副映像の映像信号）を、通信部３６を介して取得する。

【0067】

第２の実施の形態では、自車両１００は、他車両２００に搭載された従たるカメラ２０Ｓにより撮影される。従って、主映像と副映像とを合成した合成映像には、自車両１００が写り込み、利用者（自分２１Ｍ）には不可思議な映像空間が提供される。自分２１Ｍは、自車両１００に搭乗しながら、自車両１００の姿を見ていることになる。自車両１００と他車両２００との距離が離れていると、前方方向の映像（風景）も異なる。例えば、自車両１００の前方方向には道路があるのに、他車両２００の前方方向にはビルが存在する場合、合成映像には、道路の前にビルが存在するかのように写り込む。これにより、利用者は、現実世界とは異なる別の世界に居るかのように感じることになる。

【0068】

＜変形例＞
（他のカメラ配置）
上記の実施の形態では、複数のカメラ２０の各々が車載カメラである例について説明したが、複数のカメラ２０の各々は車載カメラに限定される訳ではない。以下に、カメラ配置の変形例を示す。図１２〜図１４、及び図１６は複数のカメラの他の配置例を示す模式図である。

【0069】

図１２に示す例では、主たるカメラ２０Ｍは、自車両１００の正面に搭載され、車両前方を撮影する車載カメラである。主映像（自分の映像）は、自分２１Ｍの視点から撮影される、車両前方の映像である。搭乗者である自分２１Ｍは、自車両１００の車両前方の景色を見ることができる。従たるカメラ２０Ｓは、車両とは離間した位置に配置されたカメラである。副映像（他者の映像）は、他者２１Ｓの視点から撮影される、車両とは無関係な映像である。

【0070】

自車両１００には、主たるカメラ２０Ｍの外に、映像音楽生成部１０、映像出力部５９、音楽出力部６０、及び通信部３６が搭載されている。搭乗者である自分２１Ｍは、映像出力部５９に表示される合成映像を観ることができるし、音楽出力部６０により演奏される音楽を聞くことができる。図示した例では、従たるカメラ２０Ｓは、車両とは無関係な副映像を撮影する。従って、主映像と副映像とを合成した合成映像には、車両とは無関係な映像が写り込み、利用者（自分２１Ｍ）には不可思議な映像空間が提供される。

【0071】

図１３に示す例では、主たるカメラ２０Ｍ及び従たるカメラ２０Ｓの各々は、車両とは無関係に互いに離間して配置されたカメラである。主映像（自分の映像）は、自分２１Ｍの視点から撮影される、車両とは無関係な映像である。また、副映像（他者の映像）は、他者２１Ｓの視点から撮影される、車両とは無関係な映像である。

【0072】

自分２１Ｍの周辺には、主たるカメラ２０Ｍの外に、映像音楽生成部１０、映像出力部５９、音楽出力部６０、及び通信部３６が配置されている。自分２１Ｍは、映像出力部５９に表示される合成映像を観ることができるし、音楽出力部６０により演奏される音楽を聞くことができる。図示した例では、主たるカメラ２０Ｍは自分２１Ｍの視点から主映像を撮影し、従たるカメラ２０Ｓは他者２１Ｓの視点から副映像を撮影する。従って、主映像と副映像とを合成した合成映像には、異なる視点から並行して撮影された複数の映像が写り込み、利用者（自分２１Ｍ）には不可思議な映像空間が提供される。

【0073】

この例では、主たるカメラ２０Ｍ及び従たるカメラ２０Ｓの各々は、車両と無関係である。例えば、自分２１Ｍは仕事場で作業をしており、主たるカメラ２０Ｍが自分２１Ｍの姿を捉えている（主映像）。他者２１Ｓである子供は動物園におり、従たるカメラ２０Ｓで動物を撮影している（副映像）。主たるカメラ２０Ｍの被写体である自分２１Ｍや従たるカメラ２０Ｓの被写体である動物が動くことで、主映像と副映像とが合成された合成画像と音楽とが変化する。また、離れた位置に居る他者２１Ｓを、従たるカメラ２０Ｓの被写体とした場合、他者２１Ｓの様子を監視することもできる。

【0074】

図１４に示す例では、従たるカメラ２０Ｓは、他車両２００の正面に搭載され、車両前方を撮影する車載カメラである。副映像（他者の映像）は、他者２１Ｓの視点から撮影される、車両前方の映像である。搭乗者である他者２１Ｓは、他車両２００の車両前方の景色を見ることができる。主たるカメラ２０Ｍは、車両とは離間した位置に配置されたカメラである。主映像（自分の映像）は、自分２１Ｍの視点から撮影される、車両とは無関係な映像である。

【0075】

自分２１Ｍの周辺には、主たるカメラ２０Ｍの外に、映像音楽生成部１０、映像出力部５９、音楽出力部６０、及び通信部３６が配置されている。自分２１Ｍは、映像出力部５９に表示される合成映像を観ることができるし、音楽出力部６０により演奏される音楽を聞くことができる。図示した例では、従たるカメラ２０Ｓで撮影される副映像は、他者２１Ｓの視点から撮影される、車両前方の映像である。従って、主映像と副映像とを合成した合成映像には、他者２１Ｓの視点から撮影された車両前方の映像が写り込み、利用者（自分２１Ｍ）には不可思議な映像空間が提供される。

【0076】

図１６に示す例では、主映像を「他者の映像」とし、副映像を「自分の映像」とする。主たるカメラ２０Ｍは、他車両２００の正面に搭載され、車両前方を撮影する車載カメラである。主映像（他者の映像）は、他者２１Ｓの視点から撮影される、車両前方の映像である。搭乗者である他者２１Ｓは、他車両２００の車両前方の景色を見ることができる。従たるカメラ２０Ｓは、車両とは離間した位置に配置されたカメラである。副映像（自分の映像）は、自分２１Ｍの後方に在る視点から撮影される、自分２１Ｍを被写体とした映像である。

【0077】

自分２１Ｍの周辺には、従たるカメラ２０Ｓの外に、映像音楽生成部１０、映像出力部５９、音楽出力部６０、及び通信部３６が配置されている。自分２１Ｍは、映像出力部５９に表示される合成映像を観ることができるし、音楽出力部６０により演奏される音楽を聞くことができる。図示した例では、主たるカメラ２０Ｍで撮影される副映像は、他者２１Ｓの視点から撮影される、車両前方の映像である。従って、主映像と副映像とを合成した合成映像には、他者２１Ｓの視点から撮影された車両前方の映像に自分２１Ｍが写り込み、利用者（自分２１Ｍ）には自分がドライブしているような不可思議な映像空間が提供される。

【0078】

また、利用者（自分２１Ｍ）が見るのは、主たるカメラ２０Ｍで撮影された車両前方の映像（他者の映像）に自分２１Ｍが写り込んだ合成映像である。従って、主映像である「他者の映像」に基づいて基本の音楽情報を生成し、副映像である「自分の映像」に基づいて他の音楽情報を生成する。例えば、自分２１Ｍの動きに応じてポロンポロンというアクセント的な音を発生させる等、副映像に基づいてトーンを生成する。

【0079】

（他の映像合成）
上記実施の形態では、主映像と副映像とを合成して合成映像を生成する例について説明したが、更に他の映像を合成してもよい。図１５はＶＲ映像を使用する映像音楽生成部の機能を概念的に示す模式図である。図１５に示すように、映像音楽生成部１０は、主映像と副映像と仮想現実映像（ＶＲ映像）とを合成して合成映像を生成する。ＶＲ映像により映像空間に架空の物体を加えることで、映像空間がゲーム映像のような仮想空間になる。なお、ＶＲ映像は音楽情報の生成には使用しない。ＶＲ映像を合成する場合も、主映像から生成した音楽情報と副映像から生成した音楽情報とを合成して１つの音楽情報を生成する。

【0080】

なお、上記実施の形態で説明した音楽生成装置及びプログラムの構成は一例であり、本発明の主旨を逸脱しない範囲内においてその構成を変更してもよいことは言うまでもない。

【符号の説明】

【0081】

１０ 映像音楽生成部
２０ カメラ
２０Ｍ 主たるカメラ
２０Ｓ 従たるカメラ
２１Ｍ 自分
２１Ｓ 他者
２２ 撮像部
２４ Ａ/Ｄ変換部
２６ 処理部
２８ 送信部
２９ 映像情報生成部
３０ 音楽情報生成部
３２ 操作部
３４ 表示部
３６ 通信部
４０ バッファ
４１ 映像処理部
４２ 映像合成部
４４ 信号処理部
４６ 音楽情報生成部
４８ 音楽情報合成部
５９ 映像出力部
６０ 音楽出力部
６２ Ｄ/Ａ変換部
６４ 増幅部
６６ スピーカ
１００ 自車両
２００ 他車両
Ａ、Ｂ、Ｃ 領域
Ｆ フレーム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】