特許 6575101 音楽生成装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6575101

(24)【登録日】2019年8月30日

(45)【発行日】2019年9月18日

(54)【発明の名称】音楽生成装置

(51)【国際特許分類】

   G10H 1/00 20060101AFI20190909BHJP

   G10G 1/04 20060101ALI20190909BHJP

【ＦＩ】

   G10H1/00 102Z

   G10G1/04

【請求項の数】4

【全頁数】15

(21)【出願番号】特願2015-62707(P2015-62707)

(22)【出願日】2015年3月25日

(65)【公開番号】特開2016-183988(P2016-183988A)

(43)【公開日】2016年10月20日

【審査請求日】2017年12月26日

(73)【特許権者】

【識別番号】000003609

【氏名又は名称】株式会社豊田中央研究所

(74)【代理人】

【識別番号】100079049

【弁理士】

【氏名又は名称】中島 淳

(74)【代理人】

【識別番号】100084995

【弁理士】

【氏名又は名称】加藤 和詳

(72)【発明者】

【氏名】嶋田 英人

(72)【発明者】

【氏名】宇田 尚典

【審査官】 山下 剛史

(56)【参考文献】

【文献】 特開２００６−６９２８８（ＪＰ，Ａ）

【文献】 特開平１１−２０８３７０（ＪＰ，Ａ）

【文献】 特開２００７−１６１０５６（ＪＰ，Ａ）

【文献】 特開２００６−２３５２０１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ１０Ｈ １／００−７／１２

Ｇ１０Ｇ １／００−３／０４

Ｇ０８Ｇ １／００

(57)【特許請求の範囲】

【請求項1】

車両の外部環境に応じた音楽を生成する音楽生成装置であって、
前記車両の外部環境の状況に応じた信号を出力する環境検出センサの出力信号に基づいて曲を表す音楽情報を生成し、前記車両の外部環境に障害物が存在することを表す信号を出力する対象検出センサの出力信号に基づいて効果音を表す音楽情報を生成する音楽情報生成手段と、
前記曲を表す音楽情報と前記効果音を表す音楽情報とを合成した音楽情報を、前記車両の外部環境に応じた音楽として生成する音楽情報合成手段と、
前記環境検出センサ及び前記対象検出センサの少なくとも一方のセンサの反応が増加する場合に、前記音楽情報生成手段によって生成される前記曲を表す音楽情報の構成要素及び前記効果音を表す音楽情報の構成要素を変化させる曲調変更手段と、
を含み、
前記環境検出センサにより出発地から目的地までの経路上における車両の位置が検出できる場合に、前記曲調変更手段が、前記車両から前記目的地までの距離に応じて、前記音楽情報生成手段によって生成される前記曲を表す音楽情報の構成要素及び前記効果音を表す音楽情報の構成要素を変化させる、
音楽生成装置。

【請求項2】

前記音楽情報生成手段は、前記環境検出センサの出力信号が示す値が予め定めた閾値以上の場合に、当該出力信号から曲を表す音楽情報を生成し、前記対象検出センサの出力信号が示す値が予め定めた閾値以上の場合に、当該出力信号から効果音を表す音楽情報を生成する、請求項１に記載の音楽生成装置。

【請求項3】

前記曲調変更手段が、前記センサの反応の増加を表す物理量が予め定めた閾値以上の場合に、前記音楽情報生成手段によって生成される前記曲を表す音楽情報の構成要素及び前記効果音を表す音楽情報の構成要素を変化させる、請求項１に記載の音楽生成装置。

【請求項4】

前記曲を表す音楽情報、前記効果音を表す音楽情報、及び前記合成した音楽情報の各々が、ＭＩＤＩファイル形式の情報である、請求項１から請求項３までのいずれか１項に記載の音楽生成装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は車両の外部環境に応じた音楽を生成する音楽生成装置に関する。

【背景技術】

【0002】

対象物や状況に応じて音楽を生成する技術が種々開発されている。例えば、非特許文献１に記載の技術では、木の電圧を取得しその情報を基に音楽を生成する。非特許文献２に記載の技術では、鉄道の窓からの風景（車窓）をカメラで解釈することにより音楽を生成する。非特許文献３に記載の技術では、ＧＰＳ情報、車のスピード、エンジン回転数などの車の状況から音楽を生成することで、運転しているものの気分に合わせて自動的に音楽が生成される。また、特許文献１には、センサ信号をＡＤ変換器でデジタル値に変換し、その情報を基に作曲データ（ＭＩＤＩ信号）に変換する音響構成装置が記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第３３８１０７４号公報

【非特許文献】

【0004】

【非特許文献1】http://forestsymphony.ycam.jp/info/#

【非特許文献2】http://gigazine.net/news/20110202_sound_tracks_jmaf2010/

【非特許文献3】http://www.volkswagen.co.uk/playtheroad

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、車両の外部環境に応じて音楽を生成する技術は従来ない。非特許文献３に記載の技術は、車の状況から音楽を生成しているのであって、車両の外部環境に応じて音楽を生成するものではない。特許文献１に記載の音響構成装置は、外部環境に応じて音楽を生成する技術ではあるが、外部環境から常に信号が取得できる環境検出センサを用いるものに過ぎない。

【0006】

一方、車両の搭乗者が運転する時に重点的に認知するのは、対向車両、人物、建物など障害物である。このため、車両には障害物を検出する対象検出センサが種々設置されている。対象検出センサによれば、外部環境に対象が存在する場合にだけ信号が取得される。したがって、対象検出センサにより取得した信号に基づいて音楽を生成した場合、外部環境に対象が存在するときにしか音楽が生成されない。

【0007】

本発明は上記事情に鑑みなされたものであり、本発明の目的は、煩わしさを感じさせることなく、車両の外部環境及び外部環境における対象の存在を音楽により搭乗者に知らせることができる音楽生成装置を提供することにある。

【課題を解決するための手段】

【0008】

上記目的を達成するために請求項１に係る発明は、車両の外部環境に応じた音楽を生成する音楽生成装置であって、前記車両の外部環境の状況に応じた信号を出力する環境検出センサの出力信号に基づいて曲を表す音楽情報を生成し、前記車両の外部環境に障害物が存在することを表す信号を出力する対象検出センサの出力信号に基づいて効果音を表す音楽情報を生成する音楽情報生成手段と、前記曲を表す音楽情報と前記効果音を表す音楽情報とを合成した音楽情報を、前記車両の外部環境に応じた音楽として生成する音楽情報合成手段と、前記環境検出センサ及び前記対象検出センサの少なくとも一方のセンサの反応が増加する場合に、前記音楽情報生成手段によって生成される前記曲を表す音楽情報の構成要素及び前記効果音を表す音楽情報の構成要素を変化させる曲調変更手段と、を含み、前記環境検出センサにより出発地から目的地までの経路上における車両の位置が検出できる場合に、前記曲調変更手段が、前記車両から前記目的地までの距離に応じて、前記音楽情報生成手段によって生成される前記曲を表す音楽情報の構成要素及び前記効果音を表す音楽情報の構成要素を変化させる、音楽生成装置である。

【0009】

請求項２に係る発明は、前記音楽情報生成手段は、前記環境検出センサの出力信号が示す値が予め定めた閾値以上の場合に、当該出力信号から曲を表す音楽情報を生成し、前記対象検出センサの出力信号が示す値が予め定めた閾値以上の場合に、当該出力信号から効果音を表す音楽情報を生成する、請求項１に記載の音楽生成装置である。

【0011】

請求項３に係る発明は、前記曲調変更手段が、前記センサの反応の増加を表す物理量が予め定めた閾値以上の場合に、前記音楽情報生成手段によって生成される前記曲を表す音楽情報の構成要素及び前記効果音を表す音楽情報の構成要素を変化させる、請求項１に記載の音楽生成装置である。

【0013】

請求項４に係る発明は、前記曲を表す音楽情報、前記効果音を表す音楽情報、及び前記合成した音楽情報の各々が、ＭＩＤＩファイル形式の情報である、請求項１から請求項３までのいずれか１項に記載の音楽生成装置である。

【発明の効果】

【0014】

本発明の音楽生成装置によれば、煩わしさを感じさせることなく、車両の外部環境及び外部環境における障害物の存在を音楽により搭乗者に知らせることができる。

【図面の簡単な説明】

【0015】

【図1】本発明の実施の形態に係る音楽生成装置の全体構成の一例を示すブロック図である。

【図2】センサの構成の一例を示すブロック図である。

【図3】音楽出力部の構成の一例を示すブロック図である。

【図4】音楽情報生成部のハードウエア構成の一例を示す図である。

【図5】音楽情報生成部の詳細構成の一例を示すブロック図である。

【図6】（Ａ）及び（Ｂ）はセンサ機能の相違を説明する模式図である。

【図7】各種センサの車両への搭載例を示す模式図である。

【図8】（Ａ）は実験１での外部環境の写真であり、（Ｂ）及び（Ｃ）は実験１の結果であるセンサ波形を示すグラフである。

【図9】（Ａ）は実験２の外部環境の写真であり、（Ｂ）及び（Ｃ）は実験２の結果であるセンサ波形を示すグラフである。

【図10】「音楽生成処理」の手順の一例を示すフローチャートである。

【図11】「音楽生成処理」の手順の他の一例を示すフローチャートである。

【図12】（Ａ）〜（Ｄ）はセンサの反応が増加したか否かを判定する手法の一例を説明する図である

【発明を実施するための形態】

【0016】

以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。

【0017】

＜音楽生成装置＞
（全体構成）
まず、本実施の形態に係る音楽生成装置の全体構成について説明する。
図１は本発明の実施の形態に係る音楽生成装置の全体構成の一例を示すブロック図である。本実施の形態に係る音楽生成装置は、車両の外部環境に応じた音楽を生成する音楽生成装置である。図１に示すように、音楽生成装置１０は、環境検出センサ２０_１、対象検出センサ２０_２、音楽情報生成部３０、及び音楽出力部６０を備えている。環境検出センサ２０_１及び対象検出センサ２０_２の各々は、音楽情報生成部３０に電気的に接続されており、音楽情報生成部３０に出力信号を出力する。また、音楽情報生成部３０は、音楽出力部６０に電気的に接続されており、音楽出力部６０に音楽情報を出力する。

【0018】

環境検出センサ２０_１は、車両の外部環境の状況に応じた信号を出力するセンサであり、外部環境から常に信号が取得できる。これに対して、対象検出センサ２０_２は、車両の外部環境に対象（対向車両、人物、建物など障害物）が存在することを表す信号を出力するセンサであり、外部環境に対象が存在する場合にだけ信号が取得される。音楽情報生成部３０は、環境検出センサ２０_１の出力信号に基づいて曲を表す音楽情報を生成し、対象検出センサ２０_２の出力信号に基づいて効果音を表す音楽情報を生成する。

【0019】

そして、効果音を表す音楽情報が生成された場合に、曲を表す音楽情報と効果音を表す音楽情報とを合成して、合成した音楽を表す音楽情報を生成して、音楽出力部６０に出力する。音楽出力部６０は、入力された音楽情報に基づいて音楽を演奏する。なお、音楽情報生成部３０の詳細な構成については後述する。

【0020】

音楽には、メロディ（旋律）、ハーモニー（和声）、リズム（律動）の三要素がある。また、音には、高さ（周波数）、大きさ（音圧レベル）、音色（周波数成分）の三要素がある。本実施の形態における「曲」とは、音楽の三要素のうち、「音」の高さが時間と共に変化するメロディと、「音」の時間的な長さが一定の規律で変化するリズムとを、少なくとも含むものである。

【0021】

なお、図１に示す例では、１個の環境検出センサ２０_１と１個の対象検出センサ２０_２とを備える例について説明したが、センサの個数は２個に限定されるものではない。複数の環境検出センサを備えていてもよく。複数の対象検出センサを備えていてもよい。なお、環境検出センサ２０_１と対象検出センサ２０_２とを区別する必要が無い場合は、センサ２０と総称する。

【0022】

（センサ）
次に、センサの概略構成について説明する
図２はセンサの構成の一例を示すブロック図である。図２に示すように、センサ２０は、検出部２２、Ａ/Ｄ変換部２４、処理部２６、及び送信部２８を備えている。Ａ/Ｄ変換部２４、処理部２６、及び送信部２８は、検出部２２側から記載した順序で電気的に接続されている。環境検出センサ２０_１の検出部２２は、前方を撮像した前方画像を表す画像信号等のアナログ信号をＡ/Ｄ変換部２４に出力する。対象検出センサ２０_２の検出部２２は、電磁波等の特定の物理量を検出し、検出した物理量に応じたアナログ信号をＡ/Ｄ変換部２４に出力する。

【0023】

Ａ/Ｄ変換部２４は、入力されたアナログ信号をデジタル信号に変換して、処理部２６に出力する。処理部２６は、入力されたデジタル信号に対して増幅処理やフィルタリング処理等を行い、波形整形されたデジタル信号を送信部２８に出力する。送信部２８は、入力されたデジタル信号を、音楽情報生成部３０に送信する。即ち、波形整形されたデジタル信号を、センサ２０の出力信号として、音楽情報生成部３０に出力する。

【0024】

（音楽出力部）
次に、音楽出力部の構成について説明する。
図３は音楽出力部の構成の一例を示すブロック図である。図３に示すように、音楽出力部６０は、Ｄ/Ａ変換部６２、増幅部６４、及びスピーカ６６を備えている。Ｄ/Ａ変換部６２、増幅部６４、及びスピーカ６６は、音楽情報の入力側から記載した順序で電気的に接続されている。

【0025】

音楽情報生成部３０は、合成した音楽を表す音楽情報を、デジタル信号として音楽出力部６０に出力する。入力されたデジタル信号は、Ｄ/Ａ変換部６２によりアナログ信号に変換され、増幅部６４により増幅されて、スピーカ６６に出力される。スピーカ６６は、入力されたアナログ信号を応じて音を発生させる。これにより、音楽出力部６０では、入力された音楽情報に基づいて、車両の外部環境に応じた音楽が演奏される。

【0026】

（音楽情報生成部）
次に、音楽情報生成部について説明する。
図４は音楽情報生成部のハードウエア構成の一例を示す図である。図４に示すように、音楽情報生成部３０は、各種制御及び各種演算を行うコンピュータとして構成されている。即ち、音楽情報生成部３０は、ＣＰＵ３０Ａ、ＲＯＭ３０Ｂ、ＲＡＭ３０Ｃ、不揮発性メモリ３０Ｄ、及び入出力インターフェース（Ｉ／Ｏ）３０Ｅを備えている。ＣＰＵ３０Ａ、ＲＯＭ３０Ｂ、ＲＡＭ３０Ｃ、不揮発性メモリ３０Ｄ、及びＩ／Ｏ３０Ｅの各々は、バス３０Ｆを介して接続されている。

【0027】

本実施の形態では、ＲＯＭ３０Ｂには、後述する「音楽生成処理」を実行するための制御プログラムが記憶されている。また、「ＭＩＤＩ信号変換用のソフトウエア」や、「ＭＩＤＩ信号から音楽情報を生成するソフトウエア」も、ＲＯＭ３０Ｂに記憶されている。これらのＭＩＤＩ用ソフトウエアとして、汎用のソフトウエアを用いてもよい。ＣＰＵ３０Ａは、ＲＯＭ３０Ｂに記憶されたプログラムを読み出し、ＲＡＭ３０Ｃをワークエリアとして使用してプログラムを実行する。なお、ここでは、ソフトウエアはプログラムと同義である。

【0028】

ＭＩＤＩ（Musical Instrument Digital Interface）とは、音楽情報をデジタル信号で通信するための国際規格である。ＭＩＤＩ信号とは、ＭＩＤＩ規格の情報であり、標準的なＭＩＤＩファイル形式（ＳＭＦ：Standard MIDI File Format）の情報である。「ＭＩＤＩ信号変換用のソフトウエア」では、音の基本振動数を「ノートナンバー」、音圧レベルを「ベロシティレベル」、音色を「楽器名を表すナンバー」、時間変化を「ノートオン/ノートオフ」を表すデータに各々変換している。

【0029】

また、「ＭＩＤＩ信号から音楽情報を生成するソフトウエア」では、ＭＩＤＩ信号のノートナンバーに音源を割り当てると共に、音源に付随する表現に関する各種パラメータを設定、変更する。例えば、環境検出センサである画像センサからの出力信号から得られたＭＩＤＩ信号について、ノートナンバー０〜８７をピアノの８８鍵盤の音階に割り当ててもよい。また、波形データのある範囲を繰り返し再生するループ、音源の時間変化を示すエンベロープ、各音源の音量変化の設定、音の鮮明度の変化をカットオフ周波数の設定により行うフィルタの設定、音像定位、音の強弱を表すベロシティ、及び同時に発音させる音源の選択等、各種のパラメータを設定、変更してもよい。

【0030】

音楽情報生成部３０には、Ｉ／Ｏ３０Ｅを介して、上記のセンサ２０や音楽出力部６０に加えて、搭乗者等の操作を受け付ける操作部３２、搭乗者に各種情報を表示する表示部３４、及び通信回線を介して外部装置と通信を行うためのインターフェースである通信部３６の各部が接続されている。音楽情報生成部３０は、センサ２０から出力信号を受け取り、音楽出力部６０に音楽情報を出力する。また、ＣＰＵ３０Ａは、音楽出力部６０、操作部３２、表示部３４、及び通信部３６の各部を制御する。なお、情報の授受は通信部３６を介して行うこともできる。

【0031】

なお、音楽情報生成部３０には、各種ドライブが接続されていてもよい。各種ドライブは、フレキシブルディスク、光磁気ディスク、ＣＤ−ＲＯＭなどのコンピュータ読み取り可能な可搬性の記録媒体からデータを読み込んだり、記録媒体に対してデータを書き込んだりする装置である。各種ドライブを備える場合には、可搬性の記録媒体に制御プログラムを記録しておいて、これを対応するドライブで読み込んで実行してもよい。

【0032】

次に、音楽情報生成部を機能面から説明する。
図５は音楽情報生成部の構成の一例を示す機能ブロック図である。図５に示すように、音楽情報生成部３０は、メモリ４０、閾値判定部４２、ＭＩＤＩ変換部４４、音楽情報生成部４６、音楽情報合成部４８、曲調変更判定部５０、及び曲調変更部５２を備えている。

【0033】

センサ２０からはデジタルの出力信号が出力されている。音楽情報生成部３０は、予め定めた周波数（例えば、３０Ｈｚ〜６０Ｈｚ）でサンプリングを行い、センサ２０からの出力信号を取得する。メモリ４０は、サンプリングした出力信号を一時的に保持する。デジタルの出力信号は、センサ２０の出力電圧を時間ごとにデジタル値で表したものである。以下、出力信号の表す値を「センサ２０の出力値」という。出力信号の表す値（センサの出力値）は、サンプリング時間内での平均値、最大値等の代表値とすることができる。

【0034】

また、メモリ４０は、環境検出センサ２０_１からの出力信号と対象検出センサ２０_２からの出力信号の各々を、閾値判定部４２、ＭＩＤＩ変換部４４、及び曲調変更判定部５０の各部に出力する。メモリ４０は、センサ２０からの出力信号を、取得した順序で各部に出力する。

【0035】

閾値判定部４２は、センサ２０の出力値が、予め定めた閾値以上か否かを判定し、判定結果をＭＩＤＩ変換部４４に通知する。なお、判定手法については後述する。ＭＩＤＩ変換部４４は、センサ２０の出力値が閾値以上という結果を受け取ると、センサ２０からの出力信号をＭＩＤＩ信号に変換する。そして、ＭＩＤＩ変換部４４は、得られたＭＩＤＩ信号を、音楽情報生成部４６、及び曲調変更部５２の各部に出力する。音楽情報生成部４６は、ＭＩＤＩ信号を受け取ると、ＭＩＤＩ信号から音楽情報を生成する。

【0036】

ここで、出力信号が環境検出センサ２０_１からの信号である場合には、ＭＩＤＩ変換部４４は曲用のＭＩＤＩ信号を生成し、音楽情報生成部４６は曲用のＭＩＤＩ信号から曲を表す音楽情報を生成する。一方、出力信号が対象検出センサ２０_２からの信号である場合には、ＭＩＤＩ変換部４４は効果音用のＭＩＤＩ信号を生成し、音楽情報生成部４６は効果音用のＭＩＤＩ信号から効果音を表す音楽情報を生成する。曲を表す音楽情報は、常に生成されるが、効果音を表す音楽情報は、外部環境に対象が存在する場合にだけ生成される。

【0037】

音楽情報生成部４６は、曲を表す音楽情報と効果音を表す音楽情報とを、音楽情報合成部４８に出力する。音楽情報合成部４８は、曲を表す音楽情報と効果音を表す音楽情報とを合成し、車両の外部環境に応じた音楽を表す音楽情報を生成する。なお、効果音を表す音楽情報が無い場合は、曲を表す音楽情報が、車両の外部環境に応じた音楽を表す音楽情報となる。そして、音楽情報合成部４８は、得られた音楽情報を音楽出力部６０に出力する。

【0038】

曲調変更判定部５０は、センサ２０の出力値から、曲調変更条件を充足しているか否かを判定し、判定結果を曲調変更部５２に通知する。なお、曲調変更条件、判定手法については後述する。曲調変更部５２は、曲調変更条件を充足しているという結果を受け取ると、ＭＩＤＩ変換部４４から得られたＭＩＤＩ信号を、曲調が変化するように変換する。そして、変換したＭＩＤＩ信号を、音楽情報生成部４６に出力する。音楽情報生成部４６は、変換されたＭＩＤＩ信号を受け取ると、変換されたＭＩＤＩ信号から音楽情報を生成する。

【0039】

例えば、曲調には、マイナー調、メジャー調、クラシック風、ボサノバ風、日本風、琉球風、アラビック風等がある。曲調の変化とは、楽器（音色）の割り当て、スケール（音の高さの間隔）、コード進行（２音以上の音の重なり）、リズム等の構成要素を変更することである。ＭＩＤＩ信号においてこれ等の構成要素を変更することで曲調が変化する。効果音用のＭＩＤＩ信号においても、弦楽器から打楽器に変更する等、楽器の割り当てを変更することによって曲調が変化する。

【0040】

曲調変更条件としては、センサの反応の増加が挙げられる。例えば、景色等の外部環境が大幅に変化すると環境検出センサ２０_１の反応が増加する。また、外部環境に対象（対向車両、人物、建物など障害物）が出現すると対象検出センサ２０_２の反応が増加する。センサの反応量が閾値以上になったら効果音を発生させる等、センサの反応の増加に応じて曲調を変化させることで、対象の存在の有無を含め外部環境の変化が表現される。

【0041】

また、カーナビゲーション・システムを搭載した車両においては、曲調変更条件として、目的地までの距離が挙げられる。カーナビゲーション・システムは、一般に、人工衛星からの電波を受信して車両の位置を取得するＧＰＳを含み、位置センサとして環境検出センサ２０_１の１つと位置づけられる。

【0042】

カーナビゲーション・システムによれば、地図情報等を参照して、出発地Ａから目的地Ｂまでの経路上における車両の位置から、目的地Ｂまでの距離が測定できる。例えば、目的地Ｂまでの距離が閾値以下になったら効果音を発生させる等、目的地Ｂまでの距離に応じて曲調を変化させることで、「もうすぐ目的地Ｂに着く」といった期待感の盛り上がり等、物語性が表現される。

【0043】

＜センサの機能＞
次に、センサの機能について説明する。
図６（Ａ）及び（Ｂ）はセンサ機能の相違を説明する模式図である。本実施の形態では、環境検出センサ２０_１と対象検出センサ２０_２という２種類のセンサを用いる。図６（Ａ）に示すように、環境検出センサ２０_１は、検出範囲が広いので、外部環境から常に信号が取得できる。しかしながら、外部環境に対象が存在する場合でも、対象を検知するのが難しい。一方、図６（Ｂ）に示すように、対象検出センサ２０_２は、指向性が高く検出範囲が狭いので、外部環境に対象が存在する場合にだけ信号が取得される。

【0044】

上述した通り、車両には障害物を検出する対象検出センサが種々設置されているが、対象検出センサにより取得した信号に基づいて音楽を生成した場合、外部環境に対象が存在する場合にしか音楽が生成されない。

【0045】

本実施の形態では、環境検出センサの出力信号に基づいて曲を表す音楽情報を生成し、対象検出センサの出力信号に基づいて効果音を表す音楽情報を生成し、曲を表す音楽情報と効果音を表す音楽情報とを合成して、車両の外部環境に応じた音楽を表す音楽情報を生成するので、常に音楽が生成される。付言すれば、効果音は音楽を演奏するのに必須の要素ではない。対象（対向車両、人物、建物など障害物）の出現等のイベント発生時に、効果音を発生させて、搭乗者にイベントの発生を認識させる。

【0046】

環境検出センサ２０_１としては、カメラ等の画像センサ、光センサ、放射温度計等の温度センサ、ＧＰＳを含むカーナビゲーション・システム等の位置センサなどがある。対象検出センサ２０_２としては、レーダ等の電磁波センサ、ドップラー効果を検出するドップラーセンサ、加速度センサ等がある。例えば、ＭＩＤＩ信号変換時に、曲を表す音楽情報を生成するために、画像センサにはハープ、光センサには尺八、温度センサにはピアノなどの楽器音源を割り当ててもよい。また、効果音を表す音楽情報を生成するために、電磁波センサにはトライアングル、ドップラーセンサにはティンパニーなどの楽器音源を割り当ててもよい。

【0047】

（検出実験）
次に、外部環境に対するセンサの反応を観察する実験について説明する
図７は各種センサの車両への搭載例を示す模式図である。図７に示すように、実験では、「環境検出センサ」として、搭乗者の目の位置にウエブカメラ（画像センサ）を設置した。また、「対象検出センサ」として、フロント側の車内に５ＧＨｚの電磁場センサと１０ＧＨｚのドップラーセンサとを設置し、フロント側の車外に２４ＧＨｚのドップラーセンサを設置した。なお、５ＧＨｚの電磁場センサは車内をセンシングしている。

【0048】

５ＧＨｚの電磁場センサとしては、特開２０１４−１３７３４７号公報の図３に示す回路構成のセンサを用いた。１０ＧＨｚのドップラーセンサとしては、検出部及びＡ/Ｄ変換部として機能する浅草技研社製の製品名「ＤＸ-ＸＢＡＮＤ」に、処理部としてＦＭ復調回路を取り付けたセンサを用いた。２４ＧＨｚのドップラーセンサとしては、検出部及びＡ/Ｄ変換部として機能するイノセント社製の製品名「ＩＰＭ-１６５」に、処理部としてＦＭ復調回路を取り付けたセンサを用いた。なお、通信部については説明を省略する。

【0049】

図８（Ａ）は実験１での外部環境の写真であり、図８（Ｂ）及び（Ｃ）は実験１の結果であるセンサ波形を示すグラフである。図８（Ａ）に示すように実験１の外部環境には対象（対向車両、人物、建物）が存在しない。図８（Ｂ）に示すウエブカメラのＲＧＢ出力を見ると、縦軸に示す色の強さは、横軸に示す時間に対して旋律を描くように緩やかに変化している。また、図８（Ｃ）に示す各種センサの出力値を見ると、５ＧＨｚの電磁場センサの反応（●印で表す）だけが増加し、縦軸に示す電圧値が横軸に示す時間に対して激しく変動している。これに対し、１０ＧＨｚドップラーセンサの反応（△印で表す）と２４ＧＨｚのドップラーセンサの反応（×印で表す）は少ない。

【0050】

図９（Ａ）は実験２での外部環境の写真であり、図９（Ｂ）及び（Ｃ）は実験２の結果であるセンサ波形を示すグラフである。図８（Ａ）に示すように実験２の外部環境には対象が多数存在する。図９（Ｂ）に示すウエブカメラのＲＧＢ出力を見ると、縦軸に示す色の強さは、横軸に示す時間に対して旋律を描くように緩やかに変化している。また、図９（Ｃ）に示す各種センサの出力値を見ると、１０ＧＨｚのドップラーセンサの反応（△印で表す）と２４ＧＨｚのドップラーセンサの反応（×印で表す）が増加している。特に、２４ＧＨｚのドップラーセンサの反応（×印で表す）は、縦軸に示す電圧値が横軸に示す時間に対して激しく変動している。これに対し、電磁場センサの反応（●印で表す）は少ない。

【0051】

実験１及び実験２の結果から、環境検出センサは外部環境から常に信号が取得でき、環境検出センサの出力信号に基づいて、常に曲を表す音楽情報を生成できることが分かる。また、対象検出センサは、外部環境に対象が存在する場合にだけ信号が取得され、対象検出センサの出力信号に基づいて、イベントの発生を知らせる効果音を表す音楽情報を生成できることが分かる。また、外部環境に対象が存在すると、対象が存在しない場合に比べてセンサの反応が増加することが分かる。

【0052】

＜音楽生成処理＞
次に、音楽情報生成部３０のＣＰＵ３０Ａにより実行される「音楽生成処理」について説明する。「音楽生成処理」は、操作部３２を介して搭乗者からの開始指示があると開始される。図１０は「音楽生成処理」の手順の一例を示すフローチャートである。

【0053】

まず、ステップ１００で、センサからの出力信号を取得（サンプリング）したか否かを判定する。出力信号を取得した場合は、ステップ１０２に進み、出力信号を取得していない場合は、ステップ１００に戻り判定を繰り返す。次に、ステップ１０２で、取得した信号が環境検出センサからの出力信号か否かを判定する。

【0054】

環境検出センサからの出力信号である場合は、ステップ１０４に進む。環境検出センサからの出力信号でない場合は、対象検出センサからの出力信号であるため、ステップ１１８に進む。この通り、図１０に示すフローチャートには、環境検出センサの出力信号から曲を表す音楽を生成する第１のラインと、対象検出センサの出力信号から効果音を表す音楽を生成する第２のラインとがある。環境検出センサからの出力信号と対象検出センサからの出力信号とは、略同時に取得され並列に処理される。

【0055】

次に、ステップ１０４で、今回サンプリングした出力信号が表す出力値と、前回サンプリングした出力信号の出力値との差分を算出する。なお、２つの出力信号は、同じ環境検出センサからの出力信号である。次に、ステップ１０６で、算出した差分が予め定めた閾値Ｘ以上か否かを閾値判定する。閾値Ｘ以上である場合はステップ１０８に進み、閾値Ｘ未満である場合はステップ１１０に進む。

【0056】

次に、ステップ１０８では、ＭＩＤＩ信号を変化させる。一方、ステップ１１０では、ＭＩＤＩ信号を変化させない。即ち、出力値の差分が閾値以上の場合は、今回サンプリングした出力信号を曲用のＭＩＤＩ信号に変換するが、出力値の差分が閾値未満の場合は、前回サンプリングした出力信号から生成した曲用のＭＩＤＩ信号を続けて使用する。これにより、常時、音楽が演奏される。なお、変換後のＭＩＤＩ信号は何れかの記憶部に記憶され、必要に応じて読み出されて使用される。

【0057】

また、ステップ１０６の閾値判定と並行して、ステップ１１２で、環境検出センサからの出力信号に基づいて、曲調変更条件を充足するか否かを判定する。曲調変更条件を充足する場合は、ステップ１１４とステップ１２８に進み、各ステップで曲調を変化させる。例えば、ステップ１１４では、曲用のＭＩＤＩ信号の構成要素を変更することで曲調を変化させ、ステップ１２８では、効果音用のＭＩＤＩ信号の構成要素を変更することで曲調を変化させる。

【0058】

後述する通り、ステップ１２６で曲調変更条件を充足する場合にも、ステップ１１４で曲調を変化させる。即ち、効果音を表す音楽を生成する第２のラインにおける判定結果が、曲を表す音楽を生成する第１のラインにおける処理に影響を及ぼす。一方、ステップ１１２及びステップ１２６の両方で曲調変更条件を充足しない場合は、ステップ１１７に進み、ステップ１１７で、曲調を変化させない旨を通知する。

【0059】

次に、ステップ１１６で、曲用のＭＩＤＩ信号から曲を表す音楽情報を生成する。ステップ１１４で曲調を変化させる場合は、構成要素が変更された変換後の曲用ＭＩＤＩ信号から曲を表す音楽情報を生成する。一方、曲調を変化させない旨を通知を受けた場合は、構成要素が変更されていない曲用ＭＩＤＩ信号から曲を表す音楽情報を生成する。なお、ステップ１０４からステップ１１６までが第１のラインである。

【0060】

一方、ステップ１０２で、対象検出センサからの出力信号であると判定した場合は、ステップ１１８で、今回サンプリングした出力信号が表す出力値と、前回サンプリングした出力信号の出力値との差分を算出する。なお、２つの出力信号は、同じ対象検出センサからの出力信号である。次に、ステップ１２０で、算出した差分が予め定めた閾値Ｙ以上か否かを閾値判定する。閾値Ｙ以上である場合はステップ１２２に進み、閾値Ｙ未満である場合はステップ１２４に進む。

【0061】

次に、ステップ１２２では、ＭＩＤＩ信号を変化させる。一方、ステップ１２４では、効果音を表す音楽情報を生成しない旨の通知を行う。即ち、出力値の差分が閾値以上の場合は、今回サンプリングした出力信号を効果音用のＭＩＤＩ信号に変換するが、出力値の差分が閾値未満の場合は、ノイズとして処理し、効果音を表す音楽情報を生成しない旨の通知だけを行う。これにより、外部環境において対象の存在を検出した場合にだけ効果音が発生する。

【0062】

また、ステップ１２０の閾値判定と並行して、ステップ１２６で、対象検出センサからの出力信号に基づいて、曲調変更条件を充足するか否かを判定する。曲調変更条件を充足する場合は、ステップ１１４とステップ１２８に進み、各ステップで曲調を変化させる。

【0063】

上記の通り、ステップ１１２で曲調変更条件を充足する場合にも、ステップ１２８で曲調を変化させる。即ち、曲を表す音楽を生成する第１のラインにおける判定結果が、効果音を表す音楽を生成する第２のラインにおける処理に影響を及ぼす。一方、ステップ１１２及びステップ１２６の両方で曲調変更条件を充足しない場合は、ステップ１１７に進み、ステップ１１７で、曲調を変化させない旨を通知する。

【0064】

次に、ステップ１３０で、効果音用のＭＩＤＩ信号から効果音を表す音楽情報を生成する。ステップ１２８で曲調を変化させる場合は、構成要素が変更された変換後の効果音用ＭＩＤＩ信号から効果音を表す音楽情報を生成する。一方、曲調を変化させない旨を通知を受けた場合は、構成要素が変更されていない効果音用ＭＩＤＩ信号から効果音を表す音楽情報を生成する。なお、ステップ１１８からステップ１３０までが第２のラインである。

【0065】

次に、ステップ１３２で、曲を表す音楽情報と効果音を表す音楽情報とを合成して、車両の外部環境に応じた音楽を表す音楽情報を生成する。対象検出センサの出力値の差分が閾値未満の場合は、ステップ１２４で、効果音を表す音楽情報を生成しない旨が通知されている。この場合には、曲を表す音楽情報が、車両の外部環境に応じた音楽を表す音楽情報となる。

【0066】

次に、ステップ１３４で、得られた音楽情報を音楽出力部に出力する。次に、ステップ１３６で、搭乗者からの停止指示があったか否かを判定する。停止指示があればルーチンを終了し、停止指示が無ければステップ１００に戻って、ステップ１００からステップ１３６までの手順を繰り返す。

【0067】

なお、上記の図１０、図１１に示す例では、２つの出力信号が同じセンサからの出力信号であることを前提として、今回サンプリングした出力信号が表す出力値と前回サンプリングした出力信号の出力値との差分を算出し、算出した差分に基づいて閾値判定する例について説明したが、今回サンプリングした出力信号が表す出力値に基づいて閾値判定してもよい。出力値の差分に基づいて閾値判定する方が、リズムの変化に富む音楽を生成することができる。

【0068】

（曲調変更条件の充足判定）
ここで、図１２（Ａ）〜（Ｄ）を参照して、曲調変更条件がセンサの反応の増加である場合の条件充足判定手法について説明する。図１２（Ａ）に示すように、センサの出力信号は、センサの出力値の時間変化として得られる。例えば、図９（Ｃ）に示す実験２の結果からも分かるように、外部環境に多数の対象が存在するとセンサの反応が増加する。

【0069】

図１２（Ｂ）に示すように、センサの出力信号を積分処理することで、センサの反応量の時間変化に変換できる。図１２（Ｃ）に示すように、ここで、センサの反応量に対して閾値Ｚを予め定める。そして、センサの反応量が予め定めた閾値Ｚ以上の場合に、センサの反応が増加した（曲調変更条件を充足した）と閾値判定することができる。

【0070】

なお、曲調の変化が頻繁に起こらないように、時間についても閾値Ｔを予め定めてもよい。そして、センサの反応量が予め定めた閾値Ｚ以上の状態が、予め定めた閾値Ｔ以上の時間続く場合に、センサの反応が増加した（曲調変更条件を充足した）と時間判定してもよい。

【0071】

＜変形例＞
なお、上記各実施の形態で説明した音楽生成装置の構成は一例であり、本発明の主旨を逸脱しない範囲内においてその構成を変更してもよいことは言うまでもない。

【0072】

例えば、上記の実施の形態では、ＭＩＤＩ信号変換を行うか否かの判定のために閾値Ｘ及び閾値Ｙを定め、曲調変更条件を充足するか否かの判定のために閾値Ｚ及び閾値Ｔを予め定めているが、閾値Ｘ、閾値Ｙ、閾値Ｚ、及び閾値Ｔの各値は、音楽の演奏が円滑に行われるように、音楽の演奏状況に応じて適宜定めればよい。

【0073】

また、上記の実施の形態では、図１０に示すように、環境検出センサの出力信号に基づいて曲調を変化させるか否かを判定すると共に、対象検出センサの出力信号に基づいて曲調を変化させるか否かを判定しているが、図１１に示すように、対象検出センサの反応の増加に応じて曲調を変化させる等、対象検出センサの出力信号に基づいて曲調を変化させるか否かを判定するだけにしてもよい。

【0074】

具体的には、曲を表す音楽を生成する第１のラインにおいては、図１０のステップ１１２の曲調変更条件を充足するか否かを判定する手順を省略する。そして、効果音を表す音楽を生成する第２のラインにおいては、ステップ１２６で曲調変更条件を充足するか否かを判定し、曲調変更条件を充足しない場合は、ステップ１１７に進み、ステップ１１７で、曲調を変化させない旨を通知する。

【0075】

曲調を変化させない旨を通知を受けた場合は、第１のラインのステップ１１６で、構成要素が変更されていない曲用ＭＩＤＩ信号から曲を表す音楽情報を生成すると共に、第２のラインのステップ１３０で、構成要素が変更されていない効果音用ＭＩＤＩ信号から効果音を表す音楽情報を生成する。なお、その他の手順は図１０と同じであるため説明を省略する。

【0076】

また、上記の実施の形態では、ＭＩＤＩ信号を変換することで曲調を変化させているが、リズムの変更の場合は、センサのダイナミックレンジ、センサ特性、出力信号のサンプリング速度、プログラム処理速度を変更するなどしてもよい。

【符号の説明】

【0077】

１０ 音楽生成装置
２０ センサ
２０_１ 環境検出センサ
２０_２ 対象検出センサ
２２ 検出部
２４ Ａ/Ｄ変換部
２６ 処理部
２８ 送信部
３０ 音楽情報生成部
３２ 操作部
３４ 表示部
３６ 通信部
４０ メモリ
４２ 閾値判定部
４４ ＭＩＤＩ変換部
４６ 音楽情報生成部
４８ 音楽情報合成部
５０ 曲調変更判定部
５２ 曲調変更部
６０ 音楽出力部
６２ 変換部
６４ 増幅部
６６ スピーカ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】