特許 6398960 音楽再生装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6398960

(24)【登録日】2018年9月14日

(45)【発行日】2018年10月3日

(54)【発明の名称】音楽再生装置及びプログラム

(51)【国際特許分類】

   G08G 1/16 20060101AFI20180920BHJP

   G10K 15/04 20060101ALI20180920BHJP

   B60R 11/02 20060101ALI20180920BHJP

【ＦＩ】

   G08G1/16 C

   G10K15/04 304H

   B60R11/02 B

【請求項の数】2

【全頁数】19

(21)【出願番号】特願2015-237961(P2015-237961)

(22)【出願日】2015年12月4日

(65)【公開番号】特開2017-102863(P2017-102863A)

(43)【公開日】2017年6月8日

【審査請求日】2017年2月23日

(73)【特許権者】

【識別番号】000003609

【氏名又は名称】株式会社豊田中央研究所

(74)【代理人】

【識別番号】100079049

【弁理士】

【氏名又は名称】中島 淳

(74)【代理人】

【識別番号】100084995

【弁理士】

【氏名又は名称】加藤 和詳

(72)【発明者】

【氏名】宇田 尚典

【審査官】 田中 純一

(56)【参考文献】

【文献】 特開２０１５−１９１４２９（ＪＰ，Ａ）

【文献】 特開２００４−２５１９８９（ＪＰ，Ａ）

【文献】 特開２００７−２７２９８６（ＪＰ，Ａ）

【文献】 特開２００４−２１９１５６（ＪＰ，Ａ）

【文献】 特開２００８−００８７０１（ＪＰ，Ａ）

【文献】 特開２００４−２１２１３１（ＪＰ，Ａ）

【文献】 特開平１１−２０８３７０（ＪＰ，Ａ）

【文献】 特開２０１０−０１５０５３（ＪＰ，Ａ）

【文献】 特開２０１５−０２２６９９（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００８／０２０２３２３（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０８Ｇ １／００ − ９９／００

Ｇ０１Ｃ ２１／００ − ２１／３６

Ｇ０１Ｃ ２３／００ − ２５／００

Ｂ６０Ｒ ９／００ − １１／０６

Ｇ０８Ｂ １９／００ − ２１／２４

Ｇ０９Ｂ ２３／００ − ２９／１４

Ｇ１０Ｋ １５／００ − １５／１２

Ｇ１０Ｈ １／００ − ７／１２

(57)【特許請求の範囲】

【請求項1】

車両の状態、又は前記車両の外部環境の状況に基づいて、衝突又は接近の危険性、あるいは運転の危険性を判定する危険性判定手段と、
前記車両の外部環境の状況に応じた信号を出力する環境検出センサの出力信号、又は前記車両の外部環境に対象が存在することを表す信号を出力する対象検出センサの出力信号を、トーンナンバーに当てはめることにより、曲を表す音楽情報を生成する音楽情報生成手段と、
前記音楽情報生成手段によって音楽情報を生成する際に、前記危険性判定手段によって前記衝突又は接近の危険性、あるいは運転の危険性があると判定されると、前記音楽情報生成手段によって生成する前記音楽情報における音のスケール、又は前記音楽情報において鳴らす和音を変更する変更手段と、
を含む音楽再生装置。

【請求項2】

コンピュータを、
車両の状態、又は前記車両の外部環境の状況に基づいて、衝突又は接近の危険性、あるいは運転の危険性を判定する危険性判定手段、
前記車両の外部環境の状況に応じた信号を出力する環境検出センサの出力信号、又は前記車両の外部環境に対象が存在することを表す信号を出力する対象検出センサの出力信号を、トーンナンバーに当てはめることにより、曲を表す音楽情報を生成する音楽情報生成手段、及び
前記音楽情報生成手段によって音楽情報を生成する際に、前記危険性判定手段によって前記衝突又は接近の危険性、あるいは運転の危険性があると判定されると、前記音楽情報生成手段によって生成する前記音楽情報における音のスケール、又は前記音楽情報において鳴らす和音を変更する変更手段
として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、音楽を再生する音楽再生装置及びプログラムに関する。

【背景技術】

【0002】

従来より、楽曲データと車両状態の検出結果を利用して音楽を発生する車両用音楽発生装置が知られている（特許文献１）。

【0003】

また、モニタに表示される監視対象から入力される外部信号に基づいて、監視対象の変化を音楽の変化に変換することで、監視作業を聴覚にも反映させる信号監視用音楽演奏装置が知られている（特許文献２）。

【0004】

また、クルマの走行スピード、回転数、加速度の車両情報と、ＧＰＳとから自動作曲を行うスマホアプリが知られている（非特許文献１）。

【0005】

また、外部環境や人の生態情報を使って自動作曲する音響構成装置が知られている（特許文献３）。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特許第４９８４８６１号公報

【特許文献2】特許第４４５８５８１号公報

【特許文献3】特許第３３８１０７４号公報

【非特許文献】

【0007】

【非特許文献1】インターネット＜ＵＲＬ：http://www.volkswagen.co.uk/playtheroad＞

【発明の概要】

【発明が解決しようとする課題】

【0008】

車両で音楽を再生する場合には、エンタテイメント性と安全性の両立を図る必要がある。このとき、曲調を変えることで周囲環境を知らせようとしても、クルマが接近しているから知らせているのか、音楽の演出として曲調を変えたのか分からない。これは、飽きさせないために、様々な曲調が変化できるようになればなるほど、区別がつかなくなる。また、クルマでは、正しい運転をしていない場合に、それを気づかせ誘導することが求められている。

【0009】

このように、クルマの場合は、エンタテイメントと安全性の二つの要素が要求されている。

【0010】

本発明は上記事情に鑑みなされたものであり、本発明の目的は、エンタテイメント性と安全性の両立を図ることができる音楽再生装置及びプログラムを提供することにある。

【課題を解決するための手段】

【0011】

上記目的を達成するために本発明に係る音楽再生装置は、車両の状態、又は前記車両の外部環境の状況に基づいて、衝突又は接近の危険性、あるいは運転の危険性を判定する危険性判定手段と、音楽を再生する際に、前記危険性判定手段によって前記衝突又は接近の危険性、あるいは運転の危険性があると判定されると、前記再生する前記音楽における音のスケール、前記音楽において鳴らす和音、前記音楽において楽器の音を鳴らすタイミング、及び前記音楽における楽器の演奏速度の少なくとも１つを変更する変更手段と、を含んで構成されている。

【0012】

本発明に係るプログラムは、コンピュータを、車両の状態、又は前記車両の外部環境の状況に基づいて、衝突又は接近の危険性、あるいは運転の危険性を判定する危険性判定手段、及び音楽を再生する際に、前記危険性判定手段によって前記衝突又は接近の危険性、あるいは運転の危険性があると判定されると、前記再生する前記音楽における音のスケール、前記音楽において鳴らす和音、前記音楽において楽器の音を鳴らすタイミング、及び前記音楽における楽器の演奏速度の少なくとも１つを変更する変更手段として機能させるためのプログラムである。

【0013】

本発明によれば、危険性判定手段によって、車両の状態、又は前記車両の外部環境の状況に基づいて、衝突又は接近の危険性、あるいは運転の危険性を判定する。そして、変更手段によって、音楽を再生する際に、前記危険性判定手段によって前記衝突又は接近の危険性、あるいは運転の危険性があると判定されると、前記再生する前記音楽における音のスケール、前記音楽において鳴らす和音、前記音楽において楽器の音を鳴らすタイミング、及び前記音楽における楽器の演奏速度の少なくとも１つを変更する。

【0014】

このように、音楽を再生する際に、衝突又は接近の危険性、あるいは運転の危険性があると判定されると、再生する音楽における音のスケール、音楽において鳴らす和音、音楽において楽器の音を鳴らすタイミング、及び音楽における楽器の演奏速度の少なくとも１つを変更して、違和感や不快感を与えることにより、エンタテイメント性と安全性の両立を図ることができる。

【0015】

本発明に係る音楽再生装置は、前記車両の外部環境の状況に応じた信号を出力する環境検出センサの出力信号、又は前記車両の外部環境に対象が存在することを表す信号を出力する対象検出センサの出力信号に基づいて、音楽情報を生成する音楽情報生成手段を更に含み、前記変更手段は、前記音楽情報生成手段によって生成された音楽を再生する際に、前記危険性判定手段によって前記衝突又は接近の危険性、あるいは運転の危険性があると判定されると、前記音楽情報生成手段によって生成する前記音楽情報における音のスケール、前記音楽情報において鳴らす和音、前記音楽情報における楽器の音を鳴らすタイミング、及び前記音楽情報における楽器の演奏速度の少なくとも１つを変更するようにすることができる。

【0016】

本発明に係る音楽再生装置は、地図情報に基づいて得られる、前記車両の外部環境の状況、又は前記車両の外部環境に対象が存在することに基づいて、音楽情報を生成する音楽情報生成手段を更に含み、前記変更手段は、前記音楽情報生成手段によって生成された音楽を再生する際に、前記危険性判定手段によって前記衝突又は接近の危険性、あるいは運転の危険性があると判定されると、前記音楽情報生成手段によって生成する前記音楽情報における音のスケール、前記音楽情報において鳴らす和音、前記音楽情報における楽器の音を鳴らすタイミング、及び前記音楽情報における楽器の演奏速度の少なくとも１つを変更するようにすることができる。

【発明の効果】

【0017】

本発明の音楽再生装置及びプログラムによれば、音楽を再生する際に、衝突又は接近の危険性、あるいは運転の危険性があると判定されると、再生する音楽における音のスケール、音楽において鳴らす和音、音楽において楽器の音を鳴らすタイミング、及び音楽における楽器の演奏速度の少なくとも１つを変更して、違和感や不快感を与えることにより、エンタテイメント性と安全性の両立を図ることができる。

【図面の簡単な説明】

【0018】

【図1】本発明の第１の実施の形態に係る音楽再生装置の全体構成の一例を示すブロック図である。

【図2】センサの構成の一例を示すブロック図である。

【図3】音楽出力部の構成の一例を示すブロック図である。

【図4】音楽情報生成部のハードウエア構成の一例を示す図である。

【図5】音楽情報生成部の詳細構成の一例を示すブロック図である。

【図6】センサ信号に対応して音楽を生成する方法を説明するための図である。

【図7】危険判定部、信号処理部、曲調変更判定部の実装例を示す図である。

【図8】「違和感発生処理」の手順の一例を示すフローチャートである。

【図9】「音楽生成処理」の手順の他の一例を示すフローチャートである。

【図10】本発明の第２の実施の形態に係る音楽再生装置の全体構成の一例を示すブロック図である。

【図11】「音楽生成処理」の手順の他の一例を示すフローチャートである。

【図12】本発明の第３の実施の形態に係る音楽再生装置の全体構成の一例を示すブロック図である。

【図13】音楽情報処理部の詳細構成の一例を示すブロック図である。

【図14】「音楽生成処理」の手順の他の一例を示すフローチャートである。

【発明を実施するための形態】

【0019】

以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。

【0020】

＜第１の実施の形態＞
＜音楽再生装置＞
（全体構成）
まず、本発明の第１の実施の形態に係る音楽再生装置の全体構成について説明する。

【0021】

図１は本発明の実施の形態に係る音楽再生装置１０の全体構成の一例を示すブロック図である。本実施の形態に係る音楽再生装置１０は、車両の外部環境に応じた音楽を生成して再生する音楽再生装置である。図１に示すように、音楽再生装置１０は、速度センサ１８、環境検出センサ２０_１、対象検出センサ２０_２、音楽情報生成部３０、及び音楽出力部６０を備えている。速度センサ１８、環境検出センサ２０_１、及び対象検出センサ２０_２の各々は、音楽情報生成部３０に電気的に接続されており、音楽情報生成部３０に出力信号を出力する。また、音楽情報生成部３０は、音楽出力部６０に電気的に接続されており、音楽出力部６０に音楽情報を出力する。

【0022】

速度センサ１８は、車両の速度に応じた信号を出力するセンサである。

【0023】

環境検出センサ２０_１は、車両の外部環境の状況に応じた信号を出力するセンサである。これに対して、対象検出センサ２０_２は、車両の外部環境に対象（対向車両、人物、建物など障害物）が存在することを表す信号を出力するセンサであり、外部環境に対象が存在する場合にだけ信号が取得される。音楽情報生成部３０は、速度センサ１８の出力信号、環境検出センサ２０_１の出力信号、対象検出センサ２０_２の出力信号に基づいて音楽情報を生成して、音楽出力部６０に出力する。音楽出力部６０は、入力された音楽情報に基づいて音楽を演奏する。なお、音楽情報生成部３０の詳細な構成については後述する。

【0024】

音楽には、メロディ（旋律）、ハーモニー（和声）、リズム（律動）の三要素がある。また、音には、高さ（周波数）、大きさ（音圧レベル）、音色（周波数成分）の三要素がある。本実施の形態における「曲」とは、音楽の三要素のうち、「音」の高さが時間と共に変化するメロディと、「音」の時間的な長さが一定の規律で変化するリズムとを、少なくとも含むものである。

【0025】

なお、図１に示す例では、１個の環境検出センサ２０_１と１個の対象検出センサ２０_２とを備える例について説明したが、それぞれのセンサの個数は１個ずつに限定されるものではない。複数の環境検出センサを備えていてもよく。複数の対象検出センサを備えていてもよい。なお、環境検出センサ２０_１と対象検出センサ２０_２とを区別する必要が無い場合は、センサ２０と総称する。

【0026】

（センサ）
次に、センサの概略構成について説明する

【0027】

図２はセンサの構成の一例を示すブロック図である。図２に示すように、センサ２０は、検出部２２、Ａ/Ｄ変換部２４、処理部２６、及び送信部２８を備えている。Ａ/Ｄ変換部２４、処理部２６、及び送信部２８は、検出部２２側から記載した順序で電気的に接続されている。環境検出センサ２０_１の検出部２２は、前方を撮像した前方画像を表す画像信号等のアナログ信号をＡ/Ｄ変換部２４に出力する。対象検出センサ２０_２の検出部２２は、電磁波等の特定の物理量を検出し、検出した物理量に応じたアナログ信号をＡ/Ｄ変換部２４に出力する。

【0028】

Ａ/Ｄ変換部２４は、入力されたアナログ信号をデジタル信号に変換して、処理部２６に出力する。処理部２６は、入力されたデジタル信号に対して増幅処理やフィルタリング処理等を行い、波形整形されたデジタル信号を送信部２８に出力する。送信部２８は、入力されたデジタル信号を、音楽情報生成部３０に送信する。即ち、波形整形されたデジタル信号を、センサ２０の出力信号として、音楽情報生成部３０に出力する。

【0029】

（音楽出力部）
次に、音楽出力部の構成について説明する。

【0030】

図３は音楽出力部の構成の一例を示すブロック図である。図３に示すように、音楽出力部６０は、Ｄ/Ａ変換部６２、増幅部６４、及びスピーカ６６を備えている。Ｄ/Ａ変換部６２、増幅部６４、及びスピーカ６６は、音楽情報の入力側から記載した順序で電気的に接続されている。

【0031】

音楽情報生成部３０は、生成した音楽を表す音楽情報を、デジタル信号として音楽出力部６０に出力する。入力されたデジタル信号は、Ｄ/Ａ変換部６２によりアナログ信号に変換され、増幅部６４により増幅されて、スピーカ６６に出力される。スピーカ６６は、入力されたアナログ信号を応じて音を発生させる。これにより、音楽出力部６０では、入力された音楽情報に基づいて、車両の外部環境に応じた音楽が演奏される。

【0032】

（音楽情報生成部）
次に、音楽情報生成部について説明する。

【0033】

図４は音楽情報生成部のハードウエア構成の一例を示す図である。図４に示すように、音楽情報生成部３０は、各種制御及び各種演算を行うコンピュータとして構成されている。即ち、音楽情報生成部３０は、ＣＰＵ３０Ａ、ＲＯＭ３０Ｂ、ＲＡＭ３０Ｃ、不揮発性メモリ３０Ｄ、及び入出力インターフェース（Ｉ／Ｏ）３０Ｅを備えている。ＣＰＵ３０Ａ、ＲＯＭ３０Ｂ、ＲＡＭ３０Ｃ、不揮発性メモリ３０Ｄ、及びＩ／Ｏ３０Ｅの各々は、バス３０Ｆを介して接続されている。

【0034】

本実施の形態では、ＲＯＭ３０Ｂには、後述する「違和感発生処理」、「音楽生成処理」を実行するための制御プログラムが記憶されている。また、「ＭＩＤＩ信号変換用のソフトウエア」や、「ＭＩＤＩ信号から音楽情報を生成するソフトウエア」も、ＲＯＭ３０Ｂに記憶されている。これらのＭＩＤＩ用ソフトウエアとして、汎用のソフトウエアを用いてもよい。ＣＰＵ３０Ａは、ＲＯＭ３０Ｂに記憶されたプログラムを読み出し、ＲＡＭ３０Ｃをワークエリアとして使用してプログラムを実行する。なお、ここでは、ソフトウエアはプログラムと同義である。

【0035】

ＭＩＤＩ（Musical Instrument Digital Interface）とは、音楽情報をデジタル信号で通信するための国際規格である。ＭＩＤＩ信号とは、ＭＩＤＩ規格の情報であり、標準的なＭＩＤＩファイル形式（ＳＭＦ：Standard MIDI File Format）の情報である。「ＭＩＤＩ信号変換用のソフトウエア」では、音の基本振動数を「ノートナンバー」、音圧レベルを「ベロシティレベル」、音色を「楽器名を表すナンバー」、時間変化を「ノートオン/ノートオフ」を表すデータに各々変換している。

【0036】

また、「ＭＩＤＩ信号から音楽情報を生成するソフトウエア」では、ＭＩＤＩ信号のノートナンバーに音源を割り当てると共に、音源に付随する表現に関する各種パラメータを設定、変更する。例えば、環境検出センサである画像センサからの出力信号から得られたＭＩＤＩ信号について、ノートナンバー０〜８７をピアノの８８鍵盤の音階に割り当ててもよい。また、波形データのある範囲を繰り返し再生するループ、音源の時間変化を示すエンベロープ、各音源の音量変化の設定、音の鮮明度の変化をカットオフ周波数の設定により行うフィルタの設定、音像定位、音の強弱を表すベロシティ、及び同時に発音させる音源の選択等、各種のパラメータを設定、変更してもよい。

【0037】

音楽情報生成部３０には、Ｉ／Ｏ３０Ｅを介して、上記の速度センサ１８、センサ２０や音楽出力部６０に加えて、搭乗者等の操作を受け付ける操作部３２、搭乗者に各種情報を表示する表示部３４、及び通信回線を介して外部装置と通信を行うためのインターフェースである通信部３６の各部が接続されている。音楽情報生成部３０は、センサ２０から出力信号を受け取り、音楽出力部６０に音楽情報を出力する。また、ＣＰＵ３０Ａは、音楽出力部６０、操作部３２、表示部３４、及び通信部３６の各部を制御する。なお、情報の授受は通信部３６を介して行うこともできる。

【0038】

なお、音楽情報生成部３０には、各種ドライブが接続されていてもよい。各種ドライブは、フレキシブルディスク、光磁気ディスク、ＣＤ−ＲＯＭなどのコンピュータ読み取り可能な可搬性の記録媒体からデータを読み込んだり、記録媒体に対してデータを書き込んだりする装置である。各種ドライブを備える場合には、可搬性の記録媒体に制御プログラムを記録しておいて、これを対応するドライブで読み込んで実行してもよい。

【0039】

次に、音楽情報生成部３０を機能面から説明する。

【0040】

図５は音楽情報生成部３０の構成の一例を示す機能ブロック図である。図５に示すように、音楽情報生成部３０は、メモリ４０、危険判定部４２、信号処理部４４、音楽情報生成部４６、音楽情報合成部４８、及び曲調変更判定部５０を備えている。なお、信号処理部４４が、変更手段の一例である。

【0041】

速度センサ１８及びセンサ２０からはデジタルの出力信号が出力されている。音楽情報生成部３０は、予め定めた周波数（例えば、３０Ｈｚ〜６０Ｈｚ）でサンプリングを行い、速度センサ１８及びセンサ２０からの出力信号を取得する。メモリ４０は、サンプリングした出力信号を一時的に保持する。デジタルの出力信号は、速度センサ１８及びセンサ２０の出力電圧を時間ごとにデジタル値で表したものである。以下、センサ２０出力信号の表す値を「センサ２０の出力値」という。出力信号の表す値（センサの出力値）は、サンプリング時間内での平均値、最大値等の代表値とすることができる。

【0042】

また、メモリ４０は、速度センサ１８からの出力信号を、危険判定部４２に出力し、環境検出センサ２０_１からの出力信号と対象検出センサ２０_２からの出力信号の各々を、信号処理部４４及び曲調変更判定部５０の各部に出力する。メモリ４０は、速度センサ１８及びセンサ２０からの出力信号を、取得した順序で各部に出力する。

【0043】

危険判定部４２は、速度センサ１８の出力値が、予め定めた閾値以上か否かを判定することにより、運転の危険性を判定し、判定結果を信号処理部４４に通知する。閾値としては、例えば、法定スピードより20km/時だけ速い速度を用いる。信号処理部４４は、速度センサ１８の出力値が閾値以上という結果を受け取ると、違和感のある音を生成し、違和感のある音をＭＩＤＩ信号に変換する。また、信号処理部４４は、センサ２０からの出力信号をＭＩＤＩ信号に変換する。そして、信号処理部４４は、得られたＭＩＤＩ信号を、音楽情報生成部４６に出力する。音楽情報生成部４６は、ＭＩＤＩ信号を受け取ると、ＭＩＤＩ信号から音楽情報を生成する。

【0044】

ここで、信号処理部４４は、環境検出センサ２０_１からの出力信号、及び対象検出センサ２０_２からの出力信号の各々から、ＭＩＤＩ信号を各々生成し、音楽情報生成部４６は、各ＭＩＤＩ信号から音楽情報を各々生成する。

【0045】

音楽情報生成部４６は、音楽情報の各々を、音楽情報合成部４８に出力する。音楽情報合成部４８は、音楽情報の各々を合成し、車両の外部環境に応じた音楽を表す音楽情報を生成する。そして、音楽情報合成部４８は、得られた音楽情報を音楽出力部６０に出力する。

【0046】

曲調変更判定部５０は、センサ２０の出力値から、曲調変更条件を充足しているか否かを判定し、判定結果を信号処理部４４に通知する。なお、曲調変更条件、判定手法については後述する。

【0047】

信号処理部４４は、曲調変更条件を充足しているという結果を受け取ると、センサ２０からの出力信号から、曲調を変化させるようにＭＩＤＩ信号を生成する。

【0048】

例えば、曲調には、マイナー調、メジャー調、クラシック風、ボサノバ風、日本風、琉球風、アラビック風等がある。曲調の変化とは、楽器（音色）の割り当て、スケール（音の高さの間隔）、コード進行（２音以上の音の重なり）、リズム等の構成要素を変更することである。ＭＩＤＩ信号においてこれらの構成要素を変更することで曲調が変化する。

【0049】

本実施の形態では、曲調変更条件として、カメラ画像から得られる明るさが変化することを用いる。例えば、カメラ画像から得られる明るさが減少したり、増加したりすると、曲調を変化させる。これにより、外部環境の変化が表現される。

【0050】

本実施の形態では、環境検出センサの出力信号に基づいて曲を表す音楽情報を生成し、対象検出センサの出力信号に基づいて楽器音を表す音楽情報を生成し、曲を表す音楽情報と楽器音を表す音楽情報とを合成して、車両の外部環境に応じた音楽を表す音楽情報を生成する。これにより、対象（対向車両、人物、建物など障害物）の出現等のイベント発生時に、特定の楽器音を発生させて、搭乗者にイベントの発生を認識させる。

【0051】

環境検出センサ２０_１としては、カメラ等の画像センサ、光センサ、放射温度計等の温度センサ、ＧＰＳを含むカーナビゲーション・システム等の位置センサなどがある。対象検出センサ２０_２としては、レーダ等の電磁波センサ、ドップラー効果を検出するドップラーセンサ、加速度センサ等がある。例えば、ＭＩＤＩ信号変換時に、曲を表す音楽情報を生成するために、画像センサにはハープ、光センサには尺八、温度センサにはピアノなどの楽器音源を割り当ててもよい。また、楽器音を表す音楽情報を生成するために、電磁波センサにはトライアングル、ドップラーセンサにはティンパニーなどの楽器音源を割り当ててもよい。

【0052】

（違和感を与える音の生成）
次に、違和感を与える音を生成する原理について説明する。

【0053】

図６に示すように、センサデータを音に反映させる場合、センサ信号をＭＩＤＩのトーンナンバー（ピアノの鍵盤に相当する）に当てはめる。複数の楽器の音を鳴らす場合は、メトロノームに相当するリズムでもって、各楽器を鳴らすタイミングを合わす。一般的には、各楽器は整数分の１や倍数の間隔で演奏すると聞き易い。車が後方から接近し危険性があると判定した場合、特定の楽器に対応している、メトロノームを、通常人では行えないように早くすると、その楽器は音と音が離散的でなく、連続的に変化するように聞こえる。このような音は、通常聞いていないので、違和感を感じる。演奏する大半の楽器をこのようにすると、音楽にならないので、複数の楽器の内の１つか２つに施す。

【0054】

図７は、違和感の内、不快感を表す機能を入れた場合の信号処理部４４と、危険判定部４２と、曲調変更判定部５０との実施例である。

【0055】

図７では、対象検出センサ２０_２としての10.5GHzのドップラーセンサから出力信号と、環境検出センサ２０_１としてのカメラからの画像データとを、それぞれＭＩＤＩ信号に変換する例を示している。

【0056】

曲調変更判定部５０は、カメラからの画像データにおいてＲＧＢの量それぞれ検出し、それを各センサ２０に対する曲調を変える信号に割り当てている。具体的には、曲調変更判定部５０は、RGBの量から計算される明るさに対して、閾値を設定し、マッピングにより、明るさが閾値以上であると判定すると、判定結果を信号処理部４４へ出力して、信号処理部４４が、リズムを変える。また、曲調変更判定部５０は、RGBの量から計算される明るさを信号処理部４４へ出力して、信号処理部４４が、ベロシティ（音の強さ）を変化させる。このように、カメラからの画像データの明るさに応じて、曲調が変化する。

【0057】

また、危険判定部４２は、速度センサ１８から得られる速度情報に対して、例えば、８０ｋｍ/ｈ、１００ｋｍ/ｈで閾値を設定し、速度が８０ｋｍ/ｈ以上になると、運転の危険性があると判定し、違和感発生信号を信号処理部４４へ出力して、信号処理部４４が、10.5GHzのドップラーセンサのセンサ信号をＭＩＤＩ信号に変換する際に、Cメジャースケールからペンタトニックスケールに切り替える。

【0058】

例えば、全ての楽器の各々の曲を、Cメジャースケール（ドレミファソラシドのピアノの白鍵だけでひく）だけで自動作曲している状態から、少なくとも１つの楽器の曲をペンタトニックスケール（ピアノの黒鍵だけでひく）に切り替えることにより、違和感を与えることができる。なお、ペンタトニックスケールではなく、ドレミソラ（ヨナ抜き5音階）に切り替えるようにしてもよい。また、長音階（ド、ミ♭、ミ、ファ、ソ、ラ）や短音階（ド、ミ♭、ファ、ソ、ラ）の組み合わせで自動作曲していた状態から、少なくとも一つの楽器の曲をペンタトニックスケールへ切り替えるようにしてもよい。
また、メロディを作る全ての楽器を、Ｃメジャースケールで鳴らしていて、そのうちの１つ以上の楽器について、Ｃメジャースケールのトーンナンバーに、１２７以下の整数の一つを加算又は減算して音を鳴らすトーンナンバーとすることにより、スケールを切り換えるようにしてもよい。例えば、１〜１０ぐらいの整数を、加算又は減算すればよく、具体的には、トーンナンバーに２を加えるか、又は２を引くようにすればよい。このように一部のスケールを平行移動させることにより、スケールを切り替えるようにしてもよい。

【0059】

また、速度が１００ｋｍ/ｈ以上になると、更に運転の危険性がある判定し、違和感発生信号を信号処理部４４へ出力して、信号処理部４４は、10.5GHzのドップラーセンサのセンサ信号をＭＩＤＩ信号に変換する際に、＋２度の和音を加える。例えば、ドを鳴らすとき、同時にレをならす。これにより、極めて聞き苦しい音楽が生成される。

【0060】

なお、＋９度の和音を加えるようにしてもよい。例えば、ドを鳴らすとき、ドを鳴らす時、同時に一オクターブ高いレを鳴らすようにしてもよい。

【0061】

このように、本実施の形態では、曲調変更判定部５０により、曲調変化を行うことを指示するための判定結果を出力し、危険判定部４２により、違和感を出すことを指示するための違和感発生信号を出力する。信号処理部４４は、曲調変化を行うことを指示するための判定結果や違和感発生信号を受けて、各センサ２０の出力信号からＭＩＤＩ信号に変換する際に、判定結果や違和感発生信号に応じた変化を加えてＭＩＤＩ信号を生成する。

【0062】

＜違和感発生処理＞
次に、音楽情報生成部３０のＣＰＵ３０Ａにより実行される「違和感発生処理」について説明する。「違和感発生処理」は、操作部３２を介して搭乗者からの開始指示があると開始され、繰り返し実行される。図８は「違和感発生処理」の手順の一例を示すフローチャートである。

【0063】

まず、ステップ１００で、速度センサ１８からの出力信号を取得（サンプリング）する。そして、ステップ１０２で、取得した出力信号が表す速度情報が、閾値以上であるか否かを判定する。速度情報が、閾値以上である場合には、ステップ１０４において、違和感発生信号を出力して、違和感発生処理を終了する。一方、速度情報が閾値未満である場合には、違和感発生信号を出力せずに、違和感発生処理を終了する。

【0064】

＜音楽生成処理＞
次に、音楽情報生成部３０のＣＰＵ３０Ａにより実行される「音楽生成処理」について説明する。「音楽生成処理」は、操作部３２を介して搭乗者からの開始指示があると開始される。図９は「音楽生成処理」の手順の一例を示すフローチャートである。

【0065】

まず、ステップ１１０で、センサ２０からの出力信号を取得（サンプリング）したか否かを判定する。出力信号を取得した場合は、ステップ１１２に進み、出力信号を取得していない場合は、ステップ１１０に戻り判定を繰り返す。次に、ステップ１１２で、取得した信号が、カメラ画像の信号か否かを判定する。

【0066】

カメラ画像の信号である場合は、ステップ１１４に進む。カメラ画像の信号でない場合は、ステップ１１８に進む。

【0067】

ステップ１１４では、カメラ画像のＲＧＢの量から、明るさを計算する。次のステップ１１６では、計算された明るさが閾値以上であるか否かを判定し、判定結果に応じて曲調を変化させる信号を出力する。

【0068】

ステップ１１８では、得られた信号の種類に応じた信号処理を行う。具体的には、サンプリングした出力信号の種類に応じて、ＭＩＤＩ信号に変換する。また、上記ステップ１１６で曲調を変化させる信号が出力された場合には、ＭＩＤＩ信号に変換する際に、曲調を変化させるようにＭＩＤＩ信号を生成する。また、上述した違和感発生処理で、違和感発生信号が出力された場合には、違和感を与えるようにＭＩＤＩ信号を生成する。

【0069】

次に、ステップ１２２で、上記ステップ１１８で得られた、信号の種類に応じたＭＩＤＩ信号から音楽情報を生成する。

【0070】

次に、ステップ１２４で、信号の種類に応じた音楽情報を合成して、車両の外部環境に応じた音楽を表す音楽情報を生成し、音楽出力部６０に出力する。次に、ステップ１２６で、搭乗者からの停止指示があったか否かを判定する。停止指示があればルーチンを終了し、停止指示が無ければステップ１１０に戻って、ステップ１１０からステップ１２６までの手順を繰り返す。

【0071】

以上説明したように、第１の実施の形態に係る音楽再生装置によれば、センサ信号に基づいて音楽情報を生成する際に、運転の危険性があると判定されると、生成する音楽における音のスケール、又は音楽において鳴らす和音を変更して、違和感や不快感を与えることにより、エンタテイメント性と安全性の両立を図ることができる。

【0072】

また、クルマが走行することで周囲環境情報が変化する。この環境情報をセンサで検出し、それを基に自動作曲する際に、音楽を楽しむというエンタテイメント性と安全性とを両立させる。曲調を変えることでエンタテイメント性を実現し、安全性には、エンタテイメント性と関係しない音をあてはめて実現する。

【0073】

また、運転の危険性がある場合に、違和感のある音を発生させて、ドライバに違和感を感じさせ、運転の危険性がなくなると、違和感のある音の発生をやめて、安全な運転状態であることを知らせることができる。

【0074】

＜第２の実施の形態＞
＜音楽再生装置＞
次に、第２の実施の形態に係る音楽再生装置について説明する。なお、第１の実施の形態と同様の構成となる部分については同一符号を付して説明を省略する。

【0075】

第２の実施の形態では、地図データから、音楽情報を生成している点が、第１の実施の形態と異なっている。

【0076】

第２の実施の形態では、自動運転に利用する高度化された地図情報（ダイナミックマップ）から、車両の外部環境の情報を取得して、車両の外部環境に応じた音楽情報を生成する。

【0077】

図１０は、第２の実施の形態に係る音楽再生装置２１０の全体構成の一例を示すブロック図である。本実施の形態に係る音楽再生装置２１０は、速度センサ１８、環境検出センサ２０_１、対象検出センサ２０_２、ＧＰＳセンサ２２０、地図情報取得部２２２、地図データベース２２４、音楽情報生成部３０、及び音楽出力部６０を備えている。速度センサ１８、環境検出センサ２０_１、対象検出センサ２０_２、ＧＰＳセンサ２２０、及び地図データベース２２４の各々は、音楽情報生成部３０に電気的に接続されている。

【0078】

ＧＰＳセンサ２２０は、ＧＰＳ衛星から受信した信号に基づいて、車両の位置を計測する。

【0079】

地図データベース２２４は、自動運転に利用する高度化された地図情報を生成するための静的な道路地図情報を記憶している。

【0080】

地図情報取得部２２２は、ＧＰＳセンサ２２０によって計測された車両の位置に基づいて、当該位置の道路地図情報を地図データベース２２４から取得する。また、地図情報取得部２２２は、環境検出センサ２０_１及び対象検出センサ２０_２からの出力信号に基づいて、動的な情報（車両や歩行者などの移動物体、信号現示、道路工事などの情報）を取得する。

【0081】

地図情報取得部２２２は、地図データベース２２４から取得した地図情報と、動的な情報とを統合して、自動運転に利用する高度化された地図情報（ダイナミックマップ）を生成する。

【0082】

地図情報取得部２２２は、生成した地図情報（ダイナミックマップ）から動画データを生成し、動画データに基づいて、ＲＧＢ出力やエッジの検出結果などの各種外部環境情報を求めて、音楽情報生成部３０へ出力する。

【0083】

地図情報取得部２２２は、随時、上記のように高度化された地図情報（ダイナミックマップ）の生成、及び各種外部環境情報の取得を行い、求めた各種外部環境情報を、音楽情報生成部３０へ出力する。

【0084】

音楽情報生成部３０の危険判定部４２は、上記第１の実施の形態と同様に、速度センサ１８の出力値が、予め定めた閾値以上か否かを判定し、違和感発生信号を信号処理部４４に出力する。信号処理部４４は、違和感発生信号を受け取ると、違和感のある音を生成するように、地図情報取得部２２２からの各種外部環境情報をＭＩＤＩ信号に変換する。そして、信号処理部４４は、各種外部環境情報に応じて得られたＭＩＤＩ信号を、音楽情報生成部４６に出力する。音楽情報生成部４６は、ＭＩＤＩ信号を受け取ると、ＭＩＤＩ信号から音楽情報を生成する。

【0085】

ここで、信号処理部４４は、地図情報取得部２２２からの各種外部環境情報から、ＭＩＤＩ信号を生成し、音楽情報生成部４６は、各種外部環境情報に応じて生成されたＭＩＤＩ信号から、音楽情報を各々生成する。

【0086】

＜違和感発生処理＞
「違和感発生処理」は、操作部３２を介して搭乗者からの開始指示があると開始され、上記第１の実施の形態と同様に、上記図８に示す違和感発生処理が、繰り返し実行される。

【0087】

＜地図情報取得処理＞
「地図情報取得処理」は、操作部３２を介して搭乗者からの開始指示があると開始され、上述したように、高度化された地図情報（ダイナミックマップ）の生成、及び各種外部環境情報の取得が、繰り返し行われる。

【0088】

＜音楽生成処理＞
次に、音楽情報生成部３０のＣＰＵ３０Ａにより実行される「音楽生成処理」について説明する。「音楽生成処理」は、操作部３２を介して搭乗者からの開始指示があると開始される。図１１は「音楽生成処理」の手順の一例を示すフローチャートである。なお、第１の実施の形態と同様の処理については、同一符号を付して説明を省略する。

【0089】

まず、ステップ２５２で、地図情報取得部２２２によって求められた各種外部環境情報を取得する。

【0090】

ステップ１１４では、上記ステップ２５２で取得した外部環境情報に含まれるＲＧＢの量から、明るさを計算する。次のステップ１１６では、計算された明るさが閾値以上であるか否かを判定し、明るさが閾値以上である場合に、曲調を変化させる信号を出力する。

【0091】

ステップ２５４では、得られた外部環境情報の種類に応じた信号処理を行う。具体的には、取得した外部環境情報の種類に応じて、ＭＩＤＩ信号に各々変換する。また、上記ステップ１１６で曲調を変化させる信号が出力された場合には、ＭＩＤＩ信号に変換する際に、曲調を変化させるようにＭＩＤＩ信号を生成する。また、上述した違和感発生処理で、違和感発生信号が出力された場合には、違和感を与える音のＭＩＤＩ信号を生成する。

【0092】

次に、ステップ１２２で、上記ステップ２５４で得られたＭＩＤＩ信号の各々から音楽情報を生成する。

【0093】

次に、ステップ１２４で、各音楽情報を合成して、車両の外部環境に応じた音楽を表す音楽情報を生成し、音楽出力部６０に出力する。次に、ステップ１２６で、搭乗者からの停止指示があったか否かを判定する。停止指示があればルーチンを終了し、停止指示が無ければステップ２５２に戻って、ステップ２５２からステップ１２６までの手順を繰り返す。

【0094】

なお、第２の実施の形態に係る音楽再生装置の他の構成及び作用については第１の実施の形態と同様であるため、説明を省略する。

【0095】

以上説明したように、第２の実施の形態に係る音楽再生装置によれば、自動運転に利用する高度化された地図情報に基づいて音楽情報を生成する際に、運転の危険性があると判定されると、生成する音楽における音のスケール、又は音楽において鳴らす和音を変更して、違和感や不快感を与えることにより、エンタテイメント性と安全性の両立を図ることができる。

【0096】

なお、上記の実施の形態では、高度化された地図情報から動画データを作成して、外部環境情報を取得する場合を例に説明したが、これに限定されるものではなく、例えば、静的な道路地図情報と動的情報から、外部環境情報を取得するようにしてもよい。

【0097】

＜第３の実施の形態＞
＜音楽再生装置＞

【0098】

次に、第３の実施の形態に係る音楽再生装置について説明する。なお、第１の実施の形態と同様の構成となる部分については同一符号を付して説明を省略する。

【0099】

第３の実施の形態では、予め用意されている音楽情報を再生する際に、違和感のある音を発生される点が、第１の実施の形態と異なっている。

【0100】

図１２は、第３の実施の形態に係る音楽再生装置３１０の全体構成の一例を示すブロック図である。本実施の形態に係る音楽再生装置３１０は、速度センサ１８、音楽情報入力部３２０、音楽情報処理部３３０、及び音楽出力部６０を備えている。速度センサ１８、音楽情報入力部３２０の各々は、音楽情報処理部３３０に電気的に接続されている。

【0101】

音楽情報入力部３２０は、予め用意された音楽情報（例えば、ＣＤなどから得られる音楽情報や、電子的な音楽情報）を取得して、音楽情報処理部３３０へ出力する。

【0102】

図１３に示すように、音楽情報処理部３３０は、メモリ４０、危険判定部４２、信号処理部３４４、音楽情報生成部３４６、及び音楽情報合成部３４８を備えている。なお、信号処理部３４４が、変更手段の一例である。

【0103】

危険判定部４２は、上記第１の実施の形態と同様に、速度センサ１８の出力値が、予め定めた閾値以上か否かを判定し、違和感発生信号を出力する。

【0104】

信号処理部３４４は、危険判定部４２から違和感発生信号が出力されると、音楽情報入力部３２０により入力された音楽情報における音に応じて、違和感のある音のＭＩＤＩ信号を生成する。

【0105】

例えば、入力された音楽情報において鳴らす和音を追加することにより、違和感のある音を生成する。

【0106】

音楽情報生成部３４６は、信号処理部３４４によって生成されたＭＩＤＩ信号から、音楽情報を生成する。

【0107】

音楽情報合成部３４８は、音楽情報入力部３２０により入力された音楽情報と、音楽情報生成部３４６によって生成された音楽情報とを合成し、音楽出力部６０に出力する。

【0108】

＜違和感発生処理＞
次に、音楽情報処理部３３０により実行される「違和感発生処理」について説明する。「違和感発生処理」は、操作部３２を介して搭乗者からの開始指示があると開始され、上記第１の実施の形態と同様に、上記図８に示す違和感発生処理が、繰り返し実行される。

【0109】

＜音楽生成処理＞
次に、音楽情報処理部３３０により実行される「音楽生成処理」について説明する。「音楽生成処理」は、操作部３２を介して搭乗者からの開始指示があると開始される。図１４は「音楽生成処理」の手順の一例を示すフローチャートである。

【0110】

まず、ステップ３５０で、違和感発生信号が出力されているか否かを判定する。違和感発生信号が出力されていない場合には、ステップ３６０へ移行し、音楽情報入力部３２０により入力された音楽情報を、音楽出力部６０に出力する。一方、違和感発生信号が出力されている場合には、ステップ３５２へ移行する。

【0111】

ステップ３５２では、音楽情報入力部３２０により入力された音楽情報における音に応じて、違和感のある音のＭＩＤＩ信号を生成する。そして、ステップ３５６では、上記ステップ３５２で得られたＭＩＤＩ信号から音楽情報を生成する。

【0112】

次に、ステップ３５８で、音楽情報入力部３２０により入力された音楽情報と、上記ステップ３５６で生成された音楽情報とを合成して、音楽出力部６０に出力する。次に、ステップ３６２で、搭乗者からの停止指示があったか否かを判定する。停止指示があればルーチンを終了し、停止指示が無ければステップ３５２に戻って、ステップ３５０からステップ３６２までの手順を繰り返す。

【0113】

なお、第３の実施の形態に係る音楽再生装置の他の構成及び作用については第１の実施の形態と同様であるため、説明を省略する。

【0114】

以上説明したように、第３の実施の形態に係る音楽再生装置によれば、予め用意された音楽情報を再生する際に、運転の危険性があると判定されると、再生する音楽における音のスケール、又は音楽において鳴らす和音を変更して、違和感や不快感を与えることにより、エンタテイメント性と安全性の両立を図ることができる。

【0115】

＜変形例＞
なお、上記各実施の形態で説明した音楽生成装置の構成は一例であり、本発明の主旨を逸脱しない範囲内においてその構成を変更してもよいことは言うまでもない。

【0116】

例えば、上記の実施の形態では、車両の速度が閾値以上であるか否かを判定することにより、運転の危険性を判定して、違和感発生信号を出力する場合を例に説明したが、これに限定されるものではない。例えば、カメラ画像に基づいて、白線から逸脱したか否かを判定し、白線から逸脱した場合に、違和感発生信号を出力するようにしてもよい。このとき、白線から大きく逸脱すればするほど、違和感が増すようにしてもよい。また、白線からの逸脱が修正されると、違和感発生信号の出力をやめるようにすればよい。

【0117】

また、高速道路での自動運転モードである場合に、一般道での従来の運転にもどるときの半自動運転の状態に遷移するか否かを判定し、半自動運転の状態に遷移すると判定したときに、違和感発生信号を出力し、自動運転から手動運転に切り替わることを違和感によって知らせるようにしてもよい。このように、手をステアリングから離した状態から、手動運転が必要な状態に遷移するときに、違和感を与え、手動運転に切り替わる地点になるにつれて、違和感を増すようにする。そして、ドライバがステアリングをにぎると、違和感発生信号の出力をやめるようにすればよい。
また、運転の危険性ではなく、衝突又は接近の危険性を判定し、衝突又は接近の危険性があると判定された場合に、違和感発生信号を出力してもよい。例えば、他車両の接近や、ガードレール等路側物の接近などを判定するようにしてもよい。

【0118】

また、居眠り検出を行い、居眠りが検出されたか否かを判定し、居眠りが検出された場合に、違和感発生信号を出力してもよい。

【0119】

また、違和感のない音楽の運転が、上手い運転であるとして、ドライバに点数として知らせるようにしてもよい。例えば、エコ運転の評価を行い、評価が悪い場合に、違和感発生信号を出力するようにしてもよい。

【0120】

また、危険性が高くなるほど、音楽から感じる違和感が段階的に高まるようにし、それでも危険性がなくならない場合、ドライバが異常であると判断し、クルマを減速停止させるようにしてもよい。

【0121】

また、上記の実施の形態では、違和感発生信号が出力された場合、和音の追加、又はスケールの変更により、違和感を与える音楽を生成する場合を例に説明したが、これに限定されるものではない。例えば、違和感発生信号が出力された場合、特定の楽器の音を鳴らすタイミングを変更するようにしてもよい。例えば、メロディをかなでる楽器を楽器Ａとすると、楽器Ａはｓ ms毎に音を出すとする。他の楽器は、これと同じあるいは、これの分数、あるいは倍数で音を作る。このような状態の中で、メロディをかなでる楽器Ａにおいて、少なくとも一つの音を、上記のタイミングに関係ない状態で鳴らすようにすればよい。

【0122】

また、違和感発生信号が出力された場合に、楽器のタイミングをずらすようにしてもよい。各楽器の音を鳴らす場合に、ディレイを入れて、同時に鳴らないようにしてもよい。

【0123】

また、違和感発生信号が出力された場合に、センサ信号に対応してメロディをかなでる楽器の少なくとも一つの音をランダムに変えるようにしてもよい。これにより、曲にならない音楽が生成される。

【0124】

また、上記の違和感を与える音楽を生成する方法を、重ねて行うようにしてもよい。

【0125】

また、上記の実施の形態では、環境検出センサであるカメラの画像のＲＧＢの量に基づいて曲調を変化させるか否かを判定しているが、これに限定されるものではない。他の環境検出センサの出力信号に基づいて曲調を変化させるか否かを判定するようにしてもよい。また、対象検出センサの出力信号に基づいて曲調を変化させるか否かを判定するようにしてもよい。例えば、対象検出センサの反応の増加に応じて曲調を変化させるようにしてもよい。

【符号の説明】

【0126】

１０、２１０、３１０ 音楽再生装置
１８ 速度センサ
２０ センサ
２０_１ 環境検出センサ
２０_２ 対象検出センサ
３０ 音楽情報生成部
４２ 危険判定部
４４、３４４ 信号処理部
４６、３４６ 音楽情報生成部
４８、３４８ 音楽情報合成部
５０ 曲調変更判定部
６０ 音楽出力部
２２０ ＧＰＳセンサ
２２２ 地図情報取得部
２２４ 地図データベース
３２０ 音楽情報入力部
３３０ 音楽情報処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】