特許 6645480 音生成装置、音生成制御プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6645480

(24)【登録日】2020年1月14日

(45)【発行日】2020年2月14日

(54)【発明の名称】音生成装置、音生成制御プログラム

(51)【国際特許分類】

   G10H 1/00 20060101AFI20200203BHJP

   B60R 21/00 20060101ALI20200203BHJP

【ＦＩ】

   G10H1/00 102Z

   B60R21/00 991

【請求項の数】6

【全頁数】18

(21)【出願番号】特願2017-140571(P2017-140571)

(22)【出願日】2017年7月20日

(65)【公開番号】特開2019-20638(P2019-20638A)

(43)【公開日】2019年2月7日

【審査請求日】2018年10月31日

(73)【特許権者】

【識別番号】000003609

【氏名又は名称】株式会社豊田中央研究所

(74)【代理人】

【識別番号】100079049

【弁理士】

【氏名又は名称】中島 淳

(74)【代理人】

【識別番号】100084995

【弁理士】

【氏名又は名称】加藤 和詳

(72)【発明者】

【氏名】宇田 尚典

【審査官】 岩田 淳

(56)【参考文献】

【文献】 特開２０１６−１８３９８８（ＪＰ，Ａ）

【文献】 特開平０９−０８３２７７（ＪＰ，Ａ）

【文献】 特開２０１６−１０９９２０（ＪＰ，Ａ）

【文献】 特開２００５−１８９３０１（ＪＰ，Ａ）

【文献】 特開２００６−０９８３５９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｂ６０Ｒ ２１／００−２１／１３

２１／３４−２１／３８

Ｇ１０Ｇ １／００− ７／０２

Ｇ１０Ｈ １／００− ７／１２

(57)【特許請求の範囲】

【請求項1】

車両に取り付けられ、少なくとも走行中の前方画像を撮像する撮像手段を備え、車両の走行中において、当該車両の周囲環境情報、及び、乗員の身体状況情報の少なくとも一方を含む環境パラメータとして、前記撮像手段で撮像した画像を解析して、前記車両の周囲環境情報を取得する取得手段と、
前記取得手段で取得した前記環境パラメータに応じた音を生成する音生成手段と、
乗員に対して、前記音生成手段によって生成された音を出力する出力手段と、
前記車両の周囲環境情報として、前記撮像手段で撮像された前方画像の全体の変化度合いである第１の複雑さパラメータと、前記前方画像の内の車両側部に特化した変化度合いである第２の複雑さパラメータと、を演算する第１の演算手段とを有し、
前記音生成手段では、前記第１の演算手段で演算された第１の複雑さパラメータと第２の複雑さパラメータ２のバランスに基づいて、生成する音を変更することを特徴とする音生成装置。

【請求項2】

車両に取り付けられ、少なくとも走行中の前方画像を撮像する撮像手段を備え、車両の走行中において、当該車両の周囲環境情報、及び、乗員の身体状況情報の少なくとも一方を含む環境パラメータとして、前記撮像手段で撮像した画像を解析して、前記車両の周囲環境情報を取得する取得手段と、
前記取得手段で取得した前記環境パラメータに応じた音を生成する音生成手段と、
乗員に対して、前記音生成手段によって生成された音を出力する出力手段と、
前記車両の周囲環境情報として、前記撮像手段で撮像された前方画像から、車両に対して予め定めた距離以内に存在する障害物の変化度合いを示す第３の複雑さパラメータを演算する第２の演算手段とを有し、
前記音生成手段では、前記第２の演算手段で演算された第３の複雑さパラメータと、車両の速度との関係に基づいて、生成する音を変更することを特徴とする音生成装置。

【請求項3】

前記取得手段が、当該車両の周囲環境情報の複雑さを表す複雑さパラメータを、前記環境パラメータとして取得することを特徴とする請求項１記載の音生成装置。

【請求項4】

前記音生成手段が、予め記憶された複数の音を読み出して音を生成する、或いは、前記撮像手段で撮像された画像に基づいて自動作曲した複数の音から音を生成し、
前記環境パラメータに基づく、音の変更が、複数の音の合成度合いを調整することを特徴とする請求項１〜請求項３の何れか１項記載の音生成装置。

【請求項5】

車両に取り付けられ、少なくとも走行中の前方画像を撮像する撮像手段と、
予め記憶された複数の音を読み出して合成音を生成する、或いは、前記撮像手段で撮像された画像に基づいて自動作曲した複数の音から合成音を生成する音生成手段と、
前記撮像手段で撮像された前方画像の全体の変化度合いである第１の複雑さパラメータと、前記前方画像の内の車両側部に特化した変化度合いである第２の複雑さパラメータと、を演算する第１の演算手段と、
前記撮像手段で撮像された前方画像から、車両に対して予め定めた距離以内に存在する障害物の変化度合いを示す第３の複雑さパラメータを演算する第２の演算手段と、
前記第１の演算手段で演算された第１の複雑さパラメータと第２の複雑さパラメータ２のバランスに基づいて、前記音生成手段により合成される複数の音の合成度合いを変更する第１の変更手段と、
前記第２の演算手段で演算された第３の複雑さパラメータと、車両の速度との関係に基づいて、前記音生成手段により生成される合成音の音量を変更する第２の変更手段と、
乗員に対して、前記音生成手段によって生成された音を出力する出力手段と、
を有する音生成装置。

【請求項6】

コンピュータに、
予め記憶された複数の音を読み出して合成音を生成する、或いは、撮像手段で撮像された画像に基づいて自動作曲した複数の音から合成音を生成し、
前記撮像手段で撮像された前方画像の全体の変化度合いである第１の複雑さパラメータと、前記前方画像の内の車両側部に特化した変化度合いである第２の複雑さパラメータと、を演算し、
前記撮像手段で撮像された前方画像から、車両に対して予め定めた距離以内に存在する障害物の変化度合いを示す第３の複雑さパラメータを演算し、
演算された第１の複雑さパラメータと第２の複雑さパラメータ２のバランスに基づいて、合成される複数の音の合成度合いを変更し、
演算された第３の複雑さパラメータと、車両の速度との関係に基づいて、生成される合成音の音量を変更する、
ことを実行させるための音生成制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両の走行中に運転者に注意を喚起する音生成装置、音生成制御プログラムに関する。

【背景技術】

【0002】

従来、レーシングゲームやドライブシュミレータ等において、臨場感を高めるために、或いは、電気自動車で実際の走行状態に応じたエンジン音を発生させるために、エンジン模擬音を生成するエンジン模擬音生成装置が提案されている。

【0003】

特許文献１には、エンジン音の予め定めた時間内での音圧波形データを回転速度およびアクセル操作量に割付けて形成したマップに基づき、エンジン模擬音を発生させることが記載されている。

【0004】

また、特許文献２には、運転操作量とエンジン回転速度をパラメータとしてエンジン運転状態を複数の範囲に分け、各範囲の略中央状態で録音したエンジン音のそれぞれを、クランク軸が１燃料サイクル分回転する時間に相当する長さの音圧波形の単位で、エンジン音のデジタルデータとして記憶し、運転操作量とエンジン回転速度の入力に応じた運転状態範囲のエンジン音データを繰り返し発音させることが記載されている。

【0005】

上記特許文献１及び特許文献２を含め、従来の車両等における音生成装置では、車両等の走行に関する音として、エンジン回転数とアクセル操作量との二次元パラメータ（二次元座標）の四隅に相当するエンジン音のサンプルを準備しておき、検出したエンジン回転数とアクセル操作量に応じた座標点の音を補完して出力するものである。

【0006】

補完の手段は、エンジン回転数及びアクセル操作量によって音の再生速度を変化させる。また、エンジン回転数及びアクセル操作量に応じた重みを設定し、音量を変化させる。

【0007】

一方、特許文献３には、周囲環境に応じて自動作曲することが記載されている。すなわち、特許文献３では、複数のパートが同時に鳴ることで音楽を生成している。それぞれのパートの音は、映像や電波センサ等の反応に応じて鳴るようになっている。

【0008】

また、特許文献４には、危険判定部によって速度センサからの信号に基づいて、運転の危険性を判定し、生成する音楽における音のスケール、音楽において鳴らす和音、楽器の音を鳴らすタイミング、楽器の演奏速度の少なくとも１つを変更することが記載されている。

【0009】

なお、参考として、楽曲データと車両状態の検出結果を利用して音楽を発生する車両用音楽発生装置が開示されている（特許文献５）。

【0010】

さらに、参考として、モニタに表示される監視対象から入力される外部信号に基づいて、監視対象の変化を音楽の変化に変換することで、監視作業を聴覚にも反映させる信号監視用音楽演奏装置が開示されている（特許文献６）。

【0011】

また、参考として、外部環境や人の生体情報を使って自動再生する音響構成装置が開示されている(特許文献７参照)。

【先行技術文献】

【特許文献】

【0012】

【特許文献1】特開２０００−１１４２号公報

【特許文献2】特開２０００−１０５７６号公報

【特許文献3】特開２０１６−１８３９８８号公報

【特許文献4】特開２０１６−１０２８６３号公報

【特許文献5】特許第４９８４８６１号公報

【特許文献6】特許第４４５８５８１号公報

【特許文献7】特許第３３８１０７４号公報

【発明の概要】

【発明が解決しようとする課題】

【0013】

例えば、静粛性の高い車両では車室内のエンジン音を極力遮断する構造をとっている。また、電気自動車では、そもそも車両の駆動源がエンジンからモータ等に遷移する中、エンジン音は存在しない。例えば、音の出力対象を、車両の周囲を歩行している人や自転車で走行している人とし、当該人に対して注意喚起するという目的では有効であるが、静粛性の高い車両及び電気自動車を運転している運転者にとっては、走行中の耳障りとなる可能性がある。

【0014】

一方、運転者は、車両の安全運転の一環として、周囲の環境の様子を認識したいという要求がある。

【0015】

しかしながら、車両の操作状態をパラメータとした音発生技術は存在するが、運転中の周囲環境と音との関連性は考慮されていない。

【0016】

本発明は上記事実を考慮し、運転中の周囲環境と音との関連性を持たせ、出力される音に運転者が運転するときの注意喚起機能として機能を持たせることができる音生成装置、音生成制御プログラムを得ることが目的である。

【課題を解決するための手段】

【0017】

本発明の音生成装置は、車両に取り付けられ、少なくとも走行中の前方画像を撮像する撮像手段を備え、車両の走行中において、当該車両の周囲環境情報、及び、乗員の身体状況情報の少なくとも一方を含む環境パラメータとして、前記撮像手段で撮像した画像を解析して、前記車両の周囲環境情報を取得する取得手段と、前記取得手段で取得した前記環境パラメータに応じた音を生成する音生成手段と、乗員に対して、前記音生成手段によって生成された音を出力する出力手段と、前記車両の周囲環境情報として、前記撮像手段で撮像された前方画像の全体の変化度合いである第１の複雑さパラメータと、前記前方画像の内の車両側部に特化した変化度合いである第２の複雑さパラメータと、を演算する第１の演算手段とを有し、前記音生成手段では、前記第１の演算手段で演算された第１の複雑さパラメータと第２の複雑さパラメータ２のバランスに基づいて、生成する音を変更することを特徴としている。
また、本発明に係る音生成装置は、車両に取り付けられ、少なくとも走行中の前方画像を撮像する撮像手段を備え、車両の走行中において、当該車両の周囲環境情報、及び、乗員の身体状況情報の少なくとも一方を含む環境パラメータとして、前記撮像手段で撮像した画像を解析して、前記車両の周囲環境情報を取得する取得手段と、前記取得手段で取得した前記環境パラメータに応じた音を生成する音生成手段と、乗員に対して、前記音生成手段によって生成された音を出力する出力手段と、前記車両の周囲環境情報として、前記撮像手段で撮像された前方画像から、車両に対して予め定めた距離以内に存在する障害物の変化度合いを示す第３の複雑さパラメータを演算する第２の演算手段とを有し、前記音生成手段では、前記第２の演算手段で演算された第３の複雑さパラメータと、車両の速度との関係に基づいて、生成する音を変更することを特徴としている。

【0018】

本発明によれば、取得手段は、車両の走行中において、当該車両の周囲環境情報、及び、乗員の身体状況情報の少なくとも一方を含む環境パラメータを取得する。音生成手段は、取得手段で取得した前記環境パラメータに応じた音を生成し、出力手段は、乗員に対して、音生成手段によって生成された音を出力する。

【0019】

ここで、音生成手段では、取得手段で取得した環境パラメータに基づいて、音を生成している。言い換えれば、車両の走行のために操作状態に基づくパラメータではない。

【0020】

すなわち、本発明では、例えば、車両の周囲環境情報によって注意喚起するための音を生成しているため、当該生成された音の出力によって、車両の周囲環境を把握することができ、運転に配慮することができる。

【0021】

本発明において、前記取得手段が、当該車両の周囲環境情報の複雑さを表す複雑さパラメータを、前記環境パラメータとして取得することを特徴としている。

【0022】

環境パラメータにより、車両の周囲環境情報の複雑さを表す複雑さを表現することができる（複雑さパラメータ）。

【0024】

周囲環境を取得する情報源として、車両の走行中の前方画像を撮像する。車両の走行において、最も重要な前方画像から、様々な周囲環境を取得することができる。

【0025】

前記車両の周囲環境情報として、前記撮像手段で撮像された前方画像の全体の変化度合いである第１の複雑さパラメータと、前記前方画像の内の車両側部に特化した変化度合いである第２の複雑さパラメータと、を演算する第１の演算手段をさらに有し、前記音生成手段では、前記第１の演算手段で演算された第１の複雑さパラメータと第２の複雑さパラメータ２のバランスに基づいて、生成する音を変更することを特徴とする。

【0026】

車両の周囲環境情報として、第１の複雑さパラメータと第２の複雑さパラメータを演算する。

【0027】

第１の複雑さパラメータは、撮像手段で撮像された前方画像の全体の変化度合いである。また、第２の複雑さパラメータは、前方画像の内の車両側部に特化した変化度合いである。

【0028】

変更手段では、第１の複雑さパラメータと第２の複雑さパラメータ２のバランスに基づいて、音生成手段による音の生成を変更する。異なる要素のバランスで音が変化するため、二次元的な拡がりで報知形態を異ならせることができる。

【0029】

前記車両の周囲環境情報として、前記撮像手段で撮像された前方画像から、車両に対して予め定めた距離以内に存在する障害物の変化度合いを示す第３の複雑さパラメータを演算する第２の演算手段をさらに有し、前記音生成手段では、前記第２の演算手段で演算された第３の複雑さパラメータと、車両の速度との関係に基づいて、生成する音を変更することを特徴とする。

【0030】

前記車両の周囲環境情報として、第３の複雑さパラメータを演算する。第３の複雑さパラメータは、撮像手段で撮像された前方画像から、車両に対して予め定めた距離以内に存在する障害物の変化度合いである。

【0031】

変更手段では、第３の複雑さパラメータと、車両の速度との関係に基づいて、生成する音を変更する。音の変更は、音量を含む。例えば、予め定めた距離以内に障害物が多く存在し、かつ車両の速度が遅い状況が認識可能であり、この状況は、人通りの多い狭い道路等が考えられ、一例として音量増大は、より注意喚起を強調する契機となり得る。

【0032】

本発明において、前記音生成手段が、予め記憶された複数の音を読み出して音を生成する、或いは、前記撮像手段で撮像された画像に基づいて自動作曲した複数の音から音を生成し、前記環境パラメータに基づく、音の変更が、複数の音の合成度合いを調整することを特徴とする。

【0033】

聴覚を通じて注意喚起を認識することができるため、視覚を通じた注意喚起に比べて運転中の視線の変更を軽減することができる。

【0034】

本発明の音生成装置は、車両に取り付けられ、少なくとも走行中の前方画像を撮像する撮像手段と、予め記憶された複数の音を読み出して合成音を生成する、或いは、前記撮像手段で撮像された画像に基づいて自動作曲した複数の音から合成音を生成する音生成手段と、前記撮像手段で撮像された前方画像の全体の変化度合いである第１の複雑さパラメータと、前記前方画像の内の車両側部に特化した変化度合いである第２の複雑さパラメータと、を演算する第１の演算手段と、前記撮像手段で撮像された前方画像から、車両に対して予め定めた距離以内に存在する障害物の変化度合いを示す第３の複雑さパラメータを演算する第２の演算手段と、前記第１の演算手段で演算された第１の複雑さパラメータと第２の複雑さパラメータ２のバランスに基づいて、前記音生成手段により合成される複数の音の合成度合いを変更する第１の変更手段と、前記第２の演算手段で演算された第３の複雑さパラメータと、車両の速度との関係に基づいて、前記音生成手段により生成される合成音の音量を変更する第２の変更手段と、乗員に対して、前記音生成手段によって生成された音を出力する出力手段と、を有している。

【0035】

本発明によれば、第１の演算手段では、撮像手段で撮像された前方画像の全体の変化度合いである第１の複雑さパラメータと、前記前方画像の内の車両側部に特化した変化度合いである第２の複雑さパラメータと、を演算し、両者のバランスに基づいて、前記音生成手段により生成される音を変更する（第１の変更手段）。

【0036】

また、第２の演算手段では、撮像手段で撮像された前方画像から、車両に対して予め定めた距離以内に存在する障害物の変化度合いを示す第３の複雑さパラメータを演算し、当該第３の複雑さパラメータと、車両の速度との関係に基づいて、音生成手段により生成される音を変更する（第２の変更手段）。

【0037】

一例として、第１の変更が音色や合成バランス、リズム等であるのに対し、第２の変更手段が、第１の変更手段で出力される音を音量とする。

【0038】

生成された音が出力されることで、周囲環境の変化が音の変化として表され、別の場所はどのような変化があるという関心を誘うことができる。

【0039】

例えば、周りに何も無い田園地帯での走行では、音は比較的静かになり、ビルが多い都会での走行は複数の音が混じったり、音量が大きくなる、といった変更で、周囲の状況を音で表現することができる。

【0040】

また、周囲環境に応じて音が変化することで、注意散漫になりがちな単調な運転を回避することができる。

【0041】

さらに、音の変化によって、感覚的に周囲状況が把握でき、視線を運転に集中させることができる。

【0042】

本発明の音生成制御プログラムは、コンピュータに、予め記憶された複数の音を読み出して合成音を生成する、或いは、撮像手段で撮像された画像に基づいて自動作曲した複数の音から合成音を生成し、前記撮像手段で撮像された前方画像の全体の変化度合いである第１の複雑さパラメータと、前記前方画像の内の車両側部に特化した変化度合いである第２の複雑さパラメータと、を演算し、前記撮像手段で撮像された前方画像から、車両に対して予め定めた距離以内に存在する障害物の変化度合いを示す第３の複雑さパラメータを演算し、演算された第１の複雑さパラメータと第２の複雑さパラメータ２のバランスに基づいて、合成される複数の音の合成度合いを変更し、演算された第３の複雑さパラメータと、車両の速度との関係に基づいて、生成される合成音の音量を変更する、ことを実行させることを特徴とする。

【発明の効果】

【0043】

以上説明した如く本発明では、運転中の周囲環境と音との関連性を持たせ、出力される音に運転者が運転するときの注意喚起機能として機能を持たせることができる。

【図面の簡単な説明】

【0044】

【図1】本実施の形態に係る音生成制御装置の概略図である。

【図2】制御プログラムに基づきＲＡＭで実行される音生成制御装置での音生成処理及び再生処理をブロック化して示す機能ブロック図である。

【図3】撮像ユニットで撮像した画像であり、（Ａ）は複雑さパラメータ１を得るための画像の正面図、（Ｂ）複雑さパラメータ２を得るための画像の正面図、（Ｃ）は図３（Ｂ）で分割した画像コマを特定する番号の配列図である。

【図4】制御座標点の重みを決定するための複雑さパラメータ１−複雑さパラメータ２特性図である。

【図5】音情報ファイル毎の重み設定の一覧を示す特性図である。

【図6】運転中の危険度を導出するための速度−複雑さパラメータ３特性図である。

【図7】図６で導出される危険度と増幅率との関係を示す特性図である。

【図8】ＩＧオン時に起動する本実施の形態に係る音生成制御ルーチンを示すフローチャートである。

【図9】、図８のフローチャートに基づき実行される音生成制御において、情報（信号）処理の遷移状態を示す流れ図である。

【図10】本実施の形態の変形例に係り、自動作曲プログラムを適用した場合の情報（信号）処理の遷移状態を示す流れ図である。

【発明を実施するための形態】

【0045】

図１には、本発明の注意喚起制御装置としての音生成制御装置１０の概略図が示されている。

【0046】

図１に示される如く、音生成制御装置１０は、各種制御及び各種演算を行うマイクロコンピュータ１２を備える。マイクロコンピュータ１２は、ＣＰＵ１２Ａ、ＲＡＭ１２Ｂ、ＲＯＭ１２Ｃ、入出力部（Ｉ／Ｏ）１２Ｄ、及びこれらを接続するデータバスやコントロールバス等のバス１２Ｅを備えている。

【0047】

Ｉ／Ｏ１２Ｄには、不揮発性メモリとしてハードディスク１４が接続されている。なお、Ｉ／Ｏ１２Ｄには、ＵＳＢメモリ、ＳＤメモリ等、他の不揮発性メモリが、図示しないＩ／Ｆを介して接続されるようにしてもよい。

【0048】

また、Ｉ／Ｏ１２Ｄは、入力系デバイスとして撮像ユニット１６が接続されている。撮像ユニット１６は、本実施の形態では、車両の前方を撮像するカメラで構成されている。なお、撮像ユニット１６として適用されるカメラは、本実施の形態の音生成制御装置１０の専用であってもよいし、運転中の死角領域等をカバーするための既存の車載カメラであってもよく、少なくとも、車両の走行中の前方を撮像した画像情報が取得できればよい。

【0049】

撮像ユニット１６は、所謂一般的なカメラによる色や階調で表現する画像のみならず、赤外線による温度差を表現する画像や、ソナー（超音波）による対象物までの距離を表現する画像を含むことを意味する。

【0050】

Ｉ／Ｏ１２Ｄには、出力系デバイスとして、ドライバ１８を介してスピーカ２０が接続されている。本実施の形態に係る音生成制御装置１０では、車両の走行中の周囲環境に応じた音が選択され、スピーカ２０から出力されるようになっている（詳細後述）。スピーカ２０は、本実施の形態の音生成制御装置１０の専用であってもよいし、車両に搭載されたオーディオ機器に付属するスピーカを流用してもよい。

【0051】

ここで、ＲＯＭ１２Ｃには、音生成制御のための、音生成処理及び音再生処理を実行するための制御プログラムが記憶されている。ＣＰＵ１２Ａは、ＲＯＭ１２Ｃに記憶された制御プログラムを読み出し、例えば、ＲＡＭ１２Ｂをワークエリアとして使用して制御プログラムを実行する。なお、ここでは、ソフトウエアは制御プログラムと同義である。

【0052】

図２は、制御プログラムに基づきＲＡＭ１２Ｂで実行される音生成制御装置１０での音生成処理及び再生処理をブロック化して示す機能ブロック図である。なお、この図２に示すブロックは、音生成制御装置１０のハード構成を限定するものではない。

【0053】

撮像ユニット１６は、画像取得部２２に接続されている。画像取得部２２には、例えば、車両の走行状態を示す信号（例えば、イグニッション（ＩＧ）信号等）が入力されており、ＩＧ信号がオンしたことを認識した時点で、撮像ユニット１６から画像情報を取得する。

【0054】

画像取得部２２は、音情報ファイル読出部２４及び画像解析部２６に接続されている。

【0055】

画像取得部２２は、ＩＧ信号の入力を契機として、音情報ファイル読出部２４に対して、音情報ファイルの読み出しを指示する指示信号を出力する。音情報ファイル読出部２４では、指示信号の入力を受けて、音情報ファイル記憶部２８から音情報ファイルを読み出し、再生部３０へ出力する。

【0056】

音情報ファイル記憶部２８には、予め４種類の音情報ファイル１〜音情報ファイル４（図４、図９参照）が記憶されている。本実施の形態では、音情報ファイル１〜音情報ファイル４の種類として、自然（川、風、虫等）を表現する音、季節の風物詩（お祭り、花火等）を表現する音、及び、楽器音等が挙げられる。

【0057】

音情報ファイル１〜音情報ファイル４、必ずしも同一の音の種類から選択しなくてもよいが、本実施の形態では、例えば、自然を表現する音に特化し、音情報ファイル１に清流音、音情報ファイル２に風の音、音情報ファイル３に虫の音、及び音情報ファイル４に雷鳴といったように、同一種類の音から異なる音色が記憶されている。

【0058】

再生部３０では、デフォルトとして、全ての種類の音色を、それぞれ予め定めた周期、予め定めた音量で再生し、ドライバ１８を介してスピーカ２０から出力する。

【0059】

一方、図２に示される如く、画像取得部２２に接続された画像解析部２６では、撮像した画像情報を解析する。

【0060】

画像解析部２６では、基本処理として、撮像した画像をグレースケール化してエッジ検出を実行する。

【0061】

グレースケール化は、例えば、２値化処理した白黒データであってもよいし、濃度データ（例えば、８ビット階調データ等）であってもよい。なお、白黒データの方が、濃度データよりも情報量が少ない分、変化度合いの精度は劣るが、解析処理速度を短くすることができる。本実施の形態では、白黒データを用いるが、撮像する条件（地域、時間帯等）によって、選択するようにしてもよい。

【0062】

画像解析部２６は、複雑さパラメータ生成部３２に接続されている。複雑さパラメータ生成部３２では、環境パラメータとしての、複雑さパラメータ１、複雑さパラメータ２、及び複雑さパラメータ３を抽出するための情報を生成する。

【0063】

（複雑さパラメータ１）
複雑さパラメータ生成部３２で生成される複雑さパラメータ１は、画像全体の変化の度合いを監視する情報である。

【0064】

複雑さパラメータ１の生成に際し、基本処理として生成した白黒データを取得し（図３（Ａ）参照）、時間的に前後する画像情報の差（の絶対値）を演算し（差分演算）、車両の走行（移動）に応じて、当該差分演算を数十回（例えば、６０回程度）繰り返したときの平均値を演算する。この複雑さパラメータ１によって、車両の走行中において撮像された画像全体の変化を認識することができる。

【0065】

この複雑さパラメータ１は、重み決定部３４へ送出される。

【0066】

（複雑さパラメータ２）
複雑さパラメータ生成部３２で生成される複雑さパラメータ２は、車両の走行方向の左右端の変化の度合いを重点的に監視する情報である。

【0067】

複雑さパラメータ２の生成に際し、基本処理として生成した白黒データ（絶対値）を取得し、取得した白黒データの画像を複数の画像コマに分割する。例えば、図３（Ｃ）に示される如く、横９×縦５に分割し、各画像コマに対して、左上から右下にかけて番号を付与する。

【0068】

分割した画像コマの中から、車両の左右に相当する画像コマである、図３（Ｂ）のＮｏ．２１とＮｏ．２６との差の絶対値の平均値、及びＮｏ．２５とＮｏ．３０との差の絶対値の平均値を抽出する。そして、Ｎｏ．２１とＮｏ．２６との差の絶対値の平均値、及びＮｏ．２５とＮｏ．３０との差の絶対値の平均値とを演算し（平均値演算）、車両の走行（移動）に応じて、当該平均値演算を数十回（例えば、４０回程度）繰り返したときの平均値を演算する。

【0069】

この複雑さパラメータ２によって、車両の走行中において、特に側方の変化を認識することができる。複雑さパラメータ２は、重み決定部３４へ送出される。

【0070】

（複雑さパラメータ１、２による重み付け）
図２に示される如く、重み決定部３４は、４種類の音情報ファイル（音情報ファイル１〜音情報ファイル４）に対して、複雑さパラメータ１及び複雑さパラメータ２に基づき、それぞれ重み付けを行う。

【0071】

図４は、複雑さパラメータ１を横軸、複雑さパラメータ２を縦軸とした場合の、撮像ユニット１６で撮像された画像の現在の制御座標点（ｘ，ｙ）を特定するための特性図である。すなわち、制御座標点は、複雑さパラメータ１と複雑さパラメータ２とのバランスで決まるようになっている。

【0072】

前記音情報ファイル１〜音情報ファイル４は、図４の特性図の４隅にそれぞれ位置している。音情報ファイル１〜音情報ファイル４に設定される重み１〜重み４は、各音情報ファイル（音情報ファイル１〜音情報ファイル４）から制御座標点（ｘ，ｙ）までの距離に対応している。

【0073】

音情報ファイル１は、複雑さパラメータ１が最小、複雑さパラメータが最小の位置に配置されている（ｘmin，ｙmin）。図５に示される如く、音情報ファイル１は、複雑さパラメータ１が小さいほど重みが強く、複雑さパラメータ２が小さいほど重みが強い特性である。

【0074】

音情報ファイル２は、複雑さパラメータ１が最小、複雑さパラメータが最大の位置に配置されている（ｘmin,ｙmax）。図５に示される如く、音情報ファイル２は、複雑さパラメータ１が小さいほど重みが強く、複雑さパラメータ２が大きいほど重みが強い特性である。

【0075】

音情報ファイル３は、複雑さパラメータ１が最大、複雑さパラメータが最大の位置に配置されている（ｘmax,ｙmax）。図５に示される如く、音情報ファイル３は、複雑さパラメータ１が大きいほど重みが強く、複雑さパラメータ２が大きいほど重みが強い特性である。

【0076】

音情報ファイル４は、複雑さパラメータ１が最大、複雑さパラメータが最小の位置に配置されている（ｘmax,ｙmin）。図５に示される如く、音情報ファイル４は、複雑さパラメータ１が大きいほど重みが強く、複雑さパラメータ２が小さいほど重みが強い特性である。

【0077】

図２に示される如く、重み決定部３４は、重み調整部３６に接続され、決定された重み情報を重み調整部３６へ送出する。重み調整部３６では、再生部３０で再生される、音情報ファイル１〜音情報ファイル４に対して、重み決定された重み情報に基づいて重み付けを実行する。これにより、音情報ファイル１〜音情報ファイル４は、複雑さパラメータ１及び複雑さパラメータ２に基づいて、出力時の強調度合い（周期、音量等）が変化して出力される。

【0078】

例えば、複雑さパラメータ１及び複雑さパラメータ２のそれぞれの値が小さい場合は、音情報ファイル１が最も重みが強く、強調される。

【0079】

（複雑さパラメータ３）
複雑さパラメータ生成部３２で生成される複雑さパラメータ３は、車両の近傍に存在する障害物の有無を監視する情報である。

【0080】

複雑さパラメータ３の生成に際し、速度−複雑さパラメータ３の特性曲線の基準線Ａ（図６参照）を設定する。

【0081】

図６に示す基準線Ａは、車両の速度に対して複雑さパラメータ３が、直線的に変化すると仮定した場合の特性曲線であり、基準線Ａと実際の特性曲線との差が、車両の近傍に存在する障害物の有無を監視する情報となる。

【0082】

例えば、車両が障害物の少ない道路を走行しているときは、実際の速度−複雑さパラメータ３特性曲線は、特性曲線Ｂとなり、前記基準線Ａを超える要素はない。

【0083】

一方、障害物の多い道路を走行しているときは、実際の速度−複雑さパラメータ３特性曲線は、特性曲線Ｃとなり、前記基準線Ａを超える要素が存在する（図６の斜線領域Ｄ参照）。この斜線領域Ｄが発生する状況としては、車両が駐車場の敷地内である、道路が狭くかつ電信柱や自動販売機が道路側に突出して設置される、及び、人通りが多い場合等が挙げられる。

【0084】

複雑さパラメータ生成部３２で生成された複雑さパラメータ３は、危険度判定部３８へ送出される。危険度判定部３８は、前記図６の斜線領域Ｄが発生しているか否かを監視することで、現在の車両の危険度を判定する。なお、運転中の危険度が高い状況は、上記に限定されるものではない。

【0085】

図２に示される如く、危険度判定部３８は、ゲイン調整部４０に接続されている。ゲイン調整部４０は、再生部３０に接続されている。すなわち、危険度判定部３８において、危険度を示す数値がゲイン調整部４０に送出されると、ゲイン調整部４０では、図７に示される如く、危険度−ゲイン（ここでは、音量）特性図に基づき、ゲイン調整量が特定される。再生部３０では、特定されたゲイン調整量に基づき、音情報ファイル１〜音情報ファイル４の合成音のゲイン（増幅率）を調整する。

【0086】

例えば、車両が、道路が狭く、かつ電信柱や自動販売機が道路側に突出して設置されていたり、人通りが多い場所を走行している場合は、デフォルトの音量よりも大きくすることで、注意喚起を図るようになっている。なお、本実施の形態では、ゲインを音量としているが、例えば、再生ピッチ量（危険度が高い場合は再生ピッチを上げる）、音階（危険度が高いときは音階を上げる）等を調整するようにしてもよい。

【0087】

以下に、本実施の形態の作用を説明する。

【0088】

図８は、ＩＧオン時に起動する本実施の形態に係る音生成制御ルーチンを示すフローチャートである。また、図９は、図８のフローチャートに基づき実行される音生成制御において、情報（信号）処理の遷移状態を示す流れ図である。

【0089】

図８に示される如く、ＩＧがオンになると、ステップ１００において、撮像ユニット１６が起動して、撮像を開始する。

【0090】

次のステップ１０２では、音情報ファイル記憶部２８に記憶されている、音情報ファイル１〜音情報ファイル４を読み出し、次いで、ステップ１０４へ移行して、再生処理を開始する。すなわち、ステップ１０２で読み出した音情報ファイル１〜音情報ファイル４の音源を合成してスピーカから繰り返し出力する。

【0091】

次のステップ１０６では、撮像ユニット１６で撮像した画像を解析する。本実施の形態では、撮像した画像をグレースケール化（白黒データ）し、エッジ検出を実行する（図３参照）。

【0092】

次のステップ１０８では、画像解析された情報から、複雑さパラメータ１を演算する。

【0093】

すなわち、複雑さパラメータ１は、白黒データに基づいて、時間的に前後する画像情報の差の絶対値を演算し、車両の走行に応じて、差分演算を繰り返したときの平均値を演算する。

【0094】

次のステップ１１０では、画像解析された情報から、複雑さパラメータ２を演算する。

【0095】

すなわち、複雑さパラメータ２は、白黒データの画像を複数の画像コマに分割（例えば、横９×縦５）した画像コマの中から、車両の左右に相当する画像コマの差の絶対値の平均値を演算し、車両の走行に応じて、平均値演算を繰り返したときの平均値を演算する。

【0096】

次のステップ１１２では、ステップ１０８で得た複雑さパラメータ１、及びステップ１１０で得た複雑さパラメータ２に基づいて、重みを決定する。重みは、制御座標点（ｘ，ｙ）の位置と、音情報ファイルの座標点との距離に応じて決定される（図４及び図５参照）。

【0097】

次のステップ１１４では、決定した重みに基づき、各音情報ファイル１〜音情報ファイル４に対して重み付け処理を実行し、ステップ１１６へ移行する。

【0098】

ステップ１１６では、画像解析された情報から、複雑さパラメータ３を演算する。

【0099】

すなわち、複雑さパラメータ３は、車両の近傍に存在する障害物の有無を監視する情報であり、障害物の多い道路を走行しているときの速度−複雑さパラメータ３特性曲線（図６参照）において、基準線Ａを超える領域（斜線領域Ｄ）が存在するか否かを判定する情報となる。

【0100】

図６の特性曲線Ｃの場合は、運転中の危険度が高いことを意味する。具体的な状況は以下のとおりである。

【0101】

（状況１）車両が駐車場の敷地内である。

【0102】

（状況２）道路が狭く、かつ電信柱や自動販売機が道路側に突出して設置されている。

【0103】

（状況３）道路が狭く、かつ人通りが多い。

【0104】

なお、運転中の危険度が高い状況は、上記状況１〜３に限定されるものではない。

【0105】

次のステップ１１８では、ステップ１１６で演算した複雑さパラメータ３によって決まる斜線領域Ｄ（図６参照）の大きさ（面積、最大値等）に基づき、ゲイン（増幅率）を決定し、次いで、ステップ１２０へ移行してゲイン調整処理を実行する。このゲイン調整処理により、危険度が高ければ高いほど、スピーカから流れる音量が大きくなったり、音情報ファイルの再生ピッチが速まるといった、運転者に注意喚起する変化を持たせる。

【0106】

次のステップ１２２では、ＩＧがオフになったか否かを判断し、否定判定された場合は、ステップ１０６へ戻り、上記工程を繰り返す。また、ステップ１２２で肯定判定された場合は、音生成制御を終了するべく、ステップ１２４へ移行して、撮像及び音再生を停止し、このルーチンは終了する。

【0107】

（変形例）
なお、本実施の形態では、予め音情報ファイル記憶部２８（図２参照）に、４種類の音情報ファイル１〜音情報ファイル４を記憶しておき、この音情報ファイル記憶部２８から音情報ファイル１〜音情報ファイル４を読み出して、再生する構成とした。

【0108】

これに対して、変形例では、４種類の音情報ファイルとして、自動作曲ファイル１〜自動作曲ファイル４を適用した。

【0109】

自動作曲ファイル１〜自動作曲ファイル４は、撮像ユニット１６で撮像した画像情報に基づいて、自動作曲プログラムを実行することで、都度作曲される。

【0110】

自動作曲プログラムは、図１のＲＯＭ１２Ｃに記憶され、ＣＰＵ１２Ａで実行される。

【0111】

本実施の形態では、ＲＯＭ１２Ｃに、「ＭＩＤＩ（Musical Instrument Digital Interface）信号変換用のソフトウエア」や、「ＭＩＤＩ信号から音楽情報を生成するソフトウエア」が記憶されている。

【0112】

ＭＩＤＩとは、音楽情報をデジタル信号で通信するための国際規格である。ＭＩＤＩ信号とは、ＭＩＤＩ規格の情報であり、標準的なＭＩＤＩファイル形式（ＳＭＦ：Standard MIDI File Format）の情報である。「ＭＩＤＩ信号変換用のソフトウエア」では、音の基本振動数を「ノートナンバー」、音圧レベルを「ベロシティレベル」、音色を「楽器名を表すナンバー」、時間変化を「ノートオン/ノートオフ」を表すデータに各々変換している。

【0113】

より具体的には、自動作曲ファイル１〜自動作曲ファイル４には、基準の音となる楽器の音源、例えば、ピアノ、ギター、バイオリン、トランペット等の音源が設定されている。

【0114】

撮像ユニット１６で撮像した画像情報は、ＲＧＢに色分解され、それぞれの明るさ（濃度）情報を取得する。

【0115】

この各色の明るさ情報に基づいて、メロディ（旋律）、ハーモニー（和声）、リズム（律動）の曲の三要素、高さ（周波数）、大きさ（音圧レベル）、音色（周波数成分）の音の三要素を、それぞれ調整し、作曲する。

【0116】

なお、出願人らは、撮像ユニット１６の撮像情報（カメラ画像）から音を作る自動作曲について、出願している（一例として、特開２０１７−１０２８６３号公報）。

【0117】

図１０は、本実施の形態の変形例に係る、音生成制御において、情報（信号）処理の遷移状態を示す流れ図である。

【0118】

自動作曲プログラムでは、撮像ユニット１６で撮像した撮像情報が入力されると、自動作曲を実行し、自動作曲ファイル１〜自動作曲ファイル４を作成する。この自動作曲ファイル１〜自動作曲ファイル４を、図９に示す音情報ファイル１〜音情報ファイル４に置き換えることで、この変形例は、図８にＩＧオン時起動音生成制御ルーチンの処理の流れと同等の流れによって処理される。

【0119】

すなわち、複雑さパラメータ１と複雑さパラメータ２とによって、自動作曲ファイル１〜自動作曲ファイル４の再生時の重みが調整され、かつ、複雑さパラメータ３によって、自動作曲ファイル１〜自動作曲ファイル４の再生時のゲインが調整され、本実施の形態と同等の効果を奏することができる。

【0120】

なお、本実施の形態（変形例を含む）では、撮像ユニット１６による撮像情報に基づいて、複雑さパラメータ１〜複雑さパラメータ３を得るようにしたが、撮像ユニット１６に加え、或いは、撮像ユニット１６に代えて、運転者の身体状態（心拍数、血流値、眼球の動き等）を監視して、複雑さパラメータ１〜複雑さパラメータ３を得るようにしてもよい。

【0121】

また、運転者に限らず、乗員の身体状態（乳児の有無、睡眠中等）を監視して、複雑さパラメータ１〜複雑さパラメータ３を補正してもよい。例えば、乳児がいたり、睡眠中の乗員のいる車室内では、音の変化度合いを緩やかにしたり、音のピッチを遅くしたりする等の調整を行うようにしてもよい。

【0122】

さらに、本実施の形態（変形例を含む）では、複雑さパラメータ１〜複雑さパラメータ３に基づき、スピーカからの出力音を変化させるようにしたが、出力対象は、音に加え、車両に搭載されるアンビエント照明の制御に関連付けるようにしてもよい。

【符号の説明】

【0123】

１０ 音生成制御装置
１２ マイクロコンピュータ（音生成手段、第１の演算手段、第２の演算手段、第１の変更手段、第２の変更手段）
１２Ａ ＣＰＵ
１２Ｂ ＲＡＭ
１２Ｃ ＲＯＭ
１２Ｄ 入出力部（Ｉ／Ｏ）
１２Ｅ バス
１４ ハードディスク
１６ 撮像ユニット（取得手段）
１８ ドライバ
２０ スピーカ（出力手段）
２２ 画像取得部
２４ 音情報ファイル読出部
２６ 画像解析部
２８ 音情報ファイル記憶部
３０ 再生部
３２ 複雑さパラメータ生成部
３４ 重み決定部
３６ 重み調整部
３８ 危険度判定部
４０ ゲイン調整部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】