【実施例1】
【0018】
以下、本発明の実施例1について
図1〜
図11に基づいて説明する。
効果音発生装置1は、車両Vの走行状態に応じたエンジンの効果音を発生させることにより、運転者の自己運動感覚を聴覚情報で補完するものである。
図1,
図2に示すように、効果音発生装置1は、ECU(Electric Control Unit)2を備えている。このECU2は、CPU(Central Processing Unit)、ROM、RAM、イン側インタフェース、アウト側インタフェース等からなる電子制御ユニットである。
ROMには、種々のプログラムやデータが格納され、RAMには、CPUが一連の処理を行う際に使用される処理領域が設けられている。ROMに記憶されているアプリケーションプログラムをRAMにロードし、CPUで実行することにより各種演算処理を行っている。
【0019】
図1,
図2に示すように、ECU2は、CCDカメラ3と、回転数センサ4と、アクセル開度センサ5と、舵角センサ6と、車速センサ7と、左右1対のスピーカ8a,8bと、ナビゲーションシステム9等に電気的に接続されている。
CCDカメラ3はインスツルメントパネル上端部分に配置され、運転者がフロントウインドガラスWを通して視覚的に認識可能な車両Vの進行方向前方を動画として撮像している。
図3に示すように、フロントウインドガラスWの左右両下端側部分の検出領域において、運転者の視認レベルに対応した左側知覚オプティカルフローf1と右側知覚オプティカルフローf2とを夫々抽出するものである。尚、CCDカメラ3は、CMOSカメラ等の画像センサであれば良く、CCDカメラに限られるものではない。
【0020】
回転数センサ4は、車両Vのエンジン回転数を検出するセンサであり、アクセル開度センサ5は、運転者によって操作されたアクセル開度を検出するセンサであり、舵角センサ6は、運転者によって操作されたステアリングホイールの操舵角度を検出するセンサであり、車速センサ7は、車両Vの走行速度を検出するセンサである。これらセンサ4〜7は、各々の検出結果を微小サイクルでECU2に出力している。
1対のスピーカ8a,8bは、運転者の左右両側の車室側壁部分に配設され、ECU2から入力された効果音信号を変換することにより効果音を発生可能に構成されている。
【0021】
ナビゲーションシステム9は、車両Vの経路案内を行うシステムである。
図2に示すように、ナビゲーションシステム9には、車両Vの現在位置を検出するためのGPS受信部10が電気的に接続されている。GPS受信部10は、複数のGPS衛星からの信号を受信することで車両Vの現在位置を検出する。また、ナビゲーションシステム9は、コーナ旋回半径R等を含む道路地図データを記憶した地図データベース9aと、交通規則データを記憶した交通規則データベース(図示略)とを備えている。
ナビゲーションシステム9は、GPS受信部10による車両Vの現在位置データ、地図データベース9aの道路地図データ及び交通規則データベースの交通規則データを利用して運転者に目的地までの経路案内を行う。
これにより、ナビゲーションシステム9は、車両Vの現在位置データ、道路地図データ、及び交通規則データをECU2に出力する。
【0022】
ECU2は、走行状態判定部11(走行状態判定手段)と、知覚オプティカルフロー検出部12(知覚オプティカルフロー検出手段)と、推定オプティカルフロー検出部13(推定オプティカルフロー検出手段)と、記憶部14と、比較部15(比較手段)と、効果音生成部16等を備えている。
効果音生成部16が、本発明の効果音信号発生手段と制御手段に相当している。
【0023】
まず、走行状態判定部11について説明する。
走行状態判定部11は、エンジン回転数、アクセル開度、車速、舵角等の検出信号に基づき現在の車両Vの旋回走行状態と直進走行状態とを判定している。
旋回走行状態は、運転者が意識的にステアリングを切り込むときの操舵トルク、例えば2.0Nm、に対応した操舵角の検出によって旋回走行状態開始が判定され、ステアリングの中立状態(ニュートラル)の検出によって旋回走行状態終了が判定される。
旋回走行状態以外の走行状態は、加速、定速、減速を含む直進走行状態として判定されている。
【0024】
次に、知覚オプティカルフロー検出部12について説明する。
知覚オプティカルフロー検出部12は、運転者がフロントウインドガラスWを通して視覚的に認識可能な知覚オプティカルフロー(CCDカメラ3がフロントウインドガラスWを通して撮像した対象物の移動)を左側知覚オプティカルフローf1と右側知覚オプティカルフローf2とをパラメータとして検出している。
左右各々の知覚オプティカルフローf1,f2は、CCDカメラ3が撮像した車両V前方の動画像内の特定の対象物(特定画素)について一の基本拘束方程式を作成し、同様に特定画素近傍の近傍画素について別の拘束方程式を作成することで、未知変数の値を算出している。この勾配法については、公知の技術であるため、詳細な説明を省略する。
【0025】
知覚オプティカルフロー検出部12は、知覚オプティカルフローf1,f2の合計量となる知覚オプティカルフローF1と、知覚オプティカルフローf1,f2の差分量となる知覚オプティカルフローG1とを次式を用いて検出している。
F1=f1+f2 …(1)
G1=f1−f2 …(2)
尚、旋回走行状態の場合、G1が正の値になるように知覚オプティカルフローf1,f2の検出領域を設定している。
【0026】
次に、推定オプティカルフロー検出部13について説明する。
推定オプティカルフロー検出部13は、後述するマップM5,M6に基づいて、車両Vの走行状態において走行中に実際に発生すると推定される推定オプティカルフローF2,G2を検出している。
推定オプティカルフローF2は、良好な天候で且つ十分な照度が確保された見通しの良い走行環境において、運転者がフロントウインドガラスWの左右両下端側部分を介して視覚的に認識すると推定されるオプティカルフローの合計量である。
推定オプティカルフローG2は、良好な天候で且つ十分な照度が確保された走行環境において、運転者が視覚的に認識すると推定されるフロントウインドガラスWの左下端側部分のオプティカルフロー量とフロントウインドガラスWの右下端側部分のオプティカルフロー量との差分に相当するオプティカルフロー量である。それ故、晴天の日中における直進走行状態のとき、推定オプティカルフローG2は、理論上、零になる。
【0027】
次に、記憶部14について説明する。
記憶部14には、車両Vに搭載されたエンジンの発生音に適合するように予め設定された振動音マップM1と、直進整次成分マップM2と、旋回整次成分マップM3と、旋回半次成分マップM4と、直進走行における評価用推定オプティカルフローマップM5と、旋回走行における評価用推定オプティカルフローマップM6と、速度感覚補正マップM7と、旋回感覚補正マップM8とが格納されている。
【0028】
図4に示すように、振動音マップM1には、所定のエンジン回転数に対応した基本周波数成分の基本波音の音源信号と、この基本波音の4,6,8倍の整数次周波数成分を備えた4,6,8次成分波(高調波)音の音源信号と、基本波音の3.5,5.5倍の半次周波数成分を備えた3.5,5.5次成分波音の音源信号とをエンジン回転数毎に備えている。
【0029】
直進整次成分マップM2には、直進走行状態におけるアクセル開度に対応した4,6,8次成分波音の音圧レベル(ゲイン(%))が設定されている。
図5に示すように、4,6,8次成分波音のゲインa1,a2は、アクセル開度p1まで一定の低いゲインg1に抑えられ、その後、6,8次成分波音のゲインa2が立ち上がり、僅かに遅れて4次成分波音のゲインa1が6,8次成分波音のゲインa2の増加傾向と略同じ増加傾向で立ち上がっている。ゲインa1,a2は、アクセル開度p5、ゲインg3の地点において合流し、比例関数状に増加すると共にアクセル開度p6以上では一定ゲインg5に維持されている。
以下、マップM2〜M4では、ゲインにおいて、g1<g2<g3<g4、アクセル開度において、p1<p2<p3<p4<p5<p6の関係式が成り立つものとして説明する。
【0030】
旋回整次成分マップM3には、旋回走行状態におけるアクセル開度に対応した4,6,8次成分波音のゲインb1,b2が設定されている。
図6に示すように、4次成分波音のゲインb1は、比例関数状に増加し、アクセル開度p2でゲインg4に達し、このアクセル開度p2以上では緩やかに減少している。
6,8次成分波音のゲインb2は、アクセル開度p3でゲインg2に達し、アクセル開度p3からアクセル開度p4の区間では略平坦状に推移し、アクセル開度p4以上では増加する。ゲインb1,b2は、アクセル開度p5、ゲインg3の地点において合流し、比例関数状に増加すると共にアクセル開度p6以上では一定ゲインg5に維持されている。
【0031】
旋回半次成分マップM4には、旋回状態におけるアクセル開度に対する3.5,5.5次成分波音のゲインc1が設定されている。
図7に示すように、3.5,5.5次成分波音のゲインは、アクセル開度p6までは比例関数状に増加し、アクセル開度p6以上では、それまでのゲインc1の増加傾向よりも大きな増加傾向に設定されている。尚、アクセル開度p6は、コーナの旋回半径毎に設定され、車両Vの走行安全性の観点から推奨される上限開度に設定されている。
【0032】
図8に示すように、評価用推定オプティカルフローマップM5には、車両Vの実際の車速と推定オプティカルフローF2との相関関係が予め設定されている。
オプティカルフローは、視認対象物の移動を伴う視覚情報であるため、評価用推定オプティカルフローF2は、速度が高い程、増加する特性を備えている。
【0033】
図9に示すように、評価用推定オプティカルフローマップM6には、車両Vの実際の車速と推定オプティカルフローG2との相関関係が予め設定されている。
コーナ旋回半径Rが小さい程、運転者が視認対象物の移動を認知できる時間が長いため、評価用推定オプティカルフローG2は、速度が高い程、また、コーナ旋回半径Rが小さい程、増加する特性を備えている。
これらマップM5,M6の特性は、予め実験等によって車両Vの性能や仕様に基づき設定されている。
【0034】
図10に示すように、速度感覚補正マップM7には、知覚オプティカルフローF1と推定オプティカルフローF2との差分ΔFと、効果音の音圧補正量ΔS1との相関関係が予め設定されている。
図11に示すように、旋回感覚補正マップM8には、推定オプティカルフローG2と、運転者が認知するであろう旋回感覚と、左右1対のスピーカ8a,8bにおける音圧差量S2との相関関係が予め設定されている。このマップM8は、原点を頂点とした略部分円錐状に形成され、マップM8上には推定オプティカルフローG2と音圧差量S2とを対応付けるための等高線状の対応線が設けられている。
これらマップM10,M11の特性は、予め実験等によって設定されている。
【0035】
比較部15は、式(1)によって求められた知覚オプティカルフローF1とマップM5から求められた推定オプティカルフローF2とを次式を用いて比較し、差分ΔFを求めている。
ΔF=F2−F1 …(3)
この比較部15は、式(2)によって求められた知覚オプティカルフローG1とマップM6から求められた推定オプティカルフローG2とを次式を用いて比較し、差分ΔGを求めている。
ΔG=G2−G1 …(4)
尚、コーナ旋回半径Rは、ナビゲーションシステム7の地図データベース9aから読み出されている。
【0036】
次に、効果音生成部16について説明する。
効果音生成部16は、基本的に、走行中のエンジン回転数に応じた基本波音(1次成分波音)に対して走行状態に応じた各々の次成分波音を付加した直線走行状態の基本効果音信号SAと旋回走行状態の基本効果音信号SBとを生成し、この基本効果音信号SA,SBを各々の走行状態における運転者の視認状態に応じて補正した補正効果音信号Sa,Sbを生成している。
以下、旋回方向内側のスピーカをスピーカ8a、このスピーカ8aに対応する補正効果音信号Sb1とし、旋回方向外側のスピーカをスピーカ8b、このスピーカ8bに対応する補正効果音信号Sb2として説明する。
【0037】
まず、基本効果音生成処理について説明する。
直進走行状態の際、マップM1の4次成分波音とゲインa1とを乗算し、マップM1の6,8次成分波音とゲインa2とを乗算して、補正した4,6,8次成分波音を作成し、これら補正した4,6,8次成分波音を基本波音に足し込むことで直進走行状態の基本効果音信号SAを生成している。
旋回走行状態の際、マップM1の4次成分波音とゲインb1とを乗算し、マップM1の6,8次成分波音とゲインb2とを乗算して、補正した4,6,8次成分波音を作成し、これら補正した4,6,8次成分波音を基本波音に足し込んでいる。そして、マップM1の3.5,5.5次成分波音とゲインc1とを乗算して、補正した3.5,5.5次成分波音を作成し、これら補正した3.5,5.5次成分波音を4,6,8次成分波音が足し込まれた基本波音に足し込むことで旋回走行状態の基本効果音信号SBを生成している。
尚、基本効果音信号SBを生成するにあたり、音圧レベルが一定に維持されるように、3.5,5.5次成分波音の増加分に対応するように4,6,8次成分波音のゲインb1,b2を減少させている。
【0038】
次に、補正効果音生成処理について説明する。
知覚オプティカルフローF1,G1は、天候(雨天)や照度(夜間)のような運転者の視界を悪化させる外的要因により減少する特性を有している。
それ故、効果音生成部16は、外的要因による知覚オプティカルフローF1,G1の減少に起因した運転者の速度感覚及び旋回感覚の減少を補完する方向に基本効果音信号SA,SBを補正している。
【0039】
直進走行状態で且つ式(3)による差分ΔFが存在するとき、マップM7を用いて差分ΔFに対応した音圧補正量ΔS1を設定し、次式に基づき基本効果音信号SAの音圧レベルが音圧補正量ΔS1分増加するように補正効果音信号Saを生成している。
Sa=SA×(1+ΔS1/SA) …(5)
効果音生成部16は、左右1対のスピーカ8a,8bに式(5)で求めた補正効果音信号Saを夫々出力することにより直進走行状態の効果音を作成している。これにより、視覚情報であるオプティカルフローの減少分を聴覚情報である効果音の音圧レベル変更によって補完することができ、運転者に適正な速度感覚を付与している。
【0040】
旋回走行状態で且つ式(4)による差分ΔGが存在するとき、マップM8を用いて左右1対のスピーカ8a,8bにおける音圧差補正量ΔS2を設定し、次式に基づき旋回方向内側のスピーカ8aと旋回方向外側のスピーカ8bとの音圧レベルに音圧差補正量ΔS2分差が生じるように補正効果音信号Sb1,Sb2を生成している。
Sb1=SB×(1+ΔS2/2SB)
Sb2=SB×(1−ΔS2/2SB) …(6)
ここで、自己の進行方向に対して音像定位する感覚が生起されることから、旋回方向内側の音圧レベルが回方向外側の音圧レベルよりも大きくなるように設定している。
【0041】
知覚オプティカルフローG1に対応するマップM8上の座標をMa、推定オプティカルフローG2に対応するマップM8上の座標をMbとしたとき、各々の座標Ma,Mbに夫々対応する音圧差量S2a,S2bをマップM8から読み出し、次式に基づき音圧差補正量ΔS2を抽出している。
ΔS2=S2b−S2a …(7)
ここで、座標Ma,Mbに夫々対応する旋回感覚座標の差が運転者が視覚情報によって得るべき旋回感覚の減少分に相当している。
【0042】
効果音生成部16は、旋回方向内側のスピーカ8aに式(6)及び式(7)で求めた補正効果音信号Sb1を出力し、旋回方向外側のスピーカ8bに式(6)及び式(7)で求めた補正効果音信号Sb2を出力することにより旋回状態の効果音を作成している。
これにより、視覚情報であるオプティカルフローの減少分を聴覚情報である効果音の音圧レベル変更によって補完することができ、運転者に適正な旋回感覚を付与している。
【0043】
次に、上記車両用効果音発生装置の作用、効果について説明する。
本効果音発生装置1によれば、効果音生成部16がスピーカ8a,8bの音圧特性を知覚オプティカルフローG1と推定オプティカルフローG2との差分ΔGを解消する方向に制御するため、天候や照度のような視界を悪化させる外的要因により減少したオプティカルフローG1に生起された運転者の自己運動感覚を効果音によって補完することができ、運転者の運転操作を走行状態に応じて適正化することができる。
更に、運転操作が適正化されるため、運転者は、わくわく感を感得でき、車両Vの運転を楽しむことができる。
【0044】
スピーカ手段が運転者の左右両側に配設された1対のスピーカ8a,8bからなり、効果音生成部16が、旋回走行状態のとき、左側スピーカ8aと右側スピーカ8bとの音圧特性を差分ΔGを解消する方向に制御するため、運転者が実際のコーナ旋回半径Rと車速に一致した旋回感覚を得ることができ、安定した運転操作を実践することができる。
【0045】
効果音生成部16が、旋回方向側のスピーカ8aの音圧レベルを旋回方向に対して反対側のスピーカ8bの音圧レベルよりも大きくするため、運転者が実際のコーナ旋回半径Rと車速に一致した旋回感覚を確実に得ることができる。
【0046】
効果音生成部16が
、推定オプティカルフローG
2と、運転者が認識する旋回感覚と、左側スピーカ8aの音圧レベルSb1と右側スピーカ8bの音圧レベルSb2の差分ΔS2との相関関係が設定されたマップM8を備えているため、制御処理の簡単化を図ることができる。
【0047】
次に、前記実施形態を部分的に変更した変形例について説明する。
1〕前記実施形態においては、1対のスピーカを左右両側の側壁部分に夫々配設した例を説明したが、運転者の左右両側に夫々対応するインスツルメントパネル部分に配設しても良い。また、運転者のヘッドレストの左右両端部分に配設することも可能である。
更に、聴覚的自己運動感覚は、後方からの音源が有効に作用するため、前側のスピーカに加えて運転者よりも後方に左右1対のスピーカを設けても良い。
【0048】
2〕前記実施形態においては、基本効果音信号全体を一律に増加、減少させて補正効果音信号を生成した例を説明したが、所定の次成分波音のゲインを増加、減少させて知覚オプティカルフローと推定オプティカルフローとの差分を解消する補正効果音信号を生成しても良い。
【0049】
3〕前記実施形態においては、旋回走行状態の音圧特性として、左右1対のスピーカの音圧レベルに差を設けた例を説明したが、運転者に効果音が到達する時間差を設けても良い。
具体的には、予め車速に応じたコーナ旋回半径毎の旋回方向内側の効果音発生タイミングと旋回方向外側の効果音発生タイミングとの時間差指標を設定しておき、オプティカルフロー減少分を補完するために必要な1対のスピーカから運転者への効果音の到達時間差を読み出す。旋回方向反対側のスピーカは、旋回方向側スピーカよりも所定時間差だけ遅れて効果音を発生する。これにより、左右のスピーカの音圧レベルを一定に維持しつつオプティカルフローの減少に伴う自己運動感覚の減少を補完することができる。
【0050】
4〕前記実施形態においては、直進走行と旋回走行とでゲインマップを切換えた例を説明したが、共通マップによって制御しても良い。この場合、直進走行時は、速度感覚を補正するために補正効果音信号を生成し、旋回走行時は、速度感覚補正用に生成された補正効果音信号を基準として、旋回方向内側スピーカの音圧レベルを音圧差補正量に基づいて増加補正し、旋回方向外側スピーカの音圧レベルを音圧差補正量に基づいて減少補正する。
これにより、一層の制御の簡単化を図ることができる。
【0051】
5〕その他、当業者であれば、本発明の趣旨を逸脱することなく、前記実施形態に種々の変更を付加した形態で実施可能であり、本発明はそのような変更形態も包含するものである。