特開 2024-172711 車両ユーザの異音感度特性の可視化方法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024172711

(43)【公開日】2024-12-12

(54)【発明の名称】車両ユーザの異音感度特性の可視化方法および装置

(51)【国際特許分類】

   G01H 17/00 20060101AFI20241205BHJP

   G01M 17/007 20060101ALI20241205BHJP

   G01M 99/00 20110101ALI20241205BHJP

【ＦＩ】

G01H17/00 Z

G01M17/007 J

G01M99/00 Z

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2023090601

(22)【出願日】2023-06-01

(71)【出願人】

【識別番号】000003997

【氏名又は名称】日産自動車株式会社

(74)【代理人】

【識別番号】100086232

【弁理士】

【氏名又は名称】小林 博通

(74)【代理人】

【識別番号】100092613

【弁理士】

【氏名又は名称】富岡 潔

(72)【発明者】

【氏名】広瀬 悟

(72)【発明者】

【氏名】高木 徹

(72)【発明者】

【氏名】高橋 美樹

【テーマコード（参考）】

2G024

2G064

【Ｆターム（参考）】

2G024AD01

2G024CA13

2G024FA04

2G064AA14

2G064AB01

2G064AB13

2G064AB15

2G064BA02

2G064BD02

2G064CC41

2G064CC42

(57)【要約】

【課題】車両のユーザが実際にどのような音を異音と感じるかには個人差があり、しかも、どのような環境で生じた音をユーザが異音と感じたかを他者は知ることができない。
【解決手段】車室内において継続的に音をマイクロフォンで計測し、ユーザが異音と感じて所定のスイッチを操作したら、所定時間の間の音データを取得する（Ｓ１０～Ｓ３０）。同時に、そのときの車両情報および環境情報を取得し（Ｓ４０，Ｓ５０）、音データに車両情報および環境情報を紐付けてユーザの１つの異音感度情報として保存する（Ｓ６０）。同じユーザの複数の異音感度情報を取得・分析して、当該ユーザの異音感度特性を特定し、その結果を、ディスプレイ等の情報表示部に表示する（Ｓ７０，Ｓ８０）。
【選択図】図２

【特許請求の範囲】

【請求項1】

車両の車室内において継続的に音を取得し、
車両自体に関する情報ならびに車両の運転状態を表す複数のパラメータを含む車両情報を取得し、
少なくとも天候および道路の情報を含む環境情報を取得し、
車室内のユーザが現在の音を異音と感じたことを検出し、
ユーザが異音と感じたことを検出したときに、計測されていた音のデータを取得するとともに、そのときの車両情報および環境情報と紐付けて、上記ユーザの１つの異音感度情報として保存し、
上記ユーザの複数の異音感度情報を取得・分析して、当該ユーザの異音感度特性を可視化する、
車両ユーザの異音感度特性の可視化方法。

【請求項2】

車室内の音に反応したユーザの動作に基づき、ユーザが現在の音を異音と感じたことを検出する、
請求項１に記載の車両ユーザの異音感度特性の可視化方法。

【請求項3】

ユーザが現在の音を異音と感じたときに操作するスイッチを車室内に設け、このスイッチの入力に基づき、ユーザが現在の音を異音と感じたことを検出する、
請求項２に記載の車両ユーザの異音感度特性の可視化方法。

【請求項4】

音声認識もしくは画像認識によって、音に反応したユーザの動作を検出する、
請求項２に記載の車両ユーザの異音感度特性の可視化方法。

【請求項5】

正常状態において発生し得る音を、車両情報および環境情報に紐付けて記憶した正常音情報を予め有し、
ユーザが異音と感じたことを検出したときに取得した音が上記正常音情報に含まれる音であるか否かを判定し、
正常音情報に含まれる音であれば、異音感度情報として取り込まない、
請求項１に記載の車両ユーザの異音感度特性の可視化方法。

【請求項6】

正常音情報に含まれる音であると判定したときに、異音でない旨をユーザに提示する、
請求項５に記載の車両ユーザの異音感度特性の可視化方法。

【請求項7】

異音でない旨の提示に併せて、この判定に対しユーザが納得したかどうかの納得度の入力を求め、そのときの音データと車両情報と環境情報と納得度とを併せて当該ユーザの異音に関する１つのデータとして保存する、
請求項６に記載の車両ユーザの異音感度特性の可視化方法。

【請求項8】

特定ユーザの異音感度特性を他のユーザの異音感度特性と比較して表示する、
請求項１に記載の車両ユーザの異音感度特性の可視化方法。

【請求項9】

異音を複数種類に分類し、各々の種類について、特定ユーザの異音感度特性を他のユーザの異音感度特性と比較して表示する、
請求項８に記載の車両ユーザの異音感度特性の可視化方法。

【請求項10】

さらに、
同一車種についての１人もしくは複数人のユーザの複数の異音感度情報の中から同一種類に属する異音を抽出するとともに、車両情報および環境情報の少なくとも一方に基づいて異なる条件毎に発生件数を集計し、
件数の多い条件が既存の車両設計ないし車両検査の異音管理条件に含まれているか否かを判定し、
含まれていない場合は、上記の件数の多い条件を、車両設計ないし車両検査の異音管理条件に追加する、
請求項１に記載の車両ユーザの異音感度特性の可視化方法。

【請求項11】

車両情報および環境情報が同一である１人もしくは複数人のユーザの過去の多数の異音感度情報を統計処理し、
車両運転中に車両情報および環境情報が上記の車両情報および環境情報と一致したときに、ユーザが現在の音を異音と感じたか否かに拘わらず、そのときの音データを参照用音データとして保存し、
統計処理した過去の異音感度情報と上記参照用音データとを比較して表示する、
請求項１に記載の車両ユーザの異音感度特性の可視化方法。

【請求項12】

異音を複数種類に分類し、今回取得した異音感度情報と同一の異音種類に属しかつ車両情報および環境情報が同一である過去の異音感度情報と今回取得した異音感度情報とを比較して、両者の音データの特徴が乖離している場合には、当該ユーザの異音感度特性を更新補正する、
請求項１に記載の車両ユーザの異音感度特性の可視化方法。

【請求項13】

車両の車室内において継続的に音を取得する音取得部と、
車両自体に関する情報ならびに車両の運転状態を表す複数のパラメータを含む車両情報を取得する車両情報取得部と、
少なくとも天候および道路の情報を含む環境情報を取得する環境情報取得部と、
車室内のユーザが現在の音を異音と感じたことを検出する異音判定部と、
ユーザが異音と感じたことを検出したときに、計測されていた音のデータを取得するとともに、そのときの車両情報および環境情報と紐付けて、上記ユーザの１つの異音感度情報としてデータ記憶部に保存する異音感度情報記録部と、
上記データ記憶部に蓄えられた上記ユーザの複数の異音感度情報を分析して、当該ユーザの異音感度特性を可視化する異音感度特性特定部と、
を備えてなる車両ユーザの異音感度特性の可視化装置。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、車両ユーザの異音感度特性すなわちどのような音を各ユーザが異音として認識するかという特性を可視化する方法および装置に関する。

【背景技術】

【0002】

車両として例えば一般的な乗用自動車を製造・販売する自動車製造会社にあっては、製造・販売した自動車に関する種々のクレームに対処する必要がある。種々のクレームの中で、運転中に車室内でユーザが気付く異音（異常音ともいう）に関するクレームの割合が比較的に高い。

【0003】

特許文献１には、動作音として非定常音を伴う光ディスクドライブ等の工業製品の品質検査方法が開示されている。ここでは、検査対象のワークと同種の良品サンプルの動作音を複数のサンプルから良品音情報として予め取得しておき、生産ラインでマイクロフォンにより取得される検査対象ワークの音を、心理音響パラメータを介して数値化される良品サンプルの音と比較する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１１－２４２２２３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

車両のユーザ（多くの場合は運転者）が実際にどのような音を異音と感じるかには個人差があり、例えば全く同じ音であってもあるユーザは異音と感じ、別のユーザは気にならない、といったことが生じる。しかも、どのような環境で生じた音をユーザが異音と感じたかを他者は知ることができない。従って、個々のクレームへの対応ならびに車両の設計開発や車両検査等における改善にクレームの内容を反映させることが困難であった。

【0006】

特許文献１の方法は、工業製品の量産工程での画一的な品質検査に過ぎず、実際に工業製品を使用する個々のユーザの特性を考慮するものではない。

【課題を解決するための手段】

【0007】

この発明の車両ユーザの異音感度特性の可視化方法は、
車両の車室内において継続的に音を取得し、
車両自体に関する情報ならびに車両の運転状態を表す複数のパラメータを含む車両情報を取得し、
少なくとも天候および道路の情報を含む環境情報を取得し、
車室内のユーザが現在の音を異音と感じたことを検出し、
ユーザが異音と感じたことを検出したときに、計測されていた音のデータを取得するとともに、そのときの車両情報および環境情報と紐付けて、上記ユーザの１つの異音感度情報として保存し、
上記ユーザの複数の異音感度情報を取得・分析して、当該ユーザの異音感度特性を可視化する。

【0008】

なお、ここで「可視化」とは、人間が直接「見る」ことができない現象・事象・関係性を何らかの「見る」ことができるものにすることを広く意味しており、必ずしもグラフ表示や画像表示に限られない。「定量化」と実質的に同義であるとも言える。

【発明の効果】

【0009】

この発明によれば、実際に車両が運転されている実環境において個々のユーザの異音感度特性を把握することができ、異音に関するユーザからのクレームへの対応が容易となる。

【図面の簡単な説明】

【0010】

【図1】第１実施例の構成を示すブロック図。

【図2】第１実施例の処理の流れを示すフローチャート。

【図3】第１実施例による第１の表示例の説明図。

【図4】異音感度情報のデータの一例を示す説明図。

【図5】第２の表示例の説明図。

【図6】第３の表示例の説明図。

【図7】第４の表示例の説明図。

【図8】第２実施例の構成を示すブロック図。

【図9】第２実施例の処理の流れを示すフローチャート。

【図10】第２実施例による第５の表示例の説明図。

【図11】第６の表示例の説明図。

【図12】第７の表示例の説明図。

【図13】第３実施例の構成を示すブロック図。

【図14】第３実施例の処理の流れを示すフローチャート。

【図15】第３実施例による第８の表示例の説明図。

【図16】第４実施例の構成を示すブロック図。

【図17】第４実施例の処理の流れを示すフローチャート。

【図18】第４実施例による第９の表示例の説明図。

【図19】第５実施例の構成を示すブロック図。

【図20】第５実施例の処理の流れを示すフローチャート。

【図21】第５実施例による第１０の表示例の説明図。

【発明を実施するための形態】

【0011】

以下、この発明の一実施例を図面に基づいて詳細に説明する。

【0012】

図１は、第１実施例の異音感度特性の可視化装置の機能的な構成を示したブロック図である。個々の車両に設けられる一実施例の可視化装置は、独立した装置ではなく、基本的に、種々の制御を行う車載のコンピュータシステムの一部の機能として構成されている。なお、一実施例の車両は、いわゆるコネクテッドカーとして常時インターネットに接続されており、一部の機能はインターネットを介して実行される。

【0013】

図１に示すように、第１実施例の可視化装置は、音取得部１と、車両情報取得部１０と、環境情報取得部２０と、異音判定部３０と、異音感度情報記録部４０と、データ記憶部５０と、異音感度特性特定部６０と、情報表示部７０と、を備えて構成される。

【0014】

音取得部１は、車室内に生じる音を取得して電気信号つまり音データとするマイクロフォンと、この音データをデジタル化した上で一時的に保存するバッファと、を含んでいる。マイクロフォンとしては、指向性や時間応答性、サンプリング周波数、周波数帯域および感度特性などについて、計測対象や計測する音場の環境などに合わせて適切な性能を有したものが選択される。例えば、ナビゲーションシステムが備える音声認識用マイクロフォンやモバイル通話用マイクロフォン、ドライブレコーダの音収集用マイクロフォン、等の既存のマイクロフォンを利用することができる。

【0015】

車両情報取得部１０は、異音が生じたときの条件を特定するために種々の車両情報を取得するものである。車両情報としては、瞬時には変化しない車両自体に関する情報と、車速やエンジン回転数等の車両の運転状態を表す複数のパラメータとが含まれる。

【0016】

例えば、車両自体に関する情報としては、車両の購入時期（生産時期）、異音源となり得るオプション装備品の有無、点検整備の履歴、事故歴、等が挙げられる。運転状態を表すパラメータとしては、車速、エンジン回転数、冷却水温、車体傾斜角、ブレーキペダル操作量（あるいは踏力）、等が挙げられる。これらの情報は、車両内の種々のコントローラに保存されているデータ、ＣＡＮ通信等を介して車両内で送受信されている信号、等を利用して取得される。

【0017】

車両情報取得部１０は、適当なバッファ機能を含んでおり、例えば後述する１０秒前からの車両情報を読み出すことが可能である。

【0018】

環境情報取得部２０は、同じく異音が生じたときの条件を特定するために種々の環境情報を取得するものである。環境情報としては、日時、天候、気温、湿度、気圧（あるいは緯度経度・標高）、道路状況（一般道／高速道、上り坂／下り坂、舗装路／未舗装路、直線区間／曲線区間、等）、交通状況（混雑／空き、先行車あり／なし、等）、乗車人数、積載荷重（例えば燃料残量）、等が挙げられる。これらの環境情報は、例えば、車両が備える種々のセンサの検出信号、ナビゲーションシステムから得られる情報、インターネットを介して得られる情報、ユーザが携帯しているスマートフォン等の携帯端末を介して得られる情報、等を利用して取得される。

【0019】

環境情報取得部２０は、やはり適当なバッファ機能を含んでおり、例えば後述する１０秒前からの環境情報を読み出すことが可能である。

【0020】

なお、上記に挙げた全ての車両情報および環境情報を異音に関連する条件として利用する必要がある訳ではない。また、例えば車体傾斜角と道路の勾配のように互いに密接に関連する情報もあるので、必ずしも車両情報と環境情報とを厳密に区分する必要はない。

【0021】

異音判定部３０は、車室内のユーザ（基本的には運転者であるが、これに限らない）が現在の音を異音と感じたことを検出するものである。一実施例では、ユーザが現在の音を異音と感じたときに操作するスイッチがステアリングホイールに設けられており、このスイッチの入力に基づき、ユーザが現在の音を異音と感じていることを検出する。ステアリングホイール上のスイッチとしては、他の操作に使用される既存のスイッチを流用することができる。

【0022】

スイッチ操作によらずに車室内の異音に反応したユーザの動作を何らかの形で検出するようにしてもよい。例えば、ユーザが「変な音」あるいは「異音」といった単語を含む音声を発したことを音声認識技術によって検出できる。あるいは、車室内に向けて設けられているカメラの画像を利用して、ユーザが異音に対して耳を塞ぐような動作をしたことを画像認識技術によって検出するようにしてもよい。その他、ユーザの脳信号や皮膚の電気抵抗、筋電などの信号を何らかの形で取得して、異音と感じたことを推定する、なども可能である。

【0023】

異音感度情報記録部４０は、異音判定部３０によってユーザが異音と感じたことを検出したときに、ユーザに紐付いた１つの異音感度情報を生成するものである。具体的には、異音判定部３０によってユーザが異音と感じたことを検出した場合、その時点を含む前後所定時間の間、例えば１０秒前から１０秒後までの計２０秒の期間の音データを音取得部１のバッファから取得する。これと併せて、車両情報取得部１０および環境情報取得部２０から、１０秒前から１０秒後までの計２０秒の期間の車両情報および環境情報を取得し、音データを車両情報および環境情報と紐付けた形で構造化したデータつまり異音感度情報のデータを生成する。なお、前後１０秒間（計２０秒間）の車両情報および環境情報については、その期間の平均値、中央値、異音検出時の値、最大値、等の適当な１つの値を代表として用いるようにしてもよい。

【0024】

また、音データについては、いわゆる波形データのまま保持することも可能であるが、好ましくは、ＦＦＴ（Fast Fourier Transform）等の周波数解析手法を用いて変換した周波数スペクトルあるいは時間軸を含む三次元のスペクトログラム等として異音感度情報のデータに含めるようにしてもよい。

【0025】

このようにして生成された異音感度情報は、データ記憶部５０に保存される。データ記憶部５０は、例えば、車載されているナビゲーションシステムに付随したＨＤＤやＳＳＤあるいは車両のコンピュータシステムに接続されたＳＤカード、などの適当なストレージからなる。あるいは、インターネットを介して接続されるクラウドサーバにデータ記憶部５０を構成するようにしてもよい。ユーザが車両に持ち込むスマートフォン等の携帯端末のストレージをデータ記憶部５０としてもよい。

【0026】

異音感度特性特定部６０は、データ記憶部５０に蓄積されていく同一ユーザの複数の異音感度情報を分析することで、当該ユーザの異音感度特性を定量化する。個々の異音感度情報には車両情報および環境情報が紐付いているので、複数の異音感度情報を取得して分析・評価することで、例えば、どのような条件（例えば特定の車両情報と環境情報との組み合わせ）のときに生じたどのような音を異音とユーザが認識しているのか、どのような種類の音にユーザが敏感であるか、どのような種類の音にユーザが鈍感であるか、他ユーザと比較したときにどうであるか、などの異音に関するユーザの特性ないし傾向を可視化することができる。

【0027】

ここで、ユーザ毎に差異があるのと同様に、同じ車種であっても実際に生じる異音に車両毎の個体差があり得るので、得られた異音感度情報および異音感度特性は、各車両の個体差を含んだものとなる。換言すれば、実際にユーザが特定の車両（通常はユーザが保有する車両）を運転している実環境下で異音感度特性が求められる。

【0028】

なお、「異音感度特性」とは、１つ１つの異音感度情報を「点」としたときに、その集合によって示される全体的な特性ないし傾向を意味している。

【0029】

異音感度特性特定部６０による分析結果は、グラフ、画像、映像、テキスト、等の適当な態様でもって情報表示部７０において表示される。情報表示部７０は、例えば、車両の運転席に設けられるディスプレイ（いわゆるＣＩＤ）や、ヘッドアップディスプレイ、あるいは、ユーザが保有するスマートフォン等の携帯端末のディスプレイが利用され得る。その他、ユーザ以外の関係者に対して表示するために、例えばインターネットを介して接続される外部コンピュータシステムのディスプレイも情報表示部７０となり得る。なお、分析結果の一部あるいは全部を音声合成機能を用いた音声表示により行うものであってもよい。

【0030】

図４は、異音感度情報記録部４０により生成されてデータ記憶部５０に蓄積されていく構造化した異音感度情報のデータの一例を示す。異音感度情報は、音データの特徴および車両情報、環境情報がテーブルないしリストの形式で１つのセット（ベクトル、行列など）になったデータとして構成されている。

【0031】

図４（ａ）は、１人のユーザについて収集された複数（例えば１０個）の異音感度情報をまとめた例を示している。個々の異音感度情報には、異音として取得した音の特徴量として、音圧レベル（ｄＢ）の最大値、そのときの最大周波数（Ｈｚ）、ＦＦＴ形状（例えば、Ａ＝右肩上がり、Ｂ＝右肩下がり、Ｃ＝平行）が記載されているとともに、ユーザを特徴付けるための年齢、性別、運転歴、の情報が加えられている。そして、車両情報および環境情報として、車両購入時期、整備歴、事故歴、車速、エンジン回転数、水温、日時、天候、道路状況、交通状況、乗車人数、燃料残量、の情報がそれぞれ含まれている。ユーザが同一人であるので、年齢、性別、運転歴、は同一であり、また使用されている車両も同一である。

【0032】

また、図４（ｂ）は、複数人のユーザの異音感度情報を１つのデータベースとしてまとめた例を示している。このようなデータベースは、例えば、個々の車両にインターネットを介して接続されるクラウドサーバ上に構成される。個々の異音感度情報に含まれる情報の項目は図４（ａ）の場合と同じである。年齢等のユーザを特徴付ける情報を含んでいるので、例えば年齢層等で異音感度情報を絞り込むことが可能である。

【0033】

次に、図２は、上記の第１実施例の可視化装置の処理の流れをフローチャートとして示したものである。まず初めに、音取得部１のマイクロフォンによって車室内の音を継続的に取得する（ステップ１０）。音を継続的に取得する中で、ステアリングホイール上のスイッチが押圧操作されたかを繰り返し判定し（ステップ２０）、スイッチが操作されたときにステップ３０以降へ進む。一つの例では、ユーザ（運転者）が下り坂でブレーキペダルを踏んで「キーキー」というブレーキ鳴きの音を感じたときに、異音と特定するためにユーザによってスイッチが操作される。ここで、図示例では、誤ってスイッチが押圧されたときのデータ取込を回避するために、音圧レベルが所定の閾値（例えば６０ｄＢ）以上であることを加重条件としている。

【0034】

従って、閾値以上の音圧レベルの音が存在するときにユーザがスイッチを押圧操作したら、ステップ３０において、前後所定時間の間、例えば１０秒前から１０秒後までの２０秒間の音データを取得する。このとき、音データの特徴量として、音圧レベルの最大値（ｄＢ）、最大周波数（Ｈｚ）、ＦＦＴ形状（例えば、Ａ＝右肩上がり、Ｂ＝右肩下がり、Ｃ＝平行）などの値が計算されて、音データに付与される。

【0035】

音データの取得と並行して、前後所定時間の間、例えば１０秒前から１０秒後までの２０秒間の車両情報を取得する（ステップ４０）。例えば、車速、エンジン回転数、ブレーキペダル操作量ないし踏力、の情報を取得する。このとき、車両情報の特徴量として、最大の車速（ｋｍ／ｈ）、最大のエンジン回転数（ｒｐｍ）、最大のブレーキペダル踏力（ｂａｒ）などの値が算出され、車両情報に付加される。

【0036】

さらに、同じ前後所定時間の間、例えば１０秒前から１０秒後までの２０秒間の環境情報を取得する（ステップ５０）。例えば、天候、気温、湿度、道路の勾配などの環境情報を取得する。天候や気温のように瞬時に変化しない情報については、１つの値のみで２０秒間の情報を代表することができる。

【0037】

次に、このようにして取得した音データ、車両情報、環境情報を、互いに紐付けた形で１つの異音感度情報としてデータ記憶部５０に保存する（ステップ６０）。前述したように、ユーザがスイッチを押圧操作するたびに、図４（ａ）の１つの行に示すような１つのデータ（異音感度情報）が生成される。

【0038】

次のステップ７０では、異音感度情報が複数蓄積されたことを前提として、それらの分析を行い、ユーザの異音感度特性を特定する。そして、車両のディスプレイ等からなる情報表示部７０において、その結果を表示する（ステップ８０）。

【0039】

次に、情報表示部７０に表示されるいくつかの表示例について説明する。

【0040】

図３は、ディスプレイに表示される第１の表示例を示している。これは、ｘ軸を車両情報の１つであるエンジン回転数（ｒｐｍ）、ｙ軸を環境情報の１つである路面勾配（％）、ｚ軸を取得した音の最大音圧レベル（ｄＢ）、とした三次元グラフ上に、特定ユーザの複数の異音感度情報をプロットして異音感度特性の傾向を示したものである。ここでは、説明のために２つの異音感度情報（♯１，♯２）のみが示されているが、実際にはより多数の異音感度情報が並べられる。異音感度情報♯１は、（Ａ１，Ｂ１，Ｃ１）の組み合わせを有し、異音感度情報♯２は、（Ａ２，Ｂ２，Ｃ２）の組み合わせを有する。例えば、Ａ１はアイドリング回転数、Ａ２は３５００ｒｐｍ、Ｂ１は０．５％（ほぼ水平）、Ｂ２は３０％（急な上り坂）、であり、最大音圧レベルは、Ｃ１＜Ｃ２である。複数の点（♯１，♯２）を連続した線で結ぶことによって全体的な傾向が可視化される。実際の異音感度情報がない範囲は、平均や内挿によって補完することができる。さらに、対応するエンジン回転数や路面勾配が存在しない場合は、類似したユーザの異音感度情報（図４（ｂ））を用いて推定するようにしてもよい。いわゆるＡＩ技術の学習によって、推定が可能である。

【0041】

図５は、異音をオノマトペ（擬音語、擬態語）に分類して特定ユーザ（図中のユーザＡ）の異音感度特性を他の一般的な異音感度特性（図中のユーザＢ）と比較して表示した第２の表示例を示している。ここでは、個々の異音感度情報として取得した異音を複数種類のオノマトペ、例えば、「ゴトゴト」、「トントン」、「カタカタ」、「ピチピチ」、「キーキー」に分類し、それぞれの異音についての最大音圧レベルの点をプロットしている。つまり、各点よりも高い音圧レベルの音であるとユーザが異音と感じ、各点よりも低い音圧レベルであると異音と感じないことを表している。また、特定の車両情報および環境情報の下での異音であることを前提としており、例えば、車速が１００ｋｍ／ｈ、エンジン回転数が３０００ｒｐｍ、気温１９℃、湿度４８％の条件である。完全に同一の条件下での異音のデータが存在しない場合は、近似した条件下での異音のデータを利用してもよい。

【0042】

取得した音からオノマトペを特定するには、例えば特許第６７１４９３１号公報等に開示されているように、オノマトペデータベースと音の特徴とを照合する方法などを利用することができる。例えば、前述したブレーキペダルを踏み込んだときに生じるいわゆるブレーキ鳴きの音は、「キーキー」に分類される。

【0043】

図中のユーザＢは、他の多数のユーザの平均的な異音感度特性を示している。そのため、図５の表示では、特定のユーザＡは、一般的なユーザＢに比較してブレーキ音である「キーキー」音について敏感であることが可視化される。ユーザＢの特性としては、例えば、ユーザＡと同じ年代や性別の代表値（例えばユーザ１００名の平均値や中央値など）や、同一の車両を共有して運転する家族（年代や性別が異なっていても構わない）の特性などを用いることができる。図５の表示例が車両のディスプレイに表示される場合、ユーザＡは自己の特性である。

【0044】

図６は、第２の表示例のオノマトペに代えて、異音を発生源が異なる複数種類の異音に分類して、特定ユーザ（ユーザＡ）の異音感度特性を他の一般的な異音感度特性（ユーザＢ）と比較して表示した第３の表示例を示している。ここでは、エンジンを発生源とする異音Ａ，Ｂと、ブレーキを発生源とする異音Ｃ，Ｄと、車室内を発生源とする異音Ｅ、とに異音種類の分類を行う。車両で発生する異音は、例えばそのときのおおまかな車両運転状態やスペクトログラム等による特徴の解析によって、どのような種類の音であるかを特定することができる。例えば、ブレーキペダルの踏込に同期して発生する音は、そのスペクトログラム等と併せて、ブレーキを発生源とする音（例えば「キーキー」音）であると容易に特定される。

【0045】

図７は、ブレーキの「キーキー」音のように時間変動する異音に関して、ｘ軸をピーク周波数（Ｈｚ）、ｙ軸を変動周波数（Ｈｚ）、ｚ軸を音圧レベル（ｄＢ）、とした三次元グラフ上に、特定ユーザの異音感度特性を、連続的な曲線の特性として表示した第４の表示例を示している。これは、人の聴覚特性のＡ特性やＣ特性の表示と類似した表示となる。例えば、７ｋＨｚの音が１０Ｈｚで変動して異音と感じられた場合は、ピーク周波数が７ｋＨｚでかつ変動周波数が１０Ｈｚとしてそのときの音圧レベルの位置に１つの点がプロットされる。個々の異音感度情報としてプロットされる点が２点以上あれば、それらの点を通過する曲線を最小二乗法で近似して描くことができる。

【0046】

図７では、図が複雑となることを避けるために特定ユーザＡの特性のみを示しているが、実際には、図５，図６と同様に、他の一般的なユーザＢの特性が例えば異なる色の曲線で表示される。これにより、ユーザは、他人と比べてどのような傾向にあるのかを容易に認識することができる。なお、ｚ軸の音圧レベルに代えて、ラウドネス、シャープネス、ラフネス、等の他の指標であってもよい。

【0047】

図３、図５～図７に例示したような表示は、基本的には、異音を感じたユーザに対して表示されるものであるが、車両外部の情報表示部７０を介して、自動車製造会社の設計者・開発者、ディーラーないし修理工場の作業員、等の関係者に対して表示を行うようにしてもよい。

【0048】

各表示例は、適当に組み合わせて表示することも可能である。

【0049】

また、図３、図５～図７に例示したような表示の結果は、データ記憶部５０に数値データやグラフあるいは図等として保存しておくことが望ましい。これにより、再度のグラフ表示や他ユーザや他の異音などとの比較を行う場合に演算処理が不要になるため、簡便に情報の提示を行うことができる。

【0050】

以上のように、第１実施例においては、実車両および実環境下でユーザ（例えば運転者）が感じている異音を、異音感度特性として取得することができる。そして、その結果を記録して、ユーザ自身の異音感度特性がどのような傾向（他者と比較して高い、低い、同程度など）であるかが判るとともに、その内容および結果が判りやすく提示されることとなる。

【0051】

ユーザとしては、運転者に限定されるものではなく、上記実施例は、同じ車両に同乗する乗員（助手席、後部２列目、３列目などに乗車する人）が異音と感じる異音感度特性を推定する場合にも同様に利用可能である。

【0052】

次に、図８～図１２を用いて第２実施例の異音感度特性の可視化装置を説明する。以下では、第１実施例と異なる点を主に説明する。第２実施例は、ユーザが異音と感じた音の中に、異音に該当しない音が含まれ得ることを考慮したものである。つまり、車両の各部が正常であっても動作音等として発生し得る音があり、これらを異音と区別して取り扱う。

【0053】

例えば、長期間車両を動かさずにいて久しぶりに利用した場合において、雨天の後などでは、ユーザが車両のブレーキペダルを踏むと「キー」というような音がする場合がある。これは、ブレーキディスクやブレーキパッドの表面に錆や異物などが入り、音がするのであるが、少しの時間運転をしていれば、ブレーキペダルを踏んでも音は出なくなることが多い。このような音は、ディーラーに車両を持ち込んで修理するようなクレーム対応の対象外であるので、そのような異常と無関係の音をクレームの対象とすべき異音と区別する必要がある。

【0054】

図８は、第２実施例の異音感度特性の可視化装置の機能的な構成を示したブロック図である。図８に示すように、第２実施例の可視化装置は、音取得部１と、車両情報取得部１０と、環境情報取得部２０と、異音判定部３０と、異音感度情報記録部４０と、データ記憶部５０と、異音感度特性特定部６０と、情報表示部７０と、正常音発生推定部８０と、正常音データベース９０と、ユーザ反応入力部１００と、を備えて構成される。

【0055】

音取得部１と、車両情報取得部１０と、環境情報取得部２０と、異音判定部３０と、異音感度情報記録部４０と、データ記憶部５０と、異音感度特性特定部６０と、情報表示部７０と、については、前述した第１実施例と基本的に変わりはない。

【0056】

正常音データベース９０は、異常時の異音ではなく正常状態において発生し得る音を、車両情報および環境情報に紐付けて正常音情報として蓄積したデータベースである。正常音と判定するための情報やデータ類をディーラーの整備士や車両の設計開発部署から収集してデータベース化したものである。例えば、上述したブレーキ操作時の「キー」音については、車両情報である運転再開期間（ｈｏｕｒ／ｄａｙ）やブレーキ踏力（ｂａｒ）、環境情報である雨天や雨天直後、湿度（％）などの条件と、異音ではない音のブレーキからの「キー」音を特徴付ける情報とが、互いに紐付いた形で正常音データベース９０に記録されている。正常音データベース９０は、車両内にあってもよく、クラウドサーバ等の車両外部に構築されていてもよい。

【0057】

正常音発生推定部８０は、異音判定部３０によってユーザが異音と感じたことを検出したことにより異音感度情報記録部４０において生成された異音感度情報に基づき、正常音データベース９０を参照して、異音として取得した音が正常音でないかどうかを判定するものである。正常音と判定した場合は、この音を異音感度特性の基礎となる異音感度情報としてはデータ記憶部５０に取り込まずに、異音ではない別の情報としてデータ記憶部５０に記録する。

【0058】

ユーザ反応入力部１００は、ユーザが異音と感じた音を可視化装置が異音ではないと判定した場合に、この判定に対し、ユーザが納得したかどうかの反応を収集するための入力手段であり、例えば、ディスプレイと一体となったタッチパネル等から構成される。例えば、異音ではない旨の表示を情報表示部７０に表示し、ユーザが納得したかどうかの入力を求める。一実施例では、５段階に数値化したユーザの納得度と満足度の２種類の情報を入力できるように構成される。ユーザの反応としては、理解度、不満度など、他の反応値を利用してもよい。

【0059】

次に、図９は、上記の第２実施例の可視化装置の処理の流れをフローチャートとして示したものである。第１実施例と同様に、まず初めに、音取得部１のマイクロフォンによって車室内の音を継続的に取得する（ステップ１０）。音を継続的に取得する中で、ステアリングホイール上のスイッチが押圧操作されたかを繰り返し判定し（ステップ２０）、スイッチが操作されたときにステップ３０以降へ進む。一つの例では、ユーザ（運転者）が下り坂でブレーキペダルを踏んで「キーキー」というブレーキ鳴きの音を感じたときに、異音と特定するためにユーザによってスイッチが操作される。ここで、図示例では、誤ってスイッチが押圧されたときのデータ取込を回避するために、音圧レベルが所定の閾値（例えば６０ｄＢ）以上であることを加重条件としている。

【0060】

従って、閾値以上の音圧レベルの音が存在するときにユーザがスイッチを押圧操作したら、ステップ３０において、前後所定時間の間、例えば１０秒前から１０秒後までの２０秒間の音データを取得する。このとき、音データの特徴量として、音圧レベルの最大値（ｄＢ）、最大周波数（Ｈｚ）、ＦＦＴ形状などの値が計算されて、音データに付与される。

【0061】

音データの取得と並行して、前後所定時間の間、例えば１０秒前から１０秒後までの２０秒間の車両情報を取得する（ステップ４０）。例えば、車速、エンジン回転数、ブレーキペダル操作量ないし踏力、の情報を取得する。このとき、車両情報の特徴量として、最大の車速（ｋｍ／ｈ）、最大のエンジン回転数（ｒｐｍ）、最大のブレーキペダル踏力（ｂａｒ）などの値が算出され、車両情報に付加される。前述した運転再開期間（ｈｏｕｒ／ｄａｙ）等も車両情報に含まれ得る。

【0062】

さらに、同じ前後所定時間の間、例えば１０秒前から１０秒後までの２０秒間の環境情報を取得する（ステップ５０）。例えば、天候、気温、湿度、道路の勾配などの環境情報を取得する。天候や気温のように瞬時に変化しない情報については、１つの値のみで２０秒間の情報を代表することができる。

【0063】

このようにして取得した音データ、車両情報、環境情報を、互いに紐付けた形で１つの異音感度情報としてデータ記憶部５０に保存する（ステップ６０）。

【0064】

第２実施例では、次にステップ１００において、正常音データベース９０を参照し、取得した異音が正常音でないかどうか判定する。前述したように、例えば、ブレーキ操作時の「キー」音については、車両情報である運転再開期間（ｈｏｕｒ／ｄａｙ）やブレーキ踏力（ｂａｒ）、環境情報である雨天や雨天直後、湿度（％）などの条件と、異音ではない音としてブレーキからの「キー」音を特徴付ける情報とが、互いに紐付いた形で正常音データベース９０に記録されているので、取得した音や条件（車両情報、環境情報）が合致すれば、異音ではないものとし、合致するデータがなければ異音と判定する。

【0065】

異音と判定した場合は、異音であると記録し、かつ情報表示部７０にその旨を表示する（ステップ１１０）。

【0066】

そして、第１実施例と同じく、異音感度情報が複数蓄積されたことを前提として、それらの分析を行い、ユーザの異音感度特性を特定し（ステップ７０）、車両のディスプレイ等からなる情報表示部７０において、その結果を表示する（ステップ８０）。

【0067】

一方、ステップ１００において異音ではないと判定した場合は、異音ではない旨を記録し、かつ情報表示部７０にその旨を表示する（ステップ１２０）。さらに、情報表示部７０において、ユーザに対し異音ではないことの理由を提示する（ステップ１３０）。

【0068】

後述するように、異音でない旨ならびに理由の提示に併せて、ユーザに、納得度および満足度の入力を求める。従って、次に、ユーザが入力した納得度および満足度の値を読み込み（ステップ１４０，１５０）、これらの入力結果を記録する（ステップ１６０）。

【0069】

図１０は、ステップ１２０，１３０における異音でない旨およびその理由を表示する第５の表示例を示している。画面の最上部において、「１）ブレーキパッドとディスクの摩擦部に水が入り音が出る場合がありますが異常ではありません。」旨の記載の行が色を変えて（図では網掛けで示す）表示されており、これによって、今回の「キーキー」音が異常でないと判定したことおよびその理由が提示されている。また画面中には、「雨天時」、「気温５℃以下」、「始動直後（水温２０℃以下）」といった環境情報や車両情報が記載されている。そして、画面の下部には、ユーザの納得度および満足度を５段階で入力できるように回答欄のボックスが設けられている。

【0070】

この表示は、例えばユーザがステアリングホイール上のスイッチを押圧操作した後、適当なタイミング（例えば停車後など）に情報表示部７０に表示される。

【0071】

このような表示により、ユーザは、自分が異音と感じた音が異音でないことを知ることができる。そして、このような判定ないし説明に納得したか否かを表明することができる。自動車製造会社の設計者等の関係者にとっては、正常音であるにも拘わらずユーザがどのような音を異音と感じるのか、さらには、異音ではないと説明したときにどの程度納得するのか、といったデータを収集することが可能となる。

【0072】

図１０の例では、環境情報「雨天時」に該当する異常ではない音が発生する例として、画面に複数例を表示し、該当するものを色分けして示している。これは、同じような条件で複数の音が発生することもあるため、有効な情報提示方法である。さらに、気温や水温の影響が考えられる音の例も併せて記載されている。これらは、環境情報や車両情報の条件が異なれば異なる表示となる。

【0073】

ユーザが納得度および満足度の入力欄に画面上のアップ／ダウンボタンを用いて数値を入力し、「回答する」のボタンを押すと、図１０の表示は終了する。

【0074】

図１１は、さらに高度な表示および説明を行うようにした第６の表示例を示している。ここでは、取得した音データや車両信号などを数値的に理解できるようにグラフ等で表示する。一つの例では、画面の右側に、音の音圧レベルのグラフと周波数のグラフとが表示されており、取得した音の特徴量が視覚的に示されている。また、そのときの日時、スイッチ押圧操作の長さ（秒）、最大音圧（ｄＢ）、天候、気温、などが文字情報として表示されている。

【0075】

さらに、この例では、「ディーラー整備士の説明」というボックスが設けられており、個々の条件に対応した整備士からの説明文が表示される。例えば、「雨でブレーキディスクが濡れたことによる鳴きと考えられます。ブレーキには問題はありません。」旨が表示されている。これは、正常音データベース９０に予め用意されているものを使用してもよく、あるいは、インターネット上にある関連情報などを検索して、いわゆるＡＩ技術によりまとめた文章を表示するようにしてもよい。

【0076】

さらに、テレマティクス技術を利用して整備工場にいる整備士に情報を送信し、整備士が実際に判断した結果のコメントを表示するようにしてもよい。これは、特に、過去に納得度や満足度が低い傾向にあったユーザについて、好ましい方法となる。

【0077】

画面の下段には、図１０の第５の表示例と同じく、ユーザの納得度および満足度を５段階で入力するための入力部が設けられている。

【0078】

図１２は、ユーザが異音と感じたものの異音ではないと判定した音について、設計上問題のない音であることを視覚的に示すようにした第７の表示例を示している。例えば、エンジン回転数と車速と音圧とをパラメータとする三次元グラフ上に、今回取得した音が「測定結果１」としてプロットされている。これは、例えば、「Ｄ１：アイドリング時」、「Ｅ１：４０ｋｍ／ｈ」の条件の下での音である。同一の条件（Ｄ１，Ｅ１）の下での設計上の最大音圧Ｆ１の点が同様に「設計値（Ｄ１，Ｅ１，Ｆ１）」としてプロットされている。従って、測定結果１の音圧が設計値よりも低いことが三次元グラフ上で容易に視認できる。そして、併せて、「設計上問題のない音で異常ではありません。」旨の文字情報が表示される。

【0079】

また、測定結果２の点は、参考のためにプロットされたダミーの異音の点であり、これと同じ条件（Ｄ２，Ｅ２）の下での設計値（Ｄ２，Ｅ２，Ｆ２）よりも音圧が高いので「異常」であることを表している。

【0080】

なお、図１２には、ユーザの納得度および満足度を入力するための入力部が設けられていないが、図１０や図１１と同様にユーザの入力部を設けることができる。

【0081】

また、図１２の表示は、図１０や図１１の表示においてユーザが入力した納得度や満足度が低かった場合に、設計値との比較を示すために、図１０や図１１の表示に続けて表示するようにしてもよい。

【0082】

図１０～図１２の表示は、適当に組み合わせて、あるいは適当な順番で、表示することが可能であり、あるいは１つの画面で全てを同時に表示するようにしてもよい。

【0083】

前述した異音感度情報と同様に、異音ではないと判定した場合にも、そのデータおよび表示画面等を、データ記憶部５０に保存することが望ましい。これにより、ユーザが異音ではない音を異音と感じている情報として利用することができる。

【0084】

例えば、同じような状況で再度同様の音を異音と感じたと判定した場合に、２回目ということで、図１１に示すような表示例を提示し、１回目に提示した図１０の表示とは異なるものとすることができる。

【0085】

さらに、データ記憶部５０にデータを保存することで、他のユーザでも同様の異音判定をしているかどうかなどの異音に関する情報源として利用でき、設計や実験、検査などの条件として追加することができる。

【0086】

さらに、ユーザの納得度や満足度も併せてデータ記憶部５０に保存することで、特定のユーザもしくはユーザ全体の納得度や満足度が向上しているのか、変わりないのか、低下しているのか などの分析が可能である。

【0087】

次に、図１３～図１５を用いて第３実施例の異音感度特性の可視化装置を説明する。第３実施例は、第１実施例や第２実施例のようなユーザに対する異音感度特性の分析・提示に加えて、多数のユーザについて収集される異音感度情報（異音ではないと判定した音の情報をも含む）を利用して、車両設計や車両検査等の異音管理条件の更新ないし学習を行うようにしたものである。

【0088】

図１３は、第３実施例の異音感度特性の可視化装置の機能的な構成を示したブロック図である。図１３に示すように、第３実施例の可視化装置は、音取得部１と、車両情報取得部１０と、環境情報取得部２０と、異音判定部３０と、異音感度情報記録部４０と、データ記憶部５０と、異音感度特性特定部６０と、情報表示部７０と、正常音発生推定部８０と、正常音データベース９０と、ユーザ反応入力部１００と、異音感度情報集計部１１０と、異音管理条件追加部１２０と、を備えて構成される。

【0089】

音取得部１と、車両情報取得部１０と、環境情報取得部２０と、異音判定部３０と、異音感度情報記録部４０と、データ記憶部５０と、異音感度特性特定部６０と、情報表示部７０と、正常音発生推定部８０と、正常音データベース９０と、ユーザ反応入力部１００と、については、前述した第２実施例と基本的に変わりはない。

【0090】

異音感度情報集計部１１０は、ユーザが異音であると感じたとしてデータ記憶部５０に蓄積されたデータ（音や車両情報および環境情報等に関するデータ）の集計を行う。つまり、ユーザが異音であると感じたことで生成される異音感度情報は、音データ、車両情報、環境情報、を含んでいるが、例えば、同一のユーザのブレーキ鳴きの異音を記録した５件のデータの中で、車速が１０（ｋｍ／ｈ）以下で晴天の場合が１件、雨天や雨天後が３件というような形で分類・集計を行うものである。ブレーキ鳴き（「キーキー」音）以外の異音についても同様の集計を行う。そして、件数の多いものから順にランク付けを行う。

【0091】

異音管理条件追加部１２０は、集計して得られた異音発生の条件などを、車両を設計する設計部署、車両の音特性を計測・実験する実験部署、生産車両の音特性を検査する検査部署などに異音管理条件として情報提供し、今後そのような音が発生しないようにフィードバックするものである。例えばインターネット等を介して自動車製造会社等へ既存の異音管理条件を問い合わせ、追加する必要があれば、車両側から自動車製造会社等へ情報を送信する構成となっている。例えば、異音感度情報集計部１１０の集計結果として、件数が多い上位ランクの異音感度情報に関して、設計、実験、検査の各々の段階での異音管理条件として、異音とユーザが感じた音が発生したときの車両条件および環境条件があるか否かを調べて、同一条件での異音の登録が存在しない場合は、設計、実験、検査における異音管理条件として新たに追加する。

【0092】

図１４は、上記の第３実施例の可視化装置の処理の流れをフローチャートとして示したものである。なお、正常音発生推定部８０、正常音データベース９０およびユーザ反応入力部１００に関する処理は、図９のフローチャートと同様であり、図１４では省略してある。第１，第２実施例と同様に、まず初めに、音取得部１のマイクロフォンによって車室内の音を継続的に取得する（ステップ１０）。音を継続的に取得する中で、ステアリングホイール上のスイッチが押圧操作されたかを繰り返し判定し（ステップ２０）、スイッチが操作されたときにステップ３０以降へ進む。一つの例では、ユーザ（運転者）が下り坂でブレーキペダルを踏んで「キーキー」というブレーキ鳴きの音を感じたときに、異音と特定するためにユーザによってスイッチが操作される。ここで、図示例では、誤ってスイッチが押圧されたときのデータ取込を回避するために、音圧レベルが所定の閾値（例えば６０ｄＢ）以上であることを加重条件としている。

【0093】

従って、閾値以上の音圧レベルの音が存在するときにユーザがスイッチを押圧操作したら、ステップ３０において、前後所定時間の間、例えば１０秒前から１０秒後までの２０秒間の音データを取得する。このとき、音データの特徴量として、音圧レベルの最大値（ｄＢ）、最大周波数（Ｈｚ）、ＦＦＴ形状などの値が計算されて、音データに付与される。

【0094】

音データの取得と並行して、前後所定時間の間、例えば１０秒前から１０秒後までの２０秒間の車両情報を取得する（ステップ４０）。例えば、車速、エンジン回転数、ブレーキペダル操作量ないし踏力、の情報を取得する。このとき、車両情報の特徴量として、最大の車速（ｋｍ／ｈ）、最大のエンジン回転数（ｒｐｍ）、最大のブレーキペダル踏力（ｂａｒ）などの値が算出され、車両情報に付加される。前述した運転再開期間（ｈｏｕｒ／ｄａｙ）等も車両情報に含まれ得る。

【0095】

さらに、同じ前後所定時間の間、例えば１０秒前から１０秒後までの２０秒間の環境情報を取得する（ステップ５０）。例えば、天候、気温、湿度、道路の勾配などの環境情報を取得する。天候や気温のように瞬時に変化しない情報については、１つの値のみで２０秒間の情報を代表することができる。

【0096】

このようにして取得した音データ、車両情報、環境情報を、互いに紐付けた形で１つの異音感度情報としてデータ記憶部５０に保存する（ステップ６０）。そして、第１実施例と同じく、異音感度情報が複数蓄積されたことを前提として、それらの分析を行い、ユーザの異音感度特性を特定し（ステップ７０）、車両のディスプレイ等からなる情報表示部７０において、その結果を表示する（ステップ８０）。なお、第２実施例において説明したように、異音でない正常音の場合は、そのデータは、ユーザの異音感度特性の特定には用いられない。

【0097】

第３実施例では、次にステップ２１０において、これまでユーザが異音であると感じて記録されたデータの集計を行う。つまり、同一の車両（車種）および車両情報・環境情報が同一条件の下で、ほぼ同一の音特性を有しているものを同一異音として分類し、その件数を集計する。前述したように、例えば、同一のユーザのブレーキ鳴きの異音を記録した５件のデータの中で、車速が１０（ｋｍ／ｈ）以下で晴天の場合が１件、雨天や雨天後が３件というような形で分類・集計を行う。そして、件数の多いものからランク付けをする。

【0098】

次に、今回対象とした異音のランクが、所定の上位ランク内であるかどうか、例えば上位１０番目以内であるか否かを判定する（ステップ２２０）。上位から１１番目以下の異音の場合は、その後の処理は行わずに終了する。

【0099】

上位１０番目以内の場合は、ユーザが異音と感じた異音のデータから、車両情報の条件を抽出する（ステップ２３０）。例えば、車速やエンジン回転数、アクセルペダルやブレーキペダルの操作量 などである。同様に、環境条件を抽出する（ステップ２４０）。例えば、天候が晴天であるとか、気温が２３℃であるとか、道路勾配が０度、などである。なお、環境情報については、その条件が一致する場合は少ないので、車両情報の条件のみが一致したものも含めるなど、一致する条件をユーザや関係者が選択できるようにしてもよい。

【0100】

そして、これらの車両情報の条件および環境情報の条件が、既存の設計、実験、検査の音の管理条件の中にあるか否かを調べる（ステップ２５０）。

【0101】

異音とユーザが感じた音が発生したときの車両情報の条件および環境情報の条件が既に存在している場合は、ユーザ条件として、例えば年齢、性別、運転歴、運転頻度 などの情報を、既存の設計、実験、検査の音の管理条件に追加する（ステップ２６０）。

【0102】

一方、異音とユーザが感じた音が発生したときの車両情報の条件および環境情報の条件が存在していない場合は、新たに、設計、実験、検査の音の管理条件の中に、これらの条件・情報を追加する。これにより、自動車製造会社等は、ユーザが異音であると感じる音について効果的に対応することができる。

【0103】

このように異音管理条件の追加等の処理を行った場合、ユーザにその旨を報知するために、情報表示部７０を介して適当な表示を行うようにしてもよい。

【0104】

図１５は、異音管理条件の追加等を行った旨を表示する第８の表示例を示している。

【0105】

図１５の例では、例えばユーザが異音であると感じてステアリングホイール上のスイッチを操作したときに、その音が異音と判定された旨、その登録件数のランクが８位である旨、既存の設計・実験・検査の条件にない旨、その結果、設計・実験条件を新規登録した旨、が文字情報として表示される。さらに、異音を取得したときの各種条件として、そのときの日時、スイッチ押圧操作の長さ（秒）、最大音圧（ｄＢ）、車速、エンジン回転数、天候、気温、などが文字情報として表示されている。画面の左下には、異音を特徴付ける周波数特性がグラフ表示されている。

【0106】

なお、これらの表示は一例であり、表示項目を追加、削除したり、グラフを文字情報に変更したり、文字情報をグラフに変更してもよい。

【0107】

また、第３実施例では、図１３に示すように、データ記憶部５０に、異音感度情報の取得を行う対象のユーザ（ユーザＡ）の異音感度情報等のデータとともに、他のユーザ（ユーザＢ，ユーザＣ，ユーザＤ・・・）の異音感度情報等のデータを保存するようにして、この他のユーザの情報を含めて集計を行うようにしてもよい。その際には、ユーザ条件の年齢、性別、運転歴、運転頻度 などの情報でクラス分けをして集計してもよい。例えば、高齢者層の６０歳以上の男性で、２０年以上ほぼ毎日運転しているユーザの場合の異音感度情報登録件数をランク付けする などである。

【0108】

次に、図１６～図１８を用いて第４実施例の異音感度特性の可視化装置を説明する。第４実施例は、第１実施例で説明したような各ユーザの異音感度情報の取得を前提として、車両情報の条件ならびに環境情報の条件が同一であっても発生する音の特性がどの程度ばらつくのかを定量化して、必ずしも同一条件でも異音と判定されない場合の発生確率ないし頻度を可視化しようとするものである。

【0109】

すなわち、第４実施例は、車両情報および環境情報が同一である１人もしくは複数人のユーザの過去の多数の異音感度情報を統計処理し、車両運転中に車両情報および環境情報が上記の車両情報および環境情報と一致したときに、ユーザが現在の音を異音と感じたか否かに拘わらず、そのときの音データを参照用音データとして保存する。そして、統計処理した過去の異音感度情報と参照用音データとを比較して表示する。

【0110】

図１６は、第４実施例の異音感度特性の可視化装置の機能的な構成を示したブロック図である。図１６に示すように、第４実施例の可視化装置は、音取得部１と、車両情報取得部１０と、環境情報取得部２０と、異音感度情報記録部４０と、データ記憶部５０と、異音感度特性特定部６０と、情報表示部７０と、異音感度情報履歴検索部１３０と、音声特性比較部１４０と、を備えて構成される。なお、ユーザの異音感度情報は、第１実施例のようにして取得され、データ記憶部５０に蓄積される。好ましくは、他のユーザの異音感度情報もデータ記憶部５０に記憶されている。

【0111】

図１６は、参照用音データを含む参照用異音感度情報を取得するための構成を示しており、異音感度情報履歴検索部１３０は、データ記憶部５０に格納されている異音感度情報履歴を参照し、多数の異音感度情報に付帯する音データ、車両情報、環境情報に基づき、ユーザが異音であると感じる音が生じるであろう車両情報および環境情報の組み合わせを検索する。例えば、車両情報に含まれる車速やエンジン回転数、環境情報に含まれる天候や気温、道路勾配などである。

【0112】

車両の走行中に、車両情報および環境情報が過去の履歴における車両情報および環境情報の組み合わせと一致したときに、異音感度情報記録部４０によって、音データ（参照用音データ）と車両情報と環境情報とを含む参照用異音感度情報が生成され、データ記憶部５０に保存される。

【0113】

音声特性比較部１４０は、参照用異音感度情報に含まれる参照用音データの特徴量を過去の統計処理した異音感度情報の特徴量と比較するものであり、情報表示部７０において比較結果の表示を行う。

【0114】

図１７は、上記の第４実施例の可視化装置の処理の流れをフローチャートとして示したものである。なお、ユーザの異音感度情報の取得に関する処理は、図２のフローチャートに示した第１実施例と同様であり、その説明は省略する。

【0115】

音取得部１のマイクロフォンによって車室内の音を継続的に取得する（ステップ１０）。この音の取得と並行して、車両情報を取得し（ステップ４０）、さらに環境情報を取得する（ステップ５０）。そして、これら現在の車両情報および環境情報と一致する車両情報および環境情報を備えた過去の異音感度情報の履歴があったかどうかを判定する（ステップ３１０）。過去の履歴がなければ、以上の処理を繰り返し、過去に異音を取得したときと同じ車両情報および環境情報が出現しないか監視する。ここでは、車両の緯度経度情報を用いて過去に異音を検出した場所と同一の場所であるか、同じ時間帯であるか、等の条件を含めるようにしてもよい。

【0116】

過去の履歴と条件が一致したと判定したら、ステップ３０において、前後所定時間の間、例えば１０秒前から１０秒後までの２０秒間の音データを取得する。このとき、音データの特徴量として、音圧レベルの最大値（ｄＢ）、最大周波数（Ｈｚ）、ＦＦＴ形状などの値が計算されて、音データに付与される。そして、このようにして取得した音データを、そのときの車両情報および環境情報に紐付けた形で、参照用異音感度情報としてデータ記憶部５０に保存する（ステップ６０）。

【0117】

次に、過去の履歴における同条件下での複数の異音感度情報を統計処理し、音特性、例えば音圧レベルの平均値、中央値、分散値、等を求める（ステップ３２０）。そして、今回取得した参照用異音感度情報の音データ（参照用音データ）と比較し、その結果をデータ記憶部５０に記録するとともに情報表示部７０において表示する。

【0118】

図１８は、第４実施例に対応した第９の表示例を示している。この例では、ｘ軸を車両情報（例えばエンジン回転数）、ｙ軸を環境情報（例えば路面勾配）、ｚ軸を音の特性（例えば最大音圧レベル）、とした三次元グラフ上に、参照用音データを「今回の計測結果」としてプロットするとともに、過去の履歴における音データを統計処理した分散値および平均値が表示されている。

【0119】

従って、ユーザや他の関係者は、例えば、今回参照用音データとして取得した音の音圧レベルが過去の履歴における異音の音圧レベルよりも高いのか低いのか、等を容易に認識することができる。つまり、過去に異音として記録されたデータと比較して、ユーザや車両が同一でかつ車両情報および環境情報の条件が同一であるときに、発生する音がどの程度ばらつくのかを可視化することができる。

【0120】

また、前述した第１実施例の処理により、今回の参照用音データを、ユーザが異音と感じたのか否かを判別することができ、これにより、同一条件であったとしてもユーザが異音とは認識しない場合の発生確率を求めることができる。

【0121】

また、今回の参照用音データの音圧レベルが過去の履歴の音圧レベルに比較して高いにもかかわらずユーザが異音として認識していなかった場合には、異音感度特性の補正が必要となり得ることが示されることとなる。

【0122】

次に、図１９～図２１を用いて第５実施例の異音感度特性の可視化装置を説明する。第５実施例は、第１実施例や第２実施例のようなユーザに対する異音感度特性の分析・提示に加えて、異音感度特性の変化（例えば経年変化）の可視化を行う。つまり、異音を複数種類に分類し、今回取得した異音感度情報と同一の異音種類に属しかつ車両情報および環境情報が同一である過去の異音感度情報と今回取得した異音感度情報とを比較して、比較結果の表示等を行うようにしたものである。

【0123】

図１９は、第５実施例の異音感度特性の可視化装置の機能的な構成を示したブロック図である。図１９に示すように、第５実施例の可視化装置は、音取得部１と、車両情報取得部１０と、環境情報取得部２０と、異音判定部３０と、異音感度情報記録部４０と、データ記憶部５０と、異音感度特性特定部６０と、情報表示部７０と、異音感度情報検索部１５０と、異音感度情報比較部１６０と、を備えて構成される。

【0124】

音取得部１と、車両情報取得部１０と、環境情報取得部２０と、異音判定部３０と、異音感度情報記録部４０と、データ記憶部５０と、異音感度特性特定部６０と、情報表示部７０と、については、前述した第１実施例と基本的に変わりはない。第１実施例と同様に、ユーザが異音と感じてステアリングホイール上のスイッチを押圧するなどにより、音データと車両情報および環境情報を紐付けた新たな異音感度情報が生成される。

【0125】

異音感度情報検索部１５０は、データ記憶部５０に格納されているユーザの過去の異音感度情報の中から、今回新たに取得した異音感度情報と同一の異音種類に属する異音感度情報を検索するものである。例えば、第１実施例において説明したオノマトペ（図５）や異音発生源（図６）に従って異音の種類を分類し、過去の同一種類の異音に関する異音感度情報を検索した上で、ユーザが異音と感じるとして登録した音データの特徴量（例えば音圧レベル（ｄＢ）など）を抽出する。なお、過去の異音感度情報には、他のユーザ（特に同じ車種を利用している他のユーザや同乗者など）の異音感度情報を含めるようにしてもよい。また、異音感度情報に含まれる車両情報および環境情報が完全に一致するものに限らず、ある程度類似したものや、車両情報および環境情報の一方のみが一致するものなど、を含めるようにしてもよい。つまり、過去の同一の異音種類に属する異音感度情報の数をある程度増やすことが望ましい。

【0126】

異音感度情報比較部１６０は、今回新たに取得した異音感度情報の音データの特徴量と異音感度特性検索部１５０によって検索・抽出した過去の同一異音種類に属する異音感度情報の音データの特徴量とを比較し、例えば比較結果の表示などを行うものである。音データの特徴量としては、音圧レベルのほか、周波数特性のピーク周波数、１／３オクターブ分析、メルケプストラム、スペクトログラム、などを含めることができる。

【0127】

図２０は、上記の第５実施例の可視化装置の処理の流れをフローチャートとして示したものである。第１実施例と同様に、まず初めに、音取得部１のマイクロフォンによって車室内の音を継続的に取得する（ステップ１０）。音を継続的に取得する中で、ステアリングホイール上のスイッチが押圧操作されたかを繰り返し判定し（ステップ２０）、スイッチが操作されたときにステップ３０以降へ進む。一つの例では、ユーザ（運転者）が下り坂でブレーキペダルを踏んで「キーキー」というブレーキ鳴きの音を感じたときに、異音と特定するためにユーザによってスイッチが操作される。ここで、図示例では、誤ってスイッチが押圧されたときのデータ取込を回避するために、音圧レベルが所定の閾値（例えば６０ｄＢ）以上であることを加重条件としている。

【0128】

従って、閾値以上の音圧レベルの音が存在するときにユーザがスイッチを押圧操作したら、ステップ３０において、前後所定時間の間、例えば１０秒前から１０秒後までの２０秒間の音データを取得する。このとき、音データの特徴量として、音圧レベルの最大値（ｄＢ）、最大周波数（Ｈｚ）、ＦＦＴ形状などの値が計算されて、音データに付与される。

【0129】

音データの取得と並行して、前後所定時間の間、例えば１０秒前から１０秒後までの２０秒間の車両情報を取得する（ステップ４０）。例えば、車速、エンジン回転数、ブレーキペダル操作量ないし踏力、の情報を取得する。このとき、車両情報の特徴量として、最大の車速（ｋｍ／ｈ）、最大のエンジン回転数（ｒｐｍ）、最大のブレーキペダル踏力（ｂａｒ）などの値が算出され、車両情報に付加される。前述した運転再開期間（ｈｏｕｒ／ｄａｙ）等も車両情報に含まれ得る。

【0130】

さらに、同じ前後所定時間の間、例えば１０秒前から１０秒後までの２０秒間の環境情報を取得する（ステップ５０）。例えば、天候、気温、湿度、道路の勾配などの環境情報を取得する。天候や気温のように瞬時に変化しない情報については、１つの値のみで２０秒間の情報を代表することができる。

【0131】

このようにして取得した音データ、車両情報、環境情報を、互いに紐付けた形で１つの異音感度情報としてデータ記憶部５０に保存する（ステップ６０）。そして、第１実施例と同じく、異音感度情報が複数蓄積されたことを前提として、それらの分析を行い、ユーザの異音感度特性を特定し（ステップ７０）、車両のディスプレイ等からなる情報表示部７０において、その結果を表示する（ステップ８０）。なお、第２実施例において説明したように、異音でない正常音の場合は、そのデータは、ユーザの異音感度特性の特定には用いられない。

【0132】

第５実施例では、次にステップ４１０において、同一種類の異音（例えばブレーキの「キーキー」音）に関する過去の異音感度情報がデータ記憶部５０に存在するかどうかを判定する。同一種類の異音に関する過去の異音感度情報が存在する場合は、過去の異音感度情報の音データの特徴量を適当に統計処理した上で、今回の異音感度情報の音データの特徴量と比較する（ステップ４２０）。そして、この比較結果を車両のディスプレイ等からなる情報表示部７０において表示する（ステップ４３０）。

【0133】

同一種類の異音に関する過去の異音感度情報が存在しない場合は、新しい種類の異音の異音感度情報としてデータ記憶部５０に保存する（ステップ４４０）。

【0134】

図２１は、第５実施例による比較結果を表示した第１０の表示例を示している。この例では、前述した図６と同様に、異音を発生源が異なる複数種類の異音に分類した上で、今回取得した異音についての最大音圧レベルの点をプロットするとともに、過去の同一種類の異音に関する音データを統計処理した分散値および平均値を比較のために示してある。また、今回の値を含めた場合の平均値を「平均Ｎｅｗ」としてプロットしている。統計値としては、平均値、分散のほか、標準偏差、中央値、尖度、歪度などであってもよい。また、表示画面には、車両情報および環境情報として、例えば、車速が１００ｋｍ／ｈ、エンジン回転数が３０００ｒｐｍ、の条件であることが示されている。

【0135】

このような表示により、今回取得した異音感度情報が過去のデータに比較してどのようであるのか（例えば音圧レベルが高い／低い、など）を容易に理解することができる。

【0136】

なお、図２１の例では、今回取得した異音感度情報の特徴量（音圧レベル）が過去のデータの特徴量から大きく乖離していないが、仮に、今回新たに取得した異音感度情報の音データの特徴量が過去の異音感度情報の音データの特徴量から大きく乖離しているような場合には、ユーザの異音感度特性を補正するようにしてもよい。つまり、ユーザの聴覚能力が加齢や病気によって衰えた、等の可能性があるので、データ記憶部５０に保存されているユーザの異音感度特性を補正する。他の一時的な要因が考えられる場合は、異音感度特性の補正は行わないことが望ましい。

【符号の説明】

【0137】

１…音取得部
１０…車両情報取得部
２０…環境情報取得部
３０…異音判定部
４０…異音感度情報記録部
５０…データ記憶部
６０…異音感度特性特定部
７０…情報表示部
８０…正常音発生推定部
９０…正常音データベース
１００…ユーザ反応入力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】