特開 2024-55341 音的検査方法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024055341

(43)【公開日】2024-04-18

(54)【発明の名称】音的検査方法および装置

(51)【国際特許分類】

   G01H 3/00 20060101AFI20240411BHJP

【ＦＩ】

G01H3/00 A

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022162180

(22)【出願日】2022-10-07

(71)【出願人】

【識別番号】000003997

【氏名又は名称】日産自動車株式会社

(74)【代理人】

【識別番号】100086232

【弁理士】

【氏名又は名称】小林 博通

(74)【代理人】

【識別番号】100092613

【弁理士】

【氏名又は名称】富岡 潔

(72)【発明者】

【氏名】広瀬 悟

(72)【発明者】

【氏名】高木 徹

【テーマコード（参考）】

2G064

【Ｆターム（参考）】

2G064AB01

2G064AB02

2G064AB15

2G064AB22

2G064CC41

2G064DD05

2G064DD08

2G064DD12

2G064DD14

2G064DD16

(57)【要約】

【課題】ホーン音等の異音検査において、異音と判定したときに事後的な検証が行えるようにする。
【解決手段】検査装置は、マイクロフォンを含む音取得部と、車両の正面から俯瞰した映像を取得するビデオカメラからなる映像取得部と、を有する。ホーン音と判定したら、数秒程度の長さの音データを切り出し、周波数解析して、正常音か異常音かを判定する。異常音であったら、同じ数秒程度の長さの映像データを切り出し、音データとともに保存する。ディスプレイには、時刻表示のインジケータ７０ｂ１を含む音データ７０ｂと、スペクトル７０ｃと、判定結果の表７０ｇと、車両全体の画像７０ｅと、ホーンスイッチ操作を確認するための運転席部分の拡大画像７０ｆと、がまとめて表示される。再生要求に応じて音が再生され、これに同期して拡大画像７０ｆが再生される。
【選択図】図３

【特許請求の範囲】

【請求項1】

検査対象機器から発せられる音を取得して対象音を含む音データを生成し、
音の取得と並行して検査対象機器の映像を取得し、対象音の発生の起因となる操作ないし動作を含む映像データを生成し、
音データを解析して対象音が異音であるかどうかの判定を行い、
少なくとも異音であると判定した場合には、再生要求に応答して、スピーカを介して音データの再生を行うとともに、この再生に同期したインジケータを含む時系列的な音データの表示と、音データの解析結果と、音データの再生に同期した映像データの再生画像と、を１つの画面上にまとめて表示する、
音的検査方法。

【請求項2】

音データと映像データと解析結果のデータとを互いに紐付いたデータとしてデータベースに格納する、請求項１に記載の音的検査方法。

【請求項3】

検査対象機器は車両である、請求項１に記載の音的検査方法。

【請求項4】

対象音が車両のホーン音であり、運転者のホーン操作を含む映像データを再生・表示する、請求項３に記載の音的検査方法。

【請求項5】

対象音が車両のワイパー作動音であり、ウインドシールド上のワイパーの動作を含む映像データを再生・表示する、請求項３に記載の音的検査方法。

【請求項6】

一時的に記録した１つのカメラの画像から対象とする範囲の画像を切り出して映像データを生成する、請求項１に記載の音的検査方法。

【請求項7】

同一の検査対象機器における複数種類の対象音について、上記の音データの再生および画面表示を順次に行う、
請求項１に記載の音的検査方法。

【請求項8】

複数種類の対象音についての音データの再生および画面表示を、所定の優先順序に従って処理する、
請求項７に記載の音的検査方法。

【請求項9】

スロー再生が要求されたときに、音データの再生と、上記インジケータによる時間表示と、映像データの再生と、を互いの同期を保ちつつ相対的に遅い速度で行う、
請求項１に記載の音的検査方法。

【請求項10】

検査対象機器から発せられる音を取得する音取得部と、
音の取得と並行して検査対象機器の映像を取得する映像取得部と、
取得音から対象音を含む音データを生成するとともに、この音データに同期して取得映像から対象音の発生の起因となる操作ないし動作を含む映像データを生成する音・映像データ生成部と、
音データを解析して対象音が異音であるかどうか判定する異音判定部と、
スピーカを含む表示部と、
少なくとも異音であると判定した場合には、再生要求に応答して、上記スピーカを介して音データの再生を行うとともに、この再生に同期したインジケータを含む時系列的な音データの表示と、音データの解析結果と、音データの再生に同期した映像データの再生画像と、を上記表示部の１つの画面上にまとめて表示する、表示制御部と、
を備えてなる音的検査装置。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、例えば自動車の検査工程等として音に基づく検査を行う音的検査の方法および装置に関する。

【背景技術】

【0002】

例えば、自動車生産ラインの最終段階となる完成車検査工程においては、フリーローラ上で検査員が検査対象となる完成車両の試走を行い、エンジン、メータ類、ブレーキ、ホーン、灯火、等について多数の項目の検査を行う。一般に、この検査工程の中で、車両の各部で発する種々の音について、検査員の感覚に基づくいわゆる官能評価によって異常の有無の判定がなされる。例えば、ホーンについては、検査員がホーンを鳴らし、自らその音を聞いて正常な音であることを確認する検査がなされる。ワイパーの作動時にワイパーブレードから生じる音やブレーキ操作時にブレーキから生じる音等についても同様に官能検査の対象となる。

【0003】

このような官能検査に代えて、音をマイクロフォンで取得して、その信号の解析により異常を検出する試みが従来からなされている。

【0004】

特許文献１には、自動車用エンジン等の検査対象物が並んで搬送されるベルト状の製造ラインにおいて、検査対象物の可動部を試験的に動作させて生じる音を測定音として取得し、この測定音を基準音と比較して正常音であるか否かを判定する異音診断システムが開示されている。製造ラインの前に位置する検査員は、マイクロフォンを備えたヘッドマウントディスプレイを装着しており、正常音であるか否かの判定結果をヘッドマウントディスプレイ内で見ることができるとともに、検査対象物に重畳した形で測定範囲を視認することができる。ヘッドマウントディスプレイ内に異常音であることが表示されたら、検査員は、不良品であることを示すシールを検査対象物に貼着する。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１０－１９７３６１号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

完成車検査工程でのホーンの検査等、多くの種類の音的検査では、異常であると判定したような場合に、その検査を事後的に検証することができる、いわゆる「トレーサビリティ」が要求される。例えば、ホーン音の検査では、検査員が正しくホーンを鳴らしたのかどうか、を含めた検証が必要である。検査員のホーン操作と異なるタイミングで隣接する別の検査ラインのホーン音が混入し、異常音であると誤判定されるようなこともあり得る。

【0007】

特許文献１の技術では、このような検査結果の事後的な検証が何ら考慮されていない。

【課題を解決するための手段】

【0008】

この発明に係る音的検査方法は、
検査対象機器から発せられる音を取得して対象音を含む音データを生成し、
音の取得と並行して検査対象機器の映像を取得し、対象音の発生の起因となる操作ないし動作を含む映像データを生成し、
音データを解析して対象音が異音であるかどうかの判定を行い、
少なくとも異音であると判定した場合には、再生要求に応答して、スピーカを介して音データの再生を行うとともに、この再生に同期したインジケータを含む時系列的な音データの表示と、音データの解析結果と、音データの再生に同期した映像データの再生画像と、を１つの画面上にまとめて表示する。

【0009】

例えばマイクロフォンを介して車両等の検査対象機器から発せられる音を取得するのと並行して、例えば１つあるいは複数のカメラを介して車両等の検査対象機器の映像が取得される。例えばホーン音等の対象音を含む音データが生成され、これを解析することで、異音がどうかの判定がなされる。一方、例えばホーン音であればホーン音の発生の起因となる検査員の操作（ステアリングホイール上のホーンスイッチの押圧操作）を視認することができる映像データが生成される。

【0010】

例えば事後的な検証のために再生が要求されると、スピーカを介して対象音（例えばホーン音）を含む音データが再生され、同時に、画面上に、再生に同期したインジケータを含む時系列的な音データの表示と、音データの解析結果と、音データの再生に同期した映像データの再生画像と、がまとめて表示される。例えばホーン音であれば、ホーンスイッチの押圧操作を写した映像データが音データの再生と同期して表示される。また音データは時系列的な音圧波形等として視覚的に表示されるが、この音データの表示には、再生に同期したインジケータが含まれ、現在聞いている音が時系列的な音データのどの箇所であるのかを視認することができる。

【発明の効果】

【0011】

この発明によれば、再生要求に応答して、スピーカを介して音データが再生されるとともに、この再生に同期したインジケータを含む時系列的な音データの表示と、音データの解析結果と、音データの再生に同期した映像データの再生画像と、がまとめて表示されるので、音的検査の事後的な検証が容易となる。

【図面の簡単な説明】

【0012】

【図1】この発明を自動車の完成車検査工程における異音検査に適用した第１実施例の機能ブロック図。

【図2】第１実施例の処理の流れを示すフローチャート。

【図3】第１実施例の表示部における表示例を示した説明図。

【図4】第２実施例の機能ブロック図。

【図5】第２実施例の処理の流れを示すフローチャート。

【図6】第２実施例の表示部における表示例を示した説明図。

【図7】切換表示されるワイパー音用の拡大画像の説明図。

【図8】他の表示例を示した説明図。

【図9】さらに他の表示例を示した説明図。

【発明を実施するための形態】

【0013】

以下、この発明を自動車の完成車検査工程における異音検査に適用した一実施例について説明する。一般に、自動車生産ラインの最終段階となる完成車検査工程においては、フリーローラ上で検査員が検査対象となる完成車両の試走を行い、エンジン、トランスミッション、メータ類、ホーン、ブレーキ、ワイパー等を含む多数の項目の検査を所定の検査順序に従って行う。一実施例の検査装置は、車両側からのタイミング信号等に依存せずに車両から音を取得し、取得した音を用いて、対象音の抽出、異常音（異音ともいう）であるか否の判定、を行い、これらの結果を映像とともに表示する。

【0014】

一実施例においては、検査対象音としてホーンとワイパーとを含んでいる。ホーンについては、検査員がステアリングホイール上のホーンスイッチを押圧することでホーンを鳴らし、その音に基づいて、ホーンが正常であるかどうかの判別がなされる。ホーン自体の異常、部品（ホーン）の型番の間違い、配線の接触不良、ホーンスイッチの異常、等によって、ホーンの音程が異なっていたり音色がおかしい、等の異常が生じることが有り得るので、実際のホーンの音に基づく検査が行われるのである。また、ワイパーについては、同様に検査員がワイパーを作動させたときに、例えばワイパーブレード付近から異常音が生じているか否かが検査される。

【0015】

図１は、第１実施例の検査装置の機能ブロック図を示している。なお、この検査装置はホーン／ワイパー検査装置として独立した装置ではなく、完成車検査装置の一部として構成される。第１実施例の検査装置は、音取得部１と、映像取得部１０と、対象音特定部２０と、異音判定部３０と、音・映像データ生成部４０と、音・映像データ保存部５０と、映像表示制御部６０と、スピーカを含む表示部７０と、を含んで構成されている。

【0016】

音取得部１は、検査対象の車両から生じる音を取得して電気信号つまり音データとするマイクロフォンと、この音データを一時的に保存する録音部と、を含んでいる。マイクロフォンは、ホーンやワイパー等の音を含む車両からの音を集音し得るように車両外部に配置される。マイクロフォンの指向性やサンプリング周波数、周波数帯域、感度特性、などは、計測対象や音場の環境などに合わせて選択されている。通常は、車両へ向けて指向性を有するマイクロフォンが用いられる。マイクロフォンアレーなどにより音源を定位してノイズとなる音を除去した音データを得るようにしてもよい。

【0017】

映像取得部１０は、音の取得と並行して検査対象の車両を撮影して映像データ（つまり動画データ）とするもので、例えばビデオカメラからなる。ビデオカメラとしては、取得した画像の部分的な拡大を可能とするために、フルＨＤ規格（１９２０×１０８０画素）のように画素数が多いものが好ましい。映像取得部１０となるビデオカメラは、１台であっても互いに同期して撮影を行う複数台であってもよく、一実施例では、検査対象となる車両を正面（より詳しくは斜め上方）から俯瞰して撮影する１台のビデオカメラが用いられている。

【0018】

対象音特定部２０は、音取得部１が取得した連続した音データの中から実質的にリアルタイムに対象音（例えばホーン音）を抽出し、対象音を含む音データを切り出す。例えば、検査対象がホーンの場合は、ホーンの音の特徴である周波数帯域として例えば１ｋＨｚの周波数帯域の音に着目し、その音圧が１００ｄＢＡ以上であるか否かという条件に基づき、対象音を特定する。そして、このホーン音の前後を含む例えば数秒程度の長さの音データを生成する。

【0019】

異音判定部３０は、生成された数秒程度の長さの音データに含まれている対象音が異常音であるかどうかの判定を行う。例えば、音データをＦＦＴ（Fast Fourier Transform）やウェーブレット解析などの周波数解析手法などを用いて定量化し、正常な音からの異常の程度を算出する。

【0020】

例えば、周波数解析により横軸を周波数とし縦軸を音圧ないしパワーとした２次元の周波数特性（スペクトラム）に変換したり、切り出された全データを一括で周波数特性に変換したり、所定のデータ長（時間窓）でデータを切り出して、時間的にオーバーラップさせ、かつスライドさせながら周波数特性を算出してもよい。さらに、人の聴覚感度の周波数特性であるＡ特性やＣ特性などを乗じて、聴覚感度に合わせた周波数特性にしてもよい。また、時間と周波数と音圧からなる三次元のスペクトログラムや、音声認識などで用いられるメルケプストラムなどの処理を行って音データの定量化をしてもよい。

【0021】

このような処理を行った後に、正常な音データと異常な音データの特徴となる特徴量、例えばＦＦＴ重心のＸＹ座標や、スペクトラムの包絡線やその傾き角度などの数値を定義して、異常度を算出する。

【0022】

異常度としては、異音の特徴量に指定した数値の平均値や分散などを算出して統計学的な外れ値（＝異常度）を計算した結果や、２次元以上の特徴量をベクトル化して、それらのなす角度の大きさで示されるコサイン類似度などを使うことができる。

【0023】

そして、それらの異常度に正常と異常を判定するための閾値を設定し、算出した異常度が閾値を越えたか否かによって、定量的に正常音と異常音とを判別する。

【0024】

その他の方法としては、例えば、複数の値を多変量解析で線形変換して寄与率の高い値（異常度Ｚ＝Ａ×特徴量Ａ＋Ｂ×特徴量Ｂ＋Ｃ×特徴量Ｃ・・・・・）で多変量を１次元の値に変換し、そこに閾値を設定して異常度を判定する方法などもある。

【0025】

音・映像データ生成部４０は、異音判定部３０において異常音であると判定したときに、対象音（ホーン音）を含む上述した数秒程度の長さの音データを、適当な形式、例えばＷＡＶＥファイルとして保存する。そして、この音データと同様の長さ範囲に映像データを切り出し、数秒程度の適当な形式の動画ファイル、例えばＡＶＩファイルとして保存する。これらのＷＡＶＥファイルおよびＡＶＩファイルは、互いに紐付いたデータとして、データベースとなる音・映像データ保存部５０に保存される。例えば１つのフォルダ（あるいは１つの圧縮されたファイルでもよい）にまとめられて、音・映像データ保存部５０に格納される。このフォルダには、車両情報などのテキストファイルや、音データの解析結果（スペクトルやスペクトログラム等）、異音判定した際の結果詳細のテキストファイル、などの付加情報が加えられる。また、ファイル名に車両情報や判定結果などの情報をつけて保存しても良い。

【0026】

これらのデータにより、測定後に異音データの検証を正しく行うことができる。そして、これらのデータは、ディープラーニングなどのＡＩにおける学習用データおよび検証用データとしても利用され得る。

【0027】

映像表示制御部６０は、上記のようにして得られた結果等について表示部７０に表示すべき画像ないし映像を生成し、さらに、表示部７０に付属するスピーカから発すべき音の信号を生成する。表示部７０は、生成された画像ないし映像を、車両を運転している検査員、製造管理者、データを活用するデータサイエンティストなどの関係者、に対して表示するための表示手段である。例えば、液晶ディスプレイや有機ＥＬディスプレイ、タブレット、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）、スマートウォッチ、等から構成される。また、音を発するための音源、アンプ、スピーカ、等を含む。

【0028】

映像表示制御部６０は、少なくとも異音であると判定した場合には、後述するように、再生要求に応答して、スピーカを介して音データの再生を行うとともに、この再生に同期したインジケータを含む時系列的な音データの表示と、音データの解析結果と、音データの再生に同期した映像データの再生画像と、を表示部７０の１つの画面上にまとめて表示する。特に、映像データについては、対象音の発生の起因となる操作ないし動作がより明確に視認できるように、映像の一部の切り出し、拡大縮小、傾き回転、画質（色合い、シャープネス、コントラスト、明るさ）の調整ないし補正、等を行う。例えば、対象音がホーン音である場合は、検査員がステアリングホイール上のホーンスイッチを押圧操作したことが視認できるように、映像取得部１０が取得した車両前方を俯瞰して見た映像の中で、運転席部分を切り出して拡大し、かつ車室内が暗いことを補うように、コントラストおよび輝度を高くした表示用の動画を作成する。また、検査員のプライバシーに配慮して、検査員の顔部分のモザイク処理やアバターの画像を顔部分に差し替える、等の個人が特定されないための処理が加えられる。このように部分的に拡大された画像は、一実施例においては、車両全体を俯瞰して見た全体画像とともに表示され、かつ、全体画像の中で拡大した箇所が判るように、いわゆる吹き出しの形で表示される。

【0029】

図３は、第１実施例の表示部７０における表示例を示した説明図である。この表示は、前述した音・映像データ保存部５０に格納された１つのフォルダ内の各種ファイルのデータを用いて生成される。この例では、ディスプレイの画面の最上部に、「（１）音の種類」として、ホーン音であること、および車両を特定するための車種および管理番号が表示される（符号７０ａ参照）。中間部には、「（２）音の音圧／周波数特性」として、横軸を時間、縦軸を音圧、とした対象音を含む音データ（符号７０ｂ参照）と、これを周波数解析した周波数特性つまりスペクトル（符号７０ｃ参照）と、が左右に並んで表示される。ここで、時系列データである音データ（７０ｂ）の表示は、再生に同期して横軸方向に動く時刻表示のための例えば赤い直線からなるインジケータ（符号７０ｂ１参照）を含んでおり、音の再生中に音データのどこが再生されているのかを視認することができるようになっている。

【0030】

また、画面の下部には、「（３）映像表示」として、再生ボタンや巻き戻しボタン等を含む操作パネル部（符号７０ｄ参照）と、車両を前方から俯瞰して見た全体画像（符号７０ｅ参照）と、この全体画像に吹き出し状に重ねられた運転席部分の拡大画像（符号７０ｆ参照）と、が表示される。なお、図３では、検査員をイラストに差し替えて示しているが、実際には、撮影された検査員が顔部分を除きそのまま表示される。

【0031】

画面の下部右側には、「（４）音判定結果」として、吹鳴時間、音圧、異音量、判定閾値、判定結果、等がテキストデータの表形式でもって表示される（符号７０ｇ参照）。

【0032】

初期画面（例えば検査終了直後等）においては、映像データ（７０ｅ,７０ｆ）は静止画もしくは未表示である。試験の検証を行う管理者等が操作パネル部（７０ｄ）の再生ボタンをマウス等の入力手段を介して操作すると、数秒程度の長さを有する音データの音がスピーカを介して再生される。同時に、画面表示されている音データ（７０ｂ）におけるインジケータ（７０ｂ１）が図右側への移動を開始し、音の再生箇所を視認できる。さらに同時に、全体画像（７０ｅ）および運転席拡大画像（７０ｆ）の再生が開始される。これらの映像（７０ｅ，７０ｆ）と音とは、互いに同期して再生される。

【0033】

なお、検査員自らが検証ないし確認を行えるように、異常音と判定した場合は、検査終了直後の初回に、音の再生や映像（７０ｅ，７０ｆ）の再生を自動的に開始するようにしてもよい。

【0034】

図３に示したような表示および再生音によれば、検証を行う関係者は、実際に生じたホーン音を聞きながら、音データ（７０ｂ）やスペクトル（７０ｃ）さらには「（４）音判定結果」の表（７０ｇ）を見て、この音が確かに異音であったことを視覚的に確認することができる。そして、音の再生と同期して再生される動画である運転席拡大画像（７０ｆ）によって、検査員によるホーンスイッチの操作を視認することができ、操作のタイミングと比較しながら音データ（７０ｂ）の視認やスピーカからの再生音の聴取を行うことができる。例えば検査員によるホーンスイッチの操作のタイミングと明らかに異なる時期に何らかの音がホーン音と誤認されて異音と判定されたような場合に、ホーンスイッチの操作を示す動画を同期して再生することで、この異音判定が誤りであると容易に判断することができる。また、例えばホーン音の音圧レベルが極端に低いような場合に、検査員がホーンスイッチを確かに操作したのかどうかを事後的に検証することができる。

【0035】

なお、上記実施例では、映像取得部１０となるビデオカメラが１台であり、その画像の一部を切り出して拡大しているので、音の再生との同期処理が比較的容易である。ビデオカメラを複数台用いる場合には、例えば検査員の手元が視認できるように車両の側方から撮影した画像等を加えることも可能である。

【0036】

また、図３には図示していないが、操作パネル部（７０ｄ）にスローまたはコマ送りの再生用のボタンを設け、このボタンの操作によりスローまたはコマ送り再生が要求されたときに、スピーカからの音データの再生と、インジケータ（７０ｂ１）による時間表示と、映像データ（７０ｅ，７０ｆ）の再生と、を互いの同期を保ちつつ相対的に遅い速度で行うように構成することが可能である。これにより、例えばホーンスイッチの操作タイミングの確認がより容易となる。

【0037】

図２は、上記の第１実施例の検査装置の処理の流れをフローチャートとして示したものである。まず初めに、音取得部１のマイクロフォンによってフリーローラ上で試走している車両から例えばホーンの音を含む音を集音し、音データとして取得する（ステップ１）。これと並行して、映像取得部１０のビデオカメラによってフリーローラ上で試走している車両を撮影し、映像データとして取得する（ステップ２）。

【0038】

次にステップ３へ進み、取得した音の音圧特性や周波数特性等から対象音（この例ではホーン音）が発生したか判定する。対象音が検出されたら、ステップ３からステップ４へ進み、対象音を含む前後の範囲で例えば数秒程度の長さに音データおよび映像データを切り出し、互いに紐付いたデータとして音・映像データ保存部５０に保存する。

【0039】

次にステップ４からステップ５へ進み、切り出した音データを解析して、正常音であるか異常音であるかの判定を行う。ステップ６では、図３に示したような画面表示を生成する。そして、ステップ７において図３に示したような画面表示を行う。前述したように、事後的な検証のために操作パネル部（７０ｄ）の操作によって再生が要求されたら、スピーカからの音データの再生と、インジケータ（７０ｂ１）による時間表示と、映像データ（７０ｅ，７０ｆ）の再生と、を互いに同期させつつ行う。異常音と判定した場合は再生を自動的に開始するようにしてもよい。なお、正常音と判定した場合には、映像データ（７０ｅ，７０ｆ）を含む事後検証用の画面生成は省略してもよい。

【0040】

最後にステップ８において、検査終了のための停止ボタンを検査員が押したかどうかを判定する。停止ボタンが操作されていなければ、ステップ１～７の処理を繰り返し実行する。例えば、ホーンの音が異常であると表示されたような場合には、再度ホーンスイッチを操作してホーンの検査を繰り返すことが可能である。停止ボタンが押圧されたら、検査を終了する。この検査終了時には、表示部７０となるディスプレイ上にその旨の表示を行う。表示と合わせて終了のブザーや音声などで案内を出してもよい。

【0041】

次に、図４～図６に基づいて第２実施例の検査装置について説明する。なお、以下では、第１実施例と異なる部分について主に説明する。第２実施例の検査装置は、一連の検査の中で複数の検査対象音（例えばホーン音とワイパー音）を抽出してその異音判定を行い、それぞれの結果の事後的な検証のために表示を切り換えて行う、点において第１実施例と異なる。

【0042】

図４は、第２実施例の検査表示装置の機能ブロック図を示している。第２実施例の検査装置は、第１実施例と同様に、音取得部１と、映像取得部１０と、対象音特定部２０と、異音判定部３０と、音・映像データ生成部４０と、音・映像データ保存部５０と、映像表示制御部６０と、スピーカを含む表示部７０と、を含んでおり、さらに、優先度判定部８０を含んで構成されている。

【0043】

第２実施例においては、音取得部１と映像取得部１０とによって音と映像とが連続的に取得されている中で、検査員は、ホーンスイッチの操作とワイパースイッチの操作とを任意のタイミングで行う。対象音特定部２０は、音取得部１が取得した連続した音データの中から実質的にリアルタイムに対象音（ホーン音およびワイパー音）を抽出し、対象音を含む音データを切り出す。例えばホーン音であると判定したら、その前後を含む例えば数秒程度の長さの音データを生成する。同様にワイパー音（主にワイパーブレードから生じる音）であると判定したら、その前後を含む例えば数秒程度の長さの音データを生成する。

【0044】

異音判定部３０では、前述した第１実施例と同様に、適当な方法によって、抽出したホーン音およびワイパー音がそれぞれ正常音であるか異常音であるかを判定する。

【0045】

音・映像データ生成部４０は、第１実施例と同様に、異音判定部３０において異常音であると判定したときに、対象音（ホーン音もしくはワイパー音）を含む上述した数秒程度の長さの音データを、例えばＷＡＶＥファイルとして保存する。そして、この音データと同様の長さ範囲に映像データを切り出し、数秒程度の動画ファイル、例えばＡＶＩファイルとして保存する。これらのＷＡＶＥファイルおよびＡＶＩファイルは、互いに紐付いたデータとして、データベースとなる音・映像データ保存部５０に保存される。例えば１つのフォルダ（あるいは１つの圧縮されたファイル）にまとめられて、音・映像データ保存部５０に格納される。このフォルダには、車両情報などのテキストファイルや、音データの解析結果（スペクトルやスペクトログラム等）、異音判定した際の結果詳細のテキストファイル、などの付加情報が加えられる。また、フォルダ名やファイル名に車両情報や判定結果などの情報をつけて保存しても良い。ここで、第２実施例においては、複数の対象音が異常音である場合、互いに紐付いたデータとして扱われ、例えば、これらが１つのフォルダにまとめられる。

【0046】

優先度判定部８０は、複数の対象音、例えばホーン音とワイパー音の２つが異常音であった場合に、表示部７０における表示（スピーカからの音の再生を含む）として、どれを先に、あるいはどれを主に、行うべきかの優先度を決めるものである。１つの例では、下記の４つの判断基準に基づいて優先度を決定する。

【0047】

１．部品をそのまま使用したときの影響度の大きさ
２．異常度の大小
３．音圧および時間長の大小
４．異音発生タイミング
これら４つの判断基準は、上位のものほど優先され、順に判定を行う。つまり、部品を交換せずにそのまま使用したときの影響度の大きさが大小異なれば大きい方が優先度が高いものとする。影響度の大きさが同等であれば、次の判断基準である異常度の大小を比較する。異常度の大小も同等であれば、次の判断基準である音圧および時間長の大小を比較する。これも同等である場合は、次の判断基準として、先に検出された異音を優先度が高いものとする。

【0048】

ホーン音とワイパー音の例では、１番目の判断基準によってホーン音の方が優先度が高いものとなる。ホーンは、法規上その性能が規定されているために検査が必要な項目であり、異常なまま使用することは法規上許されない。一方、ワイパーは商品の品質問題であるから相対的に優先度は低い。

【0049】

なお、２番目の判断基準は、異常度の大きい方が異音として問題となりやすいことによる。３番目の判断基準は、同様に、音圧の大きい方や時間長の長い方が異音として問題となりやすいことを考慮したものである。

【0050】

映像表示制御部６０では、このような優先度を考慮した画面表示が生成され、表示部７０を介して表示がなされる。

【0051】

図６は、第２実施例の表示部７０における表示例を示した説明図である。この例では、ホーン音の方が優先度が高いことからホーン音に関する情報が優先的に表示され、ワイパー音に関する情報は画面を切り換えることによって表示される。図６は、ホーン音に関する情報を表示しているときの画面であり、基本的には第１実施例の表示と類似しているが、ディスプレイの画面の最上部における「（１）音の種類」の欄（符号７０ａ参照）には、ホーン音とワイパー音とが併記されており、２つの異音についての表示であることが示されている。「ホーン音」のラベルには丸囲み数字の１が付されており、「ワイパー音」のラベルには丸囲み数字の２が付されている。そして、中間部における「（２）音の音圧／周波数特性」の欄（符号７０ｂ参照）、下部の「（３）映像表示」の欄の操作パネル部（符号７０ｄ）ならびに拡大画像（符号７０ｆ参照）、右下の「（４）音判定結果」の欄（符号７０ｇ参照）には、それぞれ丸囲み数字の１が付されており、これらがホーン音に関するものであることが示されている。

【0052】

この表示の状態で操作パネル部（７０ｄ）の再生ボタンを操作すれば、前述した第１実施例において説明したように、取得したホーン音（異常音と判定された音）がスピーカを介して再生されるとともに、画面表示されている音データ（７０ｂ）におけるインジケータ（７０ｂ１）が図右側への移動を開始し、さらに同時に、全体画像（７０ｅ）および運転席拡大画像（７０ｆ）の再生が開始される。これらの映像（７０ｅ，７０ｆ）と音とは、互いに同期して再生される。

【0053】

一方、車両を前方から俯瞰して見た全体画像（符号７０ｅ参照）には、ワイパー音に対応した発生箇所を示すための丸囲み数字の２が矢印とともに付されている。例えば事後的な検証を行う関係者がこの全体画像（７０ｅ）における丸囲み数字の２あるいは「（１）音の種類」の欄（７０ａ）における丸囲み数字の２をマウス等の入力手段を介してクリックすると、ワイパー音に関する表示に切り換えられる。

【0054】

つまり、対象音を含む音データ（７０ｂ）と、周波数解析したスペクトル（７０ｃ）と、「（４）音判定結果」の表（７０ｇ）と、が、それぞれワイパー音に関するデータの表示に切り換えられ、また、ワイパー音であることを示す丸囲み数字の２が付される。

【0055】

また、図６の運転席拡大画像（７０ｆ）については、図７に示すようなウインドシールド上のワイパー部分の拡大画像（７０ｆ２）に切り換えられる。このとき、全体画像（７０ｅ）の運転席部分には丸囲み数字の１が矢印とともに表示され、ホーン音に関する表示が隠れていることが表される。

【0056】

この表示の状態で操作パネル部（７０ｄ）の再生ボタンを操作すれば、取得したワイパー音（異常音と判定された音）がスピーカを介して再生されるとともに、画面表示されている音データ（７０ｂ）におけるインジケータ（７０ｂ１）が図右側への移動を開始し、さらに同時に、全体画像（７０ｅ）およびワイパー部分拡大画像（７０ｆ２）の再生が開始される。これらの映像（７０ｅ，７０ｆ２）と音とは、互いに同期して再生される。ワイパー部分の拡大画像（７０ｆ２）は、やはりビデオカメラを介して取得した元の映像データの一部を切り出して適当な加工を施したもので、ワイパー音の起因となるワイパーの往復動作が動画として示されている。従って、例えば、ワイパーの動きと再生されている音やインジケータ（７０ｂ１）とともに表示されている音データ（７０ｂ）とを対比することで、どのようなタイミングで異常なワイパー音が生じていたか、あるいはどのような態様で異常音となっているのか、等の検証が可能である。

【0057】

なお、ホーン音とワイパー音との表示の切り換えを行うたびに、音や映像の再生を自動的に開始するようにしてもよい。

【0058】

図５は、第２実施例の検査装置の処理の流れをフローチャートとして示したものである。まず初めに、音取得部１のマイクロフォンによってフリーローラ上で試走している車両から例えばホーンの音を含む音を集音し、音データとして取得する（ステップ１）。これと並行して、映像取得部１０のビデオカメラによってフリーローラ上で試走している車両を撮影し、映像データとして取得する（ステップ２）。

【0059】

次にステップ３へ進み、取得した音の音圧特性や周波数特性等から対象音（この例ではホーン音もしくはワイパー音）が発生したか判定する。対象音が検出されたら、ステップ３からステップ４へ進み、対象音を含む前後の範囲で例えば数秒程度の長さに音データおよび映像データを切り出し、互いに紐付いたデータとして音・映像データ保存部５０に保存する。ここで、一連の検査の中で複数の対象音（ホーン音およびワイパー音）が検出された場合は、それぞれについて数秒程度の音データおよび映像データの切り出しを行う。

【0060】

そして、ステップ４からステップ５へ進み、切り出した音データを解析して、それぞれ、正常音であるか異常音であるかの判定を行う。

【0061】

次にステップ１１において異常音が２種類以上の対象音であったか判定する。２種類以上の対象音であった場合は、ステップ１２へ進み、前述したような手法で表示の優先度を決定する。

【0062】

次にステップ６において、優先度に従い、図６に示したような画面表示を生成する。そして、ステップ７において図６に示したような画面表示を行う。

【0063】

最後にステップ８において、検査終了のための停止ボタンを検査員が押したかどうかを判定する。停止ボタンが操作されていなければ、ステップ１～７の処理を繰り返し実行する。停止ボタンが押圧されたら、検査を終了する。

【0064】

図８は、第２実施例の表示部７０における表示の異なる例を示した説明図である。この例では、図（ａ）に示すホーン音に関する表示と、図（ｂ）に示すワイパー音に関する表示と、が一定時間毎に交互に表示される。例えば、優先度の高いホーン音に関する表示が１０秒間表示され、その後、ワイパー音に関する表示が１０秒間表示される。これを複数回繰り返すことが好ましい。いずれかの表示がなされている間に操作パネル部（７０ｄ）の再生ボタンを操作すれば、それぞれの異常音の再生およびこれに同期した音データ（７０ｄ）上のインジケータ（７０ｄ１）の表示や全体画像（７０ｅ）ならびに拡大画像（７０ｆ，７０ｆ２）の再生が行われる。

【0065】

なお、一定時間毎に表示の切り換えを行うたびに、音や映像の再生を自動的に開始するようにしてもよい。

【0066】

図９は、第２実施例の表示部７０における表示のさらに異なる例を示した説明図である。この例では、基本的に優先度の高い対象音（この例ではホーン音）に関する情報（音データ（７０ｂ）、周波数解析したスペクトル（７０ｃ）、「（４）音判定結果」の表（図６の符号７０ｇ参照）、運転席拡大画像（７０ｆ））が表示される。また、図６の例と同様に、画面の最上部における「（１）音の種類」の欄（符号７０ａ参照）には、ホーン音とワイパー音とが併記されており、それぞれ丸囲み数字の１と丸囲み数字の２が付されている。また、ホーン音に関する情報を表示している状態では、図６で説明したように、車両を前方から俯瞰して見た全体画像（７０ｅ）に、ワイパー音に対応した発生箇所を示すための丸囲み数字の２が矢印とともに付されている。

【0067】

この表示の状態で操作パネル部（７０ｄ）の再生ボタンを操作すれば、取得したホーン音（異常音と判定された音）がスピーカを介して再生されるとともに、画面表示されている音データ（７０ｂ）におけるインジケータ（７０ｂ１）が図右側への移動を開始し、さらに同時に、全体画像（７０ｅ）および運転席拡大画像（７０ｆ）の再生が開始される。これらの映像（７０ｅ，７０ｆ）と音とは、互いに同期して再生される。

【0068】

そして、このような表示の状態において、全体画像（７０ｅ）における丸囲み数字の２あるいは「（１）音の種類」の欄（７０ａ）における丸囲み数字の２をマウス等の入力手段を介してクリックすると、ワイパー音に関する表示として、図７に示したようなウインドシールド上のワイパー部分の拡大画像（７０ｆ２）が、「（４）音判定結果」の表（図６の符号７０ｇ参照）の領域に表示される。例えば全体画像（７０ｅ）のワイパー部分から吹き出た吹き出し状に表示される。また、このとき「音判定結果表示」とのラベルを有する三角形の再生ボタン（符号７０ｈ参照）が表示される。この再生ボタンをクリックすると、ワイパー部分の拡大画像（７０ｆ２）が消え、「（４）音判定結果」の表の表示に戻る。

【0069】

ワイパー部分の拡大画像（７０ｆ２）が表示されている状態で再生操作すると、異常音と判定したワイパー音とワイパー部分の拡大画像（７０ｆ２）とが同期した形で再生される。なお、音データ（７０ｂ）やスペクトル（７０ｃ）としては、優先度の高いホーン音の情報の表示が継続される。

【0070】

以上、この発明をホーン音およびワイパー音の異音検査に適用した実施例について説明したが、この発明は、上記の実施例に限らず、種々の応用が可能である。例えば、車両のブレーキ音の異音判定に適用することも可能であり、例えば、ブレーキキャリパーの動作を含む映像データあるいは検査員によるブレーキ操作等をビデオカメラで取得し、ブレーキ音と同期して再生するように構成できる。また車両の検査以外の音的検査であってもよい。

【符号の説明】

【0071】

１…音取得部
１０…映像取得部
２０…対象音特定部
３０…異音判定部
４０…音・映像データ生成部
５０…音・映像データ保存部
６０…映像表示制御部
７０…表示部
８０…優先度判定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】