(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-15
(45)【発行日】2023-11-24
(54)【発明の名称】検査装置及び方法
(51)【国際特許分類】
G01M 99/00 20110101AFI20231116BHJP
G01H 17/00 20060101ALI20231116BHJP
【ＦＩ】
G01M99/00 Z
G01H17/00 Z
【請求項の数】
14
(21)【出願番号】P 2022029065
(22)【出願日】2022-02-28
(65)【公開番号】P2023125113
(43)【公開日】2023-09-07
【審査請求日】2022-06-30
(73)【特許権者】
【識別番号】000005108
【氏名又は名称】株式会社日立製作所
(74)【代理人】
【識別番号】110002365
【氏名又は名称】弁理士法人サンネクスト国際特許事務所
(72)【発明者】
【氏名】奥 敦
(72)【発明者】
【氏名】住田 和也
(72)【発明者】
【氏名】大西 梢恵
(72)【発明者】
【氏名】松本 明紘
(72)【発明者】
【氏名】久保 絵里
(72)【発明者】
【氏名】上原 敬太郎
【審査官】岡村 典子
(56)【参考文献】
【文献】国際公開第２０１５／０６８４４６（ＷＯ，Ａ１）
【文献】国際公開第２０２１／０１９６７２（ＷＯ，Ａ１）
【文献】特開２０２１－０８１３６４（ＪＰ，Ａ）
【文献】特表２００２－５３５６６４（ＪＰ，Ａ）
【文献】特開２０２３－０７３７６１（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｍ １３／００－１３／４５、９９／００
Ｇ０１Ｈ １／００－１７／００
(57)【特許請求の範囲】
【請求項1】
波形データのスペクトログラムに基づいて異常の有無を判定する検査装置において、機械学習により得られた判定モデルを用いて、前記波形データの前記スペクトログラムの異常度を算出し、算出した異常度に基づいて異常の有無を判定する検査判定部と、
前記波形データの前記スペクトログラム上に当該波形データの特性に応じたマスクを設定してなる加工データを、前記マスクを当該マスクに応じた方向に順次シフトさせるようにして複数作成する加工データ作成部と、
前記加工データ作成部により作成された各前記加工データの異常度をそれぞれ算出し、算出した各加工データの異常度と、前記検査判定部により算出された前記波形データの前記スペクトログラムの異常度とに基づいて、各前記加工データの前記波形データの前記スペクトログラムからの変化率又は変化度をそれぞれ算出する異常度・変化度算出部と、
算出された各前記加工データの前記波形データの前記スペクトログラムからの変化率又は変化度に基づいて、前記波形データの前記スペクトログラムにおける前記マスクが設定された各領域を、前記マスクを設定した場合の前記加工データの前記変化率又は変化度に応じた色又は濃度でそれぞれ着色した判定根拠画像を描画する判定根拠描画部と、
前記検査判定部の判定結果及び前記判定根拠描画部により描画された前記判定根拠画像を表示する結果表示部と
を備えることを特徴とする検査装置。
【請求項2】
前記加工データ作成部は、前記スペクトログラムの周波数方向と平行に前記周波数方向の全範囲に亘る細長い矩形状の第１のマスクと、前記スペクトログラムの時間方向と平行に前記時間方向の全範囲に亘る細長い矩形状の第２のマスクとの少なくとも一方を前記マスクとして用いて前記加工データを作成する
ことを特徴とする請求項１に記載の検査装置。
【請求項3】
前記波形データの前記スペクトログラムにおける当該波形データの特徴が現れた領域の時間方向の幅を前記第１のマスクのマスク幅として算出し、前記波形データの前記スペクトログラムにおける当該波形データの特徴が現れた領域の周波数方向の幅を前記第２のマスクのマスク幅として算出するマスク作成部をさらに備え、前記加工データ作成部は、
前記マスク作成部により算出された前記マスク幅の前記マスクを用いて前記加工データを作成する
ことを特徴とする請求項２に記載の検査装置。
【請求項4】
前記マスク作成部は、事前に用意した前記波形データの前記スペクトログラムにおける前記マスクを設定すべき各領域部分のデータ値の平均値に基づいて、前記スペクトログラム上の前記マスクを設定する位置ごとの前記マスクのマスク値を決定し、
前記加工データ作成部は、
前記マスク作成部により決定された前記マスク値の前記マスクを用いて前記加工データを作成する
ことを特徴とする請求項３に記載の検査装置。
【請求項5】
前記マスク作成部は、事前に用意した前記波形データの前記スペクトログラムにおける前記マスクを設定する各領域部分のデータ値の平均値が予め設定された閾値以上である場合には、当該平均値を前記マスクのマスク値に決定し、当該平均値が当該閾値未満である場合には、予め設定された値を前記マスクのマスク値に決定する
ことを特徴とする請求項４に記載の検査装置。
【請求項6】
前記異常度・変化度算出部は、前記判定モデルがオートエンコーダ方式の機械学習モデルの場合には、前記波形データの前記スペクトログラムのうち、前記マスクが設定された領域以外の無加工領域内の各ピクセルの異常値の平均値を、当該領域に前記マスクが設定された場合における前記波形データの前記スペクトログラムの異常値として算出する
ことを特徴とする請求項１に記載の検査装置。
【請求項7】
前記加工データ作成部は、マスク幅が固定の前記第１及び第２のマスクを用いて前記加工データを作成する
ことを特徴とする請求項２に記載の検査装置。
【請求項8】
波形データのスペクトログラムに基づいて異常の有無を判定する検査装置により実行される検査方法であって、機械学習により得られた判定モデルを用いて、前記波形データの前記スペクトログラムの異常度を算出し、算出した異常度に基づいて異常の有無を判定する第１のステップと、
前記波形データの前記スペクトログラム上に当該波形データの特性に応じたマスクを設定してなる加工データを、前記マスクを当該マスクに応じた方向に順次シフトさせるようにして複数作成する第２のステップと、
作成した各前記加工データの異常度をそれぞれ算出し、算出した各加工データの異常度と、算出した前記波形データの前記スペクトログラムの異常度とに基づいて、各前記加工データの前記波形データの前記スペクトログラムからの変化率又は変化度をそれぞれ算出する第３のステップと、
算出した各前記加工データの前記波形データの前記スペクトログラムからの変化率又は変化度に基づいて、前記波形データの前記スペクトログラムにおける前記マスクが設定された各領域を、前記マスクを設定した場合の前記加工データの前記変化率又は変化度に応じた色又は濃度でそれぞれ着色した判定根拠画像を描画する第４のステップと、
異常の有無の判定結果及び描画した前記判定根拠画像を表示する第５のステップと
を備えることを特徴とする検査方法。
【請求項9】
前記第２のステップにおいて、前記検査装置は、前記スペクトログラムの周波数方向と平行に前記周波数方向の全範囲に亘る細長い矩形状の第１のマスクと、前記スペクトログラムの時間方向と平行に前記時間方向の全範囲に亘る細長い矩形状の第２のマスクとの少なくとも一方を前記マスクとして用いて前記加工データを作成する
ことを特徴とする請求項８に記載の検査方法。
【請求項10】
前記第２のステップにおいて、前記検査装置は、前記波形データの前記スペクトログラムにおける当該波形データの特徴が現れた領域の時間方向の幅を前記第１のマスクのマスク幅として算出し、前記波形データの前記スペクトログラムにおける当該波形データの特徴が現れた領域の周波数方向の幅を前記第２のマスクのマスク幅として算出し、
算出した前記マスク幅の前記マスクを用いて前記加工データを作成する
ことを特徴とする請求項９に記載の検査方法。
【請求項11】
前記第２のステップにおいて、前記検査装置は、事前に用意した前記波形データの前記スペクトログラムにおける前記マスクを設定すべき各領域部分のデータ値の平均値に基づいて、前記スペクトログラム上の前記マスクを設定する位置ごとの前記マスクのマスク値を決定し、
決定した前記マスク値のマスクを用いて前記加工データを作成する
ことを特徴とする請求項１０に記載の検査方法。
【請求項12】
前記第２のステップにおいて、前記検査装置は、事前に用意した前記波形データの前記スペクトログラムにおける前記マスクを設定すべき各領域部分のデータ値の平均値が予め設定された閾値以上である場合には、当該平均値を前記マスクのマスク値に決定し、当該平均値が当該閾値未満である場合には、予め設定された値を前記マスクのマスク値に決定する
ことを特徴とする請求項１１に記載の検査方法。
【請求項13】
前記第３のステップにおいて、前記検査装置は、前記判定モデルがオートエンコーダ方式の機械学習モデルの場合には、前記波形データの前記スペクトログラムのうち、前記マスクが設定された領域以外の無加工領域内の各ピクセルの異常値の平均値を、当該領域に前記マスクが設定された場合における前記波形データの前記スペクトログラムの異常値として算出する
ことを特徴とする請求項８に記載の検査方法。
【請求項14】
前記第２のステップにおいて、前記検査装置は、マスク幅が固定の前記第１及び第２のマスクを用いて前記加工データを作成する
ことを特徴とする請求項９に記載の検査方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は検査装置及び方法に関し、例えば、機械学習モデルを用いて異音の有無を検査する異音検査装置に適用して好適なものである。
【背景技術】
【0002】
一般に機械学習による予測には根拠が求められる。製造現場で製造装置や製品が発する音に異音が混入していないかを検知するモデルのＰｏＣ（Proof of Concept）を行うケースなどでも、そのモデル予測が信頼できる根拠に基づいているか説明を求められることは多い。
【0003】
また本番運用などにおいても、マイクロホンで収集した製造装置や製品などが発する音の音データを機械学習モデルに投入し、異音の有無に基づいてその製造装置や製品等の良否を判定するケースにおいて、良否判定の根拠となった音をその場で確認したいといったニーズがある。しかしながら、音データに対するモデルの説明性を確保することは難しい。
【0004】
なお機械学習モデルを用いて検査対象音の異常判定を行う技術として、特許文献１には、ディジタル化された音信号を周波数解析、座標軸変換、座標軸分割、平均化処理、強度・振幅の圧縮処理の各ステップで加工処理した後にニューラルネットワークに入力して、学習データによる学習及び検査対象の異常判定を行う音響検査装置が開示されている。
【0005】
一方、画像認識分野では、機械学習に用いられる分類器による分類結果から分類の要因となる特徴を推定する方法としてＬＩＭＥ（Local Interpretable Model-agnostic Explanations）や、ＳＨＡＰ（Shapley Additive exPlanations）と呼ばれる手法がある。これらはテスト画像データの一部をランダムにマスクした多数の加工（摂動）データをブラックボックスに投入し、得られた判定結果から特徴量の寄与度を分析することで判定根拠を得るものである。
【先行技術文献】
【特許文献】
【0006】
【文献】特開２００６－５８０５１号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
ところで、音データについても機械学習モデルを用いた異音判定結果の判定根拠を得る方法として、音データの時間軸（ｘ軸）×周波数軸（ｙ軸）のスペクトログラムのデータ（以下、これを単にスペクトログラムデータと呼ぶ）に対してＬＩＭＥやＳＨＡＰなどの公知の技術を適用することが考えられる。
【0008】
しかしながら、インパルス音のように周波数軸と平行な方向（以下、これを周波数方向と呼ぶ）に特徴が現れる音や、連続音のように時間軸と平行な方向（以下、これを時間方向と呼ぶ）に特徴が現れる音などでは、領域に対してランダムにマスクを施す方法では、音データの特性が失われてしまうため、かかる根拠の抽出が難しいケースがあるという問題があった。
【0009】
また現場で収集される音の音データについては、無音要素が少なく、周波数軸及び時間軸全体に環境音などの何らかの音が入っているケースが多い。この場合、公知技術のように領域のマスク値として０（無音）を適用するとマスクの適用前後で音データの差分が大きくなるため、正常な音であってもマスク加工した音の異常度が高く算出され、判定根拠の説明性が低下するという問題があった。
【0010】
本発明は以上の点を考慮してなされたもので、機械学習により得られた判定モデルを用いた異常判定の判定結果の根拠を確実に明示し得る付加価値の高い検査装置及び方法を提案しようとするものである。
【課題を解決するための手段】
【0011】
かかる課題を解決するため本発明においては、波形データのスペクトログラムに基づいて異常の有無を判定する検査装置において、機械学習により得られた判定モデルを用いて、前記波形データの前記スペクトログラムの異常度を算出し、算出した異常度に基づいて異常の有無を判定する検査判定部と、前記波形データの前記スペクトログラム上に当該波形データの特性に応じたマスクを設定してなる加工データを、前記マスクを当該マスクに応じた方向に順次シフトさせるようにして複数作成する加工データ作成部と、前記加工データ作成部により作成された各前記加工データの異常度をそれぞれ算出し、算出した各加工データの異常度と、前記検査判定部により算出された前記波形データの前記スペクトログラムの異常度とに基づいて、各前記加工データの前記波形データの前記スペクトログラムからの変化率又は変化度をそれぞれ算出する異常度・変化度算出部と、算出された各前記加工データの前記波形データの前記スペクトログラムからの変化率又は変化度に基づいて、前記波形データの前記スペクトログラムにおける前記マスクが設定された各領域を、前記マスクを設定した場合の前記加工データの前記変化率又は変化度に応じた色又は濃度でそれぞれ着色した判定根拠画像を描画する判定根拠描画部と、前記検査判定部の判定結果及び前記判定根拠描画部により描画された前記判定根拠画像を表示する結果表示部とを設けるようにした。
【0012】
また本発明においては、波形データのスペクトログラムに基づいて異常の有無を判定する検査方法において、機械学習により得られた判定モデルを用いて、前記波形データの前記スペクトログラムの異常度を算出し、算出した異常度に基づいて異常の有無を判定する第１のステップと、前記波形データの前記スペクトログラム上に当該波形データの特性に応じたマスクを設定してなる加工データを、前記マスクを当該マスクに応じた方向に順次シフトさせるようにして複数作成する第２のステップと、作成した各前記加工データの異常度をそれぞれ算出し、算出した各加工データの異常度と、算出した前記波形データの前記スペクトログラムの異常度とに基づいて、各前記加工データの前記波形データの前記スペクトログラムからの変化率又は変化度をそれぞれ算出する第３のステップと、算出した各前記加工データの前記波形データの前記スペクトログラムからの変化率又は変化度に基づいて、前記波形データの前記スペクトログラムにおける前記マスクが設定された各領域を、前記マスクを設定した場合の前記加工データの前記変化率又は変化度に応じた色又は濃度でそれぞれ着色した判定根拠画像を描画する第４のステップと、異常の有無の判定結果及び描画した前記判定根拠画像を表示する第５のステップとを設けるようにした。
【0013】
本発明の検査装置及び方法によれば、機械学習により得られた判定モデルを用いた異常判定の判定結果の根拠を確実に明示することができる。
【発明の効果】
【0014】
本発明によれば、付加価値の高い検査装置及び方法を実現できる。
【図面の簡単な説明】
【0015】
【図1】第１及び第２の実施の形態による異音検査装置の全体構成を示すブロック図である。
【図2】（Ａ）は、インパルス音のスペクトログラムの一例を示す図であり、（Ｂ）は時間方向マスクの説明に供する図である。
【図3】（Ａ）は、定常音のスペクトログラムの一例を示す図であり、（Ｂ）は周波数方向マスクの説明に供する図である。
【図4】異常度及び変化度の説明に供する図表である。
【図5】判定根拠画像の構成例を示す図である。
【図6】（Ａ）は、インパルス音及び定常音の双方を含む場合のスペクトログラムの一例を示す図であり、（Ｂ）はその場合における時間方向マスク及び周波数方向マスクの説明に供する図である。
【図7】（Ａ）は検査対象音が環境音を含む場合のスペクトログラムの一例を示す図であり、（Ｂ）はその場合のマスク値の説明に供する図である。
【図8】第１及び第２の実施の形態による異音検査装置の論理構成を示すブロック図である。
【図9】第１の実施の形態の異音検査装置に対する各種設定の説明に供する図表である。
【図10】異音検査処理の処理手順を示すフローチャートである。
【図11】マスク作成処理の処理手順を示すフローチャートである。
【図12】時間方向マスク作成処理の処理手順を示すフローチャートである。
【図13】周波数方向マスク作成処理の処理手順を示すフローチャートである。
【図14】第１の実施の形態による時間方向×周波数方向マスク作成処理の処理手順を示すフローチャートである。
【図15】加工データ作成処理の処理手順を示すフローチャートである。
【図16】時間方向加工データ作成処理の処理手順を示すフローチャートである。
【図17】周波数方向加工データ作成処理の処理手順を示すフローチャートである。
【図18】時間方向×周波数方向加工データ作成処理の処理手順を示すフローチャートである。
【図19】第１の異常度・変化率算出処理の処理手順を示すフローチャートである。
【図20】第２の異常度・変化率算出処理の処理手順を示すフローチャートである。
【図21】判定根拠描画の処理手順を示すフローチャートである。
【図22】（Ａ）及び（Ｂ）は、第２の実施形態の概要説明に供する図である。
【図23】第２の実施の形態の異音検査装置に対する各種設定の説明に供する図表である。
【図24】第２の実施の形態による時間方向×周波数方向マスク作成処理の処理手順を示すフローチャートである。
【図25】他の実施の形態の説明に供する図表である。
【発明を実施するための形態】
【0016】
以下図面について、本発明の一実施の形態を詳述する。
【0017】
（１）第１の実施の形態
（１－１）本実施の形態による異音検査装置の構成
図１において、１は全体として本実施の形態による異音検査装置を示す。この異音検査装置１は、異音の有無に基づいて検査対象の音（以下、これを検査対象音と呼ぶ）の正常／異常を判定する機能が搭載されたコンピュータ装置であり、ＣＰＵ（Central Processing Unit）２、メモリ３、記憶装置４、入力装置５及び表示装置６を備えて構成される。
（１－１）本実施の形態による異音検査装置の構成
図１において、１は全体として本実施の形態による異音検査装置を示す。この異音検査装置１は、異音の有無に基づいて検査対象の音（以下、これを検査対象音と呼ぶ）の正常／異常を判定する機能が搭載されたコンピュータ装置であり、ＣＰＵ（Central Processing Unit）２、メモリ３、記憶装置４、入力装置５及び表示装置６を備えて構成される。
【0018】
ＣＰＵ２は、異音検査装置１全体の動作制御を司るプロセッサである。またメモリ３は、例えば揮発性の半導体メモリから構成され、ＣＰＵ２のワークメモリとして利用される。メモリ３には、異音検査装置１の起動時や必要時に記憶装置４から読み出されたフーリエ変換プログラム１０、正常／異常判定プログラム１１、異常検知結果出力プログラム１２、マスク作成プログラム１３、加工データ作成プログラム１４、異常度・変化率算出プログラム１５、判定根拠描画プログラム１６、結果表示プログラム１７及び判定モデル部プログラム１８などの各種プログラムが格納されて保持される。
【0019】
記憶装置４は、ハードディスク装置やＳＳＤ（Solid State Drive）などの大容量の不揮発性の記憶装置から構成され、各種プログラムや長期間保存が必要なデータなどが格納されて保持される。後述の判定モデル２０Ａ、マスク情報格納データベース２１、根拠算出用波形データ格納データベース２２、判定根拠情報格納データベース２３もこの記憶装置４に格納されて保持される。
【0020】
入力装置５は、例えばマウスやキーボードなどから構成され、ユーザが必要な情報や命令を入力するために利用される。また表示装置６は、液晶ディスプレイや有機ＥＬ（Electro-Luminescence）ディスプレイなどから構成され、各種画面を表示するために利用される。なお入力装置５及び表示装置６として、これらが一体化したタッチパネルを適用するようにしてもよい。
【0021】
（１－２）本実施の形態の異音検査機能
（１－２－１）本実施の形態の異音検査機能に基づく判定根拠の表示
次に、かかる異音検査装置１に搭載された異音検査機能について説明する。この異音検査機能は、異音の有無に基づいて判定した検査対象音の正常／異常の判定結果に加えて、その判定結果の根拠を併せて表示する機能である。
（１－２－１）本実施の形態の異音検査機能に基づく判定根拠の表示
次に、かかる異音検査装置１に搭載された異音検査機能について説明する。この異音検査機能は、異音の有無に基づいて判定した検査対象音の正常／異常の判定結果に加えて、その判定結果の根拠を併せて表示する機能である。
【0022】
このような異音検査機能を説明するに際して、まず、検査対象音に異音として瞬間的に現れる衝撃音（以下、これをインパルス音と呼ぶ）や、モータ音などのように連続する一定周波数の音（以下、これを定常音と呼ぶ）の音データを短時間フーリエ変換することにより得られるスペクトログラムの特性について説明する。
【0023】
図２（Ａ）は、インパルス音を短時間フーリエ変換することにより得られるスペクトログラムＳＧの一例を示す。この図２（Ａ）に示すように、かかるスペクトログラムＳＧでは、周波数方向と平行に周波数方向の全範囲に亘る色の濃い細長い領域ＡＲ１が現れる特徴を有する。このようなスペクトログラムＳＧに対し、ＬＩＭＥやＳＨＡＰのような既存の画像認識技術をそのまま適用してその特徴を抽出する場合を考える。なお、図２（Ａ）において、色の濃い領域は音圧が強く、薄い領域は音圧が弱いことを表す。
【0024】
図２（Ａ）の領域ＡＲ２は、ＬＩＭＥやＳＨＡＰなどによりマスクされた領域を表す。ＬＩＭＥやＳＨＡＰではマスクの形状はランダムであるが、ここではマスクを矩形状とした例を示している。図２（Ａ）では説明のためマスクがスペクトログラムＳＧの左上に設定された状態を例示しているが、ＬＩＭＥやＳＨＡＰのような既存の画像認識技術を適用する場合、マスクはスペクトログラムＳＧの任意の箇所に設定される。そしてＬＩＭＥやＳＨＡＰなどでは、スペクトログラムＳＧのすべての箇所が少なくとも１度はマスクされるようにマスクの位置をランダムに切り替えながらマスク加工された複数のスペクトログラムＳＧのデータを順次作成する。
【0025】
このようにして作成した各スペクトログラムＳＧのデータについて、マスクの位置ごとにそのときのスペクトログラムＳＧの異常度をＧＭＭ（Gaussian Mixture Model）などの既知の手法を利用してそれぞれ算出し、算出結果に基づいてスペクトログラムＳＧ内で特徴を抽出する場合、かかる特徴を有する領域ＡＲ１の一部しかマスクされないため音の特徴が失われ、判定根拠が推定できないことがある。
【0026】
例えば図２（Ａ）の場合、対象音は９kHz以上の音域を有するにもかかわらず、マスクによって領域ＡＲ１の上端部が覆われた場合、対象音が例えば８kHz程度までの音域しか有さない音として取り扱われることになる。そのためモデルに投入して得られる異常度は、検査音（ここでは０～９kHZ）と、マスク加工音（ここでは０～８kHZ）とで大きく乖離する（ＡＩに別の音とみなされる）。この結果、異常度や異常度の変化率・変化度が正確に計算できず、これらの数値を利用した根拠の推定（及び後述のような判定根拠の描画）ができないことがある。
【0027】
一方、図３（Ａ）は、定常音の音データを短時間フーリエ変換することにより得られるスペクトログラムＳＧの一例を示す。この図３（Ａ）に示すように、かかるスペクトログラムＳＧでは、時間方向と平行に時間方向の全範囲に亘る色の濃い細長い領域ＡＲ３が現れる特徴を有する。このようなスペクトログラムＳＧに対し、ＬＩＭＥやＳＨＡＰのような既存の画像認識技術をそのまま適用した場合も、図２（Ａ）のケースと同様に、音の特徴が失われ判定根拠が推定できないことがある。
【0028】
そこで本実施の形態においては、事前の検査で検出した検査対象音の音データ（以下、適宜、これを検査対象音データと呼ぶ）のスペクトログラムＳＧに対し、検査対象音に含まれる音の特性に応じたマスクを設定することにより、以上のような問題を解決する。
【0029】
具体的に、本実施の形態の場合、検査対象音データを短時間フーリエ変換し、得られたスペクトログラムＳＧにおいて図２（Ａ）のように周波数方向にのみ特徴が現れるときには、図２（Ｂ）に示すように、周波数方向と平行に周波数方向の全範囲に亘る細長い矩形状のマスク（以下、これを時間方向マスクと呼ぶ）ＭＫ１をそのスペクトログラムＳＧ上に設定する。このときの時間方向マスクＭＫ１の時間方向の幅（マスク幅）は、かかるスペクトログラムＳＧ内の検査対象音の音圧が予め設定された閾値（以下、これを特徴音用音圧閾値と呼ぶ）以上の領域における、時間方向に並ぶサンプルの数（サンプル数）が最大のものを選出して適用する。
【0030】
なお、ここでの「サンプル数」とは、検査対象音のサンプリング周波数が例えば16000（1/s）、検査対象音の時間が９秒であった場合には、次式
のように個数が算出される時間方向の全サンプルのうち、時間方向に連続する１つの色の濃い領域ＡＲ１を構成し、かつ、その値が特徴音用音圧閾値以上の時間方向に連続するサンプルの数を指す。本実施の形態では、事前の検査により検査対象音データのスペクトログラムＳＧにおいて図２（Ａ）のように時間方向にのみ特徴が現れる（つまり検査対象音がインパルス音のみを含む）ことを確認した場合には、後述のように時間方向マスクＭＫ１のみを利用することとなるが、このサンプル数の最大値を時間方向マスクＭＫ１のマスク幅として適用する。
【数1】
【0031】
そして、この時間方向マスクＭＫ１を、かかるスペクトログラムＳＧ内のすべての領域がそれぞれ１回以上マスクされるように、時間方向マスクＭＫ１のマスク幅の間隔で時間方向に順次シフトさせるようにして、それぞれ異なる位置に時間方向マスクＭＫ１が設定されたスペクトログラムＳＧのデータを加工データとして順次作成する。さらに図４に示すように、作成した各加工データの異常度をＧＭＭなどの既知の手法を利用してそれぞれ算出すると共に、これら加工データごとの、時間方向マスクＭＫ１を設定する前のスペクトログラムＳＧのデータ（検査対象音データのスペクトログラムＳＧのデータであり、以下、これを元データと呼ぶ）からの変化率を次式
によりそれぞれ算出する。
【数2】
【0032】
同様に、検査対象音データを短時間フーリエ変換し、得られたスペクトログラムＳＧにおいて図３（Ａ）のように周波数方向にのみ特徴が現れるときには、図３（Ｂ）に示すように、時間方向と平行に時間方向の全範囲に亘る細長い矩形状のマスク（以下、これを周波数方向マスクと呼ぶ）ＭＫ２をそのスペクトログラムＳＧ上に設定する。このときの周波数方向マスクＭＫ２の周波数方向の幅（マスク幅）は、検査対象音の音圧が上述の特徴音用音圧閾値以上の領域における、周波数方向に並ぶ要素数が最大のものを選出して適用する。
【0033】
なお、ここでの「要素数」とは、周波数方向に連続する１つの色の濃い領域ＡＲ３を構成し、かつ、その値が特徴音用音圧閾値以上の周波数方向に連続する要素（周波数）の数をいう。本実施の形態では、事前の検査により検査対象音データのスペクトログラムＳＧにおいて図３（Ａ）のように周波数方向にのみ特徴が現れる（つまり検査対象音が定常音のみを含む）ことを確認した場合には、後述のように周波数方向マスクＭＫ２のみを利用することとなるが、この要素数の最大値を周波数方向マスクＭＫ２のマスク幅として適用する。
【0034】
そして、この周波数方向マスクＭＫ２を、かかるスペクトログラムＳＧ内のすべての領域がそれぞれ１回以上マスクされるように、周波数方向マスクＭＫ２のマスク幅の間隔で周波数方向に順次シフトさせるようにして、それぞれ異なる位置に周波数方向マスクＭＫ２が設定されたスペクトログラムＳＧのデータを加工データとして順次作成する。さらに作成した各加工データの異常度及び変化率を上述と同様にしてそれぞれ算出する。
【0035】
この後、例えば図５に示すように、検査対象音データのスペクトログラムＳＧにおける時間方向マスクＭＫ１やその周波数方向マスクＭＫ２が設定された各位置を、それぞれその位置に時間方向マスクＭＫ１や周波数方向マスクＭＫ２を設定したときの変化率に応じた色又は濃度でプロット（着色）した判定根拠画像２４を生成する。なお、図５は、検査対象音のスペクトログラムＳＧにおいて時間方向にのみ特徴が現れる場合の一例である。これにより検査対象音の異常を検知した場合に、その検査対象音のスペクトログラムＳＧ上のどの箇所がその異常検知の根拠となったかを視覚的にユーザに提示することができる。
【0036】
なお、例えば検査対象音にインパルス音及び定常音の双方が含まれ、そのスペクトログラムＳＧにおいて図６（Ａ）のような時間方向及び周波数方向の双方に特徴が現れる場合には、図６（Ｂ）に示すように、時間方向マスクＭＫ１及び周波数方向マスクＭＫ２の双方を利用する。このようにすることによって、検査対象音にインパルス音及び定常音の双方が含まれる場合などにおいても、その検査対象音のスペクトログラムＳＧ上のどの箇所がその異常検知の根拠となったかを視覚的にユーザに提示することができる。またこのようにすることによって、ＬＩＭＥやＳＨＡＰのようにランダムに選んだ領域にマスクする場合に比べて音の特性を失い難くすることができる。
【0037】
一方、例えば図７（Ａ）に示すように、検査対象音に対して全体的に環境音やノイズが混じっている場合に図７（Ｂ）のようにスペクトログラムＳＧ上に設定する時間方向マスクＭＫ１や周波数方向マスクＭＫ２内のデータ値（以下、これをマスク値と呼ぶ）を、ＬＩＭＥやＳＨＡＰなどで用いられる「０」として上述の方法を適用すると、元データ（検査対象音データのスペクトログラムＳＧのデータ）と、時間方向マスクＭＫ１や周波数方向マスクＭＫ２が設定された加工データとの性質の差が大きくなり、算出される加工データの異常度に大きな誤差が生じる場合がある。
【0038】
そこで、本実施の形態においては、予め環境音のみを記録した音データを用意し、その音データを短時間フーリエ変換することにより得られるスペクトログラムＳＧを利用して、検査対象音データのスペクトログラムＳＧ上のマスク幅に応じた所定位置（以下、これらをマスク設定位置と呼ぶ）にそれぞれ設定される時間方向マスクＭＫ１や周波数方向マスクＭＫ２のマスク設定位置ごとのマスク値を決定する。
【0039】
具体的には、マスク設定位置ごとに、環境音データのスペクトログラムＳＧ上のそのマスク設定位置に対応する領域内の環境音の平均値が予め設定された閾値（以下、これをマスク用音圧閾値と呼ぶ）以上である場合には、当該平均値を、そのマスク設定位置における時間方向マスクＭＫ１や周波数方向マスクＭＫ２のマスク値として適用する。また、その領域の環境音の音圧の平均値がマスク用音圧閾値未満である場合には、予めユーザが設定した値（例えば、マスク用音圧閾値）をそのマスク設定位置における時間方向マスクＭＫ１や周波数方向マスクＭＫ２のマスク値として適用する。
【0040】
このように検査対象音に含まれる環境音の音圧が大きい場合に、その音圧の平均値をマスク値として設定することにより、元データ及び加工データ間の性質の差を低減でき、算出される異常度に大きな誤差が生じることを未然に防止することができる。
【0041】
他方、機械学習モデルとして、オートエンコーダ（auto encoder）方式の機械学習モデルを適用する場合、検査対象音データのスペクトログラムのピクセルごとに異常度が算出される。
【0042】
そこで本実施の形態においては、機械学習モデルがオートエンコーダ方式の機械学習モデルの場合には、検査対象音データのスペクトログラムのうち、時間方向マスクＭＫ１や周波数方向マスクＭＫ２が設定されない領域（以下、これを無加工領域と呼ぶ）内の各ピクセルの異常値の平均値を、対応するマスク設定位置に時間方向マスクＭＫ１や周波数方向マスクＭＫ２が設定された場合の検査対象音データのスペクトログラムの異常値として算出する。このようにすることによって、マスク加工した部分の影響をカットできるため、より正確な異常度を算出することができる。
【0043】
（１－２－２）本実施の形態による異音検査装置の論理構成
図８は、図１について上述した本実施の形態による異音検査装置１の論理構成を示す。この図８に示すように、異音検査装置１は、フーリエ変換部３０、検査判定部３１、判定根拠算出部３２及び結果表示部３３を備えて構成される。
図８は、図１について上述した本実施の形態による異音検査装置１の論理構成を示す。この図８に示すように、異音検査装置１は、フーリエ変換部３０、検査判定部３１、判定根拠算出部３２及び結果表示部３３を備えて構成される。
【0044】
フーリエ変換部３０は、異音検査装置１のＣＰＵ２（図１）がメモリ３に読み出されたフーリエ変換プログラム１０を実行することにより具現化される機能部である。フーリエ変換部３０は、事前に録音された検査対象音の音データである検査対象音データ４０を短時間フーリエ変換し、得られたスペクトログラムＳＧのデータを後述する検査判定部３１の判定モデル部２０が備える判定モデル２０Ａと、判定根拠算出部３２のマスク作成部５０とにそれぞれ出力する。またフーリエ変換部３０は、事前に記録した環境音のみの音データからなるマスク作成用データ４１を短時間フーリエ変換し、得られたスペクトログラムＳＧのデータを判定根拠算出部３２のマスク作成部５０に出力する。
【0045】
検査判定部３１は、検査対象音の正常／異常を判定する機能を有する機能部であり、判定モデル部２０、正常／異常判定部４２及び異常検知結果出力部４３を備えて構成される。
【0046】
判定モデル部２０は、異音検査装置１のＣＰＵ２（図１）がメモリ３（図１）に読み出した判定モデル部プログラム１８（図１）を実行することにより具現化される機能部であり、判定モデル２０Ａを備える。判定モデル２０Ａは、事前に用意された学習用の検査対象音データを学習データとして、検査対象音の異常度をＧＭＭなどの既知の手法を利用して機械学習することにより作成された機械学習モデルである。
【0047】
判定モデル部２０には、本番運用時、フーリエ変換部３０から与えられる検査対象音データのスペクトログラムＳＧのデータが与えられる。そして判定モデル部２０は、この検査対象音データを判定モデル２０Ａに投入する。判定モデル２０Ａは、投入された検査対象音データの異常度をＧＭＭなどにより算出する。そして判定モデル部２０は、このとき算出された異常度を、元データ異常度４５として後述する判定根拠算出部３２の判定根拠情報格納データベース２３に格納する。また判定モデル部２０は、そのとき判定モデル部２０に与えられた検査対象音データ４０のスペクトログラムＳＧのデータも元データ４６として判定根拠情報格納データベース２３に格納する。
【0048】
正常／異常判定部４２は、異音検査装置１のＣＰＵ２（図１）がメモリ３（図１）に読み出した正常／異常判定プログラム１１（図１）を実行することにより具現化される機能部である。正常／異常判定部４２は、上述のようにして判定根拠情報格納データベース２３に格納された元データ異常度４５に基づいて元データ４６（ひいては検査対象音）の正常／異常を判定する。例えば、正常／異常判定部４２は、元データ異常度４５が予め設定された閾値未満であれば元データ４６を正常と判断し、元データ異常度４５がかかる閾値以上であれば元データ４６を異常であると判定する。そして正常／異常判定部４２は、かかる判定結果を異常検知結果出力部４３に通知する。
【0049】
異常検知結果出力部４３は、異音検査装置１のＣＰＵ２がメモリ３に読み出した異常検知結果出力プログラム１２（図１）を実行することにより具現化される機能部である。異常検知結果出力部４３は、正常／異常判定部４２から通知された元データ４６の正常／異常の判定結果を判定結果情報４４として結果表示部３３に出力する。
【0050】
一方、判定根拠算出部３２は、検査判定部３１の判定モデル部２０Ａが備える判定モデル２０Ａの判定結果の根拠を算出する機能を有する機能部であり、マスク作成部５０、加工データ作成部５１、異常度・変化率算出部５２、判定根拠描画部５３、マスク情報格納データベース２１、根拠算出用波形データ格納データベース２２及び判定根拠情報格納データベース２３を備えて構成される。
【0051】
マスク作成部５０は、異音検査装置１のＣＰＵ２がメモリ３に読み出したマスク作成プログラム１３（図１）を実行することにより具現化される機能部である。マスク作成部５０は、検査対象音データ４０のスペクトログラムＳＧ上に設定すべき時間方向マスクＭＫ１や周波数方向マスクＭＫ２のマスク幅と、検査対象音データ４０のスペクトログラムＳＧ上の時間方向マスクＭＫ１や周波数方向マスクＭＫ２の各マスク設定位置におけるマスク値とをそれぞれ算出する機能を有する。
【0052】
実際上、異音検査装置１には、図９に示すように、図２（Ｂ）及び図３（Ｂ）について上述した時間方向マスクＭＫ１や周波数方向マスクＭＫ２のマスク幅を決定するための上述のマスク用音圧閾値と、検査対象音データ４０のスペクトログラムＳＧから特徴部位を抽出するための上述の特徴音用音圧閾値と、後述する時間方向マスクシフト幅及び周波数方向マスクシフト幅とについて、これらのデフォルト値に対してユーザが予め指定したマスク用音圧閾値、特徴音用音圧閾値、時間方向マスクシフト幅及び周波数方向マスクシフト幅がそれぞれ設定されている。
【0053】
また異音検査装置１は、時間方向マスクＭＫ１を利用すべきか否かを表すマスク要否フラグ（以下、これを時間方向マスク要否フラグと呼ぶ）と、周波数方向マスクＭＫ２を利用すべきか否かを表すマスク要否フラグ（以下、これを周波数方向マスク要否フラグと呼ぶ）とを管理している。そしてユーザが時間方向マスクＭＫ１を利用すべき旨の設定を行った場合（つまりインパルス音の有無を判定すべき設定を行った場合）には、時間方向マスク要否フラグの値が「True」に設定され、ユーザが周波数方向マスクＭＫ２を利用すべき旨の設定を行った場合（つまり定常音の有無を判定すべき設定を行った場合）には、周波数方向マスク要否フラグの値が「True」に設定される。さらにユーザが図６（Ｂ）のように時間方向マスクＭＫ１及び周波数方向マスクＭＫ２の双方を利用すべき旨の設定には、時間方向マスク要否フラグ及び周波数方向マスク要否フラグの双方が「True」に設定される。
【0054】
そしてマスク作成部５０は、フーリエ変換部３０から与えられた検査対象音データ４０のスペクトログラムＳＧのデータ、及び、マスク作成用データ４１のスペクトログラムＳＧのデータと、図９について上述したユーザによる各種設定とに基づいて、そのとき作成すべき時間方向マスクＭＫ１及び又は周波数方向マスクＭＫ２の各マスク幅と、その時間方向マスクＭＫ１及び又は周波数方向マスクＭＫ２のマスク設定位置ごとのマスク値とをそれぞれ算出する。そしてマスク作成部５０は、算出したこれらマスク幅及びマスク設定位置ごとのマスク値をマスクデータ５４としてマスク情報格納データベース２１に格納する。
【0055】
加工データ作成部５１は、異音検査装置１のＣＰＵ２が、メモリ３に読み出した加工データ作成プログラム１４（図１）を実行することにより具現化される機能部である。加工データ作成部５１は、検査対象音データ４０のスペクトログラムＳＧのデータと、マスク情報格納データベース２１に格納されたマスクデータ５４とを利用して、検査対象音データ４０のスペクトログラムＳＧ上に設定した時間方向マスクＭＫ１及び又は周波数方向マスクＭＫ２をそのマスク幅分ずつ時間方向や周波数方向に順次シフトさせるようにして加工データ５５をそれぞれ作成する。そして加工データ作成部５１は、作成した各加工データ５５と、そのとき時間方向マスクＭＫ１及び又は周波数方向マスクＭＫ２が設定されているスペクトログラムＳＧ上の位置（マスク設定位置）を表すマスク位置データ５６とをそれぞれ根拠算出用波形データ格納データベース２２に格納する。
【0056】
根拠算出用波形データ格納データベース２２に格納された各加工データ５５は、この後、異常度・変化率算出部５２により根拠算出用波形データ格納データベース２２から順番に読み出されて検査判定部３１の判定モデル部２０に順次供給される。また判定モデル部２０は、供給された各加工データ５５を順次判定モデル２０Ａに投入する。そして判定モデル部２０は、判定モデル２０Ａにより算出された各加工データ５５の異常度を異常度・変化率算出部５２に順次出力する。
【0057】
異常度・変化率算出部５２は、異音検査装置１のＣＰＵ２が、メモリ３に読み出した異常度・変化率算出プログラム１５（図１）を実行することにより具現化される機能部である。異常度・変化率算出部５２は、判定根拠情報格納データベース２３に格納されている元データ異常度４５と、検査判定部３１の判定モデル部２０から与えられた各加工データ５５の異常度とに基づいて、上述の（２）式により各加工データ５５の変化率をそれぞれ算出する。そして異常度・変化率算出部５２は、各加工データ５５の異常度及び変化率をそれぞれ加工データ異常度・変化率情報５７として判定根拠情報格納データベース２３に格納する。
【0058】
この加工データ５５ごとの加工データ異常度・変化率情報５７は、この後、判定根拠描画部５３により判定根拠情報格納データベース２３から読み出される。
【0059】
判定根拠描画部５３は、異音検査装置１のＣＰＵ２が、メモリ３に読み出した判定根拠描画プログラム１６（図１）を実行することにより具現化される機能部である。判定根拠描画部５３は、各加工データ５５のマスク位置データ５６を根拠算出用波形データ格納データベース２２から読み出し、読み出した各加工データ５５のマスク位置データ５６と、判定根拠情報格納データベース２３から読み出したこれら加工データ５５の加工データ異常度・変化率情報５７とに基づいて図５について上述した判定根拠画像２４を描画し、描画した判定根拠画像２４の画像データを判定根拠情報５８として結果表示部３３に出力する。
【0060】
結果表示部３３は、異音検査装置１のＣＰＵ２が、メモリ３に読み出した結果表示プログラム１７（図１）を実行することにより具現化される機能部である。結果表示部３３は、検査判定部３１の異常検知結果出力部４３から与えられた判定結果情報４４に基づく検査対象音の正常／異常の判定結果（例えば、「異常判定閾値10に対して検査対象音の異常度が100」など）と、判定根拠算出部３２の判定根拠描画部５３から与えられた判定根拠情報５８とに基づく図５について上述した判定根拠画像２４とを表示装置６（図１）に表示する。
【0061】
（１－２－３）本実施の形態の異音検査機能に関する各種処理
次に、上述した本実施の形態による異音検査機能に関連して異音検査装置１において実行される一連の処理（以下、これを異音検査処理と呼ぶ）の具体的な処理内容について説明する。なお、以下の説明では、各処理の処理主体を機能部（「……部」）として説明するが、実際上は、異音検査装置１のＣＰＵ２がその機能部に対応するプログラムに基づいてその処理を実行することは言うまでもない。
次に、上述した本実施の形態による異音検査機能に関連して異音検査装置１において実行される一連の処理（以下、これを異音検査処理と呼ぶ）の具体的な処理内容について説明する。なお、以下の説明では、各処理の処理主体を機能部（「……部」）として説明するが、実際上は、異音検査装置１のＣＰＵ２がその機能部に対応するプログラムに基づいてその処理を実行することは言うまでもない。
【0062】
（１－２－３－１）異音検査処理
図１０は、かかる異音検査処理の具体的な処理の流れを示す。この異音検査処理は、所定のタイミングで開始される。このような「所定のタイミング」としては、異常を検知したタイミングや、定期的なタイミング（例えば毎日決まった時刻）、又は、ユーザ操作に応じた任意のタイミングなどが考えられる。
図１０は、かかる異音検査処理の具体的な処理の流れを示す。この異音検査処理は、所定のタイミングで開始される。このような「所定のタイミング」としては、異常を検知したタイミングや、定期的なタイミング（例えば毎日決まった時刻）、又は、ユーザ操作に応じた任意のタイミングなどが考えられる。
【0063】
そして、かかる異音検査処理が開示されると、まず、フーリエ変換部３０が、検査対象音データ４０を短時間フーリエ変換し、得られたスペクトログラムＳＧのデータを検査判定部３１の判定モデル部２０と、判定根拠算出部３２のマスク作成部５０とに出力する。またフーリエ変換部３０は、マスク作成用データ４１も短時間フーリエ変換し、得られたスペクトログラムＳＧをマスク作成部５０に出力する（Ｓ１）。
【0064】
続いて、判定モデル部２０が、フーリエ変換部３０から与えられた検査対象音データ４０のスペクトログラムＳＧのデータを判定モデル２０Ａに投入することにより、当該スペクトログラムＳＧの異常度を算出させる（Ｓ２）。また判定モデル部２０は、判定モデル２０Ａにより算出された異常度を元データ異常度４５として判定根拠算出部３２の判定根拠情報格納データベース２３に格納すると共に、検査対象音データ４０のスペクトログラムＳＧのデータを元データ４６として判定根拠情報格納データベース２３に格納する（Ｓ３）。
【0065】
次いで、検査判定部３１の正常／異常判定部４２が、判定根拠情報格納データベース２３に格納された元データ異常度４５に基づいて元データ４６（ひいては検査対象音）が正常であるか否かを判定し、判定結果を異常検知結果出力部４３を介して判定結果情報４４として結果表示部３３に出力する（Ｓ４）。
【0066】
一方、ステップＳ３の終了後、ステップＳ４の処理と並行して、判定根拠算出部３２のマスク作成部５０が、フーリエ変換部３０から与えられた検査対象音データ４０のスペクトログラムＳＧのデータ、及び、マスク作成用データ４１のスペクトログラムＳＧのデータと、ユーザによる初期設定とに基づいて、ユーザにより指定された時間方向マスクＭＫ１及び又は周波数方向マスクＭＫ２のマスク幅と、時間方向マスクＭＫ１及び又は周波数方向マスクＭＫ２のマスク設定位置ごとのマスク値とをそれぞれ算出する。そしてマスク作成部５０は、算出したマスク幅及びマスク設定位置ごとのマスク値をマスクデータ５４としてマスク情報格納データベース２１に格納する（Ｓ５）。以下においては、この一連の処理をマスク作成処理と呼ぶ。
【0067】
続いて、加工データ作成部５１が、マスク情報格納データベース２１に格納されたマスクデータ５４に基づいて、検査対象音データ４０のスペクトログラムＳＧ上で時間方向マスクＭＫ１及び又は周波数方向マスクＭＫ２をそのマスク幅分ずつ時間方向や周波数方向に順次シフトさせるようにして、それぞれ異なるマスク設定位置に時間方向マスクＭＫ１や周波数方向マスクＭＫ２が設定されたスペクトログラムＳＧのデータでなる加工データ５５を順次作成する。そして加工データ作成部５１は、作成した各加工データ５５を根拠算出用波形データ格納データベース２２に格納すると共に、加工データ５５ごとの時間方向マスクＭＫ１や周波数方向マスクＭＫ２が設定されたマスク設定位置をそれぞれマスク位置データ５６として根拠算出用波形データ格納データベース２２に格納する（Ｓ６）。以下においては、この一連の処理を加工データ作成処理と呼ぶ。
【0068】
この根拠算出用波形データ格納データベース２２に格納された各加工データ５５は、異常度・変化率算出部５２により根拠算出用波形データ格納データベース２２から順次読み出されて検査判定部３１の判定モデル部２０に供給されて判定モデル２０Ａに順次投入される。この結果、これら加工データ５５の異常度が判定モデル２０Ａにより順次算出され、算出された各加工データ５５の異常度が判定モデル部２０から異常度・変化率算出部５２に順次与えられる。
【0069】
異常度・変化率算出部５２は、各加工データ５５の異常度と、判定根拠情報格納データベース２３に格納されている元データ異常度４５とに基づいて、各加工データ５５の元データ４６（検査対象音データ４０のスペクトログラムＳＧのデータ）からの変化率をそれぞれ算出し、算出した加工データ５５ごとの異常度及び変化率をそれぞれ加工データ異常度・変化率情報５７として判定根拠情報格納データベース２３に格納する（Ｓ７）。以下においては、この一連の処理を異常度・変化率算出処理と呼ぶ。
【0070】
この後、判定根拠描画部５３が、判定根拠情報格納データベース２３に格納された加工データ５５ごとの加工データ異常度・変化率情報５７に基づいて、図５について上述した判定根拠画像２４を作成し、作成した判定根拠画像２４の画像データを判定根拠情報５８として結果表示部３３に出力する（Ｓ８）。以下においては、この一連の処理を判定根拠描画と呼ぶ。
【0071】
かくして、結果表示部３３は、検査判定部３１から与えられた判定結果情報４４に基づく検査対象音に対する正常／異常の判定結果と、判定根拠算出部３２の判定根拠描画部５３から与えられた判定根拠情報５８とに基づく判定根拠画像２４とを表示装置６に表示する（Ｓ９）。以上により、この異音検査処理が終了する。
【0072】
（１－２－３－２）マスク作成処理
（１－２－３－２－１）マスク作成処理の具体的な処理内容
図１１は、図１０について上述した異音検査処理のステップＳ５においてマスク作成部５０により実行されるマスク作成処理の具体的な流れを示す。マスク作成部５０は、異音検査処理がステップＳ５に進むと、このマスク作成処理を開始し、まず、フーリエ変換部３０から与えられた検査対象音データ４０のスペクトログラムＳＧのデータを取り込む（Ｓ１０）。
（１－２－３－２－１）マスク作成処理の具体的な処理内容
図１１は、図１０について上述した異音検査処理のステップＳ５においてマスク作成部５０により実行されるマスク作成処理の具体的な流れを示す。マスク作成部５０は、異音検査処理がステップＳ５に進むと、このマスク作成処理を開始し、まず、フーリエ変換部３０から与えられた検査対象音データ４０のスペクトログラムＳＧのデータを取り込む（Ｓ１０）。
【0073】
続いて、マスク作成部５０は、ユーザにより事前に設定されたそのとき作成すべきマスクの種別（時間方向マスクＭＫ１及び又は周波数方向マスクＭＫ２）を確認し（Ｓ１１）、そのとき作成すべきマスクが時間方向マスクＭＫ１のみであるか否かを判断する（Ｓ１２）。そしてマスク作成部５０は、この判断で肯定結果を得ると、作成すべき時間方向マスクＭＫ１のマスク幅と、時間方向マスクＭＫ１のマスク設定位置ごとのマスク値とをそれぞれ算出する時間方向マスク作成処理を実行し（Ｓ１３）、この後、ステップＳ１７に進む。
【0074】
またマスク作成部は５０、ステップＳ１２で否定結果を得ると、そのとき作成すべきマスクが周波数方向マスクＭＫ２のみであるか否かを判断する（Ｓ１４）。そしてマスク作成部５０は、この判断で肯定結果を得ると、作成すべき周波数方向マスクＭＫ２のマスク幅と、周波数方向マスクＭＫ２のマスク設定位置ごとのマスク値とをそれぞれ算出する周波数方向マスク作成処理を実行し（Ｓ１５）、この後、ステップＳ１７に進む。
【0075】
これに対して、ステップＳ１４の判断で否定結果を得ることは、そのとき作成すべきマスクが時間方向マスクＭＫ１及び周波数方向マスクＭＫ２の双方であることを意味する。かくして、このときマスク作成部５０は、作成すべき時間方向マスクＭＫ１及び周波数方向マスクＭＫ２の双方について、マスク幅と、時間方向マスクＭＫ１及び周波数方向マスクＭＫ２のマスク設定位置ごとのマスク値とをそれぞれ算出する時間方向×周波数方向マスク作成処理を実行し（Ｓ１６）、この後、ステップＳ１７に進む。
【0076】
そしてマスク作成部５０は、ステップＳ１７に進むと、ステップＳ１３、ステップＳ１５又はステップＳ１６で算出した時間方向マスクＭＫ１及び又は周波数方向マスクＭＫ２のマスク幅及びマスク設定位置ごとのマスク値をマスクデータ５４としてマスク情報格納データベース２１に格納し（Ｓ１７）、この後、このマスク作成処理を終了する。
【0077】
【0078】
マスク作成部５０は、図１１のステップＳ１３に進むとこの図１２に示す時間方向マスク作成処理を開始し、まず、検査対象音データ４０のスペクトログラムＳＧ上に、周波数方向の全範囲に亘る高さを有し、かつユーザにより事前に設定された時間方向マスクシフト幅（図９参照）と同じ時間方向の幅を有する矩形状の領域（以下、これを第１のマスク幅用矩形領域と呼ぶ）を、その左端の時間（以下、適宜、これをマスク時間と呼ぶ）が０秒となるように設定する（Ｓ２０）。
【0079】
続いて、マスク作成部５０は、検査対象音データ４０のスペクトログラムＳＧにおける現在の第１のマスク幅用矩形領域内の音圧の平均値が、ユーザにより設定された上述の特徴音用音圧閾値（図９参照）以上であるか否かを判断する（Ｓ２１）。
【0080】
そしてマスク作成部５０は、この判断で肯定結果を得ると、現在のマスク時間と、そのマスク時間と対応付けた第１のフラグをオン設定した特徴音有効フラグとを一時的にマスク情報格納データベース２１に格納する（Ｓ２２）。またマスク作成部５０は、ステップＳ２１で否定結果を得ると、現在のマスク時間と、かかる第１のフラグをオフ設定した特徴音無効フラグとを一時的にマスク情報格納データベース２１に格納する（Ｓ２３）。
【0081】
次いで、マスク作成部５０は、マスク作成用データ４１のスペクトログラムＳＧ上のマスク時間が０秒の位置に、上述の第１のマスク幅用矩形領域と同様の第１のマスク値用矩形領域を設定し、その第１のマスク値用矩形領域内の音圧の平均値（以下、これを音圧平均値と呼ぶ）がユーザにより事前に設定されたマスク用音圧閾値（図９参照）以上であるか否かを判断する（Ｓ２４）。
【0082】
そしてマスク作成部５０は、この判断で肯定結果を得ると、その第１のマスク値用矩形領域内の音圧平均値をそのときの第１のマスク値用矩形領域の位置と対応付けてマスク情報格納データベース２１に一時的に格納する（Ｓ２５）。これに対して、マスク作成部５０は、ステップＳ２４で否定結果を得ると、マスク用音圧閾値（図９参照）をそのときの第１のマスク値用矩形領域の位置と対応付けてマスク情報格納データベース２１に一時的に格納する（Ｓ２６）。
【0083】
この後、マスク作成部５０は、検査対象音データ４０のスペクトログラムＳＧ上に設定された第１のマスク幅用矩形領域と、マスク作成用データ４１のスペクトログラムＳＧ上に設定された第１のマスク値用矩形領域とを、それぞれユーザにより設定された上述の時間方向マスクシフト幅（図９参照）分だけ時間方向の時刻が遅い方向にシフトさせる（Ｓ２７）。
【0084】
またマスク作成部５０は、第１のマスク幅用矩形領域や第１のマスク値用矩形領域をシフトさせた後のマスク時間（第１のマスク幅用矩形領域や第１のマスク値用矩形領域の左端の時間）が検査対象音の録音時間を超過したか否かを判断する（Ｓ２８）。そしてマスク作成部５０は、この判断で否定結果を得るとステップＳ２１に戻り、この後、ステップＳ２８で肯定結果を得るまでステップＳ２１～ステップＳ２８の処理を同様に繰り返す。
【0085】
そしてマスク作成部５０は、やがてマスク時間が検査対象音の録音時間を超過することによりステップＳ２８で肯定結果を得ると、マスク情報格納データベース２１を参照して、特徴音有効フラグが対応付けられたマスク時間をすべて抽出する（Ｓ２９）。
【0086】
続いて、マスク作成部５０は、ステップＳ２９で抽出したマスク時間が最も多く連続する区間の幅（時間幅）を時間方向マスクＭＫ１のマスク幅に決定し、決定したマスク幅を上述のマスクデータ５４の一部としてマスク情報格納データベース２１に格納する（Ｓ３０）。
【0087】
さらにマスク作成部５０は、上述のようにして決定したマスク幅を有する時間方向マスクＭＫ１をその左端の時間が０秒の位置から右端が検査対象音の録音時間となるまで時間方向に時間方向マスクシフト幅ずつシフトさせたときの各マスク設定位置における時間方向マスクＭＫ１のマスク値をそれぞれ算出し、算出した各マスク値を上述のマスクデータ５４の一部としてマスク情報格納データベース２１に格納する（Ｓ３１）。
【0088】
具体的に、マスク作成部５０は、時間方向マスクＭＫ１が１つの第１のマスク値用矩形領域と同じマスク幅を有する場合には、各マスク設定位置における第１のマスク値用矩形領域の音圧平均値をそのマスク設定位置における時間方向マスクＭＫ１のマスク値にそれぞれ決定し、決定した各マスク設定位置におけるマスク値をマスク情報格納データベース２１に格納する。
【0089】
またマスク作成部５０は、時間方向マスクＭＫ１が第１のマスク値用矩形領域の複数個分のマスク幅を有する場合には、マスク設定位置ごとに、そのマスク設定位置に含まれる各第１のマスク値用矩形領域の音圧平均値の平均値をそのマスク設定位置における時間方向マスクＭＫ１のマスク値に決定し、決定したマスク値をマスク情報格納データベース２１に格納する。そしてマスク作成部５０は、この後、この時間方向マスク作成処理を終了して図１１のマスク作成処理に戻る。
【0090】
【0091】
マスク作成部５０は、図１１のステップＳ１５に進むとこの図１３に示す周波数方向マスク作成処理を開始し、まず、検査対象音データ４０のスペクトログラムＳＧ上に、時間方向の全範囲に亘る長さを有し、かつユーザにより事前に設定された周波数方向マスクシフト幅（図９参照）と同じ周波数方向の幅を有する矩形状の領域（以下、これを第２のマスク幅用矩形領域と呼ぶ）を、その下端の周波数（以下、これをマスク周波数と呼ぶ）が０Hzとなるように設定する（Ｓ４０）。
【0092】
続いて、マスク作成部５０は、検査対象音データ４０のスペクトログラムＳＧにおける現在の第２のマスク幅用矩形領域内の音圧平均値が、ユーザにより設定された特徴音用音圧閾値（図９参照）以上であるか否かを判断する（Ｓ４１）。
【0093】
そしてマスク作成部５０は、この判断で肯定結果を得ると、現在のマスク周波数と、そのマスク周波数と対応付けた第２のフラグをオン設定した特徴音有効フラグとを一時的にマスク情報格納データベース２１に格納する（Ｓ４２）。またマスク作成部５０は、ステップＳ４１で否定結果を得ると、現在のマスク周波数と、かかる第２のフラグをオフ設定した特徴音無効フラグとを一時的にマスク情報格納データベース２１に格納する（Ｓ４３）。
【0094】
次いで、マスク作成部５０は、マスク作成用データ４１のスペクトログラムＳＧ上のマスク周波数が０Hzの位置に、上述の第２のマスク幅用矩形領域と同様の第２のマスク値用矩形領域を設定し、その第２のマスク値用矩形領域内の音圧平均値がユーザにより設定されたマスク用音圧閾値（図９参照）以上であるか否かを判断する（Ｓ４４）。
【0095】
そしてマスク作成部５０は、この判断で肯定結果を得ると、その第２のマスク値用矩形領域内の音圧平均値をそのときの第２のマスク値用矩形領域の位置と対応付けてマスク情報格納データベース２１に一時的に格納する（Ｓ４５）。これに対して、マスク作成部５０は、ステップＳ４４で否定結果を得ると、マスク用音圧閾値（図９参照）をそのときの第２のマスク値用矩形領域の位置と対応付けてマスク情報格納データベース２１に一時的に格納する（Ｓ４６）。
【0096】
この後、マスク作成部５０は、検査対象音データ４０のスペクトログラムＳＧ上に設定された第２のマスク幅用矩形領域と、マスク作成用データ４１のスペクトログラムＳＧ上に設定された第２のマスク値用矩形領域とを、それぞれユーザにより設定された上述の周波数方向マスクシフト幅（図９参照）分だけ周波数方向の周波数の高い方向にシフトさせる（Ｓ４７）。
【0097】
またマスク作成部５０は、第２のマスク幅用矩形領域や第２のマスク値矩形領域をシフトさせた後のマスク周波数（第２のマスク幅用矩形領域や第２のマスク値矩形領域の下端の周波数）がスペクトログラムＳＧにおける最大周波数（以下、これを上限周波数と呼ぶ）を超過したか否かを判断する（Ｓ４８）。そしてマスク作成部５０は、この判断で否定結果を得るとステップＳ４１に戻り、この後、ステップＳ４８で肯定結果を得るまでステップＳ４１～ステップＳ４８の処理を同様に繰り返す。
【0098】
そしてマスク作成部５０は、やがてマスク周波数が検査対象音データ４０のスペクトログラムＳＧの上限周波数を超過することによりステップＳ４８で肯定結果を得ると、マスク情報格納データベース２１を参照して、特徴音有効フラグが対応付けられたマスク周波数をすべて抽出する（Ｓ４９）。
【0099】
続いて、マスク作成部５０は、ステップＳ４９で抽出したマスク周波数が最も多く連続する区間の幅（周波数幅）を周波数方向マスクＭＫ２のマスク幅に決定し、決定したマスク幅を上述のマスクデータ５４の一部としてマスク情報格納データベース２１に格納する（Ｓ５０）。
【0100】
さらにマスク作成部５０は、上述のようにして決定したマスク幅を有する周波数方向マスクＭＫ２をその下端の周波数が０Hzの位置から上端が上限周波数となるまで周波数方向に周波数方向マスクシフト幅ずつシフトさせたときの各マスク設定値における周波数方向マスクＭＫ２のマスク値をそれぞれ算出し、算出した各マスク値を上述のマスクデータ５４の一部としてマスク情報格納データベース２１に格納する（Ｓ５１）。
【0101】
具体的に、マスク作成部５０は、周波数方向マスクＭＫ２が１つの第２のマスク値用矩形領域と同じマスク幅を有する場合には、各マスク設定位置における第２のマスク値用矩形領域の音圧平均値をそのマスク設定位置における周波数方向マスクＭＫ２のマスク値にそれぞれ決定し、決定した各マスク設定位置におけるマスク値をマスク情報格納データベース２１に格納する。
【0102】
またマスク作成部５０は、周波数方向マスクＭＫ２が第２のマスク値用矩形領域の複数個分のマスク幅を有する場合には、マスク設定位置ごとに、そのマスク設定位置に含まれる各第２のマスク値用矩形領域の音圧平均値の平均値をそのマスク設定位置における周波数方向マスクＭＫ２のマスク値に決定し、決定したマスク値をマスク情報格納データベース２１に格納する。そしてマスク作成部５０は、この後、この周波数方向マスク作成処理を終了して図１１のマスク作成処理に戻る。
【0103】
（１－２－３－２－３）時間方向×周波数方向マスク作成処理
図１４は、図１１のステップＳ１６においてマスク作成部５０により実行される時間方向×周波数方向マスク作成処理の具体的な処理内容を示す。マスク作成部５０は、図１１のステップＳ１６に進むとこの図１４に示す時間方向×周波数方向マスク作成処理を開始し、まず、図１２について上述した時間方向マスク作成処理を実行し（Ｓ６０）、この後、図１３について上述した周波数方向マスク作成処理を実行する（Ｓ６１）。
図１４は、図１１のステップＳ１６においてマスク作成部５０により実行される時間方向×周波数方向マスク作成処理の具体的な処理内容を示す。マスク作成部５０は、図１１のステップＳ１６に進むとこの図１４に示す時間方向×周波数方向マスク作成処理を開始し、まず、図１２について上述した時間方向マスク作成処理を実行し（Ｓ６０）、この後、図１３について上述した周波数方向マスク作成処理を実行する（Ｓ６１）。
【0104】
続いて、マスク作成部５０は、時間方向マスクＭＫ１及び周波数方向マスクＭＫ２が重複する各領域（以下、これらをマスク重複領域と呼ぶ）について、そのときの時間方向マスクＭＫ１のマスク値と、周波数方向マスクＭＫ２のマスク値との平均値をそのマスク重複領域のマスク値としてそれぞれ算出する。またマスク作成部５０は、算出したこれらマスク値を、それぞれそのときの時間方向マスクＭＫ１の位置及び周波数方向マスクＭＫ２の位置と対応付けて上述のマスクデータ５４の一部としてマスク情報格納データベース２１に格納する（Ｓ６２）。そしてマスク作成部５０は、この後、この周波数方向マスク作成処理を終了してマスク作成処理に戻る。
【0105】
（１－２－３－３）加工データ作成処理
（１－２－３－３－１）加工データ作成処理の具体的な処理内容
図１５は、図１０について上述した異音検査処理のステップＳ６において加工データ作成部５１により実行される一連の処理（以下、これを加工データ作成処理と呼ぶ）の具体的な流れを示す。加工データ作成部５１は、異音検査処理がステップＳ６に進むと、この加工データ作成処理を開始し、まず、フーリエ変換部３０から与えられた検査対象音データ４０のスペクトログラムＳＧのデータを取り込む（Ｓ７０）。
（１－２－３－３－１）加工データ作成処理の具体的な処理内容
図１５は、図１０について上述した異音検査処理のステップＳ６において加工データ作成部５１により実行される一連の処理（以下、これを加工データ作成処理と呼ぶ）の具体的な流れを示す。加工データ作成部５１は、異音検査処理がステップＳ６に進むと、この加工データ作成処理を開始し、まず、フーリエ変換部３０から与えられた検査対象音データ４０のスペクトログラムＳＧのデータを取り込む（Ｓ７０）。
【0106】
続いて、加工データ作成部５１は、時間方向マスク要否フラグ（図９参照）及び周波数方向マスク要否フラグ（図９参照）の各値をそれぞれ確認し（Ｓ７１）、時間方向マスク要否フラグのみが「True」であるか否かを判断する（Ｓ７２）。
【0107】
この判断で肯定結果を得ることは、時間方向マスクＭＫ１のみを用いて加工データ５５を作成すべきことを意味する。かくして、このとき加工データ作成部５１は、時間方向マスクＭＫ１のみを用いて加工データ５５を順次作成し、得られた各加工データ５５を根拠算出用波形データ格納データベース２２に順次格納する時間方向加工データ作成処理を実行する（Ｓ７３）。そして加工データ作成部５１は、この後、この加工データ作成処理を終了する。
【0108】
また加工データ作成部５１は、ステップＳ７２で否定結果を得ると、周波数方向マスク要否フラグのみが「True」であるか否かを判断する（Ｓ７４）。
【0109】
この判断で肯定結果を得ることは、周波数方向マスクＭＫ２のみを用いて加工データ５５を作成すべきことを意味する。かくして、このとき加工データ作成部５１は、周波数方向マスクＭＫ２のみを用いて加工データ５５を順次作成し、得られた各加工データ５５を根拠算出用波形データ格納データベース２２に順次格納する周波数方向加工データ作成処理を実行する（Ｓ７５）。そして加工データ作成部５１は、この後、この加工データ作成処理を終了する。
【0110】
一方、ステップＳ７４で否定結果を得ることは、時間方向マスクＭＫ１及び周波数方向マスクＭＫ２の双方を用いて加工データ５５を作成すべきことを意味する。かくして、このとき加工データ作成部５１は、時間方向マスクＭＫ１及び周波数方向マスクＭＫ２の双方を用いて加工データ５５を順次作成し、得られた各加工データ５５を根拠算出用波形データ格納データベース２２に順次格納する時間方向×周波数方向加工データ作成処理を実行する（Ｓ７６）。そして加工データ作成部５１は、この後、この加工データ作成処理を終了する。
【0111】
（１－２－３－３－２）時間方向加工データ作成処理
図１６は、図１５について上述した加工データ作成処理のステップＳ７３で加工データ作成部５１により実行される時間方向加工データ作成処理の具体的な処理内容を示す。
図１６は、図１５について上述した加工データ作成処理のステップＳ７３で加工データ作成部５１により実行される時間方向加工データ作成処理の具体的な処理内容を示す。
【0112】
加工データ作成部５１は、加工データ作成処理のステップＳ７３に進むと、この図１６に示す時間方向加工データ作成処理を開始し、まず、マスク情報格納データベース２１から時間方向マスクＭＫ１のマスク幅と、現在のマスク設定位置に対するマスク値とを読み込む（Ｓ８０）。なお、最初のステップＳ８０における「現在のマスク設定位置」は、時間方向マスクＭＫ１を最初に設定すべきマスク設定位置（時間方向マスクＭＫ１の左端の時間が０秒となる位置）である。
【0113】
続いて、加工データ作成部５１は、現在のマスク設定位置に時間方向マスクＭＫ１を設定すると共に、その時間方向マスクＭＫ１のマスク値としてステップＳ８０で読み出したマスク値を設定する（Ｓ８１）。なお、最初のステップＳ８１における「現在のマスク設定位置」もステップＳ８０と同様である。
【0114】
次いで、加工データ作成部５１は、上述のようにして時間方向マスクＭＫ１を設定した検査対象音データ４０のスペクトログラムＳＧのデータを加工データ５５として取得する（Ｓ８２）。また加工データ作成部５１は、ステップＳ８２で取得した加工データ５５を根拠算出用波形データ格納データベース２２に格納すると共に、このときのマスク設定位置の時間（マスク設定位置の左端の時間）をマスク位置データ５６として根拠算出用波形データ格納データベース２２に格納する（Ｓ８３）。
【0115】
この後、加工データ作成部５１は、マスク設定位置を時間方向の時間が遅い側に時間方向マスクＭＫ１のマスク幅分だけシフトし（Ｓ８４）、シフト後のマスク設定位置の時間が検査対象音の録音時間を超過したか否かを判断する（Ｓ８５）。
【0116】
そして加工データ作成部５１は、この判断で否定結果を得ると、ステップＳ８０に戻り、この後、ステップＳ８５で肯定結果を得るまで、ステップＳ８０～ステップＳ８５の処理を繰り返す。この繰返し処理により、時間方向マスクＭＫ１の位置を時間方向マスクＭＫ１のマスク幅分ずつ時間が遅い方向に順次シフトさせた加工データ５５が順次作成され、作成された加工データ５５と、その加工データ５５の作成時における時間方向マスクＭＫ１の位置（マスク設定位置）とが順次根拠算出用波形データ格納データベース２２に格納されることになる。
【0117】
そして、加工データ作成部５１は、やがてマスク設定位置の時間が検査対象音の録音時間を超過するまでマスク設定位置をシフトし終えることによりステップＳ８５で肯定結果を得ると、この時間方向加工データ作成処理を終了して加工データ作成処理に戻る。
【0118】
（１－２－３－３－３）周波数方向加工データ作成処理
一方、図１７は、図１５について上述した加工データ作成処理のステップＳ７５で加工データ作成部５１により実行される周波数方向加工データ作成処理の具体的な処理内容を示す。
一方、図１７は、図１５について上述した加工データ作成処理のステップＳ７５で加工データ作成部５１により実行される周波数方向加工データ作成処理の具体的な処理内容を示す。
【0119】
加工データ作成部５１は、加工データ作成処理のステップＳ７５に進むと、この図１７に示す周波数方向加工データ作成処理を開始し、まず、マスク情報格納データベース２１から周波数方向マスクＭＫ２のマスク幅と、現在のマスク設定位置に対するマスク値とを読み込む（Ｓ９０）。なお、最初のステップＳ９０における「現在のマスク設定位置」は、周波数方向マスクＭＫ２を最初に設定すべき位置（周波数方向マスクＭＫ２の下端が０Hzとなる位置）である。
【0120】
続いて、加工データ作成部５１は、現在のマスク設定位置に周波数方向マスクＭＫ２を設定すると共に、その周波数方向マスクＭＫ２のマスク値としてステップＳ９０で読み出したマスク値を設定する（Ｓ９１）。なお最初のステップＳ９１における「現在のマスク設定位置」もステップＳ９０と同様である。
【0121】
次いで、加工データ作成部５１は、上述のようにして周波数方向マスクＭＫ２を設定したスペクトログラムＳＧのデータを加工データ５５として取得する（Ｓ９２）。また加工データ作成部５１は、ステップＳ９２で取得した加工データ５５を根拠算出用波形データ格納データベース２２に格納すると共に、このときのマスク設定位置の周波数（マスク設定位置の下端の周波数）をマスク位置データ５６として根拠算出用波形データ格納データベース２２に格納する（Ｓ９３）。
【0122】
この後、加工データ作成部５１は、マスク設定位置を周波数方向の周波数が高い側に周波数方向マスクＭＫ２のマスク幅分だけシフトし（Ｓ９４）、シフト後のマスク設定位置の周波数が元データの上限周波数を超過したか否かを判断する（Ｓ９５）。
【0123】
そして加工データ作成部５１は、この判断で否定結果を得ると、ステップＳ９０に戻り、この後、ステップＳ９５で肯定結果を得るまで、ステップＳ９０～ステップＳ９５の処理を繰り返す。この繰返し処理により、周波数方向マスクＭＫ２の位置を周波数方向マスクＭＫ２のマスク幅分ずつ周波数が高い方向に順次シフトさせた加工データ５５が順次作成され、作成された加工データ５５と、その加工データ５５の作成時における周波数方向マスクＭＫ２の位置（マスク設定位置）とが順次根拠算出用波形データ格納データベース２２に格納されることになる。
【0124】
そして、加工データ作成部５１は、やがてマスク設定位置の周波数が検査対象音データ４０の上限周波数を超過するまでマスク設定位置をシフトし終えることによりステップＳ９５で肯定結果を得ると、この周波数方向加工データ作成処理を終了して加工データ作成処理に戻る。
【0125】
（１－２－３－３－４）時間方向×周波数方向加工データ作成処理
図１８は、図１５について上述した加工データ作成処理のステップＳ７６で加工データ作成部５１により実行される時間方向×周波数方向加工データ作成処理の具体的な処理内容を示す。
図１８は、図１５について上述した加工データ作成処理のステップＳ７６で加工データ作成部５１により実行される時間方向×周波数方向加工データ作成処理の具体的な処理内容を示す。
【0126】
加工データ作成部５１は、加工データ作成処理のステップＳ７６に進むと、この図１８に示す時間方向×周波数方向加工データ作成処理を開始し、まず、マスク情報格納データベース２１から時間方向マスクＭＫ１のマスク幅と、現在のマスク設定位置に対するマスク値とを読み込む（Ｓ１００）。なお、最初のステップＳ１００における「現在のマスク設定位置」は、時間方向マスクＭＫ１を最初に設定すべきマスク設定位置（時間方向マスクＭＫ１の左端の時間が０秒となる位置）である。
【0127】
続いて、加工データ作成部５１は、現在のマスク設定位置に時間方向マスクＭＫ１を設定すると共に、その時間方向マスクＭＫ１のマスク値としてステップＳ１００で読み出したマスク値を設定する（Ｓ１０１）。なお、最初のステップＳ８１における「現在のマスク設定位置」もステップＳ１００と同様である。
【0128】
次いで、加工データ作成部５１は、マスク情報格納データベース２１から周波数方向マスクＭＫ２のマスク幅と、現在のマスク設定位置に対するマスク値とを読み込む（Ｓ１０２）。なお、最初のステップＳ１０２における「現在のマスク設定位置」は、周波数方向マスクＭＫ２を最初に設定すべき位置（周波数方向マスクＭＫ２の下端が０Hzとなる位置）である。
【0129】
さらに加工データ作成部５１は、現在のマスク設定位置に周波数方向マスクＭＫ２を設定すると共に、その周波数方向マスクＭＫ２のマスク値としてステップＳ１０２で読み出したマスク値を設定する（Ｓ１０３）。なお最初のステップＳ１０３における「現在のマスク設定位置」もステップＳ１０２と同様である。
【0130】
この後、加工データ作成部５１は、上述のようにして時間方向マスクＭＫ１及び周波数方向マスクＭＫ２を設定した検査対象音データ４０のスペクトログラムＳＧのデータを加工データ５５として取得する（Ｓ１０４）。また加工データ作成部５１は、ステップＳ１０４で取得した加工データ５５を根拠算出用波形データ格納データベース２２に格納すると共に、このとき時間方向マスクＭＫ１が設定されているマスク設定位置の時間（マスク設定位置の左端の時間）と、このとき周波数方向マスクＭＫ２が設定されているマスク設定位置の周波数（マスク設定位置の下側の時間）とをマスク位置データ５６として根拠算出用波形データ格納データベース２２に格納する（Ｓ１０５）。
【0131】
この後、加工データ作成部５１は、時間方向マスクＭＫ１のマスク設定位置を時間方向の時間が遅い側に時間方向マスクＭＫ１のマスク幅分だけシフトさせ（Ｓ１０６）、シフト後のかかるマスク設定位置の時間が検査対象音の録音時間を超過したか否かを判断する（Ｓ１０７）。
【0132】
そして加工データ作成部５１は、この判断で否定結果を得ると、ステップＳ１００に戻り、この後、ステップＳ１０７で肯定結果を得るまで、ステップＳ１００～ステップＳ１０７の処理を繰り返す。この繰返し処理により、周波数方向マスクＭＫ２を一ヶ所に固定した状態で時間方向マスクＭＫ１の位置を時間方向マスクＭＫ１のマスク幅分ずつ時間が遅い方向に順次シフトさせた加工データ５５が順次作成され、作成された加工データ５５と、その加工データ５５の作成時における時間方向マスクＭＫ１及び周波数方向マスクＭＫ２の各位置（マスク設定位置）とが順次根拠算出用波形データ格納データベース２２に格納されることになる。
【0133】
そして、加工データ作成部５１は、やがて時間方向マスクＭＫ１のマスク設定位置の時間が検査対象音の録音時間を超過するまでマスク設定位置をシフトし終えることによりステップＳ１０７で肯定結果を得ると、周波数方向マスクＭＫ２のマスク設定位置を周波数方向の周波数が高い側に周波数方向マスクＭＫ２のマスク幅分だけシフトさせ（Ｓ１０８）、シフト後の周波数方向マスクＭＫ２のマスク設定位置の周波数が上限周波数を超過したか否かを判断する（Ｓ１０９）。
【0134】
加工データ作成部５１は、この判断で否定結果を得るとステップＳ１００に戻り、この後、ステップＳ１０９で肯定結果を得るまでステップＳ１００～ステップＳ１０９の処理を繰り返す。この繰返し処理により、時間方向マスクＭＫ１がいずれかのマスク設定位置に設定されると共に、周波数方向マスクＭＫ２がいずれかのマスク設定位置に設定された場合のすべての組合せについての加工データ５５が作成され、作成された加工データ５５と、その加工データ５５の作成時における時間方向マスクＭＫ１及び周波数方向マスクＭＫ２の各位置（マスク設定位置）とが順次根拠算出用波形データ格納データベース２２に格納されることになる。
【0135】
そして、加工データ作成部５１は、やがて周波数方向マスクＭＫ２のマスク設定位置の周波数が検査対象音データ４０の上限周波数を超過するまでマスク設定位置をシフトし終えることによりステップＳ１０９で肯定結果を得ると、この時間方向×周波数方向加工データ作成処理を終了して加工データ作成処理に戻る。
【0136】
（１－２－３－４）異常度・変化率算出処理
（１－２－３－４－１）第１の異常度・変化率算出処理
図１９は、判定モデル部２０の判定モデル２０Ａがオートエンコーダ方式以外の機械学習モデルであった場合に、図１０について上述した異音検査処理のステップＳ７において異常度・変化率算出部５２により実行される一連の処理（以下、これを第１の異常度・変化率算出処理と呼ぶ）の具体的な流れを示す。
（１－２－３－４－１）第１の異常度・変化率算出処理
図１９は、判定モデル部２０の判定モデル２０Ａがオートエンコーダ方式以外の機械学習モデルであった場合に、図１０について上述した異音検査処理のステップＳ７において異常度・変化率算出部５２により実行される一連の処理（以下、これを第１の異常度・変化率算出処理と呼ぶ）の具体的な流れを示す。
【0137】
異常度・変化率算出部５２は、異音検査処理がステップＳ７に進むと、この第１の異常度・変化率算出処理を開始する。そして異常度・変化率算出部５２は、まず、根拠算出用波形データ格納データベース２２に格納されている加工データ５５の中からステップＳ１１１以降が未処理の加工データ５５を１つ選択し（Ｓ１１０）、選択した加工データ（以下、図１９の説明において、これを選択加工データと呼ぶ）５５を検査判定部３１の判定モデル部２０に出力するようにして、判定モデル２０Ａにその加工データ５５の異常度を算出させる（Ｓ１１１）。
【0138】
続いて、異常度・変化率算出部５２は、ステップＳ１１１の結果として判定モデル部２０から与えられる判定モデル２０Ａにより算出された選択加工データ５５の異常度に基づいて選択加工データ５５の元データ４６（検査対象音データ４０のスペクトログラムＳＧのデータ）からの変化率を算出する（Ｓ１１２）。
【0139】
具体的に、異常度・変化率算出部５２は、判定根拠情報格納データベース２３に格納されている元データ異常度４５を読み出し、読み出した元データ異常度４５と、判定モデル部２０の判定モデル２０Ａにより算出された選択加工データ５５の異常度とを利用して、上述の（２）式により選択加工データ５５の元データ４６の異常度からの変化率を算出する。
【0140】
次いで、異常度・変化率算出部５２は、選択加工データ５５について、判定モデル部２０の判定モデル２０Ａにより算出された異常度と、ステップＳ１１２で算出した元データ４６からの変化率とを加工データ異常度・変化率情報５７として判定根拠情報格納データベース２３に格納し（Ｓ１１３）、この後、根拠算出用波形データ格納データベース２２に格納されているすべての加工データ５５についてステップＳ１１１以降の処理を実行し終えたか否かを判断する（Ｓ１１４）。
【0141】
異常度・変化率算出部５２は、この判断で否定結果を得るとステップＳ１１０に戻り、この後、ステップＳ１１０で選択する加工データ５５をステップＳ１１１以降が未処理の他の加工データ５５に順次切り替えながらステップＳ１１０～ステップＳ１１４の処理を繰り返す。この繰返し処理により、図１９に示すように、根拠算出用波形データ格納データベース２２に格納されたすべての加工データ５５の異常度及び元データ４６からの変化率がそれぞれ算出されて、これらが加工データ異常度・変化率情報５７として判定根拠情報格納データベース２３にそれぞれ格納されることになる。
【0142】
そして異常度・変化率算出部５２は、やがて根拠算出用波形データ格納データベース２２に格納されたすべての加工データ５５の加工データ異常度・変化率情報５７を判定根拠情報格納データベース２３に格納し終えることによりステップＳ１１４で肯定結果を得ると、この第１の異常度・変化率算出処理を終了して図１０の異音検査処理に戻る。
【0143】
（１－２－３－４－２）第２の異常度・変化率算出処理
一方、図２０は、判定モデル部２０の判定モデル２０Ａがオートエンコーダ方式の機械学習モデルであった場合に図１０について上述した異音検査処理のステップＳ７において異常度・変化率算出部５２により実行される一連の処理（以下、これを第２の異常度・変化率算出処理と呼ぶ）の具体的な流れを示す。異常度・変化率算出部５２は、異音検査処理がステップＳ７に進むと、この図２０に示す第２の異常度・変化率算出処理を開始する。
一方、図２０は、判定モデル部２０の判定モデル２０Ａがオートエンコーダ方式の機械学習モデルであった場合に図１０について上述した異音検査処理のステップＳ７において異常度・変化率算出部５２により実行される一連の処理（以下、これを第２の異常度・変化率算出処理と呼ぶ）の具体的な流れを示す。異常度・変化率算出部５２は、異音検査処理がステップＳ７に進むと、この図２０に示す第２の異常度・変化率算出処理を開始する。
【0144】
そして異常度・変化率算出部５２は、まず、根拠算出用波形データ格納データベース２２に格納されている各加工データ５５の中からステップＳ１２１以降が未処理の加工データ５５を１つ選択する（Ｓ１２０）。以下、図１９の説明において、これを選択加工データ５５と呼ぶ。また異常度・変化率算出部５２は、検査対象音データ４０のスペクトログラムＳＧのデータである元データ４６を、判定根拠情報格納データベース２３から読み出すことにより取得する（Ｓ１２１）。
【0145】
続いて、異常度・変化率算出部５２は、検査対象音データ４０のマスクされたスペクトログラムＳＧのうちの時間方向マスクＭＫ１や周波数方向マスクＭＫ２によりマスクされていない領域（無加工領域）を抽出する（Ｓ１２２）。具体的には、根拠算出用波形データ格納データベース２２からマスク位置データ５６を、マスク情報格納データベース２１からマスクデータ（マスク幅）をそれぞれ読み出すことにより、選択加工データ５５のマスクされていない領域を抽出する。また異常度・変化率算出部５２は、ステップＳ１２１で取得した元データ４６に基づいて、ステップＳ１２２で抽出した無加工領域の異常度を選択加工データ５５の異常度として算出する（Ｓ１２３）。具体的に、異常度・変化率算出部５２は、かかる無加工領域に含まれる各ピクセルの異常度の平均値を選択加工データの異常度として算出する。
【0146】
次いで、異常度・変化率算出部５２は、ステップＳ１２３で算出した異常度に基づいて、選択加工データ５５の元データ４６からの変化率を算出する（Ｓ１２４）。具体的に、異常度・変化率算出部５２は、判定根拠情報格納データベース２３に格納されている元データ異常度４５を読み出し、読み出した元データ異常度４５と、ステップＳ１２３で算出した選択加工データ５５の異常度とを利用して、上述の（２）式により選択加工データ５５の元データ４６に対する変化率を算出する。
【0147】
次いで、異常度・変化率算出部５２は、ステップＳ１２３で算出した選択加工データ５５の異常度と、ステップＳ１２４で算出した選択加工データ５５の元データ４６からの変化率とを加工データ異常度・変化率情報５７として判定根拠情報格納データベース２３に格納する（Ｓ１２５）。
【0148】
この後、異常度・変化率算出部５２は、根拠算出用波形データ格納データベース２２に格納されているすべての加工データ５５についてステップＳ１２１以降の処理を実行し終えたか否かを判断する（Ｓ１２６）。
【0149】
そして異常度・変化率算出部５２は、この判断で否定結果を得るとステップＳ１２０に戻り、この後、ステップＳ１２０で選択する加工データ５５をステップＳ１２１以降が未処理の他の加工データ５５に順次切り替えながらステップＳ１２０～ステップＳ１２６の処理を繰り返す。この繰返し処理により、根拠算出用波形データ格納データベース２２に格納されたすべての加工データ５５の異常度及び変化率が算出されて、加工データ異常度・変化率情報５７として判定根拠情報格納データベース２３にそれぞれ格納されることになる。
【0150】
そして異常度・変化率算出部５２は、やがて根拠算出用波形データ格納データベース２２に格納されたすべての加工データ５５の加工データ異常度・変化率情報５７を判定根拠情報格納データベース２３に格納し終えることによりステップＳ１２６で肯定結果を得ると、この第２の異常度・変化率算出処理を終了して図１０の異音検査処理に戻る。
【0151】
【0152】
判定根拠描画部５３は、異音検査処理がステップＳ８に進むと、この図２１に示す判定根拠描画を開始し、まず、根拠算出用波形データ格納データベース２２に格納されている加工データ５５の中からステップＳ１３１以降が未処理の加工データ５５を１つ選択する（Ｓ１３０）。
【0153】
続いて、判定根拠描画部５３は、ステップＳ１３０で選択した加工データ（以下、図２０の説明において、これを選択加工データと呼ぶ）のマスク位置データ５６を根拠算出用波形データ格納データベース２２から読み出して取得すると共に（Ｓ１３１）、選択加工データ５５に対応する変化率（ここでは加工データ異常度・変化率情報５７）を判定根拠情報格納データベース２３から読み出して取得する（Ｓ１３２）。
【0154】
次いで、判定根拠描画部５３は、選択加工データ５５におけるマスク設定位置を、ステップＳ１３１で取得したマスク位置データ５６から抽出するようにして取得する（Ｓ１３３）。
【0155】
さらに判定根拠描画部５３は、ステップＳ１３３の算出結果に基づいて、検査対象音データ４０のスペクトログラムＳＧにおける、選択加工データ５５に対応するスペクトログラムＳＧのマスク（時間方向マスクＭＫ１及び周波数方向マスクＭＫ２）が設定されていたマスク設定位置を、ステップＳ１３２で取得した変化率に応じた色又は濃度でプロット（着色）する（Ｓ１３４）。
【0156】
そして判定根拠描画部５３は、この後、根拠算出用波形データ格納データベース２２に格納されたすべての加工データ５５についてステップＳ１３１～ステップＳ１３４の処理を実行し終えたか否かを判断する（Ｓ１３５）。
【0157】
判定根拠描画部５３は、この判断で否定結果を得るとステップＳ１３０に戻り、この後、ステップＳ１３０で選択する加工データ５５をステップＳ１３１以降が未処理の他の加工データ５５に順次切り替えながらステップＳ１３５で肯定結果を得るまでステップＳ１３０～ステップＳ１３５の処理を繰り返す。この繰返し処理により、図５について上述した判定根拠画像２４が徐々に描画されることになる。
【0158】
そして判定根拠描画部５３は、やがて根拠算出用波形データ格納データベース２２に格納されたすべての加工データ５５についてステップＳ１３１～ステップＳ１３４の処理を実行し終えることによりステップＳ１３５で肯定結果を得ると、この判定根拠描画を終了して図１０について上述した異音検査処理に戻る。
【0159】
（１－３）本実施の形態の効果
以上のように本実施の形態の異音検査装置１では、検査対象音データのスペクトログラムＳＧにおける時間方向マスクＭＫ１やその周波数方向マスクＭＫ２が設定された各マスク設定位置を、それぞれそのマスク設定位置に時間方向マスクＭＫ１やその周波数方向マスクＭＫ２が設定された各加工データ５５の元データ４６からの変化率に応じた色又は濃度でプロット（着色）した判定根拠画像２４を生成し、生成した判定根拠画像２４を検査判定部３１の判定結果と併せて表示する。
以上のように本実施の形態の異音検査装置１では、検査対象音データのスペクトログラムＳＧにおける時間方向マスクＭＫ１やその周波数方向マスクＭＫ２が設定された各マスク設定位置を、それぞれそのマスク設定位置に時間方向マスクＭＫ１やその周波数方向マスクＭＫ２が設定された各加工データ５５の元データ４６からの変化率に応じた色又は濃度でプロット（着色）した判定根拠画像２４を生成し、生成した判定根拠画像２４を検査判定部３１の判定結果と併せて表示する。
【0160】
従って、本異音検査装置１によれば、機械学習により得られた判定モデル部２０の判定モデル２０Ａを用いた異常有無の判定の判定結果の根拠を確実に明示することができ、かくして付加価値の高い異音検査装置を実現できる。
【0161】
（２）第２の実施の形態
第１の実施の形態において、検査対象音データ４０のスペクトログラムＳＧが例えば図２２（Ａ）のように周波数方向及び時間方向の双方に広範囲に渡る特徴をもつ（図２２（Ａ）の特徴周波数幅Ｗａ及び特徴時間幅Ｗｂが共に大きい）場合、図１１～図１４について上述したマスク作成処理によると、時間方向マスクＭＫ１のマスク幅や周波数方向マスクＭＫ２のマスク幅が共に大きくなり過ぎて解像度の高い判定根拠画像２４を描画することができない。
第１の実施の形態において、検査対象音データ４０のスペクトログラムＳＧが例えば図２２（Ａ）のように周波数方向及び時間方向の双方に広範囲に渡る特徴をもつ（図２２（Ａ）の特徴周波数幅Ｗａ及び特徴時間幅Ｗｂが共に大きい）場合、図１１～図１４について上述したマスク作成処理によると、時間方向マスクＭＫ１のマスク幅や周波数方向マスクＭＫ２のマスク幅が共に大きくなり過ぎて解像度の高い判定根拠画像２４を描画することができない。
【0162】
そこで、本実施の形態においては、時間方向マスクＭＫ１及び周波数方向マスクＭＫ２の双方を利用して検査対象音の特徴を抽出する際に、図２２（Ｂ）に示すように、時間方向マスクＭＫ１のマスク幅ＭＷａ及び周波数方向マスクＭＫ２のマスク幅ＭＷｂを予め設定した固定値とするものとする。以下、このような機能を有する第２の実施の形態による異音検査装置について説明する。
【0163】
図１及び図８において、６０は第２の実施の形態による異音検査装置を示す。この異音検査装置６０は、メモリ３（図１）に格納されたマスク作成プログラム６１（図１）をＣＰＵ２（図１）が実行することにより具現化されるマスク作成部６２（図８）の機能が第１の実施の形態のマスク作成部５０と異なる点を除いて、第１の実施の形態による異音検査装置１と同様に構成されている。
【0164】
実際上、本実施の形態の異音検査装置６０の場合、図２３に示すように、上述のマスク用音圧閾値、特徴音用音圧閾値、時間方向マスクシフト幅及び周波数方向マスクシフト幅の各デフォルト値及びユーザ設定値に加えて、時間方向マスク要否フラグ及び周波数方向マスク要否フラグと、時間方向マスク及び周波数方向マスクの双方を利用する時間方向×周波数方向マスク要否フラグとを管理している。
【0165】
そしてユーザが時間方向マスクＭＫ１を利用すべき旨の設定を行った場合には、時間方向マスク要否フラグの値が「True」に設定され、ユーザが周波数方向マスクＭＫ２を利用すべき旨の設定を行った場合には、周波数方向マスク要否フラグの値が「True」に設定される。さらにユーザがマスク幅を固定した上述の時間方向マスクＭＫ１及び周波数方向マスクＭＫ２の双方を利用すべき旨の設定を行った場合には、時間方向×周波数方向マスク要否フラグが「True」に設定される。
【0166】
マスク作成部６２は、本番運用時、時間方向マスク要否フラグ及び周波数方向マスク要否フラグのいずれかが「True」に設定されている場合には、フーリエ変換部３０から与えられた検査対象音データ４０のスペクトログラムＳＧのデータと、マスク作成用データ４１のスペクトログラムＳＧのデータと、図２３について上述したユーザによる各種設定とに基づいて、そのとき作成すべき時間方向マスクＭＫ１又は周波数方向マスクＭＫ２の各マスク幅と、その時間方向マスクＭＫ１又は周波数方向マスクＭＫ２のマスク設定位置ごとのマスク値とを第１の実施の形態と同様にそれぞれ算出する。またマスク作成部５０は、算出したこれらマスク幅と、マスク設定位置ごとのマスク値とをマスクデータ５４としてマスク情報格納データベース２１に格納する。
【0167】
これに対して、マスク作成部６２は、本番運用時、時間方向×周波数方向マスク要否フラグが「True」に設定されている場合には、フーリエ変換部３０から与えられた検査対象音データ４０のスペクトログラムデータと、マスク作成用データ４１のスペクトログラムＳＧのデータと、図２３について上述したユーザによる各種設定とに基づいて、そのとき時間方向マスクＭＫ１及び周波数方向マスクＭＫ２を設定すべき位置ごとのマスク値をそれぞれ算出する。またマスク作成部５０は、算出したこれら時間方向マスクＭＫ１及び周波数方向マスクＭＫ２をそれぞれ設定すべき位置ごとの時間方向マスクＭＫ１及び周波数方向マスクＭＫ２のマスク値と、事前に設定されている時間方向マスクＭＫ１のマスク幅及び周波数方向マスクＭＫ２のマスク幅とをマスクデータ５４としてマスク情報格納データベース２１に格納する。
【0168】
図２４は、図１１について上述したマスク作成処理のステップＳ１６において、図１４について上述した第１の実施の形態による時間方向×周波数方向マスク作成処理に代えて、本実施の形態のマスク作成部６２により実行される第２の実施の形態による時間方向×周波数方向マスク作成処理の処理内容を示す。
【0169】
マスク作成部６２は、図１１のステップＳ１６に進むとこの図２４に示す時間方向×周波数方向マスク作成処理を開始し、まず、マスク作成用データ４１のスペクトログラムＳＧにおける各指定時刻の音圧平均値をそれぞれ算出する（Ｓ１４０）。ここの「指定時刻」とは、検査対象音データ４０のスペクトログラムＳＧにおいて時間方向マスクＭＫ１がそれぞれ設定される各マスク設定位置の時間方向の中央の時刻を意味する。
【0170】
本実施の形態では、上述のように時間方向マスクＭＫ１及び周波数方向マスクＭＫ２の両方を利用する場合、これら時間方向マスクＭＫ１及び周波数方向マスクＭＫ２のマスク幅は固定であるため、検査対象音データ４０のスペクトログラムＳＧ上の時間方向マスクＭＫ１が設定される各マスク設定位置も時間方向マスクシフト幅に応じて固定的に決まっている。そこで、本実施の形態の場合、マスク作成部６２は、これらのマスク設定位置におけるマスク値を、マスク作成用データ４１のスペクトログラムＳＧにおけるそのマスク設定位置の時間方向の中央の時刻における周波数方向の音圧の平均値として算出する。
【0171】
続いて、マスク作成部６２は、マスク作成用データ４１のスペクトログラムＳＧにおける各指定周波数の音圧平均値をそれぞれ算出する（Ｓ１４１）。ここの「指定周波数」とは、検査対象音データ４０のスペクトログラムＳＧにおいて周波数方向マスクＭＫ２がそれぞれ設定される各マスク設定位置の周波数方向の中央の周波数を意味する。
【0172】
上述のように時間方向マスクＭＫ１及び周波数方向マスクＭＫ２の両方を利用する場合、これら時間方向マスクＭＫ１及び周波数方向マスクＭＫ２のマスク幅は固定であるため、検査対象音データ４０のスペクトログラムＳＧ上の周波数方向マスクＭＫ２が設定される各マスク設定位置が周波数方向マスクシフト幅に応じて固定的に決まっている。そこで、本実施の形態の場合、マスク作成部６２は、これらのマスク設定位置におけるマスク値を、マスク作成用データ４１のスペクトログラムＳＧにおけるそのマスク設定位置の周波数方向の中央の周波数における時間方向の音圧の平均値として算出する。
【0173】
次いで、マスク作成部６２は、時間方向マスクＭＫ１の各マスク設定位置と、これらマスク設定位置におけるステップＳ１４０で算出した音圧平均値（これらマスク設定位置におけるマスク値）とを、マスクデータ５４としてマスク情報格納データベース２１に格納する。またマスク作成部６２は、これと併せて、周波数方向マスクＭＫ２の各マスク設定位置と、これらマスク設定位置におけるステップＳ１４１で算出した音圧平均値（これらマスク設定位置におけるマスク値）とを、マスクデータ５４の一部としてマスク情報格納データベース２１に格納する（Ｓ１４２）。
【0174】
さらにマスク作成部６２は、時間方向マスクＭＫ１及び周波数方向マスクＭＫ２の各重複領域について、その重複領域における時間方向マスクＭＫ１及び周波数方向マスクＭＫ２の各音圧平均値の平均値を算出し、算出した平均値をその重複領域の音圧平均値（つまりその重複領域における時間方向マスクＭＫ１や周波数方向マスクＭＫ２のマスク値）をマスクデータ５４の一部としてマスク情報格納データベース２１に格納する（Ｓ１４３）。
【0175】
続いて、マスク作成部６２は、事前に設定されている時間方向マスクＭＫ１のマスク幅と、周波数方向マスクＭＫ２のマスク幅とをそれぞれ取得し（Ｓ１４４）、取得したこれらマスク幅をマスクデータ５４の一部としてマスク情報格納データベース２１に格納する（Ｓ１４５）。そしてマスク作成部６２は、この後、この時間方向×周波数方向マスク作成処理を終了する。
【0176】
以上の構成を有する本実施の形態の異音検査装置６０によれば、検査対象音データ４０のスペクトログラムＳＧが周波数方向及び時間方向の双方に広範囲に渡る特徴をもつ場合においても、解像度の高い判定根拠画像２４を描画することができ、かくして第１の実施の形態により得られる効果に加えて、より精度の高い情報を提供し得るという効果をも得ることができる。
【0177】
（３）他の実施の形態
なお上述の第１及び第２の実施の形態においては、（２）式により算出した加工データ５５ごとの変化率を利用して図５について上述した判定根拠画像２４を生成及び表示するようにした場合について述べたが、本発明はこれに限らず、例えば、次式
により算出される変化度に基づいて図２５のように各加工データ５５の変化度をそれぞれ算出し、算出した加工データ５５ごとの変化度に基づいて変化率と同様に判定根拠画像２４を生成及び表示するようにしてもよい。この場合に異音検査装置１において実行される各種処理の処理内容は、「変化率」を「変化度」と読み替えるだけで上述した第１及び第２の実施の形態と同様であるため、ここでの説明は省略する。このようにしても第１及び第２の実施の形態と同様の効果を得ることができる。
なお上述の第１及び第２の実施の形態においては、（２）式により算出した加工データ５５ごとの変化率を利用して図５について上述した判定根拠画像２４を生成及び表示するようにした場合について述べたが、本発明はこれに限らず、例えば、次式
【数3】
【0178】
なお変化度を用いる場合、検査対象音が周波数方向にも時間方向にも特徴音が入っている図６（Ａ）や図２２（Ａ）のような場合、図１１について上述したマスク作成処理において、ステップＳ１２－ステップＳ１３のルートで算出した時間方向マスクＭＫ１の変化度と、ステップＳ１２－ステップＳ１４－ステップＳ１５のルートで算出した周波数方向マスクＭＫ２の変化度とを足し合わせたものを新たな変化度と定義し、この変化度を用いて判定根拠画像２４を描画するようにしてもよい。
【0179】
また上述の第１及び第２の実施の形態においては、異常の有無の判定対象が音データである場合について述べたが、本発明はこれに限らず、音データ以外の電圧データや電流データなどの各種波形データの異常の有無の判定にも広く適用することができる。
【0180】
さらに上述の第１及び第２の実施の形態においては、検査対象音データ４０のスペクトログラムＳＧにおける、各加工データ５５に対応するスペクトログラムＳＧのマスク（時間方向マスクＭＫ１及び周波数方向マスクＭＫ２）が設定されていたマスク設定位置を、その加工データ５５の元データ４６からの変化率に応じた色又は濃度でプロット（着色）するようにした場合について述べたが、本発明はこれに限らず、例えば各マスク設定値にかかる変化率を数値として表示するようにしてもよい。ただし、第１及び第２の実施の形態のように、かかるマスク設定位置を、その加工データ５５の元データ４６からの変化率に応じた色又は濃度でプロット（着色）することによって、より視認性の高い判定根拠画像２４を生成することができる。
【0181】
さらに上述の第１及び第２の実施の形態においては、マスク設定位置ごとの時間方向マスクＭＫ１や周波数方向マスクＭＫ２のマスク値をそのマスク設定位置における環境音の平均値に基づいて算出するようにした場合について述べたが、本発明はこれに限らず、例えば、環境音に代えて、判定モデル部２０の判定モデル２０Ａの作成（学習）に用いた音データ（教師データ）を用いて上述の環境音の場合と同様にしてマスク値を求めるようにしてもよい。また環境音を利用する場合においても、マスク設定位置における平均値ではなく、直値を適用（環境音のスペクトログラムから各マスク設定位置の値をそのまま検査対象音のマスク設定位置に上書きするようにしてもよく、さらにはこれら２つの方法を組み合わせてかかる判定モデル２０Ａの作成（学習）に用いた音データ（教師データ）のスペクトログラムから、各マスク設定位置の値をそのまま検査対象音のマスク設定位置に上書きするようにしてもよい。
【産業上の利用可能性】
【0182】
本発明は検、波形データの異常判定を行う種々の検査装置に広く適用することができる。
【符号の説明】
【0183】
１，６０……異音検査装置、２……ＣＰＵ、６……表示装置、１０……フーリエ変換プログラム、１１……正常／異常判定プログラム、１２……異常検知結果出力プログラム、１３，６１……マスク作成プログラム、１４……加工データ作成プログラム、１５……異常度・変化率算出プログラム、１６……判定根拠描画プログラム、１７……結果表示プログラム、２０……判定モデル、２１……マスク情報格納データベース、２２……判定根拠算出用波形データ格納データベース、２３……判定根拠情報格納データベース、２４……判定根拠画像、３０……フーリエ変換部、３１……検査判定部、３２……判定根拠算出部、３３……結果表示部、４０……検査対象音データ、４１……マスク作成用データ、４４……判定結果情報、４５……元データ異常度、４６……元データ、５０，６２……マスク作成部、５１……加工データ作成部、５２……異常度・変化率算出部、５３……判定根拠描画部、５４……マスクデータ、５５……加工データ、５６……マスク位置データ、５７……加工データ異常度・変化率情報、５８……判定根拠情報、ＭＫ１……時間方向マスク、ＭＫ２……周波数方向マスク、ＳＧ……スペクトログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】