(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023091527
(43)【公開日】2023-06-30
(54)【発明の名称】信号処理装置、及び、信号処理方法
(51)【国際特許分類】
G06N 3/08 20230101AFI20230623BHJP
【ＦＩ】
G06N3/08
【審査請求】未請求
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2021206312
(22)【出願日】2021-12-20
(71)【出願人】
【識別番号】000145806
【氏名又は名称】株式会社小野測器
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】笠原 太郎
(72)【発明者】
【氏名】渡部 光
(72)【発明者】
【氏名】吉越 洋志
(57)【要約】
【課題】学習時間を短縮するとともに、所望のクリーン信号を予め用意することが困難な対象の音からノイズ成分と抽出信号とを良好に分離する。
【解決手段】信号処理装置１０は、入力物理量（エンジン近傍音９０）からノイズ成分（雑音９１ｂ）を除去するためのマスクαを生成するニューラルネットワーク（マスク生成ネットワーク９４Ａ）の重みＷを学習する学習部２１と、マスクを用いて入力物理量をノイズ成分と抽出信号（抽出ノッキング音９１ａ）とに分離する分離部４０と、を備え、学習部は、ノイズ成分と教師信号（観測ノッキング筒内圧９３）との関連性が小さくなるとともに、抽出信号と教師信号との関連性が大きくなるように、ニューラルネットワークの重みを学習する。
【選択図】図２
【解決手段】信号処理装置１０は、入力物理量（エンジン近傍音９０）からノイズ成分（雑音９１ｂ）を除去するためのマスクαを生成するニューラルネットワーク（マスク生成ネットワーク９４Ａ）の重みＷを学習する学習部２１と、マスクを用いて入力物理量をノイズ成分と抽出信号（抽出ノッキング音９１ａ）とに分離する分離部４０と、を備え、学習部は、ノイズ成分と教師信号（観測ノッキング筒内圧９３）との関連性が小さくなるとともに、抽出信号と教師信号との関連性が大きくなるように、ニューラルネットワークの重みを学習する。
【選択図】図２
【特許請求の範囲】
【請求項1】
ノイズ成分が含まれている入力物理量から前記ノイズ成分を除去するためのマスクを生成するニューラルネットワークの重みを学習する学習部と、
前記マスクを用いて前記入力物理量を前記ノイズ成分と前記ノイズ成分が除去された抽出信号とに分離する分離部と、を備え、
前記学習部は、前記ノイズ成分と教師信号との関連性が小さくなるとともに、前記抽出信号と前記教師信号との関連性が大きくなるように、前記ニューラルネットワークの重みを学習する
ことを特徴とする信号処理装置。
前記マスクを用いて前記入力物理量を前記ノイズ成分と前記ノイズ成分が除去された抽出信号とに分離する分離部と、を備え、
前記学習部は、前記ノイズ成分と教師信号との関連性が小さくなるとともに、前記抽出信号と前記教師信号との関連性が大きくなるように、前記ニューラルネットワークの重みを学習する
ことを特徴とする信号処理装置。
【請求項2】
請求項１に記載の信号処理装置において、
前記学習部は、前記ノイズ成分と前記教師信号とのコヒーレンス又はコヒーレントアウトプットパワーを前記ノイズ成分と前記教師信号との関連性を表す要素として用いる
ことを特徴とする信号処理装置。
前記学習部は、前記ノイズ成分と前記教師信号とのコヒーレンス又はコヒーレントアウトプットパワーを前記ノイズ成分と前記教師信号との関連性を表す要素として用いる
ことを特徴とする信号処理装置。
【請求項3】
請求項１又は請求項２に記載の信号処理装置において、
前記学習部は、前記抽出信号と教師信号とのコヒーレンス又はコヒーレントアウトプットパワーを前記抽出信号と前記教師信号との関連性を表す要素として用いる
ことを特徴とする信号処理装置。
前記学習部は、前記抽出信号と教師信号とのコヒーレンス又はコヒーレントアウトプットパワーを前記抽出信号と前記教師信号との関連性を表す要素として用いる
ことを特徴とする信号処理装置。
【請求項4】
請求項１から請求項３のいずれか一項に記載の信号処理装置において、
前記学習部は、前記ニューラルネットワークの重みを学習する際に、前記マスクに対して、前記入力物理量に関連する振幅と位相成分を加味して学習する
ことを特徴とする信号処理装置。
前記学習部は、前記ニューラルネットワークの重みを学習する際に、前記マスクに対して、前記入力物理量に関連する振幅と位相成分を加味して学習する
ことを特徴とする信号処理装置。
【請求項5】
請求項１から請求項４のいずれか一項に記載の信号処理装置において、
前記抽出信号と前記入力物理量から分離された前記ノイズ成分とのいずれか一方又は双方のレベルを変更し合成して加工音を生成する信号合成部を更に備える
ことを特徴とする信号処理装置。
前記抽出信号と前記入力物理量から分離された前記ノイズ成分とのいずれか一方又は双方のレベルを変更し合成して加工音を生成する信号合成部を更に備える
ことを特徴とする信号処理装置。
【請求項6】
ノイズ成分が含まれている入力物理量から前記ノイズ成分を除去するためのマスクを生成するニューラルネットワークの重みを学習する学習工程と、
前記マスクを用いて前記入力物理量を前記ノイズ成分と前記ノイズ成分が除去された抽出信号とに分離する分離工程と、を含み、
前記学習工程では、前記ノイズ成分と教師信号との関連性が小さくなるとともに、前記抽出信号と前記教師信号との関連性が大きくなるように、前記ニューラルネットワークの重みを学習する
ことを特徴とする信号処理方法。
前記マスクを用いて前記入力物理量を前記ノイズ成分と前記ノイズ成分が除去された抽出信号とに分離する分離工程と、を含み、
前記学習工程では、前記ノイズ成分と教師信号との関連性が小さくなるとともに、前記抽出信号と前記教師信号との関連性が大きくなるように、前記ニューラルネットワークの重みを学習する
ことを特徴とする信号処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、入力物理量をノイズ成分とノイズ成分が除去された抽出信号とに良好に分離する信号処理装置、及び、信号処理方法に関する。
【背景技術】
【0002】
例えば、ガソリンエンジンなどの内燃機関における点火時期は、出力トルクの向上を目的として、ノッキングが発生しないクランク角度の範囲内において可能な限り進角されることが一般的である。そこで、点火時期を調整する過程では、ノッキングが発生しているか否かが試験者又はノッキング判定装置によって判定される。こうしたノッキング判定装置の一例が特許文献１に記載されている。
【0003】
特許文献１に記載のノッキング判定装置は、ノッキングの有無が判定される判定信号と比較される対象信号とを、判定信号との関係（例えば、時間的な関係や運転条件における関係）で定まる条件に基づいて選択する。
【0004】
特許文献１に記載のノッキング判定装置では、ノッキング有無の判定結果しか外部に提示できず、判定結果の裏付けをとることが困難である。そこで、本発明の発明者らによって、判定結果の裏付けとなる所望の物理量を推定することが可能な装置として、特許文献２又は特許文献３に記載の装置が提案された。
【0005】
特許文献２に記載の装置は、「入力物理量に含まれるノイズ成分を除去し、前記ノイズ成分が除去された入力物理量から所望の物理量を推定するための学習装置であって、前記ノイズ成分は、内燃機関で発生するノッキング音以外の雑音であり、前記入力物理量は、前記雑音及び前記ノッキング音が含まれる前記内燃機関の音圧であり、前記所望の物理量は、ノッキング発生時の前記内燃機関の筒内圧であり、ニューラルネットワークにより、前記雑音を除去し、かつ、前記ノッキング音を抽出するマスクを生成するニューラルネットワークの重み、及び／又は、前記マスクにより抽出されたノッキング音を前記ノッキング発生時の内燃機関の筒内圧に変換する伝達関数を学習する学習部、を備えることを特徴とする学習装置。」というものである。
【0006】
特許文献３に記載の装置は、「内燃機関で発生するノッキング音以外の雑音を除去し、前記雑音が除去されたノッキング音を推定するノッキング判定装置であって、ニューラルネットワークにより、前記雑音を除去し、かつ、前記ノッキング音を抽出するマスクを生成するネットワークの重み、及び、前記マスクにより抽出されたノッキング音をノッキング発生時の内燃機関の筒内圧に変換する伝達関数を学習する学習部と、ニューラルネットワークにより、前記マスクを用いて、前記雑音が含まれるノッキング音から前記雑音が除去されたノッキング音を推定する第２推定部と、を備えることを特徴とするノッキング判定装置。」というものである。
【0007】
なお、ニューラルネットワークを用いる装置として、特許文献４に記載された装置もある。特許文献４に記載の装置は、「音響信号を変換し、複数の周波数における振幅および位相を出力する変換部と、前記振幅および前記位相を入力とするニューラルネットワークに含まれる中間層の複数のノードごとに、前記ノードの演算で用いられる複数の重みに基づいて周波数を取得する周波数取得部と、取得された複数の周波数と、複数の前記ノードそれぞれに対応する振幅および位相とに基づいて、音響信号を生成する生成部と、を備える信号生成装置。」というものである。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開２０１７－４４１４８号公報
【特許文献2】特許第６６０５１７０号公報
【特許文献3】特許第６６５１０４０号公報
【特許文献4】特許６９０３６１１号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
しかしながら、特許文献２及び特許文献３に記載された従来技術は、伝達関数部分（重み）の学習に時間がかかる、という課題があった。
また、特許文献４に記載された従来技術は、機械の音振動が大きい騒音環境下等のように、所望のクリーン信号を予め用意することが困難な対象の音（入力物理量）からノイズ成分と抽出信号とを良好に分離することが難しい、という課題があった。
また、特許文献４に記載された従来技術は、機械の音振動が大きい騒音環境下等のように、所望のクリーン信号を予め用意することが困難な対象の音（入力物理量）からノイズ成分と抽出信号とを良好に分離することが難しい、という課題があった。
【0010】
本発明は、前記の課題を解決するためになされたものであり、伝達関数部分の学習を無くしてその分の学習時間を短縮するとともに、所望のクリーン信号を予め用意することが困難な対象の音（入力物理量）からノイズ成分と抽出信号とを良好に分離する信号処理装置、及び、信号処理方法を提供することを主な目的とする。
【課題を解決するための手段】
【0011】
前記課題を解決するため、本発明は、信号処理装置であって、ノイズ成分が含まれている入力物理量から前記ノイズ成分を除去するためのマスクを生成するニューラルネットワークの重みを学習する学習部と、前記マスクを用いて前記入力物理量を前記ノイズ成分と前記ノイズ成分が除去された抽出信号とに分離する分離部と、を備え、前記学習部は、前記ノイズ成分と教師信号との関連性が小さくなるとともに、前記抽出信号と前記教師信号との関連性が大きくなるように、前記ニューラルネットワークの重みを学習する構成とする。
【0012】
また、本発明は、信号処理方法であって、ノイズ成分が含まれている入力物理量から前記ノイズ成分を除去するためのマスクを生成するニューラルネットワークの重みを学習する学習工程と、前記マスクを用いて前記入力物理量を前記ノイズ成分と前記ノイズ成分が除去された抽出信号とに分離する分離工程と、を含み、前記学習工程では、前記ノイズ成分と教師信号との関連性が小さくなるとともに、前記抽出信号と前記教師信号との関連性が大きくなるように、前記ニューラルネットワークの重みを学習する構成とする。
その他の手段は、後記する。
その他の手段は、後記する。
【発明の効果】
【0013】
本発明によれば、ノイズ成分と教師信号との関連性、及び、抽出信号と教師信号との関連性を学習に用いることで、伝達関数部分の学習を無くしてその分の学習時間を短縮することができる。また、所望のクリーン信号を予め用意することが困難な対象の音（入力物理量）からノイズ成分と抽出信号とを良好に分離することができる。
【図面の簡単な説明】
【0014】
【図1】実施形態に係る信号処理装置を含む信号処理システムの全体構成を示すブロック図である。
【図2】実施形態に係る信号処理装置の構成を示すブロック図である。
【図3A】学習モードの説明図である。
【図3B】実施形態に係る信号処理装置の学習モード時の動作説明図である。
【図4A】閾値算出モードの説明図である。
【図4B】実施形態に係る信号処理装置の閾値算出モード時の動作説明図である。
【図5A】判定モードの説明図である。
【図5B】実施形態に係る信号処理装置の判定モード時の動作説明図である。
【図6A】分離モードの説明図である。
【図6B】実施形態に係る信号処理装置の分離モード時の動作説明図である。
【図7A】官能試験モードの説明図である。
【図7B】実施形態に係る信号処理装置の官能試験モード時の動作説明図である。
【図8A】学習時におけるノイズ成分と教師信号との関係を表す説明図である。
【図8B】学習時における抽出信号と教師信号との関係を表す説明図である。
【図9】実施形態において、マスクを生成するニューラルネットワークの重みの学習の説明図である。
【図10A】圧力や、振動、音などの位相成分が考慮されていない場合の計算例の説明図である。
【図10B】圧力や、振動、音などの位相成分が考慮されている場合の計算例の説明図である。
【図11A】官能試験における信号処理の説明図（１）である。
【図11B】官能試験における信号処理の説明図（２）である。
【図11C】官能試験における信号処理の説明図（３）である。
【図12A】官能試験における信号処理の説明図（４）である。
【図12B】官能試験における信号処理の説明図（５）である。
【図12C】官能試験における信号処理の説明図（６）である。
【図13】実施形態において、信号処理装置のデータ収集処理を示すフローチャートである。
【図14A】実施形態において、信号処理装置の学習処理を示すフローチャートである。
【図14B】学習処理のサブルーチンを示すフローチャートである。
【図15A】実施形態において、信号処理装置の閾値算出処理を示すフローチャートである。
【図16】実施形態において、信号処理装置の判定処理を示すフローチャートである。
【図17】実施形態において、信号処理装置の分離処理を示すフローチャートである。
【図18】実施形態において、信号処理装置の官能試験処理を示すフローチャートである。
【図19】第１変形例の説明図である。
【図20】第１変形例において、マスクを生成するニューラルネットワークの重みの学習の説明図である。
【図21】第２変形例の説明図である。
【図22】第２変形例において、マスクを生成するニューラルネットワークの重みの学習の説明図である。
【図23】第３変形例において、マスクを生成するニューラルネットワークの重みの学習の説明図である。
【発明を実施するための形態】
【0015】
図面を参照して、本発明の実施形態（以下、「本実施形態」と称する）について詳細に説明する。なお、各図は、本発明を十分に理解できる程度に、概略的に示しているに過ぎない。よって、本発明は、図示例のみに限定されるものではない。また、各図において、共通する構成要素や同様な構成要素については、同一の符号を付し、それらの重複する説明を省略する。
【0016】
なお、特許文献２及び特許文献３に記載された従来技術は、入力物理量に関連する位相成分を考慮することなく、入力物理量をノイズ成分と抽出信号とに分離する構成になっていた。そのため、従来技術は、入力物理量をノイズ成分と抽出信号とに分離しても、ノイズ成分に抽出信号が混入してしまい、抽出信号を正確に分離できなかった。そこで、本発明は、位相成分を考慮した構成を実現することにより、入力物理量をノイズ成分と抽出信号とに良好に分離する信号処理装置を提供することも意図している。
【0017】
また、特許文献２及び特許文献３に記載された従来技術は、学習が終わった後の推定時に伝達関数を取り外して所望の物理量の推定の有無が選択可能になっている。これに対して、本発明は、学習時にも特許文献２及び特許文献３に記載された伝達関数を用いない信号処理装置を提供することも意図している。
【0018】
＜信号処理装置を含む信号処理システムの全体構成＞
図１を参照して、本実施形態に係る信号処理装置１０を含む信号処理システム１００の全体構成について説明する。図１は、信号処理装置１０を含む信号処理システム１００の全体構成を示すブロック図である。
図１を参照して、本実施形態に係る信号処理装置１０を含む信号処理システム１００の全体構成について説明する。図１は、信号処理装置１０を含む信号処理システム１００の全体構成を示すブロック図である。
【0019】
信号処理装置１０は、信号に対して各種の処理を行う装置である。本実施形態では、ガソリンエンジンなどの内燃機関でノッキングが発生しているか否かを検証する用途に信号処理装置１０が用いられるものとして説明する。ただし、信号処理装置１０は、このような用途に限らず、様々な用途に用いることができる。
【0020】
図１に示すように、信号処理システム１００は、試験対象となるエンジン１のノッキングの有無を判定するものであり、音圧センサ４と、筒内圧センサ５と、データ収集装置６と、モニタ７と、ヘッドホン８と、レベル指定部９と、信号処理装置１０とを備える。
【0021】
図１に示すように、試験対象のエンジン１は、車両３に搭載されている。なお、試験対象のエンジン１は、車両３に搭載されない状態、例えば単独の状態で用いられてもよい。エンジン１には、エンジン１の駆動を制御するエンジンＥＣＵ（Electronic Control Unit）２が接続されている。エンジンＥＣＵ２は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random access memory）、その他の記憶装置等で構成されている。エンジンＥＣＵ２は、ＲＯＭや記憶装置に記憶されたプログラムをＣＰＵで演算処理することで、エンジン１の駆動制御に必要な各種情報をエンジンＥＣＵ２の外部から取得しながらエンジン１の駆動を制御する。
【0022】
エンジンＥＣＵ２は、エンジン１の現在の回転角度を表す角度情報をデータ収集装置６に出力する。角度情報には、例えば、基準角度パルスとクランク角度パルスとが含まれる。基準角度パルスは、クランク軸の一回転中の基準角度位置で出力される基準のパルスで、例えば、クランク軸が１回転する毎に１パルスが出力される。また、クランク角度パルスは、クランク軸が一定角度回転する毎に出力されるパルスであって、例えば、１°毎に１パルスが出力される場合、吸入、圧縮、燃焼及び排気の４行程を１サイクルとする４ストロークエンジンにおいて、１サイクルにクランク軸が回転する２回転の間に７２０パルスが出力される。なお、角度情報がデータ収集装置６に入力されるのであれば、エンジンＥＣＵ２を介さず、クランク軸の回転角度の原点を検出する原点センサや、クランク軸の回転角度を検出する角度センサからの角度情報がデータ収集装置６に入力されてもよい。
【0023】
エンジン１の近くには、音圧センサ４が設置されている。音圧センサ４は、エンジン１から発生する音を検出し、この検出した音に基づく音圧信号をデータ収集装置６に出力する。詳述すると、音圧センサ４は、エンジン１に発生する筒内圧力変動に基づく物理量の一例である音圧を検出し、検出された音圧の大きさを示す音圧信号を生成する。よって、エンジン１にノッキングが発生していないとき、音圧センサ４から出力される音圧信号には、ノッキングに相関のある音は含まれない。一方、エンジン１にノッキングが発生しているとき、音圧センサ４から出力される音圧信号には、ノッキングに相関のある音が含まれている。
【0024】
エンジン１には、エンジン１の筒内圧を検出する筒内圧センサ５を取り付ける。筒内圧センサ５は、筒内の燃焼ガス振動に応じた波形成分を含む筒内圧信号をデータ収集装置６に出力する。ここで、エンジン１にノッキングが発生していないとき、筒内圧センサ５から出力される筒内圧信号には、ノッキングに相関した成分が含まれない。一方、エンジン１にノッキングが発生しているとき、筒内圧センサ５から出力される筒内圧信号には、ノッキングに相関した成分が含まれている。筒内圧センサ５は、点火プラグと一体化したものを用いてもよいし、点火プラグとは別個に構成されたものを用いてもよい。
【0025】
データ収集装置６は、音圧センサ４からの音圧信号を入力してＡ／Ｄ変換する。また、データ収集装置６は、音圧信号を入力するタイミングで、エンジンＥＣＵ２から現在の角度情報を取得する。そして、データ収集装置６は、角度情報に基づいてエンジン１の１サイクル分の音圧信号を取得する。よって、４ストローク単気筒エンジンを例とすると、データ収集装置６は、単位時間当たりのエンジン１の回転速度に応じた数、例えば、回転速度が３０００［ｒ／ｍｉｎ］であれば１分間に１５００個の音圧信号を生成する。また、データ収集装置６は、一部又は全部の音圧信号に角度情報を関連付ける。そして、データ収集装置６は、角度情報が関連付けられた音圧信号を信号処理装置１０に出力する。なお、データ収集装置６は、音圧信号を一時的に保持したり、一旦蓄えたりしてから信号処理装置１０に出力してもよい。また、データ収集装置６は、音圧信号に時刻情報を関連付けてもよい。
【0026】
モニタ７は、信号処理装置１０が抽出したエンジン１のノッキング音や、信号処理装置１０によるノッキング有無の判定結果を表示する。モニタ７の一例として、一般的なフラットパネルディスプレイがある。
【0027】
ヘッドホン８は、音を発する放音部である。ヘッドホン８は、後記する官能試験モードで試験対象物（本実施形態では、エンジン１）の状況を検査する際に、信号処理装置１０の操作者の頭部に装着される。
【0028】
レベル指定部９は、信号に対する上昇レベル又は下降レベルを指定するレベル指定情報を受け付ける入力部である。レベル指定部９は、例えばタッチパネルディスプレイや、テンキー、専用のスイッチなどによって構成されている。本実施形態では、抽出信号（抽出ノッキング音９１ａ（図１１Ｂ））のレベルを変更してレベル変更抽出信号（レベル変更ノッキング音９１ａａ（図１２Ａ））を生成する場合に、抽出信号の上昇レベル又は下降レベルを指定（入力）するために、信号処理装置１０の操作者、又は検査者を含む、その周囲の人物によってレベル指定部９が操作される。
【0029】
信号処理装置１０は、マスクαを生成するニューラルネットワーク９４（図３Ａ）の重みＷ（図３Ｂ）を学習する。以下、「マスクαを生成するニューラルネットワーク９４」を「マスク生成ネットワーク９４Ａ（図３Ａ）」と称する場合がある。また、「マスク生成ネットワーク９４Ａの重みＷ」を「ニューラルネットワークの重みＷ」と称する場合がある。ここで、マスクαは、ノイズ成分が含まれている入力物理量からノイズ成分を除去するための実数又は複素数の行列である。マスクαは、入力物理量に合わせて変化する。
【0030】
信号処理装置１０は、学習したニューラルネットワークが生成したマスクαを用いて、エンジン１の近傍音からノッキング音を抽出し、抽出したノッキング音に基づいて、ノッキングの有無を判定する。そして、信号処理装置１０は、抽出したノッキング音や、ノッキング有無の判定結果をモニタ７に表示する。
【0031】
ここで、信号処理装置１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、その他の記憶装置等で構成されている。信号処理装置１０は、ＲＯＭや記憶装置に記憶されているプログラムをＣＰＵで演算処理する。なお、信号処理装置１０は、以下の処理を実行するプログラムを有するパーソナルコンピュータ（ＰＣ）等であってもよい。
【0032】
本実施形態では、信号処理装置１０は、学習モード、閾値算出モード、判定モード、分離モード、官能試験モードという５つの動作モードで動作する。１つ目の学習モードは、マスクα（図３Ａ）を生成するニューラルネットワークの重みＷ（図３Ｂ）を学習する動作モードである。２つ目の閾値算出モードは、マスクαを生成するニューラルネットワークの重みＷの学習後、ノッキングの有無を閾値判定するときの閾値を算出する動作モードである。３つ目の判定モードは、学習したニューラルネットワークに入力物理量を入力することで生成されたマスクαを用いて入力物理量（本実施形態では、エンジン近傍音９０）から抽出信号（本実施形態では、抽出ノッキング音９１ａ）を抽出し、ノッキングの有無を判定する動作モードである。４つ目の分離モードは、入力物理量を抽出信号とノイズ成分（本実施形態では、雑音９１ｂ）とに分離する動作モードである。５つ目の官能試験モードは、検査者が後記する加工音を聞き取り、検査者の聴感によって検査すべき目的音（本実施形態では、ノッキング音）における閾値算出モードで使用するデータを決定するための動作モードである。５つ目の官能試験モードでは、例えば許容範囲外となった音から閾値を算出する。
【0033】
これら５つの動作モードは、任意に切り替えることができる。例えば、図示を省略した管理装置により、ＣＡＮ（Controller Area Network）を介して、信号処理装置１０の動作モードを切り替えることができる。また、図示を省略したマウス、キーボード等の操作手段を用いて、信号処理装置１０の動作モードを切り替えてもよい。
【0034】
学習モードの場合、ノッキングが発生する運転条件、及び、ノッキングが発生しない運転条件でそれぞれエンジン１を運転し、データ収集装置６が、教師データ（教師信号）として、筒内圧信号を収集する。このとき、データ収集装置６は、筒内圧センサ５からの筒内圧信号を入力してＡ／Ｄ変換し、これを音圧信号に関連付けておく。
【0035】
閾値算出モードの場合、ノッキングが発生しない運転条件でエンジン１を運転し、データ収集装置６が、音圧信号を収集する。
【0036】
判定モードの場合、学習したニューラルネットワークにより生成されたマスクαを用いてエンジン近傍音９０（入力物理量）から抽出ノッキング音９１ａ（抽出信号）を抽出し、信号処理装置１０が、閾値に基づいてノッキングの有無を判定する。
【0037】
なお、閾値算出モード又は判定モードの場合、データ収集装置６が、筒内圧信号を収集する必要はない。つまり、学習モードの場合、音圧センサ４と筒内圧センサ５の双方が動作するが、閾値算出モード又は判定モードの場合、音圧センサ４のみが動作する。
【0038】
分離モードの場合、エンジン１を運転し、信号処理装置１０が、エンジン近傍音９０（入力物理量）を学習したニューラルネットワークに入力してマスクαを生成し、雑音９１ｂ（ノイズ成分）と抽出ノッキング音９１ａ（抽出信号）とに分離する。その際に、信号処理装置１０は、雑音９１ｂをノイズ成分記憶部２６ｃに、抽出ノッキング音９１ａを抽出信号記憶部２６ｄに、それぞれ記憶する。本発明では、入力物理量に関連する振幅と位相を考慮して、マスクαを生成するニューラルネットワークの重みＷを学習することにより分離性能が向上している。マスクαは実数又は複素数で実装する。これにより、信号処理装置１０は、入力物理量をノイズ成分と抽出信号とに良好に分離することができる。
【0039】
官能試験モードの場合、信号処理装置１０が、レベル指定部９からレベル指定情報を受け付け、レベル指定情報に基づいて、雑音９１ｂ（ノイズ成分）と抽出ノッキング音９１ａ（抽出信号）とを用いて加工音を生成する。
【0040】
仮に振幅スペクトルが同じだとしても、位相スペクトルによって信号波形は大きく変わるため、聴感印象に多大な影響を及ぼす。そのため、品質の良い加工音を生成するには、位相を考慮して、加工音に用いる抽出信号（本実施形態では、抽出ノッキング音９１ａ）を取得することが重要である。換言すると、信号処理装置１０は、入力物理量に関連する振幅と位相を考慮して、マスクαを生成するニューラルネットワークの重みＷを学習することにより分離性能が向上し、品質の良い加工音（聴感上、ノッキング音が自然な加工音）を生成することができる。
【0041】
＜信号処理装置の構成＞
図２を参照して、信号処理装置１０の構成について説明する。図２は、信号処理装置１０の構成を示すブロック図である。図２に示すように、信号処理装置１０は、信号切出部１１と、スペクトログラム算出部１２と、信号記憶部１３と、スイッチ１４と、学習処理部２０（学習装置）と、判定処理部３０と、分離部４０と、信号合成部５０と、を備える。ここで、信号処理装置１０は、データ収集装置６から、音圧信号と、この音圧信号に関連付けられた角度情報とが入力される。さらに、学習モードの場合、信号処理装置１０は、データ収集装置６から筒内圧信号が入力される。
図２を参照して、信号処理装置１０の構成について説明する。図２は、信号処理装置１０の構成を示すブロック図である。図２に示すように、信号処理装置１０は、信号切出部１１と、スペクトログラム算出部１２と、信号記憶部１３と、スイッチ１４と、学習処理部２０（学習装置）と、判定処理部３０と、分離部４０と、信号合成部５０と、を備える。ここで、信号処理装置１０は、データ収集装置６から、音圧信号と、この音圧信号に関連付けられた角度情報とが入力される。さらに、学習モードの場合、信号処理装置１０は、データ収集装置６から筒内圧信号が入力される。
【0042】
信号切出部１１は、データ収集装置６から入力された角度情報に基づいて、入力された音圧信号から所定の切出角度範囲の音圧信号を切り出す。例えば、切出角度範囲はＡＴＤＣ（After Top Dead Center）の約－１０～９０°の角度範囲である。本実施形態では、ＴＤＣ（Top Dead Center）を基準として切り出されているため、点火タイミングが変更されても切出角度範囲は固定されたままであるが、点火タイミングの変更に応じて切出角度範囲を変更してもよい。信号切出部１１は、音圧信号を切り出すと、切り出した音圧信号をスペクトログラム算出部１２に出力する。
【0043】
スペクトログラム算出部１２は、信号切出部１１が切り出した音圧信号に対して短時間フーリエ変換（ＳＴＦＴ：Short Time Fourier Transform）を行い、音圧信号のスペクトログラムを算出する。短時間フーリエ変換は、例えば、離散フーリエ変換を高速に計算する高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）により行われる。
その後、スペクトログラム算出部１２は、音圧信号のスペクトログラムを信号記憶部１３に書き込む。
その後、スペクトログラム算出部１２は、音圧信号のスペクトログラムを信号記憶部１３に書き込む。
【0044】
信号記憶部１３は、スペクトログラム算出部１２が変換した音圧信号のスペクトログラムを記憶するメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等の記憶装置である。なお、学習モードの場合、信号記憶部１３は、データ収集装置６から入力された筒内圧信号（観測ノッキング筒内圧９３（図３Ａ））を、教師データ（教師信号）として記憶する。ここで、「ノッキング筒内圧」とは、筒内圧信号に重畳したノッキング成分を表す。ノッキング筒内圧は、筒内圧をノッキングの周波数成分以上の周波数帯を通過させるハイパスフィルタ処理することで得られる。
【0045】
スイッチ１４は、前記した５つの動作モードに対応する学習モード用接続部Ｍ１、閾値算出モード用接続部Ｍ２、判定モード用接続部Ｍ３、分離モード用接続部Ｍ４、官能試験モード用接続部Ｍ５に任意に切り替えることができる。信号処理装置１０は、信号処理装置１０の動作モードに応じてスイッチ１４を切り替えることにより、信号記憶部１３に記憶されている信号を任意の出力先に出力することができる。
【0046】
例えば学習モードの場合、信号処理装置１０は、スイッチ１４を学習モード用接続部Ｍ１に接続して、信号記憶部１３に記憶されている音圧信号のスペクトログラム及び筒内圧信号を後記する学習部２１に出力する。また、閾値算出モードの場合、信号処理装置１０は、スイッチ１４を閾値算出モード用接続部Ｍ２に接続して信号記憶部１３に記憶されている音圧信号のスペクトログラムを後記する第１推定部２３に出力する。また、判定モードの場合、信号処理装置１０は、スイッチ１４を判定モード用接続部Ｍ３に接続して、信号記憶部１３に記憶されている音圧信号のスペクトログラムを後記する第２推定部３１（抽出信号推定部）に出力する。また、分離モードの場合、信号処理装置１０は、スイッチ１４を分離モード用接続部Ｍ４に接続して、信号記憶部１３に記憶されている音圧信号のスペクトログラムを後記する分離部４０に出力する。また、官能試験モードの場合、信号処理装置１０は、スイッチ１４を官能試験モード用接続部Ｍ５に接続して、図示せぬ信号生成部によって予め生成されて信号記憶部１３に記憶された官能試験モードの実行指示信号を後記する信号調整部５１に出力する。ここでは、官能試験モードの実行指示信号が図示せぬ信号生成部によって予め生成されて信号記憶部１３に記憶されているものとして説明する。ただし、官能試験モードの実行指示信号は、スイッチ１４が官能試験モード用接続部Ｍ５に接続されたときに、図示せぬ信号生成部によって生成されて、信号記憶部１３を介さずに、図示せぬ信号生成部から後記する信号調整部５１に出力されるようにしてもよい。
【0047】
＜学習処理部＞
学習処理部２０は、学習モードにおいて、マスクαを生成するニューラルネットワークの重みＷ（図３Ｂ）を学習する学習処理（図１４Ａ）を行い、閾値算出モードにおいて、エンジン１の抽出したノッキング音の閾値判定に用いる閾値を算出する閾値算出処理（図１５Ａ）を行う。図２に示すように、学習処理部２０は、学習部２１と、学習済みパラメータ記憶部２２と、第１推定部２３と、閾値算出部２４と、閾値記憶部２５と、教師信号記憶部２６ａと、ノイズ成分記憶部２６ｃと、抽出信号記憶部２６ｄと、を備える。
学習処理部２０は、学習モードにおいて、マスクαを生成するニューラルネットワークの重みＷ（図３Ｂ）を学習する学習処理（図１４Ａ）を行い、閾値算出モードにおいて、エンジン１の抽出したノッキング音の閾値判定に用いる閾値を算出する閾値算出処理（図１５Ａ）を行う。図２に示すように、学習処理部２０は、学習部２１と、学習済みパラメータ記憶部２２と、第１推定部２３と、閾値算出部２４と、閾値記憶部２５と、教師信号記憶部２６ａと、ノイズ成分記憶部２６ｃと、抽出信号記憶部２６ｄと、を備える。
【0048】
学習部２１は、学習モードにおいて、エンジン近傍音９０から雑音９１ｂを除去し、かつ、抽出ノッキング音９１ａを抽出するマスクαを生成するニューラルネットワーク９４（図３Ａ）の重みＷを学習する。本実施形態では、学習部２１は、信号記憶部１３から入力された音圧信号のスペクトログラム及び筒内圧信号を用いて、マスクαを生成するニューラルネットワーク９４の重みＷを学習する。その後、学習部２１は、学習したマスクαを生成するニューラルネットワーク９４の重みＷを学習済みパラメータ記憶部２２に書き込む。
【0049】
学習済みパラメータ記憶部２２は、学習済みのパラメータ（マスクαを生成するニューラルネットワークの重みＷ）を記憶するメモリ、ＨＤＤ、ＳＳＤ等の記憶装置である。
【0050】
第１推定部２３は、閾値算出モードにおいて、ニューラルネットワーク９４により生成されたマスクαを用いて、音圧信号のスペクトログラムからエンジン１の抽出ノッキング音９１ａを抽出する。この第１推定部２３が抽出した抽出ノッキング音９１ａは、後記する閾値を算出するときに利用される。具体的には、第１推定部２３は、学習済みパラメータ記憶部２２のマスクαを生成するニューラルネットワークの重みＷが反映されたニューラルネットワーク９４に、信号記憶部１３から入力された音圧信号のスペクトログラムを入力する。すると、学習したニューラルネットワークにより生成されたマスクαが音圧信号のスペクトログラムから抽出ノッキング音９１ａを抽出する。その後、第１推定部２３は、抽出ノッキング音９１ａを閾値算出部２４に出力する。
【0051】
閾値算出部２４は、第１推定部２３が抽出したエンジン１の抽出ノッキング音９１ａに基づいて閾値を算出する。具体的には、閾値算出部２４は、抽出ノッキング音９１ａのスペクトログラムの絶対値を所定時間（例えば、エンジン１の１サイクル）毎に総和する。例えば、複数の気筒を有するエンジン１では、抽出ノッキング音９１ａを総和すると、気筒別に１つのスコアが求められる。続いて、閾値算出部２４は、所定時間毎に総和した抽出ノッキング音９１ａの中央値を算出する。例えば、閾値算出部２４は、全てのサイクルについて、抽出ノッキング音９１ａの総和の中央値を算出する。このとき、閾値算出部２４は、任意の値で予め設定したマージンを中央値に加算し、閾値とする。なお、閾値算出部２４は、気筒毎に抽出ノッキング音９１ａを総和して中央値を求め、気筒毎の閾値を算出してもよい。また、閾値算出部２４は、各気筒で抽出ノッキング音９１ａを総和し、全気筒で中央値を求め、全気筒で共通の閾値を算出してもよい。また、後述する官能試験にて、検査者により許容不可能と判断された加工音９１ｃの抽出ノッキング音９１ａの総和を求め、総和値以下の任意の値を閾値としてもよい。その後、閾値算出部２４は、算出した閾値を閾値記憶部２５に書き込む。
【0052】
閾値記憶部２５は、閾値算出部２４が算出した閾値を記憶するメモリ、ＨＤＤ、ＳＳＤ等の記憶装置である。
【0053】
教師信号記憶部２６ａは、教師信号（本実施形態では、観測ノッキング筒内圧９３（図３Ａ））を記憶するメモリ、ＨＤＤ、ＳＳＤ等の記憶装置である。
【0054】
ノイズ成分記憶部２６ｃは、入力物理量に含まれているノイズ成分（本実施形態では、雑音９１ｂ（図６Ａ））を記憶するメモリ、ＨＤＤ、ＳＳＤ等の記憶装置である。
【0055】
抽出信号記憶部２６ｄは、ノイズ成分が含まれている入力物理量からノイズ成分を除去した抽出信号（本実施形態では、抽出ノッキング音９１ａ（図６Ａ））を記憶するメモリ、ＨＤＤ、ＳＳＤ等の記憶装置である。
【0056】
＜判定処理部＞
判定処理部３０は、判定モードにおいて、音圧信号のスペクトログラムからエンジン１のノッキング音を抽出し、ノッキングの有無を判定する判定処理（図１６）を行う。図２に示すように、判定処理部３０は、第２推定部３１（抽出信号推定部）と、閾値判定部３２とを備える。
判定処理部３０は、判定モードにおいて、音圧信号のスペクトログラムからエンジン１のノッキング音を抽出し、ノッキングの有無を判定する判定処理（図１６）を行う。図２に示すように、判定処理部３０は、第２推定部３１（抽出信号推定部）と、閾値判定部３２とを備える。
【0057】
第２推定部３１（抽出信号推定部）は、判定モードにおいて、ニューラルネットワーク９４により生成されたマスクαを用いて、音圧信号のスペクトログラムから抽出ノッキング音９１ａ（抽出信号）を抽出する。この第２推定部３１が抽出した抽出ノッキング音９１ａは、後記する閾値判定に利用される。なお、第２推定部３１の処理内容は、第１推定部２３と同様のため、説明を省略する。
その後、第２推定部３１は、抽出ノッキング音９１ａを閾値判定部３２に出力する。
その後、第２推定部３１は、抽出ノッキング音９１ａを閾値判定部３２に出力する。
【0058】
閾値判定部３２は、判定モードにおいて、閾値記憶部２５に記憶されている閾値と、第２推定部３１が抽出した抽出ノッキング音９１ａとの閾値判定により、ノッキングの有無を判定する。具体的には、閾値判定部３２は、閾値算出部２４と同様、抽出ノッキング音９１ａのスペクトログラムの絶対値を所定時間毎に総和する。そして、閾値判定部３２は、総和した抽出ノッキング音９１ａと閾値とを比較し、総和した抽出ノッキング音９１ａが閾値を超える場合にはノッキング有りと判定し、総和した抽出ノッキング音９１ａが閾値以下の場合にはノッキング無しと判定する。その後、閾値判定部３２は、ノッキング有無の判定結果と、第２推定部３１から入力された抽出ノッキング音９１ａをモニタ７（図１）に出力する。
【0059】
＜分離部＞
分離部４０は、マスクαを用いて入力物理量をノイズ成分と抽出信号とに分離する。本実施形態では、図６Ａに示すように、分離部４０は、入力物理量としてのエンジン近傍音９０をノイズ成分である雑音９１ｂと抽出信号である抽出ノッキング音９１ａとに分離する。
分離部４０は、マスクαを用いて入力物理量をノイズ成分と抽出信号とに分離する。本実施形態では、図６Ａに示すように、分離部４０は、入力物理量としてのエンジン近傍音９０をノイズ成分である雑音９１ｂと抽出信号である抽出ノッキング音９１ａとに分離する。
【0060】
＜信号合成部＞
信号合成部５０は、各種の信号を合成して加工音を生成する。本実施形態では、図１１Ａから図１２Ｃに示すように、信号合成部５０は、抽出ノッキング音９１（抽出信号）のレベルを変更して、エンジン近傍音９０（入力物理量）から分離された雑音９１ｂ（ノイズ成分）と合成して加工音を生成する。信号合成部５０は、信号調整部５１と、信号出力部５２とを有している。信号調整部５１は、レベル指定部９で指定（入力）された信号の上昇レベル又は下降レベルに応じて抽出ノッキング音９１のレベルを変更し、レベルが変更された抽出ノッキング音９１（レベル変更抽出信号）とノイズ成分とを合成して加工音を生成する。信号出力部５２は、加工音（信号）を放音部（ヘッドホン８）に出力して、放音部に加工音を放音させる。
信号合成部５０は、各種の信号を合成して加工音を生成する。本実施形態では、図１１Ａから図１２Ｃに示すように、信号合成部５０は、抽出ノッキング音９１（抽出信号）のレベルを変更して、エンジン近傍音９０（入力物理量）から分離された雑音９１ｂ（ノイズ成分）と合成して加工音を生成する。信号合成部５０は、信号調整部５１と、信号出力部５２とを有している。信号調整部５１は、レベル指定部９で指定（入力）された信号の上昇レベル又は下降レベルに応じて抽出ノッキング音９１のレベルを変更し、レベルが変更された抽出ノッキング音９１（レベル変更抽出信号）とノイズ成分とを合成して加工音を生成する。信号出力部５２は、加工音（信号）を放音部（ヘッドホン８）に出力して、放音部に加工音を放音させる。
【0061】
＜学習モード時の動作＞
図３Ａ、図３Ｂ、図８Ａ、図８Ｂ、及び図９を参照して、信号処理装置１０の学習モード時の動作について説明する。図３Ａは、学習モードの説明図である。図３Ｂは、信号処理装置１０の学習モード時の動作説明図である。図８Ａは、学習時におけるノイズ成分と教師信号との関係を表す説明図である。図８Ｂは、学習時における抽出信号と教師信号との関係を表す説明図である。図９は、実施形態において、マスクαを生成するニューラルネットワークの重みＷの学習の説明図である。
図３Ａ、図３Ｂ、図８Ａ、図８Ｂ、及び図９を参照して、信号処理装置１０の学習モード時の動作について説明する。図３Ａは、学習モードの説明図である。図３Ｂは、信号処理装置１０の学習モード時の動作説明図である。図８Ａは、学習時におけるノイズ成分と教師信号との関係を表す説明図である。図８Ｂは、学習時における抽出信号と教師信号との関係を表す説明図である。図９は、実施形態において、マスクαを生成するニューラルネットワークの重みＷの学習の説明図である。
【0062】
図３Ａに示すように、学習モード時において、信号処理装置１０の学習部２１は、エンジン近傍音９０（入力物理量）を雑音９１ｂ（ノイズ成分）と抽出ノッキング音９１ａ（抽出信号）とに分離する。その際に、学習部２１は、エンジン近傍音９０にマスクαを掛け合わせて抽出ノッキング音９１ａを取得する。また、学習部２１は、エンジン近傍音９０から抽出ノッキング音９１ａ（抽出信号）を差し引くことで、雑音９１ｂを取得する。本実施形態では、マスクαは、エンジン近傍音９０に含まれるノッキング音の割合と位相成分を考慮している。位相成分については、図１０Ａ及び図１０Ｂを用いて後記する。
【0063】
信号処理装置１０の学習部２１は、マスクαを生成するニューラルネットワークの重みＷを学習する際に、マスクαに対して、エンジン近傍音９０（入力物理量）に関連する振幅と位相成分を加味して学習する。位相成分については、図１０Ａ及び図１０Ｂを用いて後記する。
【0064】
本実施形態では、図３Ａに示すように、学習部２１は、雑音９１ｂ（ノイズ成分）と教師信号（観測ノッキング筒内圧９３）との関連性が小さくなるとともに、抽出ノッキング音９１ａ（抽出信号）と教師信号（観測ノッキング筒内圧９３）との関連性が大きくなるように、ニューラルネットワークの重みを学習する。具体的には、学習部２１は、雑音９１ｂ（ノイズ成分）のスペクトログラムに対して逆短時間フーリエ変換（ＩＳＴＦＴ）を行うことにより取得された第１信号Ｓｆｉと観測ノッキング筒内圧９３（教師信号）とのコヒーレンスが小さくなるとともに、抽出ノッキング音９１ａ（抽出信号）のスペクトログラムに対して逆短時間フーリエ変換（ＩＳＴＦＴ）を行うことにより取得された第２信号Ｓｓｅと観測ノッキング筒内圧９３（教師信号）とのコヒーレンスが大きくなるように、マスクαを生成するニューラルネットワークの重みＷを学習する。これにより、信号処理装置１０は、雑音９１ｂから筒内圧に起因する音を除去することができる。
【0065】
【0066】
図３Ｂに示すように、学習モード時において、信号処理装置１０は、スイッチ１４を学習モード用接続部Ｍ１に接続して、信号記憶部１３に記憶されているエンジン近傍音９０のスペクトログラム及び観測ノッキング筒内圧９３を学習部２１に出力する。
【0067】
これに応答して、学習部２１は、エンジン近傍音９０（入力物理量）から雑音９１ｂ（ノイズ成分）を除去するマスクαを生成するニューラルネットワーク９４（図３Ａ）の重みＷを学習する。このとき、学習部２１は、新しいエンジン近傍音９０が入力される度に、エンジン近傍音９０に対応するマスクαを生成する。
【0068】
そして、学習部２１は、学習されたパラメータ（マスクαを生成するニューラルネットワークの重みＷ）を学習済みパラメータ記憶部２２に記憶する。また、学習部２１は、観測ノッキング筒内圧９３を教師信号記憶部２６ａに記憶する。
【0069】
＜閾値算出モード時の動作＞
図４Ａ及び図４Ｂを参照して、信号処理装置１０の閾値算出モード時の動作について説明する。図４Ａは、閾値算出モードの説明図である。図４Ｂは、信号処理装置１０の閾値算出モード時の動作説明図である。
図４Ａ及び図４Ｂを参照して、信号処理装置１０の閾値算出モード時の動作について説明する。図４Ａは、閾値算出モードの説明図である。図４Ｂは、信号処理装置１０の閾値算出モード時の動作説明図である。
【0070】
図４Ｂに示すように、閾値算出モード時において、図３Ｂの学習モード時と異なり、信号処理装置１０の学習部２１は、停止した状態になっている。その代わりに、図４Ｂに示すように、学習処理部２０の第１推定部２３と閾値算出部２４が作動して、エンジン１の抽出ノッキング音９１ａの閾値判定に用いる閾値Ｔを算出する。図４Ｂの太枠は閾値算出モード時の作動する構成要素を示している。また、図４Ｂの太線矢印は、閾値算出モード時に出力される信号を示している。
【0071】
図４Ｂに示すように、閾値算出モード時において、信号処理装置１０は、スイッチ１４を閾値算出モード用接続部Ｍ２に接続して、信号記憶部１３に記憶されているエンジン近傍音９０のスペクトログラムを第１推定部２３に出力する。
【0072】
これに応答して、第１推定部２３は、学習済みパラメータ記憶部２２から、マスクαを生成するニューラルネットワークの重みＷを取得する。そして、第１推定部２３は、ニューラルネットワーク９４（図４Ａ）により生成したマスクαを用いてエンジン近傍音９０からエンジン１の抽出ノッキング音９１ａを抽出する。図４Ａは、このときの第１推定部２３の動作の概要を示している。この後、第１推定部２３は、抽出ノッキング音９１ａを閾値算出部２４に出力する。
【0073】
これに応答して、閾値算出部２４は、エンジン１の各サイクルで抽出ノッキング音９１ａのスペクトログラムの絶対値を総和し、予め設定したマージンを加算して、閾値Ｔを算出する。そして、閾値算出部２４は、閾値Ｔを閾値記憶部２５に記憶する。
【0074】
＜判定モード時の動作＞
図５Ａ及び図５Ｂを参照して、信号処理装置１０の判定モード時の動作について説明する。図５Ａは、判定モードの説明図である。図５Ｂは、信号処理装置１０の判定モード時の動作説明図である。
図５Ａ及び図５Ｂを参照して、信号処理装置１０の判定モード時の動作について説明する。図５Ａは、判定モードの説明図である。図５Ｂは、信号処理装置１０の判定モード時の動作説明図である。
【0075】
図５Ｂに示すように、判定モード時において、図３Ｂの学習モード時と異なり、信号処理装置１０の学習部２１は、停止した状態になっている。その代わりに、図５Ｂに示すように、判定処理部３０の第２推定部３１（抽出信号推定部）と閾値判定部３２が作動して、ノッキングの有無を判定する。図５Ｂの太枠は判定モード時の作動する構成要素を示している。また、図５Ｂの太線矢印は、判定モード時に出力される信号を示している。
【0076】
図５Ｂに示すように、判定モード時において、信号処理装置１０は、スイッチ１４を判定モード用接続部Ｍ３に接続して、信号記憶部１３に記憶されているエンジン近傍音９０のスペクトログラムを第２推定部３１に出力する。
【0077】
これに応答して、第２推定部３１は、学習済みパラメータ記憶部２２から、マスクαを生成するニューラルネットワークの重みＷを取得する。そして、第２推定部３１は、ニューラルネットワーク９４（図５Ａ）により生成したマスクαを用いてエンジン近傍音９０から抽出ノッキング音９１ａを抽出する。図５Ａは、このときの第２推定部３１の動作の概要を示している。この後、第２推定部３１は、抽出ノッキング音９１ａを閾値判定部３２に出力する。
【0078】
これに応答して、閾値判定部３２は、閾値記憶部２５から閾値Ｔを取得し、抽出ノッキング音９１ａの絶対値の総和と閾値Ｔを比較してノッキングの有無を判定する。そして、閾値判定部３２は、例えば、ノッキングの有無の判定結果や、抽出ノッキング音９１ａと閾値Ｔとの関係を表す波形図等をモニタ７に出力して表示させる。
【0079】
＜分離モード時の動作＞
図６Ａ及び図６Ｂを参照して、信号処理装置１０の分離モード時の動作について説明する。図６Ａは、分離モードの説明図である。図６Ｂは、信号処理装置１０の分離モード時の動作説明図である。
図６Ａ及び図６Ｂを参照して、信号処理装置１０の分離モード時の動作について説明する。図６Ａは、分離モードの説明図である。図６Ｂは、信号処理装置１０の分離モード時の動作説明図である。
【0080】
図６Ｂに示すように、分離モード時において、図３Ｂの学習モード時と異なり、信号処理装置１０の学習部２１は、停止した状態になっている。その代わりに、図６Ｂに示すように、分離部４０が作動して、エンジン近傍音９０を抽出ノッキング音９１ａと雑音９１ｂとに分離する。図６Ｂの太枠は分離モード時の作動する構成要素を示している。また、図６Ｂの太線矢印は、分離モード時に出力される信号を示している。
【0081】
図６Ｂに示すように、分離モード時において、信号処理装置１０は、スイッチ１４を分離モード用接続部Ｍ４に接続して、信号記憶部１３に記憶されているエンジン近傍音９０のスペクトログラムを分離部４０に出力する。
【0082】
これに応答して、分離部４０は、学習済みパラメータ記憶部２２から、マスクαを生成するニューラルネットワークの重みＷを取得する。そして、分離部４０は、ニューラルネットワーク９４（図６Ａ）により生成したマスクαを用いて、エンジン近傍音９０を抽出ノッキング音９１ａと雑音９１ｂとに分離する。図６Ａは、このときの分離部４０の動作の概要を示している。この後、分離部４０は、抽出ノッキング音９１ａを抽出信号記憶部２６ｄに記憶するとともに、雑音９１ｂをノイズ成分記憶部２６ｃに記憶する。
【0083】
＜官能試験モード時の動作＞
図７Ａ及び図７Ｂを参照して、信号処理装置１０の官能試験モード時の動作について説明する。図７Ａは、官能試験モードの説明図である。図７Ｂは、信号処理装置１０の官能試験モード時の動作説明図である。官能試験モードは、検査者の聴感に基づく閾値Ｔを算出するモードである。
図７Ａ及び図７Ｂを参照して、信号処理装置１０の官能試験モード時の動作について説明する。図７Ａは、官能試験モードの説明図である。図７Ｂは、信号処理装置１０の官能試験モード時の動作説明図である。官能試験モードは、検査者の聴感に基づく閾値Ｔを算出するモードである。
【0084】
図７Ｂに示すように、官能試験モード時において、図３Ｂの学習モード時と異なり、信号処理装置１０の学習部２１は、停止した状態になっている。その代わりに、図７Ｂに示すように、信号合成部５０の信号調整部５１と信号出力部５２、並びに、学習処理部２０の第１推定部２３と閾値算出部２４が作動して、検査者の聴感に基づく閾値Ｔを算出する。図７Ｂの太枠は官能試験モード時の作動する構成要素を示している。また、図７Ｂの太線矢印は、官能試験モード時に出力される信号を示している。
【0085】
図７Ｂに示すように、官能試験モード時において、信号処理装置１０は、スイッチ１４を官能試験モード用接続部Ｍ５に接続することで、図示せぬ信号生成部によって予め生成されて信号記憶部１３に記憶された官能試験モードの実行指示信号を信号調整部５１に出力する。ただし、官能試験モードの実行指示信号は、スイッチ１４が官能試験モード用接続部Ｍ５に接続されたときに、図示せぬ信号生成部によって生成されて、信号記憶部１３を介さずに、図示せぬ信号生成部から信号調整部５１に出力されるようにしてもよい。
【0086】
これに応答して、信号調整部５１は、レベル指定部９からレベル指定情報を受け取るとともに、抽出信号記憶部２６ｄに記憶されている抽出ノッキング音９１ａとノイズ成分記憶部２６ｃに記憶されている雑音９１ｂとを取得する。そして、信号調整部５１は、レベル指定情報に基づいて、抽出ノッキング音９１ａと雑音９１ｂとを用いて加工音９１ｃを生成する。このとき、信号調整部５１は、レベル指定情報によって指定された量だけ抽出ノッキング音９１ａのレベル（大きさ）を上昇又は下降させてから、雑音９１ｂと合成することによって、加工音９１ｃを生成して信号出力部５２に出力する。信号出力部５２は、加工音９１ｃをヘッドホン８（放音部）に出力して放音させる。
【0087】
また、信号調整部５１は、加工音９１ｃを第１推定部２３に出力する。第１推定部２３は、学習済みパラメータ記憶部２２から、マスクαを生成するニューラルネットワークの重みＷを取得する。そして、第１推定部２３は、ニューラルネットワーク９４（図７Ａ）により生成したマスクαを用いて加工音９１ｃから抽出ノッキング音９１ａを抽出する。図７Ａは、このときの第１推定部２３の動作の概要を示している。この後、第１推定部２３は、抽出ノッキング音９１ａを閾値算出部２４に出力する。閾値算出部２４は、エンジン１の各サイクルで抽出ノッキング音９１ａのスペクトログラムの絶対値を総和し、総和値以下の任意の値を閾値Ｔとする。そして、閾値算出部２４は、閾値Ｔを閾値記憶部２５に記憶する。
【0088】
ところで、特許文献２及び特許文献３に記載された従来技術は、ニューラルネットワークの学習時における目的関数に音の分離度合いを測る関数を含めていないため、エンジン近傍音（入力物理量）から除去される雑音（ノッキング音以外の音（背景音））の中にノッキング音（目的音）が混入する可能性があった。つまり、特許文献２及び特許文献３に記載された従来技術は、学習時に、推定筒内圧と実測筒内圧（教師データ）との二乗誤差を最小化するだけであるため、「雑音が除去されたエンジン音」が雑音だけを良好に除去されたものであるか否かを監視するものではなかった。例えば、特許文献３に記載された従来技術は、エンジン近傍音（入力物理量）に関連する位相成分が考慮されていないマスクαをエンジン近傍音に掛けることで、「雑音が除去されたエンジン音」すなわちノッキング音（本実施形態の「抽出信号」に相当）を抽出する。その際に、特許文献３に記載された従来技術は、音の分離度合いを測る関数を用いていないため、雑音と共に、除去されるべきでないノッキング音（目的音）がエンジン近傍音から除去される可能性があった。そのため、特許文献３に記載された従来技術は、ノッキング有無の評価性能を低下させる可能性があった。
【0089】
これに対して、本実施形態に係る信号処理装置１０は、学習時に、エンジン近傍音（入力物理量）から除去される雑音の中にノッキング音（目的音）が混入しているか否かを評価する構成になっている。そのための構成として、本実施形態に係る信号処理装置１０は、ノイズ成分（雑音９１ｂ）と教師信号（観測ノッキング筒内圧９３）との関連性が小さくなるように学習する構成になっている。具体的には、図３Ａに示すように、ノイズ成分（雑音９１ｂ）のスペクトログラムに対して逆短時間フーリエ変換（ＩＳＴＦＴ）を行うことにより取得された第１信号Ｓｆｉと教師信号（観測ノッキング筒内圧９３）とのコヒーレンスが小さくなるように学習する。また、本実施形態に係る信号処理装置１０は、抽出ノッキング音９１ａ（抽出信号）と教師信号（観測ノッキング筒内圧９３）との関連性が大きくなるように学習する構成になっている。具体的には、図３Ａに示すように、抽出ノッキング音９１ａ（抽出信号）のスペクトログラムに対して逆短時間フーリエ変換（ＩＳＴＦＴ）を行うことにより取得された第２信号Ｓｓｅと教師信号（観測ノッキング筒内圧９３）とのコヒーレンスが大きくなるように学習する。このような本実施形態に係る信号処理装置１０は、特許文献２及び特許文献３に記載された従来技術よりも、ノッキング有無の評価性能を向上させることができる。
【0090】
図８Ａは、雑音９１ｂ（ノイズ成分）のスペクトログラムＦ１１と、スペクトログラムＦ１１に対して逆短時間フーリエ変換（ＩＳＴＦＴ）を行うことにより得られる第１信号Ｓｆｉ（図３Ａ）の信号波形Ｆ１２と、観測ノッキング筒内圧９３（教師信号）の信号波形Ｆ９３と、を示している。また、図８Ａは、第１信号Ｓｆｉ（図３Ａ）の信号波形Ｆ１２と観測ノッキング筒内圧９３（教師信号）の信号波形Ｆ９３との学習の過程で最小化されるコヒーレンスＦ１３を示している。
【0091】
図８Ｂは、抽出ノッキング音９１ａ（抽出信号）のスペクトログラムＦ２１と、スペクトログラムＦ２１に対して逆短時間フーリエ変換（ＩＳＴＦＴ）を行うことにより得られる第２信号Ｓｓｅ（図３Ａ）の信号波形Ｆ２２と、観測ノッキング筒内圧９３（教師信号）の信号波形Ｆ９３を示している。また、図８Ｂは、第２信号Ｓｓｅ（図３Ａ）の信号波形Ｆ２２と観測ノッキング筒内圧９３（教師信号）の信号波形Ｆ９３との学習の過程で最大化されるコヒーレンスＦ２３を示している。
【0092】
コヒーレンスは以下の式（１）によって定義される。コヒーレンス関数γ２は、系の入力と出力の関連度合いを示すものである。コヒーレンス関数γ２は、クロススペクトルの絶対値の２乗を測定入力及び系の出力の各々のパワースペクトルで割り算したものである。
【数1】
【0093】
ここで、Ｗｘｙはクロススペクトルの平均値、Ｗｘｘはｘのパワースペクトルの平均値、Ｗｙｙはｙのパワースペクトルの平均値を意味している。コヒーレンス関数γ２は、０から１までの値をとる。γ２（ｆ）が１の場合、その周波数ｆにおいて、系の出力がすべて測定入力に起因していることを示している。また、γ２（ｆ）が０の場合、その周波数ｆにおいて、系の出力が測定入力にまったく関係ないことを示している。また、０＜γ２（ｆ）＜１の場合、測定とは無関係な信号、系内部で発生しているノイズ、系の非線形性等があるものと考えられる。
【0094】
また、エンジン近傍音（入力物理量）から除去される雑音の中にノッキング音（目的音）が混入しているか否かを評価する方法としてコヒーレントアウトプットパワーを用いても良い。学習部２１は、ノイズ成分（雑音９１ｂ）を逆短時間フーリエ変換（ＩＳＴＦＴ）して求めた信号波形と教師信号（観測ノッキング筒内圧９３）とのコヒーレンス又はコヒーレントアウトプットパワーが小さくなるとともに、抽出信号（抽出ノッキング音９１ａ）を逆短時間フーリエ変換（ＩＳＴＦＴ）して求めた信号波形と教師信号（観測ノッキング筒内圧９３）とのコヒーレンス又はコヒーレントアウトプットパワーが大きくなるように、マスクαを生成するニューラルネットワークの重みＷを学習する。これにより、信号処理装置１０は、ノッキング有無の評価性能を更に向上させることができる。
【0095】
なお、コヒーレンスとコヒーレントアウトプットパワーについて、評価対象を以下の「Ｉ」と「ＩＩ」の２組とし、評価方法を以下の「Ａ」と「Ｂ」の２通りとする場合に、信号処理装置１０は、以下の４つの評価パターンの評価を可能にする。
（評価対象）
Ｉ ：ノイズ成分と教師信号
ＩＩ：抽出信号と教師信号
（評価方法）
Ａ ：コヒーレンス
Ｂ ：コヒーレントアウトプットパワー
（評価パターン）
１ ：ＩをＡで評価、ＩＩをＡで評価。
２ ：ＩをＢで評価、ＩＩをＢで評価。
３ ：ＩをＡで評価、ＩＩをＢで評価。
４ ：ＩをＢで評価、ＩＩをＡで評価。
（評価対象）
Ｉ ：ノイズ成分と教師信号
ＩＩ：抽出信号と教師信号
（評価方法）
Ａ ：コヒーレンス
Ｂ ：コヒーレントアウトプットパワー
（評価パターン）
１ ：ＩをＡで評価、ＩＩをＡで評価。
２ ：ＩをＢで評価、ＩＩをＢで評価。
３ ：ＩをＡで評価、ＩＩをＢで評価。
４ ：ＩをＢで評価、ＩＩをＡで評価。
【0096】
コヒーレントアウトプットパワーはコヒーレンス関数γ２とｙのパワースペクトルの平均値Ｗｙｙとの積で定義される。コヒーレントアウトプットパワーは、系の出力に含まれる入力に起因したパワーを示すものである。
【0097】
本実施形態では、学習部２１は、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）によりマスクαを生成するニューラルネットワークの重みＷを学習する。なお、学習部２１はＣＮＮに限らずリカレントニューラルネットワーク（ＲＮＮ：Recurrent Neural Network）やＴｒａｎｓｆｏｒｍｅｒ等の他の構成をとっても良いし、他の機械学習手法を用いても良い。
【0098】
なお、図９に示すように、マスクαを生成するニューラルネットワークの重みＷを学習するニューラルネットワーク９４の一例として、Ｕ－Ｎｅｔ９５がある。このＵ－Ｎｅｔ９５は、Ｅｎｃｏｄｅｒ‐Ｄｅｃｏｄｅｒモデルの一種で、画像認識や音の分離に使用されている深層学習の一手法である。音の分離において、Ｕ－Ｎｅｔ９５では、下向きパス９６（Ｅｎｃｏｄｅｒ）で畳み込み（ストライドは２以上）を行い、階層９７が深くなるにつれて音の特徴を抽出する。一方、上向きパス９８（Ｄｅｃｏｄｅｒ）では、抽出された音の特徴から逆畳み込みとＵＰサンプリング（膨張）を行うことによりマスクαを生成する。ここまでは、一般的なＥｎｃｏｄｅｒ‐Ｄｅｃｏｄｅｒモデルの構成である。さらに、Ｕ－Ｎｅｔ９５では、各Ｅｎｃｏｄｅｒの畳み込み層からの出力９９をＤｅｃｏｄｅｒの畳み込み層にマージする。これにより、Ｕ－Ｎｅｔ９５では、一般的なＥｎｃｏｄｅｒ‐Ｄｅｃｏｄｅｒモデルよりも高精度なマスクαを生成できる。信号処理装置１０は、マスクαを生成し、エンジン近傍音９０に掛け合わせることで、抽出信号（抽出ノッキング音９１ａ）を取得できる。マスクαは、周波数と時間で表される空間のマスクになっている。
【0099】
このように、学習部２１がＵ－Ｎｅｔ９５でマスクαを生成するニューラルネットワークの重みＷを学習するので、学習したニューラルネットワークは入力されるエンジン１の近傍音に応じて適切なマスクαを生成するようになる。よって、信号処理装置１０は、エンジン１のノッキング音を良好に抽出することができる。
【0100】
＜位相成分の影響＞
図１０Ａ及び図１０Ｂを参照して、位相成分の影響について説明する。図１０Ａは、圧力や、振動、音などの位相成分が考慮されていない場合の計算例の説明図である。図１０Ｂは、圧力や、振動、音などの位相成分が考慮されている場合の計算例の説明図である。図１０Ａ及び図１０Ｂにおいて、円内の矢印は、圧力や、振動、音などに含まれる位相成分を表している。
図１０Ａ及び図１０Ｂを参照して、位相成分の影響について説明する。図１０Ａは、圧力や、振動、音などの位相成分が考慮されていない場合の計算例の説明図である。図１０Ｂは、圧力や、振動、音などの位相成分が考慮されている場合の計算例の説明図である。図１０Ａ及び図１０Ｂにおいて、円内の矢印は、圧力や、振動、音などに含まれる位相成分を表している。
【0101】
【0102】
図１０Ａの例では、エンジン１が駆動されると、筒内圧センサ５（図１）により、観測ノッキング筒内圧９３が観測されている。観測ノッキング筒内圧９３がエンジン１内を伝搬することで、ノッキング音８２が放出される。さらに、ノッキング音８２が背景音であるメカニカルノイズ８３（ノイズ成分）と合わさり、音圧センサ４によりエンジン近傍音９０（入力物理量）が観測される。
【0103】
図１０Ａは、以下のように、観測ノッキング筒内圧９３、ノッキング振動８１、ノッキング音８２、メカニカルノイズ８３、及びエンジン近傍音９０の概略的な計算の一例を示しており、位相φは変わらないと仮定している。
観測ノッキング筒内圧９３＝ＡＳｉｎ（Ωｔ＋φ）
ノッキング振動８１＝ＡＢＳｉｎ（Ωｔ＋φ）
ノッキング音８２＝ＡＢＣＳｉｎ（Ωｔ＋φ）
メカニカルノイズ８３＝ＮＳｉｎ（Ωｔ＋φＮ）
エンジン近傍音９０＝（ＡＢＣ＋Ｎ）Ｓｉｎ（Ωｔ＋φ）
観測ノッキング筒内圧９３＝ＡＳｉｎ（Ωｔ＋φ）
ノッキング振動８１＝ＡＢＳｉｎ（Ωｔ＋φ）
ノッキング音８２＝ＡＢＣＳｉｎ（Ωｔ＋φ）
メカニカルノイズ８３＝ＮＳｉｎ（Ωｔ＋φＮ）
エンジン近傍音９０＝（ＡＢＣ＋Ｎ）Ｓｉｎ（Ωｔ＋φ）
【0104】
これに対して、図１０Ｂは位相を考慮した例である。以下のように、観測ノッキング筒内圧９３、ノッキング振動８１、ノッキング音８２、メカニカルノイズ８３、及びエンジン近傍音９０の概略的な計算の一例を示しており、次元（単位）が変化する度に位相φが変化することを考慮している。
観測ノッキング筒内圧９３＝ＡＳｉｎ（Ωｔ＋φＡ）
ノッキング振動８１＝ＡＢＳｉｎ（Ωｔ＋φＡ＋φＢ）
ノッキング音８２＝ＡＢＣＳｉｎ（Ωｔ＋φＡ＋φＢ＋φＣ）
メカニカルノイズ８３＝ＮＳｉｎ（Ωｔ＋φＮ）
エンジン近傍音９０＝ＡＢＣＳｉｎ（Ωｔ＋φＡ＋φＢ＋φＣ）＋ＮＳｉｎ（Ωｔ＋φＮ）
観測ノッキング筒内圧９３＝ＡＳｉｎ（Ωｔ＋φＡ）
ノッキング振動８１＝ＡＢＳｉｎ（Ωｔ＋φＡ＋φＢ）
ノッキング音８２＝ＡＢＣＳｉｎ（Ωｔ＋φＡ＋φＢ＋φＣ）
メカニカルノイズ８３＝ＮＳｉｎ（Ωｔ＋φＮ）
エンジン近傍音９０＝ＡＢＣＳｉｎ（Ωｔ＋φＡ＋φＢ＋φＣ）＋ＮＳｉｎ（Ωｔ＋φＮ）
【0105】
図１０Ｂに示す例は、圧力が振動となり、音となって放射される際の位相成分の変化が考慮されているため、図１０Ａに示す例よりも、信号を良好に解析することができる。そこで、信号処理装置１０は、図３Ａに示すように、マスクαを生成するニューラルネットワークの重みＷの学習時に、位相を加味して学習する構成となっている。このような信号処理装置１０は、エンジン近傍音９０（入力物理量）を抽出ノッキング音９１ａ（抽出信号）と雑音９１ｂ（ノイズ成分）とに良好に分離することができる。つまり、信号処理装置１０は、雑音の中にノッキング音（目的音）が混入しないように、エンジン近傍音９０を抽出ノッキング音９１ａと雑音９１ｂとに分離することができる。このような信号処理装置１０は、特許文献２及び特許文献３に記載された従来技術よりも、ノッキング有無の評価性能を向上させることができる。また、このような信号処理装置１０は、良好な官能試験を行うことができる。
【0106】
【0107】
図２に示すように、圧力と音の各信号は、データ収集装置６によって収集され、信号処理装置１０に出力される。信号処理装置１０は、信号切出部１１で各信号を切り出し、スペクトログラム算出部１２でスペクトログラムを算出して、スペクトログラムを信号記憶部１３に記憶する。
【0108】
本実施形態に係る信号処理装置１０は、前記した分離モードと前記した官能試験モードとを実行することができる。分離モード時に、信号処理装置１０は、エンジン近傍音９０（入力物理量）を抽出ノッキング音９１ａ（抽出信号）と雑音９１ｂ（ノイズ成分）とに分離する。そして、官能試験モード時に、信号処理装置１０は、抽出ノッキング音９１ａのレベルを変更してレベル変更抽出信号（レベル変更ノッキング音９１ａａ（図１２Ａ））を生成し、雑音９１ｂと合成して加工音９１ｃ（図１２Ｃ）を生成する。
【0109】
官能試験モード時において、検査者は、頭部にヘッドホン８（図１）を装着する。そして、検査者自身または別途レベル指定をする操作者は、レベル指定部９を操作してレベル指定情報を信号処理装置１０に入力する。信号処理装置１０は、入力されたレベル指定情報に基づいて、抽出ノッキング音９１ａのレベルを変更する。
【0110】
図１１Ａは、エンジン近傍音９０（入力物理量）を示しており、図１１Ｂと図１１Ｃは、分離モード時にエンジン近傍音９０から分離された抽出ノッキング音９１ａ（抽出信号）と雑音９１ｂ（ノイズ成分）とを示している。図１２Ａは、官能試験モード時に、抽出ノッキング音９１ａ（抽出信号）のレベルを３ｄＢ上昇させる変更を行って生成されたレベル変更ノッキング音９１ａａ（レベル変更抽出信号）を示しており、図１２Ｂは、レベル変更ノッキング音９１ａａと合成される雑音９１ｂを示しており、図１２Ｃは、レベル変更ノッキング音９１ａａと雑音９１ｂとを合成した加工音９１ｃを示している。信号処理装置１０は、加工音９１ｃを生成することにより、検査すべき目的音（ノッキング音）を聞き分け易い状態にすることができる。このような信号処理装置１０は、目的音（ノッキング音）の有無を高精度に検査者に把握させることができ、検査性能を向上させることができる。また、信号処理装置１０は、検査者により許容不可能と判断された加工音９１ｃのスペクトログラムの絶対値の総和を求めて、総和値以下の任意の値を閾値記憶部２５に書き込む。これにより、閾値Ｔは検査者の官能にあった値となる。
【0111】
＜信号処理装置の動作＞
図１３から図１８を参照して、信号処理装置１０の動作について説明する。図１３は、信号処理装置１０のデータ収集処理を示すフローチャートである。図１４Ａは、信号処理装置１０の学習処理を示すフローチャートである。図１４Ｂは、学習処理のサブルーチンを示すフローチャートである。学習モードの場合、信号処理装置１０は、図１３のデータ収集処理を行った後、図１４Ａと図１４Ｂの学習処理を行う。図１５Ａは、信号処理装置１０の閾値算出処理を示すフローチャートである。閾値算出モードの場合、信号処理装置１０は、図１３のデータ収集処理を行った後、図１５Ａの閾値算出処理を行う。図１５Ｂは、閾値算出処理を示すフローチャートである。分離モードで分離処理を行った場合及び官能試験モードで官能試験処理を行った場合に、信号処理装置１０は、図１５Ｂの閾値算出処理を行う。図１６は、信号処理装置１０の判定処理を示すフローチャートである。判定モードの場合、信号処理装置１０は、図１３のデータ収集処理を行った後、図１６の判定処理を行う。ただし、信号処理装置１０は、図１３のデータ収集処理を行いながら、リアルタイムで図１６の判定処理を行うようにしてもよい。図１７は、信号処理装置１０の分離処理を示すフローチャートである。分離モードの場合、信号処理装置１０は、図１３のデータ収集処理を行った後、図１７の分離処理を行う。図１８は、信号処理装置１０の官能試験処理を示すフローチャートである。官能試験モードの場合、信号処理装置１０は、図１５Ｂの閾値算出処理を行う前に、図１８の官能試験処理を行う。
図１３から図１８を参照して、信号処理装置１０の動作について説明する。図１３は、信号処理装置１０のデータ収集処理を示すフローチャートである。図１４Ａは、信号処理装置１０の学習処理を示すフローチャートである。図１４Ｂは、学習処理のサブルーチンを示すフローチャートである。学習モードの場合、信号処理装置１０は、図１３のデータ収集処理を行った後、図１４Ａと図１４Ｂの学習処理を行う。図１５Ａは、信号処理装置１０の閾値算出処理を示すフローチャートである。閾値算出モードの場合、信号処理装置１０は、図１３のデータ収集処理を行った後、図１５Ａの閾値算出処理を行う。図１５Ｂは、閾値算出処理を示すフローチャートである。分離モードで分離処理を行った場合及び官能試験モードで官能試験処理を行った場合に、信号処理装置１０は、図１５Ｂの閾値算出処理を行う。図１６は、信号処理装置１０の判定処理を示すフローチャートである。判定モードの場合、信号処理装置１０は、図１３のデータ収集処理を行った後、図１６の判定処理を行う。ただし、信号処理装置１０は、図１３のデータ収集処理を行いながら、リアルタイムで図１６の判定処理を行うようにしてもよい。図１７は、信号処理装置１０の分離処理を示すフローチャートである。分離モードの場合、信号処理装置１０は、図１３のデータ収集処理を行った後、図１７の分離処理を行う。図１８は、信号処理装置１０の官能試験処理を示すフローチャートである。官能試験モードの場合、信号処理装置１０は、図１５Ｂの閾値算出処理を行う前に、図１８の官能試験処理を行う。
【0112】
（データ収集処理）
図１３を参照して、データ収集処理を説明する。
図１３に示すように、ステップＳ２０において、データ収集装置６が、音圧信号、筒内圧信号（教師信号）、及び、角度情報を信号切出部１１に入力する。なお、分離モード、閾値算出モード、又は判定モードの場合、ステップＳ２０では、筒内圧信号を入力する必要はない。
ステップＳ２１において、信号切出部１１は、角度情報から各気筒の燃焼行程タイミングを算出する。
図１３を参照して、データ収集処理を説明する。
図１３に示すように、ステップＳ２０において、データ収集装置６が、音圧信号、筒内圧信号（教師信号）、及び、角度情報を信号切出部１１に入力する。なお、分離モード、閾値算出モード、又は判定モードの場合、ステップＳ２０では、筒内圧信号を入力する必要はない。
ステップＳ２１において、信号切出部１１は、角度情報から各気筒の燃焼行程タイミングを算出する。
【0113】
ステップＳ２２において、信号切出部１１は、ステップＳ２１で算出した燃焼行程タイミングに合わせて、ＴＤＣ付近の音圧信号と筒内圧信号を切り出す。
ステップＳ２３において、スペクトログラム算出部１２は、ステップＳ２２で切り出した音圧信号に対して短時間フーリエ変換（ＳＴＦＴ）を行い、音圧信号のスペクトログラムを算出する。
ステップＳ２４において、スペクトログラム算出部１２は、音圧信号のスペクトログラムを信号記憶部１３に書き込む。また、信号切出部１１は、筒内圧信号が存在する場合は、筒内圧信号（教師信号）を信号記憶部１３に書き込む。
ステップＳ２３において、スペクトログラム算出部１２は、ステップＳ２２で切り出した音圧信号に対して短時間フーリエ変換（ＳＴＦＴ）を行い、音圧信号のスペクトログラムを算出する。
ステップＳ２４において、スペクトログラム算出部１２は、音圧信号のスペクトログラムを信号記憶部１３に書き込む。また、信号切出部１１は、筒内圧信号が存在する場合は、筒内圧信号（教師信号）を信号記憶部１３に書き込む。
【0114】
（学習処理）
図１４Ａ及び図１４Ｂを参照して、学習モードで実行される学習処理を説明する。
図１４Ａに示すように、ステップＳ３０において、信号処理装置１０は、信号記憶部１３から音圧信号のスペクトログラム及び筒内圧信号を読み出して、学習部２１に入力する。
ステップＳ３１において、学習部２１は、予めニューラルネットワークの重みＷを乱数で初期化し、ステップＳ３０で入力された音圧信号のスペクトログラム及び筒内圧信号を用いて、ニューラルネットワーク９４で入力物理量に関連する振幅と位相成分を加味して、マスクαを生成するニューラルネットワークの重みＷを学習する。学習部２１は、畳み込みニューラルネットワーク（例えば、Ｕ－Ｎｅｔ）によりマスクαを生成するニューラルネットワークの重みＷを学習する。
図１４Ａ及び図１４Ｂを参照して、学習モードで実行される学習処理を説明する。
図１４Ａに示すように、ステップＳ３０において、信号処理装置１０は、信号記憶部１３から音圧信号のスペクトログラム及び筒内圧信号を読み出して、学習部２１に入力する。
ステップＳ３１において、学習部２１は、予めニューラルネットワークの重みＷを乱数で初期化し、ステップＳ３０で入力された音圧信号のスペクトログラム及び筒内圧信号を用いて、ニューラルネットワーク９４で入力物理量に関連する振幅と位相成分を加味して、マスクαを生成するニューラルネットワークの重みＷを学習する。学習部２１は、畳み込みニューラルネットワーク（例えば、Ｕ－Ｎｅｔ）によりマスクαを生成するニューラルネットワークの重みＷを学習する。
【0115】
ステップＳ３２において、学習部２１は、学習したマスクαを生成するニューラルネットワークの重みＷを学習済みパラメータ記憶部２２に書き込む。
【0116】
なお、ステップＳ３１の処理は、例えば図１４Ｂに示す一連の処理によって行われる。
図１４Ｂに示すように、ステップＳ３１ａにおいて、学習処理部２０は、ニューラルネットワーク９４によりマスクαを生成する。
ステップＳ１０１において、学習部２１は、ステップＳ３１ａにおいて生成したマスクαを用いて入力物理量をノイズ成分と抽出信号とに分離する。
図１４Ｂに示すように、ステップＳ３１ａにおいて、学習処理部２０は、ニューラルネットワーク９４によりマスクαを生成する。
ステップＳ１０１において、学習部２１は、ステップＳ３１ａにおいて生成したマスクαを用いて入力物理量をノイズ成分と抽出信号とに分離する。
【0117】
ステップＳ１０３において、学習部２１は、マスクαを生成するニューラルネットワークの重みＷの更新を行う。ステップＳ１０３では、学習部２１は、ノイズ成分（雑音９１ｂ）のスペクトログラムに対して逆短時間フーリエ変換（ＩＳＴＦＴ）を行うことにより取得された第１信号Ｓｆｉ（図３Ａ）と教師信号（観測ノッキング筒内圧９３）とのコヒーレンスが小さくなるとともに、抽出信号（抽出ノッキング音９１ａ）のスペクトログラムに対して逆短時間フーリエ変換（ＩＳＴＦＴ）を行うことにより取得された第２信号Ｓｓｅ（図３Ａ）と教師信号（観測ノッキング筒内圧９３）とのコヒーレンスが大きくなるように、マスクαを生成するニューラルネットワークの重みＷを更新する。
【0118】
ステップＳ１０４において、学習部２１は、コヒーレンスが収束したか否かを判定し、収束したと判定された場合（“Ｙｅｓ”の場合）に、ステップＳ３１の処理を終了し、一方、収束していないと判定された場合（“Ｎｏ”の場合）に、ステップＳ３１ａ以降の処理を繰り返す。なお、ステップＳ１０４において、コヒーレンスが収束した状態とは、第１信号Ｓｆｉ（図３Ａ）と教師信号（観測ノッキング筒内圧９３）とのコヒーレンスが「０」に近い値で、かつ、第２信号Ｓｓｅ（図３Ａ）と教師信号（観測ノッキング筒内圧９３）とのコヒーレンスが「１」に近い値に収束した状態である。
【0119】
（閾値算出処理）
図１５Ａを参照して、閾値算出モードで実行される閾値算出処理を説明する。
図１５Ａに示すように、ステップＳ４０において、学習処理部２０は、ニューラルネットワーク９４によりマスクαを生成する。
ステップＳ４１において、第１推定部２３は、ニューラルネットワーク９４により生成したマスクαを用いて、音圧信号のスペクトログラムからエンジン１のノッキング音を抽出する。
ステップＳ４２において、閾値算出部２４は、エンジン１の各サイクルでノッキング音のスペクトログラムの絶対値を総和する。
図１５Ａを参照して、閾値算出モードで実行される閾値算出処理を説明する。
図１５Ａに示すように、ステップＳ４０において、学習処理部２０は、ニューラルネットワーク９４によりマスクαを生成する。
ステップＳ４１において、第１推定部２３は、ニューラルネットワーク９４により生成したマスクαを用いて、音圧信号のスペクトログラムからエンジン１のノッキング音を抽出する。
ステップＳ４２において、閾値算出部２４は、エンジン１の各サイクルでノッキング音のスペクトログラムの絶対値を総和する。
【0120】
ステップＳ４３において、閾値算出部２４は、エンジン１の全サイクルにおけるノッキング音のスペクトログラムの中央値を算出する。
ステップＳ４４において、閾値算出部２４は、中央値に任意のマージンを加算し、閾値とする。
ステップＳ４５において、閾値算出部２４は、算出した閾値を閾値記憶部２５に書き込む。
ステップＳ４４において、閾値算出部２４は、中央値に任意のマージンを加算し、閾値とする。
ステップＳ４５において、閾値算出部２４は、算出した閾値を閾値記憶部２５に書き込む。
【0121】
なお、信号処理装置１０は、図１７の分離処理及び図１８の官能試験処理の後に、図１５Ｂの閾値算出処理を実行する機能を有している。以下、図１５Ｂを参照して、図１７の分離処理及び図１８の官能試験処理の後に行われる閾値算出処理を説明する。
図１５Ｂに示すように、ステップＳ１４０において、信号調整部５１は、ノイズ成分記憶部２６ｃと抽出信号記憶部２６ｄから、官能試験で許容不可となった信号を取得し、第１推定部２３に供給する。
ステップＳ１４１において、学習処理部２０は、ニューラルネットワーク９４によりマスクαを生成する。
ステップＳ１４２において、第１推定部２３は、ニューラルネットワーク９４により生成したマスクαを用いて、官能試験で許容不可となった信号のスペクトログラムからノッキング音のスペクトログラムを取得し、閾値算出部２４に供給する。
ステップＳ１４３において、閾値算出部２４は、第１推定部２３から供給されたノッキング音のスペクトログラムの絶対値を総和する。
図１５Ｂに示すように、ステップＳ１４０において、信号調整部５１は、ノイズ成分記憶部２６ｃと抽出信号記憶部２６ｄから、官能試験で許容不可となった信号を取得し、第１推定部２３に供給する。
ステップＳ１４１において、学習処理部２０は、ニューラルネットワーク９４によりマスクαを生成する。
ステップＳ１４２において、第１推定部２３は、ニューラルネットワーク９４により生成したマスクαを用いて、官能試験で許容不可となった信号のスペクトログラムからノッキング音のスペクトログラムを取得し、閾値算出部２４に供給する。
ステップＳ１４３において、閾値算出部２４は、第１推定部２３から供給されたノッキング音のスペクトログラムの絶対値を総和する。
【0122】
ステップＳ１４４において、閾値算出部２４は、総和値以下の任意の値を閾値とする。
ステップＳ１４５において、閾値算出部２４は、算出した閾値を閾値記憶部２５に書き込む。
ステップＳ１４５において、閾値算出部２４は、算出した閾値を閾値記憶部２５に書き込む。
【0123】
（判定処理）
図１６を参照して、判定モードで実行される判定処理を説明する。
図１６に示すように、ステップＳ５０において、学習処理部２０は、ニューラルネットワーク９４によりマスクαを生成する。
ステップＳ５１において、第２推定部３１は、ニューラルネットワーク９４により生成したマスクαを用いて、信号記憶部１３より入力された音圧信号のスペクトログラムからエンジン１のノッキング音を抽出する。
図１６を参照して、判定モードで実行される判定処理を説明する。
図１６に示すように、ステップＳ５０において、学習処理部２０は、ニューラルネットワーク９４によりマスクαを生成する。
ステップＳ５１において、第２推定部３１は、ニューラルネットワーク９４により生成したマスクαを用いて、信号記憶部１３より入力された音圧信号のスペクトログラムからエンジン１のノッキング音を抽出する。
【0124】
ステップＳ５２において、閾値判定部３２は、エンジン１の各サイクルでノッキング音のスペクトログラムの絶対値を総和する。
ステップＳ５３において、閾値判定部３２は、閾値記憶部２５に記憶済みの閾値と、総和したノッキング音とを比較し、ノッキング音が閾値を超えているか否かを判定する。
総和したノッキング音が閾値を超えている場合（ステップＳ５３でＹｅｓ）、閾値判定部３２は、ノッキング有りと判定する（ステップＳ５４）。
ステップＳ５３において、閾値判定部３２は、閾値記憶部２５に記憶済みの閾値と、総和したノッキング音とを比較し、ノッキング音が閾値を超えているか否かを判定する。
総和したノッキング音が閾値を超えている場合（ステップＳ５３でＹｅｓ）、閾値判定部３２は、ノッキング有りと判定する（ステップＳ５４）。
【0125】
総和したノッキング音が閾値以下の場合、（ステップＳ５３でＮｏ）、閾値判定部３２は、ノッキング無しと判定する（ステップＳ５５）。
ステップＳ５６において、閾値判定部３２は、閾値判定の結果及びノッキング音をモニタ７に出力する。
ステップＳ５６において、閾値判定部３２は、閾値判定の結果及びノッキング音をモニタ７に出力する。
【0126】
（分離処理）
図１７を参照して、分離モードで実行される分離処理を説明する。
図１７に示すように、ステップＳ６０において、学習処理部２０は、ニューラルネットワーク９４によりマスクαを生成する。
ステップＳ６１において、分離部４０は、ニューラルネットワーク９４により生成されたマスクαを用いて、入力物理量をノイズ成分と抽出信号とに分離する。
ステップＳ６２において、学習処理部２０は、分離したノイズ成分と抽出信号を、それぞれに対応するノイズ成分記憶部２６ｃと抽出信号記憶部２６ｄに記憶する。
図１７を参照して、分離モードで実行される分離処理を説明する。
図１７に示すように、ステップＳ６０において、学習処理部２０は、ニューラルネットワーク９４によりマスクαを生成する。
ステップＳ６１において、分離部４０は、ニューラルネットワーク９４により生成されたマスクαを用いて、入力物理量をノイズ成分と抽出信号とに分離する。
ステップＳ６２において、学習処理部２０は、分離したノイズ成分と抽出信号を、それぞれに対応するノイズ成分記憶部２６ｃと抽出信号記憶部２６ｄに記憶する。
【0127】
（官能試験処理）
図１８を参照して、官能試験モードで実行される官能試験処理を説明する。
図１８に示すように、ステップＳ７０において、信号合成部５０の信号調整部５１は、レベル指定部９からのレベル指定情報の入力を受け付ける。
ステップＳ７１において、信号調整部５１は、抽出信号記憶部２６ｄから抽出信号を取得するとともに、ノイズ成分記憶部２６ｃからノイズ成分を取得し、レベル指定情報に応じて抽出信号のレベルを変更してレベル変更抽出信号を生成する。
図１８を参照して、官能試験モードで実行される官能試験処理を説明する。
図１８に示すように、ステップＳ７０において、信号合成部５０の信号調整部５１は、レベル指定部９からのレベル指定情報の入力を受け付ける。
ステップＳ７１において、信号調整部５１は、抽出信号記憶部２６ｄから抽出信号を取得するとともに、ノイズ成分記憶部２６ｃからノイズ成分を取得し、レベル指定情報に応じて抽出信号のレベルを変更してレベル変更抽出信号を生成する。
【0128】
ステップＳ７２において、信号調整部５１は、レベル変更抽出信号とノイズ成分とを合成して加工音を生成する。
ステップＳ７３において、信号合成部５０の信号出力部５２は、加工音を放音部（ヘッドホン８）に出力して、放音部から加工音を放音させる。
ステップＳ７４において、信号合成部５０は、レベル指定部９からの終了の指示があったか否かを判定し、終了の指示があったと判定された場合（“Ｙｅｓ”の場合）に、加工音を第１推定部２３に出力し、閾値算出部２４により閾値を算出したのち、閾値記憶部２５に書き込み、図１８の処理を終了する。一方、終了の指示がないと判定された場合（“Ｎｏ”の場合）に、ステップＳ７５において、信号合成部５０の信号調整部５１は、レベル指定部９からのレベル指定情報の変更を受け付け、ステップＳ７１以降の処理を繰り返す。
ステップＳ７３において、信号合成部５０の信号出力部５２は、加工音を放音部（ヘッドホン８）に出力して、放音部から加工音を放音させる。
ステップＳ７４において、信号合成部５０は、レベル指定部９からの終了の指示があったか否かを判定し、終了の指示があったと判定された場合（“Ｙｅｓ”の場合）に、加工音を第１推定部２３に出力し、閾値算出部２４により閾値を算出したのち、閾値記憶部２５に書き込み、図１８の処理を終了する。一方、終了の指示がないと判定された場合（“Ｎｏ”の場合）に、ステップＳ７５において、信号合成部５０の信号調整部５１は、レベル指定部９からのレベル指定情報の変更を受け付け、ステップＳ７１以降の処理を繰り返す。
【0129】
【0130】
なお、本実施形態では、関連性を表す要素としてコヒーレンスを用いる場合を説明したが、関連性を表す要素としてコヒーレントアウトプットパワーを用いるようにしてもよい。
【0131】
＜信号処理装置の主な特徴＞
（１）図２及び図３Ｂに示すように、本実施形態に係る信号処理装置１０は、学習部２１と、分離部４０と、を備える。図３Ａに示すように、学習部２１は、ノイズ成分（雑音９１ｂ）が含まれている入力物理量（エンジン近傍音９０）からノイズ成分を除去するためのマスクαを生成するニューラルネットワークの重みＷを学習する。分離部４０は、マスクαを用いて入力物理量（エンジン近傍音９０）をノイズ成分（雑音９１ｂ）とノイズ成分（雑音９１ｂ）が除去された抽出信号（抽出ノッキング音９１ａ）とに分離する。係る構成において、図３Ａに示すように、学習部２１は、ノイズ成分（雑音９１ｂ）と教師信号（観測ノッキング筒内圧９３）との関連性が小さくなるとともに、抽出信号（抽出ノッキング音９１ａ）と教師信号（観測ノッキング筒内圧９３）との関連性が大きくなるように、ニューラルネットワークの重みＷを学習する。
（１）図２及び図３Ｂに示すように、本実施形態に係る信号処理装置１０は、学習部２１と、分離部４０と、を備える。図３Ａに示すように、学習部２１は、ノイズ成分（雑音９１ｂ）が含まれている入力物理量（エンジン近傍音９０）からノイズ成分を除去するためのマスクαを生成するニューラルネットワークの重みＷを学習する。分離部４０は、マスクαを用いて入力物理量（エンジン近傍音９０）をノイズ成分（雑音９１ｂ）とノイズ成分（雑音９１ｂ）が除去された抽出信号（抽出ノッキング音９１ａ）とに分離する。係る構成において、図３Ａに示すように、学習部２１は、ノイズ成分（雑音９１ｂ）と教師信号（観測ノッキング筒内圧９３）との関連性が小さくなるとともに、抽出信号（抽出ノッキング音９１ａ）と教師信号（観測ノッキング筒内圧９３）との関連性が大きくなるように、ニューラルネットワークの重みＷを学習する。
【0132】
このような本実施形態に係る信号処理装置１０は、図３Ａに示すように、ノイズ成分と教師信号（観測ノッキング筒内圧９３）との関連性、及び、抽出信号と教師信号（観測ノッキング筒内圧９３）との関連性を学習に用いることで、伝達関数部分の学習を無くしてその分の学習時間を短縮することができる。そのため、短い時間でニューラルネットワークの重みＷを良好に学習することができる。
【0133】
また、本実施形態に係る信号処理装置１０は、所望のクリーン信号を予め用意することが困難な対象の音（入力物理量）からノイズ成分と抽出信号とに良好に分離することができる。特に、信号処理装置１０は、ノイズ成分と、官能試験でのレベル変更に適した信号とに分離することができる。このような信号処理装置１０は、背景音に目的音（ノッキング音）が混入しているか否かを評価し易くすることができる。そのため、信号処理装置１０は、例えば特許文献２及び特許文献３に記載された従来技術よりも、ノッキング有無の評価性能を向上させることができる。また、信号処理装置１０は、良好な官能試験を行うことができ、官能試験で許容不可となったデータに基づいて閾値を決定することで、検査者に近い判定ができる。
【0134】
（２）図３Ａに示すように、本実施形態に係る信号処理装置１０の学習部２１は、ノイズ成分と教師信号（観測ノッキング筒内圧９３）とのコヒーレンスをノイズ成分と教師信号（観測ノッキング筒内圧９３）との関連性を表す要素として用いるとよい。また、本実施形態に係る信号処理装置１０の学習部２１は、抽出信号と教師信号（観測ノッキング筒内圧９３）とのコヒーレンスを抽出信号と教師信号（観測ノッキング筒内圧９３）との関連性を表す要素として用いるとよい。具体的には、図３Ａに示すように、本実施形態に係る信号処理装置１０の学習部２１は、ノイズ成分と教師信号（観測ノッキング筒内圧９３）とのコヒーレンス（又はコヒーレントアウトプットパワー）が小さくなるとともに、抽出信号と教師信号（観測ノッキング筒内圧９３）とのコヒーレンス（又はコヒーレントアウトプットパワー）が大きくなるように、ニューラルネットワークの重みＷを学習するとよい。
【0135】
このような本実施形態に係る信号処理装置１０は、伝達関数を使わずに、損失関数にコヒーレンスを採用することで、伝達関数部分の学習を無くしてその分の学習時間を短縮することができる。また、雑音９１ｂ（ノイズ成分）からノッキング筒内圧に起因する音を良好に排除することができる。
【0136】
（３）図３Ａに示すように、本実施形態に係る信号処理装置１０の学習部２１は、ニューラルネットワークの重みＷを学習する際に、入力物理量（エンジン近傍音９０）に関連する振幅と位相成分を加味して学習するとよい。
【0137】
このような本実施形態に係る信号処理装置１０は、雑音の中にノッキング音（目的音）が混入しないように、エンジン近傍音９０（入力物理量）を抽出ノッキング音９１ａ（抽出信号）と雑音９１ｂ（ノイズ成分）とに分離することができる。このような信号処理装置１０は、特許文献２及び特許文献３に記載された従来技術よりも、ノッキング有無の評価性能を向上させることができる。また、このような信号処理装置１０は、良好な官能試験を行うことができる。
【0138】
（４）図７Ｂに示すように、本実施形態に係る信号処理装置１０は、抽出信号（抽出ノッキング音９１ａ）と入力物理量（エンジン近傍音９０）から分離されたノイズ成分（雑音９１ｂ）とのいずれか一方又は双方のレベルを変更し合成して加工音を生成する信号合成部５０を備えるとよい。
【0139】
このような本実施形態に係る信号処理装置１０は、検査すべき目的音（ノッキング音）を聞き分け易い状態にすることができる。このような信号処理装置１０は、目的音（ノッキング音）の有無を高精度に検査者に把握させることができ、官能試験で許容不可となったデータに基づいて閾値を決定することで、検査者に近い判定ができる。
【0140】
（５）図２に示すように、本実施形態に係る信号処理装置１０の信号合成部５０は、検査者又は操作者による抽出信号（抽出ノッキング音９１ａ）のレベルの指定を受け付ける信号調整部５１を有している。
【0141】
このような本実施形態に係る信号処理装置１０は、抽出信号（抽出ノッキング音９１ａ）のレベルを任意にかつ細やかに変更することができる。
【0142】
（６）図１４Ａ及び図１７に示すように、本実施形態に係る信号処理装置１０は、以下の信号処理方法を実現することができる。すなわち、本実施形態に係る信号処理方法は、学習工程（図１４ＡのステップＳ３０からステップＳ３２の工程）と、分離工程（図１７のステップＳ６１からステップＳ６２の工程）と、を含む。学習工程では、ノイズ成分（雑音９１ｂ）が含まれている入力物理量（エンジン近傍音９０）からノイズ成分（雑音９１ｂ）を除去するためのマスクαを生成するニューラルネットワークの重みＷを学習する。その際に、ノイズ成分（雑音９１ｂ）と教師信号（観測ノッキング筒内圧９３）との関連性が小さくなるとともに、抽出信号（抽出ノッキング音９１ａ）と教師信号（観測ノッキング筒内圧９３）との関連性が大きくなるように、ニューラルネットワークの重みＷを学習する。また、その際に、ニューラルネットワーク９４により、ノイズ成分（雑音９１ｂ）が含まれている入力物理量（エンジン近傍音９０）から位相を加味してノイズ成分を除去するためのマスクαを生成するニューラルネットワークの重みＷを学習するとよい。分離工程では、マスクαを用いて入力物理量（エンジン近傍音９０）をノイズ成分（雑音９１ｂ）とノイズ成分（雑音９１ｂ）が除去された抽出信号（抽出ノッキング音９１ａ）とに分離する。
【0143】
このような本実施形態に係る信号処理方法は、入力物理量をノイズ成分と抽出信号とに良好に分離することができる。特に、ノイズ成分と、官能試験でのレベル変更に適した信号とに分離することができる。
【0144】
以上の通り、本実施形態に係る信号処理装置１０によれば、ノイズ成分から取得される第１信号と教師信号との関連性、及び、抽出信号から取得される第２信号と教師信号との関連性を学習に用いることで、伝達関数部分の学習を無くしてその分の学習時間を短縮することができる。また、所望のクリーン信号を予め用意することが困難な対象の音（入力物理量）からノイズ成分と抽出信号とを良好に分離することができる。
また、本実施形態に係る信号処理装置１０によれば、ノイズ成分（雑音９１ｂ）のスペクトログラムに対して逆短時間フーリエ変換（ＩＳＴＦＴ）を行うことにより取得された第１信号Ｓｆｉ（図３Ａ）と教師信号（観測ノッキング筒内圧９３）とのコヒーレンスが小さくなるとともに、抽出信号（抽出ノッキング音９１ａ）のスペクトログラムに対して逆短時間フーリエ変換（ＩＳＴＦＴ）を行うことにより取得された第２信号Ｓｓｅ（図３Ａ）と教師信号（観測ノッキング筒内圧９３）とのコヒーレンスが大きくなるように、ニューラルネットワークの重みを学習することで、伝達関数を使わずに、損失関数にコヒーレンスを採用することができ、これによって、学習時間を短縮することができる。
しかも、無駄な学習処理を繰り返し行うことがなく、処理時間が短くなるように、ニューラルネットワークの重みＷを良好に学習することができる。また、本実施形態に係る信号処理装置１０によれば、入力物理量をノイズ成分と抽出信号とに良好に分離することができる。特に、信号処理装置１０は、ノイズ成分と、官能試験でのレベル変更に適した信号とに分離することができる。このような信号処理装置１０は、背景音に目的音（ノッキング音）が混入しているか否かを評価し易くすることができる。そのため、信号処理装置１０は、ノッキング有無の評価性能を向上させることができる。また、信号処理装置１０は、良好な官能試験を行うことができる。
また、本実施形態に係る信号処理装置１０によれば、ノイズ成分（雑音９１ｂ）のスペクトログラムに対して逆短時間フーリエ変換（ＩＳＴＦＴ）を行うことにより取得された第１信号Ｓｆｉ（図３Ａ）と教師信号（観測ノッキング筒内圧９３）とのコヒーレンスが小さくなるとともに、抽出信号（抽出ノッキング音９１ａ）のスペクトログラムに対して逆短時間フーリエ変換（ＩＳＴＦＴ）を行うことにより取得された第２信号Ｓｓｅ（図３Ａ）と教師信号（観測ノッキング筒内圧９３）とのコヒーレンスが大きくなるように、ニューラルネットワークの重みを学習することで、伝達関数を使わずに、損失関数にコヒーレンスを採用することができ、これによって、学習時間を短縮することができる。
しかも、無駄な学習処理を繰り返し行うことがなく、処理時間が短くなるように、ニューラルネットワークの重みＷを良好に学習することができる。また、本実施形態に係る信号処理装置１０によれば、入力物理量をノイズ成分と抽出信号とに良好に分離することができる。特に、信号処理装置１０は、ノイズ成分と、官能試験でのレベル変更に適した信号とに分離することができる。このような信号処理装置１０は、背景音に目的音（ノッキング音）が混入しているか否かを評価し易くすることができる。そのため、信号処理装置１０は、ノッキング有無の評価性能を向上させることができる。また、信号処理装置１０は、良好な官能試験を行うことができる。
【0145】
なお、本発明は、前記した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で種々の変更や変形を行うことができる。
【0146】
例えば、前記した実施形態は、本発明の要旨を分かり易く説明するために詳細に説明したものである。そのため、本発明は、必ずしも説明した全ての構成要素を備えるものに限定されるものではない。また、本発明は、ある構成要素に他の構成要素を追加したり、一部の構成要素を他の構成要素に変更したりすることができる。また、本発明は、一部の構成要素を削除することもできる。
【0147】
例えば、以下に説明するように、信号処理装置１０は、試験対象を任意の物品に変更することができる。また、信号処理装置１０は、入力物理量や教師信号を任意の信号に変更することができる。
【0148】
（１）例えば、信号処理装置１０は、図１９に示す環境において、図２０に示す第１変形例のように変更して使用することができる。図１９は、第１変形例の説明図である。図２０は、第１変形例において、マスクを生成するニューラルネットワークの重みＷの学習の説明図である。
【0149】
図１９は、車両３の車室３ａにおいて、受聴者（車両の搭乗者（特にドライバー））の耳位置で検知されるインパネ３ｂ（インストルメントパネル）の振動音を評価する場合の一例を示している。図１９に示す例において、受聴者耳位置走行音１９０（受聴者の耳位置で聞こえる車室内音）が入力物理量であり、観測インパネ振動加速度１９３が教師信号である。図２０に示すように、信号処理装置１０の学習部２１は、マスクαを用いて入力物理量（受聴者耳位置走行音１９０）を抽出信号（抽出インパネ振動音１９１ａ）とノイズ成分（雑音１９１ｂ）とに分離する。なお、マスクαは、入力物理量に関連する振幅や位相成分を含んでいる。
【0150】
図２０に示すように、信号処理装置１０の学習部２１は、ノイズ成分（雑音１９１ｂ）と教師信号（観測インパネ振動加速度１９３）とのコヒーレンスが小さくなるとともに、抽出信号（抽出インパネ振動音１９１ａ）と教師信号（観測インパネ振動加速度１９３）とのコヒーレンスが大きくなるように、ニューラルネットワークの重みＷを学習する。これにより、信号処理装置１０は、雑音（インパネ３ｂの振動に起因しない音（背景音））の中に目的音（インパネ３ｂの振動に起因する音）が混入しないように、入力物理量（受聴者耳位置走行音１９０）を抽出信号（抽出インパネ振動音１９１ａ）とノイズ成分（雑音１９１ｂ）とに分離することができる。
【0151】
このような信号処理装置１０は、例えば官能試験時に、受聴者耳位置走行音１９０（受聴者の耳位置で聞こえる車室内音）のうち、インパネ３ｂの振動に起因する音の大きさを検査者に把握させ易くすることができる。例えば、インパネ３ｂの振動に起因する音が比較的大きい場合に、信号処理装置１０は、信号合成部５０の信号調整部５１で加工音を生成して、検査者の聴感による主観評価を行うことで、インパネ３ｂの振動低減の目標値を設定することができる。
【0152】
（２）信号処理装置１０は、図２１に示す環境において、図２２に示す第２変形例のように変更して使用することができる。図２１は、第２変形例の説明図である。図２２は、第２変形例において、マスクを生成するニューラルネットワークの重みＷの学習の説明図である。
【0153】
図２１は、冷蔵庫２０３の近傍において、コンプレッサーの振動音を評価する場合の一例を示している。図２１に示す例において、受聴者の耳位置で聞こえる冷蔵庫音２９０が入力物理量であり、観測コンプレッサー振動加速度２９３が教師信号である。図２２に示すように、信号処理装置１０の学習部２１は、マスクαを用いて入力物理量（冷蔵庫音２９０）を抽出信号（抽出コンプレッサー音２９１ａ）とノイズ成分（雑音２９１ｂ）とに分離する。なお、マスクαは、入力物理量に関連する振幅や位相成分を含んでいる。
【0154】
図２２に示すように、信号処理装置１０の学習部２１は、ノイズ成分（雑音２９１ｂ）と教師信号（観測コンプレッサー振動加速度２９３）とのコヒーレンスが小さくなるとともに、抽出信号（抽出コンプレッサー音２９１ａ）と教師信号（観測コンプレッサー振動加速度２９３）とのコヒーレンスが大きくなるように、ニューラルネットワークの重みＷを学習する。これにより、信号処理装置１０は、雑音（コンプレッサーの振動に起因しない音（背景音））の中に目的音（コンプレッサーの振動に起因する音）が混入しないように、入力物理量（冷蔵庫音２９０）を抽出信号（抽出コンプレッサー音２９１ａ）とノイズ成分（雑音２９１ｂ）とに分離することができる。
【0155】
このような信号処理装置１０は、例えば官能試験時に、受聴者の耳位置で聞こえる冷蔵庫音２９０のうち、コンプレッサーの振動に起因する音の大きさを検査者に把握させ易くすることができる。例えば、コンプレッサーの振動に起因する音が比較的大きい場合に、信号処理装置１０は、信号合成部５０の信号調整部５１で加工音を生成して、検査者の聴感による主観評価を行うことで、コンプレッサーの振動低減の目標値を設定することができる。
【0156】
【0157】
図２３に示す例では、車両３の車室３ａにおいて、受聴者（車両の搭乗者（特にドライバー））の耳位置で検知されるエンジン１（図１）の放射音に含まれる燃焼音を評価する場合の一例を示している。図２３に示す例では、エンジン１（図１）の教師信号としての筒内圧３９０と、入力物理量としての放射音３９０ａと振動３９０ｂとを観測し、それぞれに基づいてマスクα１，α２を学習する構成を示している。
【0158】
信号処理装置１０は、マスクα１を用いて放射音３９０ａ（入力物理量）から燃焼音３９１ａａ（抽出信号）を取得するとともに、雑音３９１ａｂ（ノイズ成分）を取得する。雑音３９１ａｂ（ノイズ成分）は、放射音３９０ａ（入力物理量）から燃焼音３９１ａａ（抽出信号）を除去することで取得される。
【0159】
信号処理装置１０の学習部２１は、ノイズ成分（雑音３９１ａｂ）と教師信号（筒内圧３９０）とのコヒーレンスが小さくなるとともに、抽出信号（燃焼音３９１ａａ）と教師信号（筒内圧３９０）とのコヒーレンスが大きくなるように、ニューラルネットワーク９４により、マスクα１を生成するニューラルネットワークの重みＷ１（図示せず）を学習する。マスクα１は、放射音３９０ａ（入力物理量）に含まれる燃焼音の割合と位相成分を考慮している。
【0160】
また、信号処理装置１０は、マスクα２を用いて振動３９０ｂ（入力物理量）から燃焼振動３９１ｂａ（抽出信号）を取得するとともに、ノイズ振動３９１ｂｂ（ノイズ成分）を取得する。ノイズ振動３９１ｂｂ（ノイズ成分）は、振動３９０ｂ（入力物理量）から燃焼振動３９１ｂａ（抽出信号）を除去することで取得される。
【0161】
信号処理装置１０の学習部２１は、ノイズ成分（ノイズ振動３９１ｂｂ）と教師信号（筒内圧３９０）とのコヒーレンスが小さくなるとともに、抽出信号（燃焼振動３９１ｂａ）と教師信号（筒内圧３９０）とのコヒーレンスが大きくなるように、ニューラルネットワーク９４により、マスクα２を生成するニューラルネットワークの重みＷ２（図示せず）を学習する。マスクα２は、振動３９０ｂ（入力物理量）に含まれる燃焼振動の割合と位相成分を考慮している。
【0162】
このような信号処理装置１０は、例えば官能試験時に、受聴者（車両の搭乗者（特にドライバー））の耳位置で検知される燃焼音をシミュレーションすることができる。
【符号の説明】
【0163】
１…エンジン
２…エンジンＥＣＵ
３…車両
３ａ…車室
３ｂ…インパネ
４…音圧センサ
５…筒内圧センサ
６…データ収集装置
７…モニタ
８…ヘッドホン（放音部）
９…レベル指定部
１０…信号処理装置
１１…信号切出部
１２…スペクトログラム算出部
１３…信号記憶部
１４…スイッチ
２０…学習処理部
２１…学習部
２２…学習済みパラメータ記憶部
２３…第１推定部
２４…閾値算出部
２５…閾値記憶部
２６ａ…教師信号記憶部
２６ｃ…ノイズ成分記憶部
２６ｄ…抽出信号記憶部
３０…判定処理部
３１…第２推定部（抽出信号推定部）
３２…閾値判定部
４０…分離部
５０…信号合成部
５１…信号調整部
５２…信号出力部
８１…ノッキング振動
８２…ノッキング音
８３…メカニカルノイズ（ノイズ成分）
９０…エンジン近傍音（入力物理量）
９１ａ…抽出ノッキング音（抽出信号）
９１ａａ…レベル変更ノッキング音（レベル変更抽出信号）
９１ｂ…雑音（ノイズ成分）
９１ｃ…加工音
９３…観測ノッキング筒内圧（教師信号）
９４…ニューラルネットワーク
９４Ａ…マスク生成ネットワーク
９５…Ｕ－Ｎｅｔ
９６…下向きパス（Ｅｎｃｏｄｅｒ）
９７…階層
９８…上向きパス（Ｄｅｃｏｄｅｒ）
９９…出力
１００…信号処理システム
１９０…受聴者耳位置走行音（入力物理量）
１９１ａ…抽出インパネ振動音（抽出信号）
１９１ｂ…雑音（ノイズ成分）
１９３…観測インパネ振動加速度（教師信号）
２０３…冷蔵庫
２９０…冷蔵庫音（入力物理量）
２９１ａ…抽出コンプレッサー音（抽出信号）
２９１ｂ…雑音（ノイズ成分）
２９３…観測コンプレッサー振動加速度（教師信号）
３９０…筒内圧（教師信号）
３９０ａ…放射音（入力物理量）
３９０ｂ…振動（入力物理量）
３９１ａａ…燃焼音（抽出信号）
３９１ａｂ…雑音（ノイズ成分）
３９１ｂａ…燃焼振動（抽出信号）
３９１ｂｂ…ノイズ振動（ノイズ成分）
α，α１，α２…マスク
Ｆ１１，Ｆ２１…スペクトログラム
Ｆ１２，Ｆ２２，Ｆ９３…信号波形
Ｆ１３，Ｆ２３…コヒーレンス
Ｍ１…学習モード用接続部
Ｍ２…閾値算出モード用接続部
Ｍ３…判定モード用接続部
Ｍ４…分離モード用接続部
Ｍ５…官能試験モード用接続部
Ｗ…重み
Ｓｆｉ…第１信号
Ｓｓｅ…第２信号
Ｔ…閾値
２…エンジンＥＣＵ
３…車両
３ａ…車室
３ｂ…インパネ
４…音圧センサ
５…筒内圧センサ
６…データ収集装置
７…モニタ
８…ヘッドホン（放音部）
９…レベル指定部
１０…信号処理装置
１１…信号切出部
１２…スペクトログラム算出部
１３…信号記憶部
１４…スイッチ
２０…学習処理部
２１…学習部
２２…学習済みパラメータ記憶部
２３…第１推定部
２４…閾値算出部
２５…閾値記憶部
２６ａ…教師信号記憶部
２６ｃ…ノイズ成分記憶部
２６ｄ…抽出信号記憶部
３０…判定処理部
３１…第２推定部（抽出信号推定部）
３２…閾値判定部
４０…分離部
５０…信号合成部
５１…信号調整部
５２…信号出力部
８１…ノッキング振動
８２…ノッキング音
８３…メカニカルノイズ（ノイズ成分）
９０…エンジン近傍音（入力物理量）
９１ａ…抽出ノッキング音（抽出信号）
９１ａａ…レベル変更ノッキング音（レベル変更抽出信号）
９１ｂ…雑音（ノイズ成分）
９１ｃ…加工音
９３…観測ノッキング筒内圧（教師信号）
９４…ニューラルネットワーク
９４Ａ…マスク生成ネットワーク
９５…Ｕ－Ｎｅｔ
９６…下向きパス（Ｅｎｃｏｄｅｒ）
９７…階層
９８…上向きパス（Ｄｅｃｏｄｅｒ）
９９…出力
１００…信号処理システム
１９０…受聴者耳位置走行音（入力物理量）
１９１ａ…抽出インパネ振動音（抽出信号）
１９１ｂ…雑音（ノイズ成分）
１９３…観測インパネ振動加速度（教師信号）
２０３…冷蔵庫
２９０…冷蔵庫音（入力物理量）
２９１ａ…抽出コンプレッサー音（抽出信号）
２９１ｂ…雑音（ノイズ成分）
２９３…観測コンプレッサー振動加速度（教師信号）
３９０…筒内圧（教師信号）
３９０ａ…放射音（入力物理量）
３９０ｂ…振動（入力物理量）
３９１ａａ…燃焼音（抽出信号）
３９１ａｂ…雑音（ノイズ成分）
３９１ｂａ…燃焼振動（抽出信号）
３９１ｂｂ…ノイズ振動（ノイズ成分）
α，α１，α２…マスク
Ｆ１１，Ｆ２１…スペクトログラム
Ｆ１２，Ｆ２２，Ｆ９３…信号波形
Ｆ１３，Ｆ２３…コヒーレンス
Ｍ１…学習モード用接続部
Ｍ２…閾値算出モード用接続部
Ｍ３…判定モード用接続部
Ｍ４…分離モード用接続部
Ｍ５…官能試験モード用接続部
Ｗ…重み
Ｓｆｉ…第１信号
Ｓｓｅ…第２信号
Ｔ…閾値
【図1】
【図2】
【図3A】
【図3B】
【図4A】
【図4B】
【図5A】
【図5B】
【図6A】
【図6B】
【図7A】
【図7B】
【図8A】
【図8B】
【図9】
【図10A】
【図10B】
【図11A】
【図11B】
【図11C】
【図12A】
【図12B】
【図12C】
【図13】
【図14A】
【図14B】
【図15A】
【図15B】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】