特許 6959420 信号処理装置、及び、信号処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6959420

(24)【登録日】2021年10月11日

(45)【発行日】2021年11月2日

(54)【発明の名称】信号処理装置、及び、信号処理方法

(51)【国際特許分類】

   G06N 3/08 20060101AFI20211021BHJP

   G10L 21/0232 20130101ALI20211021BHJP

   G10L 21/0264 20130101ALI20211021BHJP

   G10L 21/0308 20130101ALI20211021BHJP

   G10L 25/30 20130101ALI20211021BHJP

   G01H 17/00 20060101ALN20211021BHJP

【ＦＩ】

   G06N3/08

   G10L21/0232

   G10L21/0264 Z

   G10L21/0308 Z

   G10L25/30

   !G01H17/00 B

【請求項の数】14

【全頁数】43

(21)【出願番号】特願2020-170469(P2020-170469)

(22)【出願日】2020年10月8日

【審査請求日】2021年2月26日

【早期審査対象出願】

(73)【特許権者】

【識別番号】000145806

【氏名又は名称】株式会社小野測器

(74)【代理人】

【識別番号】110001807

【氏名又は名称】特許業務法人磯野国際特許商標事務所

(72)【発明者】

【氏名】笠原 太郎

(72)【発明者】

【氏名】渡部 光

(72)【発明者】

【氏名】吉越 洋志

【審査官】 金田 孝之

(56)【参考文献】

【文献】 特開２０２０−０３４６２４（ＪＰ，Ａ）

【文献】 特開２０１１−０７５７２８（ＪＰ，Ａ）

【文献】 中国特許出願公開第１１１０８１２６８（ＣＮ，Ａ）

【文献】 河村 友香，インタラクティブ音響レンダリングを目的としたデータ駆動型伝達関数推定の基礎的検討，日本音響学会 ２０１９年 秋季研究発表会講演論文集ＣＤ−ＲＯＭ［ＣＤ−ＲＯＭ］，一般社団法人日本音響学会，2019年08月21日，pp.675-676

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｎ ３／００−９９／００

Ｇ０１Ｈ １７／００

Ｇ１０Ｌ ２１／０２−２１／０３８８

Ｇ１０Ｌ ２５／３０

(57)【特許請求の範囲】

【請求項1】

ニューラルネットワークにより、ノイズ成分が含まれている入力物理量から前記ノイズ成分を除去するためのマスクを生成するネットワークの重みを学習するとともに、前記入力物理量から前記ノイズ成分が除去された抽出信号を教師信号と同じ次元の推定信号に変換するための伝達関数を学習する学習部と、
前記入力物理量を前記ノイズ成分と前記抽出信号とに分離する分離部と、を備え、
前記学習部は、前記入力物理量に関連する位相成分を加味して、前記マスクを生成するネットワークの重みを学習するとともに、前記入力物理量に関連する位相成分を加味して、前記伝達関数を学習する
ことを特徴とする信号処理装置。

【請求項2】

請求項１に記載の信号処理装置において、
前記学習部は、前記マスクを生成するネットワークの重み、及び、前記伝達関数を学習する際に、前記位相成分に加え、前記入力物理量に関連する振幅を加味して、前記マスクを生成するネットワークの重みを学習するとともに、前記位相成分に加え、前記入力物理量に関連する振幅を加味して、前記伝達関数を学習する
ことを特徴とする信号処理装置。

【請求項3】

請求項２に記載の信号処理装置において、
前記学習部は、前記ノイズ成分と前記教師信号との関連性が小さくなるとともに、前記抽出信号と前記教師信号との関連性が大きくなるように、前記マスクを生成するネットワークの重み、及び、前記伝達関数を学習する
ことを特徴とする信号処理装置。

【請求項4】

請求項３に記載の信号処理装置において、
前記学習部は、前記マスクを生成するネットワークの重み、及び、前記伝達関数を学習する場合に、さらに、前記教師信号に対する前記推定信号の誤差が小さくなるように、学習する
ことを特徴とする信号処理装置。

【請求項5】

請求項１乃至請求項４のいずれか一項に記載の信号処理装置において、
さらに、信号を合成して加工音を生成する信号合成部を備え、
前記信号合成部は、前記抽出信号の大きさを変更して、前記入力物理量から分離された前記ノイズ成分と合成して加工音を生成する
ことを特徴とする信号処理装置。

【請求項6】

請求項１乃至請求項４のいずれか一項に記載の信号処理装置において、
さらに、信号を合成して加工音を生成する信号合成部を備え、
前記信号合成部は、前記教師信号に前記伝達関数の逆数を掛け、前記入力物理量から分離された前記ノイズ成分と合成して加工音を生成する機能を有する
ことを特徴とする信号処理装置。

【請求項7】

請求項１乃至請求項４のいずれか一項に記載の信号処理装置において、
さらに、信号を合成して加工音を生成する信号合成部を備え、
前記信号合成部は、前記教師信号の大きさを変更した変更教師信号に前記伝達関数の逆数を掛け、前記入力物理量から分離された前記ノイズ成分と合成して加工音を生成する機能を有する
ことを特徴とする信号処理装置。

【請求項8】

請求項１乃至請求項４のいずれか一項に記載の信号処理装置において、
さらに、信号を合成して加工音を生成する信号合成部を備え、
前記信号合成部は、前記教師信号と同じ次元である任意の信号に前記伝達関数の逆数を掛け、前記入力物理量から分離された前記ノイズ成分と合成して加工音を生成する機能を有する
ことを特徴とする信号処理装置。

【請求項9】

請求項１乃至請求項４のいずれか一項に記載の信号処理装置において、
さらに、信号を合成して加工音を生成する信号合成部を備え、
前記信号合成部は、前記伝達関数の値を変更した変更伝達関数の逆数を前記教師信号に掛け、前記入力物理量から分離された前記ノイズ成分と合成して加工音を生成する機能を有する
ことを特徴とする信号処理装置。

【請求項10】

請求項１乃至請求項４のいずれか一項に記載の信号処理装置において、
さらに、信号を合成して加工音を生成する信号合成部を備え、
前記信号合成部は、前記教師信号の大きさを変更した変更教師信号に前記伝達関数の値を変更した変更伝達関数の逆数を掛け、前記入力物理量から分離された前記ノイズ成分と合成して加工音を生成する機能を有する
ことを特徴とする信号処理装置。

【請求項11】

請求項１乃至請求項４のいずれか一項に記載の信号処理装置において、
さらに、信号を合成して加工音を生成する信号合成部を備え、
前記信号合成部は、測定対象から受聴者の耳位置までの伝達関数を前記抽出信号に掛け、前記受聴者の耳位置のノイズ成分を合成して加工音を生成する機能を有する
ことを特徴とする信号処理装置。

【請求項12】

請求項１乃至請求項４のいずれか一項に記載の信号処理装置において、
さらに、信号を合成して加工音を生成する信号合成部を備え、
前記信号合成部は、前記教師信号に前記伝達関数の逆数を掛けることに加え、さらに測定対象から受聴者の耳位置までの伝達関数を掛け、前記受聴者の耳位置のノイズ成分を合成して加工音を生成する機能を有する
ことを特徴とする信号処理装置。

【請求項13】

請求項１乃至請求項４のいずれか一項に記載の信号処理装置において、
さらに、信号を合成して加工音を生成する信号合成部を備え、
前記信号合成部は、操作者による前記抽出信号の大きさの指定を受け付ける信号調整部を有している
ことを特徴とする信号処理装置。

【請求項14】

ニューラルネットワークにより、ノイズ成分が含まれている入力物理量から前記ノイズ成分を除去するためのマスクを生成するネットワークの重みを学習するとともに、前記入力物理量から前記ノイズ成分が除去された抽出信号を教師信号と同じ次元の推定信号に変換するための伝達関数を学習する学習工程と、
前記入力物理量を前記ノイズ成分と前記抽出信号とに分離する分離工程と、を含み、
前記学習工程において、前記入力物理量に関連する位相成分を加味して、前記マスクを生成するネットワークの重みを学習するとともに、前記入力物理量に関連する位相成分を加味して、前記伝達関数を学習する
ことを特徴とする信号処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、入力物理量をノイズ成分とノイズ成分が除去された抽出信号とに良好に分離する信号処理装置、及び、信号処理方法に関する。

【背景技術】

【0002】

例えば、ガソリンエンジンなどの内燃機関における点火時期は、出力トルクの向上を目的として、ノッキングが発生しないクランク角度の範囲内において可能な限り進角されることが一般的である。そこで、点火時期を調整する過程では、ノッキングが発生しているか否かが試験者又はノッキング判定装置によって判定される。こうしたノッキング判定装置の一例が特許文献１に記載されている。

【0003】

特許文献１に記載のノッキング判定装置は、ノッキングの有無が判定される判定信号と比較される対象信号とを、判定信号との関係（例えば、時間的な関係や運転条件における関係）で定まる条件に基づいて選択する。

【0004】

特許文献１に記載のノッキング判定装置では、ノッキング有無の判定結果しか外部に提示できず、判定結果の裏付けをとることが困難である。そこで、本発明の発明者らによって、判定結果の裏付けとなる所望の物理量を推定することが可能な装置として、特許文献２又は特許文献３に記載の装置が提案された。

【0005】

特許文献２に記載の装置は、「入力物理量に含まれるノイズ成分を除去し、前記ノイズ成分が除去された入力物理量から所望の物理量を推定するための学習装置であって、前記ノイズ成分は、内燃機関で発生するノッキング音以外の雑音であり、前記入力物理量は、前記雑音及び前記ノッキング音が含まれる前記内燃機関の音圧であり、前記所望の物理量は、ノッキング発生時の前記内燃機関の筒内圧であり、ニューラルネットワークにより、前記雑音を除去し、かつ、前記ノッキング音を抽出するマスクを生成するネットワークの重み、及び／又は、前記マスクにより抽出されたノッキング音を前記ノッキング発生時の内燃機関の筒内圧に変換する伝達関数を学習する学習部、を備えることを特徴とする学習装置。」というものである。特許文献２に記載の装置は、ニューラルネットワークにより、入力物理量に含まれるノイズ成分を除去するマスクを生成するネットワークの重み、及び／又は、マスクによりノイズ成分が除去された入力物理量を所望の物理量に変換する伝達関数を学習する学習部を備え、入力物理量に含まれるノイズ成分を除去し、ノイズ成分が除去された入力物理量から所望の物理量を推定し、ノッキングの有無を判定する。

【0006】

特許文献３に記載の装置は、「内燃機関で発生するノッキング音以外の雑音を除去し、前記雑音が除去されたノッキング音を推定するノッキング判定装置であって、ニューラルネットワークにより、前記雑音を除去し、かつ、前記ノッキング音を抽出するマスクを生成するネットワークの重み、及び、前記マスクにより抽出されたノッキング音をノッキング発生時の内燃機関の筒内圧に変換する伝達関数を学習する学習部と、ニューラルネットワークにより、前記マスクを用いて、前記雑音が含まれるノッキング音から前記雑音が除去されたノッキング音を推定する第２推定部と、を備えることを特徴とするノッキング判定装置。」というものである。特許文献３に記載の装置は、ニューラルネットワークにより、マスクを用いて、雑音が含まれるノッキング音から雑音が除去されたノッキング音を推定する。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２０１７−４４１４８号公報

【特許文献2】特許第６６０５１７０号公報

【特許文献3】特許第６６５１０４０号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、特許文献２及び特許文献３に記載された従来技術は、入力物理量に関連する位相成分を考慮することなく、入力物理量をノイズ成分と抽出信号とに分離する構成になっていた。そのため、従来技術は、入力物理量をノイズ成分と抽出信号とに分離しても、ノイズ成分に抽出信号が混入してしまい、抽出信号を正確に分離できなかった。

【0009】

本発明は、前記した課題を解決するためになされたものであり、位相成分を考慮した構成を実現することにより、入力物理量をノイズ成分と抽出信号とに良好に分離する信号処理装置、及び、信号処理方法を提供することを主な目的とする。

【課題を解決するための手段】

【0010】

前記課題を解決するため、本発明は、信号処理装置であって、ニューラルネットワークにより、ノイズ成分が含まれている入力物理量から前記ノイズ成分を除去するためのマスクを生成するネットワークの重みを学習するとともに、前記入力物理量から前記ノイズ成分が除去された抽出信号を教師信号と同じ次元の推定信号に変換するための伝達関数を学習する学習部と、前記入力物理量を前記ノイズ成分と前記抽出信号とに分離する分離部と、を備え、前記学習部は、前記入力物理量に関連する位相成分を加味して、前記マスクを生成するネットワークの重みを学習するとともに、前記入力物理量に関連する位相成分を加味して、前記伝達関数を学習する構成とする。

【0011】

また、本発明は、信号処理方法であって、ニューラルネットワークにより、ノイズ成分が含まれている入力物理量から前記ノイズ成分を除去するためのマスクを生成するネットワークの重みを学習するとともに、前記入力物理量から前記ノイズ成分が除去された抽出信号を教師信号と同じ次元の推定信号に変換するための伝達関数を学習する学習工程と、前記入力物理量を前記ノイズ成分と前記抽出信号とに分離する分離工程と、を含み、前記学習工程において、前記入力物理量に関連する位相成分を加味して、前記マスクを生成するネットワークの重みを学習するとともに、前記入力物理量に関連する位相成分を加味して、前記伝達関数を学習する構成とする。
その他の手段は、後記する。

【発明の効果】

【0012】

本発明によれば、入力物理量をノイズ成分と抽出信号とに良好に分離することができる。

【図面の簡単な説明】

【0013】

【図1】第１実施形態に係る信号処理装置（推定装置）を含む信号処理システムの全体構成を示すブロック図である。

【図2】第１実施形態に係る信号処理装置（推定装置）の構成を示すブロック図である。

【図3A】学習モードの説明図である。

【図3B】第１実施形態に係る信号処理装置（推定装置）の学習モード時の動作説明図である。

【図4A】閾値算出モードの説明図である。

【図4B】第１実施形態に係る信号処理装置（推定装置）の閾値算出モード時の動作説明図である。

【図5A】判定モードの説明図である。

【図5B】第１実施形態に係る信号処理装置（推定装置）の判定モード時の動作説明図である。

【図6A】分離モードの説明図である。

【図6B】第１実施形態に係る信号処理装置（推定装置）の分離モード時の動作説明図である。

【図7A】官能試験モードの説明図である。

【図7B】第１実施形態に係る信号処理装置（推定装置）の官能試験モード時の動作説明図である。

【図8A】学習時におけるノイズ成分と教師信号との関係を表す説明図である。

【図8B】学習時における抽出信号と教師信号との関係を表す説明図である。

【図8C】学習時における抽出信号と推定信号との関係を表す説明図である。

【図9】第１実施形態において、マスクを生成するネットワークの重みを学習するニューラルネットワークの説明図である。

【図10A】圧力や、振動、音などの位相成分が考慮されていない場合の計算例の説明図である。

【図10B】圧力や、振動、音などの位相成分が考慮されている場合の計算例の説明図である。

【図11A】官能試験における信号処理の説明図（１）である。

【図11B】官能試験における信号処理の説明図（２）である。

【図11C】官能試験における信号処理の説明図（３）である。

【図12A】官能試験における信号処理の説明図（４）である。

【図12B】官能試験における信号処理の説明図（５）である。

【図12C】官能試験における信号処理の説明図（６）である。

【図13】第１実施形態において、信号処理装置（推定装置）のデータ収集処理を示すフローチャートである。

【図14A】第１実施形態において、信号処理装置（推定装置）の学習処理を示すフローチャートである。

【図14B】学習処理のサブルーチンを示すフローチャートである。

【図14C】学習処理のサブルーチンの変更例を示すフローチャートである。

【図15A】第１実施形態において、信号処理装置（推定装置）の閾値算出処理を示すフローチャートである。

【図15B】第１実施形態において、図１７の分離処理及び図１８の官能試験処理の後に行われる信号処理装置（推定装置）の閾値算出処理を示すフローチャートである。

【図16】第１実施形態において、信号処理装置（推定装置）の判定処理を示すフローチャートである。

【図17】第１実施形態において、信号処理装置（推定装置）の分離処理を示すフローチャートである。

【図18】第１実施形態において、信号処理装置（推定装置）の官能試験処理を示すフローチャートである。

【図19】第２実施形態に係る信号処理装置（推定装置）の構成を示すブロック図である。

【図20】第１変形例の説明図である。

【図21】第１変形例において、マスクを生成するネットワークの重み及び伝達関数の学習の説明図である。

【図22】第２変形例の説明図である。

【図23】第２変形例において、マスクを生成するネットワークの重み及び伝達関数の学習の説明図である。

【図24】第３変形例において、マスクを生成するネットワークの重み及び伝達関数の学習の説明図である。

【発明を実施するための形態】

【0014】

以下、図面を参照して、本発明の実施の形態（以下、「本実施形態」と称する）について詳細に説明する。なお、各図は、本発明を十分に理解できる程度に、概略的に示しているに過ぎない。よって、本発明は、図示例のみに限定されるものではない。また、各図において、共通する構成要素や同様な構成要素については、同一の符号を付し、それらの重複する説明を省略する。

【0015】

［第１実施形態］
＜信号処理装置（推定装置）を含む信号処理システムの全体構成＞
以下、図１を参照して、本第１実施形態に係る信号処理装置１０（推定装置）を含む信号処理システム１００の全体構成について説明する。図１は、信号処理装置１０（推定装置）を含む信号処理システム１００の全体構成を示すブロック図である。

【0016】

信号処理装置１０は、信号に対して各種の処理を行う装置である。本実施形態では、信号処理装置１０が、ノイズ成分が除去された抽出信号に伝達関数を掛け合わせて、教師信号と同じ次元（単位）の推定信号を推定する推定装置として機能するものとして説明する。また、本実施形態では、ガソリンエンジンなどの内燃機関でノッキングが発生しているか否かを検証する用途に信号処理装置１０が用いられるものとして説明する。ただし、信号処理装置１０は、このような用途に限らず、様々な用途に用いることができる。

【0017】

図１に示すように、信号処理システム１００は、試験対象となるエンジン１のノッキングの有無を判定するものであり、音圧センサ４と、筒内圧センサ５と、データ収集装置６と、モニタ７と、ヘッドホン８と、レベル指定部９と、信号処理装置１０とを備える。

【0018】

図１に示すように、試験対象のエンジン１は、車両３に搭載されている。なお、試験対象のエンジン１は、車両３に搭載されない状態、例えば単独の状態で用いられてもよい。エンジン１には、エンジン１の駆動を制御するエンジンＥＣＵ（Electronic Control Unit）２が接続されている。エンジンＥＣＵ２は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random access memory）、その他の記憶装置等で構成されている。エンジンＥＣＵ２は、ＲＯＭや記憶装置に記憶されたプログラムをＣＰＵで演算処理することで、エンジン１の駆動制御に必要な各種情報をエンジンＥＣＵ２の外部から取得しながらエンジン１の駆動を制御する。

【0019】

エンジンＥＣＵ２は、エンジン１の現在の回転角度を表す角度情報をデータ収集装置６に出力する。角度情報には、例えば回転パルスとクランク角度パルスとが含まれる。回転パルスは、クランク軸における絶対角度が出力される信号であって、例えば、クランク軸が１回転するごとに１パルス出力される。クランク角度パルスは、クランク軸の回転角度が単位角度進むごとに出力される信号であって、例えば、１°毎に１パルスが出力される場合、吸入、圧縮、燃焼及び排気の４行程を１サイクルとする４ストロークエンジンにおいて、１サイクルにクランク軸が回転する２回転の間に７２０パルス出力される。なお、角度情報がデータ収集装置６に入力されるのであれば、エンジンＥＣＵ２を介さず、クランク軸の回転角度の原点を検出する原点センサや、クランク軸の回転角度を検出する角度センサからの角度情報がデータ収集装置６に入力されてもよい。

【0020】

エンジン１の近くには、音圧センサ４が設置されている。音圧センサ４は、エンジン１から発生する音を検出し、この検出した音に基づく音圧信号をデータ収集装置６に出力する。詳述すると、音圧センサ４は、エンジン１に発生する筒内圧力変動に基づく物理量の一例である音圧を検出し、検出された音圧の大きさを示す音圧信号を生成する。よって、エンジン１にノッキングが発生していないとき、音圧センサ４から出力される音圧信号には、ノッキングに相関のある音は含まれない。一方、エンジン１にノッキングが発生しているとき、音圧センサ４から出力される音圧信号には、ノッキングに相関のある音が含まれている。

【0021】

エンジン１には、エンジン１の筒内圧を検出する筒内圧センサ５を取り付ける。筒内圧センサ５は、筒内の燃焼ガス振動に応じた波形成分を含む筒内圧信号をデータ収集装置６に出力する。ここで、エンジン１にノッキングが発生していないとき、筒内圧センサ５から出力される筒内圧信号には、ノッキングに相関した成分が含まれない。一方、エンジン１にノッキングが発生しているとき、筒内圧センサ５から出力される筒内圧信号には、ノッキングに相関した成分が含まれている。筒内圧センサ５は、点火プラグと一体化したものを用いてもよいし、点火プラグとは別個に構成されたものを用いてもよい。

【0022】

データ収集装置６は、音圧センサ４からの音圧信号を入力してＡ／Ｄ変換する。また、データ収集装置６は、音圧信号を入力するタイミングで、エンジンＥＣＵ２から現在の角度情報を取得する。そして、データ収集装置６は、角度情報に基づいてエンジン１の１サイクル分の音圧信号を取得する。よって、４ストローク単気筒エンジンを例とすると、データ収集装置６は、単位時間当たりのエンジン１の回転速度に応じた数、例えば、回転速度が３０００［ｒ／ｍｉｎ］であれば一分間に１５００個の音圧信号を生成する。また、データ収集装置６は、一部又は全部の音圧信号に角度情報を関連付ける。そして、データ収集装置６は、角度情報が関連付けられた音圧信号を信号処理装置１０に出力する。なお、データ収集装置６は、音圧信号を一時的に保持したり、一旦蓄えたりしてから信号処理装置１０に出力してもよい。また、データ収集装置６は、音圧信号に時刻情報を関連付けてもよい。

【0023】

モニタ７は、信号処理装置１０が推定したエンジン１の筒内圧や、信号処理装置１０によるノッキング有無の判定結果を表示する。なお、モニタ７の一例として、一般的なフラットパネルディスプレイがある。

【0024】

ヘッドホン８は、音を発する放音部である。ヘッドホン８は、後記する官能試験モードで試験対象物（本実施形態では、エンジン１）の状況を検査する際に、信号処理装置１０の操作者の頭部に装着される。

【0025】

レベル指定部９は、信号に対する上昇レベル又は下降レベルを指定するレベル指定情報を受け付ける入力部である。レベル指定部９は、例えばタッチパネルディスプレイや、テンキー、専用のスイッチなどによって構成されている。本実施形態では、抽出信号（抽出ノッキング音９１ａ（図１１Ｂ））のレベルを変更してレベル変更抽出信号（レベル変更ノッキング音９１ａａ（図１２Ａ））を生成する場合に、抽出信号の上昇レベル又は下降レベルを指定（入力）するために、信号処理装置１０の操作者又はその周囲の人物によってレベル指定部９が操作される。

【0026】

信号処理装置１０は、マスクαを生成するネットワークの重みＷ（図３Ｂ）及び伝達関数Ｈ（図３Ａ）を学習する。ここで、マスクαは、ノイズ成分が含まれている入力物理量からノイズ成分を除去するための実数又は複素数の行列である。マスクαは、入力物理量に合わせて変化する。また、伝達関数Ｈは、複素数の重みベクトルであり、エンジン１の構造減衰補正量の逆数と解釈する。構造減衰補正量とは、エンジン燃焼時の筒内圧に起因する振動がエンジン１を通り、音となって音圧センサに到達するまでの伝達特性のことである。エンジン１の筒内圧の周波数成分に構造減衰補正量を乗算したものがエンジン１の燃焼騒音レベルとなる。

【0027】

そのため、音圧であるエンジン１の近傍音に含まれる燃焼騒音に構造減衰補正量の逆数を乗算すれば、エンジン１の筒内圧が求められる。したがって、エンジン１の近傍音からエンジン１の筒内圧を推定することができる。

【0028】

エンジン１の近傍音からエンジン１の筒内圧を推定する原理については、例えば、前記した特許文献２に記載されている。例えば、前記した特許文献２によれば、「まず、エンジン１の近傍音ｙと、教師データ（教師信号）として、実測したエンジン１の筒内圧ｘとを収集する。……エンジン１の近傍音ｙ及びエンジン１の実測筒内圧ｘを用いて、未知数であるマスクαを生成するネットワークの重み及び伝達関数Ｈをニューラルネットワークにより学習する。そして、学習したネットワークが生成したマスクα及び伝達関数Ｈを用いて、試験時に測定したエンジン１の近傍音ｙから、エンジン１の筒内圧ｘを推定する。」と記載されている。

【0029】

信号処理装置１０は、学習したネットワークが生成したマスクα及び伝達関数Ｈを用いて、エンジン１の近傍音からノッキング音を抽出し、エンジン１のノッキング筒内圧を推定し、抽出したノッキング音や推定したエンジン１のノッキング筒内圧に基づいて、ノッキングの有無を判定する。そして、信号処理装置１０は、抽出したノッキング音や推定したエンジン１のノッキング筒内圧や、ノッキング有無の判定結果をモニタ７に表示する。

【0030】

ここで、信号処理装置１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、その他の記憶装置等で構成されている。信号処理装置１０は、ＲＯＭや記憶装置に記憶されているプログラムをＣＰＵで演算処理する。なお、信号処理装置１０は、以下の処理を実行するプログラムを有するパーソナルコンピュータ（ＰＣ）等であってもよい。

【0031】

本実施形態では、信号処理装置１０は、学習モード、閾値算出モード、判定モード、分離モード、官能試験モードという５つの動作モードで動作する。１つ目の学習モードは、マスクα（図３Ａ）を生成するネットワークの重みＷ（図３Ｂ）及び伝達関数Ｈ（図３Ａ）を学習する動作モードである。２つ目の閾値算出モードは、マスクαを生成するネットワークの重みＷ及び伝達関数Ｈの学習後、ノッキングの有無を閾値判定するときの閾値を算出する動作モードである。３つ目の判定モードは、学習したネットワークに入力物理量を入力することで生成されたマスクαを用いて入力物理量（本実施形態では、エンジン近傍音９０）から抽出信号（本実施形態では、抽出ノッキング音９１ａ）を抽出し、ノッキングの有無を判定する動作モードである。４つ目の分離モードは、入力物理量を抽出信号とノイズ成分（本実施形態では、雑音９１ｂ）とに分離する動作モードである。５つ目の官能試験モードは、検査者が後記する加工音を聞き取り、検査者の聴感によって検査すべき目的音（本実施形態では、ノッキング音）における閾値算出モードで使用するデータを決定するための動作モードである。５つ目の官能試験モードでは、例えば許容範囲外となった音から閾値を算出する。

【0032】

これら５つの動作モードは、任意に切り替えることができる。例えば、図示を省略した管理装置により、ＣＡＮ（Controller Area Network）を介して、信号処理装置１０の動作モードを切り替えることができる。また、図示を省略したマウス、キーボード等の操作手段を用いて、信号処理装置１０の動作モードを切り替えてもよい。

【0033】

学習モードの場合、ノッキングが発生する運転条件、及び、ノッキングが発生しない運転条件でそれぞれエンジン１を運転し、データ収集装置６が、教師データ（教師信号）として、筒内圧信号を収集する。このとき、データ収集装置６は、筒内圧センサ５からの筒内圧信号を入力してＡ／Ｄ変換し、これを音圧信号に関連付けておく。

【0034】

閾値算出モードの場合、ノッキングが発生しない運転条件でエンジン１を運転し、データ収集装置６が、音圧信号を収集する。

【0035】

判定モードの場合、学習したネットワークにより生成されたマスクαを用いてエンジン近傍音９０（入力物理量）から抽出ノッキング音９１ａ（抽出信号）を抽出し、信号処理装置１０が、閾値に基づいてノッキングの有無を判定する。

【0036】

なお、閾値算出モード又は判定モードの場合、データ収集装置６が、筒内圧信号を収集する必要はない。また、学習モードの場合、音圧センサ４と筒内圧センサ５の双方が動作するが、判定モードの場合、音圧センサ４のみが動作する。

【0037】

分離モードの場合、エンジン１を運転し、信号処理装置１０が、エンジン近傍音９０（入力物理量）を学習したネットワークに入力してマスクαを生成し、雑音９１ｂ（ノイズ成分）と抽出ノッキング音９１ａ（抽出信号）とに分離する。その際に、信号処理装置１０は、雑音９１ｂ（ノイズ成分）をノイズ成分記憶部２６ｃに、抽出ノッキング音９１ａ（抽出信号）を抽出信号記憶部２６ｄに、それぞれ記憶する。本発明では、入力物理量に関連する振幅と位相を考慮して、マスクαを生成するネットワークの重みＷ及び伝達関数Ｈを学習することにより分離性能が向上している。マスクαは実数又は複素数、伝達関数Ｈは複素数で実装する。これにより、信号処理装置１０は、入力物理量をノイズ成分と抽出信号とに良好に分離することができる。

【0038】

官能試験モードの場合、信号処理装置１０が、レベル指定部９からレベル指定情報を受け付け、レベル指定情報に基づいて、雑音９１ｂ（ノイズ成分）と抽出ノッキング音９１ａ（抽出信号）とを用いて加工音を生成する。

【0039】

仮に振幅スペクトルが同じだとしても、位相スペクトルによって信号波形は大きく変わるため、聴感印象に多大な影響を及ぼす。そのため、品質の良い加工音を生成するには、位相を考慮して、加工音に用いる抽出信号（本実施形態では、抽出ノッキング音９１ａ）を取得することが重要である。換言すると、信号処理装置１０は、入力物理量に関連する振幅と位相を考慮して、マスクαを生成するネットワークの重みＷ及び伝達関数Ｈを学習することにより分離性能が向上し、品質の良い加工音（聴感上、ノッキング音が自然な加工音）を生成することができる。

【0040】

＜信号処理装置（推定装置）の構成＞
以下、図２を参照して、信号処理装置１０（推定装置）の構成について説明する。図２は、信号処理装置１０（推定装置）の構成を示すブロック図である。図２に示すように、信号処理装置１０は、信号切出部１１と、スペクトログラム算出部１２と、信号記憶部１３と、スイッチ１４と、学習処理部２０（学習装置）と、判定処理部３０と、分離部４０と、信号合成部５０と、を備える。ここで、信号処理装置１０は、データ収集装置６から、音圧信号と、この音圧信号に関連付けられた角度情報とが入力される。さらに、学習モードの場合、信号処理装置１０は、データ収集装置６から筒内圧信号が入力される。

【0041】

信号切出部１１は、データ収集装置６から入力された角度情報に基づいて、入力された音圧信号から所定の切出角度範囲の音圧信号を切り出す。例えば、切出角度範囲はＡＴＤＣ（After Top Dead Center）の約−１０〜９０°の角度範囲である。本実施形態では、ＴＤＣ（Top Dead Center）を基準として切り出されているため、点火タイミングが変更されても切出角度範囲は固定されたままであるが、点火タイミングの変更に応じて切出角度範囲を変更してもよい。信号切出部１１は、音圧信号を切り出すと、切り出した音圧信号をスペクトログラム算出部１２に出力する。

【0042】

スペクトログラム算出部１２は、信号切出部１１が切り出した音圧信号に対して短時間フーリエ変換（ＳＴＦＴ：Short Time Fourier Transform）を行い、音圧信号のスペクトログラムを算出する。短時間フーリエ変換は、例えば、離散フーリエ変換を高速に計算する高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）により行われる。
その後、スペクトログラム算出部１２は、音圧信号のスペクトログラムを信号記憶部１３に書き込む。

【0043】

信号記憶部１３は、スペクトログラム算出部１２が変換した音圧信号のスペクトログラムを記憶するメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等の記憶装置である。なお、学習モードの場合、信号記憶部１３は、データ収集装置６から入力された筒内圧信号（観測ノッキング筒内圧９３（図３Ａ））を、教師データ（教師信号）として記憶する。ここで、「ノッキング筒内圧」とは、筒内圧信号に重畳したノッキング成分を表す。ノッキング筒内圧は、筒内圧をノッキングの周波数成分以上の周波数帯を通過させるハイパスフィルタ処理することで得られる。

【0044】

スイッチ１４は、前記した５つの動作モードに対応する学習モード用接続部Ｍ１、閾値算出モード用接続部Ｍ２、判定モード用接続部Ｍ３、分離モード用接続部Ｍ４、官能試験モード用接続部Ｍ５に任意に切り替えることができる。信号処理装置１０は、信号処理装置１０の動作モードに応じてスイッチ１４を切り替えることにより、信号記憶部１３に記憶されている信号を任意の出力先に出力することができる。

【0045】

例えば学習モードの場合、信号処理装置１０は、スイッチ１４を学習モード用接続部Ｍ１に接続して、信号記憶部１３に記憶されている音圧信号のスペクトログラム及び筒内圧信号を後記する学習部２１に出力する。また、例えば閾値算出モードの場合、信号処理装置１０は、スイッチ１４を閾値算出モード用接続部Ｍ２に接続して信号記憶部１３に記憶されている音圧信号のスペクトログラムを後記する第１推定部２３に出力する。また、例えば判定モードの場合、信号処理装置１０は、スイッチ１４を判定モード用接続部Ｍ３に接続して、信号記憶部１３に記憶されている音圧信号のスペクトログラムを後記する第２推定部３１（抽出信号推定部）に出力する。また、例えば分離モードの場合、信号処理装置１０は、スイッチ１４を分離モード用接続部Ｍ４に接続して、信号記憶部１３に記憶されている音圧信号のスペクトログラムを後記する分離部４０に出力する。また、例えば官能試験モードの場合、信号処理装置１０は、スイッチ１４を官能試験モード用接続部Ｍ５に接続して、官能試験モードの実行指示信号を後記する信号調整部５１に出力する。

【0046】

＜学習処理部＞
学習処理部２０は、学習モードにおいて、マスクαを生成するネットワークの重みＷ及び伝達関数Ｈを学習する学習処理（図１４Ａ）を行い、閾値算出モードにおいて、エンジン１の抽出したノッキング音の閾値判定に用いる閾値を算出する閾値算出処理（図１５Ａ）を行う。図２に示すように、学習処理部２０は、学習部２１と、学習済みパラメータ記憶部２２と、第１推定部２３と、閾値算出部２４と、閾値記憶部２５と、教師信号記憶部２６ａと、推定信号記憶部２６ｂと、ノイズ成分記憶部２６ｃと、抽出信号記憶部２６ｄと、を備える。

【0047】

学習部２１は、学習モードにおいて、ニューラルネットワーク９４（図３Ａ）により、エンジン近傍音９０（入力物理量）から雑音９１ｂを除去し、かつ、抽出ノッキング音９１ａ（抽出信号）を抽出するマスクαを生成するネットワークの重みＷと、生成されたマスクαで抽出した抽出ノッキング音９１ａ（抽出信号）をノッキング発生時のエンジン１の推定ノッキング筒内圧９２に変換する伝達関数Ｈとを学習する。本実施形態では、学習部２１は、信号記憶部１３から入力された音圧信号のスペクトログラム及び筒内圧信号を用いて、マスクαを生成するネットワークの重みＷ及び伝達関数Ｈを学習する。その後、学習部２１は、学習したマスクαを生成するネットワークの重みＷ及び伝達関数Ｈを学習済みパラメータ記憶部２２に書き込む。

【0048】

学習済みパラメータ記憶部２２は、学習済みのパラメータ（マスクαを生成するネットワークの重みＷ及び伝達関数Ｈ）を記憶するメモリ、ＨＤＤ、ＳＳＤ等の記憶装置である。

【0049】

第１推定部２３は、閾値算出モードにおいて、ニューラルネットワーク９４により生成されたマスクαを用いて、音圧信号のスペクトログラムからエンジン１のノッキング音（抽出信号）を抽出する。この第１推定部２３が抽出したノッキング音（抽出信号）は、後記する閾値を算出するときに利用される。具体的には、第１推定部２３は、学習済みパラメータ記憶部２２のマスクαを生成するネットワークの重みＷが反映されたニューラルネットワーク９４に、信号記憶部１３から入力された音圧信号のスペクトログラムを入力する。すると、学習したネットワークにより生成されたマスクαが音圧信号のスペクトログラムからノッキング音（抽出信号）を抽出する。その後、第１推定部２３は、ノッキング音（抽出信号）を閾値算出部２４に出力する。

【0050】

閾値算出部２４は、第１推定部２３が抽出したエンジン１のノッキング音（抽出信号）に基づいて閾値を算出する。具体的には、閾値算出部２４は、ノッキング音（抽出信号）のスペクトログラムの絶対値を所定時間（例えば、エンジン１の１サイクル）毎に総和する。例えば、複数の気筒を有するエンジン１では、ノッキング音（抽出信号）を総和すると、気筒別に１つのスコアが求められる。続いて、閾値算出部２４は、所定時間毎に総和したノッキング音（抽出信号）の中央値を算出する。例えば、閾値算出部２４は、全てのサイクルについて、ノッキング音（抽出信号）の総和の中央値を算出する。このとき、閾値算出部２４は、任意の値で予め設定したマージンを中央値に加算し、閾値とする。なお、閾値算出部２４は、気筒毎にノッキング音（抽出信号）を総和して中央値を求め、気筒毎の閾値を算出してもよい。一方、閾値算出部２４は、各気筒でノッキング音（抽出信号）を総和し、全気筒で中央値を求め、全気筒で共通の閾値を算出してもよい。また、後述する官能試験にて、検査者により許容不可能と判断された加工音９１ｃのノッキング音（抽出信号）の総和を求め、総和値以下の任意の値を閾値としてもよい。その後、閾値算出部２４は、算出した閾値を閾値記憶部２５に書き込む。

【0051】

閾値記憶部２５は、閾値算出部２４が算出した閾値を記憶するメモリ、ＨＤＤ、ＳＳＤ等の記憶装置である。

【0052】

教師信号記憶部２６ａは、教師信号（本実施形態では、観測ノッキング筒内圧９３（図３Ａ））を記憶するメモリ、ＨＤＤ、ＳＳＤ等の記憶装置である。

【0053】

推定信号記憶部２６ｂは、推定信号（本実施形態では、推定ノッキング筒内圧９２（図３Ａ））を記憶するメモリ、ＨＤＤ、ＳＳＤ等の記憶装置である。

【0054】

ノイズ成分記憶部２６ｃは、入力物理量に含まれているノイズ成分（本実施形態では、雑音９１ｂ（図６Ａ））を記憶するメモリ、ＨＤＤ、ＳＳＤ等の記憶装置である。

【0055】

抽出信号記憶部２６ｄは、ノイズ成分が含まれている入力物理量からノイズ成分を除去した抽出信号（本実施形態では、抽出ノッキング音９１ａ（図６Ａ））を記憶するメモリ、ＨＤＤ、ＳＳＤ等の記憶装置である。

【0056】

＜判定処理部＞
判定処理部３０は、判定モードにおいて、音圧信号のスペクトログラムからエンジン１のノッキング音を抽出し、ノッキングの有無を判定する判定処理（図１６）を行う。図２に示すように、判定処理部３０は、第２推定部３１（抽出信号推定部）と、閾値判定部３２とを備える。

【0057】

第２推定部３１（抽出信号推定部）は、判定モードにおいて、ニューラルネットワーク９４により生成されたマスクαを用いて、音圧信号のスペクトログラムから抽出ノッキング音９１ａ（抽出信号）を抽出する。この第２推定部３１が抽出した抽出ノッキング音９１ａ（抽出信号）は、後記する閾値判定に利用される。なお、第２推定部３１の処理内容は、第１推定部２３と同様のため、説明を省略する。
その後、第２推定部３１は、抽出した抽出ノッキング音９１ａ（抽出信号）を閾値判定部３２に出力する。

【0058】

閾値判定部３２は、判定モードにおいて、閾値記憶部２５に記憶されている閾値と、第２推定部３１が抽出したノッキング音（抽出信号）との閾値判定により、ノッキングの有無を判定する。具体的には、閾値判定部３２は、閾値算出部２４と同様、ノッキング音（抽出信号）のスペクトログラムの絶対値を所定時間毎に総和する。そして、閾値判定部３２は、総和したノッキング音（抽出信号）と閾値とを比較し、総和したノッキング音（抽出信号）が閾値を超える場合にはノッキング有りと判定し、総和したノッキング音（抽出信号）が閾値以下の場合にはノッキング無しと判定する。その後、閾値判定部３２は、ノッキング有無の判定結果と、第２推定部３１から入力されたノッキング音（抽出信号）をモニタ７（図１）に出力する。

【0059】

＜分離部＞
分離部４０は、入力物理量をノイズ成分と抽出信号とに分離する。本実施形態では、図６Ａに示すように、分離部４０は、入力物理量としてのエンジン近傍音９０をノイズ成分である雑音９１ｂと抽出信号である抽出ノッキング音９１ａとに分離する。

【0060】

＜信号合成部＞
信号合成部５０は、各種の信号を合成して加工音を生成する。本実施形態では、図１１Ａ乃至図１２Ｃに示すように、信号合成部５０は、抽出信号（抽出ノッキング音９１ａ）のレベルを変更して、入力物理量（エンジン近傍音９０）から分離されたノイズ成分（雑音９１ｂ）と合成して加工音を生成する。信号合成部５０は、信号調整部５１と、信号出力部５２とを有している。信号調整部５１は、レベル指定部９で指定（入力）された信号の上昇レベル又は下降レベルに応じて信号のレベルを変更し、レベル変更信号とノイズ成分とを合成して加工音を生成する。信号出力部５２は、加工音（信号）を放音部（ヘッドホン８）に出力して、放音部に加工音を放音させる。

【0061】

＜学習モード時の動作＞
以下、図３Ａ、図３Ｂ、図８Ａ、図８Ｂ、図８Ｃ、及び図９を参照して、信号処理装置１０の学習モード時の動作について説明する。図３Ａは、学習モードの説明図である。図３Ｂは、信号処理装置１０の学習モード時の動作説明図である。図８Ａは、学習時におけるノイズ成分と教師信号との関係を表す説明図である。図８Ｂは、学習時における抽出信号と教師信号との関係を表す説明図である。図８Ｃは、学習時における抽出信号と推定信号との関係を表す説明図である。図９は、第１実施形態において、マスクαを生成するネットワークの重みＷを学習するニューラルネットワーク９４の説明図である。

【0062】

図３Ａに示すように、学習モード時において、信号処理装置１０の学習部２１は、エンジン近傍音９０（入力物理量）を雑音９１ｂ（ノイズ成分）と抽出ノッキング音９１ａ（抽出信号）とに分離する。その際に、学習部２１は、エンジン近傍音９０（入力物理量）にマスクαを掛け合わせて抽出ノッキング音９１ａ（抽出信号）を取得する。また、学習部２１は、エンジン近傍音９０（入力物理量）から抽出ノッキング音９１ａ（抽出信号）を差し引くことで、雑音９１ｂ（ノイズ成分）を取得する。本実施形態では、マスクαは、エンジン近傍音９０（入力物理量）に含まれるノッキング音の割合と位相成分（位相の修正量）を表す。位相成分については、図１０Ａ及び図１０Ｂを用いて後記する。

【0063】

信号処理装置１０の学習部２１は、マスクαを生成するネットワークの重みＷ、及び、抽出ノッキング音９１ａ（抽出信号）を観測ノッキング筒内圧９３（教師信号）と同じ次元（単位）の推定ノッキング筒内圧９２（推定信号）に位相を加味して変換するための伝達関数Ｈを学習する。換言すると、学習部２１は、ネットワークの重みＷ、及び、伝達関数Ｈを学習する際に、マスクα、及び、伝達関数Ｈに対して、入力物理量（エンジン近傍音９０）に関連する振幅と位相成分を加味して学習する。本実施形態では、学習部２１は、抽出ノッキング音９１ａ（抽出信号）に対して、逆短時間フーリエ変換（ＩＳＴＦＴ）と高速フーリエ変換（ＦＦＴ）とを行い、伝達関数Ｈを掛け、逆高速フーリエ変換（ＩＦＦＴ）と短時間フーリエ変換（ＳＴＦＴ）とを行うことで、抽出ノッキング音９１ａ（抽出信号）を推定ノッキング筒内圧９２（推定信号）に変換している。なお、本実施形態では、伝達関数Ｈは、抽出ノッキング音９１ａ（抽出信号）を推定ノッキング筒内圧９２（推定信号）に変換するための振幅（ゲイン）と位相成分である。位相成分については、図１０Ａ及び図１０Ｂを用いて後記する。

【0064】

本実施形態では、図３Ａに示すように、学習部２１は、ノイズ成分（雑音９１ｂ）を逆短時間フーリエ変換（ＩＳＴＦＴ）して求めた信号波形と教師信号（観測ノッキング筒内圧９３）とのコヒーレンスが小さくなるとともに、抽出信号（抽出ノッキング音９１ａ）を逆短時間フーリエ変換（ＩＳＴＦＴ）して求めた信号波形と教師信号（観測ノッキング筒内圧９３）とのコヒーレンスが大きくなるように、マスクαを生成するネットワークの重みＷ、及び、伝達関数Ｈを学習する。これにより、信号処理装置１０は、雑音９１ｂ（ノイズ成分）から筒内圧に起因する音を除去することができる。

【0065】

図３Ｂに、信号処理装置１０の学習モード時の動作を示す。図３Ｂの太枠は学習モード時の作動する構成要素を示している。また、図３Ｂの太線矢印は、学習モード時に出力される信号を示している。

【0066】

図３Ｂに示すように、学習モード時において、信号処理装置１０は、スイッチ１４を学習モード用接続部Ｍ１に接続して、信号記憶部１３に記憶されているエンジン近傍音９０（入力物理量）のスペクトログラム及び観測ノッキング筒内圧９３（教師信号）を学習部２１に出力する。

【0067】

これに応答して、学習部２１は、ニューラルネットワーク９４（図３Ａ）により、エンジン近傍音９０（入力物理量）から雑音９１ｂ（ノイズ成分）を除去するマスクαを生成するネットワークの重みＷと、生成されたマスクαで抽出した抽出ノッキング音９１ａ（抽出信号）をノッキング発生時のエンジン１の推定ノッキング筒内圧９２（推定信号）に変換する伝達関数Ｈとを学習する。このとき、学習部２１は、新しいエンジン近傍音９０（入力物理量）が入力される度に、エンジン近傍音９０（入力物理量）に対応するマスクαを生成する。

【0068】

そして、学習部２１は、学習されたパラメータ（マスクαを生成するネットワークの重みＷと伝達関数Ｈ）を学習済みパラメータ記憶部２２に記憶する。また、学習部２１は、観測ノッキング筒内圧９３（教師信号）を教師信号記憶部２６ａに記憶するとともに、推定ノッキング筒内圧９２（推定信号）を推定信号記憶部２６ｂに記憶する。

【0069】

＜閾値算出モード時の動作＞
以下、図４Ａ及び図４Ｂを参照して、信号処理装置１０の閾値算出モード時の動作について説明する。図４Ａは、閾値算出モードの説明図である。図４Ｂは、信号処理装置１０の閾値算出モード時の動作説明図である。

【0070】

図４Ｂに示すように、閾値算出モード時において、図３Ｂの学習モード時と異なり、信号処理装置１０の学習部２１は、停止した状態になっている。その代わりに、図４Ｂに示すように、学習処理部２０の第１推定部２３と閾値算出部２４が作動して、エンジン１の抽出ノッキング音（抽出信号）の閾値判定に用いる閾値Ｔを算出する。図４Ｂの太枠は閾値算出モード時の作動する構成要素を示している。また、図４Ｂの太線矢印は、閾値算出モード時に出力される信号を示している。

【0071】

図４Ｂに示すように、閾値算出モード時において、信号処理装置１０は、スイッチ１４を閾値算出モード用接続部Ｍ２に接続して、信号記憶部１３に記憶されているエンジン近傍音９０（入力物理量）のスペクトログラムを第１推定部２３に出力する。

【0072】

これに応答して、第１推定部２３は、学習済みパラメータ記憶部２２から、マスクαを生成するネットワークの重みＷを取得する。そして、第１推定部２３は、ニューラルネットワーク９４（図４Ａ）により生成したマスクαを用いてエンジン近傍音９０（入力物理量）からエンジン１の抽出ノッキング音９１ａ（抽出信号）を抽出する。図４Ａは、このときの第１推定部２３の動作の概要を示している。この後、第１推定部２３は、抽出した抽出ノッキング音９１ａ（抽出信号）を閾値算出部２４に出力する。

【0073】

これに応答して、閾値算出部２４は、エンジン１の各サイクルで抽出ノッキング音９１ａ（抽出信号）のスペクトログラムの絶対値を総和し、予め設定したマージンを加算して、閾値Ｔを算出する。そして、閾値算出部２４は、閾値Ｔを閾値記憶部２５に記憶する。

【0074】

＜判定モード時の動作＞
以下、図５Ａ及び図５Ｂを参照して、信号処理装置１０の判定モード時の動作について説明する。図５Ａは、判定モードの説明図である。図５Ｂは、信号処理装置１０の判定モード時の動作説明図である。

【0075】

図５Ｂに示すように、判定モード時において、図３Ｂの学習モード時と異なり、信号処理装置１０の学習部２１は、停止した状態になっている。その代わりに、図５Ｂに示すように、判定処理部３０の第２推定部３１（抽出信号推定部）と閾値判定部３２が作動して、ノッキングの有無を判定する。図５Ｂの太枠は判定モード時の作動する構成要素を示している。また、図５Ｂの太線矢印は、判定モード時に出力される信号を示している。

【0076】

図５Ｂに示すように、判定モード時において、信号処理装置１０は、スイッチ１４を判定モード用接続部Ｍ３に接続して、信号記憶部１３に記憶されているエンジン近傍音９０（入力物理量）のスペクトログラムを第２推定部３１（抽出信号推定部）に出力する。

【0077】

これに応答して、第２推定部３１は、学習済みパラメータ記憶部２２から、マスクαを生成するネットワークの重みＷを取得する。そして、第２推定部３１は、ニューラルネットワーク９４（図５Ａ）により生成したマスクαを用いてエンジン近傍音９０（入力物理量）から抽出ノッキング音９１ａ（抽出信号）を抽出する。図５Ａは、このときの第２推定部３１の動作の概要を示している。この後、第２推定部３１は、抽出した抽出ノッキング音９１ａ（抽出信号）を閾値判定部３２に出力する。

【0078】

これに応答して、閾値判定部３２は、閾値記憶部２５から閾値Ｔを取得し、抽出ノッキング音９１ａ（抽出信号）の絶対値の総和と閾値Ｔを比較してノッキングの有無を判定する。そして、閾値判定部３２は、例えば、ノッキングの有無の判定結果や、抽出ノッキング音９１ａ（抽出信号）と閾値Ｔとの関係を表す波形図等をモニタ７に出力して表示させる。

【0079】

＜分離モード時の動作＞
以下、図６Ａ及び図６Ｂを参照して、信号処理装置１０の分離モード時の動作について説明する。図６Ａは、分離モードの説明図である。図６Ｂは、信号処理装置１０の分離モード時の動作説明図である。

【0080】

図６Ｂに示すように、分離モード時において、図３Ｂの学習モード時と異なり、信号処理装置１０の学習部２１は、停止した状態になっている。その代わりに、図６Ｂに示すように、分離部４０が作動して、エンジン近傍音９０（入力物理量）を抽出ノッキング音９１ａ（抽出信号）と雑音９１ｂ（ノイズ成分）とに分離する。図６Ｂの太枠は分離モード時の作動する構成要素を示している。また、図６Ｂの太線矢印は、分離モード時に出力される信号を示している。

【0081】

図６Ｂに示すように、分離モード時において、信号処理装置１０は、スイッチ１４を分離モード用接続部Ｍ４に接続して、信号記憶部１３に記憶されているエンジン近傍音９０（入力物理量）のスペクトログラムを分離部４０に出力する。

【0082】

これに応答して、分離部４０は、学習済みパラメータ記憶部２２から、マスクαを生成するネットワークの重みＷを取得する。そして、分離部４０は、ニューラルネットワーク９４（図６Ａ）により生成したマスクαを用いて、エンジン近傍音９０（入力物理量）を抽出ノッキング音９１ａ（抽出信号）と雑音９１ｂ（ノイズ成分）とに分離する。図６Ａは、このときの分離部４０の動作の概要を示している。この後、分離部４０は、抽出ノッキング音９１ａ（抽出信号）を抽出信号記憶部２６ｄに記憶するとともに、雑音９１ｂ（ノイズ成分）をノイズ成分記憶部２６ｃに記憶する。

【0083】

＜官能試験モード時の動作＞
以下、図７Ａ及び図７Ｂを参照して、信号処理装置１０の官能試験モード時の動作について説明する。図７Ａは、官能試験モードの説明図である。図７Ｂは、信号処理装置１０の官能試験モード時の動作説明図である。官能試験モードは、検査者の聴感に基づく閾値Ｔを算出するモードである。

【0084】

図７Ｂに示すように、官能試験モード時において、図３Ｂの学習モード時と異なり、信号処理装置１０の学習部２１は、停止した状態になっている。その代わりに、図７Ｂに示すように、信号合成部５０の信号調整部５１と信号出力部５２、並びに、学習処理部２０の第１推定部２３と閾値算出部２４が作動して、検査者の聴感に基づく閾値Ｔを算出する。図７Ｂの太枠は官能試験モード時の作動する構成要素を示している。また、図７Ｂの太線矢印は、官能試験モード時に出力される信号を示している。

【0085】

図７Ｂに示すように、官能試験モード時において、信号処理装置１０は、スイッチ１４を官能試験モード用接続部Ｍ５に接続することで、官能試験モードの実行指示信号を信号調整部５１に出力する。

【0086】

これに応答して、信号調整部５１は、レベル指定部９からレベル指定情報を受け取るとともに、抽出信号記憶部２６ｄに記憶されている抽出ノッキング音９１ａ（抽出信号）とノイズ成分記憶部２６ｃに記憶されている雑音９１ｂ（ノイズ成分）とを取得する。そして、信号調整部５１は、レベル指定情報に基づいて、抽出ノッキング音９１ａ（抽出信号）と雑音９１ｂ（ノイズ成分）とを用いて加工音９１ｃを生成する。このとき、信号調整部５１は、レベル指定情報によって指定された量だけ抽出ノッキング音９１ａ（抽出信号）のレベル（大きさ）を上昇又は下降させてから、雑音９１ｂ（ノイズ成分）と合成することによって、加工音９１ｃを生成して信号出力部５２に出力する。信号出力部５２は、加工音９１ｃをヘッドホン８（放音部）に出力して放音させる。

【0087】

また、信号調整部５１は、加工音９１ｃを第１推定部２３に出力する。第１推定部２３は、学習済みパラメータ記憶部２２から、マスクαを生成するネットワークの重みＷを取得する。そして、第１推定部２３は、ニューラルネットワーク９４（図７Ａ）により生成したマスクαを用いて加工音９１ｃからエンジン１の抽出ノッキング音９１ａ（抽出信号）を抽出する。図７Ａは、このときの第１推定部２３の動作の概要を示している。この後、第１推定部２３は、抽出した抽出ノッキング音９１ａ（抽出信号）を閾値算出部２４に出力する。閾値算出部２４は、エンジン１の各サイクルで抽出ノッキング音９１ａ（抽出信号）のスペクトログラムの絶対値を総和し、総和値以下の任意の値を閾値Ｔとする。そして、閾値算出部２４は、閾値Ｔを閾値記憶部２５に記憶する。

【0088】

ところで、特許文献２及び特許文献３に記載された従来技術は、ニューラルネットワークの学習時における目的関数に音の分離度合いを測る関数を含めていないため、エンジン近傍音（入力物理量）から除去される雑音（ノッキング音以外の音（背景音））の中にノッキング音（目的音）が混入する可能性があった。つまり、特許文献２及び特許文献３に記載された従来技術は、学習時に、推定筒内圧と実測筒内圧（教師データ）との二乗誤差を最小化するだけであるため、「雑音が除去されたエンジン音」が雑音（ノッキング音以外の音（背景音））だけを良好に除去されたものであるか否かを監視するものではなかった。例えば、特許文献３に記載された従来技術は、エンジン近傍音（入力物理量）に関連する位相成分が考慮されていないマスクαをエンジン近傍音に掛けることで、「雑音が除去されたエンジン音」すなわちノッキング音（本実施形態の「抽出信号」に相当）を抽出する。その際に、特許文献３に記載された従来技術は、音の分離度合いを測る関数を用いていないため、雑音（ノッキング音以外の音（背景音））と共に、除去されるべきでないノッキング音（目的音）がエンジン近傍音から除去される可能性があった。したがって、特許文献３に記載された従来技術は、除去されるべきでないノッキング音の成分をもエンジン近傍音から除去してしまう可能性があった。そのため、特許文献３に記載された従来技術は、ノッキングの有無の評価性能を低下させる可能性があった。

【0089】

これに対して、本実施形態に係る信号処理装置１０は、学習時に、エンジン近傍音（入力物理量）から除去される雑音（ノッキング音以外の音（背景音））の中にノッキング音（目的音）が混入しているか否かを評価する構成になっている。そのための構成として、本実施形態に係る信号処理装置１０は、ノイズ成分（雑音９１ｂ）を逆短時間フーリエ変換（ＩＳＴＦＴ）して求めた信号波形と教師信号（観測ノッキング筒内圧９３）とのコヒーレンスが小さくなるように学習する構成になっている。このような本実施形態に係る信号処理装置１０は、特許文献２及び特許文献３に記載された従来技術よりも、ノッキングの有無の評価性能を向上させることができる。

【0090】

図８Ａは、雑音９１ｂ（ノイズ成分）のスペクトログラムＦ１１と、スペクトログラムＦ１１に対して逆短時間フーリエ変換（ＩＳＴＦＴ）を行うことにより得られる信号波形Ｆ１２と、観測ノッキング筒内圧９３（教師信号）の信号波形Ｆ９３と、を示している。また、図８Ａは、信号波形Ｆ１２と観測ノッキング筒内圧９３（教師信号）の信号波形Ｆ９３との学習の過程で最小化されるコヒーレンスＦ１３を示している。

【0091】

図８Ｂは、抽出ノッキング音９１ａ（抽出信号）のスペクトログラムＦ２１と、スペクトログラムＦ２１に対して逆短時間フーリエ変換（ＩＳＴＦＴ）を行うことにより得られる信号波形Ｆ２２と、観測ノッキング筒内圧９３（教師信号）の信号波形Ｆ９３を示している。また、図８Ｂは、信号波形Ｆ２２と観測ノッキング筒内圧９３（教師信号）の信号波形Ｆ９３との学習の過程で最大化されるコヒーレンスＦ２３を示している。

【0092】

コヒーレンスは以下のコヒーレンス関数γ^２によって定義される。コヒーレンス関数γ^２は、系の入力と出力の関連の度合いを示すものである。コヒーレンス関数γ^２は、クロススペクトルの絶対値の２乗を測定入力及び系の出力の各々のパワースペクトルで割り算したものである。

【数1】

【0093】

ここで、Ｗｘｙはクロススペクトルの平均値、Ｗｘｘはｘのパワースペクトルの平均値、Ｗｙｙはｙのパワースペクトルの平均値を意味している。コヒーレンス関数γ^２は、０から１までの間の値をとる。γ^２（ｆ）が１の場合、その周波数ｆにおいて、系の出力がすべて測定入力に起因していることを示している。また、γ^２（ｆ）が０の場合、その周波数ｆにおいて、系の出力が測定入力にまったく関係ないことを示している。また、０＜γ^２（ｆ）＜１の場合、測定とは無関係な信号、系内部で発生しているノイズ、系の非直線性等があるものと考えられる。

【0094】

また、エンジン近傍音（入力物理量）から除去される雑音（ノッキング音以外の音（背景音））の中にノッキング音（目的音）が混入しているか否かを評価する方法としてコヒーレントアウトプットパワーを用いても良い。学習部２１は、ノイズ成分（雑音９１ｂ）を逆短時間フーリエ変換（ＩＳＴＦＴ）して求めた信号波形と教師信号（観測ノッキング筒内圧９３）とのコヒーレンス及び／又はコヒーレントアウトプットパワーが小さくなるとともに、抽出信号（抽出ノッキング音９１ａ）を逆短時間フーリエ変換（ＩＳＴＦＴ）して求めた信号波形と教師信号（観測ノッキング筒内圧９３）とのコヒーレンス及び／又はコヒーレントアウトプットパワーが大きくなるように、マスクαを生成するネットワークの重みＷ、及び、伝達関数Ｈを学習する。これにより、信号処理装置１０は、ノッキングの有無の評価性能を更に向上させることができる。

【0095】

コヒーレントアウトプットパワーはコヒーレンス関数γ^２とｙのパワースペクトルの平均値Ｗｙｙとの積で定義される。コヒーレントアウトプットパワーは、系の出力に含まれる入力に起因したパワーを示すものである。

【0096】

また、図３Ａに示すように、学習部２１は、観測ノッキング筒内圧９３（教師信号）に対して短時間フーリエ変換（ＳＴＦＴ）を行い求めたスペクトログラムと推定ノッキング筒内圧９２（推定信号）との誤差が最小となるように、ニューラルネットワーク９４により、マスクαを生成するネットワークの重みＷ、及び、伝達関数Ｈを学習する。これにより、信号処理装置１０は、マスクαを生成するネットワークの重みＷと伝達関数Ｈの学習精度を向上させることができる。

【0097】

また、学習部２１は、観測ノッキング筒内圧９３（教師信号）と、抽出信号（抽出ノッキング音９１ａ）に対して、逆短時間フーリエ変換（ＩＳＴＦＴ）と高速フーリエ変換（ＦＦＴ）とを行い、伝達関数Ｈを掛け、逆高速フーリエ変換（ＩＦＦＴ）を行い求めた推定ノッキング筒内圧９２（推定信号）の信号波形との誤差が最小となるように、ニューラルネットワーク９４により、マスクαを生成するネットワークの重みＷ、及び、伝達関数Ｈを学習しても良い。これにより、信号処理装置１０は、マスクαを生成するネットワークの重みＷと伝達関数Ｈの学習精度を更に向上させることができる。

【0098】

図８Ｃは、抽出ノッキング音９１ａ（抽出信号）を推定ノッキング筒内圧９２（推定信号）に変換する際の一例を示している。図８Ｃは、抽出ノッキング音９１ａ（抽出信号）のスペクトログラムＦ３１と、スペクトログラムＦ３１に対して逆短時間フーリエ変換（ＩＳＴＦＴ）を行うことにより得られる信号波形Ｆ３２と、さらに高速フーリエ変換（ＦＦＴ）を行うことにより得られるスペクトルＦ３３と、を示している。また、図８Ｃは、スペクトルＦ３３の信号に伝達関数Ｈを掛けることにより得られる推定ノッキング筒内圧のスペクトルＦ３５と、を示している。なお、図８Ｃでは、伝達関数Ｈの一例として、周波数と係数との対応関係を示す周波数応答特性Ｆ３４が示されている。また、図８Ｃは、スペクトルＦ３５に逆高速フーリエ変換（ＩＦＦＴ）を行うことにより得られる信号波形Ｆ３６と、さらに、短時間フーリエ変換（ＳＴＦＴ）を行うことにより得られる、推定ノッキング筒内圧９２（推定信号）のスペクトログラムＦ３７と、を示している。

【0099】

本実施形態では、学習部２１は、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）によりマスクαを生成するネットワークの重みＷを学習する。さらに、学習部２１は、伝達関数Ｈとして、抽出信号のスペクトルＦ３３に乗じる重みを学習する。

【0100】

なお、図９に示すように、マスクαを生成するネットワークの重みＷを学習するニューラルネットワーク９４の一例として、Ｕ−Ｎｅｔ９５がある。このＵ−Ｎｅｔ９５は、Ｅｎｃｏｄｅｒ‐Ｄｅｃｏｄｅｒモデルの一種で、画像認識や音の分離に使用されている深層学習の一手法である。音の分離において、Ｕ−Ｎｅｔ９５では、下向きパス９６（Ｅｎｃｏｄｅｒ）で畳み込み（ストライドは２以上）を行い、階層９７が深くなるにつれて音の特徴を抽出する。一方、上向きパス９８（Ｄｅｃｏｄｅｒ）では、抽出された音の特徴から逆畳み込みとＵＰサンプリング（膨張）を行うことによりマスクαを生成する。ここまでは、一般的なＥｎｃｏｄｅｒ‐Ｄｅｃｏｄｅｒモデルの構成である。さらに、Ｕ−Ｎｅｔ９５では、各Ｅｎｃｏｄｅｒの畳み込み層からの出力９９をＤｅｃｏｄｅｒの畳み込み層にマージする。これにより、Ｕ−Ｎｅｔ９５では、一般的なＥｎｃｏｄｅｒ‐Ｄｅｃｏｄｅｒモデルよりも高精度なマスクαを生成できる。信号処理装置１０は、マスクαを生成し、エンジン近傍音９０に掛け合わせることで、抽出信号（抽出ノッキング音９１ａ）を取得できる。

【0101】

このように、学習部２１がＵ−Ｎｅｔ９５でマスクαを生成するネットワークの重みＷを学習するので、学習したネットワークは入力されるエンジン１の近傍音に応じて適切なマスクαを生成するようになる。これにより、信号処理装置１０は、エンジン１のノッキング筒内圧を正確に推定することができる。

【0102】

＜位相成分の影響＞
以下、図１０Ａ及び図１０Ｂを参照して、位相成分の影響について説明する。図１０Ａは、圧力や、振動、音などの位相成分が考慮されていない場合の計算例の説明図である。図１０Ｂは、圧力や、振動、音などの位相成分が考慮されている場合の計算例の説明図である。図１０Ａ及び図１０Ｂにおいて、円内の矢印は、圧力や、振動、音などに含まれる位相成分を表している。

【0103】

なお、図１０Ａ及び図１０Ｂに示す例では、ともに、以下の条件が仮定されている。
・系が線形時不変系（入力と出力との間の伝達特性が線形かつ時間に依存して変化しない系）である。

【0104】

図１０Ａに示す例では、エンジン１が駆動されると、筒内圧センサ５（図１）により、観測ノッキング筒内圧９３が観測されている。観測ノッキング筒内圧９３がエンジン１内を伝搬することで、ノッキング音８２が放出される。さらに、ノッキング音８２が背景音であるメカニカルノイズ８３（ノイズ成分）と合わさることで、音圧センサ４によりエンジン近傍音９０（入力物理量）が観測される。

【0105】

図１０Ａは、以下のように、観測ノッキング筒内圧９３、ノッキング振動８１、ノッキング音８２、メカニカルノイズ８３、及びエンジン近傍音９０の概略的な計算の一例を示しており、位相φは変わらないと仮定している。
観測ノッキング筒内圧９３＝ＡＳｉｎ（Ωｔ＋φ）
ノッキング振動８１＝ＡＢＳｉｎ（Ωｔ＋φ）
ノッキング音８２＝ＡＢＣＳｉｎ（Ωｔ＋φ）
メカニカルノイズ８３＝ＮＳｉｎ（Ωｔ＋φＮ）
エンジン近傍音９０＝（ＡＢＣ＋Ｎ）Ｓｉｎ（Ωｔ＋φ）

【0106】

これに対して、図１０Ｂは位相を考慮した例である。以下のように、観測ノッキング筒内圧９３、ノッキング振動８１、ノッキング音８２、メカニカルノイズ８３、及びエンジン近傍音９０の概略的な計算の一例を示しており、次元（単位）が変化する度に位相φが変化することを考慮している。
観測ノッキング筒内圧９３＝ＡＳｉｎ（Ωｔ＋φＡ）
ノッキング振動８１＝ＡＢＳｉｎ（Ωｔ＋φＡ＋φＢ）
ノッキング音８２＝ＡＢＣＳｉｎ（Ωｔ＋φＡ＋φＢ＋φＣ）
メカニカルノイズ８３＝ＮＳｉｎ（Ωｔ＋φＮ）
エンジン近傍音９０＝ＡＢＣＳｉｎ（Ωｔ＋φＡ＋φＢ＋φＣ）＋ＮＳｉｎ（Ωｔ＋φＮ）

【0107】

図１０Ｂに示す例は、圧力が振動となり、音となって放射される際の位相成分の変化が考慮されているため、図１０Ａに示す例よりも、信号を良好に解析することができる。そこで、信号処理装置１０は、図３Ａに示すように、マスクαを生成するネットワークの重みＷ及び伝達関数Ｈの学習時に、位相を加味して学習する構成となっている。このような信号処理装置１０は、エンジン近傍音９０（入力物理量）を抽出ノッキング音９１ａ（抽出信号）と雑音９１ｂ（ノイズ成分）とに良好に分離することができる。つまり、信号処理装置１０は、雑音（ノッキング音以外の音（背景音））の中にノッキング音（目的音）が混入しないように、エンジン近傍音９０（入力物理量）を抽出ノッキング音９１ａ（抽出信号）と雑音９１ｂ（ノイズ成分）とに分離することができる。このような信号処理装置１０は、特許文献２及び特許文献３に記載された従来技術よりも、ノッキングの有無の評価性能を向上させることができる。また、このような信号処理装置１０は、良好な官能試験を行うことができる。

【0108】

（官能試験の概要）
以下、図１１Ａ乃至図１２Ｃを参照して、官能試験の概要について説明する。図１１Ａ乃至図１２Ｃは、それぞれ、官能試験における信号処理の説明図である。

【0109】

図２に示すように、圧力と音の各信号は、データ収集装置６によって収集され、信号処理装置１０に出力される。信号処理装置１０は、信号切出部１１で各信号を切り出し、スペクトログラム算出部１２でスペクトログラムを算出して、スペクトログラムを信号記憶部１３に記憶する。

【0110】

本実施形態に係る信号処理装置１０は、前記した分離モードと前記した官能試験モードとを実行することができる。分離モード時に、信号処理装置１０は、入力物理量（エンジン近傍音９０）を抽出信号（抽出ノッキング音９１ａ）とノイズ成分（雑音９１ｂ）とに分離する。そして、官能試験モード時に、信号処理装置１０は、抽出信号（抽出ノッキング音９１ａ）のレベルを変更してレベル変更抽出信号（レベル変更ノッキング音９１ａａ（図１２Ａ））を生成し、ノイズ成分（雑音９１ｂ）と合成して加工音９１ｃ（図１２Ｃ）を生成する。

【0111】

官能試験モード時において、検査者は、頭部にヘッドホン８（図１）を装着して、レベル指定部９を操作可能な態勢で待機する。そして、操作者は、許容可能なレベルを周囲に宣告して、レベル指定部９を操作してレベル指定情報を信号処理装置１０に入力する。信号処理装置１０は、入力されたレベル指定情報に基づいて、抽出信号（抽出ノッキング音９１ａ）のレベルを変更する。

【0112】

図１１Ａは、入力物理量（エンジン近傍音９０）を示しており、図１１Ｂと図１１Ｃは、分離モード時に入力物理量（エンジン近傍音９０）から分離された抽出信号（抽出ノッキング音９１ａ）とノイズ成分（雑音９１ｂ）とを示している。図１２Ａは、官能試験モード時に、抽出信号（抽出ノッキング音９１ａ）のレベルを３ｄｂ上昇させる変更を行って生成されたレベル変更抽出信号（レベル変更ノッキング音９１ａａ）を示しており、図１２Ｂは、レベル変更抽出信号（レベル変更ノッキング音９１ａａ）と合成されるノイズ成分（雑音９１ｂ）を示しており、図１２Ｃは、レベル変更抽出信号（レベル変更ノッキング音９１ａａ）とノイズ成分（雑音９１ｂ）とを合成した加工音９１ｃを示している。信号処理装置１０は、加工音９１ｃを生成することにより、検査すべき目的音（ノッキング音）を聞き分け易い状態にすることができる。このような信号処理装置１０は、目的音（ノッキング音）の有無を高精度に検査者に把握させることができ、検査性能を向上させることができる。また、信号処理装置１０は、検査者により許容不可能と判断された加工音９１ｃのスペクトログラムの絶対値の総和を求めて、総和値以下の任意の値を閾値記憶部２５に書き込む。これにより、閾値Ｔは検査者の官能にあった値となる。

【0113】

なお、信号処理装置１０は、運用に応じて、官能試験モード時に、レベル変更抽出信号（レベル変更ノッキング音９１ａａ）に測定対象から受聴者の耳位置までの伝達関数Ｈｅ（図示せず）を掛けてから、前記受聴者の耳位置でのノイズ成分を合成して加工音を生成するようにしてもよい。

【0114】

＜信号処理装置（推定装置）の動作＞
以下、図１３乃至図１８を参照して、信号処理装置１０の動作について説明する。図１３は、信号処理装置１０（推定装置）のデータ収集処理を示すフローチャートである。図１４Ａは、信号処理装置１０（推定装置）の学習処理を示すフローチャートである。図１４Ｂは、学習処理のサブルーチンを示すフローチャートである。図１４Ｃは、学習処理のサブルーチンの変更例を示すフローチャートである。図１５Ａは、信号処理装置１０（推定装置）の閾値算出処理を示すフローチャートである。図１５Ｂは、信号処理装置１０（推定装置）の図１７の分離処理及び図１８の官能試験処理の後に行われる閾値算出処理を示すフローチャートである。図１６は、信号処理装置１０（推定装置）の判定処理を示すフローチャートである。図１７は、信号処理装置１０（推定装置）の分離処理を示すフローチャートである。図１８は、信号処理装置１０（推定装置）の官能試験処理を示すフローチャートである。

【0115】

学習モードの場合、信号処理装置１０は、図１３のデータ収集処理を行った後、図１４Ａと図１４Ｂの学習処理を行う。また、閾値算出モードの場合、信号処理装置１０は、図１３のデータ収集処理を行った後、図１５Ａの閾値算出処理を行う。また、分離モードで分離処理及び官能試験モードで官能試験処理を行った場合に、信号処理装置１０は、分離処理及び官能試験処理の後に、図１５Ｂの閾値算出処理を行う。また、判定モードの場合、信号処理装置１０は、図１３のデータ収集処理を行った後、図１６の判定処理を行う。ただし、信号処理装置１０は、図１３のデータ収集処理を行いながら、リアルタイムで図１６の判定処理を行うようにしてもよい。また、分離モードの場合、信号処理装置１０は、図１３のデータ収集処理を行った後、図１７の分離処理を行う。また、官能試験モードの場合、信号処理装置１０は、図１５Ｂの閾値算出処理を行う前に、図１８の官能試験処理を行う。

【0116】

（データ収集処理）
以下、図１３を参照して、データ収集処理を説明する。
図１３に示すように、ステップＳ２０において、データ収集装置６が、音圧信号、筒内圧信号（教師信号）、及び、角度情報を信号切出部１１に入力する。なお、分離モード、閾値算出モード、又は判定モードの場合、ステップＳ２０では、筒内圧信号を入力する必要がない。
ステップＳ２１において、信号切出部１１は、角度情報から各気筒の燃焼行程タイミングを算出する。

【0117】

ステップＳ２２において、信号切出部１１は、ステップＳ２１で算出した燃焼行程タイミングに合わせて、ＴＤＣ付近の音圧信号と筒内圧信号を切り出す。
ステップＳ２３において、スペクトログラム算出部１２は、ステップＳ２２で切り出した音圧信号に対して短時間フーリエ変換（ＳＴＦＴ）を行い、音圧信号のスペクトログラムを算出する。
ステップＳ２４において、スペクトログラム算出部１２は、音圧信号のスペクトログラムを信号記憶部１３に書き込む。また、信号切出部１１は、筒内圧信号（教師信号）を信号記憶部１３に書き込む。

【0118】

（学習処理）
以下、図１４Ａ乃至図１４Ｃを参照して、学習モードで実行される学習処理を説明する。
図１４Ａに示すように、ステップＳ３０において、信号処理装置１０は、信号記憶部１３から音圧信号のスペクトログラム及び筒内圧信号を読み出して、学習部２１に入力する。
ステップＳ３１において、学習部２１は、ステップＳ３０で入力された音圧信号のスペクトログラム及び筒内圧信号を用いて、ニューラルネットワーク９４で入力物理量に関連する振幅と位相成分を加味して、マスクαを生成するネットワークの重みＷ、及び、伝達関数Ｈを学習する。学習部２１は、畳み込みニューラルネットワーク（例えば、Ｕ−Ｎｅｔ）によりマスクαを生成するネットワークの重みＷを学習し、伝達関数Ｈとして、抽出信号のスペクトルに乗じる重みを学習する。

【0119】

ステップＳ３２において、学習部２１は、学習したマスクαを生成するネットワークの重みＷ及び伝達関数Ｈを学習済みパラメータ記憶部２２に書き込む。

【0120】

なお、ステップＳ３１の処理は、例えば図１４Ｂに示す一連のルーチンの処理によって行われる。
図１４Ｂに示すように、ステップＳ１０１において、学習部２１は、予め乱数で重みＷを初期化した畳み込みニューラルネットワークに入力物理量を入力して生成したマスクを用いて入力物理量をノイズ成分と抽出信号とに分離する。

【0121】

ステップＳ１０２において、学習部２１は、伝達関数Ｈを掛け合わせて抽出信号（抽出ノッキング音９１ａ）を推定信号（推定ノッキング筒内圧９２）に変換する。
ステップＳ１０３において、学習部２１は、マスクαを生成するネットワークの重みＷ、及び、伝達関数Ｈの更新を行う。ステップＳ１０３では、学習部２１は、逆短時間フーリエ変換（ＩＳＴＦＴ）で求めたノイズ成分（雑音９１ｂ）の信号波形と教師信号（観測ノッキング筒内圧９３）とのコヒーレンスが小さくなるとともに、逆短時間フーリエ変換（ＩＳＴＦＴ）で求めた抽出信号（抽出ノッキング音９１ａ）の信号波形と教師信号（観測ノッキング筒内圧９３）とのコヒーレンスが大きくなるように、また、推定信号（推定ノッキング筒内圧９２）と教師信号（観測ノッキング筒内圧９３）に対して短時間フーリエ変換（ＳＴＦＴ）を行い求めたスペクトログラムとの誤差が小さくなるように、マスクαを生成するネットワークの重みＷ、及び、伝達関数Ｈを更新する。

【0122】

ステップＳ１０４において、学習部２１は、コヒーレンスと誤差が収束したか否かを判定し、収束したと判定された場合（“Ｙｅｓ”の場合）に、ステップＳ３１の処理を終了し、一方、収束していないと判定された場合（“Ｎｏ”の場合）に、ステップＳ１０１以降の処理を繰り返す。なお、ステップＳ１０４において、コヒーレンスと誤差が収束した状態とは、教師信号（観測ノッキング筒内圧９３）とノイズ成分（雑音９１ｂ）を逆短時間フーリエ変換（ＩＳＴＦＴ）して求めた信号波形とのコヒーレンスが値「０」に近い値で、かつ、教師信号（観測ノッキング筒内圧９３）と抽出信号（抽出ノッキング音９１ａ）を逆短時間フーリエ変換（ＩＳＴＦＴ）して求めた信号波形とのコヒーレンスが「１」に近い値で、かつ、教師信号（観測ノッキング筒内圧９３）に対して短時間フーリエ変換（ＳＴＦＴ）を行い求めたスペクトログラムに対する推定信号（推定ノッキング筒内圧９２）の誤差が「０」に近い値に収束した状態である。

【0123】

なお、ステップＳ３１の処理は、図１４Ｂの代わりに、例えば図１４Ｃに示す処理を行うようにしてもよい。
図１４Ｃに示す処理は、図１４Ｂに示す処理と比べると、ステップＳ１０３の処理の代わりに、ステップＳ１０３ａの処理を行う点で相違している。
ステップＳ１０３ａにおいて、学習部２１は、ステップＳ１０３の条件に加え、さらに、推定信号（推定ノッキング筒内圧９２）に対して逆短時間フーリエ変換（ＩＳＴＦＴ）を行い求めた信号波形の最大値、及び、最大値と最小値との差（ノッキングインテンシティ）と、教師信号（観測ノッキング筒内圧９３）の最大値、及び、最大値と最小値との差（ノッキングインテンシティ）を算出し、前者の最大値と後者の最大値との誤差、及び、前者の最大値と最小値との差（ノッキングインテンシティ）と後者の最大値と最小値との差（ノッキングインテンシティ）における誤差がそれぞれ小さくなるようにするという条件を満たすように、マスクαを生成するネットワークの重みＷ、及び、伝達関数Ｈの更新を行う。すなわち、ステップＳ１０３ａでは、学習部２１は、逆短時間フーリエ変換（ＩＳＴＦＴ）で求めたノイズ成分（雑音９１ｂ）の信号波形と教師信号（観測ノッキング筒内圧９３）とのコヒーレンスが小さくなるとともに、逆短時間フーリエ変換（ＩＳＴＦＴ）で求めた抽出信号（抽出ノッキング音９１ａ）の信号波形と教師信号（観測ノッキング筒内圧９３）とのコヒーレンスが大きくなるように、また、推定信号（推定ノッキング筒内圧９２）と教師信号（観測ノッキング筒内圧９３）に対して短時間フーリエ変換（ＳＴＦＴ）を行い求めたスペクトログラムとの誤差が小さくなるように、さらに、推定信号（推定ノッキング筒内圧９２）に対して逆短時間フーリエ変換（ＩＳＴＦＴ）を行い求めた信号波形の最大値、及び、最大値と最小値との差（ノッキングインテンシティ）と、教師信号（観測ノッキング筒内圧９３）の最大値、及び、最大値と最小値との差（ノッキングインテンシティ）を算出し、前者の最大値と後者の最大値との誤差、及び、前者の最大値と最小値との差（ノッキングインテンシティ）と後者の最大値と最小値との差（ノッキングインテンシティ）における誤差がそれぞれ小さくなるように、マスクαを生成するネットワークの重みＷ、及び、伝達関数Ｈを更新する。

【0124】

（閾値算出処理）
以下、図１５Ａを参照して、閾値算出モードで実行される閾値算出処理を説明する。
図１５Ａに示すように、ステップＳ４０において、第１推定部２３は、ニューラルネットワーク９４により生成したマスクαを用いて、音圧信号のスペクトログラムからエンジン１のノッキング音（抽出信号）を抽出する。
ステップＳ４１において、閾値算出部２４は、エンジン１の各サイクルでノッキング音（抽出信号）のスペクトログラムの絶対値を総和する。

【0125】

ステップＳ４２において、閾値算出部２４は、エンジン１の全サイクルにおけるノッキング音（抽出信号）のスペクトログラムの中央値を算出する。
ステップＳ４３において、閾値算出部２４は、中央値に任意のマージンを加算し、閾値とする。
ステップＳ４４において、閾値算出部２４は、算出した閾値を閾値記憶部２５に書き込む。

【0126】

なお、信号処理装置１０は、図１７の分離処理及び図１８の官能試験処理の後に、図１５Ｂの閾値算出処理を実行する機能を有している。以下、図１５Ｂを参照して、図１７の分離処理及び図１８の官能試験処理の後に行われる閾値算出処理を説明する。
図１５Ｂに示すように、ステップＳ１４０において、信号調整部５１は、ノイズ成分記憶部２６ｃと抽出信号記憶部２６ｄから、官能試験で許容不可となった信号を取得し、第１推定部２３に供給する。
ステップＳ１４１において、第１推定部２３は、ニューラルネットワーク９４により生成したマスクαを用いて、官能試験で許容不可となった信号のスペクトログラムからノッキング音（抽出信号）のスペクトログラムを取得し、閾値算出部２４に供給する。
ステップＳ１４２において、閾値算出部２４は、第１推定部２３から供給されたノッキング音（抽出信号）のスペクトログラムの絶対値を総和する。

【0127】

ステップＳ１４３において、閾値算出部２４は、総和値以下の任意の値を閾値とする。
ステップＳ１４４において、閾値算出部２４は、算出した閾値を閾値記憶部２５に書き込む。

【0128】

（判定処理）
以下、図１６を参照して、判定モードで実行される判定処理を説明する。
図１６に示すように、ステップＳ５０において、第２推定部３１は、ニューラルネットワーク９４により生成したマスクαを用いて、信号記憶部１３より入力された音圧信号のスペクトログラムからエンジン１のノッキング音（抽出信号）を抽出する。

【0129】

ステップＳ５１において、閾値判定部３２は、エンジン１の各サイクルでノッキング音（抽出信号）のスペクトログラムの絶対値を総和する。
ステップＳ５２において、閾値判定部３２は、閾値記憶部２５に記憶済みの閾値と、総和したノッキング音（抽出信号）とを比較し、ノッキング音（抽出信号）が閾値を超えているか否かを判定する。
総和したノッキング音（抽出信号）が閾値を超えている場合（ステップＳ５２でＹｅｓ）、閾値判定部３２は、ノッキング有りと判定する（ステップＳ５３）。

【0130】

総和したノッキング音（抽出信号）が閾値以下の場合、（ステップＳ５２でＮｏ）、閾値判定部３２は、ノッキング無しと判定する（ステップＳ５４）。
ステップＳ５５において、閾値判定部３２は、閾値判定の結果及びノッキング音（抽出信号）をモニタ７に出力する。

【0131】

（分離処理）
以下、図１７を参照して、分離モードで実行される分離処理を説明する。
図１７に示すように、ステップＳ６０において、分離部４０は、ニューラルネットワーク９４により生成されたマスクαを用いて、入力物理量をノイズ成分と抽出信号とに分離する。
ステップＳ６１において、学習処理部２０は、分離したノイズ成分と抽出信号を、それぞれに対応するノイズ成分記憶部２６ｃと抽出信号記憶部２６ｄに記憶する。

【0132】

（官能試験処理）
以下、図１８を参照して、官能試験モードで実行される官能試験処理を説明する。
図１８に示すように、ステップＳ７０において、信号合成部５０の信号調整部５１は、レベル指定部９からのレベル指定情報の入力を受け付ける。
ステップＳ７１において、信号調整部５１は、抽出信号記憶部２６ｄから抽出信号を取得するとともに、ノイズ成分記憶部２６ｃからノイズ成分を取得し、レベル指定情報に応じて抽出信号のレベルを変更してレベル変更抽出信号を生成する。

【0133】

ステップＳ７２において、信号調整部５１は、レベル変更抽出信号とノイズ成分とを合成して加工音を生成する。
ステップＳ７３において、信号合成部５０の信号出力部５２は、加工音を放音部（ヘッドホン８）に出力して、放音部から加工音を放音させる。
ステップＳ７４において、信号合成部５０は、レベル指定部９からの終了の指示があったか否かを判定し、終了の指示があったと判定された場合（“Ｙｅｓ”の場合）に、加工音を第１推定部２３に出力し、閾値算出部２４により閾値を算出したのち、閾値記憶部２５に書き込み、図１８の処理を終了する。一方、終了の指示がないと判定された場合（“Ｎｏ”の場合）に、ステップＳ７５において、信号合成部５０の信号調整部５１は、レベル指定部９からのレベル指定情報の変更を受け付け、ステップＳ７１以降の処理を繰り返す。

【0134】

なお、図１７の分離処理及び図１８の官能試験処理の後に、信号処理装置１０は、図１５Ｂに示す閾値算出処理を行う。

【0135】

＜信号処理装置（推定装置）の主な特徴＞
（１）図３Ｂに示すように、本実施形態に係る信号処理装置１０（推定装置）は、学習部２１と、分離部４０と、を備える。学習部２１は、ニューラルネットワーク９４により、ノイズ成分（雑音９１ｂ）が含まれている入力物理量（エンジン近傍音９０）から位相を加味してノイズ成分を除去するためのマスクαを生成するネットワークの重みＷ、及び、入力物理量（エンジン近傍音９０）からノイズ成分が除去された抽出信号（抽出ノッキング音９１ａ）を、教師信号（観測ノッキング筒内圧９３）と同じ次元（単位）の推定信号（推定ノッキング筒内圧９２）に位相を加味して変換するための伝達関数Ｈを学習する。分離部４０は、入力物理量（エンジン近傍音９０）をノイズ成分と抽出信号（抽出ノッキング音９１ａ）とに分離する。

【0136】

このような本実施形態に係る信号処理装置１０（推定装置）は、入力物理量をノイズ成分と抽出信号とに良好に分離することができる。特に、信号処理装置１０（推定装置）は、ノイズ成分と、官能試験でのレベル変更に適した信号とに分離することができる。このような信号処理装置１０（推定装置）は、背景音に目的音（ノッキング音）が混入しているか否かを評価し易くすることができる。そのため、信号処理装置１０（推定装置）は、例えば特許文献２及び特許文献３に記載された従来技術よりも、ノッキングの有無の評価性能を向上させることができる。また、信号処理装置１０は、良好な官能試験を行うことができ、官能試験で許容不可となったデータに基づいて閾値を決定することで、検査者に近い判定ができる。

【0137】

（２）図３Ａに示すように、本実施形態に係る信号処理装置１０（推定装置）の学習部２１は、マスクαを生成するネットワークの重みＷ、及び、伝達関数Ｈを学習する際に、入力物理量（エンジン近傍音９０）に関連する振幅と位相成分を加味して学習する。

【0138】

このような本実施形態に係る信号処理装置１０（推定装置）は、雑音（ノッキング音以外の音（背景音））の中にノッキング音（目的音）が混入しないように、エンジン近傍音９０（入力物理量）を抽出ノッキング音９１ａ（抽出信号）と雑音９１ｂ（ノイズ成分）とに分離することができる。このような信号処理装置１０は、特許文献２及び特許文献３に記載された従来技術よりも、ノッキングの有無の評価性能を向上させることができる。また、このような信号処理装置１０は、良好な官能試験を行うことができる。

【0139】

（３）本実施形態に係る信号処理装置１０（推定装置）の学習部２１は、ノイズ成分（雑音９１ｂ）と教師信号（観測ノッキング筒内圧９３）との関連性が小さくなるとともに、抽出信号（抽出ノッキング音９１ａ）と教師信号（観測ノッキング筒内圧９３）との関連性が大きくなるように、ネットワークの重みＷ、及び、伝達関数Ｈを学習する。具体的には、図３Ａに示すように、本実施形態に係る信号処理装置１０（推定装置）の学習部２１は、ノイズ成分（雑音９１ｂ）を逆短時間フーリエ変換（ＩＳＴＦＴ）して求めた信号波形と教師信号（観測ノッキング筒内圧９３）とのコヒーレンス（及び／又はコヒーレントアウトプットパワー）が小さくなるとともに、抽出信号（抽出ノッキング音９１ａ）を逆短時間フーリエ変換（ＩＳＴＦＴ）して求めた信号波形と教師信号（観測ノッキング筒内圧９３）とのコヒーレンス（及び／又はコヒーレントアウトプットパワー）が大きくなるように、ネットワークの重みＷ、及び、伝達関数Ｈを学習する。

【0140】

このような本実施形態に係る信号処理装置１０（推定装置）は、雑音９１ｂ（ノイズ成分）からノッキング筒内圧に起因する音を排除することができる。

【0141】

（４）図３Ａに示すように、本実施形態に係る信号処理装置１０（推定装置）の学習部２１は、ネットワークの重みＷ、及び、伝達関数Ｈを学習する場合に、教師信号（観測ノッキング筒内圧９３）に対する推定信号（推定ノッキング筒内圧９２）の誤差が小さくなるように、学習する。具体的には、信号処理装置１０（推定装置）の学習部２１は、教師信号（観測ノッキング筒内圧９３）に対して短時間フーリエ変換（ＳＴＦＴ）を行い求めたスペクトログラムに対する推定信号（推定ノッキング筒内圧９２）の誤差が小さくなるように、学習する。又は、信号処理装置１０（推定装置）の学習部２１は、教師信号（観測ノッキング筒内圧９３）と、抽出信号（抽出ノッキング音９１ａ）に対して、逆短時間フーリエ変換（ＩＳＴＦＴ）と高速フーリエ変換（ＦＦＴ）とを行い、伝達関数Ｈを掛け、逆高速フーリエ変換（ＩＦＦＴ）を行い求めた推定信号（推定ノッキング筒内圧９２）の信号波形との誤差が小さくなるように、学習する。

【0142】

このような本実施形態に係る信号処理装置１０（推定装置）は、教師信号（観測ノッキング筒内圧９３）に対して短時間フーリエ変換（ＳＴＦＴ）を行い求めたスペクトログラムに対する推定信号（推定ノッキング筒内圧９２）の誤差が小さくなるように、ネットワークの重みＷ、及び、伝達関数Ｈを学習することができる。又は、信号処理装置１０（推定装置）は、教師信号（観測ノッキング筒内圧９３）と、抽出信号（抽出ノッキング音９１ａ）に対して、逆短時間フーリエ変換（ＩＳＴＦＴ）と高速フーリエ変換（ＦＦＴ）とを行い、伝達関数Ｈを掛け、逆高速フーリエ変換（ＩＦＦＴ）を行い求めた推定信号（推定ノッキング筒内圧９２）の信号波形との誤差が小さくなるように、ネットワークの重みＷ、及び、伝達関数Ｈを学習することができる。

【0143】

（５）図２に示すように、本実施形態に係る信号処理装置１０（推定装置）は、抽出信号（抽出ノッキング音９１ａ）のレベルを変更して、入力物理量（エンジン近傍音９０）から分離されたノイズ成分と合成して加工音を生成する信号合成部５０を備える。

【0144】

このような本実施形態に係る信号処理装置１０（推定装置）は、検査すべき目的音（ノッキング音）を聞き分け易い状態にすることができる。このような信号処理装置１０は、目的音（ノッキング音）の有無を高精度に検査者に把握させることができ、官能試験で許容不可となったデータに基づいて閾値を決定することで、検査者に近い判定ができる。

【0145】

（６）図２に示すように、本実施形態に係る信号処理装置１０（推定装置）の信号合成部５０は、操作者による抽出信号（抽出ノッキング音９１ａ）のレベルの指定を受け付ける信号調整部５１を有している。

【0146】

このような本実施形態に係る信号処理装置１０（推定装置）は、抽出信号（抽出ノッキング音９１ａ）のレベルを任意にかつ細やかに変更することができる。

【0147】

（７）図１４Ａ及び図１７に示すように、本実施形態に係る信号処理装置１０（推定装置）は、以下の信号処理方法を実現することができる。すなわち、本実施形態に係る信号処理方法は、学習工程（図１４ＡのステップＳ３０からステップＳ３２の工程）と、分離工程（図１７のステップＳ６０からステップＳ６１の工程）と、を含む。学習工程では、ニューラルネットワーク９４により、ノイズ成分（雑音９１ｂ）が含まれている入力物理量（エンジン近傍音９０）から位相を加味してノイズ成分を除去するためのマスクαを生成するネットワークの重みＷ、及び、入力物理量（エンジン近傍音９０）からノイズ成分が除去された抽出信号（抽出ノッキング音９１ａ）を、教師信号（観測ノッキング筒内圧９３）と同じ次元（単位）の推定信号（推定ノッキング筒内圧９２）に位相を加味して変換するための伝達関数Ｈを学習する。分離工程では、入力物理量（エンジン近傍音９０）をノイズ成分と抽出信号（抽出ノッキング音９１ａ）とに分離する。

【0148】

このような本実施形態に係る信号処理方法は、入力物理量をノイズ成分と抽出信号とに良好に分離することができる。特に、ノイズ成分と、官能試験でのレベル変更に適した信号とに分離することができる。

【0149】

（８）図３Ａに示すように、本実施形態に係る信号処理装置１０（推定装置）は、入力物理量（エンジン近傍音９０）からノイズ成分（雑音９１ｂ）を除去した抽出信号（抽出ノッキング音９１ａ）に伝達関数Ｈを掛け合わせて、教師信号（観測ノッキング筒内圧９３）と同じ次元（単位）の推定信号（推定ノッキング筒内圧９２）を推定する推定装置である。本実施形態に係る信号処理装置１０（推定装置）は、前記した学習部２１と、分離部４０と、を備える。学習部２１は、ニューラルネットワーク９４により、入力物理量（エンジン近傍音９０）からノイズ成分を除去して抽出信号（抽出ノッキング音９１ａ）を抽出するためのマスクαを生成するネットワークの重みＷ、及び、伝達関数Ｈを学習する。抽出信号推定部（第２推定部３１）は、マスクαを用いて、ノイズ成分が除去された抽出信号（抽出ノッキング音９１ａ）を取得する。学習部２１は、ネットワークの重みＷ、及び、伝達関数Ｈを学習する際に、マスクα、及び、伝達関数Ｈに対して、入力物理量（エンジン近傍音９０）に関連する振幅と位相成分を加味して学習する。

【0150】

このような本実施形態に係る信号処理装置１０（推定装置）は、ネットワークの重みＷ、及び、伝達関数Ｈを学習する際に、マスクα、及び、伝達関数Ｈに対して、入力物理量（エンジン近傍音９０）に関連する振幅と位相成分を加味して学習することができる。

【0151】

（９）本実施形態に係る信号処理装置１０（推定装置）は、以下の推定方法を実現することができる。すなわち、本実施形態に係る推定方法は、入力物理量（エンジン近傍音９０）からノイズ成分（雑音９１ｂ）を除去した抽出信号（抽出ノッキング音９１ａ）に伝達関数Ｈを掛け合わせて、教師信号（観測ノッキング筒内圧９３）と同じ次元（単位）の推定信号（推定ノッキング筒内圧９２）を推定する方法である。図１４Ｂ又は図１４Ｃに示すように、本実施形態に係る推定方法は、学習工程（ステップＳ１０３の工程）と、推定信号推定工程（ステップＳ１０２の工程）と、を含む。学習工程（ステップＳ１０３の工程）では、ニューラルネットワーク９４により、入力物理量（エンジン近傍音９０）からノイズ成分を除去して抽出信号（抽出ノッキング音９１ａ）を抽出するためのマスクαを生成するネットワークの重みＷ、及び、伝達関数Ｈを学習する。推定信号推定工程（ステップＳ１０２の工程）では、ニューラルネットワーク９４により、マスクαを用いて、ノイズ成分が除去された抽出信号（抽出ノッキング音９１ａ）を取得し、伝達関数Ｈを掛け合わせることで抽出信号（抽出ノッキング音９１ａ）を推定信号に変換する。本実施形態に係る推定方法は、学習工程（ステップＳ１０３の工程）において、ネットワークの重みＷ、及び、伝達関数Ｈを学習する際に、マスクα、及び、伝達関数Ｈに対して、入力物理量（エンジン近傍音９０）に関連する振幅と位相成分を加味して学習する。

【0152】

このような本実施形態に係る推定方法は、ネットワークの重みＷ、及び、伝達関数Ｈを学習する際に、マスクα、及び、伝達関数Ｈに対して、入力物理量（エンジン近傍音９０）に関連する振幅と位相成分を加味して学習することができる。

【0153】

以上の通り、本第１実施形態に係る信号処理装置１０（推定装置）によれば、入力物理量をノイズ成分と抽出信号とに良好に分離することができる。特に、信号処理装置１０（推定装置）は、ノイズ成分と、官能試験でのレベル変更に適した信号とに分離することができる。このような信号処理装置１０（推定装置）は、背景音に目的音（ノッキング音）が混入しているか否かを評価し易くすることができる。そのため、信号処理装置１０（推定装置）は、ノッキングの有無の評価性能を向上させることができる。また、信号処理装置１０は、良好な官能試験を行うことができる。

【0154】

［第２実施形態］
以下、図１９を参照して、本第２実施形態に係る信号処理装置１０Ａ（推定装置）の構成について説明する。図１９は、第２実施形態に係る信号処理装置１０Ａ（推定装置）の構成を示すブロック図である。

【0155】

図１９に示すように、本第２実施形態に係る信号処理装置１０Ａ（推定装置）は、第１実施形態に係る信号処理装置１０（推定装置）（図２参照）と比較すると、信号合成部５０が以下の機能を有する点で相違している。すなわち、信号合成部５０は、教師信号（観測ノッキング筒内圧９３）に伝達関数Ｈの逆数を掛け、入力物理量（エンジン近傍音９０）から分離されたノイズ成分と合成して加工音を生成する機能を有する。

【0156】

このような本第２実施形態に係る信号処理装置１０Ａ（推定装置）は、第１実施形態に係る信号処理装置１０と同様に、目的音（ノッキング音）の有無を高精度に検査者に把握させることができ、検査性能を向上させることができる。

【0157】

なお、信号合成部５０は、教師信号（観測ノッキング筒内圧９３）のレベル（大きさ）を変更したレベル変更教師信号に伝達関数Ｈの逆数を掛け、入力物理量（エンジン近傍音９０）から分離されたノイズ成分と合成して加工音を生成する機能を有してもよい。

【0158】

また、信号合成部５０は、教師信号（観測ノッキング筒内圧９３）ではなく、教師信号（観測ノッキング筒内圧９３）と同じ次元である任意の信号（例えば、任意のノッキング筒内圧信号）に伝達関数Ｈの逆数を掛け、入力物理量（エンジン近傍音９０）から分離されたノイズ成分と合成して加工音を生成する機能を有してもよい。

【0159】

また、信号合成部５０は、伝達関数Ｈの値を変更した変更伝達関数Ｈｃの逆数を教師信号（観測ノッキング筒内圧９３）に掛け、入力物理量（エンジン近傍音９０）から分離されたノイズ成分と合成して加工音を生成するようにしてもよい。

【0160】

また、信号合成部５０は、教師信号（観測ノッキング筒内圧９３）のレベル（大きさ）を変更したレベル変更教師信号に伝達関数Ｈの値を変更した変更伝達関数Ｈｃの逆数を掛け、入力物理量（エンジン近傍音９０）から分離されたノイズ成分と合成して加工音を生成する機能を有してもよい。

【0161】

ここで、例えば、変更伝達関数Ｈｃは、伝達関数Ｈのある周波数帯に該当する振幅及び／又は位相を、増加又は減少させたものである。

【0162】

また、信号合成部５０は、音響加振実験で測定した測定対象から受聴者の耳位置までの伝達関数Ｈｅ（図示せず）を抽出信号に掛け、実車走行時に測定した受聴者の耳位置のノイズ成分を合成して加工音を生成する機能を有してもよい。

【0163】

また、信号合成部５０は、ニューラルネットワーク９４により推定された伝達関数Ｈの逆数を教師信号（観測ノッキング筒内圧９３）に掛けて推定ノッキング音を求め、さらに、音響加振やシミュレーションで求めた測定対象から受聴者（車両の場合は搭乗者（特にドライバー））の耳位置までの伝達関数Ｈｅ（図示せず）を掛け、実車走行時に測定した受聴者の耳位置のノイズ成分を合成して加工音を生成する機能を有してもよい。このような信号合成部５０は、例えば推定ノッキング音から求めた受聴者（車両の搭乗者（特にドライバー））の耳位置のノッキング音に、実走行時の受聴者の耳位置で観測したノイズ成分（実走行音）を合成して、実走行時のノッキング音をシミュレーションすることができる。

【0164】

なお、本発明は、前記した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で種々の変更や変形を行うことができる。

【0165】

例えば、前記した実施形態は、本発明の要旨を分かり易く説明するために詳細に説明したものである。そのため、本発明は、必ずしも説明した全ての構成要素を備えるものに限定されるものではない。また、本発明は、ある構成要素に他の構成要素を追加したり、一部の構成要素を他の構成要素に変更したりすることができる。また、本発明は、一部の構成要素を削除することもできる。

【0166】

例えば、以下に説明するように、信号処理装置１０（推定装置）は、試験対象を任意の物品に変更することができる。また、信号処理装置１０（推定装置）は、入力物理量や教師信号を任意の信号に変更することができる。

【0167】

（１）例えば、信号処理装置１０は、図２０に示す環境において、図２１に示す第１変形例のように変更して使用することができる。図２０は、第１変形例の説明図である。図２１は、第１変形例において、マスクを生成するネットワークの重み及び伝達関数の学習の説明図である。

【0168】

図２０は、車両３の車室３ａにおいて、受聴者（車両の搭乗者（特にドライバー））の耳位置で検知されるインパネ３ｂ（インストルメントパネル）の振動音を評価する場合の一例を示している。図２０に示す例において、受聴者耳位置走行音１９０（受聴者の耳位置で聞こえる車室内音）が入力物理量であり、観測インパネ振動加速度１９３が教師信号である。図２１に示すように、信号処理装置１０の学習部２１は、マスクαを用いて入力物理量（受聴者耳位置走行音１９０）を抽出信号（抽出インパネ振動音１９１ａ）とノイズ成分（雑音１９１ｂ）とに分離する。なお、マスクα及び伝達関数Ｈは、入力物理量に関連する振幅や位相成分を含んでいる。

【0169】

また、図２１に示すように、信号処理装置１０の学習部２１は、ノイズ成分（雑音１９１ｂ）を逆短時間フーリエ変換（ＩＳＴＦＴ）して求めた信号波形と教師信号（観測インパネ振動加速度１９３）とのコヒーレンスが小さくなるとともに、抽出信号（抽出インパネ振動音１９１ａ）を逆短時間フーリエ変換（ＩＳＴＦＴ）して求めた信号波形と教師信号（観測インパネ振動加速度１９３）とのコヒーレンスが大きくなるように、ネットワークの重みＷ、及び、伝達関数Ｈを学習する。これにより、信号処理装置１０は、雑音（インパネ３ｂの振動に起因しない音（背景音））の中に目的音（インパネ３ｂの振動に起因する音）が混入しないように、入力物理量（受聴者耳位置走行音１９０）を抽出信号（抽出インパネ振動音１９１ａ）とノイズ成分（雑音１９１ｂ）とに分離することができる。

【0170】

また、図２１に示すように、信号処理装置１０の学習部２１は、抽出信号（抽出インパネ振動音１９１ａ）に対して、逆短時間フーリエ変換（ＩＳＴＦＴ）と高速フーリエ変換（ＦＦＴ）とを行い、伝達関数Ｈを掛け、逆高速フーリエ変換（ＩＦＦＴ）と短時間フーリエ変換（ＳＴＦＴ）とを行うことで、抽出信号（抽出インパネ振動音１９１ａ）を推定信号（推定インパネ振動加速度１９２）に変換している。そして、学習部２１は、推定信号（推定インパネ振動加速度１９２）と教師信号（観測インパネ振動加速度１９３）に対して短時間フーリエ変換（ＳＴＦＴ）を行い求めたスペクトログラムとの誤差が最小となるように、ニューラルネットワーク９４により、マスクαを生成するネットワークの重みＷ、及び、伝達関数Ｈを学習する。

【0171】

このような信号処理装置１０は、例えば官能試験時に、受聴者耳位置走行音１９０（受聴者の耳位置で聞こえる車室内音）のうち、インパネ３ｂの振動に起因する音の大きさを検査者に把握させ易くすることができる。例えば、インパネ３ｂの振動に起因する音が比較的大きい場合に、信号処理装置１０は、信号合成部５０の信号調整部５１で加工音を生成して、検査者の聴感による主観評価を行うことで、インパネ３ｂの振動低減の目標値を設定することができる。

【0172】

（２）また、信号処理装置１０は、図２２に示す環境において、図２３に示す第２変形例のように変更して使用することができる。図２２は、第２変形例の説明図である。図２３は、第２変形例において、マスクを生成するネットワークの重み及び伝達関数の学習の説明図である。

【0173】

図２２は、冷蔵庫２０３の近傍において、コンプレッサーの振動音を評価する場合の一例を示している。図２２に示す例において、受聴者の耳位置で聞こえる冷蔵庫音２９０が入力物理量であり、観測コンプレッサー振動加速度２９３が教師信号である。図２３に示すように、信号処理装置１０の学習部２１は、マスクαを用いて入力物理量（冷蔵庫音２９０）を抽出信号（抽出コンプレッサー音２９１ａ）とノイズ成分（雑音２９１ｂ）とに分離する。なお、マスクα及び伝達関数Ｈは、入力物理量に関連する振幅や位相成分を含んでいる。

【0174】

また、図２３に示すように、信号処理装置１０の学習部２１は、ノイズ成分（雑音２９１ｂ）を逆短時間フーリエ変換（ＩＳＴＦＴ）して求めた信号波形と教師信号（観測コンプレッサー振動加速度２９３）とのコヒーレンスが小さくなるとともに、抽出信号（抽出コンプレッサー音２９１ａ）を逆短時間フーリエ変換（ＩＳＴＦＴ）して求めた信号波形と教師信号（観測コンプレッサー振動加速度２９３）とのコヒーレンスが大きくなるように、ネットワークの重みＷ、及び、伝達関数Ｈを学習する。これにより、信号処理装置１０は、雑音（コンプレッサーの振動に起因しない音（背景音））の中に目的音（コンプレッサーの振動に起因する音）が混入しないように、入力物理量（冷蔵庫音２９０）を抽出信号（抽出コンプレッサー音２９１ａ）とノイズ成分（雑音２９１ｂ）とに分離することができる。

【0175】

また、図２３に示すように、信号処理装置１０の学習部２１は、抽出信号（抽出コンプレッサー音２９１ａ）に対して、逆短時間フーリエ変換（ＩＳＴＦＴ）と高速フーリエ変換（ＦＦＴ）とを行い、伝達関数Ｈを掛け、逆高速フーリエ変換（ＩＦＦＴ）と短時間フーリエ変換（ＳＴＦＴ）とを行うことで、抽出信号（抽出コンプレッサー音２９１ａ）を推定信号（推定コンプレッサー振動加速度２９２）に変換している。そして、学習部２１は、推定信号（推定コンプレッサー振動加速度２９２）と教師信号（観測コンプレッサー振動加速度２９３）に対して短時間フーリエ変換（ＳＴＦＴ）を行い求めたスペクトログラムとの誤差が最小となるように、ニューラルネットワーク９４により、マスクαを生成するネットワークの重みＷ、及び、伝達関数Ｈを学習する。

【0176】

このような信号処理装置１０は、例えば官能試験時に、受聴者の耳位置で聞こえる冷蔵庫音２９０のうち、コンプレッサーの振動に起因する音の大きさを検査者に把握させ易くすることができる。例えば、コンプレッサーの振動に起因する音が比較的大きい場合に、信号処理装置１０は、信号合成部５０の信号調整部５１で加工音を生成して、検査者の聴感による主観評価を行うことで、コンプレッサーの振動低減の目標値を設定することができる。

【0177】

（３）また、信号処理装置１０は、図２４に示す第３変形例のように変更して使用することができる。図２４は、第３変形例において、マスクを生成するネットワークの重み及び伝達関数の学習の説明図である。

【0178】

図２４に示す例では、車両３の車室３ａにおいて、受聴者（車両の搭乗者（特にドライバー））の耳位置で検知されるエンジン１（図１）の放射音に含まれる燃焼音を評価する場合の一例を示している。図２４に示す例では、エンジン１（図１）の教師信号としての筒内圧３９０と、入力物理量としての放射音３９０ａと振動３９０ｂとを観測し、それぞれに基づいてマスクと伝達関数を学習する構成を示している。

【0179】

信号処理装置１０は、マスクα１を用いて放射音３９０ａ（入力物理量）から燃焼音３９１ａａ（抽出信号）を取得するとともに、雑音３９１ａｂ（ノイズ成分）を取得する。雑音３９１ａｂ（ノイズ成分）は、放射音３９０ａ（入力物理量）から燃焼音３９１ａａ（抽出信号）を除去することで取得される。

【0180】

信号処理装置１０の学習部２１は、ノイズ成分（雑音３９１ａｂ）と教師信号（筒内圧３９０）とのコヒーレンスが小さくなるとともに、抽出信号（燃焼音３９１ａａ）と教師信号（筒内圧３９０）とのコヒーレンスが大きくなるように、また、推定信号（推定筒内圧３９２ａ）と教師信号（筒内圧３９０）に対して短時間フーリエ変換（ＳＴＦＴ）を行い求めたスペクトログラムとの誤差が最小になるように、ニューラルネットワーク９４により、マスクα１を生成するネットワークの重みＷ１（図示せず）、及び、伝達関数Ｈ１を学習する。マスクα１は、放射音３９０ａ（入力物理量）に含まれる燃焼音の割合と位相成分（位相の修正量）を表す。また、伝達関数Ｈ１は、燃焼音３９１ａａ（抽出信号）を推定筒内圧３９２ａ（推定信号）に変換するための振幅（ゲイン）と位相成分である。

【0181】

また、信号処理装置１０は、マスクα２を用いて振動３９０ｂ（入力物理量）から燃焼振動３９１ｂａ（抽出信号）を取得するとともに、ノイズ振動３９１ｂｂ（ノイズ成分）を取得する。ノイズ振動３９１ｂｂ（ノイズ成分）は、振動３９０ｂ（入力物理量）から燃焼振動３９１ｂａ（抽出信号）を除去することで取得される。

【0182】

信号処理装置１０の学習部２１は、ノイズ成分（ノイズ振動３９１ｂｂ）と教師信号（筒内圧３９０）とのコヒーレンスが小さくなるとともに、抽出信号（燃焼振動３９１ｂａ）と教師信号（筒内圧３９０）とのコヒーレンスが大きくなるように、また、推定信号（推定筒内圧３９２ｂ）と教師信号（筒内圧３９０）に対して短時間フーリエ変換（ＳＴＦＴ）を行い求めたスペクトログラムとの誤差が最小になるように、ニューラルネットワーク９４により、マスクα２を生成するネットワークの重みＷ２（図示せず）、及び、伝達関数Ｈ２を学習する。マスクα２は、振動３９０ｂ（入力物理量）に含まれる燃焼振動の割合と位相成分（位相の修正量）を表す。また、伝達関数Ｈ２は、燃焼振動３９１ｂａ（抽出信号）を推定筒内圧３９２ｂ（推定信号）に変換するための振幅（ゲイン）と位相成分である。

【0183】

さらに、信号処理装置１０は、数値シミュレーション又は加振実験によって求めたエンジンルーム内の音と受聴者の耳位置の音との伝達関数Ｈ１ａを燃焼音３９１ａａ（抽出信号）に掛け合わせて推定空気伝搬音３９３ａ（推定信号）を生成する。また、信号処理装置１０は、数値シミュレーション又は加振実験によって求めたエンジンマウント振動と受聴者の耳位置の音との伝達関数Ｈ２ｂを燃焼振動３９１ｂａ（抽出信号）に掛け合わせて推定個体伝搬音３９３ｂ（推定信号）を生成する。この後、信号処理装置１０は、推定空気伝搬音３９３ａ（推定信号）と推定個体伝搬音３９３ｂ（推定信号）とを合成して推定受聴者耳位置音３９３（合成推定信号）を生成する。

【0184】

このような信号処理装置１０は、例えば官能試験時に、受聴者（車両の搭乗者（特にドライバー））の耳位置で検知される燃焼音をシミュレーションすることができる。

【符号の説明】

【0185】

１…エンジン
２…エンジンＥＣＵ
３…車両
３ａ…車室
３ｂ…インパネ
４…音圧センサ
５…筒内圧センサ
６…データ収集装置
７…モニタ
８…ヘッドホン（放音部）
９…レベル指定部
１０，１０Ａ…信号処理装置（推定装置）
１１…信号切出部
１２…スペクトログラム算出部
１３…信号記憶部
１４…スイッチ
２０…学習処理部
２１…学習部
２２…学習済みパラメータ記憶部
２３…第１推定部
２４…閾値算出部
２５…閾値記憶部
２６ａ…教師信号記憶部
２６ｂ…推定信号記憶部
２６ｃ…ノイズ成分記憶部
２６ｄ…抽出信号記憶部
３０…判定処理部
３１…第２推定部（抽出信号推定部）
３２…閾値判定部
４０…分離部
５０…信号合成部
５１…信号調整部
５２…信号出力部
８１…ノッキング振動
８２…ノッキング音
８３…メカニカルノイズ（ノイズ成分）
９０…エンジン近傍音（入力物理量）
９１ａ…抽出ノッキング音（抽出信号）
９１ａａ…レベル変更ノッキング音（レベル変更抽出信号）
９１ｂ…雑音（ノイズ成分）
９１ｃ…加工音
９２…推定ノッキング筒内圧（推定信号）
９３…観測ノッキング筒内圧（教師信号）
９４…ニューラルネットワーク
９４Ａ…マスク生成ネットワーク
９５…Ｕ−Ｎｅｔ
９６…下向きパス（Ｅｎｃｏｄｅｒ）
９７…階層
９８…上向きパス（Ｄｅｃｏｄｅｒ）
９９…出力
１００…信号処理システム
１９０…受聴者耳位置走行音（入力物理量）
１９１ａ…抽出インパネ振動音（抽出信号）
１９１ｂ…雑音（ノイズ成分）
１９２…推定インパネ振動加速度（推定信号）
１９３…観測インパネ振動加速度（教師信号）
２０３…冷蔵庫
２９０…冷蔵庫音（入力物理量）
２９１ａ…抽出コンプレッサー音（抽出信号）
２９１ｂ…雑音（ノイズ成分）
２９２…推定コンプレッサー振動加速度（推定信号）
２９３…観測コンプレッサー振動加速度（教師信号）
３９０…筒内圧（教師信号）
３９０ａ…放射音（入力物理量）
３９０ｂ…振動（入力物理量）
３９１ａａ…燃焼音（抽出信号）
３９１ａｂ…雑音（ノイズ成分）
３９１ｂａ…燃焼振動（抽出信号）
３９１ｂｂ…ノイズ振動（ノイズ成分）
３９２ａ，３９２ｂ…推定筒内圧（推定信号）
３９３…推定受聴者耳位置音（合成推定信号）
３９３ａ…推定空気伝搬音（推定信号）
３９３ｂ…推定個体伝搬音（推定信号）
α，α１，α２…マスク
Ｆ１１，Ｆ２１，Ｆ３１，Ｆ３７…スペクトログラム
Ｆ１２，Ｆ２２，Ｆ３２，Ｆ３６，Ｆ９３…信号波形
Ｆ１３，Ｆ２３…コヒーレンス
Ｆ３３，Ｆ３５…スペクトル
Ｆ３４…周波数応答特性
Ｈ，Ｈ１，Ｈ１ａ，Ｈ２，Ｈ２ｂ，Ｈｅ…伝達関数
Ｈｃ…変更伝達関数
Ｍ１…学習モード用接続部
Ｍ２…閾値算出モード用接続部
Ｍ３…判定モード用接続部
Ｍ４…分離モード用接続部
Ｍ５…官能試験モード用接続部
Ｗ…ネットワークの重み
Ｔ…閾値

【要約】

【課題】入力物理量をノイズ成分と抽出信号とに良好に分離する。
【解決手段】信号処理装置１０は、学習部２１と、分離部４０と、を備える。学習部２１は、ニューラルネットワーク９４により、ノイズ成分（雑音９１ｂ）が含まれている入力物理量（エンジン近傍音９０）から位相を加味してノイズ成分を除去するためのマスクαを生成するネットワークの重み、及び、入力物理量からノイズ成分が除去された抽出信号（抽出ノッキング音９１ａ）を、教師信号（観測ノッキング筒内圧９３）と同じ次元（単位）の推定信号（推定ノッキング筒内圧９２）に位相を加味して変換するための伝達関数Ｈを学習する。分離部４０は、入力物理量をノイズ成分と抽出信号とに分離する。
【選択図】図３Ａ

【図1】

【図2】

【図3A】

【図3B】

【図4A】

【図4B】

【図5A】

【図5B】

【図6A】

【図6B】

【図7A】

【図7B】

【図8A】

【図8B】

【図8C】

【図9】

【図10A】

【図10B】

【図11A】

【図11B】

【図11C】

【図12A】

【図12B】

【図12C】

【図13】

【図14A】

【図14B】

【図14C】

【図15A】

【図15B】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】