(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023091528
(43)【公開日】2023-06-30
(54)【発明の名称】信号処理装置、及び、信号処理方法
(51)【国際特許分類】
G01H 17/00 20060101AFI20230623BHJP
G06N 3/08 20230101ALI20230623BHJP
F02D 45/00 20060101ALI20230623BHJP
G01M 99/00 20110101ALI20230623BHJP
【ＦＩ】
G01H17/00 Z
G06N3/08
F02D45/00 368A
F02D45/00 368S
F02D45/00 345
G01M99/00 Z
【審査請求】未請求
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2021206313
(22)【出願日】2021-12-20
(71)【出願人】
【識別番号】000145806
【氏名又は名称】株式会社小野測器
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】笠原 太郎
(72)【発明者】
【氏名】渡部 光
(72)【発明者】
【氏名】吉越 洋志
【テーマコード（参考）】
2G024
2G064
3G384
【Ｆターム（参考）】
2G024AD01
2G024CA13
2G024FA04
2G024FA06
2G024FA11
2G064AA11
2G064AA15
2G064AB01
2G064AB02
2G064AB13
2G064AB15
2G064BA02
2G064BD02
2G064CC02
2G064CC42
2G064CC43
2G064DD02
3G384AA01
3G384DA28
3G384EA24
3G384EA27
3G384EC01
3G384EC12
3G384FA29Z
3G384FA33Z
3G384FA58Z
(57)【要約】
【課題】入力物理量をノイズ成分と抽出信号とに良好に分離するための学習を行う。
【解決手段】信号処理装置１０は、入力物理量（エンジン近傍音９０）に含まれるノイズ成分（雑音９１ｂ）を低減したノイズ低減入力物理量９０Ａを生成するノイズ低減入力物理量生成部１５と、入力物理量とノイズ低減入力物理量のいずれか一方又は双方を選択する選択部１６と、入力物理量とノイズ低減入力物理量の中の選択部が選択したものからノイズ成分を除去するためのノイズ除去マスクαを生成するニューラルネットワークの重みを学習する学習部２１と、を備える。
【選択図】図３Ａ
【解決手段】信号処理装置１０は、入力物理量（エンジン近傍音９０）に含まれるノイズ成分（雑音９１ｂ）を低減したノイズ低減入力物理量９０Ａを生成するノイズ低減入力物理量生成部１５と、入力物理量とノイズ低減入力物理量のいずれか一方又は双方を選択する選択部１６と、入力物理量とノイズ低減入力物理量の中の選択部が選択したものからノイズ成分を除去するためのノイズ除去マスクαを生成するニューラルネットワークの重みを学習する学習部２１と、を備える。
【選択図】図３Ａ
【特許請求の範囲】
【請求項1】
入力物理量に含まれるノイズ成分を低減したノイズ低減入力物理量を生成するノイズ低減入力物理量生成部と、
前記入力物理量と前記ノイズ低減入力物理量のいずれか一方又は双方を選択する選択部と、
前記入力物理量と前記ノイズ低減入力物理量の中の前記選択部が選択したものからノイズ成分を除去するためのノイズ除去マスクを生成するニューラルネットワークの重みを学習する学習部と、を備える
ことを特徴とする信号処理装置。
前記入力物理量と前記ノイズ低減入力物理量のいずれか一方又は双方を選択する選択部と、
前記入力物理量と前記ノイズ低減入力物理量の中の前記選択部が選択したものからノイズ成分を除去するためのノイズ除去マスクを生成するニューラルネットワークの重みを学習する学習部と、を備える
ことを特徴とする信号処理装置。
【請求項2】
請求項１に記載の信号処理装置において、
前記ノイズ低減入力物理量生成部は、前記ノイズ除去マスクをフィルタ処理した処理マスクを用いて、前記入力物理量から前記ノイズ成分を低減した前記ノイズ低減入力物理量を生成する
ことを特徴とする信号処理装置。
前記ノイズ低減入力物理量生成部は、前記ノイズ除去マスクをフィルタ処理した処理マスクを用いて、前記入力物理量から前記ノイズ成分を低減した前記ノイズ低減入力物理量を生成する
ことを特徴とする信号処理装置。
【請求項3】
請求項１又は請求項２に記載の信号処理装置において、
前記学習部は、前記ノイズ成分と教師信号との関連性が小さくなるとともに、前記入力物理量又は前記ノイズ低減入力物理量から前記ノイズ成分を除去した抽出信号と前記教師信号との関連性が大きくなるように、前記ニューラルネットワークの重みを学習する
ことを特徴とする信号処理装置。
前記学習部は、前記ノイズ成分と教師信号との関連性が小さくなるとともに、前記入力物理量又は前記ノイズ低減入力物理量から前記ノイズ成分を除去した抽出信号と前記教師信号との関連性が大きくなるように、前記ニューラルネットワークの重みを学習する
ことを特徴とする信号処理装置。
【請求項4】
請求項３に記載の信号処理装置において、
前記学習部は、前記ノイズ除去マスクを用いて、前記入力物理量又は前記ノイズ低減入力物理量から前記ノイズ成分を除去した前記抽出信号を生成して、前記抽出信号を前記教師信号と同じ次元の推定信号に変換するための伝達関数を学習する
ことを特徴とする信号処理装置。
前記学習部は、前記ノイズ除去マスクを用いて、前記入力物理量又は前記ノイズ低減入力物理量から前記ノイズ成分を除去した前記抽出信号を生成して、前記抽出信号を前記教師信号と同じ次元の推定信号に変換するための伝達関数を学習する
ことを特徴とする信号処理装置。
【請求項5】
請求項４に記載の信号処理装置において、
前記学習部は、前記教師信号に対する前記推定信号の誤差が小さくなるように、前記ニューラルネットワークの重みと前記伝達関数とを学習する
ことを特徴とする信号処理装置。
前記学習部は、前記教師信号に対する前記推定信号の誤差が小さくなるように、前記ニューラルネットワークの重みと前記伝達関数とを学習する
ことを特徴とする信号処理装置。
【請求項6】
請求項１から請求項５のいずれか一項に記載の信号処理装置において、
前記選択部は、前記入力物理量と前記ノイズ低減入力物理量をシャッフルしたデータセットを前記学習部に供給する
ことを特徴とする信号処理装置。
前記選択部は、前記入力物理量と前記ノイズ低減入力物理量をシャッフルしたデータセットを前記学習部に供給する
ことを特徴とする信号処理装置。
【請求項7】
入力物理量に含まれるノイズ成分を低減したノイズ低減入力物理量を生成するノイズ低減入力物理量生成工程と、
前記入力物理量と前記ノイズ低減入力物理量のいずれか一方又は双方を選択する選択工程と、
前記入力物理量と前記ノイズ低減入力物理量の中の前記選択工程で選択したものからノイズ成分を除去するためのノイズ除去マスクを生成するニューラルネットワークの重みを学習する学習工程と、を含む
ことを特徴とする信号処理方法。
前記入力物理量と前記ノイズ低減入力物理量のいずれか一方又は双方を選択する選択工程と、
前記入力物理量と前記ノイズ低減入力物理量の中の前記選択工程で選択したものからノイズ成分を除去するためのノイズ除去マスクを生成するニューラルネットワークの重みを学習する学習工程と、を含む
ことを特徴とする信号処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、入力物理量をノイズ成分とノイズ成分が除去された抽出信号とに良好に分離するための学習を行う信号処理装置、及び、信号処理方法に関する。
【背景技術】
【0002】
例えば、ガソリンエンジンなどの内燃機関における点火時期は、出力トルクの向上を目的として、ノッキングが発生しないクランク角度の範囲内において可能な限り進角されることが一般的である。そこで、点火時期を調整する過程では、ノッキングが発生しているか否かが試験者又はノッキング判定装置によって判定される。こうしたノッキング判定装置の一例が特許文献１に記載されている。
【0003】
特許文献１に記載のノッキング判定装置は、ノッキングの有無が判定される判定信号と比較される対象信号とを、判定信号との関係（例えば、時間的な関係や運転条件における関係）で定まる条件に基づいて選択する。
【0004】
特許文献１に記載のノッキング判定装置では、ノッキングの有無の判定結果しか外部に提示できず、判定結果の裏付けをとることが困難である。そこで、本発明の発明者らによって、判定結果の裏付けとなる所望の物理量を推定することが可能な装置として、特許文献２又は特許文献３に記載の装置が提案された。
【0005】
特許文献２に記載の装置は、「入力物理量に含まれるノイズ成分を除去し、前記ノイズ成分が除去された入力物理量から所望の物理量を推定するための学習装置であって、前記ノイズ成分は、内燃機関で発生するノッキング音以外の雑音であり、前記入力物理量は、前記雑音及び前記ノッキング音が含まれる前記内燃機関の音圧であり、前記所望の物理量は、ノッキング発生時の前記内燃機関の筒内圧であり、ニューラルネットワークにより、前記雑音を除去し、かつ、前記ノッキング音を抽出するマスクを生成するニューラルネットワークの重み、及び／又は、前記マスクにより抽出されたノッキング音を前記ノッキング発生時の内燃機関の筒内圧に変換する伝達関数を学習する学習部、を備えることを特徴とする学習装置。」というものである。
【0006】
特許文献３に記載の装置は、「内燃機関で発生するノッキング音以外の雑音を除去し、前記雑音が除去されたノッキング音を推定するノッキング判定装置であって、ニューラルネットワークにより、前記雑音を除去し、かつ、前記ノッキング音を抽出するマスクを生成するニューラルネットワークの重み、及び、前記マスクにより抽出されたノッキング音をノッキング発生時の内燃機関の筒内圧に変換する伝達関数を学習する学習部と、ニューラルネットワークにより、前記マスクを用いて、前記雑音が含まれるノッキング音から前記雑音が除去されたノッキング音を推定する第２推定部と、を備えることを特徴とするノッキング判定装置。」というものである。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開２０１７－４４１４８号公報
【特許文献2】特許第６６０５１７０号公報
【特許文献3】特許第６６５１０４０号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、特許文献２及び特許文献３に記載された従来技術は、入力物理量に含まれるノイズ成分の量（ノイズ量）が大きい場合（特に、入力物理量から取りたい信号（抽出したい信号）よりもノイズの音圧が比較的大きい場合）に、分離後のノイズ成分に教師信号と関連のある成分が含まれていることがあった。したがって、入力物理量をノイズ成分と抽出信号とに良好に分離することができないときがあった。
【0009】
本発明は、前記の課題を解決するためになされたものであり、入力物理量をノイズ成分と抽出信号とに良好に分離するための学習を行う信号処理装置、及び、信号処理方法を提供することを主な目的とする。
【課題を解決するための手段】
【0010】
前記課題を解決するため、本発明は、信号処理装置であって、入力物理量に含まれるノイズ成分を低減したノイズ低減入力物理量を生成するノイズ低減入力物理量生成部と、前記入力物理量と前記ノイズ低減入力物理量のいずれか一方又は双方を選択する選択部と、前記入力物理量と前記ノイズ低減入力物理量の中の前記選択部が選択したものからノイズ成分を除去するためのノイズ除去マスクを生成するニューラルネットワークの重みを学習する学習部と、を備える構成とする。
【0011】
また、本発明は、信号処理方法であって、入力物理量に含まれるノイズ成分を低減したノイズ低減入力物理量を生成するノイズ低減入力物理量生成工程と、前記入力物理量と前記ノイズ低減入力物理量のいずれか一方又は双方を選択する選択工程と、前記入力物理量と前記ノイズ低減入力物理量の中の前記選択工程で選択したものからノイズ成分を除去するためのノイズ除去マスクを生成するニューラルネットワークの重みを学習する学習工程と、を含む構成とする。
その他の手段は、後記する。
その他の手段は、後記する。
【発明の効果】
【0012】
本発明によれば、入力物理量をノイズ成分と抽出信号とに良好に分離するための学習を行うことができる。
【図面の簡単な説明】
【0013】
【図1】第１実施形態に係る信号処理装置（推定装置）を含む信号処理システムの全体構成を示すブロック図である。
【図2】第１実施形態に係る信号処理装置（推定装置）の構成を示すブロック図である。
【図3A】学習モードの説明図である。
【図3B】第１実施形態に係る信号処理装置（推定装置）の学習モード時の動作説明図である。
【図4A】閾値算出モードの説明図である。
【図4B】第１実施形態に係る信号処理装置（推定装置）の閾値算出モード時の動作説明図である。
【図5A】判定モードの説明図である。
【図5B】第１実施形態に係る信号処理装置（推定装置）の判定モード時の動作説明図である。
【図6A】分離モードの説明図である。
【図6B】第１実施形態に係る信号処理装置（推定装置）の分離モード時の動作説明図である。
【図7A】官能試験モードの説明図である。
【図7B】第１実施形態に係る信号処理装置（推定装置）の官能試験モード時の動作説明図である。
【図8A】学習時におけるノイズ成分と教師信号との関係を表す説明図である。
【図8B】学習時における抽出信号と教師信号との関係を表す説明図である。
【図8C】学習時における抽出信号と推定信号との関係を表す説明図である。
【図9】第１実施形態において、ノイズ除去マスクを生成するニューラルネットワークの重みの学習の説明図である。
【図10A】圧力や、振動、音などの位相成分が考慮されていない場合の計算例の説明図である。
【図10B】圧力や、振動、音などの位相成分が考慮されている場合の計算例の説明図である。
【図11A】官能試験における信号処理の説明図（１）である。
【図11B】官能試験における信号処理の説明図（２）である。
【図11C】官能試験における信号処理の説明図（３）である。
【図12A】官能試験における信号処理の説明図（４）である。
【図12B】官能試験における信号処理の説明図（５）である。
【図12C】官能試験における信号処理の説明図（６）である。
【図13】第１実施形態において、信号処理装置（推定装置）のデータ収集処理を示すフローチャートである。
【図14A】第１実施形態において、信号処理装置（推定装置）の学習処理を示すフローチャートである。
【図14B】学習処理のサブルーチンを示すフローチャートである。
【図14C】学習処理のサブルーチンの変更例を示すフローチャートである。
【図15A】第１実施形態において、信号処理装置（推定装置）の閾値算出処理を示すフローチャートである。
【図16】第１実施形態において、信号処理装置（推定装置）の判定処理を示すフローチャートである。
【図17】第１実施形態において、信号処理装置（推定装置）の分離処理を示すフローチャートである。
【図18】第１実施形態において、信号処理装置（推定装置）の官能試験処理を示すフローチャートである。
【図19A】比較例に係る信号処理装置（推定装置）の構成を示すブロック図である。
【図19B】比較例に係る信号処理装置（推定装置）の学習モードの説明図である。
【図19C】比較例に係る信号処理装置（推定装置）の学習モード時の動作説明図である。
【図20】第１実施形態の変形例に係る信号処理装置（推定装置）の用途変更を実現するための信号処理システムの全体構成を示すブロック図である。
【図21】用途変更された第１実施形態に係る信号処理装置（推定装置）の学習モードの説明図である。
【図22A】比較例に係る信号処理装置（推定装置）において発生する不適切な例（入力物理量から取りたい信号（抽出したい信号）を綺麗に分離できなくなる場合の例）の説明図（１）である。
【図22B】比較例に係る信号処理装置（推定装置）において発生する不適切な例（入力物理量から取りたい信号（抽出したい信号）を綺麗に分離できなくなる場合の例）の説明図（２）である。
【図22C】比較例に係る信号処理装置（推定装置）において発生する不適切な例（入力物理量から取りたい信号（抽出したい信号）を綺麗に分離できなくなる場合の例）の説明図（３）である。
【図22D】比較例に係る信号処理装置（推定装置）において発生する不適切な例（入力物理量から取りたい信号（抽出したい信号）を綺麗に分離できなくなる場合の例）の説明図（４）である。
【図23A】第１実施形態に係る信号処理装置（推定装置）において実現される好適な例（入力物理量から取りたい信号（抽出したい信号）を綺麗に分離できる場合の例）の説明図（１）である。
【図23C】第１実施形態に係る信号処理装置（推定装置）において実現される好適な例（入力物理量から取りたい信号（抽出したい信号）を綺麗に分離できる場合の例）の説明図（３）である。
【図23D】第１実施形態に係る信号処理装置（推定装置）において実現される好適な例（入力物理量から取りたい信号（抽出したい信号）を綺麗に分離できる場合の例）の説明図（４）である。
【図23E】好適な例における取り逃がした信号の説明図（５）である。
【図24】処理マスクの生成方法の概略説明図である。
【図25】処理マスクの生成方法の説明図である。
【図26】ノイズ低減入力物理量の生成方法の説明図である。
【図27】ノイズ低減入力物理量の生成方法の説明図である。
【図28】第１実施形態に係る信号処理装置（推定装置）の学習モードにおけるシャッフル処理の説明図である。
【図29】第１実施形態に係る信号処理装置（推定装置）の学習モード時における動作の変更例の説明図である。
【図30】第２実施形態に係る信号処理装置（推定装置）の構成を示すブロック図である。
【発明を実施するための形態】
【0014】
図面を参照して、本発明の実施形態（以下、「本実施形態」と称する）について詳細に説明する。なお、各図は、本発明を十分に理解できる程度に、概略的に示しているに過ぎない。よって、本発明は、図示例のみに限定されるものではない。また、各図において、共通する構成要素や同様な構成要素については、同一の符号を付し、それらの重複する説明を省略する。
【0015】
特許文献２及び特許文献３に記載された従来技術は、分離後のノイズ成分に教師信号と関連のある成分が含まれていないかを評価していない。このような従来技術は、入力物理量をノイズ成分と抽出信号とに良好に分離できない。そこで、本発明は、分離後のノイズ成分に教師信号と関連のある成分が含まれていないかを評価して、入力物理量をノイズ成分と抽出信号とに良好に分離するための学習を行う信号処理装置を提供することも意図している。
【0016】
また、特許文献２及び特許文献３に記載された従来技術は、入力物理量に関連する位相成分を考慮することなく、入力物理量をノイズ成分と抽出信号とに分離する構成になっていた。そのため、従来技術は、入力物理量をノイズ成分と抽出信号とに分離しても、ノイズ成分に抽出信号が混入してしまい、抽出信号を正確に分離できなかった。そこで、本発明は、位相成分を考慮した構成を実現することにより、入力物理量をノイズ成分と抽出信号とに良好に分離するための学習を行う信号処理装置を提供することも意図している。
【0017】
また、特許文献２及び特許文献３の従来技術では、伝達関数を用いて所望の物理量を推定しているが、本発明は伝達関数を使用するか否かは問わない。
【0018】
［第１実施形態］
本第１実施形態は、入力物理量に含まれるノイズ成分を低減したノイズ低減入力物理量を生成するノイズ低減入力物理量生成部と、前記入力物理量と前記ノイズ低減入力物理量のいずれか一方又は双方を選択する選択部と、前記入力物理量と前記ノイズ低減入力物理量の中の前記選択部が選択したものからノイズ成分を除去するためのノイズ除去マスクを生成するニューラルネットワークの重みを学習する学習部と、を備える信号処理装置を提供するものである。
本第１実施形態は、入力物理量に含まれるノイズ成分を低減したノイズ低減入力物理量を生成するノイズ低減入力物理量生成部と、前記入力物理量と前記ノイズ低減入力物理量のいずれか一方又は双方を選択する選択部と、前記入力物理量と前記ノイズ低減入力物理量の中の前記選択部が選択したものからノイズ成分を除去するためのノイズ除去マスクを生成するニューラルネットワークの重みを学習する学習部と、を備える信号処理装置を提供するものである。
【0019】
＜信号処理装置（推定装置）を含む信号処理システムの全体構成＞
図１を参照して、本第１実施形態に係る信号処理装置１０（推定装置）を含む信号処理システム１００の全体構成について説明する。図１は、信号処理装置１０を含む信号処理システム１００の全体構成を示すブロック図である。
図１を参照して、本第１実施形態に係る信号処理装置１０（推定装置）を含む信号処理システム１００の全体構成について説明する。図１は、信号処理装置１０を含む信号処理システム１００の全体構成を示すブロック図である。
【0020】
信号処理装置１０は、信号に対して各種の処理を行う装置である。本実施形態では、信号処理装置１０が、ノイズ成分が除去された抽出信号に伝達関数を掛け合わせて、教師信号と同じ次元（単位）の推定信号を推定する推定装置として機能するものとして説明する。また、本実施形態では、ガソリンエンジンなどの内燃機関でノッキングが発生しているか否かを検証する用途に信号処理装置１０が用いられるものとして説明する。ただし、信号処理装置１０は、このような用途に限らず、様々な用途に用いることができる。例えば、信号処理装置１０は、後記するように、検証対象を電子装置に搭載された複数の電子部品のうちの１つとして、この検証対象の電子部品でどのような動作音が発生しているかを検証する用途に用いることができる。
【0021】
図１に示すように、信号処理システム１００は、試験対象となるエンジン１のノッキングの有無を判定するものであり、音圧センサ４と、筒内圧センサ５と、データ収集装置６と、モニタ７と、ヘッドホン８と、レベル指定部９と、信号処理装置１０とを備える。
【0022】
図１に示すように、試験対象のエンジン１は、車両３に搭載されている。なお、試験対象のエンジン１は、車両３に搭載されない状態、例えば単独の状態で用いられてもよい。エンジン１には、エンジン１の駆動を制御するエンジンＥＣＵ（Electronic Control Unit）２が接続されている。エンジンＥＣＵ２は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random access memory）、その他の記憶装置等で構成されている。エンジンＥＣＵ２は、ＲＯＭや記憶装置に記憶されたプログラムをＣＰＵで演算処理することで、エンジン１の駆動制御に必要な各種情報をエンジンＥＣＵ２の外部から取得しながらエンジン１の駆動を制御する。
【0023】
エンジンＥＣＵ２は、エンジン１の現在の回転角度を表す角度情報をデータ収集装置６に出力する。角度情報には、例えば、基準角度パルスとクランク角度パルスとが含まれる。基準角度パルスは、クランク軸の一回転中の基準角度位置で出力される基準のパルスで、例えば、クランク軸が１回転する毎に１パルスが出力される。また、クランク角度パルスは、クランク軸が一定角度回転する毎に出力されるパルスであって、例えば、１°毎に１パルスが出力される場合、吸入、圧縮、燃焼及び排気の４行程を１サイクルとする４ストロークエンジンにおいて、１サイクルにクランク軸が回転する２回転の間に７２０パルスが出力される。なお、角度情報がデータ収集装置６に入力されるのであれば、エンジンＥＣＵ２を介さず、クランク軸の回転角度の原点を検出する原点センサや、クランク軸の回転角度を検出する角度センサからの角度情報がデータ収集装置６に入力されてもよい。
【0024】
エンジン１の近くには、音圧センサ４が設置されている。音圧センサ４は、エンジン１から発生する音を検出し、この検出した音に基づく音圧信号をデータ収集装置６に出力する。詳述すると、音圧センサ４は、エンジン１に発生する筒内圧力変動に基づく物理量の一例である音圧を検出し、検出された音圧の大きさを示す音圧信号を生成する。よって、エンジン１にノッキングが発生していないとき、音圧センサ４から出力される音圧信号には、ノッキングに相関のある音は含まれない。一方、エンジン１にノッキングが発生しているとき、音圧センサ４から出力される音圧信号には、ノッキングに相関のある音が含まれている。
【0025】
エンジン１には、エンジン１の筒内圧を検出する筒内圧センサ５を取り付ける。筒内圧センサ５は、筒内の燃焼ガス振動に応じた波形成分を含む筒内圧信号をデータ収集装置６に出力する。ここで、エンジン１にノッキングが発生していないとき、筒内圧センサ５から出力される筒内圧信号には、ノッキングに相関した成分が含まれない。一方、エンジン１にノッキングが発生しているとき、筒内圧センサ５から出力される筒内圧信号には、ノッキングに相関した成分が含まれている。筒内圧センサ５は、点火プラグと一体化したものを用いてもよいし、点火プラグとは別個に構成されたものを用いてもよい。
【0026】
データ収集装置６は、音圧センサ４からの音圧信号を入力してＡ／Ｄ変換する。また、データ収集装置６は、音圧信号を入力するタイミングで、エンジンＥＣＵ２から現在の角度情報を取得する。そして、データ収集装置６は、角度情報に基づいてエンジン１の１サイクル分の音圧信号を取得する。よって、４ストローク単気筒エンジンを例とすると、データ収集装置６は、単位時間当たりのエンジン１の回転速度に応じた数、例えば、回転速度が３０００［ｒ／ｍｉｎ］であれば１分間に１５００個の音圧信号を生成する。また、データ収集装置６は、一部又は全部の音圧信号に角度情報を関連付ける。そして、データ収集装置６は、角度情報が関連付けられた音圧信号を信号処理装置１０に出力する。なお、データ収集装置６は、音圧信号を一時的に保持したり、一旦蓄えたりしてから信号処理装置１０に出力してもよい。また、データ収集装置６は、音圧信号に時刻情報を関連付けてもよい。
【0027】
モニタ７は、信号処理装置１０が抽出したエンジン１のノッキング音や推定したエンジン１の筒内圧、信号処理装置１０によるノッキングの有無の判定結果を表示する。モニタ７の一例として、一般的なフラットパネルディスプレイがある。
【0028】
ヘッドホン８は、音を発する放音部である。ヘッドホン８は、後記する官能試験モードで試験対象物（本実施形態では、エンジン１）の状況を検査する際に、検査者の頭部に装着される。
【0029】
レベル指定部９は、信号に対する上昇レベル又は下降レベルを指定するレベル指定情報を受け付ける入力部である。レベル指定部９は、例えばタッチパネルディスプレイや、テンキー、専用のスイッチなどによって構成されている。本実施形態では、抽出信号（抽出ノッキング音９１ａ（図１１Ｂ））のレベルを変更してレベル変更抽出信号（レベル変更ノッキング音９１ａａ（図１２Ａ））を生成する場合に、抽出信号の上昇レベル又は下降レベルを指定（入力）するために、検査者を含む、その周囲の人物によってレベル指定部９が操作される。
【0030】
信号処理装置１０は、ノイズ除去マスクαを生成するニューラルネットワーク９４（図３Ａ）の重みＷ（図３Ｂ）及び伝達関数Ｈ（図３Ａ）を学習する。以下、「ノイズ除去マスクαを生成するニューラルネットワーク９４」を「マスク生成ネットワーク９４Ａ（図３Ａ）」と称する場合がある。また、「マスク生成ネットワーク９４Ａの重みＷ」を「ニューラルネットワークの重みＷ」と称する場合がある。ここで、ノイズ除去マスクαは、ノイズ成分が含まれている入力物理量からノイズ成分を除去するための実数又は複素数の行列である。ノイズ除去マスクαは、入力物理量に合わせて変化する。また、伝達関数Ｈは、複素数の重みベクトルであり、エンジン１の構造減衰補正量の逆数と解釈する。構造減衰補正量とは、エンジン燃焼時の筒内圧に起因する振動がエンジン１を通り、音となって音圧センサに到達するまでの伝達特性のことである。エンジン１の筒内圧の周波数成分に構造減衰補正量を乗算したものがエンジン１の燃焼騒音レベルとなる。
【0031】
そのため、音圧であるエンジン１の近傍音に含まれる燃焼騒音に構造減衰補正量の逆数を乗算すれば、エンジン１の筒内圧が求められる。したがって、エンジン１の近傍音からエンジン１の筒内圧を推定することができる。
【0032】
エンジン１の近傍音からエンジン１の筒内圧を推定する原理については、例えば、前記の特許文献２に記載されている。前記の特許文献２によれば、「まず、エンジン１の近傍音ｙと、教師データ（教師信号）として、実測したエンジン１の筒内圧ｘとを収集する。（中略）。エンジン１の近傍音ｙ及びエンジン１の実測筒内圧ｘを用いて、未知数であるマスクを生成するニューラルネットワークの重み及び伝達関数をニューラルネットワークにより学習する。そして、学習したニューラルネットワークが生成したマスク及び伝達関数を用いて、試験時に測定したエンジン１の近傍音ｙから、エンジン１の筒内圧ｘを推定する。」と記載されている。
【0033】
信号処理装置１０は、学習したニューラルネットワーク９４（図３Ａ）が生成したノイズ除去マスクα及び伝達関数Ｈを用いて、エンジン１の近傍音からノッキング音を抽出し、エンジン１のノッキング筒内圧を推定し、抽出したノッキング音に基づいて、ノッキングの有無を判定する。そして、信号処理装置１０は、抽出したノッキング音や推定したエンジン１のノッキング筒内圧、ノッキングの有無の判定結果をモニタ７に表示する。
【0034】
ここで、信号処理装置１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、その他の記憶装置等で構成されている。信号処理装置１０は、ＲＯＭや記憶装置に記憶されているプログラムをＣＰＵで演算処理する。なお、信号処理装置１０は、以下の処理を実行するプログラムを有するパーソナルコンピュータ（ＰＣ）等であってもよい。
【0035】
本実施形態では、信号処理装置１０は、学習モード、閾値算出モード、判定モード、分離モード、官能試験モードという５つの動作モードで動作する。１つ目の学習モードは、ノイズ除去マスクα（図３Ａ）を生成するニューラルネットワークの重みＷ（図３Ｂ）及び伝達関数Ｈ（図３Ａ）を学習する動作モードである。２つ目の閾値算出モードは、ノイズ除去マスクαを生成するニューラルネットワークの重みＷ及び伝達関数Ｈの学習後、ノッキングの有無を閾値判定するときの閾値を算出する動作モードである。３つ目の判定モードは、学習したニューラルネットワーク９４（図３Ａ）に入力物理量を入力することで生成されたノイズ除去マスクαを用いて入力物理量（本実施形態では、エンジン近傍音９０）から抽出信号（本実施形態では、抽出ノッキング音９１ａ）を抽出し、ノッキングの有無を判定する動作モードである。４つ目の分離モードは、入力物理量を抽出信号とノイズ成分（本実施形態では、雑音９１ｂ）とに分離する動作モードである。５つ目の官能試験モードは、検査者が後記する加工音を聞き取り、検査者の聴感によって検査すべき目的音（本実施形態では、ノッキング音）における閾値算出モードで使用するデータを決定するための動作モードである。５つ目の官能試験モードでは、例えば許容範囲外となった音から閾値を算出する。
【0036】
これら５つの動作モードは、任意に切り替えることができる。例えば、図示を省略した管理装置により、ＣＡＮ（Controller Area Network）を介して、信号処理装置１０の動作モードを切り替えることができる。また、図示を省略したマウス、キーボード等の操作手段を用いて、信号処理装置１０の動作モードを切り替えてもよい。
【0037】
学習モードの場合、ノッキングが発生する運転条件、及び、ノッキングが発生しない運転条件でそれぞれエンジン１を運転し、データ収集装置６が、教師データ（教師信号）として、筒内圧信号を収集する。このとき、データ収集装置６は、筒内圧センサ５からの筒内圧信号を入力してＡ／Ｄ変換し、これを音圧信号に関連付けておく。
【0038】
閾値算出モードの場合、ノッキングが発生しない運転条件でエンジン１を運転し、データ収集装置６が、音圧信号を収集する。
【0039】
判定モードの場合、学習したニューラルネットワークにより生成されたノイズ除去マスクαを用いてエンジン近傍音９０（入力物理量）から抽出ノッキング音９１ａ（抽出信号）を抽出し、信号処理装置１０が、閾値に基づいてノッキングの有無を判定する。
【0040】
なお、閾値算出モード又は判定モードの場合、データ収集装置６が、筒内圧信号を収集する必要はない。つまり、学習モードの場合、音圧センサ４と筒内圧センサ５の双方が動作するが、閾値算出モード又は判定モードの場合、音圧センサ４のみが動作する。
【0041】
分離モードの場合、エンジン１を運転し、信号処理装置１０が、エンジン近傍音９０（入力物理量）を学習したニューラルネットワークに入力してノイズ除去マスクαを生成し、雑音９１ｂ（ノイズ成分）と抽出ノッキング音９１ａ（抽出信号）とに分離する。その際に、信号処理装置１０は、雑音９１ｂをノイズ成分記憶部２６ｃに、抽出ノッキング音９１ａを抽出信号記憶部２６ｄに、それぞれ記憶する。本発明では、入力物理量に関連する振幅と位相を考慮して、ノイズ除去マスクαを生成するニューラルネットワークの重みＷ及び伝達関数Ｈを学習することにより分離性能が向上している。ノイズ除去マスクαは実数又は複素数、伝達関数Ｈは複素数で実装する。これにより、信号処理装置１０は、入力物理量をノイズ成分と抽出信号とに良好に分離するための学習を行うことができる。
【0042】
官能試験モードの場合、信号処理装置１０が、レベル指定部９からレベル指定情報を受け付け、レベル指定情報に基づいて、雑音９１ｂ（ノイズ成分）と抽出ノッキング音９１ａ（抽出信号）とを用いて加工音を生成する。
【0043】
仮に振幅スペクトルが同じだとしても、位相スペクトルによって信号波形は大きく変わるため、聴感印象に多大な影響を及ぼす。そのため、品質の良い加工音を生成するには、位相を考慮して、加工音に用いる抽出信号（本実施形態では、抽出ノッキング音９１ａ）を取得することが重要である。換言すると、信号処理装置１０は、入力物理量に関連する振幅と位相を考慮して、ノイズ除去マスクαを生成するニューラルネットワークの重みＷ及び伝達関数Ｈを学習することにより分離性能が向上し、品質の良い加工音（聴感上、ノッキング音が自然な加工音）を生成することができる。
【0044】
＜信号処理装置（推定装置）の構成＞
図２を参照して、信号処理装置１０（推定装置）の構成について説明する。図２は、信号処理装置１０の構成を示すブロック図である。図２に示すように、信号処理装置１０は、信号切出部１１と、スペクトログラム算出部１２と、信号記憶部１３と、スイッチ１４と、学習処理部２０（学習装置）と、判定処理部３０と、分離部４０と、信号合成部５０と、を備える。ここで、信号処理装置１０は、データ収集装置６から、音圧信号と、この音圧信号に関連付けられた角度情報とが入力される。さらに、学習モードの場合、信号処理装置１０は、データ収集装置６から筒内圧信号が入力される。
図２を参照して、信号処理装置１０（推定装置）の構成について説明する。図２は、信号処理装置１０の構成を示すブロック図である。図２に示すように、信号処理装置１０は、信号切出部１１と、スペクトログラム算出部１２と、信号記憶部１３と、スイッチ１４と、学習処理部２０（学習装置）と、判定処理部３０と、分離部４０と、信号合成部５０と、を備える。ここで、信号処理装置１０は、データ収集装置６から、音圧信号と、この音圧信号に関連付けられた角度情報とが入力される。さらに、学習モードの場合、信号処理装置１０は、データ収集装置６から筒内圧信号が入力される。
【0045】
信号切出部１１は、データ収集装置６から入力された角度情報に基づいて、入力された音圧信号から所定の切出角度範囲の音圧信号を切り出す。例えば、切出角度範囲はＡＴＤＣ（After Top Dead Center）の約－１０～９０°の角度範囲である。本実施形態では、ＴＤＣ（Top Dead Center）を基準として切り出されているため、点火タイミングが変更されても切出角度範囲は固定されたままであるが、点火タイミングの変更に応じて切出角度範囲を変更してもよい。信号切出部１１は、音圧信号を切り出すと、切り出した音圧信号をスペクトログラム算出部１２に出力する。
【0046】
スペクトログラム算出部１２は、信号切出部１１が切り出した音圧信号に対して短時間フーリエ変換（ＳＴＦＴ：Short Time Fourier Transform）を行い、音圧信号のスペクトログラムを算出する。短時間フーリエ変換は、例えば、離散フーリエ変換を高速に計算する高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）により行われる。
その後、スペクトログラム算出部１２は、音圧信号のスペクトログラムを信号記憶部１３に書き込む。
その後、スペクトログラム算出部１２は、音圧信号のスペクトログラムを信号記憶部１３に書き込む。
【0047】
信号記憶部１３は、スペクトログラム算出部１２が変換した音圧信号のスペクトログラムを記憶するメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等の記憶装置である。なお、学習モードの場合、信号記憶部１３は、データ収集装置６から入力された筒内圧信号（観測ノッキング筒内圧９３（図３Ａ））を、教師データ（教師信号）として記憶する。ここで、「ノッキング筒内圧」とは、筒内圧信号に重畳したノッキング成分を表す。ノッキング筒内圧は、筒内圧をノッキングの周波数成分以上の周波数帯を通過させるハイパスフィルタ処理することで得られる。
【0048】
スイッチ１４は、前記した５つの動作モードに対応する学習モード用接続部Ｍ１、閾値算出モード用接続部Ｍ２、判定モード用接続部Ｍ３、分離モード用接続部Ｍ４、官能試験モード用接続部Ｍ５に任意に切り替えることができる。信号処理装置１０は、信号処理装置１０の動作モードに応じてスイッチ１４を切り替えることにより、信号記憶部１３に記憶されている信号を任意の出力先に出力することができる。
【0049】
例えば学習モードの場合、信号処理装置１０は、スイッチ１４を学習モード用接続部Ｍ１に接続して、信号記憶部１３に記憶されている音圧信号のスペクトログラム及び筒内圧信号を後記するノイズ低減入力物理量生成部１５と後記する選択部１６に出力する。また、閾値算出モードの場合、信号処理装置１０は、スイッチ１４を閾値算出モード用接続部Ｍ２に接続して信号記憶部１３に記憶されている音圧信号のスペクトログラムを後記する第１推定部２３に出力する。また、判定モードの場合、信号処理装置１０は、スイッチ１４を判定モード用接続部Ｍ３に接続して、信号記憶部１３に記憶されている音圧信号のスペクトログラムを後記する第２推定部３１（抽出信号推定部）に出力する。また、分離モードの場合、信号処理装置１０は、スイッチ１４を分離モード用接続部Ｍ４に接続して、信号記憶部１３に記憶されている音圧信号のスペクトログラムを後記する分離部４０に出力する。また、官能試験モードの場合、信号処理装置１０は、スイッチ１４を官能試験モード用接続部Ｍ５に接続して、図示せぬ信号生成部によって予め生成されて信号記憶部１３に記憶された官能試験モードの実行指示信号を後記する信号調整部５１に出力する。ここでは、官能試験モードの実行指示信号が図示せぬ信号生成部によって予め生成されて信号記憶部１３に記憶されているものとして説明する。ただし、官能試験モードの実行指示信号は、スイッチ１４が官能試験モード用接続部Ｍ５に接続されたときに、図示せぬ信号生成部によって生成されて、信号記憶部１３を介さずに、図示せぬ信号生成部から後記する信号調整部５１に出力されるようにしてもよい。
【0050】
＜学習処理部＞
学習処理部２０は、学習モードにおいて、ノイズ除去マスクαを生成するニューラルネットワーク９４（図３Ａ）の重みＷ及び伝達関数Ｈを学習する学習処理（図１４Ａ）を行い、閾値算出モードにおいて、エンジン１の抽出したノッキング音の閾値判定に用いる閾値を算出する閾値算出処理（図１５Ａ）を行う。図２に示すように、学習処理部２０は、ノイズ低減入力物理量生成部１５と、選択部１６と、学習部２１と、学習済みパラメータ記憶部２２と、第１推定部２３と、閾値算出部２４と、閾値記憶部２５と、教師信号記憶部２６ａと、推定信号記憶部２６ｂと、ノイズ成分記憶部２６ｃと、抽出信号記憶部２６ｄと、を備える。
学習処理部２０は、学習モードにおいて、ノイズ除去マスクαを生成するニューラルネットワーク９４（図３Ａ）の重みＷ及び伝達関数Ｈを学習する学習処理（図１４Ａ）を行い、閾値算出モードにおいて、エンジン１の抽出したノッキング音の閾値判定に用いる閾値を算出する閾値算出処理（図１５Ａ）を行う。図２に示すように、学習処理部２０は、ノイズ低減入力物理量生成部１５と、選択部１６と、学習部２１と、学習済みパラメータ記憶部２２と、第１推定部２３と、閾値算出部２４と、閾値記憶部２５と、教師信号記憶部２６ａと、推定信号記憶部２６ｂと、ノイズ成分記憶部２６ｃと、抽出信号記憶部２６ｄと、を備える。
【0051】
ノイズ低減入力物理量生成部１５は、入力物理量（本実施形態では、エンジン近傍音９０（図３Ａ））に含まれるノイズ成分（本実施形態では、雑音９１ｂ（図３Ａ））を低減したノイズ低減入力物理量９０Ａ（図３Ａ）を生成する。ノイズ低減入力物理量生成部１５は、入力物理量（本実施形態では、エンジン近傍音９０（図３Ａ））からノイズ低減入力物理量９０Ａを生成するための処理マスクβを生成する機能を有している。処理マスクβは、ノイズ除去マスクαをフィルタ処理したものである。処理マスクβについては、後記する。
【0052】
選択部１６は、入力物理量（エンジン近傍音９０（図３Ａ））とノイズ低減入力物理量９０Ａ（図３Ａ）をシャッフルしたデータセットを学習部２１に供給するシャッフル機能を有している。なお、ここで、「シャッフル」とは、順番をばらばらにして混ぜることを意味している。選択部１６は、入力物理量とノイズ低減入力物理量のいずれか一方又は双方を選択して学習部２１に供給する。
【0053】
学習部２１は、学習モードにおいて、入力物理量（エンジン近傍音９０（図３Ａ））とノイズ低減入力物理量９０Ａ（図３Ａ）の中の選択部１６が選択したものからノイズ成分（雑音９１ｂ（図３Ａ））を除去するためのノイズ除去マスクαを生成するニューラルネットワーク９４の重みを学習する。また、学習部２１は、生成されたノイズ除去マスクαで抽出した抽出信号（抽出ノッキング音９１ａ（図３Ａ））をノッキング発生時のエンジン１の推定ノッキング筒内圧９２に変換する伝達関数Ｈ（図３Ａ）を学習する。本実施形態では、学習部２１は、信号記憶部１３から入力された音圧信号のスペクトログラム及び筒内圧信号を用いて、ノイズ除去マスクαを生成するニューラルネットワーク９４の重みＷ及び伝達関数Ｈを学習する。その後、学習部２１は、学習したノイズ除去マスクαを生成するニューラルネットワーク９４の重みＷ及び伝達関数Ｈを学習済みパラメータ記憶部２２に書き込む。
【0054】
学習済みパラメータ記憶部２２は、学習済みのパラメータ（ノイズ除去マスクαを生成するニューラルネットワークの重みＷ及び伝達関数Ｈ）を記憶するメモリ、ＨＤＤ、ＳＳＤ等の記憶装置である。
【0055】
第１推定部２３は、閾値算出モードにおいて、ニューラルネットワーク９４により生成されたノイズ除去マスクαを用いて、音圧信号のスペクトログラムからエンジン１の抽出ノッキング音９１ａを抽出する。この第１推定部２３が抽出した抽出ノッキング音９１ａは、後記する閾値を算出するときに利用される。具体的には、第１推定部２３は、学習済みパラメータ記憶部２２のノイズ除去マスクαを生成するニューラルネットワークの重みＷが反映されたニューラルネットワーク９４に、信号記憶部１３から入力された音圧信号のスペクトログラムを入力する。すると、学習したニューラルネットワークにより生成されたノイズ除去マスクαが音圧信号のスペクトログラムから抽出ノッキング音９１ａを抽出する。その後、第１推定部２３は、抽出ノッキング音９１ａを閾値算出部２４に出力する。
【0056】
閾値算出部２４は、第１推定部２３が抽出したエンジン１の抽出ノッキング音９１ａに基づいて閾値を算出する。具体的には、閾値算出部２４は、抽出ノッキング音９１ａのスペクトログラムの絶対値を所定時間（例えば、エンジン１の１サイクル）毎に総和する。例えば、複数の気筒を有するエンジン１では、抽出ノッキング音９１ａを総和すると、気筒別に１つのスコアが求められる。続いて、閾値算出部２４は、所定時間毎に総和した抽出ノッキング音９１ａの中央値を算出する。例えば、閾値算出部２４は、全てのサイクルについて、抽出ノッキング音９１ａの総和の中央値を算出する。このとき、閾値算出部２４は、任意の値で予め設定したマージンを中央値に加算し、閾値とする。なお、閾値算出部２４は、気筒毎に抽出ノッキング音９１ａを総和して中央値を求め、気筒毎の閾値を算出してもよい。また、閾値算出部２４は、各気筒で抽出ノッキング音９１ａを総和し、全気筒で中央値を求め、全気筒で共通の閾値を算出してもよい。また、後述する官能試験にて、検査者により許容不可能と判断された加工音９１ｃの抽出ノッキング音９１ａの総和を求め、総和値以下の任意の値を閾値としてもよい。その後、閾値算出部２４は、算出した閾値を閾値記憶部２５に書き込む。
【0057】
閾値記憶部２５は、閾値算出部２４が算出した閾値を記憶するメモリ、ＨＤＤ、ＳＳＤ等の記憶装置である。
【0058】
教師信号記憶部２６ａは、教師信号（本実施形態では、観測ノッキング筒内圧９３（図３Ａ））を記憶するメモリ、ＨＤＤ、ＳＳＤ等の記憶装置である。
【0059】
推定信号記憶部２６ｂは、推定信号（本実施形態では、推定ノッキング筒内圧９２（図３Ａ））を記憶するメモリ、ＨＤＤ、ＳＳＤ等の記憶装置である。
【0060】
ノイズ成分記憶部２６ｃは、入力物理量に含まれているノイズ成分（本実施形態では、雑音９１ｂ（図６Ａ））を記憶するメモリ、ＨＤＤ、ＳＳＤ等の記憶装置である。
【0061】
抽出信号記憶部２６ｄは、ノイズ成分が含まれている入力物理量からノイズ成分を除去した抽出信号（本実施形態では、抽出ノッキング音９１ａ（図６Ａ））を記憶するメモリ、ＨＤＤ、ＳＳＤ等の記憶装置である。
【0062】
＜判定処理部＞
判定処理部３０は、判定モードにおいて、音圧信号のスペクトログラムからエンジン１のノッキング音を抽出し、ノッキングの有無を判定する判定処理（図１６）を行う。図２に示すように、判定処理部３０は、第２推定部３１（抽出信号推定部）と、閾値判定部３２とを備える。
判定処理部３０は、判定モードにおいて、音圧信号のスペクトログラムからエンジン１のノッキング音を抽出し、ノッキングの有無を判定する判定処理（図１６）を行う。図２に示すように、判定処理部３０は、第２推定部３１（抽出信号推定部）と、閾値判定部３２とを備える。
【0063】
第２推定部３１（抽出信号推定部）は、判定モードにおいて、ニューラルネットワーク９４により生成されたノイズ除去マスクαを用いて、音圧信号のスペクトログラムから抽出ノッキング音９１ａ（抽出信号）を抽出する。この第２推定部３１が抽出した抽出ノッキング音９１ａは、後記する閾値判定に利用される。なお、第２推定部３１の処理内容は、第１推定部２３と同様のため、説明を省略する。
その後、第２推定部３１は、抽出ノッキング音９１ａを閾値判定部３２に出力する。
その後、第２推定部３１は、抽出ノッキング音９１ａを閾値判定部３２に出力する。
【0064】
閾値判定部３２は、判定モードにおいて、閾値記憶部２５に記憶されている閾値と、第２推定部３１が抽出した抽出ノッキング音９１ａとの閾値判定により、ノッキングの有無を判定する。具体的には、閾値判定部３２は、閾値算出部２４と同様、抽出ノッキング音９１ａのスペクトログラムの絶対値を所定時間毎に総和する。そして、閾値判定部３２は、総和した抽出ノッキング音９１ａと閾値とを比較し、総和した抽出ノッキング音９１ａが閾値を超える場合にはノッキング有りと判定し、総和した抽出ノッキング音９１ａが閾値以下の場合にはノッキング無しと判定する。その後、閾値判定部３２は、ノッキングの有無の判定結果と、第２推定部３１から入力された抽出ノッキング音９１ａをモニタ７（図１）に出力する。
【0065】
＜分離部＞
分離部４０は、ノイズ除去マスクαを用いて入力物理量をノイズ成分と抽出信号とに分離する。本実施形態では、図６Ａに示すように、分離部４０は、入力物理量としてのエンジン近傍音９０をノイズ成分である雑音９１ｂと抽出信号である抽出ノッキング音９１ａとに分離する。
分離部４０は、ノイズ除去マスクαを用いて入力物理量をノイズ成分と抽出信号とに分離する。本実施形態では、図６Ａに示すように、分離部４０は、入力物理量としてのエンジン近傍音９０をノイズ成分である雑音９１ｂと抽出信号である抽出ノッキング音９１ａとに分離する。
【0066】
＜信号合成部＞
信号合成部５０は、各種の信号を合成して加工音を生成する。本実施形態では、図１１Ａから図１２Ｃに示すように、信号合成部５０は、抽出ノッキング音９１（抽出信号）のレベルを変更して、エンジン近傍音９０（入力物理量）から分離された雑音９１ｂ（ノイズ成分）と合成して加工音を生成する。信号合成部５０は、信号調整部５１と、信号出力部５２とを有している。信号調整部５１は、レベル指定部９で指定（入力）された信号の上昇レベル又は下降レベルに応じて抽出ノッキング音９１のレベルを変更し、レベルが変更された抽出ノッキング音９１（レベル変更抽出信号）とノイズ成分とを合成して加工音を生成する。信号出力部５２は、加工音（信号）を放音部（ヘッドホン８）に出力して、放音部に加工音を放音させる。
信号合成部５０は、各種の信号を合成して加工音を生成する。本実施形態では、図１１Ａから図１２Ｃに示すように、信号合成部５０は、抽出ノッキング音９１（抽出信号）のレベルを変更して、エンジン近傍音９０（入力物理量）から分離された雑音９１ｂ（ノイズ成分）と合成して加工音を生成する。信号合成部５０は、信号調整部５１と、信号出力部５２とを有している。信号調整部５１は、レベル指定部９で指定（入力）された信号の上昇レベル又は下降レベルに応じて抽出ノッキング音９１のレベルを変更し、レベルが変更された抽出ノッキング音９１（レベル変更抽出信号）とノイズ成分とを合成して加工音を生成する。信号出力部５２は、加工音（信号）を放音部（ヘッドホン８）に出力して、放音部に加工音を放音させる。
【0067】
＜学習モード時の動作＞
図３Ａ、図３Ｂ、図８Ａ、図８Ｂ、図８Ｃ、及び図９を参照して、信号処理装置１０の学習モード時の動作について説明する。図３Ａは、学習モードの説明図である。図３Ｂは、信号処理装置１０の学習モード時の動作説明図である。図８Ａは、学習時におけるノイズ成分と教師信号との関係を表す説明図である。図８Ｂは、学習時における抽出信号と教師信号との関係を表す説明図である。図８Ｃは、学習時における抽出信号と推定信号との関係を表す説明図である。図９は、第１実施形態において、ノイズ除去マスクαを生成するニューラルネットワークの重みＷの学習の説明図である。
図３Ａ、図３Ｂ、図８Ａ、図８Ｂ、図８Ｃ、及び図９を参照して、信号処理装置１０の学習モード時の動作について説明する。図３Ａは、学習モードの説明図である。図３Ｂは、信号処理装置１０の学習モード時の動作説明図である。図８Ａは、学習時におけるノイズ成分と教師信号との関係を表す説明図である。図８Ｂは、学習時における抽出信号と教師信号との関係を表す説明図である。図８Ｃは、学習時における抽出信号と推定信号との関係を表す説明図である。図９は、第１実施形態において、ノイズ除去マスクαを生成するニューラルネットワークの重みＷの学習の説明図である。
【0068】
図３Ａに示すように、学習モード時において、信号処理装置１０では、エンジン近傍音９０（入力物理量）がノイズ低減入力物理量生成部１５と選択部１６とに供給される。また、図３Ｂに示すように、観測ノッキング筒内圧９３（教師信号）がノイズ低減入力物理量生成部１５と選択部１６とに供給される。
【0069】
ノイズ低減入力物理量生成部１５は、ノイズ除去マスクαをフィルタ処理した処理マスクβを用いて、エンジン近傍音９０から、エンジン近傍音９０に含まれる雑音９１ｂを低減したノイズ低減入力物理量９０Ａを生成して選択部１６に供給する。ノイズ除去マスクαは、学習部２１が、ニューラルネットワークの重みＷを学習する際に、前記エンジン近傍音９０（入力物理量）とノイズ低減入力物理量９０Ａのいずれか一方又は双方が学習部２１に入力される度に、ニューラルネットワークの重みＷを用いて、生成される。
【0070】
選択部１６は、エンジン近傍音９０とノイズ低減入力物理量生成部１５によって生成されたノイズ低減入力物理量９０Ａのいずれか一方又は双方を選択して、学習部２１に供給する。
【0071】
学習部２１は、エンジン近傍音９０とノイズ低減入力物理量９０Ａの中の選択部１６が選択したものから雑音９１ｂを除去するためのノイズ除去マスクαを生成するニューラルネットワークの重みＷを学習する。このとき、学習部２１は、エンジン近傍音９０とノイズ低減入力物理量９０Ａの中の選択部１６が選択したものを雑音９１ｂと抽出ノッキング音９１ａとに分離する。その際に、学習部２１は、エンジン近傍音９０とノイズ低減入力物理量９０Ａの中の選択部１６が選択したものにノイズ除去マスクαを掛け合わせて抽出ノッキング音９１ａを取得する。また、学習部２１は、エンジン近傍音９０とノイズ低減入力物理量９０Ａの中の選択部１６が選択したものから抽出ノッキング音９１ａを差し引くことで、雑音９１ｂを取得する。本実施形態では、ノイズ除去マスクαは、エンジン近傍音９０とノイズ低減入力物理量９０Ａの中の選択部１６が選択したものに含まれるノッキング音の割合と位相成分（位相の修正量）を表す。位相成分については、図１０Ａ及び図１０Ｂを用いて後記する。
【0072】
学習部２１は、ニューラルネットワークの重みＷを学習する際に、ノイズ除去マスクαを取得し、ノイズ除去マスクαをノイズ低減入力物理量生成部１５に供給する。ノイズ低減入力物理量生成部１５は、ノイズ除去マスクαをフィルタ処理して処理マスクβを取得する。そして、ノイズ低減入力物理量生成部１５は、処理マスクβを用いて、エンジン近傍音９０からノイズ低減入力物理量９０Ａを生成して選択部１６に供給する。
【0073】
学習部２１は、ニューラルネットワークの重みＷを学習するとともに、抽出ノッキング音９１ａ（抽出信号）を観測ノッキング筒内圧９３（教師信号）と同じ次元（単位）の推定ノッキング筒内圧９２（推定信号）に位相を加味して変換するための伝達関数Ｈを学習する。換言すると、学習部２１は、ニューラルネットワークの重みＷ、及び、伝達関数Ｈを学習する際に、ノイズ除去マスクα、及び、伝達関数Ｈに対して、エンジン近傍音９０（入力物理量）に関連する振幅と位相成分を加味して学習する。本実施形態では、学習部２１は、抽出ノッキング音９１ａに対して、逆短時間フーリエ変換（ＩＳＴＦＴ）と高速フーリエ変換（ＦＦＴ）とを行い、伝達関数Ｈを掛け、逆高速フーリエ変換（ＩＦＦＴ）と短時間フーリエ変換（ＳＴＦＴ）とを行うことで、抽出ノッキング音９１ａを推定ノッキング筒内圧９２に変換している。なお、本実施形態では、伝達関数Ｈは、抽出ノッキング音９１ａを推定ノッキング筒内圧９２に変換するための振幅（ゲイン）と位相成分である。位相成分については、図１０Ａ及び図１０Ｂを用いて後記する。
【0074】
本実施形態では、図３Ａに示すように、学習部２１は、雑音９１ｂ（ノイズ成分）と教師信号（観測ノッキング筒内圧９３）との関連性が小さくなるとともに、抽出ノッキング音９１ａ（抽出信号）と教師信号（観測ノッキング筒内圧９３）との関連性が大きくなるように、ニューラルネットワークの重みを学習する。具体的には、学習部２１は、雑音９１ｂ（ノイズ成分）のスペクトログラムに対して逆短時間フーリエ変換（ＩＳＴＦＴ）を行うことにより取得された第１信号Ｓｆｉと観測ノッキング筒内圧９３（教師信号）とのコヒーレンスが小さくなるとともに、抽出ノッキング音９１ａ（抽出信号）のスペクトログラムに対して逆短時間フーリエ変換（ＩＳＴＦＴ）を行うことにより取得された第２信号Ｓｓｅと観測ノッキング筒内圧９３（教師信号）とのコヒーレンスが大きくなるように、ノイズ除去マスクαを生成するニューラルネットワークの重みＷを学習する。これにより、信号処理装置１０は、雑音９１ｂから筒内圧に起因する音を除去することができる。
【0075】
【0076】
図３Ｂに示すように、学習モード時において、信号処理装置１０は、スイッチ１４を学習モード用接続部Ｍ１に接続して、信号記憶部１３に記憶されているエンジン近傍音９０のスペクトログラム及び観測ノッキング筒内圧９３をノイズ低減入力物理量生成部１５と選択部１６とに出力する。
【0077】
これに応答して、ノイズ低減入力物理量生成部１５は、処理マスクβを用いて、エンジン近傍音９０からノイズ低減入力物理量９０Ａを生成して選択部１６に供給する。選択部１６は、エンジン近傍音９０とノイズ低減入力物理量生成部１５によって生成されたノイズ低減入力物理量９０Ａのいずれか一方又は双方を選択して、学習部２１に供給する。学習部２１は、エンジン近傍音９０とノイズ低減入力物理量９０Ａの中の選択部１６が選択したものを用いてニューラルネットワークの重みＷを学習する。また、学習部２１は、生成されたノイズ除去マスクαで抽出した抽出ノッキング音９１ａをノッキング発生時のエンジン１の推定ノッキング筒内圧９２に変換する伝達関数Ｈを学習する。このとき、学習部２１は、新しいエンジン近傍音９０とノイズ低減入力物理量９０Ａの中の選択部１６が選択したものが入力される度に、選択部１６が選択したものに対応するノイズ除去マスクαを生成する。
【0078】
そして、学習部２１は、学習されたパラメータ（ノイズ除去マスクαを生成するニューラルネットワークの重みＷと伝達関数Ｈ）を学習済みパラメータ記憶部２２に記憶する。また、学習部２１は、観測ノッキング筒内圧９３を教師信号記憶部２６ａに記憶するとともに、推定ノッキング筒内圧９２を推定信号記憶部２６ｂに記憶する。
【0079】
＜閾値算出モード時の動作＞
図４Ａ及び図４Ｂを参照して、信号処理装置１０の閾値算出モード時の動作について説明する。図４Ａは、閾値算出モードの説明図である。図４Ｂは、信号処理装置１０の閾値算出モード時の動作説明図である。
図４Ａ及び図４Ｂを参照して、信号処理装置１０の閾値算出モード時の動作について説明する。図４Ａは、閾値算出モードの説明図である。図４Ｂは、信号処理装置１０の閾値算出モード時の動作説明図である。
【0080】
図４Ｂに示すように、閾値算出モード時において、図３Ｂの学習モード時と異なり、信号処理装置１０の学習部２１は、停止した状態になっている。その代わりに、図４Ｂに示すように、学習処理部２０の第１推定部２３と閾値算出部２４が作動して、エンジン１の抽出ノッキング音９１ａの閾値判定に用いる閾値Ｔを算出する。図４Ｂの太枠は閾値算出モード時の作動する構成要素を示している。また、図４Ｂの太線矢印は、閾値算出モード時に出力される信号を示している。
【0081】
図４Ｂに示すように、閾値算出モード時において、信号処理装置１０は、スイッチ１４を閾値算出モード用接続部Ｍ２に接続して、信号記憶部１３に記憶されているエンジン近傍音９０のスペクトログラムを第１推定部２３に出力する。
【0082】
これに応答して、第１推定部２３は、学習済みパラメータ記憶部２２から、ノイズ除去マスクαを生成するニューラルネットワークの重みＷを取得する。そして、第１推定部２３は、ニューラルネットワーク９４（図４Ａ）により生成したノイズ除去マスクαを用いてエンジン近傍音９０からエンジン１の抽出ノッキング音９１ａを抽出する。図４Ａは、このときの第１推定部２３の動作の概要を示している。この後、第１推定部２３は、抽出ノッキング音９１ａを閾値算出部２４に出力する。
【0083】
これに応答して、閾値算出部２４は、エンジン１の各サイクルで抽出ノッキング音９１ａのスペクトログラムの絶対値を総和し、予め設定したマージンを加算して、閾値Ｔを算出する。そして、閾値算出部２４は、閾値Ｔを閾値記憶部２５に記憶する。
【0084】
＜判定モード時の動作＞
図５Ａ及び図５Ｂを参照して、信号処理装置１０の判定モード時の動作について説明する。図５Ａは、判定モードの説明図である。図５Ｂは、信号処理装置１０の判定モード時の動作説明図である。
図５Ａ及び図５Ｂを参照して、信号処理装置１０の判定モード時の動作について説明する。図５Ａは、判定モードの説明図である。図５Ｂは、信号処理装置１０の判定モード時の動作説明図である。
【0085】
図５Ｂに示すように、判定モード時において、図３Ｂの学習モード時と異なり、信号処理装置１０の学習部２１は、停止した状態になっている。その代わりに、図５Ｂに示すように、判定処理部３０の第２推定部３１（抽出信号推定部）と閾値判定部３２が作動して、ノッキングの有無を判定する。図５Ｂの太枠は判定モード時の作動する構成要素を示している。また、図５Ｂの太線矢印は、判定モード時に出力される信号を示している。
【0086】
図５Ｂに示すように、判定モード時において、信号処理装置１０は、スイッチ１４を判定モード用接続部Ｍ３に接続して、信号記憶部１３に記憶されているエンジン近傍音９０のスペクトログラムを第２推定部３１に出力する。
【0087】
これに応答して、第２推定部３１は、学習済みパラメータ記憶部２２から、ノイズ除去マスクαを生成するニューラルネットワークの重みＷを取得する。そして、第２推定部３１は、ニューラルネットワーク９４（図５Ａ）により生成したノイズ除去マスクαを用いてエンジン近傍音９０から抽出ノッキング音９１ａを抽出する。図５Ａは、このときの第２推定部３１の動作の概要を示している。この後、第２推定部３１は、抽出ノッキング音９１ａを閾値判定部３２に出力する。
【0088】
これに応答して、閾値判定部３２は、閾値記憶部２５から閾値Ｔを取得し、抽出ノッキング音９１ａの絶対値の総和と閾値Ｔを比較してノッキングの有無を判定する。そして、閾値判定部３２は、例えば、ノッキングの有無の判定結果や、抽出ノッキング音９１ａと閾値Ｔとの関係を表す波形図等をモニタ７に出力して表示させる。
【0089】
＜分離モード時の動作＞
図６Ａ及び図６Ｂを参照して、信号処理装置１０の分離モード時の動作について説明する。図６Ａは、分離モードの説明図である。図６Ｂは、信号処理装置１０の分離モード時の動作説明図である。
図６Ａ及び図６Ｂを参照して、信号処理装置１０の分離モード時の動作について説明する。図６Ａは、分離モードの説明図である。図６Ｂは、信号処理装置１０の分離モード時の動作説明図である。
【0090】
図６Ｂに示すように、分離モード時において、図３Ｂの学習モード時と異なり、信号処理装置１０の学習部２１は、停止した状態になっている。その代わりに、図６Ｂに示すように、分離部４０が作動して、エンジン近傍音９０を抽出ノッキング音９１ａと雑音９１ｂとに分離する。図６Ｂの太枠は分離モード時の作動する構成要素を示している。また、図６Ｂの太線矢印は、分離モード時に出力される信号を示している。
【0091】
図６Ｂに示すように、分離モード時において、信号処理装置１０は、スイッチ１４を分離モード用接続部Ｍ４に接続して、信号記憶部１３に記憶されているエンジン近傍音９０のスペクトログラムを分離部４０に出力する。
【0092】
これに応答して、分離部４０は、学習済みパラメータ記憶部２２から、ノイズ除去マスクαを生成するニューラルネットワークの重みＷを取得する。そして、分離部４０は、ニューラルネットワーク９４（図６Ａ）により生成したノイズ除去マスクαを用いて、エンジン近傍音９０を抽出ノッキング音９１ａと雑音９１ｂとに分離する。図６Ａは、このときの分離部４０の動作の概要を示している。この後、分離部４０は、抽出ノッキング音９１ａ（抽出信号）を抽出信号記憶部２６ｄに記憶するとともに、雑音９１ｂをノイズ成分記憶部２６ｃに記憶する。
【0093】
＜官能試験モード時の動作＞
図７Ａ及び図７Ｂを参照して、信号処理装置１０の官能試験モード時の動作について説明する。図７Ａは、官能試験モードの説明図である。図７Ｂは、信号処理装置１０の官能試験モード時の動作説明図である。官能試験モードは、検査者の聴感に基づく閾値Ｔを算出するモードである。
図７Ａ及び図７Ｂを参照して、信号処理装置１０の官能試験モード時の動作について説明する。図７Ａは、官能試験モードの説明図である。図７Ｂは、信号処理装置１０の官能試験モード時の動作説明図である。官能試験モードは、検査者の聴感に基づく閾値Ｔを算出するモードである。
【0094】
図７Ｂに示すように、官能試験モード時において、図３Ｂの学習モード時と異なり、信号処理装置１０の学習部２１は、停止した状態になっている。その代わりに、図７Ｂに示すように、信号合成部５０の信号調整部５１と信号出力部５２、並びに、学習処理部２０の第１推定部２３と閾値算出部２４が作動して、検査者の聴感に基づく閾値Ｔを算出する。図７Ｂの太枠は官能試験モード時の作動する構成要素を示している。また、図７Ｂの太線矢印は、官能試験モード時に出力される信号を示している。
【0095】
図７Ｂに示すように、官能試験モード時において、信号処理装置１０は、スイッチ１４を官能試験モード用接続部Ｍ５に接続することで、図示せぬ信号生成部によって予め生成されて信号記憶部１３に記憶された官能試験モードの実行指示信号を信号調整部５１に出力する。ただし、官能試験モードの実行指示信号は、スイッチ１４が官能試験モード用接続部Ｍ５に接続されたときに、図示せぬ信号生成部によって生成されて、信号記憶部１３を介さずに、図示せぬ信号生成部から信号調整部５１に出力されるようにしてもよい。
【0096】
これに応答して、信号調整部５１は、レベル指定部９からレベル指定情報を受け取るとともに、抽出信号記憶部２６ｄに記憶されている抽出ノッキング音９１ａとノイズ成分記憶部２６ｃに記憶されている雑音９１ｂとを取得する。そして、信号調整部５１は、レベル指定情報に基づいて、抽出ノッキング音９１ａと雑音９１ｂとを用いて加工音９１ｃを生成する。このとき、信号調整部５１は、レベル指定情報によって指定された量だけ抽出ノッキング音９１ａのレベル（大きさ）を上昇又は下降させてから、雑音９１ｂと合成することによって、加工音９１ｃを生成して信号出力部５２に出力する。信号出力部５２は、加工音９１ｃをヘッドホン８（放音部）に出力して放音させる。
【0097】
また、信号調整部５１は、加工音９１ｃを第１推定部２３に出力する。第１推定部２３は、学習済みパラメータ記憶部２２から、ノイズ除去マスクαを生成するニューラルネットワークの重みＷを取得する。そして、第１推定部２３は、ニューラルネットワーク９４（図７Ａ）により生成したノイズ除去マスクαを用いて加工音９１ｃから抽出ノッキング音９１ａを抽出する。図７Ａは、このときの第１推定部２３の動作の概要を示している。この後、第１推定部２３は、抽出ノッキング音９１ａを閾値算出部２４に出力する。閾値算出部２４は、エンジン１の各サイクルで抽出ノッキング音９１ａのスペクトログラムの絶対値を総和し、総和値以下の任意の値を閾値Ｔとする。そして、閾値算出部２４は、閾値Ｔを閾値記憶部２５に記憶する。
【0098】
ところで、特許文献２及び特許文献３に記載された従来技術は、ニューラルネットワークの学習時における目的関数に音の分離度合いを測る関数を含めていないため、エンジン近傍音（入力物理量）から除去される雑音（ノッキング音以外の音（背景音））の中にノッキング音（目的音）が混入する可能性があった。つまり、特許文献２及び特許文献３に記載された従来技術は、学習時に、推定筒内圧と実測筒内圧（教師データ）との二乗誤差を最小化するだけであるため、「雑音が除去されたエンジン音」が雑音だけを良好に除去されたものであるか否かを監視するものではなかった。例えば、特許文献３に記載された従来技術は、エンジン近傍音（入力物理量）に関連する位相成分が考慮されていないノイズ除去マスクαをエンジン近傍音に掛けることで、「雑音が除去されたエンジン音」すなわちノッキング音（本実施形態の「抽出信号」に相当）を抽出する。その際に、特許文献３に記載された従来技術は、音の分離度合いを測る関数を用いていないため、雑音と共に、除去されるべきでないノッキング音（目的音）がエンジン近傍音から除去される可能性があった。そのため、特許文献３に記載された従来技術は、ノッキングの有無の評価性能を低下させる可能性があった。
【0099】
これに対して、本実施形態に係る信号処理装置１０は、学習時に、エンジン近傍音（入力物理量）から除去される雑音の中にノッキング音（目的音）が混入しているか否かを評価する構成になっている。そのための構成として、本実施形態に係る信号処理装置１０は、ノイズ成分（雑音９１ｂ）と教師信号（観測ノッキング筒内圧９３）との関連性が小さくなるように学習する構成になっている。具体的には、図３Ａに示すように、ノイズ成分（雑音９１ｂ）のスペクトログラムに対して逆短時間フーリエ変換（ＩＳＴＦＴ）を行うことにより取得された第１信号Ｓｆｉと教師信号（観測ノッキング筒内圧９３）とのコヒーレンスが小さくなるように学習する。また、本実施形態に係る信号処理装置１０は、抽出ノッキング音９１ａ（抽出信号）と教師信号（観測ノッキング筒内圧９３）との関連性が大きくなるように学習する構成になっている。具体的には、図３Ａに示すように、抽出ノッキング音９１ａ（抽出信号）のスペクトログラムに対して逆短時間フーリエ変換（ＩＳＴＦＴ）を行うことにより取得された第２信号Ｓｓｅと教師信号（観測ノッキング筒内圧９３）とのコヒーレンスが大きくなるように学習する。このような本実施形態に係る信号処理装置１０は、特許文献２及び特許文献３に記載された従来技術よりも、ノッキングの有無の評価性能を向上させることができる。
【0100】
図８Ａは、雑音９１ｂ（ノイズ成分）のスペクトログラムＦ１１と、スペクトログラムＦ１１に対して逆短時間フーリエ変換（ＩＳＴＦＴ）を行うことにより得られる第１信号Ｓｆｉ（図３Ａ）の信号波形Ｆ１２と、観測ノッキング筒内圧９３（教師信号）の信号波形Ｆ９３と、を示している。また、図８Ａは、第１信号Ｓｆｉ（図３Ａ）の信号波形Ｆ１２と観測ノッキング筒内圧９３（教師信号）の信号波形Ｆ９３との学習の過程で最小化されるコヒーレンスＦ１３を示している。
【0101】
図８Ｂは、抽出ノッキング音９１ａ（抽出信号）のスペクトログラムＦ２１と、スペクトログラムＦ２１に対して逆短時間フーリエ変換（ＩＳＴＦＴ）を行うことにより得られる第２信号Ｓｓｅ（図３Ａ）の信号波形Ｆ２２と、観測ノッキング筒内圧９３（教師信号）の信号波形Ｆ９３を示している。また、図８Ｂは、第２信号Ｓｓｅ（図３Ａ）の信号波形Ｆ２２と観測ノッキング筒内圧９３（教師信号）の信号波形Ｆ９３との学習の過程で最大化されるコヒーレンスＦ２３を示している。
【0102】
コヒーレンスは以下の式（１）によって定義される。コヒーレンス関数γ２は、系の入力と出力の関連度合いを示すものである。コヒーレンス関数γ２は、以下の式（１）に示すように、クロススペクトルの絶対値の２乗を測定入力及び系の出力の各々のパワースペクトルで割り算したものである。
【数1】
【0103】
ここで、Ｗｘｙはクロススペクトルの平均値、Ｗｘｘはｘのパワースペクトルの平均値、Ｗｙｙはｙのパワースペクトルの平均値を意味している。コヒーレンス関数γ２は、０から１までの値をとる。γ２（ｆ）が１の場合、その周波数ｆにおいて、系の出力がすべて測定入力に起因していることを示している。また、γ２（ｆ）が０の場合、その周波数ｆにおいて、系の出力が測定入力にまったく関係ないことを示している。また、０＜γ２（ｆ）＜１の場合、測定とは無関係な信号、系内部で発生しているノイズ、系の非線形性等があるものと考えられる。
【0104】
また、エンジン近傍音（入力物理量）から除去される雑音の中にノッキング音（目的音）が混入しているか否かを評価する方法としてコヒーレントアウトプットパワーを用いても良い。学習部２１は、ノイズ成分（雑音９１ｂ）を逆短時間フーリエ変換（ＩＳＴＦＴ）して求めた信号波形と教師信号（観測ノッキング筒内圧９３）とのコヒーレンス又はコヒーレントアウトプットパワーが小さくなるとともに、抽出信号（抽出ノッキング音９１ａ）を逆短時間フーリエ変換（ＩＳＴＦＴ）して求めた信号波形と教師信号（観測ノッキング筒内圧９３）とのコヒーレンス又はコヒーレントアウトプットパワーが大きくなるように、ノイズ除去マスクαを生成するニューラルネットワークの重みＷ、及び、伝達関数Ｈを学習する。これにより、信号処理装置１０は、ノッキングの有無の評価性能を更に向上させることができる。
【0105】
なお、コヒーレンスとコヒーレントアウトプットパワーについて、評価対象を以下の「Ｉ」と「ＩＩ」の２組とし、評価方法を以下の「Ａ」と「Ｂ」の２通りとする場合に、信号処理装置１０は、以下の４つの評価パターンの評価を可能にする。
（評価対象）
Ｉ ：ノイズ成分と教師信号
ＩＩ：抽出信号と教師信号
（評価方法）
Ａ ：コヒーレンス
Ｂ ：コヒーレントアウトプットパワー
（評価パターン）
１ ：ＩをＡで評価、ＩＩをＡで評価。
２ ：ＩをＢで評価、ＩＩをＢで評価。
３ ：ＩをＡで評価、ＩＩをＢで評価。
４ ：ＩをＢで評価、ＩＩをＡで評価。
（評価対象）
Ｉ ：ノイズ成分と教師信号
ＩＩ：抽出信号と教師信号
（評価方法）
Ａ ：コヒーレンス
Ｂ ：コヒーレントアウトプットパワー
（評価パターン）
１ ：ＩをＡで評価、ＩＩをＡで評価。
２ ：ＩをＢで評価、ＩＩをＢで評価。
３ ：ＩをＡで評価、ＩＩをＢで評価。
４ ：ＩをＢで評価、ＩＩをＡで評価。
【0106】
コヒーレントアウトプットパワーはコヒーレンス関数γ２とｙのパワースペクトルの平均値Ｗｙｙとの積で定義される。コヒーレントアウトプットパワーは、系の出力に含まれる入力に起因したパワーを示すものである。
【0107】
また、図３Ａに示すように、学習部２１は、観測ノッキング筒内圧９３（教師信号）に対して短時間フーリエ変換（ＳＴＦＴ）を行い求めたスペクトログラムと推定ノッキング筒内圧９２（推定信号）との誤差が最小となるように、ニューラルネットワーク９４により、ノイズ除去マスクαを生成するニューラルネットワークの重みＷ、及び、伝達関数Ｈを学習する。これにより、信号処理装置１０は、ノイズ除去マスクαを生成するニューラルネットワークの重みＷと伝達関数Ｈの学習精度を向上させることができる。
【0108】
また、学習部２１は、観測ノッキング筒内圧９３（教師信号）と、抽出信号（抽出ノッキング音９１ａ）に対して、逆短時間フーリエ変換（ＩＳＴＦＴ）と高速フーリエ変換（ＦＦＴ）とを行い、伝達関数Ｈを掛け、逆高速フーリエ変換（ＩＦＦＴ）を行い求めた推定ノッキング筒内圧９２（推定信号）の信号波形との誤差が最小となるように、ニューラルネットワーク９４により、ノイズ除去マスクαを生成するニューラルネットワークの重みＷ、及び、伝達関数Ｈを学習しても良い。これにより、信号処理装置１０は、ノイズ除去マスクαを生成するニューラルネットワークの重みＷと伝達関数Ｈの学習精度を更に向上させることができる。
【0109】
図８Ｃは、抽出ノッキング音９１ａ（抽出信号）を推定ノッキング筒内圧９２（推定信号）に変換する際の一例を示している。図８Ｃは、抽出ノッキング音９１ａ（抽出信号）のスペクトログラムＦ３１と、スペクトログラムＦ３１に対して逆短時間フーリエ変換（ＩＳＴＦＴ）を行うことにより得られる信号波形Ｆ３２と、さらに高速フーリエ変換（ＦＦＴ）を行うことにより得られるスペクトルＦ３３と、を示している。また、図８Ｃは、スペクトルＦ３３の信号に伝達関数Ｈを掛けることにより得られる推定ノッキング筒内圧のスペクトルＦ３５と、を示している。なお、図８Ｃでは、伝達関数Ｈの一例として、周波数と係数との対応関係を示す周波数応答特性Ｆ３４が示されている。また、図８Ｃは、スペクトルＦ３５に逆高速フーリエ変換（ＩＦＦＴ）を行うことにより得られる信号波形Ｆ３６と、さらに、短時間フーリエ変換（ＳＴＦＴ）を行うことにより得られる、推定ノッキング筒内圧９２（推定信号）のスペクトログラムＦ３７と、を示している。
【0110】
本実施形態では、学習部２１は、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）によりノイズ除去マスクαを生成するニューラルネットワークの重みＷを学習する。さらに、学習部２１は、伝達関数Ｈとして、抽出信号のスペクトルＦ３３に乗じる重みを学習する。なお、学習部２１はＣＮＮに限らずリカレントニューラルネットワーク（ＲＮＮ：Recurrent Neural Network）やＴｒａｎｓｆｏｒｍｅｒ等の他の構成をとっても良いし、他の機械学習手法を用いても良い。
【0111】
なお、図９に示すように、ノイズ除去マスクαを生成するニューラルネットワークの重みＷを学習するニューラルネットワーク９４の一例として、Ｕ－Ｎｅｔ９５がある。このＵ－Ｎｅｔ９５は、Ｅｎｃｏｄｅｒ‐Ｄｅｃｏｄｅｒモデルの一種で、画像認識や音の分離に使用されている深層学習の一手法である。音の分離において、Ｕ－Ｎｅｔ９５では、下向きパス９６（Ｅｎｃｏｄｅｒ）で畳み込み（ストライドは２以上）を行い、階層９７が深くなるにつれて音の特徴を抽出する。一方、上向きパス９８（Ｄｅｃｏｄｅｒ）では、抽出された音の特徴から逆畳み込みとＵＰサンプリング（膨張）を行うことによりノイズ除去マスクαを生成する。ここまでは、一般的なＥｎｃｏｄｅｒ‐Ｄｅｃｏｄｅｒモデルの構成である。さらに、Ｕ－Ｎｅｔ９５では、各Ｅｎｃｏｄｅｒの畳み込み層からの出力９９をＤｅｃｏｄｅｒの畳み込み層にマージする。これにより、Ｕ－Ｎｅｔ９５では、一般的なＥｎｃｏｄｅｒ‐Ｄｅｃｏｄｅｒモデルよりも高精度なノイズ除去マスクαを生成できる。信号処理装置１０は、ノイズ除去マスクαを生成し、エンジン近傍音９０に掛け合わせることで、抽出信号（抽出ノッキング音９１ａ）を取得できる。ノイズ除去マスクαは、周波数と時間で表される空間のマスクになっている。
【0112】
このように、学習部２１がＵ－Ｎｅｔ９５でノイズ除去マスクαを生成するニューラルネットワークの重みＷを学習するので、学習したニューラルネットワークは入力されるエンジン１の近傍音に応じて適切なノイズ除去マスクαを生成するようになる。よって、信号処理装置１０は、エンジン１のノッキング筒内圧を正確に推定し、エンジン１のノッキング音を良好に抽出することができる。
【0113】
＜位相成分の影響＞
図１０Ａ及び図１０Ｂを参照して、位相成分の影響について説明する。図１０Ａは、圧力や、振動、音などの位相成分が考慮されていない場合の計算例の説明図である。図１０Ｂは、圧力や、振動、音などの位相成分が考慮されている場合の計算例の説明図である。図１０Ａ及び図１０Ｂにおいて、円内の矢印は、圧力や、振動、音などに含まれる位相成分を表している。
図１０Ａ及び図１０Ｂを参照して、位相成分の影響について説明する。図１０Ａは、圧力や、振動、音などの位相成分が考慮されていない場合の計算例の説明図である。図１０Ｂは、圧力や、振動、音などの位相成分が考慮されている場合の計算例の説明図である。図１０Ａ及び図１０Ｂにおいて、円内の矢印は、圧力や、振動、音などに含まれる位相成分を表している。
【0114】
【0115】
図１０Ａの例では、エンジン１が駆動されると、筒内圧センサ５（図１）により、観測ノッキング筒内圧９３が観測されている。観測ノッキング筒内圧９３がエンジン１内を伝搬することで、ノッキング音８２が放出される。さらに、ノッキング音８２が背景音であるメカニカルノイズ８３（ノイズ成分）と合わさり、音圧センサ４によりエンジン近傍音９０（入力物理量）が観測される。
【0116】
図１０Ａは、以下のように、観測ノッキング筒内圧９３、ノッキング振動８１、ノッキング音８２、メカニカルノイズ８３、及びエンジン近傍音９０の概略的な計算の一例を示しており、位相φは変わらないと仮定している。
観測ノッキング筒内圧９３＝ＡＳｉｎ（Ωｔ＋φ）
ノッキング振動８１＝ＡＢＳｉｎ（Ωｔ＋φ）
ノッキング音８２＝ＡＢＣＳｉｎ（Ωｔ＋φ）
メカニカルノイズ８３＝ＮＳｉｎ（Ωｔ＋φＮ）
エンジン近傍音９０＝（ＡＢＣ＋Ｎ）Ｓｉｎ（Ωｔ＋φ）
観測ノッキング筒内圧９３＝ＡＳｉｎ（Ωｔ＋φ）
ノッキング振動８１＝ＡＢＳｉｎ（Ωｔ＋φ）
ノッキング音８２＝ＡＢＣＳｉｎ（Ωｔ＋φ）
メカニカルノイズ８３＝ＮＳｉｎ（Ωｔ＋φＮ）
エンジン近傍音９０＝（ＡＢＣ＋Ｎ）Ｓｉｎ（Ωｔ＋φ）
【0117】
これに対して、図１０Ｂは位相を考慮した例である。以下のように、観測ノッキング筒内圧９３、ノッキング振動８１、ノッキング音８２、メカニカルノイズ８３、及びエンジン近傍音９０の概略的な計算の一例を示しており、次元（単位）が変化する度に位相φが変化することを考慮している。
観測ノッキング筒内圧９３＝ＡＳｉｎ（Ωｔ＋φＡ）
ノッキング振動８１＝ＡＢＳｉｎ（Ωｔ＋φＡ＋φＢ）
ノッキング音８２＝ＡＢＣＳｉｎ（Ωｔ＋φＡ＋φＢ＋φＣ）
メカニカルノイズ８３＝ＮＳｉｎ（Ωｔ＋φＮ）
エンジン近傍音９０＝ＡＢＣＳｉｎ（Ωｔ＋φＡ＋φＢ＋φＣ）＋ＮＳｉｎ（Ωｔ＋φＮ）
観測ノッキング筒内圧９３＝ＡＳｉｎ（Ωｔ＋φＡ）
ノッキング振動８１＝ＡＢＳｉｎ（Ωｔ＋φＡ＋φＢ）
ノッキング音８２＝ＡＢＣＳｉｎ（Ωｔ＋φＡ＋φＢ＋φＣ）
メカニカルノイズ８３＝ＮＳｉｎ（Ωｔ＋φＮ）
エンジン近傍音９０＝ＡＢＣＳｉｎ（Ωｔ＋φＡ＋φＢ＋φＣ）＋ＮＳｉｎ（Ωｔ＋φＮ）
【0118】
図１０Ｂに示す例は、圧力が振動となり、音となって放射される際の位相成分の変化が考慮されているため、図１０Ａに示す例よりも、信号を良好に解析することができる。そこで、信号処理装置１０は、図３Ａに示すように、ノイズ除去マスクαを生成するニューラルネットワークの重みＷ及び伝達関数Ｈの学習時に、位相を加味して学習する構成となっている。このような信号処理装置１０は、エンジン近傍音９０（入力物理量）を抽出ノッキング音９１ａ（抽出信号）と雑音９１ｂ（ノイズ成分）とに良好に分離することができる。つまり、信号処理装置１０は、雑音の中にノッキング音（目的音）が混入しないように、エンジン近傍音９０を抽出ノッキング音９１ａと雑音９１ｂとに分離することができる。このような信号処理装置１０は、特許文献２及び特許文献３に記載された従来技術よりも、ノッキングの有無の評価性能を向上させることができる。また、このような信号処理装置１０は、良好な官能試験を行うことができる。
【0119】
【0120】
図２に示すように、圧力と音の各信号は、データ収集装置６によって収集され、信号処理装置１０に出力される。信号処理装置１０は、信号切出部１１で各信号を切り出し、スペクトログラム算出部１２でスペクトログラムを算出して、スペクトログラムを信号記憶部１３に記憶する。
【0121】
本実施形態に係る信号処理装置１０は、前記した分離モードと前記した官能試験モードとを実行することができる。分離モード時に、信号処理装置１０は、エンジン近傍音９０（入力物理量）を抽出ノッキング音９１ａ（抽出信号）と雑音９１ｂ（ノイズ成分）とに分離する。そして、官能試験モード時に、信号処理装置１０は、抽出ノッキング音９１ａのレベルを変更してレベル変更抽出信号（レベル変更ノッキング音９１ａａ（図１２Ａ））を生成し、雑音９１ｂと合成して加工音９１ｃ（図１２Ｃ）を生成する。
【0122】
官能試験モード時において、検査者は、頭部にヘッドホン８（図１）を装着する。そして、検査者自身または別途レベル指定をする操作者は、許容可能なレベルを周囲に宣告して、レベル指定部９を操作してレベル指定情報を信号処理装置１０に入力する。信号処理装置１０は、入力されたレベル指定情報に基づいて、抽出ノッキング音９１ａのレベルを変更する。
【0123】
図１１Ａは、エンジン近傍音９０（入力物理量）を示しており、図１１Ｂと図１１Ｃは、分離モード時にエンジン近傍音９０から分離された抽出ノッキング音９１ａ（抽出信号）と雑音９１ｂ（ノイズ成分）とを示している。図１２Ａは、官能試験モード時に、抽出ノッキング音９１ａ（抽出信号）のレベルを３ｄＢ上昇させる変更を行って生成されたレベル変更ノッキング音９１ａａ（レベル変更抽出信号）を示しており、図１２Ｂは、レベル変更ノッキング音９１ａａと合成される雑音９１ｂを示しており、図１２Ｃは、レベル変更ノッキング音９１ａａと雑音９１ｂとを合成した加工音９１ｃを示している。信号処理装置１０は、加工音９１ｃを生成することにより、検査すべき目的音（ノッキング音）を聞き分け易い状態にすることができる。このような信号処理装置１０は、目的音（ノッキング音）の有無を高精度に検査者に把握させることができ、検査性能を向上させることができる。また、信号処理装置１０は、検査者により許容不可能と判断された加工音９１ｃのスペクトログラムの絶対値の総和を求めて、総和値以下の任意の値を閾値記憶部２５に書き込む。これにより、閾値Ｔは検査者の官能にあった値となる。
【0124】
なお、信号処理装置１０は、運用に応じて、官能試験モード時に、レベル変更抽出信号（レベル変更ノッキング音９１ａａ）に測定対象から受聴者の耳位置までの伝達関数Ｈｅ（図示せず）を掛けてから、前記受聴者の耳位置でのノイズ成分を合成して加工音を生成するようにしてもよい。
【0125】
＜信号処理装置（推定装置）の動作＞
図１３から図１８を参照して、信号処理装置１０の動作について説明する。図１３は、信号処理装置１０のデータ収集処理を示すフローチャートである。図１４Ａは、信号処理装置１０の学習処理を示すフローチャートである。図１４Ｂは、学習処理のサブルーチンを示すフローチャートである。学習モードの場合、信号処理装置１０は、図１３のデータ収集処理を行った後、図１４Ａと図１４Ｂの学習処理を行う。図１４Ｃは、学習処理のサブルーチンの変更例を示すフローチャートである。図１５Ａは、信号処理装置１０の閾値算出処理を示すフローチャートである。閾値算出モードの場合、信号処理装置１０は、図１３のデータ収集処理を行った後、図１５Ａの閾値算出処理を行う。図１５Ｂは、閾値算出処理を示すフローチャートである。分離モードで分離処理を行った場合及び官能試験モードで官能試験処理を行った場合に、信号処理装置１０は、図１５Ｂの閾値算出処理を行う。図１６は、信号処理装置１０の判定処理を示すフローチャートである。判定モードの場合、信号処理装置１０は、図１３のデータ収集処理を行った後、図１６の判定処理を行う。ただし、信号処理装置１０は、図１３のデータ収集処理を行いながら、リアルタイムで図１６の判定処理を行うようにしてもよい。図１７は、信号処理装置１０の分離処理を示すフローチャートである。分離モードの場合、信号処理装置１０は、図１３のデータ収集処理を行った後、図１７の分離処理を行う。図１８は、信号処理装置１０の官能試験処理を示すフローチャートである。官能試験モードの場合、信号処理装置１０は、図１５Ｂの閾値算出処理を行う前に、図１８の官能試験処理を行う。
図１３から図１８を参照して、信号処理装置１０の動作について説明する。図１３は、信号処理装置１０のデータ収集処理を示すフローチャートである。図１４Ａは、信号処理装置１０の学習処理を示すフローチャートである。図１４Ｂは、学習処理のサブルーチンを示すフローチャートである。学習モードの場合、信号処理装置１０は、図１３のデータ収集処理を行った後、図１４Ａと図１４Ｂの学習処理を行う。図１４Ｃは、学習処理のサブルーチンの変更例を示すフローチャートである。図１５Ａは、信号処理装置１０の閾値算出処理を示すフローチャートである。閾値算出モードの場合、信号処理装置１０は、図１３のデータ収集処理を行った後、図１５Ａの閾値算出処理を行う。図１５Ｂは、閾値算出処理を示すフローチャートである。分離モードで分離処理を行った場合及び官能試験モードで官能試験処理を行った場合に、信号処理装置１０は、図１５Ｂの閾値算出処理を行う。図１６は、信号処理装置１０の判定処理を示すフローチャートである。判定モードの場合、信号処理装置１０は、図１３のデータ収集処理を行った後、図１６の判定処理を行う。ただし、信号処理装置１０は、図１３のデータ収集処理を行いながら、リアルタイムで図１６の判定処理を行うようにしてもよい。図１７は、信号処理装置１０の分離処理を示すフローチャートである。分離モードの場合、信号処理装置１０は、図１３のデータ収集処理を行った後、図１７の分離処理を行う。図１８は、信号処理装置１０の官能試験処理を示すフローチャートである。官能試験モードの場合、信号処理装置１０は、図１５Ｂの閾値算出処理を行う前に、図１８の官能試験処理を行う。
【0126】
（データ収集処理）
図１３を参照して、データ収集処理を説明する。
図１３に示すように、ステップＳ２０において、データ収集装置６が、音圧信号、筒内圧信号（教師信号）、及び、角度情報を信号切出部１１に入力する。なお、分離モード、閾値算出モード、又は判定モードの場合、ステップＳ２０では、筒内圧信号を入力する必要はない。
ステップＳ２１において、信号切出部１１は、角度情報から各気筒の燃焼行程タイミングを算出する。
図１３を参照して、データ収集処理を説明する。
図１３に示すように、ステップＳ２０において、データ収集装置６が、音圧信号、筒内圧信号（教師信号）、及び、角度情報を信号切出部１１に入力する。なお、分離モード、閾値算出モード、又は判定モードの場合、ステップＳ２０では、筒内圧信号を入力する必要はない。
ステップＳ２１において、信号切出部１１は、角度情報から各気筒の燃焼行程タイミングを算出する。
【0127】
ステップＳ２２において、信号切出部１１は、ステップＳ２１で算出した燃焼行程タイミングに合わせて、ＴＤＣ付近の音圧信号と筒内圧信号を切り出す。
ステップＳ２３において、スペクトログラム算出部１２は、ステップＳ２２で切り出した音圧信号に対して短時間フーリエ変換（ＳＴＦＴ）を行い、音圧信号のスペクトログラムを算出する。
ステップＳ２４において、スペクトログラム算出部１２は、音圧信号のスペクトログラムを信号記憶部１３に書き込む。また、信号切出部１１は、筒内圧信号が存在する場合は、筒内圧信号（教師信号）を信号記憶部１３に書き込む。
ステップＳ２３において、スペクトログラム算出部１２は、ステップＳ２２で切り出した音圧信号に対して短時間フーリエ変換（ＳＴＦＴ）を行い、音圧信号のスペクトログラムを算出する。
ステップＳ２４において、スペクトログラム算出部１２は、音圧信号のスペクトログラムを信号記憶部１３に書き込む。また、信号切出部１１は、筒内圧信号が存在する場合は、筒内圧信号（教師信号）を信号記憶部１３に書き込む。
【0128】
（学習処理）
図１４Ａから図１４Ｃを参照して、学習モードで実行される学習処理を説明する。
図１４Ａに示すように、ステップＳ３０において、信号処理装置１０は、信号記憶部１３から音圧信号のスペクトログラム及び筒内圧信号を読み出して、学習部２１に入力する。
ステップＳ３１において、学習部２１は、ステップＳ３０で入力された音圧信号のスペクトログラム及び筒内圧信号を用いて、ニューラルネットワーク９４で入力物理量に関連する振幅と位相成分を加味して、ノイズ除去マスクαを生成するニューラルネットワークの重みＷ、及び、伝達関数Ｈを学習する。学習部２１は、畳み込みニューラルネットワーク（例えば、Ｕ－Ｎｅｔ）によりノイズ除去マスクαを生成するニューラルネットワークの重みＷを学習し、伝達関数Ｈとして、抽出信号のスペクトルに乗じる重みを学習する。
図１４Ａから図１４Ｃを参照して、学習モードで実行される学習処理を説明する。
図１４Ａに示すように、ステップＳ３０において、信号処理装置１０は、信号記憶部１３から音圧信号のスペクトログラム及び筒内圧信号を読み出して、学習部２１に入力する。
ステップＳ３１において、学習部２１は、ステップＳ３０で入力された音圧信号のスペクトログラム及び筒内圧信号を用いて、ニューラルネットワーク９４で入力物理量に関連する振幅と位相成分を加味して、ノイズ除去マスクαを生成するニューラルネットワークの重みＷ、及び、伝達関数Ｈを学習する。学習部２１は、畳み込みニューラルネットワーク（例えば、Ｕ－Ｎｅｔ）によりノイズ除去マスクαを生成するニューラルネットワークの重みＷを学習し、伝達関数Ｈとして、抽出信号のスペクトルに乗じる重みを学習する。
【0129】
ステップＳ３２において、学習部２１は、学習したノイズ除去マスクαを生成するニューラルネットワークの重みＷ及び伝達関数Ｈを学習済みパラメータ記憶部２２に書き込む。
【0130】
なお、ステップＳ３１の処理は、例えば図１４Ｂに示す一連の処理によって行われる。
図１４Ｂに示すように、ステップＳ３１ａにおいて、学習処理部２０は、ニューラルネットワーク９４によりノイズ除去マスクαを生成する。
ステップＳ１０１において、学習部２１は、ステップＳ３１ａにおいて生成したノイズ除去マスクαを用いて入力物理量（エンジン近傍音９０）をノイズ成分（雑音９１ｂ）と抽出信号（抽出ノッキング音９１ａ）とに分離する。
図１４Ｂに示すように、ステップＳ３１ａにおいて、学習処理部２０は、ニューラルネットワーク９４によりノイズ除去マスクαを生成する。
ステップＳ１０１において、学習部２１は、ステップＳ３１ａにおいて生成したノイズ除去マスクαを用いて入力物理量（エンジン近傍音９０）をノイズ成分（雑音９１ｂ）と抽出信号（抽出ノッキング音９１ａ）とに分離する。
【0131】
ステップＳ１０２において、学習部２１は、伝達関数Ｈを掛け合わせて抽出信号（抽出ノッキング音９１ａ）を推定信号（推定ノッキング筒内圧９２）に変換する。
ステップＳ１０３において、学習部２１は、ノイズ除去マスクαを生成するニューラルネットワークの重みＷ、及び、伝達関数Ｈの更新を行う。ステップＳ１０３では、学習部２１は、ノイズ成分（雑音９１ｂ）のスペクトログラムに対して逆短時間フーリエ変換（ＩＳＴＦＴ）を行うことにより取得された第１信号Ｓｆｉ（図３Ａ）と教師信号（観測ノッキング筒内圧９３）とのコヒーレンスが小さくなるとともに、抽出信号（抽出ノッキング音９１ａ）のスペクトログラムに対して逆短時間フーリエ変換（ＩＳＴＦＴ）を行うことにより取得された第２信号Ｓｓｅ（図３Ａ）と教師信号（観測ノッキング筒内圧９３）とのコヒーレンスが大きくなるように、また、推定信号（推定ノッキング筒内圧９２）と教師信号（観測ノッキング筒内圧９３）に対して短時間フーリエ変換（ＳＴＦＴ）を行い求めたスペクトログラムとの誤差が小さくなるように、ノイズ除去マスクαを生成するニューラルネットワークの重みＷ、及び、伝達関数Ｈを更新する。
ステップＳ１０３において、学習部２１は、ノイズ除去マスクαを生成するニューラルネットワークの重みＷ、及び、伝達関数Ｈの更新を行う。ステップＳ１０３では、学習部２１は、ノイズ成分（雑音９１ｂ）のスペクトログラムに対して逆短時間フーリエ変換（ＩＳＴＦＴ）を行うことにより取得された第１信号Ｓｆｉ（図３Ａ）と教師信号（観測ノッキング筒内圧９３）とのコヒーレンスが小さくなるとともに、抽出信号（抽出ノッキング音９１ａ）のスペクトログラムに対して逆短時間フーリエ変換（ＩＳＴＦＴ）を行うことにより取得された第２信号Ｓｓｅ（図３Ａ）と教師信号（観測ノッキング筒内圧９３）とのコヒーレンスが大きくなるように、また、推定信号（推定ノッキング筒内圧９２）と教師信号（観測ノッキング筒内圧９３）に対して短時間フーリエ変換（ＳＴＦＴ）を行い求めたスペクトログラムとの誤差が小さくなるように、ノイズ除去マスクαを生成するニューラルネットワークの重みＷ、及び、伝達関数Ｈを更新する。
【0132】
ステップＳ１０４において、学習部２１は、コヒーレンスと誤差が収束したか否かを判定し、収束したと判定された場合（“Ｙｅｓ”の場合）に、ステップＳ３１の処理を終了し、一方、収束していないと判定された場合（“Ｎｏ”の場合）に、ステップＳ１０５の処理を行う。
【0133】
ステップＳ１０５において、学習部２１は、ノイズ低減入力物理量９０Ａを生成して、エンジン近傍音９０とノイズ低減入力物理量９０Ａとをシャッフルする。ステップＳ１０５の後、学習部２１は、ステップＳ３１ａ以降の処理を繰り返す。なお、ステップＳ１０４において、コヒーレンスと誤差が収束した状態とは、教師信号（観測ノッキング筒内圧９３）とノイズ成分（雑音９１ｂ）を逆短時間フーリエ変換（ＩＳＴＦＴ）して求めた信号波形とのコヒーレンスが「０」に近い値で、かつ、教師信号（観測ノッキング筒内圧９３）と抽出信号（抽出ノッキング音９１ａ）を逆短時間フーリエ変換（ＩＳＴＦＴ）して求めた信号波形とのコヒーレンスが「１」に近い値で、かつ、教師信号（観測ノッキング筒内圧９３）に対して短時間フーリエ変換（ＳＴＦＴ）を行い求めたスペクトログラムに対する推定信号（推定ノッキング筒内圧９２）の誤差が「０」に近い値に収束した状態である。
【0134】
なお、ステップＳ３１の処理は、図１４Ｂの代わりに、例えば図１４Ｃに示す処理を行うようにしてもよい。
図１４Ｃに示す処理は、図１４Ｂに示す処理と比べると、ステップＳ１０３の処理の代わりに、ステップＳ１０３ａの処理を行う点で相違している。
ステップＳ１０３ａにおいて、学習部２１は、ステップＳ１０３の条件に加え、さらに、推定信号（推定ノッキング筒内圧９２）に対して逆短時間フーリエ変換（ＩＳＴＦＴ）を行い求めた信号波形の最大値、及び、最大値と最小値との差（ノッキングインテンシティ）と、教師信号（観測ノッキング筒内圧９３）の最大値、及び、最大値と最小値との差（ノッキングインテンシティ）を算出し、前者の最大値と後者の最大値との誤差、及び、前者の最大値と最小値との差（ノッキングインテンシティ）と後者の最大値と最小値との差（ノッキングインテンシティ）における誤差がそれぞれ小さくなるようにするという条件を満たすように、ノイズ除去マスクαを生成するニューラルネットワークの重みＷ、及び、伝達関数Ｈの更新を行う。すなわち、ステップＳ１０３ａでは、学習部２１は、ノイズ成分（雑音９１ｂ）のスペクトログラムに対して逆短時間フーリエ変換（ＩＳＴＦＴ）を行うことにより取得された第１信号Ｓｆｉ（図３Ａ）と教師信号（観測ノッキング筒内圧９３）とのコヒーレンスが小さくなるとともに、抽出信号（抽出ノッキング音９１ａ）のスペクトログラムに対して逆短時間フーリエ変換（ＩＳＴＦＴ）を行うことにより取得された第２信号Ｓｓｅ（図３Ａ）と教師信号（観測ノッキング筒内圧９３）とのコヒーレンスが大きくなるように、また、推定信号（推定ノッキング筒内圧９２）と教師信号（観測ノッキング筒内圧９３）に対して短時間フーリエ変換（ＳＴＦＴ）を行い求めたスペクトログラムとの誤差が小さくなるように、さらに、推定信号（推定ノッキング筒内圧９２）に対して逆短時間フーリエ変換（ＩＳＴＦＴ）を行い求めた信号波形の最大値、及び、最大値と最小値との差（ノッキングインテンシティ）と、教師信号（観測ノッキング筒内圧９３）の最大値、及び、最大値と最小値との差（ノッキングインテンシティ）を算出し、前者の最大値と後者の最大値との誤差、及び、前者の最大値と最小値との差（ノッキングインテンシティ）と後者の最大値と最小値との差（ノッキングインテンシティ）における誤差がそれぞれ小さくなるように、ノイズ除去マスクαを生成するニューラルネットワークの重みＷ、及び、伝達関数Ｈを更新する。
図１４Ｃに示す処理は、図１４Ｂに示す処理と比べると、ステップＳ１０３の処理の代わりに、ステップＳ１０３ａの処理を行う点で相違している。
ステップＳ１０３ａにおいて、学習部２１は、ステップＳ１０３の条件に加え、さらに、推定信号（推定ノッキング筒内圧９２）に対して逆短時間フーリエ変換（ＩＳＴＦＴ）を行い求めた信号波形の最大値、及び、最大値と最小値との差（ノッキングインテンシティ）と、教師信号（観測ノッキング筒内圧９３）の最大値、及び、最大値と最小値との差（ノッキングインテンシティ）を算出し、前者の最大値と後者の最大値との誤差、及び、前者の最大値と最小値との差（ノッキングインテンシティ）と後者の最大値と最小値との差（ノッキングインテンシティ）における誤差がそれぞれ小さくなるようにするという条件を満たすように、ノイズ除去マスクαを生成するニューラルネットワークの重みＷ、及び、伝達関数Ｈの更新を行う。すなわち、ステップＳ１０３ａでは、学習部２１は、ノイズ成分（雑音９１ｂ）のスペクトログラムに対して逆短時間フーリエ変換（ＩＳＴＦＴ）を行うことにより取得された第１信号Ｓｆｉ（図３Ａ）と教師信号（観測ノッキング筒内圧９３）とのコヒーレンスが小さくなるとともに、抽出信号（抽出ノッキング音９１ａ）のスペクトログラムに対して逆短時間フーリエ変換（ＩＳＴＦＴ）を行うことにより取得された第２信号Ｓｓｅ（図３Ａ）と教師信号（観測ノッキング筒内圧９３）とのコヒーレンスが大きくなるように、また、推定信号（推定ノッキング筒内圧９２）と教師信号（観測ノッキング筒内圧９３）に対して短時間フーリエ変換（ＳＴＦＴ）を行い求めたスペクトログラムとの誤差が小さくなるように、さらに、推定信号（推定ノッキング筒内圧９２）に対して逆短時間フーリエ変換（ＩＳＴＦＴ）を行い求めた信号波形の最大値、及び、最大値と最小値との差（ノッキングインテンシティ）と、教師信号（観測ノッキング筒内圧９３）の最大値、及び、最大値と最小値との差（ノッキングインテンシティ）を算出し、前者の最大値と後者の最大値との誤差、及び、前者の最大値と最小値との差（ノッキングインテンシティ）と後者の最大値と最小値との差（ノッキングインテンシティ）における誤差がそれぞれ小さくなるように、ノイズ除去マスクαを生成するニューラルネットワークの重みＷ、及び、伝達関数Ｈを更新する。
【0135】
なお、図１４Ｂ及び図１４Ｃに示すフローは、ステップＳ１０５を初回（ステップＳ３１の後）に行うようにしてもよい。また、図１４Ｂ及び図１４Ｃに示すフローは、ステップＳ１０５を抜いて一度目の処理を行い、学習が終了した後に、ステップＳ１０５を含んで二度目の処理を行うようにしてもよい。
【0136】
（閾値算出処理）
図１５Ａを参照して、閾値算出モードで実行される閾値算出処理を説明する。
図１５Ａに示すように、ステップＳ４０において、学習処理部２０は、ニューラルネットワーク９４によりノイズ除去マスクαを生成する。
ステップＳ４１において、第１推定部２３は、ニューラルネットワーク９４により生成したノイズ除去マスクαを用いて、音圧信号のスペクトログラムからエンジン１のノッキング音を抽出する。
ステップＳ４２において、閾値算出部２４は、エンジン１の各サイクルでノッキング音のスペクトログラムの絶対値を総和する。
図１５Ａを参照して、閾値算出モードで実行される閾値算出処理を説明する。
図１５Ａに示すように、ステップＳ４０において、学習処理部２０は、ニューラルネットワーク９４によりノイズ除去マスクαを生成する。
ステップＳ４１において、第１推定部２３は、ニューラルネットワーク９４により生成したノイズ除去マスクαを用いて、音圧信号のスペクトログラムからエンジン１のノッキング音を抽出する。
ステップＳ４２において、閾値算出部２４は、エンジン１の各サイクルでノッキング音のスペクトログラムの絶対値を総和する。
【0137】
ステップＳ４３において、閾値算出部２４は、エンジン１の全サイクルにおけるノッキング音のスペクトログラムの中央値を算出する。
ステップＳ４４において、閾値算出部２４は、中央値に任意のマージンを加算し、閾値とする。
ステップＳ４５において、閾値算出部２４は、算出した閾値を閾値記憶部２５に書き込む。
ステップＳ４４において、閾値算出部２４は、中央値に任意のマージンを加算し、閾値とする。
ステップＳ４５において、閾値算出部２４は、算出した閾値を閾値記憶部２５に書き込む。
【0138】
なお、信号処理装置１０は、図１７の分離処理及び図１８の官能試験処理の後に、図１５Ｂの閾値算出処理を実行する機能を有している。以下、図１５Ｂを参照して、図１７の分離処理及び図１８の官能試験処理の後に行われる閾値算出処理を説明する。
図１５Ｂに示すように、ステップＳ１４０において、信号調整部５１は、ノイズ成分記憶部２６ｃと抽出信号記憶部２６ｄから、官能試験で許容不可となった信号を取得し、第１推定部２３に供給する。
ステップＳ１４１において、学習処理部２０は、ニューラルネットワーク９４によりノイズ除去マスクαを生成する。
ステップＳ１４２において、第１推定部２３は、ニューラルネットワーク９４により生成したノイズ除去マスクαを用いて、官能試験で許容不可となった信号のスペクトログラムからノッキング音のスペクトログラムを取得し、閾値算出部２４に供給する。
ステップＳ１４３において、閾値算出部２４は、第１推定部２３から供給されたノッキング音のスペクトログラムの絶対値を総和する。
図１５Ｂに示すように、ステップＳ１４０において、信号調整部５１は、ノイズ成分記憶部２６ｃと抽出信号記憶部２６ｄから、官能試験で許容不可となった信号を取得し、第１推定部２３に供給する。
ステップＳ１４１において、学習処理部２０は、ニューラルネットワーク９４によりノイズ除去マスクαを生成する。
ステップＳ１４２において、第１推定部２３は、ニューラルネットワーク９４により生成したノイズ除去マスクαを用いて、官能試験で許容不可となった信号のスペクトログラムからノッキング音のスペクトログラムを取得し、閾値算出部２４に供給する。
ステップＳ１４３において、閾値算出部２４は、第１推定部２３から供給されたノッキング音のスペクトログラムの絶対値を総和する。
【0139】
ステップＳ１４４において、閾値算出部２４は、総和値以下の任意の値を閾値とする。
ステップＳ１４５において、閾値算出部２４は、算出した閾値を閾値記憶部２５に書き込む。
ステップＳ１４５において、閾値算出部２４は、算出した閾値を閾値記憶部２５に書き込む。
【0140】
（判定処理）
図１６を参照して、判定モードで実行される判定処理を説明する。
図１６に示すように、ステップＳ５０において、学習処理部２０は、ニューラルネットワーク９４によりノイズ除去マスクαを生成する。
ステップＳ５１において、第２推定部３１は、ニューラルネットワーク９４により生成したノイズ除去マスクαを用いて、信号記憶部１３より入力された音圧信号のスペクトログラムからエンジン１のノッキング音を抽出する。
図１６を参照して、判定モードで実行される判定処理を説明する。
図１６に示すように、ステップＳ５０において、学習処理部２０は、ニューラルネットワーク９４によりノイズ除去マスクαを生成する。
ステップＳ５１において、第２推定部３１は、ニューラルネットワーク９４により生成したノイズ除去マスクαを用いて、信号記憶部１３より入力された音圧信号のスペクトログラムからエンジン１のノッキング音を抽出する。
【0141】
ステップＳ５２において、閾値判定部３２は、エンジン１の各サイクルでノッキング音のスペクトログラムの絶対値を総和する。
ステップＳ５３において、閾値判定部３２は、閾値記憶部２５に記憶済みの閾値と、総和したノッキング音とを比較し、ノッキング音が閾値を超えているか否かを判定する。
総和したノッキング音が閾値を超えている場合（ステップＳ５３でＹｅｓ）、閾値判定部３２は、ノッキング有りと判定する（ステップＳ５４）。
ステップＳ５３において、閾値判定部３２は、閾値記憶部２５に記憶済みの閾値と、総和したノッキング音とを比較し、ノッキング音が閾値を超えているか否かを判定する。
総和したノッキング音が閾値を超えている場合（ステップＳ５３でＹｅｓ）、閾値判定部３２は、ノッキング有りと判定する（ステップＳ５４）。
【0142】
総和したノッキング音が閾値以下の場合、（ステップＳ５３でＮｏ）、閾値判定部３２は、ノッキング無しと判定する（ステップＳ５５）。
ステップＳ５６において、閾値判定部３２は、閾値判定の結果及びノッキング音をモニタ７に出力する。
ステップＳ５６において、閾値判定部３２は、閾値判定の結果及びノッキング音をモニタ７に出力する。
【0143】
（分離処理）
図１７を参照して、分離モードで実行される分離処理を説明する。
図１７に示すように、ステップＳ６０において、学習処理部２０は、ニューラルネットワーク９４によりノイズ除去マスクαを生成する。
ステップＳ６１において、分離部４０は、ニューラルネットワーク９４により生成されたノイズ除去マスクαを用いて、入力物理量をノイズ成分と抽出信号とに分離する。
ステップＳ６２において、学習処理部２０は、分離したノイズ成分と抽出信号を、それぞれに対応するノイズ成分記憶部２６ｃと抽出信号記憶部２６ｄに記憶する。
図１７を参照して、分離モードで実行される分離処理を説明する。
図１７に示すように、ステップＳ６０において、学習処理部２０は、ニューラルネットワーク９４によりノイズ除去マスクαを生成する。
ステップＳ６１において、分離部４０は、ニューラルネットワーク９４により生成されたノイズ除去マスクαを用いて、入力物理量をノイズ成分と抽出信号とに分離する。
ステップＳ６２において、学習処理部２０は、分離したノイズ成分と抽出信号を、それぞれに対応するノイズ成分記憶部２６ｃと抽出信号記憶部２６ｄに記憶する。
【0144】
（官能試験処理）
図１８を参照して、官能試験モードで実行される官能試験処理を説明する。
図１８に示すように、ステップＳ７０において、信号合成部５０の信号調整部５１は、レベル指定部９からのレベル指定情報の入力を受け付ける。
ステップＳ７１において、信号調整部５１は、抽出信号記憶部２６ｄから抽出信号を取得するとともに、ノイズ成分記憶部２６ｃからノイズ成分を取得し、レベル指定情報に応じて抽出信号のレベルを変更してレベル変更抽出信号を生成する。
図１８を参照して、官能試験モードで実行される官能試験処理を説明する。
図１８に示すように、ステップＳ７０において、信号合成部５０の信号調整部５１は、レベル指定部９からのレベル指定情報の入力を受け付ける。
ステップＳ７１において、信号調整部５１は、抽出信号記憶部２６ｄから抽出信号を取得するとともに、ノイズ成分記憶部２６ｃからノイズ成分を取得し、レベル指定情報に応じて抽出信号のレベルを変更してレベル変更抽出信号を生成する。
【0145】
ステップＳ７２において、信号調整部５１は、レベル変更抽出信号とノイズ成分とを合成して加工音を生成する。
ステップＳ７３において、信号合成部５０の信号出力部５２は、加工音を放音部（ヘッドホン８）に出力して、放音部から加工音を放音させる。
ステップＳ７４において、信号合成部５０は、レベル指定部９からの終了の指示があったか否かを判定し、終了の指示があったと判定された場合（“Ｙｅｓ”の場合）に、加工音を第１推定部２３に出力し、閾値算出部２４により閾値を算出したのち、閾値記憶部２５に書き込み、図１８の処理を終了する。一方、終了の指示がないと判定された場合（“Ｎｏ”の場合）に、ステップＳ７５において、信号合成部５０の信号調整部５１は、レベル指定部９からのレベル指定情報の変更を受け付け、ステップＳ７１以降の処理を繰り返す。
ステップＳ７３において、信号合成部５０の信号出力部５２は、加工音を放音部（ヘッドホン８）に出力して、放音部から加工音を放音させる。
ステップＳ７４において、信号合成部５０は、レベル指定部９からの終了の指示があったか否かを判定し、終了の指示があったと判定された場合（“Ｙｅｓ”の場合）に、加工音を第１推定部２３に出力し、閾値算出部２４により閾値を算出したのち、閾値記憶部２５に書き込み、図１８の処理を終了する。一方、終了の指示がないと判定された場合（“Ｎｏ”の場合）に、ステップＳ７５において、信号合成部５０の信号調整部５１は、レベル指定部９からのレベル指定情報の変更を受け付け、ステップＳ７１以降の処理を繰り返す。
【0146】
【0147】
なお、本実施形態では、関連性を表す要素としてコヒーレンスを用いる場合を説明したが、関連性を表す要素としてコヒーレントアウトプットパワーを用いるようにしてもよい。
【0148】
＜ノイズ低減入力物理量生成機能とシャッフル機能＞
本第１実施形態に係る信号処理装置１０は、学習モードにおいて、ノイズ低減入力物理量生成機能と、シャッフル機能を有している。ノイズ低減入力物理量生成機能は、入力物理量（エンジン近傍音９０（図３Ａ））よりもノイズが少ないノイズ低減入力物理量９０Ａを生成する機能である。シャッフル機能は、入力物理量（エンジン近傍音９０（図３Ａ））とノイズ低減入力物理量９０Ａとをシャッフルする機能である。
本第１実施形態に係る信号処理装置１０は、学習モードにおいて、ノイズ低減入力物理量生成機能と、シャッフル機能を有している。ノイズ低減入力物理量生成機能は、入力物理量（エンジン近傍音９０（図３Ａ））よりもノイズが少ないノイズ低減入力物理量９０Ａを生成する機能である。シャッフル機能は、入力物理量（エンジン近傍音９０（図３Ａ））とノイズ低減入力物理量９０Ａとをシャッフルする機能である。
【0149】
以下、ノイズ低減入力物理量生成機能とシャッフル機能について説明する。ここでは、ノイズ低減入力物理量生成機能とシャッフル機能を分かり易く説明するために、比較例に係る信号処理装置１０Ｚの構成及び動作について説明し、その後に、本第１実施形態に係る信号処理装置１０の動作について説明する。比較例に係る信号処理装置１０Ｚは、ノイズ低減入力物理量生成機能とシャッフル機能を有していない装置である。
【0150】
まず、図１９Ａから図１９Ｃを参照して、比較例に係る信号処理装置１０Ｚの構成及び動作について説明する。図１９Ａは、比較例に係る信号処理装置１０Ｚの構成を示すブロック図である。図１９Ｂは、比較例に係る信号処理装置１０Ｚの学習モードの説明図である。図１９Ｃは、比較例に係る信号処理装置１０Ｚの学習モード時の動作説明図である。
【0151】
図１９Ａの信号処理装置１０Ｚは、図１に示す信号処理システム１００とは異なり、ノイズ低減入力物理量生成機能とシャッフル機能が搭載されていない比較例の信号処理システム１００Ｚを具現化したものである。図１９Ａに示すように、比較例に係る信号処理装置１０Ｚは、本第１実施形態に係る信号処理装置１０（図２参照）と比較すると、学習処理部２０（図２参照）の代わりに、学習処理部２０Ｚを有している点で相違している。学習処理部２０Ｚは、学習処理部２０（図２参照）と比較すると、ノイズ低減入力物理量生成部１５と選択部１６とを有していない点、及び、学習部２１（図２参照）の代わりに、学習部２１Ｚを有している点で相違している。学習部２１Ｚは、学習部２１（図２参照）と比較すると、学習モードにおいて、入力物理量（エンジン近傍音９０（図１９Ｂ））からノイズ成分（雑音９１ｂ（図１９Ｂ））を除去するためのノイズ除去マスクαを生成するニューラルネットワーク９４の重みを学習する点で相違している。
【0152】
図１９Ｂに示すように、学習モード時において、比較例に係る信号処理装置１０Ｚでは、エンジン近傍音９０が学習部２１Ｚに供給される。これに応答して、信号処理装置１０Ｚの学習部２１Ｚは、エンジン近傍音９０を雑音９１ｂ（ノイズ成分）と抽出ノッキング音９１ａ（抽出信号）とに分離する。その際に、信号処理装置１０Ｚの学習部２１Ｚは、エンジン近傍音９０にノイズ除去マスクαを掛け合わせて抽出ノッキング音９１ａ（抽出信号）を取得する。また、信号処理装置１０Ｚの学習部２１Ｚは、エンジン近傍音９０から抽出ノッキング音９１ａ（抽出信号）を差し引くことで、雑音９１ｂ（ノイズ成分）を取得する。
【0153】
信号処理装置１０Ｚの学習部２１Ｚは、ノイズ除去マスクαを生成するニューラルネットワークの重みＷ、及び、抽出ノッキング音９１ａ（抽出信号）を観測ノッキング筒内圧９３（教師信号）と同じ次元（単位）の推定ノッキング筒内圧９２（推定信号）に位相を加味して変換するための伝達関数Ｈを学習する。このとき、比較例では、信号処理装置１０Ｚの学習部２１Ｚは、抽出ノッキング音９１ａ（抽出信号）に対して、逆短時間フーリエ変換（ＩＳＴＦＴ）と高速フーリエ変換（ＦＦＴ）とを行い、伝達関数Ｈを掛け、逆高速フーリエ変換（ＩＦＦＴ）と短時間フーリエ変換（ＳＴＦＴ）とを行うことで、抽出ノッキング音９１ａ（抽出信号）を推定ノッキング筒内圧９２（推定信号）に変換している。なお、伝達関数Ｈは、抽出ノッキング音９１ａ（抽出信号）を推定ノッキング筒内圧９２（推定信号）に変換するための振幅（ゲイン）と位相成分である。
【0154】
また、信号処理装置１０Ｚの学習部２１Ｚは、雑音９１ｂ（ノイズ成分）に対して任意の処理を行うことにより取得された第１信号Ｓｆｉと教師信号（観測ノッキング筒内圧９３）との関連性が小さくなるとともに、抽出ノッキング音９１ａ（抽出信号）に対して任意の処理を行うことにより取得された第２信号Ｓｓｅと教師信号（観測ノッキング筒内圧９３）との関連性が大きくなるように、ニューラルネットワークの重みを学習する。具体的には、学習部２１Ｚは、雑音９１ｂ（ノイズ成分）のスペクトログラムに対して逆短時間フーリエ変換（ＩＳＴＦＴ）を行うことにより取得された第１信号Ｓｆｉと観測ノッキング筒内圧９３（教師信号）とのコヒーレンスが小さくなるとともに、抽出ノッキング音９１ａ（抽出信号）のスペクトログラムに対して逆短時間フーリエ変換（ＩＳＴＦＴ）を行うことにより取得された第２信号Ｓｓｅと観測ノッキング筒内圧９３（教師信号）とのコヒーレンスが大きくなるように、ノイズ除去マスクαを生成するニューラルネットワークの重みＷ、及び、伝達関数Ｈを学習する。これにより、信号処理装置１０Ｚは、雑音９１ｂから筒内圧に起因する音を除去することができる。
【0155】
図１９Ｃに、比較例に係る信号処理装置１０Ｚの学習モード時の動作を示す。図１９Ｃの太枠は、学習モード時の作動する構成要素を示している。また、図１９Ｃの太線矢印は、学習モード時に出力される信号を示している。
【0156】
図１９Ｃに示すように、学習モード時において、比較例に係る信号処理装置１０Ｚは、スイッチ１４を学習モード用接続部Ｍ１に接続して、信号記憶部１３に記憶されているエンジン近傍音９０のスペクトログラム及び観測ノッキング筒内圧９３（教師信号）を学習部２１Ｚに出力する。
【0157】
これに応答して、信号処理装置１０Ｚの学習部２１Ｚは、エンジン近傍音９０から雑音９１ｂ（ノイズ成分）を除去するノイズ除去マスクαを生成するニューラルネットワーク９４（図１９Ｂ）の重みＷと、生成されたノイズ除去マスクαで抽出した抽出ノッキング音９１ａ（抽出信号）をノッキング発生時のエンジン１の推定ノッキング筒内圧９２（推定信号）に変換する伝達関数Ｈとを学習する。このとき、信号処理装置１０Ｚの学習部２１Ｚは、新しいエンジン近傍音９０が入力される度に、エンジン近傍音９０に対応するノイズ除去マスクαを生成する。
【0158】
そして、信号処理装置１０Ｚの学習部２１Ｚは、学習されたパラメータ（ノイズ除去マスクαを生成するニューラルネットワークの重みＷと伝達関数Ｈ）を学習済みパラメータ記憶部２２に記憶する。また、信号処理装置１０Ｚの学習部２１Ｚは、観測ノッキング筒内圧９３（教師信号）を教師信号記憶部２６ａに記憶するとともに、推定ノッキング筒内圧９２（推定信号）を推定信号記憶部２６ｂに記憶する。
【0159】
＜用途変更例＞
ところで、本実施形態に係る信号処理装置１０は、前記した用途に限らず、様々な用途に用いることができる。例えば、本実施形態に係る信号処理装置１０は、検証対象を電子装置に搭載された複数の電子部品のうちの１つとして、この検証対象の電子部品でどのような動作音が発生しているかを検証する用途にも用いることができる。この場合の入力物理量は、この電子部品が搭載された電子装置近傍音となる。電子装置近傍音には、この電子装置に搭載された全ての電子部品の過渡的な動作音と、その他のノイズが重畳した音が含まれており、検証対象の電子部品の動作音はその一部である。ノイズ成分には、この電子装置に搭載された電子部品のうち、検証対象の電子部品を除く他の電子部品の動作音と、その他のノイズが含まれる。電子装置近傍音は、過渡的なノイズ成分が大きく、エンジン近傍音９０よりも目的音の取り逃しが発生し易い信号である。また、電子装置近傍音は、定常的なノイズ成分が小さいため、取り逃した音が目立ち易い信号である。
ところで、本実施形態に係る信号処理装置１０は、前記した用途に限らず、様々な用途に用いることができる。例えば、本実施形態に係る信号処理装置１０は、検証対象を電子装置に搭載された複数の電子部品のうちの１つとして、この検証対象の電子部品でどのような動作音が発生しているかを検証する用途にも用いることができる。この場合の入力物理量は、この電子部品が搭載された電子装置近傍音となる。電子装置近傍音には、この電子装置に搭載された全ての電子部品の過渡的な動作音と、その他のノイズが重畳した音が含まれており、検証対象の電子部品の動作音はその一部である。ノイズ成分には、この電子装置に搭載された電子部品のうち、検証対象の電子部品を除く他の電子部品の動作音と、その他のノイズが含まれる。電子装置近傍音は、過渡的なノイズ成分が大きく、エンジン近傍音９０よりも目的音の取り逃しが発生し易い信号である。また、電子装置近傍音は、定常的なノイズ成分が小さいため、取り逃した音が目立ち易い信号である。
【0160】
以下、図２０を参照して、このような用途変更例に適した信号処理システム１００の全体構成を説明し、さらに、図２１を参照して、このような用途変更例における信号処理装置１０の適した信号処理システム１００の学習モード時の処理について説明する。図２０は、信号処理装置１０の用途変更例を実現するための信号処理システム１００の全体構成を示すブロック図である。図２１は、用途変更された信号処理装置１０における学習モードの説明図である。
【0161】
本実施形態に係る信号処理装置１０は、図２０に示すように、例えば、検証対象を電子装置１０３に搭載された複数の電子部品１０１，１０２のうちの１つである電子部品１０１として、この検証対象の電子部品１０１でどのような動作音が発生しているかを検証する用途に用いることができる。この場合の入力物理量は、電子装置近傍音となる。電子装置近傍音には、この電子装置１０３に搭載された電子部品１０１，１０２の過渡的な動作音と、その他のノイズが重畳した音が含まれており、検証対象の電子部品１０１の動作音はその一部である。ノイズ成分には、検証対象でない他の電子部品１０２の動作音と、その他のノイズが含まれる。
【0162】
図２０に示す例では、信号処理システム１００は、図１と同様に音圧センサ４と、データ収集装置６と、モニタ７と、ヘッドホン８と、レベル指定部９と、信号処理装置１０とを備え、図１の筒内圧センサ５の代わりに加速度センサ１０５を備える。音圧センサ４は、電子装置１０３に搭載された全ての電子部品１０１，１０２の動作音やその他のノイズを含む電子装置１０３の動作音を取得して音圧信号とすると、データ収集装置６に出力する。
【0163】
加速度センサ１０５は、検証対象である電子部品１０１に接するように取り付けられており、検証対象である電子部品１０１の振動加速度を取得して振動加速度信号とすると、データ収集装置６に出力する。ここで、電子部品１０１に動作音が発生していないとき、加速度センサ１０５から出力される振動加速度信号には、動作音に相関した成分が含まれない。一方、電子部品１０１に動作音が発生しているとき、加速度センサ１０５から出力される振動加速度信号には、動作音に相関した成分が含まれている。
【0164】
データ収集装置６は、電子装置１０３の音圧信号と、検証対象の電子部品１０１の振動加速度信号をＡ／Ｄ変換して信号処理装置１０に出力する。信号処理装置１０は、ノイズ除去マスクαを生成するニューラルネットワーク９４（図２１）の重みＷ（図２１）及び伝達関数Ｈ（図２１）を学習する。モニタ７とヘッドホン８とレベル指定部９と信号処理装置１０については、図１で前記しているので、ここでは説明を省略する。
【0165】
つまり、エンジンのノッキング音の処理におけるエンジン近傍音は、電子装置１０３の動作音の処理における受聴者の耳位置の音に対応し、よって電子装置近傍音Ａ９０に対応する。エンジンのノッキング音の処理における抽出ノッキング音は、検証対象の電子部品１０１の動作音に対応する。エンジンのノッキング音の処理における推定ノッキング筒内圧は、検証対象の電子部品１０１の振動加速度を推定した値に対応する。エンジンのノッキング音の処理における観測ノッキング筒内圧は、検証対象の電子部品１０１の振動加速度を観測した値に対応する。つまり、電子部品１０１の動作音の処理における教師信号は、検証対象の電子部品１０１の振動加速度を観測した値である。
【0166】
図１の信号処理装置１０をこの用途変更例に用いる場合において、図２１に示す用途変更例の学習モードでの信号処理装置１０の動作は、図３Ａに示す用途例の学習モードでの信号処理装置１０の動作と比較すると、以下の点で相違する。
（１）入力物理量としてエンジン近傍音９０（図３Ａ）の代わりに電子装置近傍音Ａ９０がノイズ低減入力物理量生成部１５と選択部１６に入力される点。
（２）ノイズ低減入力物理量生成部１５が、ノイズ低減入力物理量９０Ａ（図３Ａ）の代わりに、入力物理量（用途変更例では、電子装置近傍音Ａ９０）に含まれるノイズ成分（用途変更例では、雑音Ａ９１ｂ）を低減したノイズ低減入力物理量Ａ９０Ａを生成する点。
（３）選択部１６が、入力物理量である電子装置近傍音Ａ９０とノイズ低減入力物理量Ａ９０Ａのいずれか一方又は双方を選択して学習部２１に供給する点。
（４）学習部２１は、信号記憶部１３から入力された音圧信号のスペクトログラム及び振動加速度信号を用いて、入力物理量である電子装置近傍音Ａ９０とノイズ低減入力物理量Ａ９０Ａの中の選択部１６が選択したものからノイズ成分（雑音Ａ９１ｂ）を除去するためのノイズ除去マスクαを生成するニューラルネットワーク９４の重みＷを学習する点。
（５）学習部２１は、信号記憶部１３から入力された音圧信号のスペクトログラム及び振動加速度信号を用いて、生成されたノイズ除去マスクαで抽出した抽出信号を電子部品１０１の推定振動加速度Ａ９２に変換する伝達関数Ｈを学習する点。
（６）学習部２１は、抽出信号として、抽出ノッキング音９１ａ（図３Ａ）の代わりに、抽出動作音Ａ９１ａを抽出する点。
（７）学習部２１は、ノイズ成分である雑音Ａ９１ｂに対して任意の処理を行うことにより取得された第１信号Ｓｆｉと教師信号である観測振動加速度Ａ９３との関連性が小さくなるとともに、抽出信号である抽出動作音Ａ９１ａに対して任意の処理を行うことにより取得された第２信号Ｓｓｅと教師信号である観測振動加速度Ａ９３との関連性が大きくなるように、ニューラルネットワークの重みを学習する点。具体的には、学習部２１は、雑音Ａ９１ｂのスペクトログラムに対して逆短時間フーリエ変換（ＩＳＴＦＴ）を行うことにより取得された第１信号Ｓｆｉと観測振動加速度Ａ９３とのコヒーレンスが小さくなるとともに、抽出動作音Ａ９１ａのスペクトログラムに対して逆短時間フーリエ変換（ＩＳＴＦＴ）を行うことにより取得された第２信号Ｓｓｅと観測振動加速度Ａ９３とのコヒーレンスが大きくなるように、ノイズ除去マスクαを生成するニューラルネットワークの重みＷ、及び、伝達関数Ｈを学習する点。
（８）さらに、学習部２１は、教師信号である観測振動加速度Ａ９３に対して短時間フーリエ変換（ＳＴＦＴ）を行い求めたスペクトログラムと推定信号である推定振動加速度Ａ９２との誤差が最小となるように、ニューラルネットワーク９４により、ノイズ除去マスクαを生成するニューラルネットワークの重みＷ、及び、伝達関数Ｈを学習する点。
（１）入力物理量としてエンジン近傍音９０（図３Ａ）の代わりに電子装置近傍音Ａ９０がノイズ低減入力物理量生成部１５と選択部１６に入力される点。
（２）ノイズ低減入力物理量生成部１５が、ノイズ低減入力物理量９０Ａ（図３Ａ）の代わりに、入力物理量（用途変更例では、電子装置近傍音Ａ９０）に含まれるノイズ成分（用途変更例では、雑音Ａ９１ｂ）を低減したノイズ低減入力物理量Ａ９０Ａを生成する点。
（３）選択部１６が、入力物理量である電子装置近傍音Ａ９０とノイズ低減入力物理量Ａ９０Ａのいずれか一方又は双方を選択して学習部２１に供給する点。
（４）学習部２１は、信号記憶部１３から入力された音圧信号のスペクトログラム及び振動加速度信号を用いて、入力物理量である電子装置近傍音Ａ９０とノイズ低減入力物理量Ａ９０Ａの中の選択部１６が選択したものからノイズ成分（雑音Ａ９１ｂ）を除去するためのノイズ除去マスクαを生成するニューラルネットワーク９４の重みＷを学習する点。
（５）学習部２１は、信号記憶部１３から入力された音圧信号のスペクトログラム及び振動加速度信号を用いて、生成されたノイズ除去マスクαで抽出した抽出信号を電子部品１０１の推定振動加速度Ａ９２に変換する伝達関数Ｈを学習する点。
（６）学習部２１は、抽出信号として、抽出ノッキング音９１ａ（図３Ａ）の代わりに、抽出動作音Ａ９１ａを抽出する点。
（７）学習部２１は、ノイズ成分である雑音Ａ９１ｂに対して任意の処理を行うことにより取得された第１信号Ｓｆｉと教師信号である観測振動加速度Ａ９３との関連性が小さくなるとともに、抽出信号である抽出動作音Ａ９１ａに対して任意の処理を行うことにより取得された第２信号Ｓｓｅと教師信号である観測振動加速度Ａ９３との関連性が大きくなるように、ニューラルネットワークの重みを学習する点。具体的には、学習部２１は、雑音Ａ９１ｂのスペクトログラムに対して逆短時間フーリエ変換（ＩＳＴＦＴ）を行うことにより取得された第１信号Ｓｆｉと観測振動加速度Ａ９３とのコヒーレンスが小さくなるとともに、抽出動作音Ａ９１ａのスペクトログラムに対して逆短時間フーリエ変換（ＩＳＴＦＴ）を行うことにより取得された第２信号Ｓｓｅと観測振動加速度Ａ９３とのコヒーレンスが大きくなるように、ノイズ除去マスクαを生成するニューラルネットワークの重みＷ、及び、伝達関数Ｈを学習する点。
（８）さらに、学習部２１は、教師信号である観測振動加速度Ａ９３に対して短時間フーリエ変換（ＳＴＦＴ）を行い求めたスペクトログラムと推定信号である推定振動加速度Ａ９２との誤差が最小となるように、ニューラルネットワーク９４により、ノイズ除去マスクαを生成するニューラルネットワークの重みＷ、及び、伝達関数Ｈを学習する点。
【0167】
このような用途変更例において、信号処理装置１０は、エンジン近傍音９０（図３Ａ）の代わりに、受聴者の耳位置の音である電子装置近傍音Ａ９０（図２１）を入力物理量として扱う。また、信号処理装置１０は、抽出ノッキング音９１ａ（図３Ａ）の代わりに、検証対象の電子部品１０１の動作音である抽出動作音Ａ９１ａ（図２１）を抽出信号として扱う。また、信号処理装置１０は、雑音９１ｂ（図３Ａ）の代わりに雑音Ａ９１ｂ（図２１）をノイズ成分として扱う。また、信号処理装置１０は、推定ノッキング筒内圧９２（図３Ａ）の代わりに、検証対象の電子部品１０１の推定振動加速度Ａ９２（図２１）を推定信号として扱う。また、信号処理装置１０は、観測ノッキング筒内圧９３（図３Ａ）の代わりに、検証対象の電子部品１０１の観測振動加速度Ａ９３（図２１）を教師信号として扱う。そして、信号処理装置１０は、これらの信号を用いて、学習モード、閾値算出モード、判定モード、分離モード、官能試験モードを実行する。このような信号処理装置１０は、官能試験モードにおいて、電子部品１０１でどのような動作音が発生しているかを検証することができる。
【0168】
なお、前記した比較例に係る信号処理装置１０Ｚも、検証対象を電子装置に搭載された複数の電子部品のうちの１つとして、この検証対象の電子部品でどのような動作音が発生しているかを検証する用途変更例に用いることができる。しかし、前記した比較例に係る信号処理装置１０Ｚは、この用途変更例に用いられた場合の学習モードにおいて、入力物理量に含まれるノイズ成分が比較的大きい場合、入力物理量からノイズ成分を除去して抽出信号を抽出する際に、取り逃した信号ＳＧ１３（抽出し損ねた信号）（図２２Ｃ）が発生し、抽出信号を正確に分離できなくなる可能性がある。つまり、比較例に係る信号処理装置１０Ｚは、学習モードにおいて、入力物理量に含まれるノイズ成分が比較的大きい場合に、入力物理量から抽出したい信号（取りたい信号ＳＧ１２（図２２Ｂ））を綺麗に分離できなくなる可能性がある。
【0169】
図２２Ａから図２２Ｄは、それぞれ、比較例に係る信号処理装置１０Ｚにおいて発生する不適切な例（入力物理量から取りたい信号ＳＧ１１（抽出したい信号）を綺麗に分離できない場合の例）の説明図である。ここでは、前記した比較例に係る信号処理装置１０Ｚが、検証対象を電子装置に搭載された複数の電子部品のうちの１つとして、この検証対象の電子部品でどのような動作音が発生しているかを検証する用途変更例に用いられる場合を想定して説明する。
【0170】
図２２Ａは、入力物理量のスペクトログラムの一例である。入力物理量には、取りたい信号ＳＧ１１（抽出したい信号）とノイズＮＯ１１とが混在している。
【0171】
【0172】
図２２Ｃは、図２２Ａに示す入力物理量から抽出信号を抽出した後のノイズ成分のスペクトログラムである。ノイズ成分には抽出信号を抽出する際に取り逃した信号ＳＧ１３（抽出し損ねた信号）とノイズＮＯ１１が混在している。取り逃した信号ＳＧ１３はノイズＮＯ１１よりも音圧が小さいため、ノイズ成分と教師信号とのコヒーレンスは低くなる（図２２Ｄ）。
【0173】
図２２Ｄは、不適切な例におけるノイズ成分と教師信号とのコヒーレンスを示している。図２２Ｄに示すように、不適切な例では、取り逃した信号ＳＧ１３が含まれているノイズ成分と教師信号とのコヒーレンスが低くなっている。この場合に、学習部２１によるニューラルネットワークの重みＷと伝達関数Ｈの学習において、ノイズ成分に取り逃した信号ＳＧ１３が含まれているにもかかわらず学習が止まってしまい、取り逃がしが発生する。この点について、ノイズＮＯ１１が無ければ（ノイズの音圧が小さければ）（図２３Ｃ）、取り逃した信号ＳＧ１３が含まれているノイズ成分と教師信号とのコヒーレンスが高くなる（図２３Ｄ）。本第１実施形態に係る信号処理装置１０は、図２３Ｄに示すように取り逃した信号ＳＧ１３を含むノイズ成分と教師信号とのコヒーレンスを高くなるようにして、ニューラルネットワークの重みＷと伝達関数Ｈの学習が止まらないように改善したものである。
【0174】
【0175】
図２３Ａは、好適な例における、入力物理量のスペクトログラムの一例である。入力物理量には取りたい信号ＳＧ２１（抽出したい信号）とノイズＮＯ２１とが混在している。
【0176】
図２３Ｂは、処理マスクを用いて図２３Ａに示す入力物理量からノイズＮＯ２１を低減した後の、取りたい信号ＳＧ２２（抽出したい信号）が含まれているノイズ低減入力物理量のスペクトログラムを示している。図２３Ｂに示すノイズ低減入力物理量には、取りたい信号ＳＧ２２と処理マスクによって低減されたノイズＮＯ２２とが含まれている。
【0177】
図２３Ｃは、学習部２１によるニューラルネットワークの重みＷと伝達関数Ｈの学習途中における、図２３Ｂに示すノイズ低減入力物理量から抽出信号を抽出した後のノイズ成分のスペクトログラムである。図２３Ｃに示す例のノイズ成分には、取り逃した信号ＳＧ２３が含まれており、取り逃した信号ＳＧ２３よりもノイズＮＯ２３の音圧が小さくなっている。そのため、図２３Ｂに示すノイズ低減入力物理量から抽出信号を抽出した後におけるノイズ成分と教師信号とのコヒーレンスが高くなる（図２３Ｄ）。
【0178】
図２３Ｄは、適切な例におけるノイズ成分と教師信号とのコヒーレンスを示している。図２３Ｄに示すように、適切な例では、取り逃した信号ＳＧ２３が含まれているノイズ成分と教師信号とのコヒーレンスが高くなっている。本第１実施形態に係る信号処理装置１０は、図２３Ｄに示すように取り逃した信号ＳＧ２３を含むノイズ成分と教師信号とのコヒーレンスを高くなるようにすることで、ニューラルネットワークの重みＷと伝達関数Ｈの学習の際に、ノイズ成分に取り逃した信号ＳＧ２３が含まれている場合に学習が止まらないようにすることができる。図２２Ｄに示す不適切な場合では、学習部２１によるニューラルネットワークの重みＷと伝達関数Ｈの学習において、ノイズ成分に取り逃した信号ＳＧ１３が含まれていても学習が止まってしまい、取り逃がしが発生する。本第１実施形態に係る信号処理装置１０は、このような取り逃がしの発生を抑制することができる。
【0179】
図２３Ｅは、図２３Ａの好適な例における入力物理量のスペクトログラムから抽出信号を抽出した後のノイズ成分のスペクトログラムである。図２３Ｅに示す好適な例における取り逃した信号ＳＧ２４の音圧は、図２２Ｃに示す不適切な例における取り逃した信号ＳＧ１３の音圧よりも小さい。このように、本第１実施形態に係る信号処理装置１０は、取り逃した信号ＳＧ２４を小さくすることができる。
【0180】
本第１実施形態に係る信号処理装置１０は、学習が途中で止まらないようにするために、入力物理量である電子装置近傍音Ａ９０からノイズが支配的な部分についてノイズを低減したデータであるノイズ低減入力物理量Ａ９０Ａを生成しながら、ニューラルネットワークの重みＷと伝達関数Ｈを学習する。学習モード時において、入力物理量に含まれるノイズの音圧が比較的大きいと、入力物理量から取りたい信号（抽出したい信号）を綺麗に分離できなくなる。そのため、取りたい信号（抽出したい信号）の分離性能を向上させるために本第１実施形態に係る信号処理装置１０に、前記のノイズ低減入力物理量生成機能とシャッフル機能が付与されている。前記のノイズ低減入力物理量生成機能は、ノイズ低減入力物理量生成部１５によって実現される（図３Ａ及び図３Ｂ）。また、前記のシャッフル機能は、選択部１６によって実現される（図３Ａ及び図３Ｂ）。
【0181】
図２４は、処理マスクβの生成方法の概略説明図である。処理マスクβは、電子装置近傍音Ａ９０のスペクトログラムの内、ノイズが支配的ではない部分については信号を通すように、一方で、ノイズが支配的な部分についてはノイズを低減するように動作する。処理マスクβは、ノイズ除去マスクαをフィルタ処理することにより生成される。図２４に示す例では、ノイズ除去マスクαをマックスプーリングとアップサンプリングを用いる方法でフィルタ処理することにより生成する例を示している。
【0182】
図２５は、処理マスクβの生成方法の説明図である。図２５は、マックスプーリングとアップサンプリングを用いる方法の概要を示している。図２５に示すように、マックスプーリングとアップサンプリングを用いる方法は、指定された領域内のすべての要素を最大値の要素に置き換える操作を行うものである。その他にも最大値フィルタや二値化手法、またはそれらの組み合わせた処理を用いても良い。これにより、ノイズが支配的ではない部分を所定領域だけ拡張し、誤って抽出したい信号を低減することがないようにしている。
【0183】
信号処理装置１０のノイズ低減入力物理量生成部１５は、これらの手法を用いてノイズ除去マスクαから処理マスクβを生成する。なお、これらの手法は一例に過ぎず、ノイズ低減入力物理量生成部１５は、これら以外の手法を用いてノイズ除去マスクαから処理マスクβを生成することができる。
【0184】
図２６及び図２７は、それぞれ、ノイズ低減入力物理量Ａ９０Ａの生成方法の説明図である。図２６及び図２７は、ノイズ低減入力物理量生成部１５が電子装置近傍音Ａ９０と処理マスクβとの要素積を演算することにより、ノイズ低減入力物理量Ａ９０Ａを生成することを示している。このようなノイズ低減入力物理量生成部１５は、処理マスクβで電子装置近傍音Ａ９０からノイズが支配的な部分を低減したノイズ低減入力物理量Ａ９０Ａのスペクトログラムを生成することができる。ノイズ低減入力物理量生成部１５によって生成されたノイズ低減入力物理量Ａ９０Ａは、教師信号である観測振動加速度Ａ９３と関連付けされたデータセットとして選択部１６に供給される。
【0185】
図２８は、本第１実施形態に係る信号処理装置１０の学習モードにおけるシャッフル処理の説明図である。図２８は、複数の電子装置近傍音Ａ９０とそれに対応する教師信号である観測振動加速度Ａ９３とが関連付けされたデータセットＤＳ９０が用意されるとともに、複数のノイズ低減入力物理量Ａ９０Ａとそれに対応する観測振動加速度Ａ９３とが関連付けされたデータセットＤＳ９０Ａが用意されることを示している。そして、図２８は、選択部１６が、データセットＤＳ９０とデータセットＤＳ９０Ａとをシャッフルして、学習部２１に供給することを示している。なお、データセットＤＳ９０の観測振動加速度Ａ９３とデータセットＤＳ９０Ａの観測振動加速度Ａ９３は同じものとなっている。
【0186】
学習部２１は、データセットＤＳ９０とデータセットＤＳ９０Ａの中の選択部１６が選択したデータセットに基づいてニューラルネットワークの重みＷと伝達関数Ｈを学習する。その際に、データセットＤＳ９０Ａに含まれているノイズ低減入力物理量Ａ９０Ａのスペクトログラムは、処理マスクβによりノイズの支配的な部分についてはノイズが低減されているため、図２３Ｄに示すように取りたい信号ＳＧ２２と教師信号とのコヒーレンスを高くすることができる。学習部２１は、ニューラルネットワークの重みＷと伝達関数Ｈを学習する際に、そのコヒーレンスが下がるように学習を行う。
【0187】
このような本第１実施形態に係る信号処理装置１０は、入力物理量から取りたい信号（抽出したい信号）よりもノイズの音圧が比較的大きい場合であっても、取り逃した信号がノイズ成分に含まれているにもかかわらず、ノイズ成分と教師信号との関連の度合い（例えばコヒーレンス）が低下して学習が止まることを避けられる。そのため、本実施形態に係る信号処理装置１０は、学習部２１によるニューラルネットワークの重みＷと伝達関数Ｈの学習において、取り逃した信号が発生することを抑制することができる。
【0188】
ところで、図２９に示すように、本第１実施形態に係る信号処理装置１０の学習部２１は、学習モード時に、伝達関数Ｈを用いずに、ニューラルネットワークの重みＷを学習する構成にすることができる。つまり、本第１実施形態に係る信号処理装置１０の学習部２１は学習モード時に、一部の学習の最適化を行わない構成にすることができる。図２９は、本第１実施形態に係る信号処理装置１０の学習モード時における動作の変更例の説明図である。図２９に示すように、変形例の学習部２１は、図３Ａに示す例の学習部２１と比較すると、推定信号である推定振動加速度Ａ９２と教師信号である観測振動加速度Ａ９３との関連性が小さくなる判定処理（誤差の最小化の判定処理）を削除している点で相違している。したがって、変形例の学習部２１は、学習モード時に、ノイズ成分である雑音Ａ９１ｂと教師信号である観測振動加速度Ａ９３との関連性が小さくなる判定処理（コヒーレンスの最小化の判定処理）と、抽出信号である抽出動作音Ａ９１ａと教師信号である観測振動加速度Ａ９３との関連性が大きくなる判定処理（コヒーレンスの最大化の判定処理）のみを行う構成になっている。
【0189】
＜信号処理装置（推定装置）の主な特徴＞
本実施形態に係る信号処理装置１０は、主に以下のような特徴を有する。なお、以下の説明において、「入力物理量」は、例えば図３Ａに示す用途例では「エンジン近傍音９０」を意味し、図２１に示す用途変更例では「電子装置近傍音Ａ９０」を意味する。また、「ノイズ低減入力物理量」は、例えば図３Ａに示す用途例では「ノイズ低減入力物理量９０Ａ」を意味し、図２１に示す用途変更例では「ノイズ低減入力物理量Ａ９０Ａ」を意味する。また、「抽出信号」は、例えば図３Ａに示す用途例では「抽出ノッキング音９１ａ」を意味し、図２１に示す用途変更例では「抽出動作音Ａ９１ａ」を意味する。また、「ノイズ成分」は、例えば図３Ａに示す用途例では「雑音９１ｂ」を意味し、図２１に示す用途変更例では「雑音Ａ９１ｂ」を意味する。また、「推定信号」は、例えば図３Ａに示す用途例では「推定ノッキング筒内圧９２」を意味し、図２１に示す用途変更例では「推定振動加速度Ａ９２」を意味する。また、「教師信号」は、例えば図３Ａに示す用途例では「観測ノッキング筒内圧９３」を意味し、図２１に示す用途変更例では「観測振動加速度Ａ９３」を意味する。
本実施形態に係る信号処理装置１０は、主に以下のような特徴を有する。なお、以下の説明において、「入力物理量」は、例えば図３Ａに示す用途例では「エンジン近傍音９０」を意味し、図２１に示す用途変更例では「電子装置近傍音Ａ９０」を意味する。また、「ノイズ低減入力物理量」は、例えば図３Ａに示す用途例では「ノイズ低減入力物理量９０Ａ」を意味し、図２１に示す用途変更例では「ノイズ低減入力物理量Ａ９０Ａ」を意味する。また、「抽出信号」は、例えば図３Ａに示す用途例では「抽出ノッキング音９１ａ」を意味し、図２１に示す用途変更例では「抽出動作音Ａ９１ａ」を意味する。また、「ノイズ成分」は、例えば図３Ａに示す用途例では「雑音９１ｂ」を意味し、図２１に示す用途変更例では「雑音Ａ９１ｂ」を意味する。また、「推定信号」は、例えば図３Ａに示す用途例では「推定ノッキング筒内圧９２」を意味し、図２１に示す用途変更例では「推定振動加速度Ａ９２」を意味する。また、「教師信号」は、例えば図３Ａに示す用途例では「観測ノッキング筒内圧９３」を意味し、図２１に示す用途変更例では「観測振動加速度Ａ９３」を意味する。
【0190】
（１）図２に示すように、本実施形態に係る信号処理装置１０は、ノイズ低減入力物理量生成部１５と、選択部１６と、学習部２１と、を備える。図３Ａ及び図２１に示すように、ノイズ低減入力物理量生成部１５は、入力物理量に含まれるノイズ成分を低減したノイズ低減入力物理量を生成する。つまり、本実施形態に係る信号処理装置１０は、ノイズ低減入力物理量生成部１５でノイズの小さいデータとしてノイズ低減入力物理量を生成する。選択部１６は、入力物理量とノイズ低減入力物理量のいずれか一方又は双方を選択して、学習部２１に供給する。学習部２１は、入力物理量とノイズ低減入力物理量の中の選択部１６が選択したものからノイズ成分を除去するためのノイズ除去マスクαを生成するニューラルネットワークの重みＷを学習する。
【0191】
ここで、「入力物理量とノイズ低減入力物理量の中の選択部１６が選択したもの」とは、具体的には、複数の電子装置近傍音Ａ９０（入力物理量）とそれに対応する観測振動加速度Ａ９３（教師信号）とが関連付けされたデータセットＤＳ９０（図２８）と複数のノイズ低減入力物理量Ａ９０Ａとそれに対応する観測振動加速度Ａ９３（教師信号）とが関連付けされたデータセットＤＳ９０Ａ（図２８）の中の選択部１６が選択したデータセットを意味する。
【0192】
このような本実施形態に係る信号処理装置１０は、入力物理量に含まれるノイズ成分を低減したノイズ低減入力物理量を生成するノイズ低減入力物理量生成工程と、前記入力物理量と前記ノイズ低減入力物理量のいずれか一方又は双方を選択する選択工程と、前記入力物理量と前記ノイズ低減入力物理量の中の前記選択工程で選択したものからノイズ成分を除去するためのノイズ除去マスクを生成するニューラルネットワークの重みを学習する学習工程と、を含むことを特徴とする信号処理方法を実現することができる。
【0193】
このような本実施形態に係る信号処理装置１０は、ノイズ量が大きい場合（特に、入力物理量から取りたい信号（抽出したい信号）よりもノイズの音圧が比較的大きい場合）であっても、取り逃した信号がノイズ成分に含まれているにもかかわらず、ノイズ成分と教師信号との関連の度合い（例えばコヒーレンス）が低下して学習が止まることを避けられる。そのため、本実施形態に係る信号処理装置１０は、学習部２１によるニューラルネットワークの重みＷと伝達関数Ｈの学習において、取り逃した信号が発生することを抑制することができる。これにより、本実施形態に係る信号処理装置１０は、ノイズ量が大きい場合であっても、入力物理量をノイズ成分と抽出信号とに良好に分離するための学習を行うことができる。
【0194】
（２）図３Ａ及び図２１に示すように、本実施形態に係る信号処理装置１０のノイズ低減入力物理量生成部１５は、ノイズ除去マスクαをフィルタ処理した処理マスクβを用いて、入力物理量からノイズ成分を低減したデータ（ノイズ低減入力物理量）を生成するとよい。
【0195】
このような本実施形態に係る信号処理装置１０は、取り逃した信号が含まれるノイズ成分と教師信号とのコヒーレンスを高くし、ニューラルネットワークの重みＷを学習する際に、そのコヒーレンスが下がるように学習を行うことで、ニューラルネットワークの重みＷの良好な学習を行うことができる。
【0196】
（３）図３Ａ及び図２１に示すように、本実施形態に係る信号処理装置１０の学習部２１は、ノイズ成分と教師信号との関連性が小さくなるとともに、入力物理量又はノイズ低減入力物理量からノイズ成分を除去した抽出信号と教師信号との関連性が大きくなるように、ニューラルネットワークの重みＷを学習するとよい。
【0197】
このような本実施形態に係る信号処理装置１０は、分離後のノイズ成分に教師信号と関連のある成分が含まれていないかを評価することができる。したがって、本実施形態に係る信号処理装置１０は、ノイズ低減入力物理量生成部１５で入力物理量（入力信号）に含まれるノイズ量を低減したノイズ低減入力物理量を生成して、学習部２１で分離後のノイズ成分に教師信号と関連のある成分が含まれていないかを評価することにより、入力物理量をノイズ成分と抽出信号とに良好に分離するための学習を行うことができる。
【0198】
（４）図３Ａ及び図２１に示すように、本実施形態に係る信号処理装置１０の学習部２１は、ノイズ除去マスクαを用いて、入力物理量又はノイズ低減入力物理量からノイズ成分を除去した抽出信号を生成して、抽出信号を教師信号と同じ次元の推定信号に変換するための伝達関数Ｈを学習するとよい。その際に、学習部２１は、教師信号に対する推定信号の誤差が小さくなるように、ニューラルネットワークの重みＷと伝達関数Ｈとを学習するとよい。
【0199】
このような本実施形態に係る信号処理装置１０は、教師信号に対する推定信号の誤差が小さくなるように、ニューラルネットワークの重みＷと伝達関数Ｈとを学習することで、最適なニューラルネットワークの重みＷと伝達関数Ｈとを学習することができる。
【0200】
（５）図３Ａ及び図２１に示すように、本実施形態に係る信号処理装置１０の学習部２１は、入力物理量とノイズ低減入力物理量の中の選択部１６が選択したものから位相を加味してノイズ成分を除去するためのノイズ除去マスクαを生成するニューラルネットワークの重みＷを学習する。また、学習部２１は、入力物理量とノイズ低減入力物理量の中の選択部１６が選択したものからノイズ成分が除去された抽出信号を、教師信号と同じ次元（単位）の推定信号に位相を加味して変換するための伝達関数Ｈを学習する。係る構成において、図３Ａ及び図２１に示すように、学習部２１は、ノイズ成分と教師信号との関連性が小さくなるとともに、抽出信号と教師信号との関連性が大きくなるように、ニューラルネットワーク９４の重みＷを学習する。
【0201】
このような本実施形態に係る信号処理装置１０は、ニューラルネットワーク９４の重みＷを学習する際に、入力物理量（入力信号）に含まれるノイズ量を低減したノイズ低減入力物理量を生成して、分離後のノイズ成分に教師信号と関連のある成分が含まれていないかを評価することにより、入力物理量をノイズ成分と抽出信号とに良好に分離するための学習を行うことができる。このような信号処理装置１０は、ノイズ成分と、官能試験でのレベル変更に適した信号とに良好に分離することができる。また、信号処理装置１０は、背景音に目的音（ノッキング音や、検証対象の電子部品の動作音）が混入しているか否かを評価し易くすることができる。そのため、信号処理装置１０は、例えば特許文献２及び特許文献３に記載された従来技術よりも、ノッキング音や検証対象の電子部品の動作音の評価性能を向上させることができる。また、信号処理装置１０は、良好な官能試験を行うことができ、官能試験で許容不可となったデータに基づいて閾値を決定することで、検査者に近い判定ができる。
【0202】
（６）図３Ａ及び図２１に示すように、本実施形態に係る信号処理装置１０の学習部２１は、ノイズ除去マスクαを生成するニューラルネットワークの重みＷ、及び、伝達関数Ｈを学習する際に、入力物理量に関連する振幅と位相成分を加味して学習する。
【0203】
このような本実施形態に係る信号処理装置１０は、雑音の中にノッキング音や、検証対象の電子部品の動作音（目的音）が混入しないように、入力物理量を抽出信号とノイズ成分とに分離することができる。このような信号処理装置１０は、特許文献２及び特許文献３に記載された従来技術よりも、ノッキング音や検証対象の電子部品の動作音の評価性能を向上させることができる。また、このような信号処理装置１０は、良好な官能試験を行うことができる。
【0204】
（７）本実施形態に係る信号処理装置１０の学習部２１は、ノイズ成分と教師信号との関連性が小さくなるとともに、抽出信号と教師信号との関連性が大きくなるように、ニューラルネットワークの重みＷ、及び、伝達関数Ｈを学習する。その際に、例えば、図３Ａ及び図２１に示すように、本実施形態に係る信号処理装置１０の学習部２１は、ノイズ成分と教師信号とのコヒーレンスをノイズ成分と教師信号との関連性を表す要素として用いるとよい。また、本実施形態に係る信号処理装置１０の学習部２１は、抽出信号と教師信号とのコヒーレンスを抽出信号と教師信号との関連性を表す要素として用いるとよい。具体的には、図３Ａ及び図２１に示すように、本実施形態に係る信号処理装置１０の学習部２１は、ノイズ成分を逆短時間フーリエ変換（ＩＳＴＦＴ）して求めた信号波形と教師信号とのコヒーレンス（又はコヒーレントアウトプットパワー）が小さくなるとともに、抽出信号を逆短時間フーリエ変換（ＩＳＴＦＴ）して求めた信号波形と教師信号とのコヒーレンス（又はコヒーレントアウトプットパワー）が大きくなるように、ニューラルネットワークの重みＷ、及び、伝達関数Ｈを学習するとよい。
【0205】
このような本実施形態に係る信号処理装置１０は、ノイズ成分からノッキング筒内圧や、検証対象の電子部品の動作に起因する音を除去することができる。
【0206】
（８）図３Ａ及び図２１に示すように、本実施形態に係る信号処理装置１０の学習部２１は、ニューラルネットワークの重みＷ、及び、伝達関数Ｈを学習する場合に、教師信号に対する推定信号の誤差が小さくなるように、学習する。具体的には、信号処理装置１０の学習部２１は、教師信号に対して短時間フーリエ変換（ＳＴＦＴ）を行い求めたスペクトログラムに対する推定信号の誤差が小さくなるように、学習する。又は、信号処理装置１０の学習部２１は、教師信号と、抽出信号に対して、逆短時間フーリエ変換（ＩＳＴＦＴ）と高速フーリエ変換（ＦＦＴ）とを行い、伝達関数Ｈを掛け、逆高速フーリエ変換（ＩＦＦＴ）を行い求めた推定信号の信号波形との誤差が小さくなるように、学習する。
【0207】
このような本実施形態に係る信号処理装置１０は、教師信号に対して短時間フーリエ変換（ＳＴＦＴ）を行い求めたスペクトログラムに対する推定信号の誤差が小さくなるように、ニューラルネットワークの重みＷ、及び、伝達関数Ｈを学習することができる。又は、信号処理装置１０は、教師信号と、抽出信号に対して、逆短時間フーリエ変換（ＩＳＴＦＴ）と高速フーリエ変換（ＦＦＴ）とを行い、伝達関数Ｈを掛け、逆高速フーリエ変換（ＩＦＦＴ）を行い求めた推定信号の信号波形との誤差が小さくなるように、ニューラルネットワークの重みＷ、及び、伝達関数Ｈを学習することができる。
【0208】
（９）図７Ｂに示すように、本実施形態に係る信号処理装置１０は、抽出信号のレベルを変更して、入力物理量から分離されたノイズ成分と合成して加工音を生成する信号合成部５０を備える。
【0209】
このような本実施形態に係る信号処理装置１０は、検査すべき目的音（ノッキング音／検証対象の電子部品の動作音）を聞き分け易い状態にすることができる。このような信号処理装置１０は、目的音（ノッキング音／検証対象の電子部品の動作音）の有無を高精度に検査者に把握させることができ、官能試験で許容不可となったデータに基づいて閾値を決定することで、検査者に近い判定ができる。
【0210】
（１０）図７Ｂに示すように、本実施形態に係る信号処理装置１０の信号合成部５０は、検査者、または操作者による抽出信号のレベルの指定を受け付ける信号調整部５１を有している。
【0211】
このような本実施形態に係る信号処理装置１０は、抽出信号のレベルを任意にかつ細やかに変更することができる。
【0212】
（１１）図１４Ａ及び図１７に示すように、本実施形態に係る信号処理装置１０は、以下の信号処理方法を実現することができる。すなわち、本実施形態に係る信号処理方法は、学習工程（図１４ＡのステップＳ３０からステップＳ３２の工程）と、分離工程（図１７のステップＳ６０からステップＳ６２の工程）と、を含む。学習工程では、ノイズ成分が含まれている入力物理量からノイズ成分を除去するためのノイズ除去マスクαを生成するニューラルネットワーク９４の重みＷを学習する。その際に、ノイズ成分と教師信号との関連性が小さくなるとともに、抽出信号と教師信号との関連性が大きくなるように、ニューラルネットワーク９４の重みＷを学習する。また、その際に、ニューラルネットワーク９４により、ノイズ成分が含まれている入力物理量から位相を加味してノイズ成分を除去するためのノイズ除去マスクαを生成するニューラルネットワーク９４の重みＷ、及び、入力物理量からノイズ成分が除去された抽出信号を、教師信号と同じ次元（単位）の推定信号に位相を加味して変換するための伝達関数Ｈを学習するとよい。分離工程では、ノイズ除去マスクαを用いて入力物理量をノイズ成分とノイズ成分が除去された抽出信号とに分離する。
【0213】
このような本実施形態に係る信号処理方法は、入力物理量をノイズ成分と抽出信号とに良好に分離することができる。特に、ノイズ成分と、官能試験でのレベル変更に適した信号とに分離することができる。
【0214】
（１２）図３Ａ及び図２１に示すように、本実施形態に係る信号処理装置１０は、入力物理量からノイズ成分を除去した抽出信号に伝達関数Ｈを掛け合わせて、教師信号と同じ次元（単位）の推定信号を推定する推定装置である。本実施形態に係る信号処理装置１０の学習部２１は、ニューラルネットワーク９４により、入力物理量からノイズ成分を除去して抽出信号を抽出するためのノイズ除去マスクαを生成するニューラルネットワークの重みＷ、及び、伝達関数Ｈを学習する。
【0215】
このような本実施形態に係る信号処理装置１０は、ニューラルネットワークの重みＷ、及び、伝達関数Ｈを学習する際に、ノイズ除去マスクα、及び、伝達関数Ｈに対して、入力物理量に関連する振幅と位相成分を加味して学習することができる。
【0216】
（１３）本実施形態に係る信号処理装置１０は、以下の推定方法を実現することができる。すなわち、本実施形態に係る推定方法は、入力物理量からノイズ成分を除去した抽出信号に伝達関数Ｈを掛け合わせて、教師信号と同じ次元（単位）の推定信号を推定する方法である。図１４Ｂ又は図１４Ｃに示すように、本実施形態に係る推定方法は、学習工程（ステップＳ１０３又はステップＳ１０３ａの工程）と、推定信号推定工程（ステップＳ１０２の工程）と、を含む。学習工程（ステップＳ１０３又はステップＳ１０３ａの工程）では、ニューラルネットワーク９４により、入力物理量からノイズ成分を除去して抽出信号を抽出するためのノイズ除去マスクαを生成するニューラルネットワークの重みＷ、及び、伝達関数Ｈを学習する。推定信号推定工程（ステップＳ１０２の工程）では、ニューラルネットワーク９４により、ノイズ除去マスクαを用いて、ノイズ成分が除去された抽出信号を取得し、伝達関数Ｈを掛け合わせることで抽出信号を推定信号に変換する。本実施形態に係る推定方法は、学習工程（ステップＳ１０３又はステップＳ１０３ａの工程）において、ニューラルネットワークの重みＷ、及び、伝達関数Ｈを学習する際に、ノイズ除去マスクα、及び、伝達関数Ｈに対して、入力物理量に関連する振幅と位相成分を加味して学習する。
【0217】
このような本実施形態に係る推定方法は、ニューラルネットワークの重みＷ、及び、伝達関数Ｈを学習する際に、ノイズ除去マスクα、及び、伝達関数Ｈに対して、入力物理量に関連する振幅と位相成分を加味して学習することができる。
【0218】
以上の通り、本実施形態に係る信号処理装置１０によれば、ノイズ量が大きい場合（特に、入力物理量から取りたい信号（抽出したい信号）よりもノイズの音圧が比較的大きい場合）であっても、取り逃した信号がノイズ成分に含まれているにもかかわらず、ノイズ成分と教師信号とのコヒーレンスが低下して学習が止まることを避けられる。そのため、本実施形態に係る信号処理装置１０は、学習部２１によるニューラルネットワークの重みＷと伝達関数Ｈの学習において、取り逃した信号が発生することを抑制することができる。これにより、本実施形態に係る信号処理装置１０は、ノイズ量が大きい場合であっても、入力物理量をノイズ成分と抽出信号とに良好に分離するための学習を行うことができる。
【0219】
また、本第１実施形態に係る信号処理装置１０によれば、ニューラルネットワーク９４の重みＷを学習する際に、入力物理量（入力信号）に含まれるノイズ量を低減したノイズ低減入力物理量を生成して、分離後のノイズ成分に教師信号と関連のある成分が含まれていないかを評価しながら、評価結果を学習データに加えることにより、入力物理量をノイズ成分と抽出信号とに良好に分離するための学習を行うことができる。また、本第１実施形態に係る信号処理装置１０によれば、入力物理量をノイズ成分と抽出信号とに良好に分離することができる。特に、信号処理装置１０は、ノイズ成分と、官能試験でのレベル変更に適した信号とに分離することができる。このような信号処理装置１０は、背景音に目的音（ノッキング音／検証対象の電子部品の動作音）が混入しているか否かを評価し易くすることができる。そのため、信号処理装置１０は、ノッキング音や検証対象の電子部品の動作音の評価性能を向上させることができる。また、信号処理装置１０は、良好な官能試験を行うことができる。
【0220】
【0221】
図３０の信号処理システム１００Ａは、信号処理装置１０Ａによって実現される。図３０に示すように、本第２実施形態に係る信号処理装置１０Ａ（推定装置）は、第１実施形態に係る信号処理装置１０（図２参照）と比較すると、信号合成部５０が以下の機能を有する点で相違している。すなわち、信号合成部５０は、教師信号に伝達関数Ｈの逆数を掛け、入力物理量とノイズ低減入力物理量の中の選択部１６が選択したものから分離されたノイズ成分と合成して加工音を生成する機能を有する。
【0222】
このような本第２実施形態に係る信号処理装置１０Ａ（推定装置）は、第１実施形態に係る信号処理装置１０と同様に、目的音（エンジン１のノッキング音や電子部品１０１の動作音等）の有無を高精度に検査者に把握させることができ、検査性能を向上させることができる。
【0223】
なお、信号合成部５０は、教師信号のレベル（大きさ）を変更したレベル変更教師信号に伝達関数Ｈの逆数を掛け、入力物理量とノイズ低減入力物理量の中の選択部１６が選択したものから分離されたノイズ成分と合成して加工音を生成する機能を有してもよい。
【0224】
また、信号合成部５０は、教師信号ではなく、教師信号と同じ次元である任意の信号（例えば、任意のノッキング筒内圧信号や振動加速度）に伝達関数Ｈの逆数を掛け、入力物理量とノイズ低減入力物理量の中の選択部１６が選択したものから分離されたノイズ成分と合成して加工音を生成する機能を有してもよい。
【0225】
また、信号合成部５０は、伝達関数Ｈの値を変更した変更伝達関数Ｈｃの逆数を教師信号に掛け、入力物理量とノイズ低減入力物理量の中の選択部１６が選択したものから分離されたノイズ成分と合成して加工音を生成するようにしてもよい。
【0226】
また、信号合成部５０は、教師信号のレベル（大きさ）を変更したレベル変更教師信号に伝達関数Ｈの値を変更した変更伝達関数Ｈｃの逆数を掛け、入力物理量とノイズ低減入力物理量の中の選択部１６が選択したものから分離されたノイズ成分と合成して加工音を生成する機能を有してもよい。
【0227】
ここで、例えば、変更伝達関数Ｈｃは、伝達関数Ｈのある周波数帯に該当する振幅を増加又は減少させたもの、及び／又は位相を変更させたものである。
【0228】
なお、本発明は、前記した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で種々の変更や変形を行うことができる。
【0229】
例えば、前記した実施形態は、本発明の要旨を分かり易く説明するために詳細に説明したものである。そのため、本発明は、必ずしも説明した全ての構成要素を備えるものに限定されるものではない。また、本発明は、ある構成要素に他の構成要素を追加したり、一部の構成要素を他の構成要素に変更したりすることができる。また、本発明は、一部の構成要素を削除することもできる。
【符号の説明】
【0230】
１…エンジン
２…エンジンＥＣＵ
３…車両
４…音圧センサ
５…筒内圧センサ
６…データ収集装置
７…モニタ
８…ヘッドホン（放音部）
９…レベル指定部
１０，１０Ａ，１０Ｚ…信号処理装置（推定装置）
１１…信号切出部
１２…スペクトログラム算出部
１３…信号記憶部
１４…スイッチ
１５…ノイズ低減入力物理量生成部
１６…選択部
２０，２０Ｚ…学習処理部
２１，２１Ｚ…学習部
２２…学習済みパラメータ記憶部
２３…第１推定部
２４…閾値算出部
２５…閾値記憶部
２６ａ…教師信号記憶部
２６ｂ…推定信号記憶部
２６ｃ…ノイズ成分記憶部
２６ｄ…抽出信号記憶部
３０…判定処理部
３１…第２推定部（抽出信号推定部）
３２…閾値判定部
４０…分離部
５０…信号合成部
５１…信号調整部
５２…信号出力部
８１…ノッキング振動
８２…ノッキング音
８３…メカニカルノイズ（ノイズ成分）
９０…エンジン近傍音（入力物理量）
９０Ａ…ノイズ低減入力物理量
９１ａ…抽出ノッキング音（抽出信号）
９１ａａ…レベル変更ノッキング音（レベル変更抽出信号）
９１ｂ…雑音（ノイズ成分）
９１ｃ…加工音
９２…推定ノッキング筒内圧（推定信号）
９３…観測ノッキング筒内圧（教師信号）
９４…ニューラルネットワーク
９４Ａ…マスク生成ネットワーク
９５…Ｕ－Ｎｅｔ
９６…下向きパス（Ｅｎｃｏｄｅｒ）
９７…階層
９８…上向きパス（Ｄｅｃｏｄｅｒ）
９９…出力
１００，１００Ａ，１００Ｚ…信号処理システム
１０１…電子部品（検証対象）
１０２…電子部品
１０３…電子装置
１０５…加速度センサ
α…ノイズ除去マスク
β…処理マスク
Ａ９０…電子装置近傍音（入力物理量）
Ａ９０Ａ…ノイズ低減入力物理量
Ａ９１ａ…抽出動作音（抽出信号）
Ａ９１ｂ…雑音（ノイズ成分）
Ａ９２…推定振動加速度（推定信号）
Ａ９３…観測振動加速度（教師信号）
ＤＳ９０，ＤＳ９０Ａ…データセット
Ｆ１１，Ｆ２１，Ｆ３１，Ｆ３７…スペクトログラム
Ｆ１２，Ｆ２２，Ｆ３２，Ｆ３６，Ｆ９３…信号波形
Ｆ１３，Ｆ２３…コヒーレンス
Ｆ３３，Ｆ３５…スペクトル
Ｆ３４…周波数応答特性
Ｈ，Ｈｅ…伝達関数
Ｈｃ…変更伝達関数
Ｍ１…学習モード用接続部
Ｍ２…閾値算出モード用接続部
Ｍ３…判定モード用接続部
Ｍ４…分離モード用接続部
Ｍ５…官能試験モード用接続部
ＮＯ１１、ＮＯ２１，ＮＯ２２…ノイズ
ＳＧ１１，ＳＧ１２，ＳＧ２１，ＳＧ２２…取りたい信号（抽出したい信号）
ＳＧ１３，ＳＧ２３…取り逃した信号（抽出し損ねた信号）
Ｗ…重み
Ｔ…閾値
２…エンジンＥＣＵ
３…車両
４…音圧センサ
５…筒内圧センサ
６…データ収集装置
７…モニタ
８…ヘッドホン（放音部）
９…レベル指定部
１０，１０Ａ，１０Ｚ…信号処理装置（推定装置）
１１…信号切出部
１２…スペクトログラム算出部
１３…信号記憶部
１４…スイッチ
１５…ノイズ低減入力物理量生成部
１６…選択部
２０，２０Ｚ…学習処理部
２１，２１Ｚ…学習部
２２…学習済みパラメータ記憶部
２３…第１推定部
２４…閾値算出部
２５…閾値記憶部
２６ａ…教師信号記憶部
２６ｂ…推定信号記憶部
２６ｃ…ノイズ成分記憶部
２６ｄ…抽出信号記憶部
３０…判定処理部
３１…第２推定部（抽出信号推定部）
３２…閾値判定部
４０…分離部
５０…信号合成部
５１…信号調整部
５２…信号出力部
８１…ノッキング振動
８２…ノッキング音
８３…メカニカルノイズ（ノイズ成分）
９０…エンジン近傍音（入力物理量）
９０Ａ…ノイズ低減入力物理量
９１ａ…抽出ノッキング音（抽出信号）
９１ａａ…レベル変更ノッキング音（レベル変更抽出信号）
９１ｂ…雑音（ノイズ成分）
９１ｃ…加工音
９２…推定ノッキング筒内圧（推定信号）
９３…観測ノッキング筒内圧（教師信号）
９４…ニューラルネットワーク
９４Ａ…マスク生成ネットワーク
９５…Ｕ－Ｎｅｔ
９６…下向きパス（Ｅｎｃｏｄｅｒ）
９７…階層
９８…上向きパス（Ｄｅｃｏｄｅｒ）
９９…出力
１００，１００Ａ，１００Ｚ…信号処理システム
１０１…電子部品（検証対象）
１０２…電子部品
１０３…電子装置
１０５…加速度センサ
α…ノイズ除去マスク
β…処理マスク
Ａ９０…電子装置近傍音（入力物理量）
Ａ９０Ａ…ノイズ低減入力物理量
Ａ９１ａ…抽出動作音（抽出信号）
Ａ９１ｂ…雑音（ノイズ成分）
Ａ９２…推定振動加速度（推定信号）
Ａ９３…観測振動加速度（教師信号）
ＤＳ９０，ＤＳ９０Ａ…データセット
Ｆ１１，Ｆ２１，Ｆ３１，Ｆ３７…スペクトログラム
Ｆ１２，Ｆ２２，Ｆ３２，Ｆ３６，Ｆ９３…信号波形
Ｆ１３，Ｆ２３…コヒーレンス
Ｆ３３，Ｆ３５…スペクトル
Ｆ３４…周波数応答特性
Ｈ，Ｈｅ…伝達関数
Ｈｃ…変更伝達関数
Ｍ１…学習モード用接続部
Ｍ２…閾値算出モード用接続部
Ｍ３…判定モード用接続部
Ｍ４…分離モード用接続部
Ｍ５…官能試験モード用接続部
ＮＯ１１、ＮＯ２１，ＮＯ２２…ノイズ
ＳＧ１１，ＳＧ１２，ＳＧ２１，ＳＧ２２…取りたい信号（抽出したい信号）
ＳＧ１３，ＳＧ２３…取り逃した信号（抽出し損ねた信号）
Ｗ…重み
Ｔ…閾値
【図1】
【図2】
【図3A】
【図3B】
【図4A】
【図4B】
【図5A】
【図5B】
【図6A】
【図6B】
【図7A】
【図7B】
【図8A】
【図8B】
【図8C】
【図9】
【図10A】
【図10B】
【図11A】
【図11B】
【図11C】
【図12A】
【図12B】
【図12C】
【図13】
【図14A】
【図14B】
【図14C】
【図15A】
【図15B】
【図16】
【図17】
【図18】
【図19A】
【図19B】
【図19C】
【図20】
【図21】
【図22A】
【図22B】
【図22C】
【図22D】
【図23A】
【図23B】
【図23C】
【図23D】
【図23E】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】