特許 7609131 写像の学習方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-23

(45)【発行日】2025-01-07

(54)【発明の名称】写像の学習方法

(51)【国際特許分類】

   G01H 17/00 20060101AFI20241224BHJP

   G01M 17/007 20060101ALI20241224BHJP

【ＦＩ】

G01H17/00 Z

G01M17/007 Z

【請求項の数】 3

(21)【出願番号】P 2022103603

(22)【出願日】2022-06-28

(65)【公開番号】P2024004119

(43)【公開日】2024-01-16

【審査請求日】2024-01-25

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(72)【発明者】

【氏名】竹内 伸一

(72)【発明者】

【氏名】田端 淳

(72)【発明者】

【氏名】則竹 真吾

(72)【発明者】

【氏名】村上 亮

(72)【発明者】

【氏名】柳川 涼

【審査官】福田 裕司

(56)【参考文献】

【文献】特開２０２１－１８１９４５（ＪＰ，Ａ）

【文献】国際公開第２０２０／０２６８２９（ＷＯ，Ａ１）

【文献】特開２０２２－０２０９４０（ＪＰ，Ａ）

【文献】特開２０２１－１５４８１６（ＪＰ，Ａ）

【文献】特開２０２２－０６１０７２（ＪＰ，Ａ）

【文献】特開２０２２－０３６５９４（ＪＰ，Ａ）

【文献】特開２０２１－１１３００１（ＪＰ，Ａ）

【文献】特開２０２１－０５６６７７（ＪＰ，Ａ）

【文献】特開２００５－１５６３３４（ＪＰ，Ａ）

【文献】特開平０４－２９５９００（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｈ １７／００

Ｇ０１Ｍ １７／００７

(57)【特許請求の範囲】

【請求項1】

マイクが感知した音に関する信号である音信号を基に車両での音の発生要因を推定するために用いる写像の学習方法であって、
前記写像は、前記音信号が入力変数として入力されると、前記車両での音の発生要因を示す変数を出力する学習モデルであり、
前記音信号に対してノイズ信号を重畳することにより、当該音信号を補正する信号補正処理と、
前記信号補正処理で補正した前記音信号を訓練データとするとともに、当該音信号と組となっている音の発生要因を教師データとする機械学習によって、前記写像を更新する更新処理と、を学習装置に実行させ、
前記信号補正処理は、前記音信号のうちの第１周波数域の部分に重畳するノイズの振幅が、前記音信号のうちの前記第１周波数域よりも高周波な第２周波数域の部分に重畳するノイズの振幅よりも大きくなるように、当該音信号を補正する処理である
写像の学習方法。

【請求項2】

前記信号補正処理は、前記音信号のうちの前記第１周波数域の部分に、振幅の異なる複数のノイズを重畳する処理であり、
前記音信号のうちの前記第１周波数域の部分に重畳する複数のノイズの振幅の平均値は、前記音信号のうちの前記第２周波数域の部分に重畳するノイズの振幅の平均値よりも大きい
請求項１に記載の写像の学習方法。

【請求項3】

前記信号補正処理は、前記音信号のうちの前記第２周波数域の部分に、振幅の異なる複数のノイズを重畳する処理である
請求項２に記載の写像の学習方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、写像データによって規定される写像の学習方法に関する。

【背景技術】

【0002】

機械学習の施された写像を用いて音の発生要因を推定する方法が知られている。当該方法では、マイクが感知した音に関する信号である音信号を入力変数として写像に入力すると、写像から出力変数が出力される。そして、当該出力変数に基づいて音の発生要因が推定される。

【0003】

特許文献１には、マイクが感知した音に関する音信号からノイズを除去する方法が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００７－１９９０１７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

走行中の車両の車室にマイクを設置し、当該マイクが感知した音の発生要因を推定する場合を考える。この場合、マイクが感知した音に関する音信号には様々なノイズが重畳してしまう。そのため、上記特許文献１に開示されているような方法で音信号に対してノイズの除去処理を施したとしても、当該音信号からノイズを安定的に除去するのは困難である。したがって、ノイズの除去処理を施した後の音信号を入力変数として上記の写像に入力した際における当該写像の出力変数に基づいて音の発生要因を推定した場合、その精度がばらつきやすい。

【課題を解決するための手段】

【0006】

上記課題を解決するための写像の学習方法は、マイクが感知した音に関する信号である音信号を基に車両での音の発生要因を推定するために用いる方法である。前記写像は、前記音信号が入力変数として入力されると、前記車両での音の発生要因を示す変数を出力する学習モデルである。当該学習方法は、前記音信号に対してノイズ信号を重畳することにより、当該音信号を補正する信号補正処理と、前記信号補正処理で補正した前記音信号を訓練データとするとともに、当該音信号と組となっている音の発生要因を教師データとする機械学習によって、前記写像を更新する更新処理と、を学習装置に実行させる。

【0007】

マイクが感知した音に関する音信号を写像に入力することによって当該写像から出力された要因変数に基づいて、音の発生要因を推定する場合を考える。この場合、マイクが感知した音には暗騒音が含まれていることがある。すなわち、暗騒音の成分をも含む音信号が写像に入力されることがある。

【0008】

この点、上記の学習方法では、意図的にノイズ信号を重畳した音信号を訓練データとする機械学習を行うことによって写像が更新される。すなわち、訓練データとして用いる音信号は、上記の暗騒音の成分に相当する信号も含んでいる。

【0009】

そのため、このような機械学習を施した写像に対してマイクが感知した音に関する音信号を入力した際の当該写像の出力変数に基づいて音の発生要因を推定する場合、マイクによって感知された暗騒音の影響によって音の発生要因の推定精度がばらつきにくくなる。したがって、上記の学習方法は、マイクが感知した音に暗騒音が含まれていたとしても音の発生要因の推定精度がばらつきにくい写像を生成できる。

【図面の簡単な説明】

【0010】

【図1】図１は、実施形態にかかるシステムの構成を示すブロック図である。

【図2】図２において、（Ａ）は車両制御装置で実行される一連の処理の流れを示すフローチャートであり、（Ｂ）は携帯端末で実行される一連の処理の流れを示すフローチャートである。

【図3】図３は、携帯端末のマイクが感知した音に関する音信号の一例を示す図である。

【図4】図４は、センター制御装置で実行される一連の処理の流れを示すフローチャートである。

【図5】図５は、写像に機械学習を施す学習装置の構成を示すブロック図である。

【図6】図６は、学習方法の一実施形態を示すフローチャートである。

【図7】図７は、ノイズ信号の振幅を定めるマップを示す図である。

【図8】図８において、（Ａ）は補正前の音信号を示す図であり、（Ｂ）はノイズ信号を示す図であり、（Ｃ）は補正した音信号を示す図である。

【図9】図９は、写像を用いた異音の発生要因の推定結果が正しいか否かを検証するための処理の流れを示すフローチャートである。

【図10】図１０は、ノイズ信号の振幅を定めるマップの変更例を示す図である。

【発明を実施するための形態】

【0011】

以下、写像の学習方法の一実施形態を図１～図９に従って説明する。
図１は、車両１０と、車両１０の乗員が所有する携帯端末３０と、車両１０の外部に設置されているデータ解析センター６０とを含むシステムを図示している。

【0012】

＜車両＞
車両１０は、検出系１１と、通信機１３と、車両制御装置１５とを備えている。
検出系１１は、Ｎ個のセンサ１１１，１１２，１１３，…，１１Ｎを有している。「Ｎ」は４以上の整数である。複数のセンサ１１１～１１Ｎは、検出結果に応じた信号を車両制御装置１５に出力する。複数のセンサ１１１～１１Ｎは、車速や加速度などの車両状態量を検出するセンサ、及びアクセル操作量やブレーキ操作量などの乗員の操作量を検出するセンサを含んでいる。また、複数のセンサ１１１～１１Ｎは、エンジンや電気モータなどの車両１０の駆動装置の動作状態を検出するセンサ、及び冷却水の温度や油温を検出するセンサを含んでいてもよい。

【0013】

通信機１３は、車両１０の車室内に持ち込まれた携帯端末３０と通信を行う。通信機１３は、携帯端末３０から受信した情報を車両制御装置１５に出力したり、車両制御装置１５から出力された情報を携帯端末３０に送信したりする。

【0014】

車両制御装置１５は、複数のセンサ１１１～１１Ｎの出力信号を基に車両１０を制御する。すなわち、車両制御装置１５は、車両１０の駆動装置、制動装置及び転舵装置などを作動させることにより、車両１０の走行速度、加速度及びヨーレートなどを制御する。

【0015】

車両制御装置１５は、ＣＰＵ１６と第１記憶装置１７と第２記憶装置１８とを有している。第１記憶装置１７は、ＣＰＵ１６によって実行される各種の制御プログラムを記憶している。また、第１記憶装置１７は、車両１０の車種及びグレードなどに関する情報である車種情報も記憶している。第２記憶装置１８には、ＣＰＵ１６の演算結果などが記憶される。

【0016】

＜携帯端末＞
携帯端末３０は、例えば、スマートフォン及びタブレット端末である。携帯端末３０は、タッチパネル３１と、表示画面３３と、マイク３５と、通信機３７と、端末制御装置３９とを備えている。タッチパネル３１は、表示画面３３と重ねて配置されたユーザーインターフェースである。携帯端末３０が車室に持ち込まれた場合、マイク３５は車室に伝わった音を感知できる。

【0017】

通信機３７は、車両１０の車室内に位置する場合に車両１０と通信する機能を有している。通信機３７は、車両制御装置１５から受信した情報を端末制御装置３９に出力したり、端末制御装置３９が出力した情報を車両制御装置１５に送信したりする。

【0018】

また、通信機３７は、グローバルネットワーク１００を介して他の携帯端末３０及びデータ解析センター６０と通信する機能を有している。通信機３７は、他の携帯端末３０又はデータ解析センター６０から受信した情報を端末制御装置３９に出力したり、端末制御装置３９が出力した情報を他の携帯端末３０又はデータ解析センター６０に送信したりする。

【0019】

端末制御装置３９は、ＣＰＵ４１と第１記憶装置４２と第２記憶装置４３とを有している。第１記憶装置４２は、ＣＰＵ４１によって実行される各種の制御プログラムを記憶している。第２記憶装置４３には、ＣＰＵ４１の演算結果などが記憶される。

【0020】

＜データ解析センター＞
データ解析センター６０は、マイク３５が感知した音の発生要因を推定する。車両１０で異音が発生する要因がＭ個あるとする。「Ｍ」は２以上の整数である。このとき、データ解析センター６０は、Ｍ個の要因の候補の中から１つの要因を選択する。

【0021】

データ解析センター６０は、通信機６１とセンター制御装置６３とを備えている。
通信機６１は、グローバルネットワーク１００を介して複数の携帯端末３０と通信する機能を有している。通信機６１は、携帯端末３０から受信した情報をセンター制御装置６３に出力したり、センター制御装置６３が出力した情報を携帯端末３０に送信したりする。

【0022】

センター制御装置６３は、ＣＰＵ６４と第１記憶装置６５と第２記憶装置６６とを有している。第１記憶装置６５は、ＣＰＵ６４によって実行される各種の制御プログラムを記憶している。

【0023】

第２記憶装置６６は、機械学習が施された写像を規定する写像データ７１を記憶している。写像は、入力変数が入力されると、車両１０での音の発生要因を特定する変数を出力する学習済モデルである。写像の一例は、関数近似器である。例えば、写像は、中間層が１層である全結合順伝搬型のニューラルネットワークである。

【0024】

写像の出力変数ｙについて説明する。上述したように車両１０には、Ｍ個の異音の発生要因の候補が存在する。そのため、入力変数が写像に入力されると、Ｍ個の出力変数ｙ（１），ｙ（２），…，ｙ（Ｍ）が写像から出力される。実際の発生要因を実要因としたとき、出力変数ｙ（１）は、Ｍ個の発生要因の候補のうちの第１発生要因の候補が実要因である確率を示す値である。出力変数ｙ（２）は、Ｍ個の発生要因の候補のうちの第２発生要因の候補が実要因である確率を示す値である。出力変数ｙ（Ｍ）は、Ｍ個の発生要因の候補のうちの第Ｍ発生要因の候補が実要因である確率を示す値である。

【0025】

第２記憶装置６６は、要因特定データ７２を記憶している。要因特定データ７２は、写像の出力変数ｙを基に、車両１０での音の発生要因を推定するためのデータである。要因特定データ７２にはＭ個の発生要因の候補が記憶されている。Ｍ個の発生要因の候補のうち、第１発生要因の候補は出力変数ｙ（１）に対応している。Ｍ個の候補のうち、第２発生要因の候補は出力変数ｙ（２）に対応している。Ｍ個の候補のうち、第Ｍ発生要因の候補は出力変数ｙ（Ｍ）に対応している。

【0026】

＜異音の発生要因特定方法＞
図２～図４を参照し、発生要因特定方法を説明する。図２（Ａ）は、車両制御装置１５のＣＰＵ１６が実行する処理の流れを図示している。第１記憶装置１７に記憶されている制御プログラムをＣＰＵ１６が実行することにより、図２（Ａ）に示した一連の処理が繰り返し実行される。

【0027】

図２（Ａ）に示す一連の処理においてステップＳ１１では、ＣＰＵ１６は、携帯端末３０との同期が確立しているか否かを判定する。ＣＰＵ１６は、同期が確立していると判定した場合（Ｓ１１：ＹＥＳ）、処理をステップＳ１３に移行する。一方、ＣＰＵ１６は、同期が確立していないと判定した場合（Ｓ１１：ＮＯ）、一連の処理を一旦終了する。

【0028】

ステップＳ１３において、ＣＰＵ１６は、車両１０の車種情報を携帯端末３０に送信済みであるか否かを判定する。ＣＰＵ１６は、車種情報を携帯端末３０に送信済みである場合（Ｓ１３：ＹＥＳ）、処理をステップＳ１７に移行する。一方、ＣＰＵ１６は、車種情報を未だ携帯端末３０に送信していない場合（Ｓ１３：ＮＯ）、処理をステップＳ１５に移行する。ステップＳ１５において、ＣＰＵ１６は、車種情報を通信機１３から携帯端末３０に送信させる。その後、ＣＰＵ１６は処理をステップＳ１７に移行する。

【0029】

ステップＳ１７において、ＣＰＵ１６は、車両１０の状態変数を取得する。具体的には、ＣＰＵ１６は、各種のセンサ１１１～１１Ｎの検出値、及び、当該検出値を加工した値である加工値を、状態変数として取得する。例えば、ＣＰＵ１６は、車両１０の走行速度ＳＰＤ、車両１０の加速度Ｇ、エンジン回転数ＮＥ及びエンジントルクＴｒｑなどを取得する。

【0030】

ステップＳ１９において、ＣＰＵ１６は、取得した車両１０の状態変数を通信機１３から携帯端末３０に送信させる。その後、ＣＰＵ１６は一連の処理を一旦終了する。
図２（Ｂ）は、端末制御装置３９のＣＰＵ４１が実行する処理の流れを図示している。第１記憶装置４２に記憶されている制御プログラムをＣＰＵ４１が実行することにより、図２（Ｂ）に示した一連の処理が繰り返し実行される。

【0031】

図２（Ｂ）に示す一連の処理においてステップＳ３１では、ＣＰＵ４１は、車両制御装置１５との同期が確立しているか否かを判定する。ＣＰＵ４１は、同期が確立していると判定した場合（Ｓ３１：ＹＥＳ）、処理をステップＳ３３に移行する。一方、ＣＰＵ４１は、同期が確立していないと判定した場合（Ｓ３１：ＮＯ）、一連の処理を一旦終了する。

【0032】

ステップＳ３３において、ＣＰＵ４１は、車両制御装置１５から送信された車種情報を取得する。ステップＳ３５において、ＣＰＵ４１はマイク３５による録音を開始させる。ステップＳ３７において、ＣＰＵ４１は、車両制御装置１５から送信された車両１０の状態変数の取得を開始する。

【0033】

ステップＳ３９において、ＣＰＵ４１は、車両１０で発生した異音を車両１０の乗員が感知したことを示す合図があるか否かを判定する。例えば、乗員が、予め定めた所定操作を携帯端末３０で行った場合は、当該合図があると見なす。反対に、乗員が当該所定操作を携帯端末３０で行っていない場合は、当該合図がないと見なす。ＣＰＵ４１は、当該合図があると判定した場合（Ｓ３９：ＹＥＳ）、処理をステップＳ４１に移行する。一方、ＣＰＵ４１は、当該合図がないと判定した場合（Ｓ３９：ＮＯ）、合図があると判定するまでステップＳ３９の判定を繰り返し実行する。

【0034】

ここで、図３は、車両１０で発生した異音の一例を図示している。図３に示すような異音が発生した場合、車両１０の乗員が、当該異音に対して不快に感じることがある。このよう場合、乗員が、携帯端末３０で所定操作を行うことがある。なお、マイク３５が感知した異音には、図３に破線で示すような暗騒音が重畳されている。ここでいう暗騒音は、ロードノイズ及び風切り音などを含んでいる。

【0035】

図２（Ｂ）に戻り、ステップＳ４１において、ＣＰＵ４１は、マイク３５が感知した音に関する信号である音信号、及び車両制御装置１５から取得した車両１０の状態変数の記憶を開始する。この際、ＣＰＵ４１は、音信号と状態変数とを紐付けて第２記憶装置４３に記憶させる。ステップＳ４３において、ＣＰＵ４１は、上記合図があると判定した時点から所定時間が経過したか否かを判定する。ＣＰＵ４１は、当該時点からの経過時間が所定時間に達していない場合、所定時間が経過していないと判定し（Ｓ４３：ＮＯ）、処理をステップＳ４１に戻す。すなわち、ＣＰＵ４１は、音信号と状態変数とを第２記憶装置４３に記憶させる処理を継続する。一方、ＣＰＵ４１は、当該時点からの経過時間が所定時間に達した場合、所定時間が経過したと判定し（Ｓ４３：ＹＥＳ）、処理をステップＳ４５に移行する。

【0036】

ステップＳ４５において、ＣＰＵ４１は送信処理を実行する。すなわち、ＣＰＵ４１は、送信処理において、第２記憶装置４３に記憶した音信号の時系列データ及び車両１０の状態変数の時系列データを、通信機３７からデータ解析センター６０に送信させる。また、ＣＰＵ４１は、送信処理において、ステップＳ３３で取得した車種情報を、通信機３７からデータ解析センター６０に送信させる。そして、ＣＰＵ４１は、送信を完了すると、一連の処理を一旦終了する。

【0037】

図４は、センター制御装置６３のＣＰＵ６４が実行する処理の流れを図示している。第１記憶装置６５に記憶されている制御プログラムをＣＰＵ６４が実行することにより、図４に示した一連の処理が繰り返し実行される。

【0038】

一連の処理においてステップＳ６１では、ＣＰＵ６４は、上記ステップＳ４５で携帯端末３０がデータ解析センター６０に送信したデータを通信機６１が受信したか否かを判定する。ＣＰＵ６４は、データを通信機６１が受信した場合（Ｓ６１：ＹＥＳ）、処理をステップＳ６３に移動する。一方、ＣＰＵ６４は、データを通信機６１が受信していない場合（Ｓ６１：ＮＯ）、一連の処理を一旦終了する。

【0039】

ステップＳ６３において、ＣＰＵ６４は、通信機６１が受信した車両１０の車種情報を取得する。ステップＳ６５において、ＣＰＵ６４は、通信機６１が受信した音信号の時系列データ及び車両１０の状態変数の時系列データを取得する。

【0040】

ステップＳ６７において、ＣＰＵ６４は、ステップＳ６５で取得した音信号の時系列データ及び車両１０の状態変数の時系列データを入力変数ｘとして写像に入力する。そしてステップＳ６９において、ＣＰＵ６４は、写像から出力された出力変数ｙを取得する。

【0041】

ステップＳ７１において、ＣＰＵ６４は、ステップＳ６９で取得した出力変数ｙを基に、マイク３５が感知した音の発生要因を推定する。具体的には、ＣＰＵ６４は、Ｍ個の出力変数ｙ（１），ｙ（２），…，ｙ（Ｍ）の中から、最も大きい値の出力変数を選択する。そして、ＣＰＵ６４は、要因特定データ７２を用いることにより、選択した出力変数に応じた発生要因の候補を実候補として推定する。

【0042】

ステップＳ７３において、ＣＰＵ６４は、推定した音の発生要因に関する情報を通信機６１から携帯端末３０に送信させる。その後、ＣＰＵ６４は一連の処理を一旦終了する。
なお、端末制御装置３９のＣＰＵ４１は、データ解析センター６０が送信した音の発生要因に関する情報を取得すると、当該情報が示す音の発生要因を乗員に通知する。例えば、ＣＰＵ４１は発生要因を表示画面３３に表示する。

【0043】

＜写像の学習方法＞
図５を参照し、写像に機械学習を施す学習装置８０について説明する。
学習装置８０には、マイク３５Ａが感知した音に関する信号である音信号が入力される。また、学習装置８０には、学習用検出系１１Ａから検出信号が入力される。学習用検出系１１Ａを構成するセンサは、車両１０の検出系１１を構成するセンサと同じである。

【0044】

学習装置８０は、ＣＰＵ８１と第１記憶装置８２と第２記憶装置８３とを備えている。第１記憶装置８２は、ＣＰＵ８１によって実行される制御プログラムを記憶している。第２記憶装置８３には、写像を規定する写像データ７１ａと、要因特定データ７２とが記憶されている。写像データ７１ａによって規定される写像は、機械学習が完了していない学習モデルである。

【0045】

学習装置８０は、写像の機械学習に先立って、訓練データと教師データとからなるＬ個のデータ対を取得する。訓練データは、マイク３５Ａが感知した音に関する音信号の時系列データと、車両１０の状態変数の時系列データとを含んでいる。教師データは、マイク３５Ａが感知した異音の発生要因を含んでいる。

【0046】

なお、マイク３５Ａが感知した音に関する音信号の一例が図８（Ａ）に図示されている。図８（Ａ）に示すように、マイク３５Ａが感知した音に関する音信号には、暗騒音が重畳されていない。すなわち、マイク３５Ａが暗騒音を感知しないような状況下でマイク３５Ａによる音の感知が行われる。

【0047】

図６を参照し、写像に機械学習を施すために学習装置８０が実行する処理の流れを説明する。すなわち、本実施形態における写像の学習方法は、図６に示す一連の処理を学習装置８０のＣＰＵ８１に実行させることを含んでいる。なお、第１記憶装置８２に記憶されている制御プログラムをＣＰＵ８１が実行することにより、当該一連の処理が繰り返し実行される。

【0048】

図６に示すように、一連の処理においてステップＳ９１では、ＣＰＵ８１は、事前に用意したＬ個のデータ対のうちの１つのデータ対を構成する音信号の時系列データ及び状態変数の時系列データを取得する。ステップＳ９３において、ＣＰＵ８１は、ステップＳ９１で取得した音信号の時系列データ及び状態変数の時系列データと組となっている異音の発生要因を取得する。

【0049】

ステップＳ９５において、ＣＰＵ８１は、ステップＳ９１で取得した音信号の時系列データを補正する。すなわち、ＣＰＵ８１は、音信号に対してノイズ信号を重畳することにより、音信号を補正する。したがって、ステップＳ９５が「信号補正処理」に対応する。なお、信号補正処理については後述する。

【0050】

ＣＰＵ８１は、音信号の補正を完了すると、処理をステップＳ９７に移行する。ステップＳ９７において、ＣＰＵ８１は、ステップＳ９５で補正した音信号の時系列データ及びステップＳ９１で取得した状態変数の時系列データを入力変数ｘとして写像に入力する。そしてステップＳ９９において、ＣＰＵ８１は、写像から出力された出力変数ｙを取得する。

【0051】

ステップＳ１０１において、ＣＰＵ８１は、ステップＳ９９で取得した出力変数ｙと、ステップＳ９３で取得した異音の発生要因とを用いて写像を更新する。ここでは、ステップＳ９３で教師データとして取得した異音の発生要因を「学習用要因」というものとする。例えば、ＣＰＵ８１は、Ｍ個の出力変数ｙ（１），ｙ（２），…，ｙ（Ｍ）の中から、最も大きい値の出力変数を選択する。ＣＰＵ８１は、要因特定データ７２を用いることにより、選択した出力変数に応じた発生要因の候補を選択する。ＣＰＵ８１は、選択した候補が学習用要因と相違している場合、出力変数ｙ（１）～ｙ（Ｍ）のうち、学習用要因に対応する出力変数が大きくなるように、写像の関数近似器における各種の変数を調整する。例えば学習用要因が第１発生要因の候補である場合、ＣＰＵ８１は、出力変数ｙ（１）～ｙ（Ｍ）の中で出力変数ｙ（１）が最も大きくなるように写像の関数近似器における各種の変数を調整する。本実施形態では、ステップＳ９７～Ｓ１０１が、信号補正処理で補正した音信号を訓練データとするとともに、当該音信号と組となっている異音の発生要因を教師データとする機械学習によって、写像を更新する「更新処理」に対応する。

【0052】

写像を更新すると、ＣＰＵ８１は、一連の処理を一旦終了する。本実施形態では、ＣＰＵ８１は、写像の更新に用いるデータ対を変更して一連の処理を再び実行する。つまり、ＣＰＵ８１は、一連の処理をＬ回だけ実行する。

【0053】

図７及び図８を参照し、信号補正処理について説明する。
図７は、音信号に重畳するノイズ信号の振幅を定めるマップＭＰの一例を図示している。図８（Ａ）は、補正を行う前の音信号である生音信号を示す。図８（Ｂ）は、生音信号に重畳するノイズ信号の一例を示す。図８（Ｃ）は、補正した音信号である補正後音信号を示す。

【0054】

ＣＰＵ８１は、マップＭＰを用い、ノイズ信号の振幅を設定する。ＣＰＵ８１は、周波数によってノイズ信号の振幅を変える。具体的には、ＣＰＵ８１は、ノイズ信号のうち、周波数が規定周波数ＦｑＡ以下の部分の振幅を、ノイズ信号のうち、周波数が規定周波数ＦｑＡよりも高い部分の振幅よりも大きくする。なお、本実施形態では、規定周波数ＦｑＡ以下の周波数領域が「第１周波数域」に対応し、規定周波数ＦｑＡよりも高い周波数領域が「第２周波数域」に対応する。この場合、音信号のうちの第１周波数域の部分に重畳するノイズの振幅が、音信号のうちの第２周波数域の部分に重畳するノイズの振幅よりも大きくなる。

【0055】

さらに、ＣＰＵ８１は、音信号のうちの第１周波数域の部分に、振幅の異なる複数のノイズを重畳する。マップＭＰで設定されている第１周波数域でのノイズ信号の振幅を「第１振幅ＡＭ１」とする。このとき、図８（Ｂ）に示すように、ＣＰＵ８１は、第１振幅ＡＭ１を超えない範囲でノイズ信号の振幅を変える。例えば、ＣＰＵ８１は、第１周期のノイズ信号の振幅が、第１周期の次の周期である第２周期のノイズ信号の振幅と相違するようにノイズ信号の振幅をランダムに変える。

【0056】

同様に、ＣＰＵ８１は、音信号のうちの第２周波数域の部分にも、振幅の異なる複数のノイズを重畳する。マップＭＰで設定されている第２周波数域でのノイズ信号の振幅を「第２振幅ＡＭ２」とする。このとき、図８（Ｂ）に示すように、ＣＰＵ８１は、第２振幅ＡＭ２を超えない範囲でノイズ信号の振幅を変える。例えば、ＣＰＵ８１は、第３周期のノイズ信号の振幅が、第３周期の次の周期である第４周期のノイズ信号の振幅と相違するようにノイズ信号の振幅をランダムに変える。

【0057】

ただし、ＣＰＵ８１は、音信号のうちの第１周波数域の部分に重畳する複数のノイズの振幅の平均値が、音信号のうちの第２周波数域の部分に重畳するノイズの振幅の平均値よりも大きくなるように、ノイズ信号を生成する。

【0058】

そして、ＣＰＵ８１は、図８（Ａ）に示す生音信号に対して図８（Ｂ）に示すノイズ信号を重畳することにより、図８（Ｃ）に示すような補正後音信号を生成する。
なお、生音信号のピーク値が比較的小さいと、ノイズ信号を生音信号に重畳した際に、実際の異音のピーク値が、ノイズ信号に埋もれてしまうおそれがある。そこで、ＣＰＵ８１は、生音信号のピーク値の大きさに応じてノイズ信号の振幅を補正することが好ましい。これにより、実際の異音のピーク値がノイズ信号に埋もれることを抑制できる。

【0059】

＜写像の評価方法＞
図９を参照し、上記の学習方法で機械学習が施された写像の評価方法について説明する。

【0060】

はじめのステップＳ１２１では、上記のステップＳ９５で補正した音信号である補正後音信号が示す音を再生する。次のステップＳ１２３では、再生した音を作業者が確認できたか否かを判定する。再生した音を作業者が確認できた場合（Ｓ１２３：ＹＥＳ）、処理がステップＳ１２５に移行される。一方、再生した音を作業者が確認できない場合（Ｓ１２３：ＮＯ）、処理がステップＳ１２１に戻る。すなわち、作業者が音を確認できるまで、音の再生が繰り返される。

【0061】

ステップＳ１２５では、生音信号から、写像から出力された出力変数ｙに基づいて推定した異音の発生要因に対応する音の成分を削除する。このように生成した音信号を「削除済み音信号」という。

【0062】

ステップＳ１２７では、削除済み音信号が示す音を再生する。
ステップＳ１２９では、再生した音から異音が消えたか否かを作業者に判定させる。そして、再生した音から異音が消えていると作業者が判定した場合（Ｓ１２９：ＹＥＳ）、処理がステップＳ１３１に移行される。一方、再生した音から異音が消えていないと作業者が判定した場合（Ｓ１２９：ＮＯ）、処理がステップＳ１３３に移行される。

【0063】

ステップＳ１３１において、異音の発生要因が確定される。この場合、異音の発生要因の推定結果が正しい。
ステップＳ１３３において、異音の発生要因が半確定される。この場合、異音の発生要因の推定結果が正しくない。そのため、図７に示したマップＭＰを修正した上で、図６を用いて説明した写像の機械学習を再度行うことが好ましい。ここでいうマップＭＰの修正は、規定周波数ＦｑＡを変更すること、第１振幅ＡＭ１及び第２振幅ＡＭ２のうち少なくとも一方の大きさを変更することを含んでいる。

【0064】

＜本実施形態の作用及び効果＞
（１）車両１０の車室に配置されたマイク３５は、車両１０で発生した異音に加え、暗騒音も感知してしまう。そのため、車両１０で発生した異音の発生要因を推定する際には、暗騒音の成分も含む音信号が写像に入力されることになる。

【0065】

そこで、本実施形態では、マイク３５Ａが感知した音に関する音信号である生音信号に対して意図的にノイズ信号を重畳することによって、図８（Ｃ）に示したような補正後音信号が生成される。そして、写像の機械学習時には、補正後音信号が入力変数ｘとして写像に入力される。すなわち、訓練データとして用いる音信号は、上記の暗騒音の成分に相当する信号成分を含んでいる。

【0066】

そのため、このような機械学習を施した写像に対してマイク３５が感知した音に関する音信号を入力した際の当該写像の出力変数ｙに基づいて音の発生要因を推定する場合、音の発生要因の推定精度が暗騒音の影響によってばらつきにくい。したがって、マイク３５が感知した音に暗騒音が含まれていたとしても音の発生要因の推定精度がばらつきにくい写像を生成できる。

【0067】

（２）本件発明者は、図３に示したように、マイク３５が感知する暗騒音の音圧レベルは、低周波数の領域ほど大きくなりやすいという知見を得た。そこで、本実施形態では、生音信号に重畳するノイズ信号では、低周波数の領域の部分の振幅を、高周波数の領域の部分の振幅よりも大きくしている。そのため、信号補正処理によって補正した音信号の周波数特性を、車両１０の車室に配置されたマイク３５が感知した音に関する音信号の周波数特性に近づけることができる。そのため、信号補正処理によって補正した音信号である補正後音信号を用いて写像を更新することにより、音の発生要因の推定精度がばらつきにくい写像を生成できる。

【0068】

（３）センター制御装置６３には、上記のような学習方法で生成された写像を規定する写像データ７１が記憶されている。そして、こうした写像に対してマイク３５が感知した音に関する音信号が入力変数ｘとして入力されると、当該写像の出力変数ｙに基づいて異音の発生要因が推定される。入力変数ｘとして写像に入力された音信号に、暗騒音の成分が含まれていたとしても、異音の発生要因を精度良く推定できる。

【0069】

＜変更例＞
上記実施形態は、以下のように変更して実施することができる。上記実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。

【0070】

・信号補正処理では、図７に示したマップＭＰとは異なるマップを用いることにより、ノイズ信号の振幅を設定するようにしてもよい。例えば、信号補正処理において、ＣＰＵ８１は、図１０に実線で示すマップＭＰ１を用いてノイズ信号の振幅を設定してもよいし、図１０に一点鎖線で示すマップＭＰ２を用いてノイズ信号の振幅を設定してもよい。この場合、ＣＰＵ８１は、周波数が高くなるにつれて徐々に振幅が小さくなるようなノイズ信号を生成できる。この場合でも、音信号のうちの第１周波数域の部分に重畳するノイズ信号の振幅を、音信号のうちの第２周波数域の部分に重畳するノイズ信号の振幅よりも大きくすることが好ましい。

【0071】

また例えば、ＣＰＵ８１は、図１０に破線で示すマップＭＰ３を用いてノイズ信号の振幅を設定してもよい。この場合、ＣＰＵ８１は、周波数の高低によらず、振幅が同じとなるノイズ信号を生成できる。

【0072】

また例えば、ＣＰＵ８１は、図１０に二点鎖線で示すマップＭＰ４を用いてノイズ信号の振幅を設定してもよい。
・上記実施形態では、音信号のうちの第１周波数域の部分に、振幅の異なる複数のノイズを重畳しているが、これに限らない。例えば、音信号のうちの第１周波数域の部分に重畳するノイズ信号の振幅は一定であってもよい。

【0073】

・上記実施形態では、音信号のうちの第２周波数域の部分に、振幅の異なる複数のノイズを重畳しているが、これに限らない。例えば、音信号のうちの第２周波数域の部分に重畳するノイズ信号の振幅は一定であってもよい。

【0074】

・ニューラルネットワークは、中間層が１層のフィードフォワードネットワークに限らない。例えば、ニューラルネットワークは、中間層が２層以上のネットワークであってもよいし、畳み込みニューラルネットワークやリカレントニューラルネットワークであってもよい。

【0075】

・機械学習による学習済みモデルは、ニューラルネットワークでなくてもよい。例えば、学習済みモデルとして、サポートベクトルマシンを採用してもよい。
・学習装置８０は、ＣＰＵとＲＯＭとを備えて、ソフトウェア処理を実行するものに限らない。すなわち、学習装置８０は、以下（ａ）～（ｃ）の何れかの構成であればよい。

【0076】

（ａ）学習装置８０は、コンピュータプログラムに従って各種処理を実行する一つ以上のプロセッサを備えている。プロセッサは、ＣＰＵ並びに、ＲＡＭ及びＲＯＭなどのメモリを含んでいる。メモリは、処理をＣＰＵに実行させるように構成されたプログラムコード又は指令を格納している。メモリ、すなわちコンピュータ可読媒体は、汎用又は専用のコンピュータでアクセスできるあらゆる利用可能な媒体を含んでいる。

【0077】

（ｂ）学習装置８０は、各種処理を実行する一つ以上の専用のハードウェア回路を備えている。専用のハードウェア回路としては、例えば、特定用途向け集積回路、すなわちＡＳＩＣ又はＦＰＧＡを挙げることができる。なお、ＡＳＩＣは、「Application Specific Integrated Circuit」の略記であり、ＦＰＧＡは、「Field Programmable Gate Array」の略記である。

【0078】

（ｃ）学習装置８０は、各種処理の一部をコンピュータプログラムに従って実行するプロセッサと、各種処理のうちの残りの処理を実行する専用のハードウェア回路とを備えている。

【0079】

＜技術的思想＞
次に、上記複数の実施形態及び複数の変更例から把握できる技術的思想を付記として記載する。

【0080】

［付記１］マイクが感知した音に関する信号である音信号を基に車両での音の発生要因を推定するために用いる写像の学習方法であって、
前記写像は、前記音信号が入力変数として入力されると、前記車両での音の発生要因を示す変数を出力する学習モデルであり、
前記音信号に対してノイズ信号を重畳することにより、当該音信号を補正する信号補正処理と、
前記信号補正処理で補正した前記音信号を訓練データとするとともに、当該音信号と組となっている音の発生要因を教師データとする機械学習によって、前記写像を更新する更新処理と、を学習装置に実行させる、写像の学習方法。

【0081】

［付記２］前記信号補正処理は、前記音信号のうちの第１周波数域の部分に重畳するノイズ信号の振幅が、前記音信号のうちの第２周波数域の部分に重畳するノイズ信号の振幅とは異なるように、当該音信号を補正する処理である、付記１に記載の写像の学習方法。

【0082】

［付記３］前記第１周波数域は、前記第２周波数域よりも周波数の低い領域であり、
前記信号補正処理は、前記音信号のうちの前記第１周波数域の部分に重畳するノイズの振幅が、前記音信号のうちの前記第２周波数域の部分に重畳するノイズの振幅よりも大きくなるように、当該音信号を補正する処理である、付記２に記載の写像の学習方法。

【0083】

［付記４］前記信号補正処理は、前記音信号のうちの前記第１周波数域の部分に、振幅の異なる複数のノイズを重畳する処理であり、
前記音信号のうちの前記第１周波数域の部分に重畳する複数のノイズの振幅の平均値は、前記音信号のうちの前記第２周波数域の部分に重畳するノイズの振幅の平均値よりも大きい、付記２又は付記３に記載の写像の学習方法。

【0084】

［付記５］前記信号補正処理は、前記音信号のうちの前記第２周波数域の部分に、振幅の異なる複数のノイズを重畳する処理である、付記２～付記４のうち何れか一項に記載の写像の学習方法。

【符号の説明】

【0085】

１０…車両
１５…車両制御装置
３０…携帯端末
３５，３５Ａ…マイク
３９…端末制御装置
６０…データ解析センター
６３…センター制御装置
８０…学習装置
８１…ＣＰＵ
８３…第２記憶装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】