特許 7420144 モデル生成方法、モデル生成装置、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-15

(45)【発行日】2024-01-23

(54)【発明の名称】モデル生成方法、モデル生成装置、プログラム

(51)【国際特許分類】

   G10L 21/0208 20130101AFI20240116BHJP

   G10L 15/06 20130101ALI20240116BHJP

【ＦＩ】

G10L21/0208 100Z

G10L15/06 300Y

【請求項の数】 8

(21)【出願番号】P 2021552019

(86)(22)【出願日】2019-10-15

(86)【国際出願番号】 JP2019040514

(87)【国際公開番号】W WO2021074973

(87)【国際公開日】2021-04-22

【審査請求日】2022-02-25

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100124811

【弁理士】

【氏名又は名称】馬場 資博

(74)【代理人】

【識別番号】100088959

【弁理士】

【氏名又は名称】境 廣巳

(74)【代理人】

【識別番号】100097157

【弁理士】

【氏名又は名称】桂木 雄二

(74)【代理人】

【識別番号】100187724

【弁理士】

【氏名又は名称】唐鎌 睦

(72)【発明者】

【氏名】清川 裕

【審査官】山下 剛史

(56)【参考文献】

【文献】国際公開第２０１９／１４４０６６（ＷＯ，Ａ１）

【文献】特表２０１３－５４１０２３（ＪＰ，Ａ）

【文献】特開２００９－１２８９０６（ＪＰ，Ａ）

【文献】特開２０１５－９７３５５（ＪＰ，Ａ）

【文献】特開２００２－１４６９２（ＪＰ，Ａ）

【文献】特開平１０－９７２７８（ＪＰ，Ａ）

【文献】特開２０１０－１５２７５１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｌ １３／００－９９／００

Ｇ０６Ｎ ３／００，２０／００

(57)【特許請求の範囲】

【請求項1】

音響データの実データから、当該実データ中の所定の値を当該所定の値とは異なる値である置換値に置き換えた置換データを生成し、
前記音響データの前記実データと前記置換データとを用いて、前記置換データの前記置換値以外の値から、前記置換値が前記置換値に置き換えられた前記実データ内の前記所定の値に近づく値を予測して出力するよう学習したモデルを生成する、
モデル生成方法。

【請求項2】

請求項１に記載のモデル生成方法であって、
前記置換値と、当該置換値に置き換えられた前記実データ内の前記所定の値と、の差を損失値として算出し、前記置換データと前記損失値とに基づいて、前記置換値に置き換えられた前記実データ内の前記所定の値を予測する前記モデルを生成する、
モデル生成方法。

【請求項3】

請求項1又は２に記載のモデル生成方法であって、
１つの所定期間の前記実データについて、当該実データ内の１つの時点における前記所定の値のみを前記置換値に置き換えて前記置換データを生成する、
モデル生成方法。

【請求項4】

請求項１乃至３のいずれかに記載のモデル生成方法であって、
複数の所定期間の前記実データのそれぞれについて、当該実データ内の所定時点における前記所定の値を前記置換値に置き換えることで、複数の前記置換データを生成し、
複数の前記実データと複数の前記置換データとに基づいて学習して前記モデルを生成する、
モデル生成方法。

【請求項5】

音響データの実データから、当該実データ中の所定の値を当該所定の値とは異なる値である置換値に置き換えた置換データを生成し、
前記音響データの前記実データと前記置換データとを用いて、前記置換データの前記置換値以外の値から、前記置換値が前記置換値に置き換えられた前記実データ内の前記所定の値に近づく値を予測して出力するよう学習したモデルを生成し、
生成した前記モデルに対して所定の音響データを入力して、当該モデルからの出力を取得する、
情報処理方法。

【請求項6】

音響データの実データから、当該実データ中の所定の値を当該所定の値とは異なる値である置換値に置き換えた置換データを生成するデータ生成部と、
前記音響データの前記実データと前記置換データとを用いて、前記置換データの前記置換値以外の値から、前記置換値が前記置換値に置き換えられた前記実データ内の前記所定の値に近づく値を予測して出力するよう学習したモデルを生成する学習部と、
を備えたモデル生成装置。

【請求項7】

音響データの実データから、当該実データ中の所定の値を当該所定の値とは異なる値である置換値に置き換えた置換データを生成するデータ生成部と、
前記音響データの前記実データと前記置換データとを用いて、前記置換データの前記置換値以外の値から、前記置換値が前記置換値に置き換えられた前記実データ内の前記所定の値に近づく値を予測して出力するよう学習したモデルを生成する学習部と、
生成した前記モデルに対して所定の音響データを入力して、当該モデルからの出力を取得する取得部と、
を備えた情報処理装置。

【請求項8】

情報処理装置に、
音響データの実データから、当該実データ中の所定の値を当該所定の値とは異なる値である置換値に置き換えた置換データを生成するデータ生成部と、
前記音響データの前記実データと前記置換データとを用いて、前記置換データの前記置換値以外の値から、前記置換値が前記置換値に置き換えられた前記実データ内の前記所定の値に近づく値を予測して出力するよう学習したモデルを生成する学習部と、
を実現させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、音響データからノイズを除去するモデルを生成する方法、装置、プログラムに関する。

【背景技術】

【0002】

製造工場や処理施設などのプラントでは、かかるプラント内で採取した音響データから、プラント内に生じた異常などの特定の事象を検出する、というような音響データの解析処理が行われることがある。このとき、音響データにノイズが含まれている場合には、かかる音響データに対する解析処理の精度を上げるために、ノイズを抑圧したり軽減するなどノイズ除去処理を行うことが望ましい。

【0003】

ここで、音響データからノイズを除去する方法としては、以下のような方法が考えられる。まず、ノイズ除去処理方法として、解析対象である音響データとノイズとの統計的モデルの違いに基づいて信号を分離する方法が考えられる。また、他の方法として、音響データの平滑化やハイパスフィルタを用いるなどのフィルタ処理を行うことも考えられる。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００４－０１２８８４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上述したようなノイズ除去方法では、以下のような問題が生じる。まず、解析処理にて検出したい特定の事象が異常状態などの発生頻度が少なく非定常的である場合には、その音響データが効果的な統計的モデルで表されにくい、という問題が生じる。また、そもそも実際の音響データとノイズとの統計的モデルを得ることが困難である。さらには、人物の音声とは異なり、音響データにおいてはフォルマントを持たない場合があるため、統計的モデルを得ることが困難である。このように、上述した統計的モデルを用いたノイズ除去方法では、音響データとノイズとの差異を明確に示すような効果的な統計的モデルを得ることが困難であるため、高精度にノイズを除去することができない。

【0006】

また、音響データの平滑化やハイパスフィルタを用いるなどのフィルタ処理では、特定帯域の信号が除去されてしまうため、音響データ自体が劣化してしまう。つまり、音響データからノイズのみを高精度に除去することができない。

【0007】

このため、本発明の目的は、上述した課題である、音響データから高精度にノイズを除去することができない、ことを解決するための方法、装置、プログラムを提供することにある。

【課題を解決するための手段】

【0008】

本発明の一形態であるモデル生成方法は、
音響データの実データから、当該実データ中の所定の値を当該所定の値とは異なる値である置換値に置き換えた置換データを生成し、
前記音響データの前記実データと前記置換データとを用いて学習して、所定の音響データからノイズを除去するモデルを生成する、
という構成をとる。

【0009】

また、本発明の一形態であるモデル生成装置は、
音響データの実データから、当該実データ中の所定の値を当該所定の値とは異なる値である置換値に置き換えた置換データを生成するデータ生成部と、
前記音響データの前記実データと前記置換データとを用いて学習して、所定の音響データからノイズを除去するモデルを生成する学習部と、
を備えた、
という構成をとる。

【0010】

また、本発明の一形態であるプログラムは、
情報処理装置に、
音響データの実データから、当該実データ中の所定の値を当該所定の値とは異なる値である置換値に置き換えた置換データを生成するデータ生成部と、
前記音響データの前記実データと前記置換データとを用いて学習して、所定の音響データからノイズを除去するモデルを生成する学習部と、
を実現させる、
という構成をとる。

【発明の効果】

【0011】

本発明は、以上のように構成されることにより、音響データから精度よくノイズを除去することができる。

【図面の簡単な説明】

【0012】

【図1】本発明の実施形態１におけるノイズ除去装置の構成を示すブロック図である。

【図2】図１に開示したノイズ除去装置によるノイズ除去用のモデルを生成するときの処理の様子を示す図である。

【図3】図１に開示したノイズ除去装置によるノイズ除去用のモデルを生成するときの処理の様子を示す図である。

【図4】図１に開示したノイズ除去装置によるノイズ除去用のモデルを生成するときの処理の様子を示す図である。

【図5】図１に開示したノイズ除去装置によるノイズ除去用のモデルを生成するときの処理の様子を示す図である。

【図6】図１に開示したノイズ除去装置によるノイズ除去用のモデルを生成するときの処理の様子を示す図である。

【図7】図１に開示したノイズ除去装置によるノイズ除去用のモデルを生成するときの動作を示すフローチャートである。

【図8】図１に開示したノイズ除去装置によるノイズ除去用のモデルを用いて音響データからノイズを除去するときの動作を示すフローチャートである。

【図9】図１に開示したノイズ除去装置によって生成したノイズ除去用のモデルを用いて音響データを処理した結果を示す図である。

【図10】図１に開示したノイズ除去装置によって生成したノイズ除去用のモデルを用いて音響データを処理した結果を示す図である。

【図11】図１に開示したノイズ除去装置によって生成したノイズ除去用のモデルを用いて音響データを処理した結果を示す図である。

【図12】本発明の実施形態２におけるノイズ除去装置のハードウェア構成を示すブロック図である。

【図13】本発明の実施形態２におけるノイズ除去装置の構成を示すブロック図である。

【図14】本発明の実施形態２におけるノイズ除去装置の動作を示すフローチャートである。

【発明を実施するための形態】

【0013】

＜実施形態１＞
本発明の第１の実施形態を、図１乃至図１１を参照して説明する。図１は、ノイズ除去装置の構成を説明するための図であり、図２乃至図１１は、ノイズ除去装置の処理動作を説明するための図である。

【0014】

［構成］
本実施形態におけるノイズ除去装置１０は、プラントなどの監視対象Ｐに接続されている。そして、ノイズ除去装置１０は、監視対象Ｐに設置されたマイクロフォンにて計測されたプラント内における機械音などの音響データを取得して、かかる音響データからノイズを除去するためのモデルを生成するモデル生成装置として機能する。また、ノイズ除去装置１０は、生成したモデルを用いて、計測した音響データからノイズを除去するよう機能する。

【0015】

なお、ノイズ除去装置１０は、ノイズを除去した音響データを図示しない解析装置に出力し、かかる解析装置にて音響データが解析され、解析結果に基づいて監視対象Ｐの状態が監視されることとなる。例えば、解析装置では、ノイズを除去した音響データを解析することによって、監視対象Ｐに異常が生じているなどの特定の状態であることを検出することができる。

【0016】

但し、ノイズ除去装置１０は、必ずしもプラントから計測した音響データを処理対象とすることに限定されず、いかなる場所で計測されたいかなる音響データを処理対象としてもよい。例えば、本実施形態におけるノイズ除去装置１０では、再現性がない音響データ、試行回数が増やせない音響データ、計測場所における雑音のみの測定ができない音響データ、というような音響データが処理対象として望ましいが、いかなる音響データを処理対象としてもよい。また、本実施形態における装置では、必ずしも音響データからノイズを除去する処理まで行う必要はなく、モデル生成装置として音響データからノイズを除去するためのモデルを生成する処理のみを行ってもよい。

【0017】

上記ノイズ除去装置１０は、演算装置と記憶装置とを備えた１台又は複数台の情報処理装置にて構成される。そして、ノイズ除去装置１０は、図１に示すように、演算装置がプログラムを実行することで構築された、計測部１１、クリッピング部１２、欠損生成部１３、学習部１４、ノイズ除去部１５、を備える。また、ノイズ除去装置１０は、記憶装置に形成された、音響データ記憶部１６、モデル記憶部１７、を備える。以下、各構成について詳述する。

【0018】

上記計測部１１は、監視対象Ｐに設置された単一のマイクロフォンにて計測された音信号である音響データを取得し、音響データ記憶部１６に記憶する。例えば、計測部１１は、サンプリング周波数４４．１ｋＨｚで計測された音響データを取得し、例えば、図２の符号Ｄ１で示すように、横軸にサンプリング数、縦軸に振幅をプロットしたデジタルデータの音響データを取得することとなる。なお、図２の符号Ｄ１の例では、サンプリング数１０００点分の期間に相当する音響データしか図示していないが、取得する音響データの期間はかかる期間であることに限定されない。なお、計測部１１は必ずしも必要ではなく、予め音響データ記憶部１６に音響データが記憶されていてもよい。

【0019】

上記クリッピング部１２（データ生成部）は、音響データ記憶部１６に記憶されている音響データを所定期間毎に分割して切り出し、かかる所定期間の音響データを複数生成する処理を行う。一例として、クリッピング部１２は、図２に示すように、サンプリング数１０００点分の音響データＤ１を、サンプリング数６４点分の期間に分割した分割音響データＤ２（実データ）を５０００個生成する。このとき、クリッピング部１２は、音響データＤ１からランダムに、連続するサンプリング数６４点分の期間にて切り出した分割音響データＤ２を生成する。なお、クリッピング部１２が生成する複数の分割音響データＤ２の期間は、元となる音響データＤ１内で相互に重なっていてもよい。例えば、サンプリング数６４点分といった所定期間のウインドウを用意し、かかるウインドウを移動させながらウインドウ内の音響データを分割音響データＤ２として切り出してもよい。

【0020】

ここで、クリッピング部１２は、必ずしも上述した期間（６４点分）の分割音響データＤ２を生成することに限定されず、いなかる期間の分割音響データＤ２を生成してもよい。また、クリッピング部１２は、分割音響データを必ずしも５０００個生成する必要はなく、いかなる数の分割音響データを生成してもよい。あるいは、クリッピング１２は必ずしも必要はなく、計測部１１で計測された音響データ、あるいは、予め記憶された音響データを複数用意することで、上述した分割音響データＤ２として利用してもよい。

【0021】

上記欠損生成部１３（データ生成部）は、上述したように生成した各分割音響データＤ２（実データ）から、それぞれ一部の値が欠損した欠損データＤ３（置換データ）を生成する。一例として、欠損生成部１３は、図３の上段に示す分割音響データＤ２内の所定のサンプリング点（所定時点）における振幅の値（所定の値）を、実際の値とは異なる値である欠損値（置換値）に置き換えて、図３の下段に示す欠損データＤ３を生成する。このとき、欠損値は任意の値でよいが、例えば、欠損値として、同一の分割音響データＤ２内の各値の平均値を算出して用いたり、別の値をコピーして用いてもよい。なお、本実施形態における欠損値は「０」であってもよいが、必ずしも「０」のように振幅の値を無くならせる値であることに限定されず、実データである分割音響データＤ２内の所定のサンプリング点における振幅の値とは異なる値であればよい。

【0022】

また、欠損生成部１３は、１つの分割音響データＤ２において、１つのサンプリング点における振幅の値のみを、欠損値に置き換えて欠損データＤ３を生成する。例えば、図３の例では、サンプリング数の期間が６４点である分割音響データＤ２において、サンプリング数３２番目の振幅の値のみを欠損値に置き換えている。但し、欠損生成部１３は、必ずしも１つの分割音響データＤ２において、１つのサンプリング点における振幅の値のみを欠損値に置き換えることに限定されない。欠損生成部１３は、１つの分割音響データＤ２において、複数のサンプリング点における振幅の値をそれぞれ欠損値に置き換えてもよい。

【0023】

そして、欠損生成部１３は、各分割音響データＤ２のそれぞれに対して、上述同様に１つの振幅の値を欠損値に置き換えて、各分割音響データＤ２に対応する各欠損データＤ３を生成する。このとき、欠損生成部１３は、各分割音響データＤ２について、分割前の元となる音響データＤ１上における異なるサンプリング点の振幅の値を、欠損値に置き換える。例えば、図４の例では、サンプリング数の期間が６４点である分割音響データＤ２において、サンプリング数４０番目の振幅の値のみを欠損値に置き換えている。これにより、そもそも図３の例とは切り出した分割音響データＤ２の期間が異なるが、仮に分割音響データＤ２が同一の場合であっても、異なるサンプリング点の振幅の値を欠損値に置き換える。但し、欠損生成部１３は、各分割音響データＤ２のそれぞれにおいて、欠損値に置き換えるサンプリング点をランダムに決定することで、結果として多くのサンプリング点において重複して欠損値への置き換えが生じないこととなる。

【0024】

上記学習部１４は、上述したように生成した分割音響データＤ２と欠損データＤ３とを用いてネットワーク学習を行い、所定の音響データからノイズを除去するモデルを生成する。具体的に、学習部１４は、まず、複数の欠損データＤ３をまとめた欠損データセットＤ３’を生成する。このとき、学習部１４は、図５に示すように、異なるサンプリング点で欠損値を置き換えた複数の欠損データＤ３の組み合わせからなる欠損データセットＤ３’を生成する。一例として、学習部１４は、１００個の欠損データＤ３を１つの欠損データセットＤ３’として生成する。

【0025】

そして、学習部１４は、欠損データセットＤ３’に含まれる複数の欠損データＤ３を一度にモデルに入力する入力値とし、これら複数の欠損データＤ３をまとめて学習する。具体的に、学習部１４は、欠損データセットＤ３’内の各欠損データＤ３について、当該欠損データＤ３内における欠損値に置き換えられたサンプリング点の振幅の値が、かかる欠損値に置き換えられる前の分割音響データＤ２内の振幅の値に近づく値を予測して出力するようネットワーク学習を行う。例えば、図６の例では、欠損値Ｆの値が、矢印に示すように欠損値に置き換えられる前の実データの値Ｔに近づく値を出力するよう学習を行う。このとき、学習部１４は、特に、欠損データＤ３の欠損値Ｆ以外の振幅の値から、欠損値Ｆに置き換えられる前の実データの値Ｔを予測するよう学習する。

【0026】

なお、学習部１４は、上述した学習に先立ち、欠損データＤ２内の欠損値と、対応する分割音響データＤ２内における欠損値Ｆに置き換えられる前の実データの値Ｔと、の差である損失値を算出しておく。そして、学習部１４は、欠損データＤ２内の欠損値に置き換えられたサンプリング点の値として、実データの値Ｔに対する損失値を最小とするような値を予測するモデルを学習する。

【0027】

以上のようにして、学習部１４は、複数の欠損データセットＤ３’を入力とすることで、多数の欠損データＤ３について学習することとなり、欠損値に置き換えられたサンプリング点の値を予測するモデルを生成する。そして、学習部１４は、生成したモデルをモデル記憶部１７に記憶しておく。このようにして生成されたモデルは、欠損値を除去する機能を有することとなり、ノイズ除去にも適用可能となる。

【0028】

上記ノイズ除去部１５は、モデル記憶部１７に記憶されているモデルを用いて、所定の音響データ内のノイズを除去する。具体的に、ノイズ除去部１５は、まず、上述したように計測部１１にて計測された監視対象Ｐ内の音響データを取得する。そして、ノイズ除去部１５は、モデル記憶部１７に記憶されているモデルを読み出し、かかるモデルに、取得した音響データを入力して、その出力を取得する。すると、ノイズ除去部１５は、ノイズが除去された音響データを出力として取得することができる。なお、ノイズ除去部１５は、出力された音響データを、所定の解析処理装置に出力したり、解析処理用に記憶しておく。

【0029】

［動作］
次に、上述したノイズ除去装置１０の動作を、主に図７乃至図８のフローチャートを参照して説明する。まず、図７のフローチャートを参照して、ノイズ除去装置１０がモデル生成装置として作動し、音響データのノイズを除去するためのモデルを生成するときの動作を説明する。

【0030】

ノイズ除去装置１０は、監視対象Ｐに設置された単一のマイクロフォンにて計測された音信号である音響データＤ１を取得する（ステップＳ１）。そして、ノイズ除去装置１０は、図２に示すように、音響データＤ１をランダムに一定のサンプリング数の期間で区切って分割し、複数の分割音響データＤ２を生成する（ステップＳ２）。

【0031】

続いて、ノイズ除去装置１０は、各分割音響データＤ２において一部の振幅の値を欠損させて、各分割音響データＤ２にそれぞれ対応する欠損データＤ３を生成する（ステップＳ３）。このとき、ノイズ除去装置１０は、１つの分割音響データＤ２について、１つのサンプリング点における振幅の値のみを欠損値に置き換えることで欠損データＤ３を生成する。さらに、ノイズ除去装置１０は、各分割音響データＤ２について、分割前の元となる音響データＤ１上における異なるサンプリング点の振幅の値を欠損値に置き換えて、欠損データＤ３を生成する。例えば、図３，４の下図に示すように欠損データＤ３を生成する。

【0032】

続いて、ノイズ除去装置１０は、複数の欠損データＤ３をまとめた欠損データセットＤ３’を生成する（ステップＳ４）。このとき、ノイズ除去装置１０は、図５に示すように、それぞれが異なるサンプリング点で欠損値を置き換えた複数の欠損データＤ３の欠損データセットＤ３’を生成する。

【0033】

続いて、ノイズ除去装置１０は、各欠損データセットＤ３’内の各欠損データＤ３について、当該欠損データＤ３内の欠損値と、対応する分割音響データＤ２内における欠損値Ｆに置き換えられる前の実データの値Ｔと、の差である損失値を算出する（ステップＳ５）。

【0034】

そして、ノイズ除去装置１０は、欠損データＤ３と損失値とを用いて、ネットワーク学習を行う（ステップＳ６）。具体的に、ノイズ除去装置１０は、欠損データセットＤ３’に含まれる複数の欠損データＤ３を一度にモデルに入力する入力値とし、各欠損データＤ３内で欠損値に置き換えられたサンプリング点における値として、欠損値に置き換えられる前の実データの値に対する損失値が最小となるような値を予測するように、モデルのネットワーク学習を行う。つまり、ノイズ除去装置１０は、入力された欠損データＤ３内の欠損値に対して、当該欠損データＤ３内の欠損値に置き換えられたサンプリング点の値を教師信号とするように学習を行う。これにより、生成されるモデルは、欠損データＤ３内で欠損値に置き換えられたサンプリング点における値として、欠損値に置き換えられる前の実データの値を予測するよう学習される。

【0035】

そして、ノイズ除去装置１０は、複数の欠損データセットＤ３’を入力として多数の欠損データＤ３について学習し、欠損値に置き換えられたサンプリング点の値を予測するモデルを生成する（ステップＳ７）。その後、ノイズ除去装置１０は、生成したモデルをモデル記憶部１７に記憶しておく。

【0036】

以上のようにして生成されたモデルは、音響データから欠損値を除去する機能を有することとなり、ノイズ除去にも適用可能となる。

【0037】

次に、図８のフローチャートを参照して、ノイズ除去装置１０がモデルを用いて所定の音響データのノイズを除去するときの動作を説明する。まず、ノイズ除去装置１０は、計測部１１にて計測された監視対象Ｐ内の音響データを取得する（ステップＳ１１）。そして、ノイズ除去装置１０は、モデル記憶部１７に記憶されているモデルに対して、取得した音響データを入力して（ステップＳ１２）、その出力を取得する（ステップＳ１３）。そして、ノイズ除去装置１０は、出力された音響データを、所定の解析処理装置に出力したり、解析処理用に記憶しておく。

【0038】

以上のように、本実施形態におけるノイズ除去装置１０では、音響データを欠損させて、かかる欠損箇所の値として、欠損させる前の実データの値を予測するよう学習したモデルを生成しているため、かかるモデルによって音響データからノイズを精度よく除去することができる。このため、再現性がない音響データ、試行回数が増やせない音響データ、計測場所における雑音のみの測定ができない音響データ、というような音響データであっても、精度よくノイズ除去を行うことができる。そして、ノイズ除去を行った音響データを用いて様々な解析処理を行うことで、解析制度の向上を図ることができる。例えば、プラントなどで計測した音響データから、異常などの特定の事象の発生を検出するという用途にも利用することができる。

【0039】

そして、本実施形態では、特に、１つの分割音響データＤ２内で１つのサンプリング点における振幅の値を欠損させており、かかる欠損箇所の値を、他の箇所の実データの値から予測するモデルを生成している。このため、複数の値から１つの予測値を算出するモデルを生成できるため、より効果的に欠損箇所の値を予測するモデルを生成することができ、ノイズ除去を効果的に行うことができる。

【0040】

また、本実施形態では、それぞれ欠損箇所が異なる複数の分割音響データＤ２をまとめて学習している。このため、あらゆる音響データに適切に対応できるモデルを生成でき、ノイズ除去をより効果的に行うことができる。

【0041】

ここで、本実施形態におけるノイズ除去装置１０にて生成したモデルを用いて、実際にノイズ除去を行った事例を、図９乃至図１１を参照して説明する。まず、図９のグラフは、ガウスノイズを加算した音響データ（グレー線：ノイズ加算信号）を用いて学習してモデルを生成し、かかるモデルにガウスノイズを加算した音響データを入力したときの出力（点線：モデル出力）と、ガウスノイズを加算する前の音響データ（黒実線：ノイズ加算前信号）と、を示している。このグラフを見ると、モデル出力は、ノイズ加算前信号をある程度再現しているといえ、ノイズを適切に除去していることがわかる。

【0042】

次に、図１０のグラフは、ランダムインパルス信号をノイズとして加算した音響データ（グレー線：ノイズ加算信号）を用いて学習してモデルを生成し、かかるモデルにランダムインパルスのノイズを加算した音響データを入力したときの出力（点線：モデル出力）と、ノイズを加算する前の音響データ（黒実線：ノイズ加算前信号）と、を示している。このグラフを見ると、モデル出力は、ノイズ加算前信号をある程度再現しているといえ、ノイズを適切に除去していることがわかる。

【0043】

次に、図１１のグラフは、周期的なインパルス信号をノイズとして加算した音響データ（グレー線：ノイズ加算信号）を用いて学習してモデルを生成し、かかるモデルに周期的なインパルス信号のノイズを加算した音響データを入力したときの出力（点線：モデル出力）と、ノイズを加算する前の音響データ（黒実線：ノイズ加算前信号）と、を示している。このグラフを見ると、モデル出力は、ノイズ加算前信号を再現しているといえない。つまり、本実施形態における方法で生成したモデルを用いたとしても、周期的なインパルス信号はノイズとして除去されないこととなる。これにより、プラント内などの施設においてモータなどの機械による周期的なインパルス信号が通常状態として生じているような環境においては、かかる周期的なインパルス信号が除去されない。このため、音響データから不要に通常状態の信号を除去してしまうことを抑制することができ、ノイズのみを適切に除去することができる。その結果、精度よくノイズを除去した音響データを取得することができる。

【0044】

＜実施形態２＞
次に、本発明の第２の実施形態を、図１２乃至図１４を参照して説明する。図１２乃至図１３は、実施形態２におけるモデル生成装置の構成を示すブロック図であり、図１４は、モデル生成装置の動作を示すフローチャートである。なお、本実施形態では、上述した実施形態で説明したモデル生成装置及びモデル生成方法の構成の概略を示している。

【0045】

まず、図１２を参照して、本実施形態におけるモデル生成装置１００のハードウェア構成を説明する。モデル生成装置１００は、一般的な情報処理装置にて構成されており、一例として、以下のようなハードウェア構成を装備している。
・ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１（演算装置）
・ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２（記憶装置）
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３（記憶装置）
・ＲＡＭ３０３にロードされるプログラム群１０４
・プログラム群３０４を格納する記憶装置１０５
・情報処理装置外部の記憶媒体１１０の読み書きを行うドライブ装置１０６
・情報処理装置外部の通信ネットワーク１１１と接続する通信インタフェース１０７
・データの入出力を行う入出力インタフェース１０８
・各構成要素を接続するバス１０９

【0046】

そして、モデル生成装置１００は、プログラム群１０４をＣＰＵ１０１が取得して当該ＣＰＵ１０１が実行することで、図１９に示すデータ生成部１２１と学習部１２２とを構築して装備することができる。なお、プログラム群１０４は、例えば、予め記憶装置１０５やＲＯＭ１０２に格納されており、必要に応じてＣＰＵ１０１がＲＡＭ１０３にロードして実行する。また、プログラム群１０４は、通信ネットワーク１１１を介してＣＰＵ１０１に供給されてもよいし、予め記憶媒体１１０に格納されており、ドライブ装置１０６が該プログラムを読み出してＣＰＵ１０１に供給してもよい。但し、上述した抽出部１２１と算出部１２２とは、電子回路で構築されるものであってもよい。

【0047】

なお、図１２は、モデル生成装置１００である情報処理装置のハードウェア構成の一例を示しており、情報処理装置のハードウェア構成は上述した場合に限定されない。例えば、情報処理装置は、ドライブ装置１０６を有さないなど、上述した構成の一部から構成されてもよい。

【0048】

そして、モデル生成装置１００は、上述したようにプログラムによって構築されたデータ生成部１２１と学習部１２２との機能により、図１４のフローチャートに示すモデル生成方法を実行する。

【0049】

図１４に示すように、モデル生成装置１００は、
音響データの実データから、当該実データ中の所定の値を当該所定の値とは異なる値である置換値に置き換えた置換データを生成し（ステップＳ１０１）、
前記音響データの前記実データと前記置換データとを用いて学習して、所定の音響データからノイズを除去するモデルを生成する（ステップＳ１０２）。

【0050】

本実施形態におけるモデル生成装置１００及びモデル生成方法は、以上のように構成されることにより、音響データの所定の値を置換値に置き換えて、かかる置換データと実データとを用いて音響データからノイズを除去するモデルを生成している。このため、生成されたモデルは、置換値を除去する機能を有することとなり、ノイズ除去にも適用可能となる。その結果、再現性がない音響データ、試行回数が増やせない音響データ、計測場所における雑音のみの測定ができない音響データ、というような音響データであっても、精度よくノイズ除去を行うことができる。

【0051】

＜付記＞
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における時系列データ処理方法、時系列データ処理装置、プログラムの構成の概略を説明する。但し、本発明は、以下の構成に限定されない。

【0052】

（付記１）
音響データの実データから、当該実データ中の所定の値を当該所定の値とは異なる値である置換値に置き換えた置換データを生成し、
前記音響データの前記実データと前記置換データとを用いて学習して、所定の音響データからノイズを除去するモデルを生成する、
モデル生成方法。

【0053】

（付記２）
付記１に記載のモデル生成方法であって、
前記音響データの前記実データと前記置換データとを用いて、前記置換データから前記実データを予測する前記モデルを生成する、
モデル生成方法。

【0054】

（付記３）
付記1又は２に記載のモデル生成方法であって、
前記置換データから、前記置換値に置き換えられた前記実データ内の前記所定の値を予測する前記モデルを生成する、
モデル生成方法。

【0055】

（付記４）
付記1乃至３のいずれかに記載のモデル生成方法であって、
前記置換値と、当該置換値に置き換えられた前記実データ内の前記所定の値と、の差を損失値として算出し、前記置換データと前記損失値とに基づいて、前記置換値に置き換えられた前記実データ内の前記所定の値を予測する前記モデルを生成する、
モデル生成方法。

【0056】

（付記５）
付記1乃至４のいずれかに記載のモデル生成方法であって、
１つの所定期間の前記実データについて、当該実データ内の１つの時点における前記所定の値のみを前記置換値に置き換えて前記置換データを生成する、
モデル生成方法。

【0057】

（付記６）
付記１乃至５のいずれかに記載のモデル生成方法であって、
複数の所定期間の前記実データのそれぞれについて、当該実データ内の所定時点における前記所定の値を前記置換値に置き換えることで、複数の前記置換データを生成し、
複数の前記実データと複数の前記置換データとに基づいて学習して前記モデルを生成する、
モデル生成方法。

【0058】

（付記７）
付記６に記載のモデル生成方法であって、
複数の所定期間の前記実データのそれぞれについて、当該実データ内のそれぞれ異なる時点における前記所定の値を前記置換値に置き換えることで、複数の前記置換データを生成する、
モデル生成方法。

【0059】

（付記８）
付記６又は７に記載のモデル生成方法であって、
複数の前記実データと、当該複数の前記実データのそれぞれに対応する複数の前記置換データと、を同時に学習して前記モデルを生成する、
モデル生成方法。

【0060】

（付記９）
付記８に記載のモデル生成方法であって、
前記実データ内における前記所定の値を前記置換値に置き換えた時点がそれぞれ異なる複数の前記実データと複数の前記置換データとを同時に学習して前記モデルを生成する、
モデル生成方法。

【0061】

（付記１０）
音響データの実データから、当該実データ中の所定の値を当該所定の値とは異なる値である置換値に置き換えた置換データを生成し、
前記音響データの前記実データと前記置換データとを用いて学習して、所定の音響データからノイズを除去するモデルを生成し、
生成した前記モデルに対して所定の音響データを入力して、当該モデルからの出力を取得する、
ノイズ除去方法。

【0062】

（付記１１）
音響データの実データから、当該実データ中の所定の値を当該所定の値とは異なる値である置換値に置き換えた置換データを生成するデータ生成部と、
前記音響データの前記実データと前記置換データとを用いて学習して、所定の音響データからノイズを除去するモデルを生成する学習部と、
を備えたモデル生成装置。

【0063】

（付記１１．１）
付記１１に記載のモデル生成装置であって、
前記学習部は、前記音響データの前記実データと前記置換データとを用いて、前記置換データから前記実データを予測する前記モデルを生成する、
モデル生成装置。

【0064】

（付記１１．２）
付記１１又は１１．１に記載のモデル生成装置であって、
前記学習部は、前記置換データから、前記置換値に置き換えられた前記実データ内の前記所定の値を予測する前記モデルを生成する、
モデル生成装置。

【0065】

（付記１１．３）
付記１１乃至１１．２のいずれかに記載のモデル生成装置であって、
前記学習部は、前記置換値と、当該置換値に置き換えられた前記実データ内の前記所定の値と、の差を損失値として算出し、前記置換データと前記損失値とに基づいて、前記置換値に置き換えられた前記実データ内の前記所定の値を予測する前記モデルを生成する、
モデル生成装置。

【0066】

（付記１１．４）
付記１１乃至１１．３のいずれかに記載のモデル生成装置であって、
前記データ生成部は、１つの所定期間の前記実データについて、当該実データ内の１つの時点における前記所定の値のみを前記置換値に置き換えて前記置換データを生成する、
モデル生成装置。

【0067】

（付記１１．５）
付記１１乃至１１．４のいずれかに記載のモデル生成装置であって、
前記データ生成部は、複数の所定期間の前記実データのそれぞれについて、当該実データ内の所定時点における前記所定の値を前記置換値に置き換えることで、複数の前記置換データを生成し、
前記学習部は、複数の前記実データと複数の前記置換データとに基づいて学習して前記モデルを生成する、
モデル生成装置。

【0068】

（付記１１．６）
付記１１．５に記載のモデル生成装置であって、
前記データ生成部は、複数の所定期間の前記実データのそれぞれについて、当該実データ内のそれぞれ異なる時点における前記所定の値を前記置換値に置き換えることで、複数の前記置換データを生成する、
モデル生成装置。

【0069】

（付記１１．７）
付記１１．５又は１１．６に記載のモデル生成装置であって、
前記学習部は、複数の前記実データと、当該複数の前記実データのそれぞれに対応する複数の前記置換データと、を同時に学習して前記モデルを生成する、
モデル生成装置。

【0070】

（付記１１．８）
付記１１．７に記載のモデル生成装置であって、
前記学習部は、前記実データ内における前記所定の値を前記置換値に置き換えた時点がそれぞれ異なる複数の前記実データと複数の前記置換データとを同時に学習して前記モデルを生成する、
モデル生成装置。

【0071】

（付記１２）
音響データの実データから、当該実データ中の所定の値を当該所定の値とは異なる値である置換値に置き換えた置換データを生成するデータ生成部と、
前記音響データの前記実データと前記置換データとを用いて学習して、所定の音響データからノイズを除去するモデルを生成する学習部と、
生成した前記モデルに対して所定の音響データを入力して、当該モデルからの出力を取得するノイズ除去部と、
を備えたノイズ除去装置。

【0072】

（付記１３）
情報処理装置に、
音響データの実データから、当該実データ中の所定の値を当該所定の値とは異なる値である置換値に置き換えた置換データを生成するデータ生成部と、
前記音響データの前記実データと前記置換データとを用いて学習して、所定の音響データからノイズを除去するモデルを生成する学習部と、
を実現させるためのプログラム。

【0073】

（付記１４）
情報処理装置に、
音響データの実データから、当該実データ中の所定の値を当該所定の値とは異なる値である置換値に置き換えた置換データを生成するデータ生成部と、
前記音響データの前記実データと前記置換データとを用いて学習して、所定の音響データからノイズを除去するモデルを生成する学習部と、
生成した前記モデルに対して所定の音響データを入力して、当該モデルからの出力を取得するノイズ除去部と、
を実現させるためのプログラム。

【0074】

なお、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

【0075】

以上、上記実施形態等を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることができる。

【符号の説明】

【0076】

１０ ノイズ除去装置
１１ 計測部
１２ クリッピング部
１３ 欠損生成部
１４ 学習部
１５ ノイズ除去部
１６ 音響データ記憶部
１７ モデル記憶部
１００ モデル生成装置
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ プログラム群
１０５ 記憶装置
１０６ ドライブ装置
１０７ 通信インタフェース
１０８ 入出力インタフェース
１０９ バス
１１０ 記憶媒体
１１１ 通信ネットワーク
１２１ データ生成部
１２２ 学習部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】