(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-14
(45)【発行日】2024-06-24
(54)【発明の名称】信号処理装置、信号処理方法およびプログラム
(51)【国際特許分類】
G06N 5/045 20230101AFI20240617BHJP
G06F 18/10 20230101ALI20240617BHJP
G06F 18/213 20230101ALI20240617BHJP
G06N 20/00 20190101ALI20240617BHJP
G06N 20/20 20190101ALI20240617BHJP
【FI】
G06N5/045
G06F18/10
G06F18/213
G06N20/00 130
G06N20/20
(21)【出願番号】P 2020011348
(22)【出願日】2020-01-28
【審査請求日】2022-03-14
(73)【特許権者】
【識別番号】000003078
【氏名又は名称】株式会社東芝
(73)【特許権者】
【識別番号】598076591
【氏名又は名称】東芝インフラシステムズ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】笹谷 典太
(72)【発明者】
【氏名】渡辺 隆志
(72)【発明者】
【氏名】小野 利幸
【審査官】渡辺 一帆
(56)【参考文献】
【文献】特開2019-128402(JP,A)
【文献】特開2016-143043(JP,A)
【文献】特表2019-532439(JP,A)
【文献】特開2007-241377(JP,A)
【文献】特開2018-031812(JP,A)
【文献】特開2009-140369(JP,A)
【文献】特開2010-020445(JP,A)
【文献】WORTSMAN, M et al.,“Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time”,arXiv.org [online],2022年,pp. 1-34,[retrieved on 2023.02.03], Retrieved from the Internet: <URL: https://arxiv.org/abs/2203.05482v3>,<DOI: 10.48550/arXiv.2203.05482>
(58)【調査した分野】(Int.Cl.,DB名)
G06N 5/045
G06F 18/10-18/15
G06F 18/213-18/2137
G06N 20/00-20/20
G06N 3/02-3/10
(57)【特許請求の範囲】
【請求項1】
第1信号に第2信号が重畳された第3信号、または、前記第3信号を変換した第4信号である入力信号を入力し、前記入力信号に基づいて、前記第1信号の特徴量を推定する特徴量推定部と、
前記特徴量に基づいて推論を実行し推論結果を出力する推論部と、
推定された前記特徴量を出力する出力制御部と、
を備え、
前記特徴量は、前記入力信号の特徴を表す、前記入力信号の形式とは異なる形式である、
信号処理装置。
【請求項2】
前記特徴量は、前記第1信号に含まれる複数の信号それぞれの頻度を表す頻度情報である、
請求項1に記載の信号処理装置。
【請求項3】
前記特徴量推定部は、前記入力信号を入力して前記特徴量を出力するように学習された第1学習モデルを用いて前記特徴量を推定し、
前記推論部は、前記特徴量を入力して前記推論結果を出力するように学習された第2学習モデルを用いて前記推論結果を出力し、
前記特徴量の正解を表す第1正解信号と、前記特徴量推定部が推定した前記特徴量との誤差である第1誤差、および、前記特徴量に基づく推論の正解を表す第2正解信号と、前記推論部が出力した推論結果との誤差である第2誤差、の少なくとも一方を算出する誤差算出部と、
前記第1誤差と前記第2誤差の少なくとも一方に基づいて前記第1学習モデルのパラメータを更新する処理、および、前記第2誤差に基づいて前記第2学習モデルのパラメータを更新する処理、の少なくとも一方を実行する更新部と、をさらに備える、
請求項1に記載の信号処理装置。
【請求項4】
前記更新部は、
前記第1誤差と前記第2誤差の少なくとも一方に調整係数を乗算し、
前記調整係数を乗算後の前記第1誤差と前記第2誤差との和に基づいて前記第1学習モデルのパラメータを更新する、
請求項3に記載の信号処理装置。
【請求項5】
前記更新部は、
前記調整係数の乗算を行った後の前記第1誤差が前記第2誤差より大きくなるように前記調整係数を設定する、
請求項4に記載の信号処理装置。
【請求項6】
前記更新部は、
前記第1学習モデルのパラメータの更新回数が増加するに従い、前記調整係数の乗算を行った後の前記第1誤差が減少し、前記調整係数の乗算を行った後の前記第2誤差が増加するように、前記調整係数の値を変更する、
請求項4に記載の信号処理装置。
【請求項7】
前記特徴量推定部は、複数の前記調整係数のそれぞれに基づいてパラメータが更新された複数の前記第1学習モデルおよび1つ以上の重み係数に基づいて前記特徴量を推定する、
請求項4に記載の信号処理装置。
【請求項8】
前記特徴量推定部は、複数の異なる指標に基づく複数の前記第1誤差それぞれに基づいてパラメータが更新された複数の前記第1学習モデルおよび1つ以上の重み係数に基づいて前記特徴量を推定する、
請求項3に記載の信号処理装置。
【請求項9】
前記特徴量推定部は、複数の前記第1学習モデルのそれぞれに基づいて得られた複数の特徴量を1つ以上の重み係数に基づいて加算し、加算結果を前記第1信号の特徴量の推定結果として出力する、
請求項7または8に記載の信号処理装置。
【請求項10】
前記特徴量推定部は、複数の前記第1学習モデルを1つ以上の重み係数に基づいて加算して得られる学習モデルを用いて前記特徴量を推定する、
請求項7または8に記載の信号処理装置。
【請求項11】
指定された前記重み係数を取得する取得部と、
前記取得部により取得された前記重み係数を用いて推定された前記特徴量を表示装置に表示する出力制御部と、をさらに備える、
請求項7または8に記載の信号処理装置。
【請求項12】
前記特徴量と前記推論結果とを対応づけた複数の記憶データを記憶する記憶部と、
前記特徴量推定部により推定された前記特徴量と類似する特徴量が対応づけられた1以上の前記記憶データを前記記憶部から読み出し、読み出した前記記憶データと、前記特徴量推定部により推定された前記特徴量と、を表示装置に表示する出力制御部と、をさらに備える、
請求項1に記載の信号処理装置。
【請求項13】
前記出力制御部は、前記記憶データに含まれる前記特徴量を表示する座標軸と、前記特徴量推定部により推定された前記特徴量を表示する座標軸と、を一致させる、
請求項12に記載の信号処理装置。
【請求項14】
前記特徴量に基づいて、前記推論部による推論を実行するか否かを判定する判定部を更に備え、
前記推論部は、前記推論を実行すると判定された場合に、前記推論を実行する、
請求項1に記載の信号処理装置。
【請求項15】
信号処理装置によって実行される信号処理方法であって、
第1信号に第2信号が重畳された第3信号、または、前記第3信号を変換した第4信号である入力信号を入力し、前記入力信号に基づいて、前記第1信号の特徴量を推定する特徴量推定ステップと、
前記特徴量に基づいて推論を実行し推論結果を出力する推論ステップと、
推定された前記特徴量を出力する出力制御ステップと、
を含み、
前記特徴量は、前記入力信号の特徴を表す、前記入力信号の形式とは異なる形式である、
信号処理方法。
【請求項16】
コンピュータに、
第1信号に第2信号が重畳された第3信号、または、前記第3信号を変換した第4信号である入力信号を入力し、前記入力信号に基づいて、前記第1信号の特徴量を推定する特徴量推定ステップと、
前記特徴量に基づいて推論を実行し推論結果を出力する推論ステップと、
推定された前記特徴量を出力する出力制御ステップと、
を実行させ、
前記特徴量は、前記入力信号の特徴を表す、前記入力信号の形式とは異なる形式である、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、信号処理装置、信号処理方法およびプログラムに関する。
【背景技術】
【0002】
近年、自然画像の認識タスクを中心にニューラルネットワークの有効性が確認されている。ニューラルネットワークは、自然画像(2次元画像など)だけでなく、1次元信号(時系列信号)を変換して得られる特徴量を入力とする電気設備の故障診断(故障分類)および音声信号の話者分類など広範に応用可能であることが示されている。
【0003】
これらの技術はノイズを含まない理想的な信号が入力されることを想定しているため、ノイズを含む信号が入力されうる実環境では分類性能が低下する。そのため、ノイズを除去し理想的な信号を得るためのデノイズ技術が開発されている。デノイズ技術として、ニューラルネットワークを用いた手法も多数提案されている。例えば、自然画像からノイズを低減した画像をニューラルネットワークにより生成し、生成された画像を認識タスク用のニューラルネットワークに入力して認識タスクを実行する技術が提案されている。
【先行技術文献】
【非特許文献】
【0004】
【文献】E.Gulski, et al., “Neural networks as a tool for recognition of partial discharges”, IEEE Transactions on Electrical Insulation, Vol.28 No.6, December, 1993.
【文献】笹谷 典太他、“AI技術を適用したスイッチギヤ絶縁診断技術の開発3~部分放電検出のためのデノイズ技術”,平成31年電気学会全国大会論文集, (2019-03-01) , 6-055.
【文献】Ding Liu, et al., “When Image Denoising Meets High-Level Vision Tasks: A Deep Learning Approach”, Proceedings of the Twenty-Seventh International Joint Conference on Artificial Intelligence Main track. Pages 842-848.
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、従来技術では、認識タスク等を実行するニューラルネットワークの処理結果の妥当性(判断根拠等)を適切に把握できない場合があった。例えば、ノイズが低減された画像を入力して認識タスクを実行する構成では、仮にこの画像を表示したとしても、ユーザは、認識タスクが出力した認識結果の妥当性を把握することができない。
【課題を解決するための手段】
【0006】
実施形態の信号処理装置は、特徴量推定部と、推論部と、を備える。特徴量推定部は、第1信号に第2信号が重畳された第3信号、または、第3信号を変換した第4信号である入力信号を入力し、入力信号に基づいて、第1信号の特徴量を推定する。推論部は、特徴量に基づいて推論を実行し推論結果を出力する。
【図面の簡単な説明】
【0007】
【
図1】第1の実施形態にかかる信号処理装置のブロック図。
【
図2】第1の実施形態における信号処理のフローチャート。
【
図3】第2の実施形態にかかる信号処理装置のブロック図。
【
図4】第2の実施形態における学習処理のフローチャート。
【
図5】第3の実施形態にかかる信号処理装置のブロック図。
【
図6】第3の実施形態の特徴量推定部のブロック図。
【
図7】第3の実施形態における特徴量推定処理のフローチャート。
【
図8】第4の実施形態にかかる信号処理装置のブロック図。
【
図9】第4の実施形態の特徴量推定部のブロック図。
【
図10】第4の実施形態における特徴量推定処理のフローチャート。
【
図11】第5の実施形態にかかる信号処理装置のブロック図。
【
図14】第5の実施形態における信号処理のフローチャート。
【
図15】第6の実施形態にかかる信号処理装置のブロック図。
【
図17】第6の実施形態における信号処理のフローチャート。
【
図18】第1から第6の実施形態にかかる信号処理装置のハードウェア図。
【発明を実施するための形態】
【0008】
以下に添付図面を参照して、この発明にかかる信号処理装置の好適な実施形態を詳細に説明する。
【0009】
以下の実施形態の信号処理装置は、例えば機器から得られる信号に基づいて、この機器の異常、故障または状態などを診断する装置(診断システム)に適用できる。このような診断システムとしては、例えばスイッチギヤの絶縁劣化時に生じる部分放電信号を解析して故障を診断するシステムなどが挙げられる。適用可能な装置(システム)はこれらに限られるものではない。例えば、音声信号に基づいて音声認識などのタスクを実行する装置に適用することもできる。
【0010】
(第1の実施形態)
第1の実施形態にかかる信号処理装置は、ノイズを含む入力信号のノイズを低減した信号を出力するのではなく、ノイズを含む入力信号のノイズを低減した信号の特徴量を出力する。そして第1の実施形態にかかる信号処理装置は、出力された特徴量を用いて認識タスク等を実行する。信号ではなく特徴量が出力されるため、認識タスク等の処理結果の妥当性をより適切に把握可能となる。
【0011】
図1は、第1の実施形態にかかる信号処理装置100の構成の一例を示すブロック図である。
図1に示すように、信号処理装置100は、取得部101と、特徴量推定部102と、推論部103と、出力制御部104と、記憶部121と、を備えている。
【0012】
取得部101は、信号処理装置100による各種処理で用いられる各種情報を取得する。例えば取得部101は、特徴量推定部102に入力する入力信号を取得する。入力信号は、対象信号(第1信号)に不要信号(第2信号)が重畳された信号(第3信号)、または、この信号(第3信号)を変換した信号(第4信号)である。対象信号に不要信号が重畳された信号は、例えば時系列信号などの1次元信号であってもよい。
【0013】
対象信号および不要信号は、例えば以下のような組み合わせがありうる。
組み合わせ1:
対象信号=診断対象機器の絶縁破壊時に生じる部分放電信号(電気信号)
不要信号=診断対象機器の周辺機器などから生じたノイズ
組み合わせ2:
対象信号=対象としている話者の発話の音声信号
不要信号=対象としている話者以外の発話の音声信号
【0014】
対象信号に不要信号が重畳された信号を変換した信号は、例えば、スペクトログラム、スカログラム、および、ケプストラムである。
【0015】
特徴量推定部102は、取得された入力信号に基づいて、対象信号の特徴量を推定する。特徴量推定部102は、例えば入力信号を入力し、対象信号の特徴量を出力するように学習されたモデル(第1学習モデル)を用いて、特徴量を推定する。特徴量推定部102のモデルは、例えばニューラルネットワーク、サポートベクタマシン(SVM)、および、ランダムフォレストのいずれか、または、これらのうち2つ以上の組み合わせである。
【0016】
特徴量は、例えば、対象信号に含まれる複数の信号それぞれの頻度を表す頻度情報である。頻度情報は、例えば、φ-q-nパターン、および、スペクトログラムである。特徴量は、入力信号の形式とは異なる形式とする。例えばスペクトログラムを入力信号として用いる場合は、特徴量推定部102は、この入力信号と異なる形式の頻度情報(例えばφ-q-nパターン)を特徴量として推定する。頻度情報などの特徴量は、信号の特徴を表すため、例えば信号自体と比較して、推論処理の結果の妥当性をより適切に把握可能な情報である。例えばユーザは、正しく処理された場合の特徴量と、信号処理装置100により得られた特徴量とを比較することにより、信号処理装置100による処理の妥当性をより適切に把握できる。
【0017】
推論部103は、特徴量推定部102により推定された特徴量に基づいて推論を実行し推論結果を出力する。推論部103は、例えば特徴量を入力して推論結果を出力するように学習されたモデル(第2学習モデル)を用いて推論結果を出力する。推論部103のモデルは、例えばニューラルネットワーク、SVM、および、ランダムフォレストのいずれか、または、これらのうち2つ以上の組み合わせである。
【0018】
推論部103が推論として、対象信号の分類または認識を行う場合、推論結果は、例えば分類または認識されたクラス(正解クラス)を表すベクトルまたはスカラー値である。推論部103が推論として、音声信号である対象信号のキャプショニングまたは機械翻訳を行う場合、推論結果は、例えば正解となる単語のインデックスを表すベクトルである。正解クラスおよび正解となる単語のインデックスなどの推論結果は、対象情報の属性を示す属性情報であると解釈することもできる。
【0019】
出力制御部104は、信号処理装置100による各種処理で得られる各種情報の出力を制御する。例えば出力制御部104は、推論部103による推論結果、および、推論時に特徴量推定部102から出力された特徴量を、推論結果および特徴量を用いる外部の装置、表示装置、並びに、記憶部121などに出力する。表示装置は、信号処理装置100内に備えられてもよい。
【0020】
記憶部121は、信号処理装置100による各種処理で得られる各種情報を記憶する。例えば記憶部121は、取得部101により取得された各種情報、特徴量推定部102のモデルのパラメータ、および、推論部103のモデルのパラメータを記憶する。記憶部121は、フラッシュメモリ、メモリカード、RAM(Random Access Memory)、HDD(Hard Disk Drive)、および、光ディスクなどの一般的に利用されているあらゆる記憶媒体により構成することができる。
【0021】
記憶部121以外の各部(取得部101、特徴量推定部102、推論部103、および、出力制御部104)は、例えば、1または複数のプロセッサにより実現される。例えば上記各部は、CPU(Central Processing Unit)などのプロセッサにプログラムを実行させること、すなわちソフトウェアにより実現してもよい。上記各部は、専用のIC(Integrated Circuit)などのプロセッサ、すなわちハードウェアにより実現してもよい。上記各部は、ソフトウェアおよびハードウェアを併用して実現してもよい。複数のプロセッサを用いる場合、各プロセッサは、各部のうち1つを実現してもよいし、各部のうち2以上を実現してもよい。
【0022】
また信号処理装置100は、物理的に1つの装置によって構成されてもよいし、物理的に複数の装置によって構成されてもよい。例えば信号処理装置100は、クラウド環境上で構築されてもよい。また、信号処理装置100内の各部を複数の装置に分散して備えてもよい。例えば、特徴量の推定に必要な機能(取得部101、特徴量推定部102など)を備える装置(例えば、診断対象機器)と、推論に必要な機能(推論部103など)を備える装置(例えば、サーバ装置など)と、を備えるように信号処理装置100(信号処理システム)を構成してもよい。
【0023】
次に、このように構成された第1の実施形態にかかる信号処理装置100による信号処理について説明する。
図2は、第1の実施形態における信号処理の一例を示すフローチャートである。
【0024】
取得部101は、入力信号を取得する(ステップS101)。特徴量推定部102は、事前に学習された特徴量推定部102のモデルを用いて、取得された入力信号から特徴量を推定する(ステップS102)。推論部103は、事前に学習された推論部103のモデルを用いて、推定された特徴量を用いた推論を実行する(ステップS103)。出力制御部104は、推定された特徴量、および、推論部103による推論結果を出力する(ステップS104)。出力制御部104は、例えば表示装置に、推定された特徴量を出力(表示)する。例えばユーザは、表示された特徴量を参照することにより、推論部103による推論結果の妥当性を判断することができる。
【0025】
このように、第1の実施形態では、推論部による推論の前段の処理で、ノイズを含む入力信号のノイズを低減した信号の特徴量が出力される。また、この特徴量が出力制御部により出力される。これにより、推論部の推論結果の妥当性をより適切に把握可能となる。
【0026】
(第2の実施形態)
第2の実施形態にかかる信号処理装置は、特徴量推定部102のモデルおよび推論部103のモデルを学習する機能をさらに備える。
【0027】
図3は、第2の実施形態にかかる信号処理装置100-2の構成の一例を示すブロック図である。
図3に示すように、信号処理装置100-2は、取得部101-2と、特徴量推定部102と、推論部103と、出力制御部104と、誤差算出部105-2と、更新部106-2と、記憶部121と、を備えている。
【0028】
第2の実施形態では、取得部101-2の機能、および、誤差算出部105-2と更新部106-2とを追加したことが第1の実施形態と異なっている。その他の構成および機能は、第1の実施形態にかかる信号処理装置100のブロック図である
図1と同様であるので、同一符号を付し、ここでの説明は省略する。
【0029】
取得部101-2は、学習に用いられる正解信号をさらに取得する点が、第1の実施形態の取得部101と異なっている。例えば取得部101-2は、特徴量推定部102のモデルの学習に用いられる正解信号(第1正解信号)として、入力信号に含まれる対象信号の特徴量を取得する。また取得部101-2は、推論部103のモデルの学習に用いられる正解信号(第2正解信号)として、入力信号に含まれる対象信号の推論結果(正解クラスおよび正解となる単語のインデックスなど)を取得する。
【0030】
誤差算出部105-2は、学習に用いられる誤差を算出する。例えば誤差算出部105-2は、特徴量推定部102のモデルの学習に用いる誤差として、対象信号の特徴量を表す正解信号と、特徴量推定部102が推定した特徴量との誤差EA(第1誤差)を算出する。また、誤差算出部105-2は、推論部103のモデルの学習に用いる誤差として、特徴量に基づく推論の正解信号と、推論部103が出力した推論結果との誤差EB(第2誤差)を算出する。
【0031】
誤差算出部105-2は、上記2種類の誤差のうち、学習の対象とするモデルの学習に必要な誤差のみを算出してもよい。
【0032】
特徴量推定部102のモデルの学習に用いる誤差EAは、例えば以下のうちいずれか、または、これらのうち2つ以上を組み合わせた指標とすることができる。
・L1ロス
・L2ロス
・Charbonnierロス
・Huberロス
・Bray-Curtis距離
・Canberra距離
・Earth Mover Distance(Wasserstein Distance)
・コサイン類似度
・Histogram Intersection
・KL divergence
・Js divergence
【0033】
推論部103のモデルの学習に用いる誤差EBは、例えば交差エントロピーである。
【0034】
更新部106-2は、誤差算出部105-2により算出された誤差を用いて、対応するモデルのパラメータを更新する。例えば更新部106-2は、特徴量推定部102のモデルを学習する場合、誤差EAおよび誤差EBの少なくとも一方を用いて、誤差をより小さくするようにモデルのパラメータを更新する。また更新部106-2は、推論部103のモデルを学習する場合、誤差EBを用いて、誤差をより小さくするようにモデルのパラメータを更新する。
【0035】
このように、更新部106-2は、誤差EAと誤差EBの少なくとも一方に基づいて特徴量推定部102のモデルのパラメータを更新する処理、および、誤差EBに基づいて推論部103のモデルのパラメータを更新する処理、の少なくとも一方を実行する。
【0036】
学習方法は、使用するモデルに対して適応できるどのような方法であってもよい。例えばモデルがニューラルネットワークである場合、更新部106-2は、確率的勾配降下法によりニューラルネットワークのパラメータを更新することができる。
【0037】
次に、このように構成された第2の実施形態にかかる信号処理装置100-2による学習処理について4を用いて説明する。
図4は、第2の実施形態における学習処理の一例を示すフローチャートである。
【0038】
取得部101-2は、入力信号を取得する(ステップS201)。特徴量推定部102は、特徴量推定部102のモデルを用いて、取得された入力信号から特徴量を推定する(ステップS202)。推論部103は、推論部103のモデルを用いて、推定された特徴量を用いた推論を実行する(ステップS203)。
【0039】
更新部106-2は、特徴量推定部102のモデルの誤差を算出するか否かを判定する(ステップS204)。例えば更新部106-2は、特徴量推定部102のモデルおよび推論部103のモデルのいずれを学習するかを示す設定情報などを参照し、特徴量推定部102のモデルを学習することが設定されている場合に、特徴量推定部102のモデルの誤差を算出すると判定する。設定情報は、予め記憶部121などに記憶されてもよいし、ユーザなどにより指定されてもよい。
【0040】
特徴量推定部102のモデルの誤差を算出すると判定された場合(ステップS204:Yes)、取得部101-2は、特徴量推定部102のモデルの学習に用いられる正解信号としての特徴量を取得する(ステップS205)。正解信号は、例えば、ステップS201で取得された入力信号に対する正解として予め求められた信号である。誤差算出部105-2は、特徴量推定部102により推定された特徴量と、正解信号である特徴量との誤差EAを算出する(ステップS206)。
【0041】
ステップS204からステップS206までの処理と独立に、推論部103のモデルに対して以下のステップS207からステップS209までの処理が実行される。なおこれらの処理は
図4に示すように並列に実行されてもよい。一方の処理の後に他方の処理が実行されてもよい。
【0042】
更新部106-2は、推論部103のモデルの誤差を算出するか否かを判定する(ステップS207)。例えば更新部106-2は、設定情報などを参照し、推論部103のモデルを学習することが設定されている場合に、推論部103のモデルの誤差を算出すると判定する。
【0043】
推論部103のモデルの誤差を算出すると判定された場合(ステップS207:Yes)、取得部101-2は、推論部103のモデルの学習に用いられる正解信号としての推論結果を取得する(ステップS208)。誤差算出部105-2は、推論部103により出力された推論結果と、正解信号である推論結果との誤差EBを算出する(ステップS209)。
【0044】
特徴量推定部102のモデルの誤差を算出しないと判定された場合(ステップS204:No)、推論部103のモデルの誤差を算出しないと判定された場合(ステップS207:No)、誤差EAの算出後(ステップS206)、および、誤差EBの算出後(ステップS209)、更新部106-2は、算出された誤差を用いて、学習すると指定されたモデルのパラメータを更新する(ステップS210)。
【0045】
例えば更新部106-2は、誤差EAおよび誤差EBの両方を用いて特徴量推定部102のモデルを学習することが指定されている場合、誤差EAおよび誤差EBの両方を含む誤差をより小さくするように、特徴量推定部102のモデルのパラメータを更新する。誤差EAおよび誤差EBの両方を含む誤差は、例えば、誤差EAおよび誤差EBの少なくとも一方に調整係数を乗算し、乗算後の誤差EAおよび誤差EBの和を求めることにより算出される。
【0046】
調整係数は、例えば、調整係数を乗算後の誤差EAと誤差EBにおいて、誤差EAの方が大きくなるように値が設定される。誤差EBが大きいと特徴量推定部102の学習が進まず、特徴量の精度が上がらない場合がある。誤差EAの方が大きくなるように調整することにより、学習の停滞を防ぐことができる。また、特徴量推定部102の学習モデルのパラメータの更新回数が増えるにつれて、誤差EBが大きくなるように調整係数を動的に設定してもよい。例えば、更新部106-2は、更新回数が増加するに従い、調整係数の乗算を行った後の誤差EAが減少し、調整係数の乗算を行った後の誤差EBが増加するように、調整係数の値を変更してもよい。これにより、特徴量の精度を維持しながら、推論部103が着目している部分を優先的に復元できるようになるため、解釈性の高い特徴量が出力されるようになる。
【0047】
更新部106-2は、誤差EAおよび誤差EBのいずれか一方を用いて特徴量推定部102のモデルを学習することが指定されている場合、指定された誤差をより小さくするように、特徴量推定部102のモデルのパラメータを更新する。この場合、調整係数は用いられない。
【0048】
また、更新部106-2は、誤差EBを用いて推論部103のモデルを学習することが指定されている場合、誤差EBをより小さくするように、推論部103のモデルのパラメータを更新する。
【0049】
特徴量推定部102のモデルおよび推論部103のモデルの両方を学習することが指定されている場合、更新部106-2は、両方のモデルを学習する。
【0050】
なお、誤差EAが小さくなるように特徴量推定部102のモデルを学習することは、特徴量の復元精度が高くなるように特徴量推定部102のモデルを学習することを意味する。また、誤差EBが小さくなるように推論部103のモデルを学習することは、推論精度が高くなるように推論部103のモデルを学習することを意味する。
【0051】
更新部106-2は、学習を終了するか否かを判定する(ステップS211)。例えば更新部106-2は、学習の繰り返しの回数が上限値に達したかなどにより、学習の終了を判定する。学習を終了しない場合(ステップS211:No)、ステップS201に戻り処理が繰り返される。学習を終了する場合(ステップS211:Yes)、
図4の学習処理が終了する。
【0052】
このように、第2の実施形態にかかる信号処理装置では、ノイズを含んだ入力信号に対しても推論部103のモデルによる推論が可能となり、かつ、推論の判断根拠となる特徴量の復元精度が高くなるように各モデルを学習することができる。
【0053】
(第3の実施形態)
第3の実施形態では、特徴量推定部が2つ以上のモデルを用いて特徴量を推定する。以下では、2つのモデルを用いる例を説明するが、3以上のモデルについても同様の手順を適用できる。
【0054】
図5は、第3の実施形態にかかる信号処理装置100-3の構成の一例を示すブロック図である。
図5に示すように、信号処理装置100-3は、取得部101と、特徴量推定部102-3と、推論部103と、出力制御部104と、記憶部121と、を備えている。
【0055】
第3の実施形態では、特徴量推定部102-3の機能が第1の実施形態と異なっている。その他の構成および機能は、第1の実施形態にかかる信号処理装置100のブロック図である
図1と同様であるので、同一符号を付し、ここでの説明は省略する。
【0056】
図6は、特徴量推定部102-3の構成の一例を示すブロック図である。
図6に示すように、特徴量推定部102-3は、推定部301、302と、加算部303と、を備えている。
【0057】
推定部301は、複数の特徴量推定用のモデルのうちの1つであるモデルMAを用いて特徴量を推定する。推定部302は、複数の特徴量推定用のモデルのうちモデルMAと異なるモデルMBを用いて特徴量を推定する。なお、複数の特徴量推定用のモデルの情報(パラメータなど)は、例えば記憶部121に記憶される。
【0058】
モデルMAおよびモデルMBは、例えば、構造は同じであるが異なるパラメータを有するように学習される。例えばモデルMAおよびモデルMBは、上記のような誤差EAの複数の指標のうち相互に異なる指標に基づく2つの誤差に基づいて、同じ構造を持つモデルのパラメータをそれぞれ更新することにより求められる。モデルMAおよびモデルMBは、誤差EAおよび誤差EBの少なくとも一方に乗じる調整係数として相互に異なる値を用いて求められた2つの誤差に基づいて同じ構造を持つモデルのパラメータをそれぞれ更新することにより求められてもよい。
【0059】
例えばモデルMAが、誤差EAの方が大きくなるように設定された調整係数を用いて学習され、モデルMBが、誤差EBの方が大きくなるように設定された調整係数を用いて学習されてもよい。これにより、モデルMAは、特徴量の復元精度がより高くなるように学習されたモデルとなる。また、モデルMBは、推論精度がより高くなるように学習されたモデルとなる。
【0060】
加算部303は、1つ以上の重み係数に基づく加算処理を行う。例えば加算部303は、モデルMAに基づいて得られた特徴量FAと、モデルMBに基づいて得られた特徴量FBと、の少なくとも一方に重み係数を乗算し、特徴量FAおよび特徴量FBを要素ごとに加算した値を、入力信号に対する特徴量の推定結果として出力する。
【0061】
例えば加算部303は、以下の(1)式から(3)式のいずれかにより、モデルMAに基づく特徴量FAと、モデルMBに基づく特徴量FBとを加算した特徴量Fを算出する。α1、β1は重み係数である。
F=α1FA+FB ・・・(1)
F=FA+α1FB ・・・(2)
F=α1FA+β1FB ・・・(3)
【0062】
第3の実施形態にかかる信号処理装置100-3による信号処理の全体の流れは、第1の実施形態にかかる信号処理装置100の信号処理の例を示す
図2と同様である。第3の実施形態では、例えば
図2に示すような信号処理のステップS102(以下、特徴量推定処理という)の具体的な処理が第1の実施形態と異なる。
図7は、第3の実施形態における特徴量推定処理の一例を示すフローチャートである。
【0063】
推定部301は、モデルMAに基づいて入力信号から特徴量を推定し、推定部302は、モデルMBに基づいて入力信号から特徴量を推定する(ステップS301)。加算部303は、推定部301および推定部302それぞれにより推定された複数の特徴量を重み付け加算し、入力信号に対する特徴量として出力する(ステップS302)。
【0064】
このように、第3の実施形態では、2つ以上のモデルを用いて特徴量が推定される。2つ以上のモデル、および、2つ以上のモデルにより推定された特徴量を重み付けする重み付け係数を適切に設定することにより、所望の特徴量の復元精度、および、所望の推論精度となるように信号処理装置を構成可能となる。
【0065】
(第4の実施形態)
第4の実施形態では、第3の実施形態同様に、特徴量推定部が2つ以上のモデルを用いて特徴量を推定する。第3の実施形態では、2つ以上のモデルにより推定された複数の特徴量を重み付け加算した。本実施形態では、2つ以上のモデルのパラメータを重み付け加算して1つのモデルを生成し、生成したモデルを用いて特徴量を推定する。以下では、2つのモデルを用いる例を説明するが、3以上のモデルについても同様の手順を適用できる。
【0066】
図8は、第4の実施形態にかかる信号処理装置100-4の構成の一例を示すブロック図である。
図8に示すように、信号処理装置100-4は、取得部101と、特徴量推定部102-4と、推論部103と、出力制御部104と、記憶部121と、を備えている。
【0067】
第3の実施形態では、特徴量推定部102-4の機能が第1の実施形態と異なっている。その他の構成および機能は、第1の実施形態にかかる信号処理装置100のブロック図である
図1と同様であるので、同一符号を付し、ここでの説明は省略する。
【0068】
図9は、特徴量推定部102-4の構成の一例を示すブロック図である。
図9に示すように、特徴量推定部102-4は、加算部401と、推定部402と、を備えている。
【0069】
加算部401は、1つ以上の重み係数に基づく加算処理を行う。例えば加算部401は、複数の特徴量推定用のモデルのうちの2つであるモデルMAおよびモデルMBのパラメータを重み付け加算する。なお、複数の特徴量推定用のモデルの情報(パラメータなど)は、例えば記憶部121に記憶される。第3の実施形態と同様に、モデルMAおよびモデルMBは、例えば、構造は同じであるが異なるパラメータを有するように学習される。
【0070】
例えば加算部401は、以下の(4)式または(5)式により、モデルMAのパラメータw1と、モデルMBのパラメータw2とを加算したパラメータwを算出する。α2、β2は重み係数である。
w=α2w1+(1-α2)w2 ・・・(4)
w=α2w1+β2w2 ・・・(5)
【0071】
なお、(4)式は、2つのモデルを重み係数α2により内挿する式と解釈することができる。
【0072】
推定部402は、加算部401により得られたパラメータを有するモデルを用いて特徴量を推定し、入力信号に対する特徴量の推定結果として出力する。
【0073】
第4の実施形態にかかる信号処理装置100-4による信号処理の全体の流れは、第1の実施形態にかかる信号処理装置100の信号処理の例を示す
図2と同様である。第4の実施形態では、例えば
図2に示すような信号処理のステップS102(特徴量推定処理)の具体的な処理が第1の実施形態と異なる。
図10は、第4の実施形態における特徴量推定処理の一例を示すフローチャートである。
【0074】
加算部401は、例えば記憶部121から2つのモデルのモデル情報(パラメータなど)を取得し、2つのモデルのパラメータを重み付け加算する(ステップS401)。推定部402は、重み付け加算により得られたパラメータを有する1つのモデルに入力信号を入力し、特徴量を推定する(ステップS402)。
【0075】
このように、第4の実施形態では、2つ以上のモデルを用いて特徴量が推定される。2つ以上のモデル、および、2つ以上のモデルのパラメータを重み付けするときの重み付け係数を適切に設定することにより、所望の特徴量の復元精度、および、所望の推論精度となるように信号処理装置を構成可能となる。
【0076】
(第5の実施形態)
第5の実施形態にかかる信号処理装置は、モデルによる処理結果の妥当性(判断根拠等)をより適切に把握できるように、処理結果(特徴量、推論結果など)を出力する。
【0077】
図11は、第5の実施形態にかかる信号処理装置100-5の構成の一例を示すブロック図である。
図11に示すように、信号処理装置100-5は、取得部101-5と、特徴量推定部102と、推論部103と、出力制御部104-5と、記憶部121-5と、を備えている。
【0078】
第5の実施形態では、取得部101-5、出力制御部104-5および記憶部121-5の機能が第1の実施形態と異なっている。その他の構成および機能は、第1の実施形態にかかる信号処理装置100のブロック図である
図1と同様であるので、同一符号を付し、ここでの説明は省略する。
【0079】
記憶部121-5は、対象信号の特徴量と、この特徴量に基づく推論結果とを対応づけた複数の記憶データをさらに記憶する点が、第1の実施形態の記憶部121と異なっている。
【0080】
取得部101-5は、使用する重み係数、および、使用するモデルを指定する指定情報の少なくとも一方をさらに取得する点が、第1の実施形態の取得部101と異なっている。
【0081】
なお、重み係数は、例えば第3の実施形態、および、第4の実施形態で用いられる重み係数を意味する。従って、重み係数を用いる場合は、本実施形態の特徴量推定部102は、第3の実施形態の特徴量推定部102-3、または、第4の実施形態の特徴量推定部102-4に置き換えられる。
【0082】
出力制御部104-5は、モデルによる処理結果の妥当性を把握可能とするための表示情報を表示装置などに出力する機能をさらに備える。例えば出力制御部104-5は、取得された指定情報に応じて、特徴量推定部102により推定された特徴量、推論部103により出力された推論結果、記憶データに含まれる特徴量、および、記憶データに含まれる推論結果の少なくとも1つを表示する。
【0083】
例えば出力制御部104-5は、記憶部121-5に記憶された記憶データのうち、信号処理により得られる特徴量と類似する特徴量を含む1以上の記憶データを記憶部121-5から読み出し、読み出した記憶データを、信号処理により得られる特徴量および推論結果の少なくとも一方とともに表示する。
【0084】
図12は、表示される画面の一例を示す図である。
図12は、特徴量としてφ-q-nパターンを表示し、推論結果として分類されたクラスを表示する画面の例を示す。
【0085】
特徴量1201および推論結果1202は、それぞれ特徴量推定部102により推定された特徴量、および、推論部103により出力された推論結果を表す。これらの右に表示された特徴量1211a~1211c、および、推論結果1212a~1212cは、記憶部121-5に記憶された記憶データのうち、特徴量1201に対する誤差が小さい(類似する)順に選択された3つの特徴量を含む記憶データに含まれる特徴量および推論結果である。類似する記憶データの個数は3に限られるものではない。
【0086】
出力制御部104-5は、
図12に示すように、各特徴量を表示する座標軸が一致するように各特徴量を表示してもよい。
図12では、φ-q-nパターンである特徴量の横軸(位相φの軸)の基準を揃えて表示する例が示されている。
【0087】
また、出力制御部104-5は、指定された重み係数に応じて表示を変更してもよい。例えば出力制御部104-5は、指定情報で指定された重み係数を用いて信号処理が実行されたときの特徴量、および、推論結果を表示する。指定情報が変更された場合、出力制御部104-5は、変更後の指定情報で指定された重み係数を用いて信号処理が実行されたときの特徴量、および、推論結果で表示を切り替える。
【0088】
図13は、表示画面を切り替える例を示す図である。スライドバー1302は、重み係数を指定するために用いられる。特徴量1301は、スライドバー1302で指定された重み係数を用いた処理で得られる特徴量を表す。例えばスライドバーが右に移動されるほど、重み係数を乗算後のモデルMBに基づく特徴量FBの方がモデルMAに基づく特徴量FAより大きくなるように重み係数の値が設定される。
【0089】
これにより、モデルMBの影響をより大きくした場合の特徴量を表示させることができる。
図13では、スライドバー1312に示すように重み係数の指定が変更されたときの特徴量1311の例が示されている。モデルMBが、推論精度がより高くなるように学習されたモデルである場合は、φ-q-nパターンの各画素のうち、推論部103による推論で着目されている画素がより強調表示される。これにより、推論を実行するモデルの結果の妥当性(判断根拠等)をより適切に把握可能となる。
【0090】
なお、
図12と
図13の表示方法を組み合わせてもよい。例えば、出力制御部104-5は、
図12の特徴量1201の下に、
図13のようなスライドバー1302を表示し、重み係数を指定可能としてもよい。
【0091】
次に、このように構成された第5の実施形態にかかる信号処理装置100-5による信号処理について
図14を用いて説明する。
図14は、第5の実施形態における信号処理の一例を示すフローチャートである。
図14は、重み係数を変更可能とする場合の表示処理を含む信号処理の例を示す。
【0092】
取得部101-5は、入力信号、および、使用するモデルを示す指定情報を取得する(ステップS501)。取得部101-5は、取得した指定情報を参照して、使用するモデルの個数が2以上であるかを判定する(ステップS502)。
【0093】
使用するモデルの個数が2以上である場合(ステップS502:Yes)、取得部101-5は、重み係数を示す指定情報を取得する(ステップS503)。特徴量推定部(特徴量推定部102-3または特徴量推定部102-4)は、指定されたモデルおよび重み係数を用いて、入力信号から特徴量を推定する(ステップS504)。この処理は、
図7または
図10の特徴量推定処理に相当する。
【0094】
推論部103は、事前に学習された推論部103のモデルを用いて、推定された特徴量を用いた推論を実行する(ステップS505)。出力制御部104-5は、推定された特徴量、および、推論部103による推論結果を、例えば
図13に示すような表示画面により表示する(ステップS506)。
【0095】
取得部101-5は、例えば
図13に示すような表示画面で重み係数が変更されたか否かを判定する(ステップS507)。変更されず、例えば表示の終了などが指定された場合は(ステップS507:No)、信号処理が終了する。
【0096】
重み係数が変更された場合(ステップS507:Yes)、ステップS503に戻り、変更後の重み係数を用いて処理が繰り返される。すなわち、変更後の重み係数により表示が切り替えられる。
【0097】
ステップS502で使用するモデルの個数が2以上でない、すなわち、個数が1であると判定された場合(ステップS502:No)、特徴量推定部102は、指定されたモデルを用いて、入力信号から特徴量を推定する(ステップS508)。この処理は、
図2のステップS102と同様の処理に相当する。
【0098】
推論部103は、事前に学習された推論部103のモデルを用いて、推定された特徴量を用いた推論を実行する(ステップS509)。出力制御部104-5は、推定された特徴量、および、推論部103による推論結果を、例えば
図12に示すような表示画面により表示する(ステップS510)。
【0099】
このように、第5の実施形態にかかる信号処理装置では、モデルによる処理結果の妥当性をより適切に把握できるように処理結果を出力することができる。
【0100】
(第6の実施形態)
第6の実施形態にかかる信号処理装置は、特徴量に基づいて推論を実行するか否かを判定する機能をさらに備える。
【0101】
図15は、第6の実施形態にかかる信号処理装置100-6の構成の一例を示すブロック図である。
図8に示すように、信号処理装置100-6は、取得部101と、特徴量推定部102と、判定部107-6と、推論部103と、出力制御部104と、記憶部121と、を備えている。
【0102】
第6の実施形態では、判定部107-6を追加したことが第1の実施形態と異なっている。その他の構成および機能は、第1の実施形態にかかる信号処理装置100のブロック図である
図1と同様であるので、同一符号を付し、ここでの説明は省略する。
【0103】
判定部107-6は、特徴量推定部102により推定された特徴量に基づいて、推論部103による推論を実行するか否かを判定する。例えば特徴量として、対象信号に含まれる複数の信号それぞれの頻度を表す頻度情報(例えば、φ-q-nパターン、および、スペクトログラム)が用いられる場合、判定部107-6は、頻度情報に含まれる各要素の総和(異常度)と、予め定められた閾値とを比較し、総和が閾値より大きい場合に、推論を実行すると判定する。
【0104】
絶縁破壊時に生じる部分放電信号を対象信号とする場合、頻度情報が少ないことは、部分放電信号が少ないことを意味する。このような場合は、推論を実行しても、故障を診断することができない。従って、総和が閾値より大きい場合にのみ推論を実行することで、不要な処理の実行を回避可能となる。
【0105】
図16は、部分放電信号を対象信号とする場合の判定部107-6による処理の概要を説明する図である。特徴量1601、1602は、部分放電信号の頻度情報(φ-q-nパターン)の例を示す。特徴量1601は、入力信号が定常信号のみでなく、異常信号(部分放電信号)を含む場合の特徴量に相当する。
図16に示すように、特徴量1601は、値が0より大きい要素を含む。各要素の総和が閾値より大きい場合は、
図16に示すように推論を実行すると判定され、推論部103による推論が実行される。
【0106】
一方、特徴量1602は、入力信号が定常信号のみを含む場合の特徴量に相当する。
図16に示すように、特徴量1602は、値が0より大きい要素を含まない。従って、頻度の総和が閾値以下となり、判定部107-6は、推論を実行しないと判定する。
【0107】
判定部107-6による判定方法は上記に限られるものではない。判定部107-6は、推論部103が不要な推論処理を回避するための他の判定基準、または、推論部103がより有効に推論処理を実施可能とするための判定基準により判定処理を実行してもよい。
【0108】
推論部103は、判定部107-6により推論を実行すると判定された場合に、特徴量推定部102により推定された特徴量に基づいて推論を実行し推論結果を出力する。
【0109】
次に、このように構成された第6の実施形態にかかる信号処理装置100-6による信号処理について
図17を用いて説明する。
図17は、第6の実施形態における信号処理の一例を示すフローチャートである。
【0110】
ステップS601からステップS602は、第1の実施形態にかかる信号処理装置100におけるステップS101からステップS202と同様の処理なので、その説明を省略する。
【0111】
判定部107-6は、ステップS602で推定された特徴量を用いて、推論部103による推論を実行するか判定する(ステップS603)。例えば、判定部107-6は、特徴量である頻度情報に含まれる各要素の総和が閾値より大きいか判定する。
【0112】
推論を実行しないと判定された場合(ステップS604:No)、信号処理が終了する。推論を実行すると判定された場合(ステップS604:Yes)、推論部103は、事前に学習された推論部103のモデルを用いて、推定された特徴量を用いた推論を実行する(ステップS605)。また、出力制御部104は、推論部103による推論結果を出力する(ステップS606)。
【0113】
このように、第6の実施形態の信号処理装置は、特徴量に基づいて推論を実行するか否かを判定する機能をさらに備える。これにより、不要な推論処理の実行を回避し、処理負荷を軽減することができる。
【0114】
以上説明したとおり、第1から第6の実施形態によれば、認識タスク等を実行するニューラルネットワークの処理結果の妥当性をより適切に把握可能となる。
【0115】
次に、第1から第6の実施形態にかかる信号処理装置のハードウェア構成について
図18を用いて説明する。
図18は、第1から第6の実施形態にかかる信号処理装置のハードウェア構成例を示す説明図である。
【0116】
第1から第6の実施形態にかかる信号処理装置は、CPU(Central Processing Unit)51などの制御装置と、ROM(Read Only Memory)52やRAM(Random Access Memory)53などの記憶装置と、ネットワークに接続して通信を行う通信I/F54と、各部を接続するバス61を備えている。
【0117】
第1から第6の実施形態にかかる信号処理装置で実行されるプログラムは、ROM52等に予め組み込まれて提供される。
【0118】
第1から第6の実施形態にかかる信号処理装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD-ROM(Compact Disk Read Only Memory)、フレキシブルディスク(FD)、CD-R(Compact Disk Recordable)、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録してコンピュータプログラムプロダクトとして提供されるように構成してもよい。
【0119】
さらに、第1から第6の実施形態にかかる信号処理装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、第1から第6の実施形態にかかる信号処理装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
【0120】
第1から第6の実施形態にかかる信号処理装置で実行されるプログラムは、コンピュータを上述した信号処理装置の各部として機能させうる。このコンピュータは、CPU51がコンピュータ読取可能な記憶媒体からプログラムを主記憶装置上に読み出して実行することができる。
【0121】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0122】
100、100-2、100-3、100-4、100-5、100-6 信号処理装置
101、101-2、101-5 取得部
102、102-3、102-4 特徴量推定部
103 推論部
104、104-5 出力制御部
105-2 誤差算出部
106-2 更新部
107-6 判定部
121、121-5 記憶部