IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 国立大学法人東北大学の特許一覧

特許7506943信号処理方法,信号処理装置および信号処理プログラム
<>
  • 特許-信号処理方法,信号処理装置および信号処理プログラム 図1
  • 特許-信号処理方法,信号処理装置および信号処理プログラム 図2
  • 特許-信号処理方法,信号処理装置および信号処理プログラム 図3
  • 特許-信号処理方法,信号処理装置および信号処理プログラム 図4
  • 特許-信号処理方法,信号処理装置および信号処理プログラム 図5
  • 特許-信号処理方法,信号処理装置および信号処理プログラム 図6
  • 特許-信号処理方法,信号処理装置および信号処理プログラム 図7
  • 特許-信号処理方法,信号処理装置および信号処理プログラム 図8
  • 特許-信号処理方法,信号処理装置および信号処理プログラム 図9
  • 特許-信号処理方法,信号処理装置および信号処理プログラム 図10
  • 特許-信号処理方法,信号処理装置および信号処理プログラム 図11
  • 特許-信号処理方法,信号処理装置および信号処理プログラム 図12
  • 特許-信号処理方法,信号処理装置および信号処理プログラム 図13
  • 特許-信号処理方法,信号処理装置および信号処理プログラム 図14
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-19
(45)【発行日】2024-06-27
(54)【発明の名称】信号処理方法,信号処理装置および信号処理プログラム
(51)【国際特許分類】
   G06N 20/00 20190101AFI20240620BHJP
【FI】
G06N20/00 130
【請求項の数】 13
(21)【出願番号】P 2023126584
(22)【出願日】2023-08-02
(62)【分割の表示】P 2020567349の分割
【原出願日】2019-01-25
(65)【公開番号】P2023139296
(43)【公開日】2023-10-03
【審査請求日】2023-08-30
(73)【特許権者】
【識別番号】504157024
【氏名又は名称】国立大学法人東北大学
(74)【代理人】
【識別番号】110003649
【氏名又は名称】弁理士法人真田特許事務所
(72)【発明者】
【氏名】木村 芳孝
【審査官】武田 広太郎
(56)【参考文献】
【文献】特開2018-206082(JP,A)
【文献】特開2006-204759(JP,A)
【文献】米国特許出願公開第2018/0366143(US,A1)
【文献】中国特許出願公開第108734208(CN,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06N 20/00
(57)【特許請求の範囲】
【請求項1】
実空間で表現された計測可能な時系列の信号である計測系信号としての音声信号と当該音声信号の処理で参照されるとともに前記実空間で表現された参照系信号としての体調不良の種類や発見した病気を持つ人の声信号との二系統の信号を取得する取得工程と、
前記の取得工程で取得された二系統の信号を用いた前記実空間での関数演算を用いた前向きの処理に基づいて、前記音声信号の特徴が前記実空間で表現された特徴時系列を抽出する抽出工程と、
前記の抽出工程で抽出された特徴時系列を前記実空間と双対な情報空間の表現である特徴実表現に変換する変換工程と、
を備えたことを特徴とする信号処理方法。
【請求項2】
前記の変換工程で変換された特徴実表現と前記の抽出工程で抽出された特徴時系列とに基づいて、前記音声信号を分別する分別工程を備えた
ことを特徴とする請求項1に記載の信号処理方法。
【請求項3】
前記分別工程は、前記の変換工程で変換された特徴実表現どうしの第一組み合わせ、および、前記の抽出工程で抽出された特徴時系列どうしの第二組み合わせの少なくとも何れか一方に基づいて、前記音声信号を分別する学習工程を有する
ことを特徴とする請求項2に記載の信号処理方法。
【請求項4】
前記分別工程は、前記第一組み合わせおよび前記第二組み合わせに基づいて、前記人の声信号の精度を向上させる更新工程を備えた
ことを特徴とする請求項3に記載の信号処理方法。
【請求項5】
前記取得工程は、前記情報空間の信号源を変換して前記音声信号を取得する前処理工程を備えた
ことを特徴とする請求項1~4の何れか1項に記載の信号処理方法。
【請求項6】
前記取得工程は、前記人の声信号として教師データを取得する前取得工程を有する
ことを特徴とする請求項1~5の何れか1項に記載の信号処理方法。
【請求項7】
実空間で表現された計測可能な時系列の信号である計測系信号としての音声信号と当該音声信号の処理で参照されるとともに前記実空間で表現された参照系信号としての体調不良の種類や発見した病気を持つ人の声信号との二系統の信号を取得する取得部と、
前記の取得部で取得された二系統の信号を用いた前記実空間での関数演算を用いた前向きの処理に基づいて、前記音声信号の特徴が前記実空間で表現された特徴時系列を抽出する抽出部と、
前記の抽出部で抽出された特徴時系列を前記実空間と双対な情報空間の表現である特徴実表現に変換する変換部と、
を備えたことを特徴とする信号処理装置。
【請求項8】
前記の変換部で変換された特徴実表現と前記の抽出部で抽出された特徴時系列とに基づいて、前記音声信号を分別する分別部を備えた
ことを特徴とする請求項7に記載の信号処理装置。
【請求項9】
前記分別部は、前記の変換部で変換された特徴実表現どうしの第一組み合わせ、および、前記の抽出部で抽出された特徴時系列どうしの第二組み合わせの少なくとも何れか一方に基づいて、前記音声信号を分別する学習部を有する
ことを特徴とする請求項8に記載の信号処理装置。
【請求項10】
前記分別部は、前記第一組み合わせおよび前記第二組み合わせに基づいて、前記人の声信号の精度を向上させる更新部を備えた
ことを特徴とする請求項9に記載の信号処理装置。
【請求項11】
前記取得部は、前記情報空間の信号源を変換して前記音声信号を取得する前処理部を備えた
ことを特徴とする請求項7~10の何れか1項に記載の信号処理装置。
【請求項12】
前記取得部は、前記人の声信号として教師データを取得する前取得部を有する
ことを特徴とする請求項7~11の何れか1項に記載の信号処理装置。
【請求項13】
実空間で表現された計測可能な時系列の信号である計測系信号としての音声信号と当該音声信号の処理で参照されるとともに前記実空間で表現された参照系信号としての体調不良の種類や発見した病気を持つ人の声信号との二系統の信号を取得し、
取得された二系統の信号を用いた前記実空間での関数演算を用いた前向きの処理に基づいて、前記音声信号の特徴が前記実空間で表現された特徴時系列を抽出し、
前記抽出された特徴時系列を前記実空間と双対な情報空間の表現である特徴実表現に変換する
処理をコンピュータに実行させることを特徴とする信号処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、信号を処理する方法,装置およびプログラムに関する。
【背景技術】
【0002】
信号処理技術の一つとして、特徴ごとに信号を分類する手法が知られている。具体的には、バックプロパゲーションによって重み付け因子の最適化された変換行列に基づいて、信号を分別する手法が開発されている。このような後向きの処理では、たとえば変換行列で表現される一つの指針に基づいて、信号の特徴抽出と特徴ごとの分別とが一体的に処理される。
上記のような情報空間の機械学習(いわゆるAI〈Artificial Intelligence〉)を医療分野に適用させた技術として、心磁図の異常を判断する手法(特許文献1参照)が検討されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特表2007-527266号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上述したように情報空間における後向きの処理でその処理過程がブラックボックス化されることから、信号の特徴抽出と特徴ごとの分別との分離は困難である。よって、信号の処理性を高めるうえで、改善の余地がある。
【0005】
ここで開示する信号処理方法,信号処理装置および信号処理プログラムは、上記のような課題に鑑みて創案されたものであり、信号の処理性を高めることを目的の一つとする。なお、この目的に限らず、後述する「発明を実施するための形態」に示す各構成から導き出される作用および効果であって、従来の技術では得られない作用および効果を奏することも、本件の他の目的として位置付けることができる。
【課題を解決するための手段】
【0006】
ここで開示する信号処理方法は、実空間で表現された計測可能な時系列の信号である計測系信号としての音声信号と当該音声信号の処理で参照されるとともに前記実空間で表現された参照系信号としての体調不良の種類や発見した病気を持つ人の声信号との二系統の信号を取得する取得工程と、前記の取得工程で取得された二系統の信号を用いた前記実空間での関数演算を用いた前向きの処理に基づいて、前記音声信号の特徴が前記実空間で表現された特徴時系列を抽出する抽出工程と、前記の抽出工程で抽出された特徴時系列を前記実空間と双対な情報空間の表現である特徴実表現に変換する変換工程と、を備えている。
【0007】
ここで開示する信号処理装置は、実空間で表現された計測可能な時系列の信号である計測系信号としての音声信号と当該音声信号の処理で参照されるとともに前記実空間で表現された参照系信号としての体調不良の種類や発見した病気を持つ人の声信号との二系統の信号を取得する取得部と、前記の取得部で取得された二系統の信号を用いた前記実空間での関数演算を用いた前向きの処理に基づいて、前記音声信号の特徴が前記実空間で表現された特徴時系列を抽出する抽出部と、前記の抽出部で抽出された特徴時系列を前記実空間と双対な情報空間の表現である特徴実表現に変換する変換部と、を備えている。
【0008】
ここで開示する信号処理プログラムは、実空間で表現された計測可能な時系列の信号である計測系信号としての音声信号と当該音声信号の処理で参照されるとともに前記実空間で表現された参照系信号としての体調不良の種類や発見した病気を持つ人の声信号との二系統の信号を取得し、取得された二系統の信号を用いた前記実空間での関数演算を用いた前向きの処理に基づいて、前記音声信号の特徴が前記実空間で表現された特徴時系列を抽出し、前記抽出された特徴時系列を前記実空間と双対な情報空間の表現である特徴実表現に変換する処理をコンピュータに実行させる。
【発明の効果】
【0009】
開示の信号処理方法,信号処理装置および信号処理プログラムによれば、計測系信号および参照系信号を実空間で処理することにより、信号の分別とは独立して特徴を抽出することができる。よって、信号の処理性を高めることができる。また、計測系信号として音声信号を用い、参照系信号として体調不良の種類や発見した病気を持つ人の声信号を用いることで、体調管理や遠隔診療をより簡便に行なうことができる。
【図面の簡単な説明】
【0010】
図1図1A図1Bは、情報空間の信号の一例を示す模式図である。
図2図2A図2Bは、情報空間の信号の一例を示す模式図である。
図3図3A図3Bは、実空間の信号の一例を示す模式図である。
図4図4は、図1A図1B図2A図2Bに示される信号のビットパターンを説明する変換表である。
図5図5は、信号処理手順を示すフローチャートである。
図6図6A図6Bは参照系信号の一例を示し、図6Cは計測系信号の一例を示す模式図である。
図7図7A図7Bは、実空間で表現された特徴時系列を示す模式図である。
図8図8は、情報空間における特徴実表現を示す模式図である。
図9図9A図9Bは、分別結果を示す図である。また、図9C図9Dは、図6Cの一部を拡大した図である。
図10図10は、信号処理装置のハードウェア構成を示すブロック図である。
図11図11は、信号処理装置の機能構成を示すブロック図である。
図12図12A図12Bは、テストに用いるデータを示す図である。
図13図13A図13Bは、分別結果を示す図である。
図14図14A図14Bは、分別結果を示す図である。
【発明を実施するための形態】
【0011】
実施形態としての信号処理方法,信号処理装置および信号処理プログラムを説明する。
本願の発明者は、分別の結果得られると考えられる任意の代表的な時系列信号(参照系信号)を参照して実空間における所定の時系列信号(計測系信号)の特徴を抽出する手法を見出した。すなわち、分別の対象である時系列信号と参照系信号とを実空間で処理して、実空間と双対な情報空間で表現可能な所定の時系列信号の特徴を抽出する手法である。この手法によって抽出された特徴は、所定の時系列信号を分別(意味づけ)する理由と言えることから、いわゆる深層学習法ではブラックボックス化される分別理由を見える化することができるとの知見を得た。
上記のように前向きの処理によって時系列信号の特徴を抽出してから時系列信号を分別する手法を「参照学習法」と称する。
【0012】
[I.一実施形態]
以下、本実施形態で信号を処理する前提を項目[1]で述べる。その後に、本実施形態の信号処理手法で実施される各工程を項目[2]で述べる。そして、本信号処理手法による作用および効果を項目[3]で述べる。
そのほか、本信号処理手法を実施する具体的な構成について、ハードウェア構成を項目[4]で述べ、ソフトウェア構成を項目[5]で述べる。
【0013】
[1.前提]
はじめに、本手法で信号を処理する二種の空間とこれらの空間の信号とについて、それぞれを説明する。
本手法では、情報空間および実空間の二種の空間で信号を処理する。
情報空間および実空間は、互いに双対な空間である。いわば、情報空間で表現された信号は実空間で表現された信号で裏打ちされ、反対に、実空間で表現された信号は情報空間で表現された信号で裏打ちされる。
【0014】
情報空間の信号は、バックプロパゲーションをはじめとした後向きの処理が可能であり、情報空間の入出力信号は人による認知が可能であるが、演算処理の過程では0,1などに符号化されて計算を行うため内容の認知が困難である。これに対し、実空間の信号は、関数演算を用いた前向きの処理が可能であり、実空間の入出力信号は時系列信号のため人による認知が困難であるが、グラフ化などの工程で変換が可能なため計算途中でも内容を確認(認知)することができる。ここで、前向きの処理とは、関数演算を用いてデータから分別に至る演繹的な処理を意味する。そのため、実空間は、認知可能な信号を演繹的な手法によって処理することのできる空間と言える。一方、情報空間は、認知困難な信号を帰納的な手法によって処理することのできる空間と言える。
【0015】
以下、情報空間の信号および実空間の信号のそれぞれについて、具体例を挙げて説明する。ここでは、下記の信号0,1を具体例に挙げる。
・信号0:「0」の形状が表された信号
・信号1:「1」の形状を表された信号
【0016】
――情報空間の信号――
まず、図4に示す番号1~12のそれぞれに対応するマス(ビット)に二値的な信号の記録された信号を情報空間の信号に挙げて例説する。
情報空間における信号0,1は、以下に示す二種のビットパターン信号(以下「BP信号」を略称する)で表される。
・モノクロBP信号:各マスが色の有無で表された信号
・ 二値BP信号:各マスが数値0,1で表された信号
図1Aおよび図1Bには、モノクロBP信号の一例を示し、図2Aおよび図2Bには、二値BP信号の一例を示す。
【0017】
図1Aには、二つの信号0(番号1,2)を例示する。番号1の信号0は、マスの番号1~4,6,7,9~12が有色(マスに細い縞,太い縞,薄い格子,濃い格子,ドットなどのパターンが付されていること,以下「有色」という)であって、マスの番号5,8が無色(白色,以下「無色」という)のビットパターンをなす。番号2の信号0は、番号1の信号0では有色にされたマスの番号1が無色であるほかは、番号1の信号0と同様のビットパターンをなす。
図1Bには、二つの信号1(番号3,4)を例示する。番号3の信号1は、マスの番号2,5,8,11が有色であって、マスの番号1,3,4,6,7,9,10,12が無色のビットパターンをなす。番号4の信号1は、番号3の信号1では無色にされたマスの番号1が有色であるほかは、番号3の信号1と同様のビットパターンをなす。
【0018】
図2Aには、図1AのモノクロBP信号に対応する二値BP信号を示す。同様に、図2Bには、図1BのモノクロBP信号に対応する二値BP信号を示す。これらの二値BP信号は、対応するモノクロBP信号において有色のマスが数値「1」であって無色のマスが数値「0」で表された信号である。
たとえば、図2Aにおける番号1の信号0は、図1Aにおける番号1の信号0に対応し、マスの番号1~4,6,7,9~12が数値「1」であって、マスの番号5,8が数値「0」のパターンをなす。
【0019】
――実空間の信号――
つぎに、上述した情報空間の信号0,1に対応する実空間の信号0,1を説明する。
ここで説明する実空間における信号0,1は、数値0,1が列挙された一連の信号(以下「時系列信号」と称する,一般の時系列信号も同じく「時系列信号」と表現する)である。時系列信号は、二値BP信号を図4にみられる基底の変換表などを用い多重基底分解することで得られる。ここでいう多重基底分解とは、図4に示した表のようにグラフの横軸の位置とこれに対応する情報空間の図の値を対応させる変換である。言い換えると、多重基底分解とは、図4に示す変換表を用いて、図2A,Bにおけるマスの番号を図3Bのグラフの横軸の目盛りとし、図2A,Bにおける各マスに対応する数値0,1をグラフの縦軸の目盛りとしてグラフを作成することで、実空間の値(信号)と情報空間の値(信号)とを対応させる変換である。この時、図の値を公知の関数を用いて変換してから対応させてもよく、また複数の値どうしを対応させてよい。同じ表を用いれば、グラフから情報空間の図を逆に対応させることもできる。
【0020】
ここでは、以下に示す二種の時系列信号を例に挙げる。
・第一の時系列信号:各マスに対応する数値0,1が一行で表された信号
・第二の時系列信号:各マスに対応する数値0,1が一列で表された信号
図3Aおよび図3Bのそれぞれには、四つの時系列信号(番号1~4)を例示する。このうち、図3Aには第一の時系列信号を示し、図3Bには第二の時系列信号を示す。
なお、実空間の入力信号は人が認知困難であるものの、図3Aおよび図3Bには、実空間の信号を図4の変換表を用いグラフ化し模式的に表現している。
【0021】
[2.工程]
つぎに、図5のフローチャートを参照して、本信号処理手法で実施される工程を説明する。具体的には、下記の四工程をそれぞれに詳述する。
・取得工程:信号を取得する工程(ステップS1)
・抽出工程:取得された信号に基づいて特徴を抽出する工程(ステップS5)
・変換工程:抽出された特徴を変換する工程(ステップS6)
・分別工程:変換前後の各特徴に基づいて信号を分別する工程(ステップS7)
以下、処理対象の信号を信号0と信号1とに分別する例を述べる。
【0022】
[2.1.取得工程]
取得工程では、実空間で表現される二系統の時系列信号を取得する。
二系統の時系列信号のうち、一方は実空間で表現された計測可能な信号(以下「計測系信号」と称する)であり、他方は計測系信号の処理で参照される信号(以下「参照系信号」と称する)である。
本取得工程では、計測系信号が第一取得工程(ステップS3)で取得され、参照係信号が第二取得工程(ステップS4)で取得される。
【0023】
計測系信号は、特徴が抽出される対象であり、抽出された特徴に基づく分別の対象でもある。
一方、参照系信号は、「特許第4590554号」に示されるように、特徴抽出ひいては分別の用に供する信号である。この参照系信号は、ユーザのニーズに応じて、例えば学習データの代表的な信号を持ってくるなど任意に設定可能である。
【0024】
たとえば、図6A図6Bに示すように、有色の濃淡が多段階に設定された多値BP信号を実空間の時系列信号に変換した信号を参照系信号に採用することができる。ここでは、図6Aに信号0の参照系信号を例示し、図6Bに信号1の参照系信号を例示する。
ただし、図3A図3Bに例示する典型例となる時系列信号の少なくとも一つを参照系信号に採用することもできる。
上記の参照系信号は、抽出される特徴や分別パターンを正しく方向付ける機能を担う。このような参照系信号を用いることによって、後述する抽出工程や取得工程において特徴やパターンの次元が正解へ向けて引っ張られる。
【0025】
取得工程で取得される計測系信号や参照系信号は、当初から実空間で時系列の形態をなす信号に限らず、情報空間のBP信号を実空間の時系列に変換した信号であってもよい。
たとえば、情報空間のBP信号(いわば「信号源」)を実空間の時系列信号に変換する前処理工程(ステップS2)によって得られた計測系信号が第一取得工程で取得されてもよい。この前処理工程では、二値BP信号を図4の変換表を用い多重基底分解することで、時系列信号が得られる。
【0026】
[2.2.抽出工程]
抽出工程では、取得工程で取得された計測系信号および参照系信号に基づいて、実空間で計測系信号の特徴を、抽出する。この特徴は、計測系信号をなす時系列の特徴であることから、下記の説明では「特徴時系列」と称する。
この抽出工程における特徴時系列の抽出処理は、実空間で実施される。この実空間では、関数列を用いた信号処理がなされる。すなわち、抽出工程では、計測系信号および参照系信号に前向きの処理を実空間で施したうえで、特徴時系列が実空間で抽出される。なお、抽出工程における参照系信号を用いた処理には、「特許第4590554号」に示される参照系独立成分分析法が援用される。
【0027】
たとえば、参照系信号として図6Aおよび図6Bに示す多値BP信号ビットパターンA、Bを、また、計測系信号として図6Cに示すビットパターンをデータとして、実空間の表現に変換した時系列信号に用いた場合には、図7Aおよび図7Bのように表現される特徴時系列が抽出される。
以下、図7Aおよび図7Bに示す特徴時系列を具体的に説明する。
図7Aおよび図7Bには、マスの番号が横軸に規定され、頻度が縦軸に規定されている。このうち、図7Aには信号0の特徴時系列を示し、図7Bには信号1の特徴時系列を示す。
【0028】
図7Aには、マスの番号1,3,4,6,7,9,10,12の頻度が高いこと(翻って言えばマスの番号2,5,8,11の頻度が低いこと)を信号0の特徴時系列として例示する。図7Bには、マスの番号2,4,6,7,9,11の頻度が高いこと(翻って言えばマスの番号1,3,5,8,10,12の頻度が低いこと)を信号1の特徴時系列として例示する。
なお、図7Aおよび図7Bに示す例では、抽出された特徴が信号1,0の特徴としてユーザに納得されやすい例を挙げている。ただし、抽出された特徴は、信号1,0の特徴としてユーザにとって納得されにくいものであってもよい。
【0029】
[2.3.変換工程]
変換工程では、上記の抽出工程で抽出された特徴時系列を情報空間の表現形式に変換する。このように実空間から情報空間へ変換された特徴は、その情報が分かりやすく実体化されたものであることより「特徴実表現」と称する。
特徴実表現を模式的に示す図8は、図7Aに例示する特徴時系列を示すものである。
この図8に示す特徴実表現では、マスの番号4,5,6,7,8,9に対応する一点鎖線で囲まれた範囲Aに信号0の特徴が反映され、マスの番号2,5,8,11に対応する破線で囲まれた範囲Bに信号1の特徴が反映されている。
【0030】
[2.4.分別工程]
分別工程では、上記の抽出工程で抽出された特徴時系列と上記の変換工程で変換された特徴実表現とに基づいて、計測系信号を分別し、また、計測系信号の分別結果を意味づけする。具体的には、特徴時系列と分別対象の計測系信号とを内積し、参照系信号のパターンに応じて信号0,1のパターンごとに計測系信号を分別する。特徴時系列と分別対象の計測系信号との内積値を特徴量とする。ここでは信号0の特徴量を第1特徴量,信号1の特徴量を第2特徴量とする。
たとえば、図9Aおよび図9Bに示すように、計測系信号が信号0,1に分別される。図9Aの縦軸には、信号0の特徴時系列を図6Cのすべての計測系信号と内積した値である第1特徴量を示す。図9Aの横軸には、図6Cに示す計測系信号を1番から64番まで並べたものを示す。
【0031】
図9Aに描かれた中央の境界線Wより上側は、図8の一点鎖線で囲まれた範囲Aに特徴が反映される信号0に分別されたことを示す。図9Aの中央の境界線Wより下側は、図8の破線で囲まれた範囲Bに特徴が反映される信号1に分別されたことを示す。このように計測系信号を分別する基準となる境界線Wは、いわゆる変換行列と同様の機能を担う。図9Aの右端で信号1を表す63番、64番の信号が境界線Wで信号0に誤認識されている。図6Cの61番~64番の計測系信号の一部を拡大したものを図9Cおよび図9Dに示す。図9Dの63番および64番の信号1を見ると、図9Cの61番および62番の信号1の形に比べ、信号1の形の変動(ノイズ)が大きい。よって、図8における特徴実表現での範囲Bよりも範囲Aとの一致率が高いために間違いが生じたことが分かる。このように本学習では中身が見えるため分別の間違いがなぜ起こったかを認識できる。
図9Bは第1特徴量と第2特徴量とによる分別工程を示す。図9Aの境界線Wに対応する基準を境界線W′として図9Bに図示する。この図9Bには、信号0,1に関する特徴量が縦軸および横軸に規定され、境界線W′に対して各軸に沿った距離が信号0,1らしさの度合いとして表される。すなわち、信号0,1のクラスタライズ化が実現される。
【0032】
[2.5.変形例]
以上、本信号処理手法の基本的な工程を説明したが、本工程を多層に組み合わせてもよく、また、他の工程が設けられていてもよい。以下、下記の三工程が付設された信号処理手法の変形例を説明する。
・学習工程 :特徴時系列や特徴実表現を学習する工程(ステップS8,S11)
・更新工程 :参照系信号を更新する工程(ステップS9)
・前取得工程:教師データを前もって取得する工程(ステップS10)
【0033】
[2.5.1.学習工程]
学習工程は、抽出工程で得られた特徴時系列により計測系信号を分別する精度向上や、分別できないものに関しては、変換工程で得られた特徴実表現に基づいて判読される理由の精度向上を図る工程である。なお、本学習工程の手法には、従来の深層学習法においてパターン分別に用いる重み付けの最適化手法を援用することができる。
【0034】
この学習工程では、抽出工程,変換工程および分別工程で全学習工程(ステップS11)が実施され、この全学習工程のうち最終の工程である分別工程において最終学習工程(ステップS8)が実施される。全学習工程では、抽出工程における特徴時系列や分別工程における計測系信号の分別にかかる情報を用いて、計測系信号の分別やその理由について学習する。この全学習工程で最終的に実施される最終学習工程では、以下に示す学習1,2を繰り返すことが好ましい。
・学習1:構造化された特徴時系列と特徴実表現とを照査する
・学習2:学習1によって最適化された特徴実表現と特徴時系列とを照査する
上記の学習工程は、抽出工程で複数の特徴時系列が抽出され、これに対応して変換工程で複数の特徴実表現が変換された場合に実施されることが好ましい。すなわち、特徴時系列どうしの組み合わせ(第二組み合わせ)や特徴実表現どうしの組み合わせ(第一組み合わせ)に基づいて、計測系信号を分別することが好ましい。なぜならば、特徴時系列どうしの組み合わせや特徴実表現どうしの組み合わせから尤もらしい分別のパターンを得ることが可能だからである。
【0035】
[2.5.2.更新工程]
更新工程は、学習工程による特徴時系列や特徴実表現の組み合わせに基づいて、参照系信号を更新する工程である。換言すれば、計測系信号の特徴の組み合わせからフィードバックで参照系信号を更新する工程が更新工程である。
【0036】
[2.5.3.前取得工程]
前取得工程は、参照系信号に用いる信号として、分別すべきパターンの教師となるデータ(以下「教師データ」と称する)を前もって取得する工程である。この前取得工程は、教師データが本信号処理手法のユーザによって設定される分別パターンの正解例と言えることから、その正解例が有る場合に実施される工程である。
【0037】
[3.作用および効果]
本信号処理手法によれば、以下のような作用および効果を得ることができる。
(1)取得工程によれば、実空間で二系統の時系列の信号である計測系信号および参照系信号が取得される。
抽出工程によれば、実空間において計測系信号および参照系信号を用いて前向きの処理が実施され、情報空間で表現可能な特徴時系列が抽出される。これにより、分別と切り離して特徴を抽出することが可能となる。また、実空間での前向きの処理は、従来のバックプロパゲーションとは異なり、関数を用いた演繹的あるいは経験的な処理であることから、処理資源を抑制することができる。言い換えれば、信号処理の高速化も可能である。さらに、抽出処理で参照系信号を参照することにより、分別パターンの正解に方向付けされた処理が可能となり、過学習の問題が原理的に発生しない。
【0038】
変換工程によれば、実空間の特徴時系列が情報空間で表現された特徴実表現に変換される。これにより、計測系信号の特徴を、情報空間および実空間の互いに双対な空間のそれぞれで表現された特徴時系列および特徴実表現を得ることができる。このようにして、実空間の特徴時系列に対応する情報空間の特徴実表現が得られることで、計測系信号の特徴が見える化される。そのため、本実施形態の信号処理手法によれば、従来の深層学習法ではブラックボックス化されてしまう分別理由を見える化することができる。
よって、信号の処理性を高めることができる。
(2)分別工程によれば、特徴時系列と計測系信号とが内積され、計測系信号が参照系信号に応じて分別される。これにより、互いに裏打ちされる特徴時系列および特徴実表現の双方を用いて、計測系信号を分別することができる。このような分別による計測系信号の意味づけは、変換工程で生成された特徴実表現で検証することができる。
【0039】
(3)学習工程によれば、情報空間の特徴実表現どうしの組み合わせと実空間の特徴時系列どうしの組み合わせに基づいて、計測系信号が分別される。これにより、見える化された複数の特徴時系列から従来の深層学習法を利用した分別の精度向上が可能となる。
(4)更新工程によれば、分別工程における特徴時系列や特徴実表現の組み合わせに基づいて参照系信号が更新される。これにより、従来の深層学習法を参照系信号の精度向上に利用することができる。
【0040】
(5)前処理工程によれば、情報空間の信号源が多重基底分解され、実空間の計測系信号が取得される。これにより、情報空間の広範な信号を信号源として計測系信号に用いることができる。さらに、情報空間の信号を実空間の情報に変換(前処理)することで、実空間で前向きの処理に用いることができる。
(6)前取得工程によって実空間の参照系信号として教師データを用いることで、特徴時系列の抽出精度や分別精度の向上に資する。
【0041】
[4.ハードウェア構成]
以下、図10を参照して、本実施形態の信号処理装置1のハードウェア構成例を説明する。図10は、コンピュータ10を用いて信号処理装置1を構成する場合のブロック図である。
図10に示すように、コンピュータ10は、プロセッサ11,メモリ12,記憶部13,IF(インターフェイス)部14,入力部15,出力部16および読取部17を備える。これらは、コンピュータ10の内部に設けられたバス18(制御バス,データバス等)を介して互いに通信可能に接続される。
【0042】
プロセッサ11は、種々の制御や演算を行なう演算処理装置の一例である。プロセッサ11としては、CPU(Central Processing Unit)、FPGA(Field-Programmable Gate Array)等の集積回路(IC;Integrated Circuit)が用いられる。プロセッサ11が、記憶部13に格納されたプログラム19(信号処理プログラム)をメモリ12に展開して演算処理を実行することで、本信号処理手法の全工程を実施することができる。
ここでいうプログラム19は、実空間で表現された計測可能な時系列の信号である計測系信号とこの計測系信号の処理で参照されるとともに実空間で表現された参照系信号との二系統の信号を取得し、取得された二系統の信号を用いた実空間での前向きの処理に基づいて、計測系信号の特徴が実空間と双対な情報空間で表現された特徴時系列を抽出する処理をコンピュータに実行させる。
【0043】
メモリ12は、種々のデータやプログラム等の情報を格納するハードウェアの一例である。メモリ12としては、例えばRAM(Random Access Memory)等の揮発性メモリが挙げられる。
記憶部13は、種々のデータやプログラム等の情報を格納するハードウェアの一例である。記憶部13としては、例えばHDD(Hard Disk Drive)等の磁気ディスク装置,SSD(Solid State Drive)等の半導体ドライブ装置,不揮発性メモリ等の各種記憶装置が挙げられる。
【0044】
IF部14は、ネットワーク3との間の接続および通信の制御等を行なう通信IFの一例である。IF部14は、LAN、あるいは、光通信(たとえばFC<Fiber Channel;ファイバチャネル>)等に準拠したアダプタを含んでよい。たとえば、プログラム19は、当該通信IFを介して、ネットワーク3からコンピュータ10にダウンロードされ、記憶部13に格納されてもよい。
【0045】
入力部15および出力部16は、マウス,キーボードまたは操作ボタン等の入力デバイス、ならびに、タッチパネルディスプレイ,LCD(Liquid Crystal Display)等のモニタ,プロジェクタまたはプリンタ等の出力デバイス、の一方または双方を含んでよい。
【0046】
読取部17は、記録媒体20に記録されたデータやプログラムの情報を読み出すリーダの一例である。読取部17は、記録媒体20を接続可能または挿入可能な接続端子または装置を含んでよい。読取部17としては、記録ディスクにアクセスするドライブ装置等が挙げられる。なお、記録媒体20にはプログラム19および処理に用いる信号が格納されてもよく、読取部17が記録媒体20からプログラム19および処理に用いる信号を読み出して記憶部13に格納してもよい。
【0047】
記録媒体20としては、フレキシブルディスク、CD(Compact Disc)等の磁気/光ディスク、あるいは、USBメモリ、SDカード等のフラッシュメモリの非一時的な記録媒体が挙げられる。
上述したコンピュータ10のハードウェア構成は例示である。従って、コンピュータ10内でのハードウェアの増減(例えば任意のブロックの追加や削除),分割,任意の組み合わせでの統合、または、バスの追加若しくは削除等は適宜行なわれてもよい。
【0048】
[5.ソフトウェア構成]
以下、図11を参照して、本実施形態の信号処理装置1のソフトウェア構成例を説明する。上記のハードウェア構成を備えた信号処理装置10は、信号を処理する基本的なソフトウェア構成として、以下に示す二つの機能要素を有する。なお、基本的なソフトウェア構成は実線で示し、変形例は破線で示す。
・処理部30 :信号を処理する
・メモリ部40:信号処理プログラム,処理に用いる信号,抽出結果,および分別結果を記憶する
【0049】
処理部30は、以下に示す四つの機能要素に細別される。
・取得部31:取得工程(図5のステップS1の工程)を実施する
・抽出部32:抽出工程(図5のステップS5の工程)を実施する
・変換部33:変換工程(図5のステップS6の工程)を実施する
・分別部34:分別工程(図5のステップS7の工程)を実施する
【0050】
なお、上記の処理部30は、上記の四機能要素のほかに、以下に列挙する機能要素を備えていてもよい。
・前処理部31a :前処理工程(図5のステップS2の工程)を実施する
・前取得部31b :前取得工程(図5のステップS10の工程)を実施する
・最終学習部34a:最終学習工程(図5のステップS8の工程)を実施する
・更新部34b :更新工程(図5のステップS9の工程)を実施する
・全学習部35 :全学習工程(図5のステップS11の工程)を実施する
上記の前処理部31aは取得部31に内包されることが好ましく、最終学習部34aや更新部34bは分別部34に内包されることが好ましい。
【0051】
図11に示す信号処理装置1のメモリ部40は、図10の信号処理装置1のメモリ12および記憶部13の少なくとも一方の記憶領域により実現されてよい。
取得部31で用いる信号源および教師データ、ならびに、取得部31で取得される計測系信号および参照系信号は、メモリ部40に記憶されてもよい。
さらに、抽出部32で抽出された特徴時系列および変換部33で得られた特徴実表現は、メモリ部40に記憶されてもよい。
また、分別部34で得られた分別結果、最終学習部34a(全学習部35)における特徴時系列の組み合わせおよび特徴実表現の組み合わせ、ならびに、更新部34bで更新された参照系信号も、メモリ部40に記憶されてもよい。
【0052】
[II.評価]
つぎに、本信号処理手法によるデータの分別性能を評価する。
ここでは、本手法である参照系学習法および比較手法である従来の深層学習法の分別性能を検証する。
【0053】
[1.検証方法]
検証に用いるデータは、ノイズの少ないデータ(図12A)およびノイズの多いデータ(図12B)である。各データには、信号1,2,3に対応する三種のデータ(パターン1~3)を用いた。ついで、以下に示すテスト1,2の手法で学習および分別の信号処理を実行した。
・テスト1:ノイズの多いデータで学習し、ノイズの少ないデータを分別する。
・テスト2:ノイズの少ないデータで学習し、ノイズの多いデータを分別する。
【0054】
[2.検証結果]
<分別結果>
図13Aおよび図13Bを参照し、分別結果を評価する。
図13Aおよび図13Bは、参照系学習法でテスト1及びテスト2を行なった分別結果である。データパターンごとの分別結果を、線で結んだ点の塊のばらつき度合いで示している。図13AのX軸、Y軸、Z軸は、この例における時系列信号の第1特徴量、第3特徴量、第2特徴量である。パターンごとに点の色は異なっており、パターン1は灰色、パターン2は黒色、パターン3は白色で示されている。どちらのテストでも参照系学習では同じように信号が分離されているのが分かる。
他方、図14Aおよび図14Bは、深層学習法でテスト1及びテスト2を行なった分別結果である。図14Aおよび図14Bに示されるように、テスト1では異常にばらつきが少なく、テスト2ではばらつきが多くなりすぎて、パターン2とパターン1が分別されていないことが見て取れる。これはデータに関して過学習を起こしていることを示す。実際の信号処理では学習データに比べ分別対象データ(計測系信号)にどのようなノイズが入るかわからず、中身の見えない深層学習法では、特徴量による分別が不可能であるかどうかを結果から知ることは難しい。このように、深層学習法では分別に間違いがあった場合でも、その理由はわからず、改善のためには再学習が必要になる。本手法によれば、学習の間違いが分かり、分別性能が向上することがわかった。
【0055】
<学習時間>
つぎに、下記の表1に示すように、学習時間は、比較手法よりも本手法のほうが短いことがわかった。本手法は比較手法の約1/7の時間で学習が可能である。学習における演算数が本手法は比較手法に比べて約1/7の回数で済むと考えられる。
【0056】
【表1】
【0057】
[3.考察]
上記のように、本手法では、テスト1とテスト2で分別結果に大差はなく、いずれも学習時間が短い。このことから、本手法は、分別対象のデータのノイズに対し、安定な分別結果を高速で出力できることがわかる。
これに対し、比較手法では、特にテスト2において分別結果にばらつきが見られた。この原因は、深層学習法における過学習であると推測される。ノイズの少ないデータを過学習する結果、ノイズの多いデータに対し誤った判断をしてしまい、分別対象データを正しく意味づけることができなかったと考えられる。
【0058】
[III.その他]
上述した実施形態はあくまでも例示に過ぎず、この実施形態で明示しない種々の変形や技術の適用を排除する意図はない。本実施形態の各構成は、それらの趣旨を逸脱しない範囲で種々変形して実施することができる。また、必要に応じて取捨選択することができ、適宜組み合わせることもできる。
【0059】
本願発明の適用先は、一例として医療分野が考えられる。例えば、本信号処理手法は、人の声から体調や病気を診断するのに利用できる。体調不良は自律神経の乱れと密接に関連する。人の喉の声門は自律神経の反回神経によって調節されているため、自律神経の影響を受けて体調の良し悪しは声に現れる。そこで、声を分析することにより、自律神経の乱れと体調の良し悪しを判断することができる。さらには、体調不良の原因となる病気を見つけることも可能である。この場合、音声信号を計測系信号として、体調不良の種類や発見した病気を持つ人の声を参照系信号として本信号処理手法を適用することが考えられる。
これにより、体調管理や遠隔診療がより簡便に行なうことができる。
【0060】
また、本信号処理手法の特徴の一つは、時系列信号の解析が可能なことである。本手法により時系列データから抽出した特徴は、他のバイオケミカルデータ等との組み合わせも容易である。
そのほか、通信分野に応用し、従来のノイズキャンセルを本手法で行なうことも可能である。
あるいは、いわゆるビッグデータやIoT(Internet of Things)に本信号処理手法を利活用することもできる。
【符号の説明】
【0061】
1 信号処理装置
3 ネットワーク
10 コンピュータ
11 プロセッサ
12 メモリ
13 記憶部
14 IF部
15 入力部
16 出力部
17 読取部
18 バス
19 プログラム
20 記録媒体
30 処理部
31 取得部
31a 前処理部
31b 前取得部
32 抽出部
33 変換部
34 分別部
34a 最終学習部
34b 更新部
35 全学習部
40 メモリ部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14