【新規性喪失の例外の表示】特許法第30条第2項適用 1. 「電子情報通信学会論文誌D Vol.J95−D No.1 pp.139−148」 掲載アドレス:http://search.ieice.org/bin/summary.php?id=j95−d_1_139&category=D&year=2012&lang=J&abst= ウェブ掲載日:平成24年1月1日 2. 国立大学法人山梨大学発行「平成23年度山梨大学工学部機械システム工学科機械デザイン(D)コース卒業論文発表会概要集(自己組織化マップによるベアリング振動の分類と判定)」 発行日:平成24年2月17日 3. 国立大学法人山梨大学発行「平成23年度山梨大学工学部機械システム工学科機械デザイン(D)コース卒業論文発表会概要集(血管の狭窄状態の判定のためのHaarウェーブレットの改良とSOMによる分類)」 発行日:平成24年2月17日 4. 社団法人電子情報通信学会発行「2012年電子情報通信学会総合大会 情報・システムソサイエティ特別企画 学生ポスターセッション予稿集」 発行日:平成24年3月20日 5. 「山梨大学工学部機械システム工学科 平成23年度卒業論文(自己組織化マップによるベアリング振動の分類と判定)」 掲載アドレス:http://www3.ms.yamanashi.ac.jp/kato/Okura/sotuken/2011/t08md006_prezen.pdf ウェブ掲載日:平成24年4月11日 6. 「山梨大学工学部機械システム工学科 平成23年度卒業論文(血管の狭窄状態の判定のためのHaarウェーブレットの改良とSOMによる分類)」 掲載アドレス:http://www3.ms.yamanashi.ac.jp/kato/Okura/sotuken/2011/t08md006_prezen.pdf ウェブ掲載日:平成24年4月11日
(58)【調査した分野】(Int.Cl.,DB名)
シート状軟質支持体に複数の空洞があけられ,これらの空間のそれぞれの底部にマイクロホンが設けられ,上記空洞の深さは装着採音時に被験者と上記マイクロホンとの間に空間が保たれている深さであり,上記マイクロホンから出力される電気信号を増幅する増幅器が上記マイクロホンのそれぞれについて上記空洞底部の反対側に設けられているアレイ状採音センサ装置。
シート状軟質支持体の一面に複数の空洞があけられ,これらの空間のそれぞれの底部にマイクロホンが設けられ,上記マイクロホンの表面が前記シート状軟質支持体の上記一面よりも空洞の内側にあり,上記マイクロホンから出力される電気信号を増幅する増幅器が上記マイクロホンのそれぞれについて上記空洞底部の反対側に設けられているアレイ状採音センサ装置。
【実施例】
【0045】
1 シャント狭窄診断支援システムの全体構成
図1はシャント狭窄診断支援システムの全体構成を示すものである。
【0046】
センサ部1は被験者からシャント音を採音するものであり,後述するように複数のマイクロホンを含み,音信号を電気信号に変換する。マイクロホンから出力される電気信号は増幅器2で増幅される。増幅器2は複数のマイクロホンのそれぞれについて設けられる。これらのセンサ部1と増幅器2の具体的構成については後に詳述する。
【0047】
採音された被験シャント音を表わす電気信号は次にA/D変換器3においてディジタル信号に変換される。マイクロホンごとに1チャンネルが割当てられる。A/D変換器3は全チャンネルの被験シャント音信号をディジタル信号に符号化し,シリアル信号として信号処理装置4に入力する。A/D変換器3は操作部11からのトリガ信号に応答して被験シャント音の採取(A/D変換)を開始する。
【0048】
信号処理装置4は具体的にはコンピュータ(コンピュータ・システム)により実現される。信号処理装置4には,被験者データ記憶部7,参照データ群記憶部8および演算処理部10が含まれ,後述するフローチャート(
図5,
図10〜
図16)に示される処理を実行するプログラムが格納されている。演算処理部10を大きく機能的に分けると,特徴抽出部5と解析判定部6が含まれる。演算処理部10は異なる手法に従う2種類の特徴抽出/解析処理を行う。第1の特徴抽出/解析処理は,シャント音の短時間最大エントロピー法(STMEM:Short Time Maximum Entropy Method )結果を特徴ベクトルとし,自己組織化マップ(SOM:Self-Organizing Maps)により学習させ,結果として得られるSOM(これを特徴マップと呼ぶ)により判定または診断するものである。第2の特徴抽出/解析処理は,周波数スペクトルと音圧の時間変化が重要な特徴である音声の認識技術として用いられる,メルケプストラム法(MFCC:Hel Frequency Cepstrum Coefficient)と隠れマルコフモデル(HMM:Hidden Markov Model )による機械学習を利用して判定または診断を行うものである。STMEM法またはMFCC法による時間周波数特徴抽出を特徴抽出部5が,SOM法またはHMM法による解析を解析判定部6がそれぞれ実行する。SOM法では逐次細分化SOM法を用いる。これらの特徴抽出,解析判定の詳細については後述する。解析判定部6における判定または診断には,後述するように人による診断のための解析結果の表示と,自動判定とがある。上記第1,第2の解析判定結果に基づく総合的な判定または診断も可能である。判定または診断によって,正常,狭窄,個人の特徴,狭窄の程度等が明らかになる。
【0049】
A/D変換器3から出力されるシャント音のディジタル信号は被験者データ記憶部7に記憶される。また,そのデータは参照データ群記憶部8内の参照データ群に組み込むこともできる。これらのデータとともに被験者情報(氏名等)を記憶することにより,被験者の履歴として残すことができ,被験者個人の特徴を組み込んだ判定をすることも可能とする。
【0050】
参照データ群とは,解析判定部6における判定アルゴリズムにおいて被験シャント音を判定する際に指標となるデータ群である。記憶部8には詳しく調べられた各種の特徴(正常,狭窄,狭窄タイプ,狭窄の程度)に応じてラベル付されたシャント音のディジタルデータが記憶されている。被験シャント音と同様に特徴ベクトル化され,判定アルゴリズムに用いられる。高速化のために予め特徴ベクトル化されたデータとして用意することも可能である。また,この参照データ群は記憶された被験シャント音に各種の特徴をラベル付けし,組み込むことで増加させることもできる。また,被験者個人の情報をラベル付けすることで,被験者個人の特徴を組み込んだ判定をすることも可能となる。また,参照データ群はネットワーク群等を介し,他機器間で共有することも可能である。
【0051】
解析判定部6によって判定された結果は表示部9に表示される。表示としては,ディスプレイまたは紙による表示が可能である。判定結果と同時に,被験シャント音波形,周波数解析結果,時間周波数結果,過去の診断データを表示することも可能である。また,これらの表示はネットワーク群等を介し,遠隔による観測も可能である。出力装置としては表示部9以外に,プリンタ,他の装置に送信する送信装置等も含まれる。
【0052】
操作部11は各種設定(個人情報入力,判定条件の設定,表示条件の設定),および診断の開始命令を入力する部分である。入力はボタンまたはタッチパネルディスプレイによる。各種設定の命令は信号処理装置4に渡される。また,開始命令はA/D変換器3に渡され,被験シャント音の採取開始がされ,また信号処理装置4に渡され,信号処理が開始される。
【0053】
2 アレイ状採音センサ装置
上述したセンサ部1と増幅器2の具体例が
図2から
図4に示されている。
【0054】
このアレイ状採音センサ装置20は,
図2,
図3に示すように,シート状軟質支持体21を有し,この支持体21の一面に複数の空洞(穴)22が形成されている。空洞22は内底面を有し,この内底面に小さなマイクロホン(たとえばシリコンマイク)23が固定されている。後述するように,空洞22の開口がわが被験者の前腕27に接するように支持体21が配置される。このとき,マイクロホン23と被験者の前腕の皮膚との間に空洞22内で空間が保たれるように空洞の深さが決められる。空洞22の形状は円筒状でも角筒状でもよい。マイクロホン23は空洞22の内底面に接し(接しなくてもよい),空洞の内側(周)面には接しない程度に空洞22の大きさに比べて小さいものが好ましい。
【0055】
一例としては軟質樹脂(たとえば粘着性が高い軟質ウレタン造形用樹脂)21aに空洞22となる穴をその厚さ方向に貫通して形成し,軟質樹脂21aの一面にゴムシート(ゴム板)を接着して空洞22の一方の開口を塞ぎ,内底面を形成する。
【0056】
支持体21(ゴムシート21b)の空洞22とは反対側の面に各マイクロホン23に対応する位置に増幅回路IC24が固定され,対応するマイクロホン23と電気的に接続される。IC24の出力側が上記のA/D変換器3に接続される(いずれも,電気的接続用のワイヤ,コード等は図示略)。
【0057】
このようなアレイ状採音センサ装置20は,
図4に示すように,シート状軟質支持体21を,その空洞22の開口が被験者の前腕の皮膚と対向するように向けて,被験者の前腕のシャントが形成されている部分およびその前後,左右付近の皮膚を覆うように配置し,何らかの手段で固定する。たとえば,面ファスナー26a,26bが設けられたゴム製または布製の押えバンド(保持帯)25を支持体21の上から被験者の腕に巻き,面ファスナー26a,26bで固定するとよい。
【0058】
シート状軟質支持体21には,好ましくは,図示のように,複数列,複数行にわたって空洞22およびマイクロホン23が配置される。支持体21の大きさは,被験者の前腕の手首から肘までの半分ないし全部を覆い,前腕の周方向には半分から2/3程度を覆うくらいがよい。マイクロホン(空洞)の数は多い方が好ましい。マイクロホン(空洞)を図示のように,縦,横方向に規則正しく配置する必要はなく,各列が同じ長さにわたっている必要もない。結果的にランダムにみえるような配置でもよい。また,最低限2個のマイクロホン(空洞)があればよい。マイクロホンの上記のような数,配置を総称してこの明細書ではアレイ状と呼ぶ。
【0059】
このように,アレイ状採音センサには,複数のマイクロホンが設けられており,いずれか少なくとも一つのマイクロホンから被験者のシャントの狭窄状態を適切に表わす音信号を採取することが期待できるので,熟練者による事前の聴診を必ずしも行なわなくても被験者に装着して容易に採音することができる。また,シート状軟質支持体を用いているから,被験者の前腕における血管の走行等による皮膚の凹凸に応じて変形し血流を妨げずに密着させることができる。すなわち,被験者の血管の圧迫を最小限に抑えることができる。軟質支持体の密着によりマイクロホンが配置された空洞内の空間が隙間なくシールされ,音信号の高いS/N比が得られる。多数のマイクロホンが二次元的に配置されていれば,広い範囲にわたって多くの狭窄箇所を調べることができるし,シャント音の波及,静脈の走行等の調査も可能となる。上述のような押えバンドを用いれば,マイクロホンが採音中に外れてしまうこともない。
【0060】
3 全体の処理の流れ
信号処理装置4における全体の処理の流れを
図5および
図6を参照して説明する。
【0061】
上述したように,アレイ状採音センサ装置20のマイクロホン23から増幅器2,A/D変換器3を得てシャント音波形が入力する(S1)。センサ装置20に含まれるマイクロホン23の数と等しい数のシャント音波形が得られる。
【0062】
次に各シャント音の1拍動分の信号波形を抽出する(S2)。シャント音の時系列波形の半波の低周波成分のみを取り出すことでエンベロープを取得し,その極大点と極小点の中間の時刻を拍動の開始点として切り出す。切り出す信号は1拍動分以下,たとえば3/4程度でよい。このような信号波形は1チャンネル(1マイクロホン)当り複数個(たとえば10個)抽出される。
【0063】
拍動ごとにSTMEMベクトルy
p を算出する(S11)(第1の特徴抽出処理)。1拍動当りp個の特徴ベクトルが得られる。
【0064】
このようにして得られた被験サンプルとあらかじめ用意された指標サンプルを(逐次細分化)SOMに同時に学習させる(S12)(第1の解析判定処理)。指標サンプルの学習結果に被験サンプルを通してもよい。ここで,被験サンプルは1拍動当りp個のSTMEMベクトルである。SOMは類似した特性のデータを近傍に集めたマップを出力するため,診断対象がどの指標サンプルのグループに属すのかを視覚的に判断することができる,または計算により判定結果を得ることができる(S13)。
【0065】
他方,拍動ごとにMFCCにより特徴ベクトルを得(S21)(第2の特徴抽出処理),HMMに診断させる(S23)(第2の解析判定処理)。
【0066】
両方の判定結果を統合して判定することもできる(S30)。
【0067】
4 指標サンプル
上述したSOM処理(S12)では指標サンプルが必要である。また,HMM処理(S22)においても,あらかじめモデル学習(教師あり学習)のための指標サンプルが必要である。
【0068】
シャント音を専門の医師を含めた試聴によって正常音,狭窄音(断続狭窄音および高周波狭窄音)の分類を行い,さらにスペクトログラム及び1拍動分のMEMスペクトル形状によって詳しく調べ,5種類に分類を行った結果を
図7aから
図7eに示す(これらの図において,PSD=Power Spectrum Density(スペクトル強度), Frequency(周波数),Time(時間), Spectrogram(スペクトログラム)である)。指標サンプルは沢山あることが好ましい。以下に示す5つのタイプのそれぞれについて少なくとも複数人(相当数)から採取したものが用いられる。
【0069】
正常音,高周波狭窄音(3タイプA,B,C),断続狭窄音の5種類の特徴的なMEMスペクトル形状とスペクトログラムの特徴は次の通りである。
【0070】
(a) 高周波狭窄音A(high-pitch A):500Hz以上のスペクトル成分が正常音ほど減衰せず,なだらかな傾斜を持った周波数成分が存在。
(b) 高周波狭窄音B(high-pitch B):スペクトルに局所的にピークが確認される。スペクトログラムでは時間軸方向に続く縞が現れる。笛音のような音が顕著に聴取される。
(c) 高周波狭窄音C(high-pitch C):正常音とは明らかに異なると判断のつくスペクトル形状であり,高周波狭窄音A,Bいずれとも異なるもので,便宜的にCとした。
(d) 断続狭窄音(intermittent):拍動の後,音圧が著しく減衰し,連続的な血流音として聴取できない。
(e) 正常音(normal):500Hz以下の低い帯域に周波数成分が集中し,周波数が上がるに従って,なだらかに減衰していく。スペクトログラムでは,低周波成分が途切れない。
【0071】
5 処理の詳細と特徴
(1) 拍動抽出
上述したように,シャント音の半端整流をローパスフィルタにかけることによって包絡を得て,包絡線の極大点と極小点の中間の時刻を拍動の開始点としている。
【0072】
(2) STMEM法
STMEM法によって,1拍動抽出した後,短時間ごとのスペクトル包絡を求めることで,判定処理部(SOM)の判定の得やすい特徴ベクトルを得ることができる。すなわち,正常・狭窄を得る上で余剰となる情報を可能な限り省いた特徴ベクトルを得る。
【0073】
(3) SOM
SOMは教師なし学習であり,多くの被験サンプルから包括的に特徴を探索する手法であり,類似した音響特徴を持ったデータは近傍に集まった形で可視化される。すなわち,指標とするシャント音にどれだけ類似しているのかを判断することができる。これにより,個人のキャリブレーションが容易である。この手法によると,シャント音の個人差や狭窄の程度等,多様な種類に対応することができ,医師の判断の支援となる。
【0074】
より詳しく述べると,SOMは教師なし競合近傍学習のアルゴリズムを用い,入力層と出力層(競合層)により構成された2層のニューラルネットワークである。出力層は可視化のために通常2次元または3次元に設定され,ノード(セル)が格子状に並べられた配置となる。入力がn次元ベクトルのとき,出力層上の各ノードはそれぞれn次元の参照ベクトルを持つこととなる。入力ベクトルy
pが与えられると,y
pにもっとも類似した,つまりユークリッド距離が最小となる参照ベクトルを持つノードが勝ちノードとなり,y
p の出力となる。SOMの学習は参照ベクトルを変更することであり,勝ちノードの参照ベクトルはy
pへと近づき,近傍のノードの参照ベクトルもまたy
pへと近づく。このように,高次元の入力ベクトルの集合を学習させることで,類似したサンプル群はマップ上の同一の位置(ノード)または近傍に集まった出力マップが得られる。
【0075】
一例としてSOMに入力する特徴ベクトルSTMEMの条件は,1拍動を0.15sを1フレームとして拍動開始点から5フレームに分割し,フレームごとにMEMスペクトルを求めることによって作成される。MEMスペクトルの強度の出力点数は0〜2kHz の周波数帯域で等周波数間隔の 200点とした。ゆえに特徴ベクトルは1000個の要素を持ち,SOMへの入力層ノードは同数の1000個となる。
【0076】
指標サンプルと被験サンプルを混ぜてSOMを学習させる。この際,被験サンプルはP拍動分に対応するP個のベクトルであり,SOMの計算ではそれぞれ独立したデータとして扱われる。指標サンプルについてのみ学習させ,その後被験サンプルを入力してもよい。
【0077】
図8aは上述した5種類の指標サンプルを用いて得られたSOMの結果の一例を示している。
【0078】
さらに
図9は,5種類の指標サンプルに被験者から得られたシャント音(診断シャント音)のサンプルを加えていったSOMの結果を示している。
【0079】
図8a,
図9において(
図8b,
図8cについても同じ),これらは多数の六角格子マップであり,それぞれ六角形は出力ノードに対応し,入力ベクトル1データ(1拍動)に対して1つのノードが選択されて出力される。入力ベクトルが特徴空間に写像されたものであるため,縦軸及び横軸の概念はなく,近傍の出力ノードには類似した入力ベクトルをもったデータが出力され,離れた出力ノードほど入力ベクトルの類似しないデータが出力される。全ての出力が同時に表示されており,
図8aにおいては正常音,高周波狭窄音ABC,断続狭窄音がグレーレベルの違いで示され,
図9においてはハッチングの方向やグレー,黒で示されている。また,データが出力されるノードでは,
図8aにおいてはその数が丸,三角,四角等の記号の数で表現され,
図9においてはハッチングが施された六角形,グレー,黒の六角形の大きさで表現されている。
【0080】
正常音データが出力される領域(
図9では黒の線で囲まれた領域)が形成され,その領域内には狭窄音データは存在しないことがわかる。また,狭窄音データであっても,高周波狭窄音A,B,C,断続狭窄音の各データがそれぞれ大まかに領域を形成していることがわかる。
【0081】
図9において,診断シャント音(被験シャント音)が正常音の範囲内(正常音の近く)に表わされており(黒の六角形),この被験者のシャント音は正常であることが分る。
【0082】
図9に示すような学習結果を表示部9に表示することにより,被験者のシャント音の診断を支援することができる。すなわち,被験者のシャント音がSOM上で5種類のどの指標サンプルの近傍に表わされているかに応じて被験者のシャント音が5種類のどの指標サンプルに似ているかを判断することができる。
【0083】
(4) 逐次細分化SOM
逐次細分化SOMは主成分分析とSOMを融合して学習データ(シャント音)を細分化しつつ行う自己組織化の手法である。従来のSOMはデータの初期配置をランダムに行うため,同じ学習データを用いても,作成(学習)するたびに得られるマップの配置が変化する。逐次細分化SOMによると最初に主成分分析を実施してデータを配置し,再び主成分分析を利用することで細分化することで,得られるマップは初期配置の大域的な構造を保ちつつ作製され,再現性が高い。(つまり,同じ学習データであれば,マップの変化は類似したものとなる可能性が極めて高い。しかし,必ずしも全く同じマップが得られるというわけではなく,SOMのアルゴリズムの特徴が失われるわけではない。それを「大域的」と表現している。)同じ学習データであれば,わずか1%程度のデータが隣接するセルに配置されることが実験的に得られている。
【0084】
加えて高速であり,7774次元のベクトルデータ 511個を学習させた実験結果では,従来のSOMよりも42%の短縮ができている。
【0085】
逐次細分化SOMの処理については後で詳述する。
【0086】
(5) SOMによる狭窄レベルの定量化
採音された診断シャント音データが配置されるセル(ノード)」に最も近い「正常シャント音データが配置されるセル」とのユークリッド距離を計算することで狭窄レベルを定量的に求めることができる。
【0087】
図8a,8b,8cに示されるようなSOMにおいて,背景が白色で塗りつぶされているセルは正常音を含んだものである。また,灰色(グレーレベル)のセルは狭窄した血管から抽出された学習データを含むものである。セルの灰色の濃さは,白色のセルとの間の距離が離れるに従い濃くなるように複数段階(たとえば
図8aでは5段階,
図8b,
図8cでは32段階)に分かれている。この濃度レベル d
c(=0,1,2,‥‥,32)(
図8b,
図8cの場合)を次のように定義する。各セルに割り当てられているモデルベクトルをM
c(c=1,2,‥‥,C)とし,関数dis(M
c )をc番目のセルに最も近い正常音を含む白色のセルとの間のユークリッド距離とする。即ち,
【数1】
とする。ただし,W
g は第g世代のマップにおいて背景が白いセル(即ち,正常音のみを含むセル)の指標が作る集合である。セルcに正常音のみが含まれる場合には,dis(M
c)=0である。関数dis(M
c)の値を,c番目のセルにマップされるシャント音と正常音の違いを示すパラメータとして使用できる。しかし,入力ベクトルの次元などによりその値が変化するので,次の様に規格化した量d
c に変換する,
【数2】
ここで,[x]で実数xを超えない最大の整数を表わし,H
g は第g世代のマップに含まれるセルの全ての指標の集合である。定数uは経験的なパラメータであり,灰色の背景色が正常音を含むセルを明瞭に囲むように定める。一例としてはu=3である。濃度レベルd
cは,正常音との違いをM
cの非線形関数により表現している。シャント音が狭窄に起因した信号を含むことでd
c の値が増加するので,このパラメータを狭窄レベルと呼ぶ。
【0088】
式(2) で表わされる狭窄レベルを算出し,これを所定のしきい値レベル(複数の段階でもよい)で弁別することにより,狭窄の疑いの有無または程度を自動的に判定することができる。これが
図5のS13の判定処理の一例である。
【0089】
(6) HMMによる診断と判定
MFCC係数は分析フレームにおけるスペクトル包絡を表しており,後に説明するΔMFCC,ΔΔMFCC,及び対数パワー,Δ対数パワー,ΔΔ対数パワーを求めることで,これらを時間−周波数解析となる(
図5S21の処理)。これらをHMMへの入力ベクトルとする。
【0090】
一例として,MFCC導出条件は,ハニング窓によるフレームを用いて幅20msとし,フレームシフト間隔は10msとした。MFCC係数の次元を24として算出し低次元の12次元を診断に用いる。ゆえに,1フレーム毎にMFCC(12)となり,ΔMFCC(12),ΔΔMFCC(12),対数パワー(1),Δ対数パワー(1),ΔΔ対数パワー(1)の計39次元のベクトルを求めた。1拍動あたり67フレーム(0.67s )としたため,2613の特徴ベクトルをHMMに学習させることになる。
【0091】
HMMは“left-to-right ”型のモデルを用い,学習アルゴリズムとしてBaum-Welchアルゴリズムを用いている。また,HMMの状態数は8に設定した。1シャント音あたり10データ(10拍動)の出力が得られるが,3データ以上が狭窄音と出力された場合,そのシャント音は狭窄であると診断し,それ以外は正常であるとして診断した。複数の異なるしきい値を用いて判断することもできる。いずれにしてもこの判断が
図5S23の判定である。
【0092】
(7) メルケプストラム(MFCC)
ケプストラムは波形の短時間フーリエスペクトルの対数を逆フーリエ変換したものとして定義され,スペクトル包絡と微細構造を近似的に分離できる特徴がある。このケプストラム分析に,ヒトの聴覚機構のモデルを加味したものがMFCCである。
【0093】
ヒトの聴覚は音の高さに関してメルスケールと呼ばれる対数に近い非線形特性を示し,低い周波数では細かく,高い周波数では粗い周波数分解能を持っている。ケプストラムの導出課程にヒトの聴覚特性を考慮したフィルタバンクを組み合わせることで求められる。メルスケールは周波数f[Hz]に対して式(1)で定義される。
【0094】
【数3】
【0095】
シャント音信号は信号の性質が時間とともに変化する非定常信号であるため,メルケプストラム解析では信号を短い時間単位(フレーム)で切り出すこととし,このフレーム化処理には,ハニング窓を用いた。続いて各フレームに対し高速フーリエ変換を行い,この振幅スペクトルをメル尺度上で等間隔な24次元のフィルタバンクにかけ,各帯域のスペクトル成分m
j を取り出す。フィルタバンクからの出力を対数変換し,さらに離散コサイン変換を行い次元N=24のケプストラムに変換する。これより得られるMFCC係数C
i は式(4) で定義される。ただし,ここではMFCC係数の低次成分12次元を用いるため式(4) から式(7) においてiは12まで算出する。
【0096】
【数4】
【0097】
MFCC係数はある分析フレームにおけるスペクトル包絡を表している。一般的に,特徴ベクトルに使われるパラメータには,このほかにスペクトル包絡の時間変化に対応する,動的特徴量が用いられる。動的特徴量は式(5) で定義される。ある分析フレームnにおけるMFCC係数のi番目の値を C
i(n)とし,nを中心とした区間[n−δ,n+δ]におけるC
i(n)の値に直線を当てはめた場合の傾きがΔC
i(n)である。ここで,δ=2とし,ある分析フレームnの前後2フレームを加えた5フレームに対し計算を行う。始端(0番目)のフレームは,−1番目,−2番目のフレームが0番目と同じであると考え計算を行う。
【0098】
また,終端も同様に扱う。ΔC
i(n)はC
i(n)の時間的な変化量を表すものである。MFCC係数C
i に対し,式(5) で得られたパラメータをΔMFCCと呼ぶ。更にΔMFCC係数に対し,式(6) で得られたパラメータをΔΔMFCC係数と呼ぶ。
【0099】
【数5】
【0100】
【数6】
【0101】
また,式(7) より各フレーム毎にそのフレームの対数パワーをEとし求め,式(8) より求めたパラメータΔEをΔ対数パワー,式(9) より求めたパラメータΔΔEをΔΔ対数パワーと呼ぶ。ここで,式(7) においてM=12とした。各フレーム毎に,MFCC,ΔMFCC,ΔΔMFCC,対数パワー,Δ対数パワー,ΔΔ対数パワーをまとめて特徴ベクトルとする。
【0102】
【数7】
【0103】
【数8】
【0104】
【数9】
【0105】
(8) 統括判定
図5S30の統括判定は人間が行うこともできるが,信号処理装置4が自動的に行うこともできる。
【0106】
上述したように,
図5S13の判定は
図9のような表示をみて人間が行うこともできるし,式(2) によって求められる狭窄レベルを1または複数のしきい値と比較して,狭窄の有無,程度をコンピュータに判定させることができる。
図5S23の判定においても狭窄の有無または程度をコンピュータが判定することができる。
【0107】
図5S30では,S13とS23の判定結果を用いて判定が行なわれる。たとえば,S13の判定とS23の判定(狭窄の有無)のOR論理によって統合判定結果を得てもよい。S13,S23の判定が狭窄の程度を表わしているときには,そのうちの狭窄の程度の高い方を統括判定結果とすることができる。
【0108】
このようにして,2系統の解析,判定に基づいて最終的に統括判定を行うことにより,信頼性の高い支援システムを実現することができる。
【0109】
6 逐次細分化SOM
学習データを範疇に組み分ける逐次的な組み分け処理の手順,および入力データが帰属する範疇を判定する判定処理(逐次細分化SOMと判定:
図5S12,S13)について以下に説明する。この処理は上記実施例では
図1の解析判定部6で行なわれる処理であるが,ここでは一般化して記述する。解析判定部6には記憶部が設けられている。
【0110】
この記憶部として例えばハードディスクまたは半導体メモリ装置などが利用可能であるとする。この記憶部に,センサなどで取り込み特徴ベクトルの抽出を行ったデータ(一例として被験サンプル)またはあらかじめ用意したデータ(一例として指標サンプル)が,学習データA(n,f)として保持されているとする。ここで,nは個々の学習データを指定する指標であり,学習データの総数をNとすると例えば番号1,2,3〜Nのいずれか,またはこれらの番号を指定し得る変数である。また,fは学習データの成分を指定する指標でありその総数をFとすると,番号1,2〜Fまたはこれらの番号を指定し得る変数である。例えば音響データの時系列信号を処理して周波数ごとの信号強度を当該データとした場合,周波数またはこれを指定する番号がfである。
【0111】
記憶部に保持されるが学習データの成分が周波数で指定される信号強度であると限定してはおらず,当該成分が時系列信号の時間ごとの信号強度であってもよい。更には,時間周波数解析を行う場合のように時間と周波数の両者によって成分を指定してもよい。この場合,前記の指標fを,時間と周波数をともに指定する番号とする。この他,データの形式を全て枚挙できないが,取得するデータの特徴を捉え得る信号成分を有していることが学習データの要件である。
【0112】
学習データの距離を示す量として,2つの指標nとmで指定されたデータA(n,f),A(m,f)を用いて,例えば
【数10】
または,例えば正の実数であるw(f)を係数として用いて定義した量
【数11】
を用いることができる。この他にも,
【数12】
などを挙げることができる。このように,距離として使用できる量は限りなくあり全てを枚挙しないが,同一データ間の距離は0,またはこの数値に対応付けができる規則を持った関数の値として距離を定義する。
【0113】
本発明に係わるプログラムの手順を
図10に示す。また,階層的な範疇の作成手続き(
図10のS43)を
図13,
図14に示す。これらの図で示されているように,学習データを範疇に組み分ける作業を複数回に渡って逐次的に実施し作成することが本処理の特徴であり,これに伴い,階層的な範疇データを作成することができる。この組み分け回数の上限をGとし(
図10のS42の確認または入力),それまでの回数を1,2〜Gのいずれか,またはこれらに対応する番号gで指定する。この記号gを用いて,当該組み分け処理の手順を以下に説明する。なお,学習データの取得(
図10S41)は,上記実施例における指標サンプルの取得のみを指す場合(
図11)と,指標サンプルと被験サンプルの両方を含む場合(
図12)とがある。上限回数を指定する情報Gと学習データは記憶部に記憶される(
図17参照)。
【0114】
図13に示すように,まず最初の組み分け,即ち,g=1の組み分けの手続きでは,記憶部に保持されている学習データと同じ成分を有するC(g)個の代表データB(g,c,f)を作成する(S81)。指標cは代表データを指定する機能を有しc=1,2〜C(g)と変化する。また,指標fは前記の学習データA(n,f)における指標fと同等の機能をはたす指標でありf=1,2〜Fのいずれかの値をとるとする。記憶部に保持されている指標nで指定される個々のデータA(n,f)ごとに,前記の距離を代表データB(g,c,f)との間で,cを1,2〜C(g)と変化させて求める。この値を dis(n,g,c)と表現する。
【0115】
式(10)にしたがえば,この値は次式で表わされる(もちろん,式(11)または式(12)のように求めてもよい)。
【0116】
【数13】
【0117】
これらの距離のなかで最小値を与える指標cを cmin(n,g)で表現する。この記号を用いると,指標nで指定される当該記憶部に保持された学習データが帰属するg番目の範疇を指標 cmin(n,g)で指定することが可能である。このように,記憶部のN個の学習データは,C(g)個用意されたいずれかの代表データに対応付けること即ち帰属させることができる。c番目の代表データに帰属させられた学習データの指標の総数をM(g,c)で示し,これらの指標を新たな指標iで指定したものを記号m(g,c,i)で表示する。ここで,指標iは1,2〜M(g,c)のいずれか,またはこれらに対応付け得る変数である。これらのデータは記憶部に記憶される(
図17参照)。
【0118】
前記の代表データB(g,c,f)の作成手続きは,g−1回目の組み分けのc番目の範疇に帰属するM(g−1,c’)個の学習データから作られた配列変数a(i,f)=A(m(g−1,c’,i),f)を用いて,例えば公知の方法である主成分分析を用いて次のように行うことができる。なお,最初の組み分けを意味するg=1ではg−1=0となるがこの場合,範疇は当該記憶部に保持されている全学習データから構成され,範疇の指標はc’=1のみで,C(g−1)=1,M(g−1,c’)=N,m(g−1,c’,i)=iであると見做す。
【0119】
aa(f,f’)を積a(i,f)・a(i,f’)の指標iについて総和を求めて作成した新たな配列データであるとする。この配列データaa(f,f’)は,数学的には行列であり,その固有値s(k)と固有ベクトルv(k,f)を公知の方法で求めることができる。ここで,kは固有ベクトルを指定する指標であり,1,2〜Fのいずれかの値をとる番号である。また,v(k,f)の2乗を全てのfについて総和した値が1であるとする。これらの固有値s(k)をその大きさの順に例えば2個選びこれらの指標をk1,k2と表わすと,ベクトルv(k1,f)およびv(k2,f)は学習データのベクトル空間内で変動が最も大きな方向であることが,主成分分析の教えるとことである。係数の組(p1(k),p2(k))をkを1,2,3,4と変化させそれぞれ(0,0),(0,1),(1,0),(1,1)とするとき,b(k,f)=p1(k)・v(k1,f)/√{s(k1)}+p2(k)・v(k2,f)/√{s(k2)}を求め,これらを新たにg番目の組み分け処理の代表データの一部に追加しこれに伴い範疇を追加する。さらに,追加した当該範疇の指標をd(g,c,k)(k=1,2,3,4)と表示する。ここでは,指標kを変化させる個数を4個に限ったが,g−1番目のc’の範疇毎に異なった範疇を作成してもよいのでこの個数を一般的にD(g−1,c’)と表わすことにする。その拡張方法は,例えば前記の(p1,p2)に(0,2),(2,0),(1,2),(2,1)を加えることで実現できるばかりではなく,他の方法でも可能であることは容易に推測することができる。これらの手順は,g−1番目のそれぞれの範疇に対して実施できるのでこれらを全てまとめて新たに指標cを用いて指定することとして代表データをB(g,c,f)と表示する。以上の手続きから,g−1番目の組み分けのc’番目の範疇に含まれる学習データから,新たにg番目の組み分けの範疇がD(g−1,c’)個作成される(S82)。S82の詳細を
図15に示す。
【0120】
前記の組み分けに係わる手続きで,g番目の階層の範疇データ,即ち,g番目の組み分けのc番目の範疇に係わる代表データB(g,c,f)を,当該範疇に属する指標m(g.c,i)(i=1,2〜M(g,c))で指定された当該記憶部データA(m(g,c,i),f)の指標iに関する平均で置き換えることができる。この置き替えにともない,一つ前の階層の範疇データ,即ち,g−1番目の組み分けのc’番目の範疇から作成した範疇のM(g−1,c’)個のデータを前記の置き換えで得た代表データを用いて再配置することも可能である。さらに,この処理を所望の回数続けて繰り返すこともできる。本発明はこのような処理手続きを排除するものではない。この手順を
図14に示す。
図14のS92の処理の詳細もまた
図15に示されている。
【0121】
前記の組み分けに係わる手続きでM(g−1,c)=0の場合,g−2番目の範疇を作成するときに使用したv(k1,f),v(k2,f)を用いることで代表データを作成する。また,g−1=0のとき範疇の全個数を1と見做し,c’=1とし,M(g−1,c’)=Nであるとする。
【0122】
前記の組み分けに係わる手続きで,新たに作成した代表データB(g,c,f)の異なる指標cで指定されるものの中に同じものが存在する可能性があるが,本発明ではその可能性を排除してはいない。さらに,意図的に同じ代表データを用意すると,g−1番目の組み分け処理で分離され別の範疇に分かれて帰属している学習データが,g番目の組み分けで前記記載の共通の範疇に帰属する可能性があり,学習データの過度の分離を回避する効果がある。
【0123】
前記の組み分けに係わる手続きで,g−1とgをそれぞれgとg+1と読み直すと,g番目の組み分けの範疇に帰属する学習データを再度組み分けてg+1番目の範疇を作成することができる。さらに,任意回数の組み分けもこの手順を繰り返すことで逐次的に実施可能である。この組み分けの上限回数をGとして,この値を指定または確認する手続きを設けることも可能である。更に,下記に示すようにGが取り得る数値の範囲を拡大して,一般的にGを上限回数を指定する情報として定義することも可能である。
【0124】
逐次的な組み分け手順を続けると最終的には,全ての範疇に帰属するデータの個数が1か0になる場合が必ずあるので,この回数を組み分け回数gの上限回数とできる。例えばG=−1と指定することで,当該上限まで組み分けを繰り返えさせる。さらには,例えばG=−2とするとき,g番目の組み分けの各範疇に帰属する学習データの最大値が例えば10になるまで,逐次的な組み分けを繰り返えすこともできる。本発明は,このような手続きを排除するものではない。
【0125】
前記の組み分けに係わる手続きで,g番目の組み分け,即ち,g番目の階層のc番目の範疇とは,代表データB(g,c,f)と帰属する学習データを指示する指標m(g,c,i)(i=1,2〜M(g,c))と,逐次的に作成したg+1番目の組み分けの範疇を指定する指標d(g,c,k)(k=1,2〜D(g,c))からなる一連の情報である。このデータの構造を
図17にまとめておく。これらの情報は作成される毎に記憶部に記憶される。
【0126】
また,データを組み分ける手続きとは,当該範疇に係わる代表データと指標を作成する手続きである。一般にgの値が大きくなるに従い,組み分けが詳細になる。前記の階層的な範疇データを図に表示する一例として公知であるSOMの特徴マップと類似した図形を
図18に示す。学習データとして,4つの類型A,B,C,Dがある場合の範疇データである。組み分けの番号gまたは階層の番号gによりひとつのマップが定まる。各マップには,範疇のひとつひとつが網の目状の図形で表示されており,異なる類型の学習データが異なるマーカーで範疇に帰属させられている。また,ひとつ前の階層の範疇が,白線で描かれた網の目で上書きされている。範疇を表す網の目の背景色の濃さは,類型Aの学習データが属する範疇の代表データと各範疇の代表データの距離が大きくなるに従って0,1,〜5と6段階で濃くなるように示されている。なお,公知であるSOMの特徴マップでは,マップを階層化できないことを記しておく。
【0127】
前記の学習データと同じ成分を有する入力データをI(f)と記号で表現する。この入力データI(f)と代表データB(g,c,f)との間の距離を前記記載の定義に従い求めた値を dis(I;g,c)で表す。このとき,cを1,2〜C(g)と変化させ求めた dis(I;g,c)の値の中で最小値を与える指標cを cmin(I;g)と表わしこの値をもって,データI(f)または取得した入力データが,g番目に組み分けた範疇のいずれに帰属するかを判定した判定結果と定義する。この判定手続きを
図11に示す。S51〜S53は
図10のS41〜S43と同じである。
【0128】
図11に示される手続きにおいて,学習データは上記実施例の指標サンプルに対応し,入力データは被験サンプルに対応する。指標サンプルに基づいてSOMマップを作成しておき(たとえば
図8bに示すような),これに被験サンプルをあてはめる処理に相当する。これにより判定結果,すなわち指標サンプルにより作成されたSOMマップ上における被験サンプルの位置(たとえば
図8cに示すような)を知ることができる。
図8cにおいて,被験サンプルの位置は黒い正方形(診断シャント音)として示されている。なお,
図11のS62の詳細は
図16に示されている。
【0129】
判定結果 cmin(I;G)を得るために,g=1,2〜G−1と順番に変化させ,次のように逐次的な処理を行うことができる(
図11のS61〜S64)。まず,g=1として最初の組み分けのC(1)個の範疇のなから入力データが帰属する指標c1= cmin(I;1)を求める。次に,1番目の組み分けのc1番目の範疇に帰属するg+1番目の組み分けのD(g,c1,1)個の範疇から cmin(I;2)を求める。以下同様に, cmin(I;g)をg=3,4〜G−1と逐次的に繰り返えすと指標 cmin(I;G)が得られる。この手続きでは,入力データと代表データとの間の距離を求める回数は,C(1)とD(g, cmin(I;g))(g=1,2〜G−1)との和である。
【0130】
入力データの判定処理を,入力データを学習データの一部に組み込んで実施することも可能である。この場合の手続きを
図12に示す。学習データが中で当該入力データを示す指標をn0とすると,g番目の組み分けで入力データが帰属する範疇は前記に載の記号を用いて cmin(n0,g)(g=1,2〜G)で表される。これらも,本発明により得られる判定結果である。
図12において,参照データ(学習データ)(上記実施例における指標サンプルに相当する)と入力データ(被験データに相当する)とを統合して(混ぜあわせて)これらをまとめて
図10S43(
図12のS73)の処理を行うものである。入力データの帰属の判定(S74)はたとえば上記の手順で cmin(n0,G)を決定する処理および上記の式(2) により表わされる狭窄レベルをしきい値処理することに相当し,この結果が
図8cのようなSOMマップとともに表示される(S75)。
【0131】
逐次的な処理により,学習データを組み分け範疇を作成する組み分処理の処理時間,および,入力データをいずれの範疇に帰属しているかを判定する判定処理のための処理時間を顕著に短縮できる。このことが本発明の効果である。以下にこの根拠を示す。
【0132】
本発明の効果を説明するに際して,組み分け処理におけるg番目の組み分けで作成される範疇の個数を全て同じC1であるとする。即ち,前記に記載した説明で定義した記号を用いるとC1=C(1)=D(2,c)=・・・・=D(G−1,c)が任意の指標cに対して成立すると仮定する。ここで,逐次的な組み分けの上限回数をGとした。このとき,G番目の組み分けで得られる範疇の総数Ctは,C1のG乗である。なお,この仮定を取り除いた一般的な場合でも,以下の議論の本質は変化しないことは容易に推測できる事実である。
【0133】
一般に,N個の学習データをCt個の範疇に直接組み分けるためには,学習データの各々に対してCt個の代表データと距離を求める必要があり,その回数は最低でもN・Ctである。
【0134】
一方,逐次的な処理を行った場合に必要となる距離をもとめる回数は,G・N・C1で見積もることができる。
【0135】
その理由は,最初の組み分け,即ちg=1の場合,N個の学習データとC1(=C(1))個の代表データとの比較が必要なので,距離を求める回数はN・C1である。次に,N個の学習データを,C1個の範疇に割り当てるが,その個数をN/C1で見積もることができる。一般には,この個数は範疇ごとに変動するが,その変動を考慮したとしても議論の本質が変更されることが無いことは,容易に推測することができる。
【0136】
次に,g=2回目の組み分けで得られた各々の範疇のC1個の代表データと前記(N/C1)個のデータとの間で距離を求める回数は(N/C1)・C1であり,この操作をg−1番目のC1個の範疇で実施するので,更にC1を乗じた数N・C1が,2番目の組み分けで距離を求める最小の回数である。以下同様に,G回目までの組み分けまでその距離を求める回数はいずれもN・C1である。このことから,N・C1をG回加えた回数G・N・C1が,距離を求める最小の回数である。
【0137】
前記の論証で指摘した事実から,記憶部のN個の学習データを組み分けする際に距離を求める回数は,逐次的な処理を行わない場合N・Ct回であるが,逐次的な処理を行うとN・G・C1回である。Ctが,C1のG乗である事から,逐次的な組み分けを行った場合の回数は,逐次的な組み分けを行わなかった場合の回数よりも顕著に小さくなり,これに伴い処理時間も短縮できる。しかも,この処理時間の短縮は学習データの個数Nが増大するに従い益々顕著になる。このことが,本発明の効果である。
【0138】
前記に記載した入力データI(f)の判定処理を行う際,即ち,上限回数であるG番目の組み分けの範疇のいずれに当該入力データが帰属するかを決定する処理では,逐次的な処理を行わない場合,G番目の範疇の全代表データとの間で距離を求めることが必要なので,距離を求める回数はCt回である。一方,逐次的にg=1,2〜Gと変化させ夫々の回数の組み分けに係わる範疇への対応を行い判定を行う場合は,G・C1回だけ距離を求めるとよい。この場合も,逐次的な処理を行った方が距離を求める回数が少なく,処理時間を顕著に短縮できる。このことも,本発明の効果である。
【0139】
分りやすくするために主要な記号の説明を以下に記しておく。
【0140】
N 記憶部に保持された学習データの総数
G 逐次的な組み分けを実施する上限回数を指定する変数
A(n,f) 記憶部に保持されたn番目の学習データでF個の成分を有する(n=1,2,〜N,f=1,2〜F)
B(g,c,f) g番目の組み分けの際に作成するc番目の範疇を代表するデータで記憶部と同じ成分を有する
C(g) g番目の組み分けの際に作成する範疇の総数
M(g,c) g番目の組み分けのc番目の範疇に帰する学習データの指標の総数
D(g,c) g番目の組み分けのc番目の範疇に帰属するg+1番目の組み分けの範疇の総数
m(g,c,i) g番目の組み分けのc番目の範疇に帰属するi番目の学習データ指標(i=1,2〜M(g,c))
d(g,c,k) g番目の組み分けのc番目の範疇に帰属するg+1番目の組み分けの範疇の指標(k=1,2〜D(g,c))
dis(n,g,c) 学習データA(n,f)と代表データB(g,c,f)の距離
dis(I;g,c) 入力データI(f)と代表データB(g,c,f)の距離
cmin(n,g) 記憶部に保持されたn番目の学習データが属する,g番目の組み分けの範疇の指標
cmin(I;g) 入力データI(f)が帰属するg回目の組み分けの範疇の指標