(58)【調査した分野】(Int.Cl.,DB名)
呼吸音に基づく入力信号を複数の周波数帯域に分割し、各周波数帯域の信号において相対的にレベルが高い区間を示すピーク区間信号と、前記ピーク区間以外の区間を示す非ピーク区間信号を生成し、複数の前記ピーク区間信号を合成したピーク区間合成信号と、複数の前記非ピーク区間信号を合成した非ピーク区間合成信号を生成するピーク区間識別部と、
前記ピーク区間合成信号から第1の特徴量を生成し、前記非ピーク区間合成信号から第2の特徴量を生成する特徴量生成部と、
前記第1の特徴量と前記第2の特徴量を用いて、前記呼吸音に異常音が含まれるか否かを判断するための第1の評価値と、前記呼吸音に含まれる前記異常音の種類を判断するための第2の評価値を算出する評価値算出部と、を備える呼吸音分析装置。
前記第1の評価値に基づいて、前記呼吸音に前記異常音が含まれるか否かを判断し、前記第2の評価値に基づいて、前記異常音の種類を判断することを特徴とする判定部を備えることを特徴とする、請求項1に記載の呼吸音分析装置。
呼吸音に基づく入力信号を複数の周波数帯域に分割し、各周波数帯域の信号において相対的にレベルが高い区間を示すピーク区間信号と、前記ピーク区間以外の区間を示す非ピーク区間信号を生成するステップと、
複数の前記ピーク区間信号を合成したピーク区間合成信号と、複数の前記非ピーク区間信号を合成した非ピーク区間合成信号を生成するステップと、
前記ピーク区間合成信号から第1の特徴量を生成し、前記非ピーク区間合成信号から第2の特徴量を生成するステップと、
呼吸音分析装置の評価値算出部が、前記第1の特徴量と前記第2の特徴量を用いて、前記呼吸音に異常音が含まれるか否かを判断するための第1の評価値と、前記呼吸音に含まれる前記異常音の種類を判断するための第2の評価値を算出するステップと、を有する呼吸音分析方法。
呼吸音に基づく入力信号を複数の周波数帯域に分割し、各周波数帯域の信号において相対的にレベルが高い区間を示すピーク区間信号と、前記ピーク区間以外の区間を示す非ピーク区間信号を生成するステップと、
複数の前記ピーク区間信号を合成したピーク区間合成信号と、複数の前記非ピーク区間信号を合成した非ピーク区間合成信号を生成するステップと、
前記ピーク区間合成信号から第1の特徴量を生成し、前記非ピーク区間合成信号から第2の特徴量を生成するステップと、
前記第1の特徴量と前記第2の特徴量を用いて、前記呼吸音に異常音が含まれるか否かを判断するための第1の評価値と、前記呼吸音に含まれる前記異常音の種類を判断するための第2の評価値を算出するステップと、をコンピュータに実行させる呼吸音分析プログラム。
【発明を実施するための形態】
【0009】
以下、本発明の呼吸音分析装置の一実施形態について、添付図面を参照して説明する。
図1に、第1実施形態の呼吸音分析装置のブロック図を示す。呼吸音分析装置100は、信号取得部110と、ピーク区間検出部120と、特徴量生成部130と、評価値算出部140と、判定部150と、を備える。呼吸音分析装置100が行う呼吸音分析処理を、
図2のフローチャートを用いて説明する。
【0010】
信号取得部110は、マイク等の図示しない収音装置で収音した呼吸音信号を受け取り、必要に応じて信号変換を行い、ピーク区間識別部120に出力する。信号変換は例えばA/D変換である。
【0011】
ピーク区間識別部120は、
図3に示すように複数の帯域分割フィルタ2x,(x=1〜n、以下同様)と、ピーク信号生成部3xと、信号合成部40を備える。ピーク区間識別部120は、ステップS201にて呼吸音信号に基づく入力信号Sを受け取り、帯域分割フィルタ21〜2nで複数(1〜n)の周波数帯域に分割する。帯域分割フィルタ21〜2nは、入力信号Sをそれぞれが有するバンドパスフィルタでフィルタリングした信号s(x),(s(1)〜s(n))を、対応するピーク信号生成部31〜3nに供給する。
ピーク区間識別部120のピーク信号生成部3xはステップS202にて、各周波数帯域の信号s(x)から、周波数の時間変化における後述するピーク区間を示すピーク信号ps(x),(ps(1)〜ps(n))を生成する。ピーク信号生成部3xはピーク信号ps(x)を信号合成部40に供給する。本実施形態ではピーク区間を検出する対象とした分析対象周波数は0Hz〜2kHzとしたが、この限りではない。
【0012】
図4にピーク信号生成部3nが周波数帯域(n)の信号s(n)から求めたピーク信号ps(n)を示す。ピーク信号ps(n)は、周波数帯域の信号s(n)のレベルが一点鎖線で示すあるレベル以上となる区間(以下、ピーク区間)に立ち上がり、信号s(n)のレベルがあるレベルより小さくなる区間(以下、非ピーク区間)で立ち下がる信号である。ピーク区間識別部120は分割した各周波数帯域で同様に信号s(x)のピーク信号ps(x)を求め、求めたピーク信号ps(x)を基に
図5に示す合成信号Pを生成する。
なお、周波数帯域(x)の信号s(x)毎に、ピーク区間となるか非ピーク区間となるかの基準となるレベルは異なり、またそのレベルは一定値ではなく信号s(x)の分布に基づいて可変させてもよい。例えば、信号s(x)の移動平均値を各時刻における基準レベルとする。周波数帯域(x)の信号s(x)において、相対的にレベルが大きい区間がピーク区間、ピーク区間と識別された以外の区間が非ピーク区間である。
【0013】
ピーク区間識別部120の信号合成部40は、ピーク信号生成部3xが生成したピーク信号ps(x)から、
図5に示す合成信号Pを生成する(ステップS203)。合成信号Pは、合成対象とする各ピーク信号ps(x)のピーク区間を合成したピーク区間合成信号P1と、非ピーク区間を合成した非ピーク区間合成信号P0とを含む。
図5の時刻t1から時刻t2における合成信号Pは、合成の対象であるピーク信号ps(1)からピーク信号ps(n)のうち、時刻t1に最初に立ち上がるピーク信号ps(2)から時刻t2にて最後に立ち下がるピーク信号ps(1)を合成して生成した、時刻t1に立ち上がり時刻t2に立ち下がるピーク区間合成信号P1である。
図5の時刻t2から時刻t3における合成信号Pは、合成の対象であるピーク信号ps(1)からピーク信号ps(n)のうち、時刻t2にて立ち下がるピーク信号ps(1)から時刻t3に最初に立ち上がるピーク信号ps(n)までを合成して生成した、非ピーク区間合成信号P0である。
合成信号Pのピーク区間合成信号P1は、入力信号Sを分割した各周波数帯域(x)の信号s(x)において、相対的にレベルが大きい区間を示すピーク区間信号を合成した信号で、非ピーク区間合成信号P0は、入力信号Sを分割した各周波数帯域(x)の信号s(x)において、ピーク区間以外の区間である非ピーク区間を示す非ピーク区間信号を合成した信号である。
なお、合成信号Pの生成には、全ての周波数帯域の信号s(x)から求めたピーク信号ps(x)を用いてもよいし、選択した周波数帯域の信号s(x)から求めたピーク信号ps(x)を用いてもよい。
【0014】
ラッセル音(以下、ラ音)に代表される異常な呼吸音は、正常な呼吸音と比較して特定の周波数成分において振幅(またはパワー)が大きいという特徴を有する。そのため、周波数帯域(x)の信号s(x)についてピーク区間と非ピーク区間を示すピーク信号ps(x)を求めることで、異常音を含む疑いが高い区間(ピーク区間)とそうでない区間(非ピーク区間)とに、周波数帯域の信号s(x)を大まかに分けられる。
また、本実施形態における異常な呼吸音である連続性ラ音は狭い周波数帯域で長く連続して聴こえるという特徴を有し、断続性ラ音は広い周波数帯域でごく短時間、断続的に聴こえるという特徴を有することから、ピーク区間識別部120で入力信号Sを複数の周波数帯域(x)に分割する際、各周波数帯域に含まれる周波数成分が重複していてもよい。
ピーク区間識別部120は、入力信号Sを複数の周波数帯域に分割した複数の信号s(x)から、各周波数帯域の信号s(x)において相対的にレベルが高いピーク区間を示すピーク区間信号と、ピーク区間以外の区間を示す非ピーク区間信号とを有するピーク信号ps(x)を生成し、複数のピーク区間信号を合成したピーク区間合成信号P1および複数の非ピーク区間を合成した非ピーク区間合成信号P0を有する合成信号Pを生成する。入力信号Sは、ピーク区間識別部120が生成した合成信号Pにより、ピーク区間と非ピーク区間とに識別される。
【0015】
特徴量生成部130は、ピーク区間識別部120が生成した合成信号Pを構成するピーク区間合成信号P1、非ピーク区間合成信号P0を基に、入力信号Sのピーク区間と非ピーク区間の特徴量をそれぞれ求める。入力信号Sを、短時間高速フーリエ変換等の周波数解析方法を用いて、単位時間フレーム毎に周波数帯域の信号に変換し、ピーク区間、非ピーク区間のそれぞれの区間において、周波数毎の統計値を算出する。統計値は、例えば周波数毎の振幅や振幅から求めるパワーの、平均値や中央値、分散、尖度、歪度、最大値と最小値との差や比等、周波数の分布特徴を示す値を用いるのが望ましい。
【0016】
図6(A)、(B)は特徴量生成部130が、ピーク区間と非ピーク区間からそれぞれ求めた周波数分布を、横軸が周波数f、縦軸が周波数成分の特徴量として示す図である。本実施形態ではピーク区間合成信号P1を基にピーク区間から求めた周波数分布をピーク区間の特徴量CP、非ピーク区間合成信号P0を基に非ピーク区間から求めた周波数分布を非ピーク区間の特徴量NPとする。
図6(A)のピーク区間の特徴量CPを破線511や、512で囲んだ箇所は、周波数の特徴量が
図6(B)に示す非ピーク区間の特徴量NPと比較して高いことを示す箇所であり、ピーク区間の特徴量CPの特徴部分である。周波数f1やf2では相対的にパワーが大きい信号が多く検出されたことを示す。
図6(B)の非ピーク区間の特徴量NPと、ピーク区間の特徴量CPを比較すると、破線511や、512で囲んだ周波数帯域の分布に差が出る。ピーク区間の特徴量CPと非ピーク区間の特徴量NPに差が生じる箇所は、異常音に基づく差である可能性が高い。このような差に着目して異常音の有無を判断する。
【0017】
図7(A)〜
図7(C)を用いて特徴量生成部130が生成する特徴量について説明する。
図7(A)に、連続性ラ音を含む呼吸音の入力信号Sから求めたピーク区間の特徴量CPと非ピーク区間の特徴量NPとを示す。上記したように連続性ラ音は、狭い周波数帯域で時間的に連続した信号で表される。連続性ラ音は、例えば高い周波数の音であればピューという笛のような音、低い周波数の音であればボーという唸り声のような音である。ピーク区間に連続性ラ音の区間を多く含む場合、ピーク区間の特徴量CPは、鎖線611、612で囲んだ箇所のように、ある周波数成分を多く含むことを示す。ピーク区間の特徴量CPの鎖線611、612で囲んだ周波数帯域では、同周波数帯域における非ピーク区間の特徴量NPと大きな差があることが分かる。
図7(B)に、断続性ラ音を含む呼吸音の入力信号Sから求めたピーク区間の特徴量CPと非ピーク区間の特徴量NPとを示す。断続性ラ音は、上記したように広い周波数帯域で時間的に断続した信号で表される。断続性ラ音は、プチプチやブツブツというインパルス性ノイズが断続するような音である。ピーク区間に断続性ラ音の区間を多く含む場合、鎖線621で示す様な広い周波数帯域において、ピーク区間の特徴量CPと非ピーク区間の特徴量NPとに差があることが分かる。
【0018】
図7(C)に、本実施形態における異常音である、連続性ラ音も断続性ラ音も含まない呼吸音の入力信号Sから求めた、ピーク区間の特徴量CPと非ピーク区間の特徴量NPとを示す。異常音が含まれない、いわゆる正常な呼吸音の場合、呼気と吸気との振幅の差や、周囲のノイズ等により発生するピーク区間が含まれる。正常な呼吸音に基づく入力信号Sから得られたピーク信号ps(x)は、連続性ラ音や断続性ラ音のように特定の周波数成分あるいは周波数帯域において相対的にパワーが大きい信号が検出されない。従って分析対象の周波数全域で、
図7(C)に示すようにピーク区間の特徴量CPと非ピーク区間の特徴量NPとに大きな差がない。
図7(A)〜
図7(C)にて説明したように、ピーク区間における周波数分布、非ピーク区間における周波数分布をそれぞれ特徴量とすることで、入力信号Sに異常音を含む場合と含まない場合とでピーク区間、非ピーク区間の特徴量に明確な差が表れる。各区間の特徴量は、各要素を用いて、分散や尖度、歪度等の統計値をさらに算出した値としてもよい。
【0019】
評価値算出部140は、特徴量生成部130で生成したピーク区間の特徴量CPと非ピーク区間の特徴量NPとを用いて、判定部150が呼吸音に異常音が含まれるか否かを評価するために用いる評価値を算出する(ステップS205)。
評価値の算出には例えば、コサイン類似度や相互相関値等のベクトルの類似性を示す値、ユークリッド距離やマハラノビス距離等のベクトルの距離、ピーク区間の特徴量CPと非ピーク区間の特徴量NPの各要素の比や差に基づいた統計値(平均値や分散等)等を用いることができる。ベクトルのサイズが大きい場合は類似度の特徴が表れにくいことがあるため、隣接要素を平均によって1つの要素にまとめる等の処理により、ベクトルの特徴を保存しつつベクトルサイズを縮小するのが望ましい。また、評価値の特性に応じて特徴量を正規化してもよい。ベクトルは特徴量CP、特徴量NPであり、各周波数fにおける特徴量(スカラー)の集合である。
【0020】
判定部150は、評価値算出部140で得られた評価値が条件を満たしているか否かを判定する(ステップS206)。条件を満たしていない場合は、異常音なしと判断し(ステップS207)、条件を満たしている場合は異常音ありと判断する(ステップS208)。
評価値の算出にコサイン類似度を用いる場合、特徴量CPとNPの類似度が高いほど1に近い値となる。従って1に近い値、例えば0.9、を閾値として類似度が閾値以下であるか否かを条件とする。評価値の算出にユークリッド距離を用いる場合、正規化の条件によってベクトル間の距離は異なるが、特徴量CPと特徴量NPの類似度が高いほど0に近い値となる。従って正規化の条件に合わせて少なくとも0より大きい閾値を設定し、類似度が閾値以上であるか否かを条件とする。
評価値の算出に、特徴量に含まれる各要素の比を用いる場合、特徴量CPと特徴量NPの類似度が高いほど1に近い値を有する要素が多くなる。
【0021】
図8(A)〜(C)は、
図7(A)〜(C)にそれぞれ示す特徴量CPと特徴量NPの、周波数毎に求めた特徴量NPに対する特徴量CPの比Rを示す。
図7(A)で示した連続性ラ音を含む呼吸音の特徴量CPと特徴量NPは、
図8(A)に示すように一部の周波数帯域711、712で比Rが1を大きく上回る。
図7(B)で示した断続性ラ音を含む呼吸音の特徴量CPと特徴量NPは、
図8(B)に示すように広い周波数帯域721で比Rが1を上回る。
図8(A)、(B)から明らかなように、断続性ラ音を含む呼吸音から求めた比Rが1を上回る周波数帯域721は、連続性ラ音を含む呼吸音から求めた比Rが1を上回る周波数帯域711、712より広い。
図8(A)に示す、連続性ラ音を含む呼吸音から求めた比Rが1を上回る周波数帯域711、712は、分析処理に用いる全周波数に対して非常に少ない数の周波数を含む狭い領域である。
図8(B)に示す、断続性ラ音を含む呼吸音から求めた比Rが1を上回る周波数帯域721は、分析処理に用いる周波数のうちほぼ全ての周波数を含む広い領域である。
【0022】
図7(C)で示した異常音を含まない呼吸音の特徴量CPと特徴量NPは、
図8(C)に示すように、比Rが分析処理に用いる周波数のうちほぼ全ての周波数において約1を示す。
図8(A)〜
図8(C)で説明した異常音の有無で異なる特徴に基づいた条件としては、各要素の比の平均値が1より大きい(例えば1.5以上等)や、複数の周波数において1より充分に大きい(例えば2以上等)、といったものが挙げられる。また、分散や尖度、歪度を用いてもよい。
【0023】
ステップS209では、ステップS207の異常音を含まないとする判断またはステップS208の異常音を含むとする判断のいずれかに基づいて表示情報を生成し、呼吸音の分析処理を終了する。第1実施形態の呼吸音分析処理によって、学習のためのデータを必要とせず、かつ、簡便な方法で呼吸音に異常音が含まれるか否かを判断することができる。
【0024】
<第2実施形態>
本実施形態の呼吸音分析処理は、第1実施形態で説明した呼吸音分析処理によって呼吸音に異常音が含まれると判断された場合に、更にその異常音の種類を識別する。本実施形態では連続性ラ音と断続性ラ音とを識別する。
図9に示す本実施形態の呼吸音分析装置101は、第1実施形態の呼吸音分析装置100とは、評価値算出部141と判定部151とを備える点で異なる。本実施形態の呼吸音分析装置101が備える評価値算出部141と判定部151以外の構成は、第1実施形態の呼吸音分析装置100と同じであるため同じ符号を付し、説明を省略する。呼吸音分析装置101が行う呼吸音分析処理を
図10のフローチャートを用いて説明する。
【0025】
入力信号Sが呼吸音分析装置101に入力されてから特徴量生成部130が特徴量を生成するまでの処理は、第1実施形態のステップS201〜ステップS204と同じであるため、
図10に示すフローチャートにおいて、同じ符号を付し、説明を省略する。
【0026】
評価値算出部141は、異常音の有無を判断する評価値だけでなく、異常音が連続性ラ音を含むか否か、異常音が断続性ラ音を含むか否か、をそれぞれ判断する評価値も算出する。ステップS801において、評価値算出部141は、以下のように評価値を求める。
図7(A)に示すように連続性ラ音を含む呼吸音の特徴量CPは、鎖線611、鎖線612で示す一部の周波数帯域にピークを含むため、隣接する周波数間での特徴量の変化が大きい箇所を含む場合が多い。一方、
図7(B)に示すように断続性ラ音を含む呼吸音の特徴量CPは、隣接する周波数間の特徴量の変化が、
図7(A)に示す連続性ラ音を含む場合よりも緩やかである場合が多い。このような特徴により、特徴量CPの微分値を算出すると、
図7(A)に示す連続性ラ音を含む呼吸音の場合は、微分値は急峻な変化が多くなるが、
図7(B)に示す断続性ラ音を含む呼吸音の場合は、微分値は一定の値や緩やかな変化が多くなる。従って本実施形態では、二階微分値を求め、その零交差回数を、連続性ラ音を含むか否かの評価値とした。
また、その他の評価値としては、微分値の分布のばらつきを示す分散や、尖り具合を示す尖度等の統計値を用いたり、
図8(A)〜(C)に示す呼吸音の特徴量CPと特徴量NPから求めた比Rから統計値を算出して用いたりしても良い。
【0027】
図8(B)に示すように断続性ラ音を含む呼吸音から求めた比Rは、第1実施形態でも述べたように、分析処理に用いる周波数のほぼ全ての周波数において1を超えている。一方、
図8(A)に示す連続性ラ音を含む呼吸音から求めた比Rは、1を超えている周波数が断続性ラ音と比較して少ない。従って本実施形態では、閾値を1から2の値に設定し、分析に用いた周波数全体に対する閾値を超えた周波数の割合を算出した値を、断続性ラ音を含むか否かの評価値とした。
【0028】
本実施形態における判定部151はまず、ステップS801で評価値算出部141が算出した評価値を用いてステップS802にて呼吸音に異常音が含まれるか否かの判断処理を行うが、これは第1実施形態の判定部150が行うステップS206〜ステップS208と同様の判断処理であるため、ステップS802〜ステップS804の説明は省略する。
【0029】
ステップS804において異常音ありと判断された場合、ステップS805に進み、判定部151は連続性ラ音を含むか否かを評価するための評価値が、所定の条件を満たすか否かを判定する。条件を満たすと判定すると、呼吸音は連続性ラ音を含み(ステップS807)、満たさないと判定すると、呼吸音は連続性ラ音を含まない(ステップS806)。ここでステップS805における判定の条件は、二階微分値の零交差回数が三回以上か否か、とした。
続くステップS808において、断続性ラ音を含むか否か評価するための評価値が、所定の条件を満たすか否かを判定する。条件を満たすと判定すると、呼吸音は断続性ラ音を含み(ステップS810)、満たさないと判定すると、呼吸音は断続性ラ音を含まない(ステップS809)。ここでステップS808における判定の条件は、分析に用いた全周波数に対する閾値を超えた周波数の割合が60%以上か否か、とした。
【0030】
ステップS811では、異常音の有無、異常音がある場合は、異常音が連続性ラ音を含むか否か、異常音が断続性ラ音を含むか否か、について表示情報を生成して分析処理を終了する。
第2実施形態の呼吸音分析処理により、学習のためのデータを必要とせず、簡便な方法で呼吸音に異常音が含まれるか否かを判断でき、さらに異常音の種類(連続性ラ音、断続性ラ音)も判断することができる。
【0031】
なお、第1実施形態、第2実施形態の呼吸音分析装置は、判定部150、151を備えなくてもよい。特徴量や評価値を表示部200に表示させ、ユーザが表示された情報に基づいて異常音を含むか否かの判断、異常音の種類の判断をすればよい。
なお、第1実施形態、第2実施形態の呼吸音分析装置が行う呼吸音分析処理を、プログラムとしてコンピュータに実行させてもよい。