【文献】
NAGAE, Masahiro,A Neck Mounted Interface for Sensing the Swallowing Activity based on Swallowing Sound,33rd Annual International Conference of the IEEE EMBS,2011年,5224-5227
(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0013】
本実施形態の嚥下検出装置について、図面を参照して詳細に説明する。
図1は本実施形態の嚥下検出装置の全体構成を示すブロック図である。
図1に示すように、嚥下検出装置1は、マイク11、音声データ蓄積部12、データ分割部13、音声解析部140、および確定結果保存部15を有する構成である。
マイク11は被験者の頸部に装着され、被験者が嚥下するときの音を頸部にて採取し録音するための機器である。マイク11を介して採取された音声波形は音声データ蓄積部12に数値データとして蓄積される。
データ分割部13は、音声データ蓄積部12に蓄積された音声波形データを解析に適切な位置の適切なサイズの音声波形データを切り出して音声解析部140に入力する。 切り出すサイズは喉頭音を捕捉するために必要な十分な時間(秒)を、音声波形のサンプル周波数(Hz)に掛けることで求められる。
音声解析部140は、切り出された音声波形データを解析し嚥下音を検出する。音声解析部140によって嚥下音としての検出が確定したときの検出結果は確定結果保存部15に保存される。
音声解析部140は、
図1に示すように、音声波形演算部141および嚥下音判定部142を有する。音声波形演算部141は、音声波形データから演算により、喉頭蓋閉音31、食道通過音32および喉頭蓋開音33を判定するために必要な特徴データ42を抽出する。特徴データ42は、波形の振幅ピーク値、周波数毎のスペクトル強度を含む。嚥下音判定部142は、抽出された特徴データ42とパラメータから喉頭蓋閉音31、食道通過音32および喉頭蓋開音33を判定する。なお、喉頭蓋閉音31、食道通過音32および喉頭蓋開音33の音声波形は、後で図を参照して説明する。
【0014】
次に、
図1に示した嚥下音判定部142の構成を詳しく説明する。
図2は
図1に示した嚥下音判定部の構成例を示す機能ブロック図である。
嚥下音判定部142は、状態遷移管理部210、喉頭蓋閉音判定部220、食道通過音判定部230、喉頭蓋開音判定部240、専用パラメータ生成部25および判定情報記憶部40を有する構成である。
喉頭蓋閉音判定部220は、喉頭蓋閉音判定用パラメータ記憶部221を有する。食道通過音判定部230は、食道通過音判定用パラメータ記憶部231を有する。喉頭蓋開音判定部240は、喉頭蓋開音判定用パラメータ記憶部241を有する。状態遷移管理部210は、喉頭蓋閉音の出現を待つ喉頭蓋閉音待ち状態、食道通過音の出現を待つ食道通過音待ち状態、および喉頭蓋開音の出現を待つ喉頭蓋開音待ち状態の3つの状態の遷移を管理する。状態遷移管理部210は、現在の待ち状態に応じて、喉頭蓋閉音判定部220、食道通過音判定部230および喉頭蓋開音判定部240のうち、選択した1つまたは複数の判定部に特徴データ42を渡す。
喉頭蓋閉音判定部220は、喉頭蓋閉音31を仮判定したときに、判定結果と特徴データ42を専用パラメータ生成部25に渡す。専用パラメータ生成部25は、喉頭蓋閉音31の特徴データに基づいて、後続の判定の対象となる食道通過音32および喉頭蓋開音33を仮判定するための専用パラメータを生成する。専用パラメータ生成部25から提供される、食道通過音32検出用の専用パラメータは、食道通過音判定用パラメータ記憶部231に保存される。専用パラメータ生成部25から提供される、喉頭蓋開音検出用の専用パラメータは、喉頭蓋開音判定用パラメータ記憶部241に記憶される。
【0015】
判定のための計算に用いられるパラメータの例を説明する。特定周波数におけるスペクトラム強度のピークレベルにより判定する場合、パラメータを、周波数の範囲とピークレベルの閾値と定義する。また、特定周波数におけるスペクトラム強度のピークレベルによる判定以外では、例えば、波形の振幅大きさ、特定周波数帯におけるピーク値の総和(面積)などを判定のためのパラメータと定義する。
専用パラメータは、喉頭蓋閉音31の後に続く、食道通過音32および喉頭蓋開音33を検出するためのパラメータである。喉頭蓋開音検出用の専用パラメータの一例を説明する。ここでは、上述したパラメータの項目のうち、周波数の範囲を喉頭蓋開音検出用にアレンジして専用パラメータを生成する場合で説明する。例えば、同じ一連の嚥下動作を構成する喉頭蓋閉音31と喉頭蓋開音33はほぼ同じ周波数においてスペクトル強度の高いピークを持つ可能性が高い。そのため、専用パラメータ生成部25は、喉頭蓋閉音31が判定されたパラメータで、喉頭蓋閉音31に近い周波数を持つスペクトル強度のピークで閾値を超える得点が算出されるような専用パラメータを生成して喉頭蓋開音判定用パラメータ記憶部241に保存する。このようにすることで、喉頭蓋開音33を判定するためのパラメータを、より多くの被験者に適用可能な、喉頭蓋開音33を検出するための共通のパラメータと比較して、狭い周波数範囲で定義することができる。
以下では、食道通過音検出用の専用パラメータを「通過音専用パラメータ」と称する。また、喉頭蓋開音検出用の専用パラメータを「蓋開音専用パラメータ」と称する。
通過音専用パラメータには、上述したパラメータの他に、食道通過音検出最小時間511と食道通過音検出最大時間512も含まれる。蓋開音専用パラメータには、上述したパラメータの他に、喉頭蓋開音検出最小時間521と喉頭蓋開音検出最大時間522も含まれる。なお、食道通過音検出最小時間511、食道通過音検出最大時間512、喉頭蓋開音検出最小時間521および喉頭蓋開音検出最大時間522は、後で図を参照して説明する。
【0016】
喉頭蓋閉音判定部220は、喉頭蓋閉音判定用パラメータ記憶部221に記憶されたパラメータと特徴データ42を用いて、喉頭蓋閉音31である可能性を判断するための得点を算出し、その得点が一定の閾値を超えている場合に喉頭蓋閉音31であることを仮判定する。そして、喉頭蓋閉音判定部220は、仮判定された情報を仮判定状態として判定情報記憶部40に記憶させる。仮判定された情報の詳細は後述する。
食道通過音判定部230は、食道通過音判定用パラメータ記憶部231に記憶された通過音専用パラメータと特徴データ42を用いて、食道通過音32である可能性を判断するための得点を算出し、その得点が一定の閾値を超えている場合に食道通過音32であることを仮判定する。そして、食道通過音判定部230は、仮判定された情報を仮判定状態として判定情報記憶部40に記憶させる。
喉頭蓋開音判定部240は、喉頭蓋開音判定用パラメータ記憶部241に記憶された蓋開音専用パラメータと特徴データ42を用いて、喉頭蓋開音33である可能性を判断するための得点を算出し、その得点が一定の閾値を超えている場合に喉頭蓋開音33であることを仮判定する。そして、喉頭蓋開音判定部240は、仮判定された情報を仮判定状態として判定情報記憶部40に記憶させる。
得点の算出方法の一例を説明する。特定周波数におけるスペクトラム強度のピークレベルを対象にして判定する場合、パラメータで指定された周波数範囲に存在するスペクトル強度の全てのピーク値に対して計算したとき、ピーク値が閾値以上であれば100点以上、閾値未満であれば100点未満になるような計算式を用いて、得点を算出する。
嚥下音判定部142は、喉頭蓋閉音判定部220、食道通過音判定部230および喉頭蓋開音判定部240において、喉頭蓋閉音31、食道通過音32および喉頭蓋開音33の全てが仮判定されたときに、嚥下音としての検出を確定し、検出結果を確定結果保存部15に結果として保存する。
【0017】
ここで、嚥下音の音声波形を、
図3を参照して説明する。
図3は、嚥下音のスペクトログラムと音声波形における時系列なフェーズ構成を示す図である。
嚥下音のフェーズは、被験者が食塊を嚥下する際に喉頭蓋が閉じるときに発生する喉頭蓋閉音31、食塊が食道を通過する際に発生する食道通過音32、喉頭蓋が開く際に発生する喉頭蓋開音33の3フェーズで構成されている。
図3に示すように、喉頭蓋閉音31、食道通過音32、喉頭蓋開音33の順に発生する。
次に、判定情報記憶部40に記憶されるデータを説明する。
図4は、判定情報記憶部40に記憶されるデータの一構成例を示す図である。
判定情報記憶部40は、仮判定された情報である波形サンプル時刻41、特徴データ42、判定得点43、および仮判定ID(Identifier)44を記憶する。判定情報記憶部40は、喉頭蓋閉音31用、食道通過音32および喉頭蓋開音32のそれぞれについて、仮判定された情報を仮判定ID44に対応づけて、各仮判定に関連する情報として記憶する。仮判定ID44は、状態遷移管理部210によって付与され、仮判定された喉頭蓋閉音31、食道通過音32および喉頭蓋開音33を区別するための一意の数値を示す。仮判定ID44は、異種音の仮判定毎に付与されるだけでなく、同種音の仮判定も区別可能にするために付与されてもよい。例えば、喉頭蓋閉音31の場合で説明すると、先に仮判定された喉頭蓋閉音に付与されたIDと、新しく仮判定された喉頭蓋閉音に付与されるIDが異なるようにする。波形サンプル時刻41は、喉頭蓋閉音判定部220、食道通過音判定部230または喉頭蓋開音判定部240が判定した音声波形上の時刻を示す。特徴データ42は、上述したように、波形の振幅ピーク値、周波数毎のスペクトル強度など、喉頭蓋閉音31、食道通過音32および喉頭蓋開音33を判定するために必要なデータである。
【0018】
図5は、食道通過音32と喉頭蓋開音33を仮判定可能な期間を示す図である。
食道通過音32は、喉頭蓋閉音31を検出した時間から食道通過音検出最小時間511以上で食道通過音検出最大時間512以下の経過時間内である食道通過音検出可能期間51で仮判定することができる。
喉頭蓋開音33は、食道通過音32を検出した時間から喉頭蓋開音検出最小時間521以上で喉頭蓋開音検出最大時間522以下の経過時間内である喉頭蓋開音検出可能期間52で仮判定することができる。
【0019】
次に、本実施形態の嚥下検出装置の動作を説明する。
図6は本実施形態の嚥下検出方法における状態遷移を説明するための状態遷移図である。
装置の初期状態では、ステップS11の喉頭蓋閉音待ち状態において、状態遷移管理部210は喉頭蓋閉音判定部220を選択し、喉頭蓋閉音31の識別待ち状態となっている。 ステップS11において、状態遷移管理部210は判定部として選択している喉頭蓋閉音判定部220に特徴データ42を渡す。
ステップS11において、喉頭蓋閉音判定部220が喉頭蓋閉音31を検出すると、喉頭蓋閉音判定部220は検出した喉頭蓋閉音31を仮判定し、状態遷移管理部210はステップS12の食道通過音待ち状態に遷移する。
【0020】
ステップS12において、状態遷移管理部210は判定部として喉頭蓋閉音判定部220と食道通過音判定部230を選択し、食道通過音32の識別待ち状態となる。 このステップにおいては、置換可能性のある喉頭蓋閉音31の解析のために喉頭蓋閉音判定部220も選択されている。 ステップS12において、状態遷移管理部210は判定部として選択している喉頭蓋閉音判定部220と食道通過音判定部230に特徴データ42を渡す。
ステップS12において、食道通過音判定部230が食道通過音32を検出すると、食道通過音判定部230は検出した食道通過音32を仮判定し、状態遷移管理部210はステップS13の喉頭蓋開音待ち状態に遷移する。 また、ステップS12において、状態遷移管理部210が喉頭蓋閉音の仮判定を取り消す条件を検出すると、喉頭蓋閉音31の仮判定を取り消してステップ11に戻る。
また、ステップS12において、喉頭蓋閉音判定部220が新たな喉頭蓋閉音31を検出し、その得点が先に仮判定された喉頭蓋閉音31の得点よりも高い場合には、状態遷移管理部210はステップS15に遷移する。そして、喉頭蓋閉音判定部220は、先の喉頭蓋閉音31の仮判定を取り消し、新しい喉頭蓋閉音31の仮判定に置換し、ステップS12に戻る。
【0021】
ステップS13において、状態遷移管理部210は、判定部として喉頭蓋開音判定部240を選択し、喉頭蓋開音33の識別待ち状態となる。ステップS13において、状態遷移管理部210は判定部として選択している喉頭蓋開音判定部240に特徴データ42を渡す。
ステップS13において、喉頭蓋開音判定部240が喉頭蓋開音33を検出すると、喉頭蓋開音判定部240は検出した喉頭蓋開音33を仮判定し、状態遷移管理部210はステップ14の嚥下音確定状態に遷移する。 また、ステップS13において、状態遷移管理部210が喉頭蓋閉音の仮判定を取り消す条件が成立すると、喉頭蓋閉音31と食道通過音32の仮判定を取り消してステップ11に戻る。
【0022】
次に、本実施形態の嚥下検出装置による嚥下検出方法を、
図7を参照して説明する。
図7は本実施形態の嚥下検出方法の手順を示すフローチャートである。
装置の初期状態では、ステップS11において、状態遷移管理部210は喉頭蓋閉音31の識別待ち状態となっている。状態遷移管理部210は判定部として喉頭蓋閉音判定部220を選択しているため、音声波形演算部141が抽出した特徴データ42は、喉頭蓋閉音判定部220に入力される。喉頭蓋閉音判定部220は、喉頭蓋閉音判定用パラメータ記憶部221に記憶されているパラメータを用いて、特徴データ42の解析を行い、喉頭蓋閉音31を判定するための得点を算出する。
ステップS111において、喉頭蓋閉音判定部220は、算出された得点に基づいて、喉頭蓋閉音検出か否かを判定する。すなわち、喉頭蓋閉音判定部220は、喉頭蓋閉音判定用パラメータ記憶部221に記憶されているパラメータを用いて、特徴データ42の解析を行い、算出した得点が、予め設定されている所定の閾値以上か否かを判定する。算出した得点が閾値以上の場合、喉頭蓋閉音判定部220は、喉頭蓋閉音31の可能性が高いと判断し、ステップS112において、喉頭蓋閉音31として仮判定する。
一方、ステップS111において、喉頭蓋閉音判定部220は、算出した得点が閾値より小さく、喉頭蓋閉音31の可能性は無いと判断した場合、処理はステップS11に戻り、音声波形演算部141は、次の音声波形データの分析に入る。
【0023】
ステップS111の判定の結果、喉頭蓋閉音判定部220は、ステップS112で喉頭蓋閉音31として仮判定した音声波形の波形サンプル時刻41、特徴データ42および判定得点43を仮判定ID44と一緒に仮判定状態として判定情報記憶部40に記憶する。
ステップS113において、喉頭蓋閉音判定部220は、ステップ111において仮判定した喉頭蓋閉音31の特徴データ42を専用パラメータ生成部25に入力する。専用パラメータ生成部25は、ステップ111で仮判定された喉頭蓋閉音31と相関関係のある、1つの嚥下音を構成する後続のフェーズである食道通過音32と喉頭蓋開音32を識別するための専用パラメータを算出する。そして、専用パラメータ生成部25は、食道通過音32および喉頭蓋開音32の専用パラメータのそれぞれを食道通過音判定用パラメータ記憶部231および喉頭蓋開音判定用パラメータ記憶部241のそれぞれに記憶させる。
【0024】
ステップS12において、状態遷移管理部210は食道通過音32の識別待ち状態となる。 状態遷移管理部210は判定部として喉頭蓋閉音判定部220と食道通過音判定部230を選択しているため、音声波形演算部141が抽出した特徴データ42は、喉頭蓋閉音判定部220と食道通過音判定部230に入力される。喉頭蓋閉音判定部220は、喉頭蓋閉音判定用パラメータ記憶部221に記憶されているパラメータを用いて、特徴データ42の解析を行い、喉頭蓋閉音31の置換を判定するための得点を算出する。 また、食道通過音判定部230は、食道通過音判定用パラメータ記憶部231に記憶されている専用パラメータを用いて、特徴データ42の解析を行い、食道通過音32を判定するための得点を算出する。
ステップS121において、状態遷移管理部210は、判定情報記憶部40が記憶する、音声波形データの波形サンプル時刻41を確認し、食道通過音検出最小時間511を経過していなければ、まだ有効な食道通過音32の検出はできないため、ステップS12に戻る。
【0025】
ステップS122において、音声波形データの波形サンプル時刻41が食道通過音検出最大時間512を経過していた場合や、特徴データ42の解析により嚥下音とは異なる雑音だけにある特徴が検出されるなどの取消条件に合致した場合、喉頭蓋閉音判定部220は、仮判定された喉頭蓋閉音31は雑音であったと判断する。そして、ステップS123において、喉頭蓋閉音判定部220は、喉頭蓋閉音31の仮判定を取消し、これに関連して判定情報記憶部40に記憶されていた仮判定状態の情報も削除し、ステップS11に戻り、新たな喉頭蓋閉音31の待ち状態に入る。
ステップS124において、喉頭蓋閉音判定部220は、ステップS12で算出された喉頭蓋閉音31の置換を判定するための得点に基づいて、喉頭蓋閉音検出か否かを判定する。喉頭蓋閉音判定部220は、新たに検出された喉頭蓋閉音の得点が、予め設定されている所定の閾値以上の場合は喉頭蓋閉音31の可能性が高いと判断し、喉頭蓋閉音31として仮判定し、ステップS125に進む。 一方、ステップS124において、算出した得点が閾値より小さく、喉頭蓋閉音31の可能性は無いと判断した場合、ステップS126に進む。
ステップS125において、喉頭蓋閉音判定部220は、ステップS12で最新の喉頭蓋閉音31として仮判定された得点と、既に仮判定された、判定情報記憶部40に記憶されている喉頭蓋閉音31の得点とどちらが大きいか比較することで、喉頭蓋閉音31の仮判定を置換するか否かを判定する。最新の喉頭蓋閉音の得点が大きい場合はステップS15に進む。
【0026】
ステップS15において、喉頭蓋閉音判定部220は、判定情報記憶部40に既に記憶されていた先の喉頭蓋閉音31の仮判定状態の情報を、ステップS12で置換用として仮判定された喉頭蓋閉音31の音声波形の波形サンプル時刻41、特徴データ42、判定得点43および仮判定ID44の情報に更新することで、喉頭蓋閉音の仮判定の置換を実行する。 喉頭蓋閉音31の仮判定が置換されたことにより、後続の食道通過音32と喉頭蓋開音33の専用パラメータも置換された喉頭蓋閉音31の特徴データ42で再生成する必要がある。そのため、喉頭蓋閉音判定部220は、最新の喉頭蓋閉音31の特徴データ42を専用パラメータ生成部25に入力する。専用パラメータ生成部25は、更新された特徴データ42に基づいて食道通過音32と喉頭蓋開音32を識別するための専用パラメータを算出し、食道通過音判定用パラメータ記憶部231と喉頭蓋開音判定用パラメータ記憶部241に記憶された専用パラメータを更新する。
ステップS125において、最新の得点がすでに仮判定されている喉頭蓋閉音31の得点以下の場合、置換は行わず、処理はステップS126に進む。
【0027】
ステップS126において、食道通過音判定部230は、ステップS12で算出された得点に基づいて、食道通過音検出か否かを判定する。
すなわち、食道通過音判定部230は、食道通過音判定用パラメータ記憶部231に記憶されている専用パラメータを用いて、特徴データ42の解析を行い、算出した得点が、予め設定されている所定の閾値以上か否かを判定する。算出した得点が閾値以上の場合、食道通過音判定部230は、食道通過音32の可能性が高いと判断し、ステップS127において、食道通過音32として仮判定する。
一方、ステップS126において、算出した得点が閾値より小さく、食道通過音32の可能性は無いと判断した場合、処理はステップS12に戻る。
ステップS126の判定の結果、食道通過音判定部230は、ステップS127で食道通過音32として仮判定した音声波形の波形サンプル時刻41、特徴データ42および判定得点43を仮判定ID44と一緒に判定情報記憶部40に記憶する。
【0028】
ステップS13において、状態遷移管理部210は喉頭蓋開音33の識別待ち状態となる。 状態遷移管理部210は判定部として食道通過音判定部230と喉頭蓋開音判定部240を選択しているため、音声波形演算部141が抽出した特徴データ42は、食道通過音判定部230と喉頭蓋開音判定部240に入力される。喉頭蓋開音判定部240は、喉頭蓋閉音判定用パラメータ記憶部241に記憶されているパラメータを用いて、特徴データ42の解析を行い、喉頭蓋開音33を判定するための得点を算出する。
ステップS131において、音声波形データの波形サンプル時刻41を確認し、喉頭蓋開音検出最小時間521を経過していなければ、まだ有効な喉頭蓋開音33の検出ができないため、ステップS13に戻る。
ステップS132において、音声波形データの波形サンプル時刻41が喉頭蓋開音検出最大時間522を経過している場合や、特徴データ42の解析により嚥下音とは異なる雑音だけにある特徴が検出されるなどの取消条件に合致した場合には、食道通過音判定部230は、仮判定された喉頭蓋閉音31と食道通過音32は雑音であった判断する。そして、ステップS133において、食道通過音判定部230は、喉頭蓋閉音31と食道通過音32の仮判定を取消し、これに関連して判定情報記憶部40に記憶されていた仮判定状態の情報も削除し、ステップS11に戻り、新たな喉頭蓋閉音31の待ち状態に入る。
ステップS134において、喉頭蓋開音判定部240は、算出された得点に基づいて、喉頭蓋開音検出か否かを判定する。
すなわち、喉頭蓋開音判定部240は、喉頭蓋開音判定用パラメータ記憶部241に記憶されている専用パラメータを用いて、特徴データ42の解析を行い、算出した得点が、予め設定されている所定の閾値以上か否かを判定する。算出した得点が閾値以上の場合、喉頭蓋開音判定部240は、喉頭蓋開音33の可能性が高いと判断し、ステップS135において、喉頭蓋開音33として仮判定する。
一方、ステップS134において、喉頭蓋開音判定部240は、算出した得点が閾値より小さく、喉頭蓋開音33の可能性は無いと判断した場合、処理はステップS13に戻り、音声波形演算部141は、次の音声波形データの分析に入る。
ステップS134の判定の結果、喉頭蓋開音判定部240は、ステップS135で喉頭蓋開音33として仮判定された音声波形の波形サンプル時刻41と特徴データ42と判定得点43と仮判定ID44を判定情報記憶部40に記憶する。
喉頭蓋開音33が仮判定されたことにより、1つの嚥下音を構成する喉頭蓋閉音31、食道通過音32および喉頭蓋開音33の全てが検出されたことになるため、ステップS14において、状態遷移管理部210は嚥下音確定状態に遷移する。そして、嚥下音判定部142は、嚥下音としての検出を確定し、判定情報記憶部40に記憶していた仮判定状態の情報を確定情報として確定結果保存部15に記憶する。
【0029】
本実施形態によれば、嚥下音判定において、状態遷移管理部が喉頭蓋閉音待ち状態、食道通過音待ち状態、および喉頭蓋開音待ち状態の3つの待ち状態の遷移を管理しているので、3つの待ち状態間を柔軟に遷移することを可能としている。そのため、嚥下音を構成する3つの音のいずれかに雑音が混入した場合、1つ以上前の待ち状態に戻って音を検出し直すことが可能となる。その結果、嚥下音の検出に3つの音が時系列で発生することを前提として、多くの被験者に共通のパラメータを適用する場合に比べて、嚥下と雑音を適切に識別し、より正確に嚥下を検出することができる。
【0030】
また、本実施形態では、状態遷移管理部が、3つの待ち状態において、喉頭蓋閉音判定部、食道通過音判定部および喉頭蓋開音判定部から判定部として1つまたは複数を選択し、仮判定状態が記憶される毎に状態遷移する。食道通過音待ち状態に遷移した後、状態遷移管理部が判定部として喉頭蓋閉音判定部および食道通過音判定部を選択した場合、先に仮判定された喉頭蓋閉音よりも得点の高い喉頭蓋閉音が検出されることが考えられる。この場合、先に仮判定された喉頭蓋閉音が雑音である可能性が高く、喉頭蓋閉音をより確実に検出することができる。
【0031】
特許文献1および特許文献2に開示された方法では、咳きや発声、首を動かした際にマイクが頸部に擦れる音など、嚥下音以外の雑音がパラメータの周波数範囲に偶然に一致すると、結果として、その雑音が喉頭蓋閉音、食道通過音および喉頭蓋開音のうち、いずれかの音と間違って識別される可能性が高くなる。考えられる理由は、次の通りである。喉頭蓋閉音、食道通過音および喉頭蓋開音毎に固定の周波数範囲となるパラメータを定義し、全ての嚥下を同じ汎用パラメータで検出できるようにするためには全ての周波数範囲を包括しており、パラメータの周波数範囲が広くなる傾向がある。その結果、パラメータの周波数範囲が広くなると、雑音がパラメータの周波数範囲に偶然一致する確率が高くなるためである。
これに対して、本実施形態では、同じ一連の嚥下動作を構成する喉頭蓋閉音と喉頭蓋開音は近い周波数においてスペクトル強度の高いピークを持つ可能性が高いため、喉頭蓋閉音が仮判定されたとき、専用パラメータ生成部が仮判定された喉頭蓋閉音と相関関係のある専用パラメータを動的に生成している。そのため、汎用のパラメータに比較して狭い周波数範囲に一致する食道通過音と喉頭蓋開音だけが仮判定され、雑音にこの周波数範囲が入る確率が下がる。その結果、食道通過音と喉頭蓋開音のパラメータの周波数範囲に一致する雑音が偶発的に発生しても、このような雑音を間違って食道通過音や喉頭蓋開音として検出する可能性を下げることができる。
【0032】
また、特許文献2に開示された方法では、喉頭蓋閉音の周波数範囲と一致する雑音、食道通過音の周波数範囲と一致する雑音、喉頭蓋開音の周波数範囲と一致する雑音がこの順番で偶然に出現した場合、これらの3音を間違って嚥下音として検出してしまうおそれがある。その理由は、パラメータの周波数範囲に一致するかどうかの条件だけで、喉頭蓋閉音、食道通過音および喉頭蓋開音の検出を行い、それら3音全てが順番に検出されれば嚥下音の検出として確定しているためである。
これに対して、本実施形態では、喉頭蓋閉音、食道通過音および喉頭蓋開音の周波数特性に一致する雑音が偶発的に連続して発生しても、雑音間の時間が規定の時間以上であった場合や、雑音間で波形の特徴などの解析により嚥下音とは異なる雑音だけにある特徴が検出されるなどの予め規定した取消条件に合致した場合には、間違って雑音を仮判定したと判断できる。そのため、喉頭蓋閉音、食道通過音および喉頭蓋開音の周波数特性に一致する雑音が偶発的に連続して発生した場合でも、間違って嚥下音として認識する可能性を下げることができる。
【0033】
さらに、特許文献1および特許文献2に開示された方法では、一度間違って雑音を喉頭蓋閉音として識別したあとで、本当の喉頭蓋閉音が発生した場合には、本当の喉頭蓋閉音の識別ができないおそれがある。その理由は、識別方法として、音が喉頭蓋閉音として共通パラメータで定義された周波数範囲に入っていれば検出を確定しているため、一度確定したあとに本当の喉頭蓋閉音が発生しても、すでに喉頭蓋閉音は確定しているため、本当の喉頭蓋閉音の判定を行わないためである。
これに対して、本実施形態では、雑音に比較して、本当の喉頭蓋閉音の方がより高い得点の算出ができる可能性が高いパラメータと計算式を定義している。そのため、雑音を仮判定した後でも、本当の喉頭蓋閉音の仮判定に置換される可能性が高くなる。その結果、間違って雑音を喉頭蓋閉音として仮判定した後で、本当の喉頭蓋閉音が発生した場合でも、雑音の仮判定を破棄し、本当の喉頭蓋閉音を仮判定できる。
【0034】
なお、上述の実施形態において、以下のような構成にしてもよい。
嚥下音を待つ状態を喉頭蓋閉音待ち、食道通過音待ち、喉頭蓋開音待ちの3つの状態ではなく、喉頭蓋閉音待ち、食道通過音待ちなどの2つに減らして簡便化してもよい。
嚥下音を待つ状態を喉頭蓋閉音待ち、食道通過音待ち、喉頭蓋開音待ちの3つの状態だけではなく、軟口蓋の音など他の音を待つ状態を増やしてさらに検出の精度を高くしてもよい。
喉頭蓋開音待ちと嚥下音確定の状態の間に一定時間を待つだけの状態を追加することにより、嚥下終了直後に発生する可能性が高い雑音を誤って喉頭蓋閉音として仮判定する可能性を下げる構成としてもよい。
仮判定の取り消し条件における雑音の特徴は、特定周波数におけるスペクトル強度が予め設定された閾値以下の状態が一定時間継続した場合は雑音として判定してもよい。
また、音声波形のケプストラム分析の結果、特定の周波数帯において、一定の閾値以上のピークが検出された場合には、嚥下ではなく声など嚥下以外の音、つまり雑音として判定するようにしてもよい。
雑音の場合は、複数周波数の成分が重複した波形になっている可能性が高いため、音声波形のフーリエ変換を行った結果の曲線に現れるピークの数が、嚥下の場合に比較して多い可能性が高い。そのため、ピークの数が所定の数よりも多い場合に雑音と判定するようにしてもよい。
【0035】
食道通過音32と喉頭蓋開音33の専用パラメータには、喉頭蓋閉音31の特徴データ42と相反する条件を付加することで、類似した周波数特性が連続した雑音データを間違って識別する可能性を下げるようにしてもよい。 例えば、
図3から明らかなように、喉頭蓋閉音31は高周波の成分が少ないのに対して、食道通過音32は高周波成分が多い。このことから、食道通過音32の専用パラメータは高周波成分が多いときに高得点が得られるパラメータを設定する。その結果、先に喉頭蓋閉音31として仮判定した波形が雑音を誤認識している場合には、その雑音が連続していても、高周波成分が少ないため食道通過音32として間違って識別されることはなくなる。
上述の実施形態では、仮判定の置換を喉頭蓋閉音31で実施する場合で説明したが、食道通過音32および喉頭蓋開音33においても同様に置換を実施してもよい。
上述の実施形態では、ステップS122で喉頭蓋閉音31の取消条件の判定を実施する場合で説明したが、この取消判定は実施しない形態であってもよい。
上述の実施形態では、ステップS132で食道通過音32の取消条件の判定を実施する場合で説明したが、この取消判定は実施しない形態であってもよい。
【0036】
さらに、本実施形態の嚥下検出方法を、
図8および
図9に示す情報処理装置に実行させることも可能である。
図8は本実施形態の嚥下検出装置の他の構成例を示すブロック図である。
図8に示す嚥下検出装置300は、
図1に示した音声解析部140と、記憶部310とを有する。記憶部310は、
図1に示した確定結果保存部15と
図2に示した判定情報記憶部40の役割を担っている。
図8に示す嚥下検出装置300は、分析対象の音声波形データが他の装置から通信回線(不図示)を介して入力される場合や分析対象の音声波形データが記録媒体(不図示)を介して入力される場合などにおいて、上述した本実施形態の嚥下検出方法を実行することが可能である。
【0037】
図9は
図8に示した嚥下検出装置をコンピュータに置き換えた場合の構成例を示すブロック図である。
図9に示す嚥下検出装置330は記憶部310および制御部340を有するコンピュータである。
制御部340は、プログラムを記憶するメモリ341と、プログラムにしたがって処理を実行するCPU(Central Processing Unit)342とを有する。記憶部310は、例えば、ハードディスク装置である。メモリ341は、例えば、フラッシュメモリを含む不揮発性メモリであるが、SRAM(Static RAM)およびDRAM(Dynamic RAM)を含むRAM(Random Access Memory)であってもよい。
【0038】
CPU342がプログラムを実行することで、
図1に示した音声波形演算部141および嚥下音判定部142を含む音声解析部140がコンピュータに仮想的に構成される。より具体的には、CPU342がプログラムを実行することで、音声波形演算部141、状態遷移管理部210、喉頭蓋閉音判定部220、食道通過音判定部230、喉頭蓋開音判定部240および専用パラメータ生成部25がコンピュータに仮想的に構成される。
喉頭蓋閉音判定用パラメータ記憶部221、食道通過音判定用パラメータ記憶部231および喉頭蓋開音判定用パラメータ記憶部241はメモリ341に含まれる。また、判定情報記憶部40は記憶部310に含まれていてもよく、メモリ341に含まれていてもよい。
判定情報記憶部40がメモリ341に含まれている場合、判定情報記憶部40に保存されるデータは、予め登録されていてもよく、そのデータの一部または全部がプログラムの起動時に記憶部310からダウンロードされてもよい。
さらに、
図1に示した音声データ蓄積部12および確定結果保存部15がメモリ341に含まれてもよく、記憶部310に含まれてもよい。音声解析部140における音声波形演算部141は、ASIC(Application Specific Integrated Circuit)等の専用回路であってもよい。
【0039】
上述した本実施形態の嚥下検出装置および嚥下検出方法は、特別な技術や経験が無くても、日常、簡易的に嚥下動作の検出ができ、雑音の影響下においても正確に嚥下動作の検出ができる。よって、以下のような適用例が考えられる。
(適用例1)
本適用例は、本実施形態の嚥下検出方法を医療現場に用いるものである。
医療現場において、嚥下障害が疑われる被験者の頸部にマイク11を装着し、本実施形態の嚥下検出方法により、被験者が嚥下したことが正常に検出できれば、嚥下障害の可能性は低いと判断することができる。 逆に、嚥下が検出できなければ、嚥下障害の疑いがあると判断することができる。 このように、マイク11を被験者に装着するだけで、簡易的な嚥下障害スクリーニングを実現できる。
【0040】
(適用例2)
本適用例は、本実施形態の嚥下検出方法を嚥下機能の評価に用いるものである。ここでは、本実施形態の嚥下検出装置の他に、嚥下回数をカウントする別の情報処理装置を予め準備する場合で説明するが、嚥下検出装置にカウンタが設けられていてもよい。
嚥下機能の評価として、一定時間内に唾液の嚥下を何回行ったかを、次のようにして測定する。被験者の頸部にマイク11を装着し、本実施形態の嚥下検出方法により、被験者が唾液を嚥下したことを検出する。嚥下が正常に検出されると、その信号が別の情報処理装置に入力される。別の情報処理装置は、入力される信号により、検出した回数を自動的にカウントする。このような構成にすることで、唾液の嚥下回数を自動的にカウントする装置を実現できる。