IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日立マクセル株式会社の特許一覧

特許7165209生体情報分析装置、生体情報分析方法、及び、生体情報分析システム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-10-25
(45)【発行日】2022-11-02
(54)【発明の名称】生体情報分析装置、生体情報分析方法、及び、生体情報分析システム
(51)【国際特許分類】
   A61B 5/11 20060101AFI20221026BHJP
【FI】
A61B5/11 310
A61B5/11 ZDM
【請求項の数】 17
(21)【出願番号】P 2020562269
(86)(22)【出願日】2018-12-28
(86)【国際出願番号】 JP2018048457
(87)【国際公開番号】W WO2020136870
(87)【国際公開日】2020-07-02
【審査請求日】2021-06-01
(73)【特許権者】
【識別番号】000005810
【氏名又は名称】マクセル株式会社
(74)【代理人】
【識別番号】110001689
【氏名又は名称】青稜弁理士法人
(72)【発明者】
【氏名】金丸 隆
(72)【発明者】
【氏名】中村 泰明
(72)【発明者】
【氏名】神鳥 明彦
(72)【発明者】
【氏名】水口 寛彦
【審査官】福田 裕司
(56)【参考文献】
【文献】特開2009-213592(JP,A)
【文献】国際公開第2018/180778(WO,A1)
【文献】特開2016-185209(JP,A)
【文献】特開2006-263299(JP,A)
【文献】特開2011-234758(JP,A)
【文献】特開2013-017694(JP,A)
【文献】国際公開第2015/029501(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/11
(57)【特許請求の範囲】
【請求項1】
咽頭部の動きと音を計測した距離情報と音情報を分析してユーザの動作を推定する嚥下動作推定部と、
表示部を有し、
前記嚥下動作推定部は、前記距離情報の極大/極小点情報を求め、前記極大/極小点間の時間差分と距離差分とが第1の所定の条件を満たす範囲である第1の嚥下動作位置と、前記音情報の自己相関情報が所定の条件を満たし、かつ1/nオクターブ解析が第2の所定の条件を満たす範囲である第2の嚥下動作位置とを出力し、
前記表示部は、前記距離情報と、前記音情報と、前記嚥下動作推定部の出力する前記第1の嚥下動作位置と前記第2の嚥下動作位置を表示することを特徴とする生体情報分析装置。
【請求項2】
請求項1に記載の生体情報分析装置であって、
前記時間差分が予め定められた範囲内で、かつ前記距離差分が予め定められた所定の値よりも大きい場合が、前記第1の所定の条件であることを特徴とする生体情報分析装置。
【請求項3】
請求項1に記載の生体情報分析装置であって、
前記嚥下動作推定部は、前記距離情報の中から少なくとも所定の時間内に所定の量以上の距離の増加と減少の両方の事象が含まれている場合が、前記第1の所定の条件であることを特徴とする生体情報分析装置。
【請求項4】
請求項1に記載の生体情報分析装置であって、
前記自己相関情報に所定の周波数範囲のラグ情報が含まれ、第1のラグ値と第2のラグ値とがほぼ2倍の関係性を持たず、かつ特定周波数領域のデータ量の全データ量に対する割合が所定の値よりも高い場合が、前記第2の所定の条件であることを特徴とする生体情報分析装置。
【請求項5】
請求項1に記載の生体情報分析装置であって、
前記嚥下動作推定部は、前記音情報の中から少なくとも周波数情報が所定の低周波領域のデータ量が一定割合以上である時間帯と、その前後に所定の高周波領域のデータ量が一定割合以上である時間帯とが含まれる場合が、前記第2の所定の条件であることを特徴とする生体情報分析装置。
【請求項6】
請求項1に記載の生体情報分析装置であって、
前記嚥下動作推定部は、前記第1の嚥下動作位置と前記第2の嚥下動作位置との時間情報が重複する位置を嚥下動作位置と推定し、
前記表示部は、前記距離情報と、前記音情報と、前記推定した嚥下動作位置を表示することを特徴とする生体情報分析装置
【請求項7】
請求項に記載の生体情報分析装置であって、
前記距離情報の嚥下動作時間内の変位量のピークと前記音情報の音圧変化量のピークの時間の一致度によって正しく嚥下が行われたことを判定し、前記表示部に判定結果を表示することを特徴とする生体情報分析装置
【請求項8】
咽頭部の動きと音を計測した距離情報と音情報を分析してユーザの動作を推定する嚥下動作推定ステップと、
表示ステップを有し、
前記嚥下動作推定ステップは、前記距離情報の極大/極小点情報を求め、前記極大/極小点間の時間差分と距離差分とが第1の所定の条件を満たす範囲である第1の嚥下動作位置と、前記音情報の自己相関情報が所定の条件を満たし、かつ1/nオクターブ解析が第2の所定の条件を満たす範囲である第2の嚥下動作位置とを出力し、
前記表示ステップは、前記距離情報と、前記音情報と、前記嚥下動作推定ステップで出力した前記第1の嚥下動作位置と前記第2の嚥下動作位置を表示することを特徴とする生体情報分析方法。
【請求項9】
請求項に記載の生体情報分析方法であって、
前記嚥下動作推定ステップは、前記第1の嚥下動作位置と前記第2の嚥下動作位置との時間情報が重複する位置を嚥下動作位置と推定するステップを有し、
前記表示ステップは、前記距離情報と、前記音情報と、前記推定した嚥下動作位置を表示することを特徴とする生体情報分析方法。
【請求項10】
請求項に記載の生体情報分析方法であって、
前記嚥下動作推定ステップは、前記距離情報の中から少なくとも所定の時間内に所定の量以上の距離の増加と減少の両方の事象が含まれている点を前記第1の嚥下動作位置と推定することを特徴とする生体情報分析方法。
【請求項11】
請求項8に記載の生体情報分析方法であって、
前記嚥下動作推定ステップは、前記音情報の中から少なくとも周波数情報が所定の低周波領域のデータ量が一定割合以上である時間帯と、その前後に所定の高周波領域のデータ量が一定割合以上である時間帯とが含まれる点を前記第2の嚥下動作位置と推定することを特徴とする生体情報分析方法
【請求項12】
請求項に記載の生体情報分析方法であって、
前記距離情報の嚥下動作時間内の変位量のピークと前期音情報の音圧変化量のピークの時間の一致度によって正しく嚥下が行われたことを判定するステップと、
前記表示ステップは、前記判定の結果を表示することを特徴とする生体情報分析方法
【請求項13】
計測部と生体情報分析装置を有する生体情報分析システムであって、
前記計測部は、咽頭部の動きを計測し距離情報を取得する距離情報取得部と、咽頭部の動きに対応する音を計測し音情報を取得する音情報取得部とを有し、
前記生体情報分析装置は、前記計測部の距離情報取得部と音情報取得部から得られた前記距離情報と前記音情報を分析してユーザの動作を推定する嚥下動作推定部と、表示部を有し、
前記嚥下動作推定部は、前記距離情報の極大/極小点情報を求め、前記極大/極小点間の時間差分と距離差分とが第1の所定の条件を満たす範囲である第1の嚥下動作位置と、前記音情報の自己相関情報が所定の条件を満たし、かつ1/nオクターブ解析が第2の所定の条件を満たす範囲である第2の嚥下動作位置とを出力し、
前記表示部は、前記距離情報と、前記音情報と、前記嚥下動作推定部の出力する前記第1の嚥下動作位置と前記第2の嚥下動作位置を表示することを特徴とする生体情報分析システム。
【請求項14】
請求項13に記載の生体情報分析システムであって、
前記嚥下動作推定部は、前記第1の嚥下動作位置と前記第2の嚥下動作位置との時間情報が重複する位置を嚥下動作位置と推定し、
前記表示部は、前記距離情報と、前記音情報と、前記推定した嚥下動作位置を表示することを特徴とする生体情報分析システム。
【請求項15】
請求項13に記載の生体情報分析システムであって、
前記嚥下動作推定部は、前記距離情報の中から少なくとも所定の時間内に所定の量以上の距離の増加と減少の両方の事象が含まれている点を前記第1の嚥下動作位置と推定することを特徴とする生体情報分析システム。
【請求項16】
請求項13に記載の生体情報分析システムであって、
前記嚥下動作推定部は、前記音情報の中から少なくとも周波数情報が所定の低周波領域のデータ量が一定割合以上である時間帯と、その前後に所定の高周波領域のデータ量が一定割合以上である時間帯とが含まれる点を前記第2の嚥下動作位置と推定することを特徴とする生体情報分析システム。
【請求項17】
請求項13に記載の生体情報分析システムであって、
前記距離情報の嚥下動作時間内の変位量のピークと前期音情報の音圧変化量のピークの時間の一致度によって正しく嚥下が行われたことを判定し、前記表示部に判定結果を表示することを特徴とする生体情報分析システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、生体情報分析装置、生体情報分析方法、及び、生体情報分析システムに関するものである。
【背景技術】
【0002】
飲み込み対象である食塊を口腔から胃に送り込む機能である嚥下機能の障害は、高齢化や脳疾患などによる運動機能の低下などによって引き起こされる。嚥下障害が生じると、気管支や肺などへ食塊が混入し、肺炎などが引き起こされ高熱を発症することもあり、体力の弱っている高齢者においては生命の危険にさらされるケースが多く認められる。
【0003】
嚥下障害を正確に評価および把握できる方法としては、嚥下造影(Video fluoroscopic Examination of Swallowing: VF)が最も一般的に使用されている。しかし、VFは誤嚥や窒息などの可能性を有する検査であり、注意が必要である。また、大型装置であるX線透視装置が必要なために、被爆の問題、時間的制約の問題、費用の問題などが発生する。
【0004】
また、他の方法として、ファイバースコープを用いた内視鏡による嚥下内視鏡検査(Video endoscopic Examination of Swallowing: VE)がある。VEはVFに比べると手軽ではあるが、鼻腔からファイバーを挿入するなどの違和感が被検者にあり、また、ファイバースコープの装置が必要なため手軽に測定できるものではなく、十分に普及するには至っていない。さらに、食塊が咽頭に入り嚥下の最高潮に達した時には咽頭壁が閉鎖し咽頭中の空間がつぶれ、内視鏡の視界が不明瞭になり嚥下器官が短時間に最も移動する時間帯は観察できないという問題もある。
【0005】
上記のVFやVEの問題点を解決する手法として、簡便で患者に負担をかけることなく、かつ、的確に嚥下障害を検知する方法が提案されてきている。
【0006】
例えば特許文献1には、嚥下障害を簡便に検査してその結果を表示する生体検査装置を提供することを目的とし、生体検査装置は、被検者の喉頭部における横方向の2箇所の変位を検出する喉頭部変位検出手段と、被検者が嚥下するときの嚥下音を検出する嚥下音検出手段と、表示手段と、喉頭部変位検出手段から得た情報に基づき生成した喉頭部の2箇所の変位に関する波形、および、嚥下音検出手段から得た情報に基づき生成した嚥下音に関する波形の表示を行うように表示手段に指示する処理手段とを備え、生体検査装置の可撓性保持具は、センサ固定部と首装着部とで独立の構成とし、これら両者を一端部で結合し、他端部をそれぞれ開放する構造とする、点が開示されている。
【先行技術文献】
【特許文献】
【0007】
【文献】特開2009-213592号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
特許文献1では距離情報と音情報を組み合わせて嚥下動作が正常か異常かの嚥下障害の有無を評価しているが、実際の計測現場においては嚥下動作以外の類似の動作が含まれる。そのため、類似の動作から嚥下動作そのものを抽出する点について考慮されていなかった。
【課題を解決するための手段】
【0009】
本発明は、その一例を挙げるならば、生体情報分析装置であって、咽頭部の動きと音を計測した距離情報と音情報を分析してユーザの動作を推定する嚥下動作推定部と、表示部を有し、嚥下動作推定部は、距離情報を分析して推定した第1の嚥下動作位置と、音情報を分析して推定した第2の嚥下動作位置とを出力し、表示部は、距離情報と、音情報と、嚥下動作推定部の出力する第1の嚥下動作位置と第2の嚥下動作位置を表示するように構成する。
【発明の効果】
【0010】
本発明によれば、嚥下動作判定をより正確に行うことが出来る。
【図面の簡単な説明】
【0011】
図1】実施例における生体情報分析システムの機能ブロック図である。
図2A】実施例における可撓性保持具の外観図である。
図2B図2Aの斜視図である。
図3】実施例における生体情報分析装置の機能ブロック図である。
図4】実施例における嚥下運動抽出部の処理フローチャートである。
図5】実施例における嚥下動作時の距離情報の変化の一例を示す図である。
図6】実施例における嚥下音抽出部の処理フローチャートである。
図7】実施例におけるサンプリングレート1000Hzで取得した嚥下動作、発話動作、咳動作時の音情報のスペクトルグラムである。
図8】実施例におけるサンプリングレート4000Hzで取得した嚥下動作、発話動作、咳動作時の音情報のスペクトルグラムである。
図9】実施例における嚥下動作時の音圧の変化の一例を示す図である。
図10】実施例におけるデータ出力部による嚥下動作計測中の画面表示の一例である。
図11A】実施例における嚥下動作位置推定結果表示画面の一例を示す図である。
図11B】実施例における嚥下動作位置推定結果表示画面の一例を示す図である。
図11C】実施例における嚥下動作位置推定結果表示画面の一例を示す図である。
図12】実施例における嚥下動作位置推定結果表示画面の一例であり、波形情報と合わせて動作判別結果を表示している図である。
図13】実施例における嚥下機能弁別手法を説明する嚥下機能分類表である。
図14】実施例における嚥下回数推定結果表示画面の一例を示す図である。
【発明を実施するための形態】
【0012】
以下、本発明の実施例について図面を用いて説明する。なお、全図を通じて同一の構成に対しては同一の符号を付して重複する説明を省略する。
【実施例1】
【0013】
図1は本実施例における生体情報分析システムの機能ブロック図である。図1に示すように、本実施例における生体情報分析システムは、計測部1と生体情報分析装置2とから構成される。
【0014】
計測部1は、ユーザが計測に際して装着する可撓性保持具に、発信用コイル(喉頭部変位検出手段)101、受信用コイル(喉頭部変位検出手段)102およびマイクロフォン103が具備され、発信用コイル101と受信用コイル102は一対で嚥下に伴う喉頭部の動きである喉頭部変位の距離情報を計測する距離情報取得部として機能する。発信用コイル101と受信用コイル102はコイル間電圧検出部104に接続され、コイル間電圧検出部104の出力電圧は計測制御部107に入力される。マイクロフォン103(嚥下音検出手段)は、嚥下に伴う喉頭部変位の音情報を取得する音情報取得部として機能し、例えばピエゾ素子(圧電素子)を用いたマイクロフォンであれば嚥下以外の周囲の音を拾いにくくて好ましいが、コンデンサー型マイクロフォンであってもよい。マイクロフォン103は嚥下音検出部105に接続され、電源供給などを受けてマイクロフォンとして動作する。嚥下音検出部105からは嚥下音が電圧として出力され、出力電圧は計測制御部107に入力される。
【0015】
メモリ106は、例えば計測処理プログラムや計測部1内で使用されるハードウェアに固有な特性値といった、計測制御部107で必要とする情報を記録・保持する不揮発性メモリである。例えば計測部1の電源が入れられた際に、計測制御部107へメモリ106より計測処理プログラムをロードするなどで用いられ、計測処理プログラムを書き換えれば、計測部1に機能の改変や追加が可能である。
【0016】
計測制御部107は、例えばCPU(Central Processing Unit)のような演算処理デバイスや揮発性メモリを含み、操作部109からの信号ないし生体情報分析装置2からの制御信号を受けて計測の開始・終了を制御したり、コイル間電圧検出部104から入力される電圧値、および嚥下音検出部105から入力される電圧値をデジタルデータへ変換し、それぞれ一度メモリに記録し、所定の周期で読み出し、通信データ形式に整形して入出力部108へ出力する。なお通信データ形式は例えば独自のパケット形式などで良い。
【0017】
入出力部108は、生体情報分析装置2とのデータ送受信を行う通信インタフェースである。通信方法は汎用の通信方式に基づけばよく、例えばUSB(Universal Serial Bus)ケーブルを用いたり、ネットワークケーブルを用いたTCP(Transmission Control Protocol)/IP(Internet Protocol)通信形式、Bluetooth(登録商標)を用いた無線通信方式等を用いてよい。
【0018】
操作部109は計測部1の本体に具備される使用者の操作インタフェースであり、電源のOn/Offや計測開始・終了といった簡便な操作に適したボタンが適宜配置される。
【0019】
なお、コイル間電圧検出部104、嚥下音検出部105、メモリ106、計測制御部107、入出力部108、操作部109は、可撓性保持具とは別体の計測部制御ユニットに備えられる。
【0020】
図2A、2Bは本実施例における可撓性保持具の詳細を示す外観図である。ただし図2Aは正面図、図2Bは斜視図である。図2A、2Bにおいて、可撓性保持具は、一対のセンサ保持部材3a、3bと首装着部材5とで独立の構造体とし、首装着部材5が一対のセンサ保持部材3a、3bの他端をそれぞれ保持するように一体結合され該他端間が開放されて被検者の喉頭部に装着保持される構造とする。
【0021】
一対のセンサ保持部材3a、3bの一端にはセンサ部4a、4bが配置されており、このセンサ部4a、4b内部には喉頭部変位検出手段(例えば、発信用コイル101または受信用コイル102)と嚥下音検出手段(例えば、マイクロフォン103)とが固定されており、センサ保持部材3a、3bの他端部が首装着部材5の両端部と一体となって甲状軟骨などの動きに追従して動く開放の構成とする。また首装着部材5の内側に前記一対のセンサ保持部材3a、3bは配置され、首装着部材の両端とセンサ保持部材の他端とが一体結合されている。センサ保持部材3a,3bは首に接触せずに装着でき、首装着部材5とは独立に嚥下の動きに追随できる構成とする。さらに一対のセンサ保持部材3a,3bの一端には、発信用コイル101又は受信用コイル102とマイクロフォン103とが配置してある。
【0022】
本実施例では、発信用コイル101で生じた磁場を受信用コイル102で検出して電磁誘導の法則により距離に応じた電流を計測するため、発信用コイル101と受信用コイル102は2つのコイルが対向しやすい(首表面の鉛直方向に近い)向きに配置されるように一対のセンサ保持部材3a,3bの一端に装着してあり、信号対ノイズ(SN)比が高く検出が可能となっている。そのため、マイクロフォン103と発信用コイル101又は受信用コイル102とはほぼ直交する位置に配置することができ、マイクロフォン103から発生する磁場ノイズが発信用及び/又は受信用コイルへ混入するのを低減することができる。ただし、これらの発信用コイルと受信用コイルの対応の位置やマイクとの直交の位置については記載の配置に限定されるものではなく、SN比が十分よく検出される位置であればよい。
【0023】
さらに前記首装着部材5の両端部である2箇所の末端部(首の裏側の位置になる部位)には、首への押さえ部10a、10bが円筒・球状などの形状で形成されている。この2箇所の押さえ部と前記センサ保持部材の一端に設けられた2箇所のセンサ部との合計4箇所の押さえによって首の大きさに関係なく装着が容易となっている。
【0024】
また、センサ部4a、4bに内蔵されたセンサは配線301aと301bによって、図示しない計測部制御ユニットの、図1に示すコイル間電圧検出部104と嚥下音検出部105にそれぞれ接続されている。
【0025】
この構成により、計測部1は計測開始から終了まで、嚥下動作の検出に十分な所定のサンプリングレートでコイル間電圧値と嚥下音電圧値を取得、転送を繰り返す。例えば、距離情報を100Hz、音情報を4000Hzで取得する場合、計測制御部107は100分の1秒に1回、距離情報の計測結果1サンプルと音情報の計測結果40サンプルを、例えば1つないし複数のパケットデータに集約して送信する。
【0026】
生体情報分析装置2は、一般的なパソコンやタブレット、スマートフォンなど、演算処理ユニットやメモリを含む電子機器であってよく、図3に生体情報分析装置2の嚥下動作の検出に必要な機能ブロックの一例を示す。各機能ブロックは計測実行中に繰り返し以下に示す処理を実行する。
【0027】
図3において、送受信部201は、計測部1と予め規定されたデータ通信方式・データフォーマットで情報の送受信(計測データの受信、制御コマンドの送信)を行う。受信した計測データはデータ分離部202へ送付する。
【0028】
データ分離部202は、受信データからコイル間電圧情報と音電圧情報を分離し、コイル間電圧情報を距離データへと変換して嚥下運動抽出部203へ、音電圧情報を嚥下音抽出部204へ送信する。また、分離した距離データおよび音電圧情報をデータ出力部205に出力する。なお、コイル間電圧情報から距離データへの変換は、例えば使用するコイルの磁気量を当てはめた一般的な磁気力と距離の関係式から求めて良いが、予めコイル間距離が0の時の電圧値と所定の距離の時の電圧値を記録しておき、補正するなどしても良く、補正により正確な距離データの算出を可能にする効果がある。
【0029】
なお、計測部1から生体情報分析装置2へのデータ送信時のフォーマットは例えばコイル間電圧情報と音電圧情報とを別送するのでも良く、その場合、データ分離部202では受信データがコイル間電圧情報であれば、距離情報へ変換して嚥下運動抽出部203へ出力し、受信データが音電圧情報であれば、そのまま嚥下音抽出部204へ出力し、いずれのデータもデータ出力部205へ出力する処理となる。
【0030】
嚥下運動抽出部203及び嚥下音抽出部204は、距離情報及び音情報を分析してユーザの動作を推定する嚥下動作推定部である。以下、それぞれについて、詳細説明する。
【0031】
嚥下運動抽出部203は、計測中に図4に例示する距離データから嚥下動作の実施有無の推定処理を行い、嚥下動作位置を検出した場合には嚥下運動情報を嚥下動作分析部206に出力する。以下、図4および図5に基づいて嚥下運動の推定処理について説明する。なお図5は嚥下動作時の距離情報の変化の一例を示している。典型的には嚥下動作時の距離が嚥下動作の口腔期、咽頭期、食道期の3相に応じた動きが現れ、定位置からの距離の減少、増加と減少、定位置に戻るように増加、という挙動が生じる。従って、この“W”字型を得られた距離データの中から検出する処理が必要となる。
【0032】
図4において、ステップ(以降Sと略記)401では嚥下運動抽出部203は入力された距離データを一時メモリ(図には未記載)に保存しS402に遷移する、S402では嚥下運動抽出部203はS401でメモリに記録した一部データを取得して平滑化処理(ノイズ除去)を行い、その結果を再度メモリに記録してS403に遷移する。平滑化処理は例えば5回分といった所定の回数分の最新の計測データの平均値を算出する。
【0033】
S403では嚥下運動抽出部203はS402で算出した平滑化データが極大点もしくは極小点が存在するかを調査してS404へ遷移する。例えば最新5回分の平滑化データを読み出し、これを最近の値から順に並べたものをD[i]( 1≦i≦5)と表現したときに、D[3]が最大値、D[1]<D[2]≦D[3]、かつ、D[3]≧D[4]>D[5]の関係が成立する場合、D[3]を極大点とし、また、D[3]が最小値、D[1]>D[2]≧D[3]、かつ、D[3]≦D[4]<D[5]の関係が成立する場合にD[3]を極小点とする。極大点もしくは極小点が得られたら、その時刻と距離をメモリに記録する。また平滑化データの1階微分、2階微分した値の増減から変曲点が取得できるので、その時刻と距離をメモリに記録しても良い。
【0034】
S404では嚥下運動抽出部203はS403で得られる極大点、極小点、および変曲点の情報と計測開始時の距離情報とから嚥下動作の判定を行いS405へ遷移する。図5に例示するように距離波形から極大/極小点情報(時間、距離)=(T、D)、(T、D)、(T、D)が得られ、例えば各点の時間差分(TとTの差、TとTの差)が予め定められた範囲内で、かつ距離差分(DとDの差、DとDの差)が予め定められた所定の値よりも大きい場合にこの時間帯の動作が嚥下運動であると判断する。また、変曲点情報も参照して図5に示す嚥下動作の開始点(T0、D0)、終了点(T、D)を求める。なおW字型の動きの探索方法として嚥下運動の距離最大点から直近の小規模な極小点、極大点を無視し、前記定められた範囲内に存在する極大点、極小点を嚥下運動の特徴点として選択するようにして良い。
【0035】
S405では嚥下運動抽出部203はS404で嚥下動作があると判断された場合に嚥下運動の特徴量をメモリに記録して処理を終了する。特徴量は例えば上記各点の時間差分の情報や、TとTの時間差、上記距離差分、等である。嚥下運動の時間情報として動作の開始点および終了点(図5の(T、D)、(T、D))、また、時間差分(図5のTとTの差、TとTの差)や距離差分(図5のDとDの差、DとDの差)を特徴量に含めて良い。
【0036】
個人の体型の特性や可撓性保持具の装着位置や装着具合により、図5に示すような顕著なW字型にならない場合もありえるため、上記嚥下動作の判別方法を変化に適応させても良い。例えば、上記説明では極小点を(T、D)、(T、D)と判別したが、これを前者は減少傾向ないし水平から上昇に転じる変曲点、後者を減少から増加傾向ないし水平に転じる変曲点の検出することで処理しても良い。また、例えば個人により上述した時間差分や距離差分の判定値を予めメモリに記録しておくのでもよい。また、例えば個人の典型的な嚥下波形(参照波形)を予め記録しておき、その後の計測結果に対して参照波形との類似性を、例えば相互相関関数といった一般的な時系列データの類似度検出アルゴリズムに照らして調べることで、嚥下位置を推定するといった方法でも良い。
【0037】
嚥下音抽出部204は、入力される嚥下音データに対して、図6に例示する処理を実施して嚥下動作の実施有無の推定を行い、嚥下動作を検出した場合には嚥下音情報を出力(メモリへ記録)する。以下図6に示すシーケンス図に基づいて推定処理の一例を説明する。
【0038】
図6において、S601では、嚥下音抽出部204は入力された音データを一時メモリ(図には未記載)に保存しS602へ遷移する。S602では嚥下音抽出部204はS601で記録したデータを取得して整流処理を行い、その処理結果をメモリに保存してS603へ遷移する。入力データは、例えば16ビット幅のデータとして受信した場合は最小値=-32768から最大値=32767といったように、通常正負両方の値を含んでいる。整流処理とは負の値を正の値に変換する。
【0039】
S603では、嚥下音抽出部204はS602でメモリに記録した一部データを取得して平滑化処理を行い、その処理結果をメモリに記録してS604へ遷移する。音データの平滑化処理では、例えば10回分といった所定の回数分の最新の計測データの平均値を算出する。平滑化の対象とするデータ量を増やせば微小なノイズの影響を低減する効果があるが、同時に有意な音響的特徴も低減する可能性があるため、録音デバイスの性質に応じて適当な値を選択すればよい。
【0040】
S604では、嚥下音抽出部204はS601で記録した一部データを取得してフーリエ変換処理を行い、処理結果をメモリに保存する。また、フーリエ変換結果から直行成分を除く最も高いピークを示す周波数値をメモリに記録してS605へ遷移する。フーリエ変換処理は、所定の最新の記録データに対して例えばDFT(Discrete Fourier Transform)やFFT(Fast Fourier Transform)といった一般的な方法で行うのでよい。また、処理対象とするデータ量を例えば100ミリ秒分(1000Hzで記録している場合100サンプル)と500ミリ秒分(1000Hzで記録している場合500サンプル)といったように短時間と長時間の両方について実施することで、異なる特徴のパラメータを取得することが可能である。
【0041】
S605では、嚥下音抽出部204はS604で記録したフーリエ変換処理結果に対して自己相関情報を算出し、処理結果をメモリに記録してS606へ遷移する。自己相関とは信号処理において時間領域信号等のデータ解析にて一般的に用いる手法であるが、本手法ではフーリエ変換処理結果(離散信号Xn)に対して使用する。ラグ(周波数差)jにおける自己相関値R(j) =ΣnXnXn-jを求めることとし、例えば、フーリエ変換処理結果のピークが120Hz、180Hz、240Hz、…と周期的に表れる場合、自己相関を算出するとラグが60Hz、120Hzの自己相関値が高くなる。自己相関情報には、例えば算出した自己相関値の、すべての極大点を取るラグ値を含む。
【0042】
S606では、嚥下音抽出部204はS604で得られたフーリエ変換結果に対して1/nオクターブ解析を行い、結果をメモリに記録してS607へ遷移する。1/nオクターブ解析は音響データの一般的分析手法であり、1kHzを基準として一定の比率でn個の周波数帯域にデータを分割し、各帯域内に含まれる成分の合計値を求める。n=1の場合、帯域(オクターブバンド)を例えば11~22Hz、22~44Hz、44~88Hz、88~177Hz、177~354Hz、354Hz~707Hz、…と分割する。nを大きくすればより狭い帯域幅毎の特徴量が得られる。例えば嚥下音抽出部204に入力される音データがサンプリングレート1000Hzである時、フーリエ変換によって500Hzまでの優位な周波数変換データが得られ、n=1の場合には上述した帯域毎のデータ含有量が計算できるが、最後の354Hz~707Hzは半分の帯域のデータ量になることから、帯域毎のデータ量を公平に評価するために、例えばそれ以外の帯域の合算結果を2で割るようにしてもよい。
【0043】
S607では、嚥下音抽出部204は嚥下音情報を算出し、また嚥下音情報が含む特徴量から動作の判別を行い、結果をメモリに記録してS608へ遷移する。
【0044】
動作の判別に関連して、図7には、サンプリングレート1000Hzで取得した嚥下動作、発話動作、咳動作時の音情報をフーリエ変換した結果を時間軸(横軸)に従って各周波数帯(縦軸)の強度を連続的に表示したスペクトルグラムを示す。強度は、白抜きが最も高く、続いて、黒、グレーの順で示している。いずれも四角い枠で囲んだ部分が各動作を実施した時間帯である。例えば嚥下動作は比較的低周波領域の強度が高い傾向を示し、発話動作では周波数方向に周期的に強弱が現れる傾向を示し、咳動作は短時間の間で低周波から高周波まで幅広い帯域に強いピークが生じる傾向を示す。
【0045】
また、図8にはサンプリングレート4000Hzで取得した嚥下動作、発話動作、咳動作時の音情報のスペクトルグラム、および各動作の実施時間帯の枠を示す。サンプリングレートが高くなれば嚥下動作は、口腔期、咽頭期、食道期、(枠内の初期、中間期、後期に対応)、の分離が容易になる。すなわち、図8に示すように、嚥下動作においては、咽頭期に相当する中間期に低周波領域の強度が高く、また、高周波成分(例えば1kHz~2kHz)の相対的割合が口腔期、食道期に相当する初期、後期に高く、中間期に低くなる傾向を示す。発話動作では図7と比較してさらに多くの周期的な強弱が見られる。咳動作は図7同様に500Hz程度まで幅広い帯域の強いピークが生じている。
【0046】
また、図9には嚥下動作時の音圧の変化の一例を示す。図9では入力された音データに整流処理を行った結果を表しており横軸に時間、縦軸に音圧をプロットしている。典型的には嚥下動作時の音圧は嚥下動作の口腔期、咽頭期、食道期の3相に当てはまる3つの有音区間に分離される。それぞれ図9の点線で囲んだ時間帯Sw、Sw、Swがそれらに相当しており、それらの間にはごく短時間の無音区間が存在する。そのため時系列としてみた場合に短時間の無音区間を挟んでの有音区間を一連の動作から生じた音であると判定する。ただし、例えばノイズ音の影響や嚥下動作の多様性などから必ずしも3つの区間に分かれるわけではない。これらの特性を踏まえた動作の判別方法例を以下に示す。
【0047】
図6のS603で求めた平滑化された音圧値が所定の値よりも小さい場合、この区間は何も動作が行われなかったと判別する。所定よりも大きな音圧値であった場合、何らかの動作が進行中とみなしてS602からS606までの一連の処理によって得られた特徴量を用いて動作の判別を行う。例えば、自己相関情報に所定の周波数範囲(例えば80~200Hz)のラグ情報が含まれており、あるラグ値と別のラグ値とがほぼ2倍の関係性を持つ場合に発話動作であると判別する。また、自己相関情報にそのような関係性がない場合に音圧値が所定の値より大きな場合を咳動作と判別し、特定周波数領域のデータ量の全データ量に対する割合が所定の値よりも高い場合を嚥下動作と判別する。例えば上述したオクターブ分析結果のうち、低周波領域(例えば、11~22Hz、22~44Hz、44~88Hz)の算出結果の合算値が全体のデータ量の50%以上になるかどうかで判別する。同様にオクターブ分析結果の特定の周波数帯域のデータ量の割合によって判別すればよく、その方法は記録する音データのサンプリングレートやフーリエ変換に用いられるデータ量に応じて定めて良い。
【0048】
いずれの特徴も持たない場合、嚥下、咳、発話のいずれにも当てはまらない、それ以外の動作と判別する。判別結果はメモリに記録する。
【0049】
所定の時間以上、継続してある動作が行われている状態、すなわち平滑化された音圧が所定の値よりも大きい状態が継続している状態、を経た後に、所定の時間何も動作が行われない状態が続いた時に、ある一連の動作が完了したと判断し、この一連の動作に対する分析を行う。例えば入力音が例えば4000Hzといった十分に大きなサンプリングレートの場合には、高周波領域(例えば、1kHz~2kHz)のデータ割合の推移を求め、V字の傾向があるかを調査する。また例えば一定時間内の低周波領域の割合の平均値を算出する。これらの解析情報から一連の動作が何であったかを判別する。上述した処理によって動作判別結果の時系列データが得られているので、例えば最も判別回数の多かった動作を一連の動作の推定結果とする。あるいは、前記動作判別結果の配列中で嚥下動作と判別した回数が一定割合以上含まれ、かつ、高周波領域のデータ割合のV字傾向がある場合に推定結果を嚥下動作とするとしても良い。なお、一連の動作完了の判断においては、図9の説明の通り、嚥下動作で考えられる短時間の無音区間は一連とみなしてよく、短時間の無音区間が3回以上発生した場合にその時点で一連の動作完了とみなすなどしても良い。
【0050】
S608では嚥下音抽出部204はS607で直近の一連の動作が嚥下動作であると判別した場合に、嚥下音情報をメモリに記録して処理を終了する。嚥下音情報には例えば前記一連の動作の開始時刻(図9のT0)、終了時刻(図9のT)、最大ピークが生じた時刻(図9のT)とそのピーク値(図9のP)や、第一の区間(Sw)および第三の区間(Sw)の時刻とピーク値(図9の(T、P)、(T、P))などを含む。また、時間差分(図9のTとTの差、TとTの差、TとTの差、TとTの差)を特徴量に含めたりしても良い。
【0051】
データ出力部205は計測中の計測データ値について、距離データと音データの両方をディスプレイ上に波形としてグラフにプロットして視覚的に提示する、あるいは例えばスピーカといった音声出力デバイスを制御し、音データを加工せずに出力して聴覚的に提示する。これによってデバイスを装着した使用者、および使用者の近傍にいる者(例えば医療従事者や介助者など)に計測の進行状況を把握させることを可能とする効果が得られる。
【0052】
図10に、データ出力部205による嚥下動作計測中の画面表示の一例を示す。この表示例では距離データと音データの両方を一画面に表示するインタフェースとしている。このように表示することにより距離と音の同時性を直感的に確認可能とする効果が得られる。
【0053】
なお、データ出力部205における距離データの表示方法の別の例として、距離データを計測開始時の距離値を基準の音階(例えば”ド”)として、動きがあった際に異なる音階の音を(例えば距離が縮まれば音階を低くし、距離が延びれば音階を高くする)出力しても良い。これによれば使用者もしくは近傍にいる者が、嚥下動作があったことと、普段と異なる音色を聞くことで異常がある可能性に、聴覚情報だけを頼りに検知可能となる効果が得られる。
【0054】
嚥下動作分析部206は、嚥下運動抽出部203から得られる嚥下運動情報と、嚥下音抽出部204から得られる嚥下音情報とから、嚥下動作の位置推定を行う。推定方法として例えば嚥下運動情報の開始・終了時刻と嚥下音情報の開始・終了時刻に重なりがある場合を嚥下位置と推定する。嚥下音情報のある時刻に嚥下運動情報がない場合、確実な嚥下位置とは断定できなくとも嚥下位置と推定しても良い。あるいはその逆に嚥下動作情報のある時刻に嚥下音情報がないといった場合は嚥下位置と判断しなくても良い。この推定方法については運動情報と音情報の各々の判定の確度によって決定しても良い。嚥下動作分析部206が嚥下動作の位置の推定を確定したら、分析結果出力部207に結果出力の指示をする。
【0055】
分析結果出力部207は、例えばディスプレイやタブレットの表示画面といった表示デバイスである表示部に分析結果を表示する。表示方法として例えば図10に示したような波形情報に嚥下動作位置の推定結果を重畳し表示する。図11A、B、Cは、本実施例における嚥下動作位置推定結果表示画面の一例を示す図である。図11Aは、距離波形に対して嚥下運動情報の開始時刻・終了時刻に合わせて矩形を重畳し、音声波形に対して嚥下音情報の開始時刻・終了時刻に合わせて矩形を重畳する表示例である。図11Bは、嚥下音情報の開始時刻・終了時刻に合わせて距離波形と音声波形に跨った矩形を重畳する表示例である。図11Cは、嚥下運動情報の開始時刻と嚥下音情報の開始時刻の早い方(この例の場合嚥下運動情報の開始時刻)と嚥下運動情報の終了時刻と嚥下音情報の終了時刻の遅い方(この例の場合嚥下音情報の終了時刻)に合わせて、距離波形と音声波形に跨った矩形を重畳する表示例である。いずれの表示例にしても着目すべき場所を直感的に把握可能とする効果がある。図11Aの場合、距離波形上の矩形位置と音声波形上の矩形位置との位置ズレの程度から異常を直感的に認識できる。
【0056】
また、所定の時間の計測が終了した際に、図12に示すような結果表示を行う。図12は、波形情報と合わせて動作判別結果を表示している。例えば嚥下運動と嚥下音の相当位置に実線の枠、発話音の相当位置に破線の枠、咳の音の相当位置に点線の枠といったように、嚥下動作、発話動作、咳動作に対して夫々異なる線の枠をつけて示すことで、より的確に嚥下動作の位置を示す効果が得られる。なお、枠の色を異ならせてもよい。
【0057】
また、図4および図6に示した処理によって得られた嚥下動作の特徴量を数値として表示する。距離波形の隣に嚥下動作の開始点M1、第一の極小点M2、極大点M3、第二の極小点M4、終了点M5の情報(図5の(T、D)から(T、D)に相当する距離と時間の情報)を、また、音声波形の隣に嚥下音情報の第一ピークSs、第二ピークSm、第三ピークSeの情報(図9の(T、P)から(T、P)に相当する距離と時間の情報)を表示する。これによって波形からでは確認しづらい定量値を画面上で確認する効果が得られる。なお図12では計測時間の間に計3回の嚥下動作があるように複数回の嚥下動作情報がある場合、結果画面表示時には最初に検出した嚥下動作の各特徴量を表示する。例えば使用者が画面上で異なる嚥下動作位置を選択(例えばパソコンであればマウスによるクリック動作、タブレット端末であればタップ動作)した場合に該当の嚥下動作の各特徴量に切り替えて表示することで、使用者はすべての嚥下動作の特徴量を必要に応じて確認可能である。また例えば、結果画面表示時には複数回の嚥下動作の特徴量の平均値を表示するのでも良く、これにより使用者の総合的な嚥下の結果を表す効果が有る。
【0058】
さらに、嚥下動作の良好度を評価する情報を表示しても良く、図12では例えば嚥下動作情報の距離波形の極大値の時刻M3(図5のT)と音波形の第二のピークSmの時刻(図9のT)との差分値(M3-Sm)や、嚥下運動開始から終了までの時間(M5-M1)(図5のTとTの差分)、第一の極小値から第二の極小値までの時間(M4-M2)(図5のTとTの差分)を合わせて表示している。これらの計算値が、予め保存されている健常値から所定の値以上外れている場合に、その計算値を色付けして表示(例えば赤い文字列)するようにしても良い。これにより直感的に注目すべきデータを把握可能とする効果が有る。
【0059】
以上のように本実施例によれば、嚥下動作を的確に検知して、本装置の使用者や近傍にいる人(例えば医療従事者や介助者)がリアルタイムに定量評価することを可能とする効果が得られる。
【0060】
なお、嚥下音抽出部204における嚥下動作の弁別処理については、音声特徴量のパラメータを抽出したのち、判別分析により、咳、嚥下、発話、咀嚼、といった動作を弁別する手法でもよい。これには例えば、予め学習データを用い咳や嚥下等の各動作と各パラメータ(平滑化した音圧値、フーリエ変換処理データのピーク周波数、オクターブ解析結果の帯域毎のデータ量、1/nオクターブ分析後の各周波領域のデータ量の割合)との相関係数を求めておき、計測実施中に周期的処理で各パラメータを算出結果より、各動作の可能性(確率)を算出し、最も可能性の高い動作が行われたはずとの推定を行う方法である。
【0061】
また、図6に示した嚥下音の分析は必ずしもこの順番で行う必要はなく、例えば周波数的分析(フーリエ変換、自己相関算出、1/nオクターブ分析)と音圧的分析(整流および平滑化)を並列で行ってもよく、あるいは周波数的分析を先に行ってから音圧的分析を行っても良い。また音圧的分析を実施した時点で音圧値が十分に小さい場合には周波数的解析を実施せずに終了するなどしても良く、これにより計算時間や計算量を低減する効果が得られる。
【0062】
以上のように、本実施例によれば、嚥下動作判定をより正確に行うことが出来る。
【0063】
また、嚥下動作分析部206は嚥下障がいの有無・程度の判別を補助する情報を算出して、その結果を分析結果出力部207で出力するようにしても良い。図13は嚥下機能障害の程度弁別の基準となる指針の一例を示す。正常状態を含めて大きく4段階、細かくは10段階に分類される。このような程度判断は医師が実施するが、本実施例に従い算出される嚥下運動情報と嚥下音情報の特徴量やそれらを用いた計算結果で定量データに基づく判断の補助を可能にする。例えば同一の嚥下動作の検知結果である嚥下運動情報の最大ピーク時刻(図5におけるT)と嚥下音情報の第二のピーク時刻(図9におけるT)の差分値が所定の健常判断値より小さければ嚥下機能は正常、所定の健常判断値以上、軽症判断値より小さければ軽症、軽症判断値以上であれば中等症、といった可能性を画面上に合わせて示す。また複数の計算結果のうち健常判断値を超える値の個数によって判断してもよく、例えば上記最大ピーク時刻の差分値と、嚥下運動開始から終了までの時間(図5のTとTの差分)、第一の極小値から第二の極小値までの時間(図5のTとTの差分)との3つの値の夫々について、所定の健常判断値に収まるかを判定し、全てが健常であれば正常の可能性が高く、いずれか1つが健常判断値に収まらない場合は軽症の可能性が高く、2つが治まらない場合は中等症の可能性が高い、といった結果を画面上に合わせて示す。また、特徴量には個人間差があるため、例えばある個人の過去の計測履歴と比較して、値の変化が所定の割合以上に大きければ軽症といった判断を行うことでもよく、これによれば個人毎の特徴に合わせた評価を可能とする効果がある。また、嚥下機能の正常度の弁別を行うことで、嚥下障がいの傾向を早期発見する効果が得られる。
【0064】
また、図2に示した首装着部材5に例えばLEDライトのような発光表示部を具備することで、分析結果出力部207から送受信部201を介して、計測部1に対して制御信号を出力し、計測状態を示しても良い。例えば計測中は青色で発光し、嚥下動作を検出した際には、嚥下動作の異常度の判別結果に応じて(正常状態なら緑色、軽症状態なら黄色、中等症状態ならオレンジ色、重症状態なら赤色)発光させる。これにより使用者から離れた位置から状態をリアルタイムに把握可能とする効果が得られる。
【0065】
また、上述した一連の分析処理はデータ計測中に実施することで、リアルタイムに分析結果を使用者らに提示することが可能であるが、生体情報分析装置2は記録機能を持ち合わせてよく、例えば送受信部201で受信したデータを使用者の情報と計測を実行した日時の情報等と紐づけて記録媒体に記録する。記録媒体としてはHDD(Hard Disc Drive)やSSD(Solid State Drive)などの不揮発性の媒体であればよい。不揮発性媒体に保存された過去の記録済み計測データを読み出して、上記の一連の分析処理を適用すれば、過去の計測結果に遡って分析結果を提示することが可能であり、また、過去の計測データと現在の計測データの嚥下機能を比較検証可能とする効果が得られる。
【0066】
また、本実施例で説明した生体情報検出装置および生体情報検出方法を、嚥下機能のスクリーニングに用いるユースケースとして、所定の計測時間(例えば30秒)内に、嚥下動作が何回実施できるかを計測する場合は、計測結果の表示方法として図14に示すように嚥下動作の位置推定結果と同時に嚥下動作の回数と嚥下機能の正常・異常との評価結果を表示してもよい。嚥下機能が正常かどうかは、嚥下動作の実施回数が所定の回数(例えば3回)以上行われたかで決定するので良い。また合わせて例えば全嚥下動作の時間の平均値を表示するなど、嚥下動作情報や嚥下音情報が含むパラメータのいずれかを平均値や分散値を算出して表示するなどしてもよい。これにより嚥下動作の回数の評価と同時に各嚥下動作の質や安定性を定量的に評価可能とする効果が得られる。
【0067】
以上のように、本実施例によれば、嚥下障害を簡便に検出してその結果を表示することができる。
【0068】
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために構成を詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、それらの機能を実現するソフトウェアによっても実現できる。さらに、それらの機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することによって、それをコンピュータのハードディスクやメモリ等の記憶手段又はCD-RW、CD-R等の記憶媒体に格納し、コンピュータが備えるプロセッサが当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしてもよい。
【符号の説明】
【0069】
1:計測部、2:生体情報分析装置、3a、3b:センサ保持部材、4a、4b:センサ部、5:首装着部材、10a、10b:首への押さえ部、101:発信用コイル、102:受信用コイル、103:マイクロフォン、104:コイル間電圧検出部、105:嚥下音検出部、106:メモリ、107:計測制御部、108:入出力部、109:操作部、201:送受信部、202:データ分離部、203:嚥下運動抽出部、204:嚥下音抽出部、205:データ出力部、206:嚥下動作分析部、207:分析結果出力部
図1
図2A
図2B
図3
図4
図5
図6
図7
図8
図9
図10
図11A
図11B
図11C
図12
図13
図14