IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 国立大学法人高知大学の特許一覧 ▶ 独立行政法人国立高等専門学校機構の特許一覧

特開2024-72801摂食嚥下モニター装置および摂食嚥下評価方法
<>
  • 特開-摂食嚥下モニター装置および摂食嚥下評価方法 図1A
  • 特開-摂食嚥下モニター装置および摂食嚥下評価方法 図1B
  • 特開-摂食嚥下モニター装置および摂食嚥下評価方法 図2
  • 特開-摂食嚥下モニター装置および摂食嚥下評価方法 図3
  • 特開-摂食嚥下モニター装置および摂食嚥下評価方法 図4
  • 特開-摂食嚥下モニター装置および摂食嚥下評価方法 図5
  • 特開-摂食嚥下モニター装置および摂食嚥下評価方法 図6A
  • 特開-摂食嚥下モニター装置および摂食嚥下評価方法 図6B
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024072801
(43)【公開日】2024-05-28
(54)【発明の名称】摂食嚥下モニター装置および摂食嚥下評価方法
(51)【国際特許分類】
   A61B 5/11 20060101AFI20240521BHJP
   A61B 5/397 20210101ALI20240521BHJP
【FI】
A61B5/11 310
A61B5/397
【審査請求】未請求
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2023192031
(22)【出願日】2023-11-10
(31)【優先権主張番号】P 2022183399
(32)【優先日】2022-11-16
(33)【優先権主張国・地域又は機関】JP
【国等の委託研究の成果に係る記載事項】(出願人による申告)令和2~4年度、国立研究開発法人科学技術振興機構 研究成果最適展開支援プログラム産学共同(育成型)「嚥下音と筋電モニターにより”口から食べる”を支援する「嚥下計」の開発」委託研究、産業技術力強化法第17条の適用を受ける特許出願
(71)【出願人】
【識別番号】504174180
【氏名又は名称】国立大学法人高知大学
(71)【出願人】
【識別番号】504237050
【氏名又は名称】独立行政法人国立高等専門学校機構
(74)【代理人】
【識別番号】110000729
【氏名又は名称】弁理士法人ユニアス国際特許事務所
(72)【発明者】
【氏名】兵頭 政光
(72)【発明者】
【氏名】宮▲崎▼ 亮一
(72)【発明者】
【氏名】垣内田 翔子
【テーマコード(参考)】
4C038
4C127
【Fターム(参考)】
4C038VA04
4C038VA05
4C038VA17
4C038VB09
4C038VB34
4C127AA04
4C127BB03
4C127BB05
4C127GG10
(57)【要約】
【課題】嚥下所見データと、嚥下音および/または頸部の嚥下関連筋の筋活動との相関関係を利用することで、高精度に摂食嚥下を評価できる摂食嚥下モニター装置および摂食嚥下評価方法を提供する。
【解決手段】摂食嚥下モニター装置1は、ユーザの嚥下音を検出するためのマイクロフォン11と、ユーザの頸部の筋電検出用電極12と、嚥下所見データと、嚥下音および/または筋電信号を少なくとも教師データとして知的情報処理技術によって生成される摂食嚥下評価学習モデル231を記憶する記憶部23と、摂食嚥下評価学習モデル231に、検出音あるいは筋電信号とを入力し、摂食嚥下を評価した結果を出力する摂食嚥下評価部26と、摂食嚥下評価部26で評価された結果情報を出力する結果情報出力部27とを備える。
【選択図】図1B
【特許請求の範囲】
【請求項1】
ユーザの嚥下音を検出するためのマイクロフォンと、
ユーザの頸部の筋電検出用電極と、
嚥下所見データと、嚥下音および/または筋電信号とを少なくとも教師データとして知的情報処理技術によって生成される摂食嚥下評価学習モデルを記憶する記憶部と、
前記摂食嚥下評価学習モデルに、前記検出音および/または前記筋電信号を入力し、摂食嚥下を評価した結果を出力する摂食嚥下評価部と、
前記摂食嚥下評価部で評価された結果情報を出力する結果情報出力部と、
を備える、
摂食嚥下モニター装置。
【請求項2】
前記摂食嚥下モニター装置は、
測定用アームと、携帯端末と、を備え、
前記測定用アームは、
前記マイクロフォンと、
前記筋電検出用電極と、
前記マイクロフォンで検出された検出音と、前記筋電検出用電極で検出された筋電信号とを、前記携帯端末へ送信するアーム送信部と、を備え、
前記携帯端末は、
前記マイクロフォンで検出された検出音と、前記筋電検出用電極で検出された筋電信号とを、前記測定用アームから受信する端末受信部と、
前記摂食嚥下評価学習モデルを記憶する前記記憶部と、
前記摂食嚥下評価学習モデルに、前記測定用アームから送られた前記検出音と前記筋電信号とを入力し、摂食嚥下を評価した結果を出力する前記摂食嚥下評価部と、
前記摂食嚥下評価部で評価された結果情報を出力する前記結果情報出力部と、
を備える、
請求項1に記載の摂食嚥下モニター装置。
【請求項3】
前記摂食嚥下モニター装置は、
測定用アームと、携帯端末と、サーバとを備え、
前記測定用アームは、
前記マイクロフォンと、
前記筋電検出用電極と、
前記マイクロフォンで検出された検出音と、前記筋電検出用電極で検出された筋電信号とを、前記携帯端末へ送信するアーム送信部と、を備え、
前記携帯端末は、
前記マイクロフォンで検出された検出音と、前記筋電検出用電極で検出された筋電信号とを、前記測定用アームから受信する端末受信部と、
前記検出音および前記筋電信号を前記サーバへ送信する端末送信部と、
前記端末受信部で受信した、前記サーバの摂食嚥下評価部で評価された結果情報を出力する前記結果情報出力部と、を備え、
前記サーバは、
前記検出音および前記筋電信号を前記携帯端末から受信するサーバ受信部と、
前記摂食嚥下評価学習モデルを記憶する前記記憶部と、
前記摂食嚥下評価学習モデルに、前記携帯端末から送られた前記検出音および/または前記筋電信号を入力し、摂食嚥下を評価した結果を出力する摂食嚥下評価部と、
前記摂食嚥下評価部で評価された結果情報を前記携帯端末へ送信するサーバ送信部と、
を備える、
請求項1に記載の摂食嚥下モニター装置。
【請求項4】
前記摂食嚥下モニター装置は、
測定用アームと、携帯端末と、サーバとを備え、
前記測定用アームは、
前記マイクロフォンと、
前記筋電検出用電極と、
前記マイクロフォンで検出された検出音と、前記筋電検出用電極で検出された筋電信号とを、前記サーバへ送信するアーム送信部と、を備え、
前記サーバは、
前記マイクロフォンで検出された検出音と、前記筋電検出用電極で検出された筋電信号とを、前記測定用アームから受信するサーバ受信部と、
嚥下所見データと、嚥下音および/または筋電信号とを少なくとも教師データとして知的情報処理技術によって生成される摂食嚥下評価学習モデルを記憶する記憶部と、
前記摂食嚥下評価学習モデルに、前記測定用アームから送られた前記検出音および/または前記筋電信号を入力し、摂食嚥下を評価した結果を出力する前記摂食嚥下評価部と、
前記摂食嚥下評価部で評価された結果情報を前記携帯端末へ送信するサーバ送信部と、を備え、
前記携帯端末は、
摂食嚥下評価部で評価された結果情報を前記サーバから受信する端末受信部と、
前記端末受信部で受信した、前記摂食嚥下評価部で評価された結果情報を出力する前記結果情報出力部と、
を備える、
請求項1に記載の摂食嚥下モニター装置。
【請求項5】
前記摂食嚥下モニター装置は、
測定用アームと、携帯端末と、サーバとを備え、
前記測定用アームは、
前記マイクロフォンと、
前記筋電検出用電極と、
前記マイクロフォンで検出された検出音と、前記筋電検出用電極で検出された筋電信号とを、前記携帯端末へ送信するアーム送信部と、を備え、
前記携帯端末は、
前記マイクロフォンで検出された検出音と、前記筋電検出用電極で検出された筋電信号とを、前記測定用アームから受信する端末受信部と、
摂食嚥下評価学習モデルのダウンロード要求を前記サーバへ送信するダウンロード要求部と、
前記サーバから前記端末受信部で受信した、前記摂食嚥下評価学習モデルに、前記測定用アームから送られた前記検出音と前記筋電信号とを入力し、摂食嚥下を評価した結果を出力する前記摂食嚥下評価部と、
前記摂食嚥下評価部で評価された結果情報を出力する前記結果情報出力部と、を備え、
前記サーバは、
前記ダウンロード要求を前記携帯端末から受信するサーバ受信部と、
前記摂食嚥下評価学習モデルを記憶する前記記憶部と、
前記摂食嚥下評価学習モデルを前記携帯端末へ送信するサーバ送信部と、
を備える、
請求項1に記載の摂食嚥下モニター装置。
【請求項6】
測定用アームと携帯端末で実行される方法、または測定用アームとサーバで実行される方法であって、
ユーザの嚥下音(およびその前後の嚥下音以外の音、正常音なども含む)を含む検出音を検出する検出ステップと、
ユーザの嚥下音(およびその前後の嚥下音以外の音、正常音などを含む)が発生している期間におけるユーザの頸部の筋電信号を検出する筋電信号検出ステップと、
嚥下所見データと、嚥下音および/または筋電信号とを少なくとも教師データとして知的情報処理技術によって生成される摂食嚥下評価学習モデルに、前記検出音および/または前記筋電信号を入力し、摂食嚥下を評価した結果を出力する摂食嚥下評価ステップと、
前記摂食嚥下評価ステップで評価された結果情報を出力する出力ステップと、
を含む、
摂食嚥下評価方法。
【請求項7】
1つ以上のプロセッサーによって実行される方法であって、
マイクロフォンで検出された検出音(嚥下音を含む)と、筋電検出用電極で検出された筋電信号とを記憶している記憶部から、前記検出音と前記筋電信号を読み出し、嚥下所見データと、嚥下音および/または筋電信号とを少なくとも教師データとして知的情報処理技術によって生成される摂食嚥下評価学習モデルに、前記検出音および/または前記筋電信号を入力し、摂食嚥下を評価した結果を出力する摂食嚥下評価ステップと、
前記摂食嚥下評価ステップで評価された結果情報を出力する出力ステップと、
を含む、
摂食嚥下評価方法。
【請求項8】
摂食嚥下評価プログラムであって、
少なくとも1つのプロセッサーにより、請求項6または7に記載の摂食嚥下評価方法の各ステップを実現するプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、摂食嚥下モニター装置および摂食嚥下評価方法に関する。
【背景技術】
【0002】
特許文献1は、頸部装着型マイクロフォンを通して嚥下時に咽頭、喉頭、食道で発生する嚥下音をモニターすることで、摂食嚥下運動や誤嚥を検出する機器を開示している。本機器では嚥下音のみで摂食嚥下運動や誤嚥を判定するため、検出の感度・特異度がやや低い可能性が問題点としてあげられる。
特許文献2は、被検者の舌骨筋群の筋肉表面に配置される検出電極部で検出された信号を利用している。
特許文献3は、複数の筋電図電極及び前記複数の振動ピックアップ(マイクロフォン)が粘着シートに予め固定されているセンサシートを開示している。特定の周波数帯域の信号のみを取り出す等のフィルタ処理を行い出力する。
特許文献4は、咀嚼検出手段として被検者の咀嚼に関与する筋肉の筋電位と利用し、この咀嚼検出手段は、被検者の咀嚼時の口内の音を測定可能な音センサーも備え、被検者の咽頭または喉頭の動きに関する物理量の検出が必須である。
特許文献5は、筋肉表面に電極を配置して表面筋電図を記録し、嚥下音を的確に拾える部位にマイクロフォンを配置して嚥下時の喉頭蓋の開閉音も収集する。評価項目として、表面筋電図によって導出される筋活動時間、筋活動量、遅れ時間、周波数解析(FFT,Wavelet,短時間FFT等も含む)、嚥下音波形によって導出される持続時間、面積、最大値、ピーク周波数、ピーク周波数のパワー量、加速度センサーによって導出される喉頭挙上所要時間からなる群から選ばれており、ニューラルネットワークで学習を行い、データベース化することが記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第5952536号公報
【特許文献2】特許第6980245号公報
【特許文献3】特開2014-168490号公報
【特許文献4】特開2012-75758号公報
【特許文献5】特開2005-304890号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1から5は、いずれも、検出データから正常または異常の判断を行うに過ぎず、医師の診断との相関関係については言及されていない。
【0005】
本開示は、嚥下所見データと、嚥下音および/または頸部の嚥下関連筋(オトガイ舌骨筋、または胸骨舌骨筋)の筋活動との相関関係を利用することで、高精度に摂食嚥下を評価できる摂食嚥下モニター装置および摂食嚥下評価方法を提供する。
【課題を解決するための手段】
【0006】
第一の摂食嚥下モニター装置は、
ユーザの嚥下音(およびその前後の嚥下音以外の音、正常音なども含む)を検出するためのマイクロフォンと、
ユーザの嚥下音(およびその前後の嚥下音以外の音、正常音などを含む)が発生している期間におけるユーザの頸部の筋電検出用電極と、
嚥下所見データと、嚥下音および/または筋電信号とを少なくとも教師データとして知的情報処理技術によって生成される摂食嚥下評価学習モデルを記憶する記憶部と、
前記摂食嚥下評価学習モデルに、前記検出音および/または前記筋電信号を入力し、摂食嚥下を評価した結果を出力する摂食嚥下評価部と、
前記摂食嚥下評価部で評価された結果情報を出力する結果情報出力部と、
を備える。
前記検出音および/または前記筋電信号は、特徴抽出処理が施された後で、摂食嚥下評価学習モデルに入力されてもよい。
前記摂食嚥下モニター装置は、
各種検出データ(前記検出音および前記筋電信号)を記憶する検出データ記憶部を備えていてもよい。
前記摂食嚥下モニター装置は、
ユーザ情報を登録するユーザ情報登録部と、過去の評価の結果情報を閲覧する過去データ閲覧部と、リアルタイム測定および判定を表示する測定判定閲覧部と、警報音を発する警報部とを備えていてもよい。
「嚥下所見データ」は、例えば、嚥下内視鏡検査所見、嚥下造影検査所見、臨床所見などの1種以上であってもよい。嚥下所見データとして、例えば、各種検査画像データ、各種検査動画データ、検査スコアが含まれていてもよい。嚥下所見データは、例えば、嚥下レベル、検査スコア、食形態の情報とがそれぞれ対応するように紐づけられていてもよい。
「頸部」は、嚥下関連筋(オトガイ舌骨筋、または胸骨舌骨筋)であってもよい。
前記摂食嚥下評価学習モデルで出力(推定)される「結果情報」は、例えば、嚥下レベルの推定、食形態、食事状況(むせ回数(誤嚥回数)、嚥下回数)などのデータを含んでいてもよい。
【0007】
第二の摂食嚥下モニター装置は、
測定用アームと、携帯端末と、を備え、
前記測定用アームは、
ユーザの嚥下音(およびその前後の嚥下音以外の音、正常音なども含む)を検出するためのマイクロフォンと、
ユーザの嚥下音(およびその前後の嚥下音以外の音、正常音などを含む)が発生している期間におけるユーザの頸部の筋電検出用電極と、
前記マイクロフォンで検出された検出音(嚥下音を含む)と、前記筋電検出用電極で検出された筋電信号とを、前記携帯端末へ送信するアーム送信部(ワイヤレス通信部)と、を備え、
前記携帯端末は、
前記マイクロフォンで検出された検出音(嚥下音を含む)と、前記筋電検出用電極で検出された筋電信号とを、前記測定用アームから受信する端末受信部(ワイヤレス通信部)と、
嚥下所見データと、嚥下音および/または筋電信号とを少なくとも教師データとして知的情報処理技術によって生成される摂食嚥下評価学習モデル(プログラム)を記憶する記憶部と、
前記摂食嚥下評価学習モデルに、前記測定用アームから送られた前記検出音および/または前記筋電信号を入力し、摂食嚥下を評価した結果を出力する摂食嚥下評価部と、
前記摂食嚥下評価部で評価された結果情報を出力する結果情報出力部と、
を備える。
前記検出音および/または前記筋電信号は、特徴抽出処理が施された後で、摂食嚥下評価学習モデルに入力されてもよい。
前記測定用アームは、各種検出データ(前記検出音および前記筋電信号)を記憶する第一検出データ記憶部を備えていてもよい。
前記携帯端末は、前記端末受信部で受信した各種検出データ(前記検出音および前記筋電信号)を記憶する第二検出データ記憶部を備えていてもよい。
【0008】
第三の摂食嚥下モニター装置は、
測定用アームと、携帯端末と、サーバを備え、
前記測定用アームは、
ユーザの嚥下音(およびその前後の嚥下音以外の音、正常音なども含む)を検出するためのマイクロフォンと、
ユーザの嚥下音(およびその前後の嚥下音以外の音、正常音などを含む)が発生している期間におけるユーザの頸部の筋電検出用電極と、
前記マイクロフォンで検出された検出音(嚥下音を含む)と、前記筋電検出用電極で検出された筋電信号とを、前記携帯端末へ送信するアーム送信部(ワイヤレス通信部)と、を備え、
前記携帯端末は、
前記マイクロフォンで検出された検出音(嚥下音を含む)と、前記筋電検出用電極で検出された筋電信号とを、前記測定用アームから受信する端末受信部(ワイヤレス通信部)と、
前記端末受信部で受信した各種検出データ(前記検出音および前記筋電信号)を記憶する検出データ記憶部と、
前記各種検出データ(前記検出音および前記筋電信号)を前記サーバへ送信する端末送信部と、
前記端末受信部で受信した、前記サーバの摂食嚥下評価部で評価された結果情報を出力する結果情報出力部と、を備え、
前記サーバは、
前記各種検出データ(前記検出音および前記筋電信号)を前記携帯端末から受信するサーバ受信部と、
嚥下所見データと、嚥下音および/または筋電信号とを少なくとも教師データとして知的情報処理技術によって生成される摂食嚥下評価学習モデルを記憶する記憶部と、
前記摂食嚥下評価学習モデルに、前記携帯端末から送られた前記検出音および/または前記筋電信号とを入力し、摂食嚥下を評価した結果を出力する摂食嚥下評価部と、
前記摂食嚥下評価部で評価された結果情報を前記携帯端末へ送信するサーバ送信部と、
を備える。
前記検出音および/または前記筋電信号は、特徴抽出処理が施された後で、摂食嚥下評価学習モデルに入力されてもよい。
【0009】
第四の摂食嚥下モニター装置は、
測定用アームと、携帯端末と、サーバを備え、
前記測定用アームは、
ユーザの嚥下音(およびその前後の嚥下音以外の音、正常音なども含む)を検出するためのマイクロフォンと、
ユーザの嚥下音(およびその前後の嚥下音以外の音、正常音などを含む)が発生している期間におけるユーザの頸部の筋電検出用電極と、
前記マイクロフォンで検出された検出音(嚥下音を含む)と、前記筋電検出用電極で検出された筋電信号とを、前記サーバへ送信するアーム送信部(ワイヤレス通信部)と、を備え、
前記サーバは、
前記マイクロフォンで検出された検出音(嚥下音を含む)と、前記筋電検出用電極で検出された筋電信号とを、前記測定用アームから受信するサーバ受信部(ワイヤレス通信部)と、
嚥下所見データと、嚥下音および/または筋電信号とを少なくとも教師データとして知的情報処理技術によって生成される摂食嚥下評価学習モデルを記憶する記憶部と、
前記摂食嚥下評価学習モデルに、前記測定用アームから送られた前記検出音および/または前記筋電信号を入力し、摂食嚥下を評価した結果を出力する摂食嚥下評価部と、
前記摂食嚥下評価部で評価された結果情報を前記携帯端末へ送信するサーバ送信部と、を備え、
前記携帯端末は、
摂食嚥下評価部で評価された結果情報を前記サーバから受信する端末受信部と、
前記端末受信部で受信した、摂食嚥下評価部で評価された結果情報を記憶する結果情報記憶部と、
前記端末受信部で受信した、摂食嚥下評価部で評価された結果情報を出力する結果情報出力部と、を備える。
前記検出音および/または前記筋電信号は、特徴抽出処理が施された後で、摂食嚥下評価学習モデルに入力されてもよい。
【0010】
第五の摂食嚥下モニター装置は、
測定用アームと、携帯端末と、サーバを備え、
前記測定用アームは、
ユーザの嚥下音(およびその前後の嚥下音以外の音、正常音なども含む)を検出するためのマイクロフォンと、
ユーザの嚥下音(およびその前後の嚥下音以外の音、正常音などを含む)が発生している期間におけるユーザの頸部の筋電検出用電極と、
前記マイクロフォンで検出された検出音(嚥下音を含む)と、前記筋電検出用電極で検出された筋電信号とを、前記携帯端末へ送信するアーム送信部(ワイヤレス通信部)と、を備え、
前記携帯端末は、
前記マイクロフォンで検出された検出音(嚥下音を含む)と、前記筋電検出用電極で検出された筋電信号とを、前記測定用アームから受信する端末受信部(ワイヤレス通信部)と、
前記端末受信部で受信した各種検出データ(前記検出音および前記筋電信号)を記憶する第二検出データ記憶部と、
摂食嚥下評価学習モデルのダウンロード要求を前記サーバへ送信するダウンロード要求部と、
前記サーバから前記端末受信部で受信した、前記摂食嚥下評価学習モデルに、(前記端末受信部で受信されたあるいは第二検出データ記憶部で記憶されている)前記測定用アームから送られた前記検出音と前記筋電信号とを入力し、摂食嚥下を評価した結果を出力する摂食嚥下評価部と、
前記摂食嚥下評価部で評価された結果情報を出力する結果情報出力部と、を備え、
前記サーバは、
前記ダウンロード要求を前記携帯端末から受信するサーバ受信部と、
嚥下所見データと、嚥下音および/または筋電信号とを少なくとも教師データとして知的情報処理技術によって生成される摂食嚥下評価学習モデルを記憶する記憶部と、
前記摂食嚥下評価学習モデルを前記携帯端末へ送信するサーバ送信部と、
を備える。
前記検出音および/または前記筋電信号は、特徴抽出処理が施された後で、摂食嚥下評価学習モデルに入力されてもよい。
【0011】
第二から第五の摂食嚥下モニター装置の前記測定用アームは、各種検出データ(前記検出音および前記筋電信号)を記憶する第一検出データ記憶部を備えていてもよい。
第二から第五の摂食嚥下モニター装置の前記携帯端末は、ユーザ情報を登録するユーザ情報登録部と、過去の評価の結果情報を閲覧する過去データ閲覧部と、リアルタイム測定および判定を表示する測定判定閲覧部と、警報音を発する警報部とを備えていてもよい。
第二から第五の摂食嚥下モニター装置の前記サーバは、ユーザ情報と関連づけて、過去の評価の結果情報を蓄積する過去データ蓄積部と、蓄積されているデータを外部装置からの要望に応じてダウンロードあるいは閲覧するデータ管理部と、を備えていてもよい。
前記「出力」は、モニターへの表示、プリンターでの印刷、外部装置への送信、記憶媒体への記憶なども含む。
【0012】
前記携帯端末または前記サーバは、
前記教師データをディープニューラルネットワーク(摂食嚥下評価学習モデル)に入力し学習を実行する学習モデル生成部を有していてもよい。
前記学習モデル生成部は、別の教師データを用いて再学習も実行する構成であってもよい。
前記携帯端末または前記サーバは、
前記摂食嚥下評価学習モデルから得られる結果情報から正解率(「正答率」ともいう。)、適合率、および/または再現率の精度結果を演算する精度評価部をさらに有していてもよい。
【0013】
他の開示の第一の摂食嚥下評価方法は、測定用アームと携帯端末で実行される方法、または測定用アームとサーバで実行される方法であって、
ユーザの嚥下音(およびその前後の嚥下音以外の音、正常音なども含む)を含む検出音を検出する検出ステップと、
ユーザの嚥下音(およびその前後の嚥下音以外の音、正常音などを含む)が発生している期間におけるユーザの頸部の筋電信号を検出する筋電信号検出ステップと、
嚥下所見データと、嚥下音および/または筋電信号とを少なくとも教師データとして知的情報処理技術によって生成される摂食嚥下評価学習モデルに、前記検出音および/または前記筋電信号を入力し、摂食嚥下を評価した結果を出力する摂食嚥下評価ステップと、
前記摂食嚥下評価ステップで評価された結果情報を出力する出力ステップと、を含む。
【0014】
第二の摂食嚥下評価方法は、携帯端末またはサーバで実行される方法であって、
マイクロフォンで検出された検出音(嚥下音を含む)と、筋電検出用電極で検出された筋電信号とを、測定用アームから受信する端末受信ステップと、
嚥下所見データと、嚥下音および/または筋電信号とを少なくとも教師データとして知的情報処理技術によって生成される摂食嚥下評価学習モデルに、前記検出音および/または前記筋電信号を入力し、摂食嚥下を評価した結果を出力する摂食嚥下評価ステップと、
前記摂食嚥下評価ステップで評価された結果情報を出力する出力ステップと、を含む。
【0015】
第三の摂食嚥下評価方法は、
マイクロフォンで検出された検出音(嚥下音を含む)と、筋電検出用電極で検出された筋電信号とを、測定用アームから受信する端末受信ステップと、
嚥下所見データと、嚥下音および/または筋電信号とを少なくとも教師データとして知的情報処理技術によって生成される摂食嚥下評価学習モデルを、外部装置(例えば、サーバ)から受信する受信ステップと、
前記摂食嚥下評価学習モデルに、前記検出音および/または前記筋電信号を入力し、摂食嚥下を評価した結果を出力する摂食嚥下評価ステップと、
前記摂食嚥下評価ステップで評価された結果情報を出力する出力ステップと、を含む。
【0016】
第四の摂食嚥下評価方法は、1つ以上のプロセッサーによって実行される方法であって、
マイクロフォンで検出された検出音(嚥下音を含む)と、筋電検出用電極で検出された筋電信号とを記憶している記憶部から、前記検出音と前記筋電信号を読み出し、嚥下所見データと、嚥下音および/または筋電信号とを少なくとも教師データとして知的情報処理技術によって生成される摂食嚥下評価学習モデルに、前記検出音および/または前記筋電信号を入力し、摂食嚥下を評価した結果を出力する摂食嚥下評価ステップと、
前記摂食嚥下評価ステップで評価された結果情報を出力する出力ステップと、を含む。
第一から第四の摂食嚥下評価方法は、前記検出音および/または前記筋電信号は、特徴抽出処理が施された後で、摂食嚥下評価学習モデルに入力されてもよい。
【0017】
情報処理装置は、
少なくとも1つのプロセッサーと、
前記プロセッサーで実行可能な命令を記憶するためのメモリと、を含み、
前記プロセッサーは、実行可能な命令を実行することにより前記摂食嚥下評価方法の各ステップを実現する、情報処理装置である。
【0018】
摂食嚥下評価プログラムは、
少なくとも1つのプロセッサーにより、前記摂食嚥下評価方法の各ステップを実現するプログラムである。
【0019】
コンピュータ命令が記憶されているコンピュータ読み取り可能な記録媒体は、
嚥下所見データと、嚥下音および/または筋電信号とを少なくとも教師データとして知的情報処理技術によって生成される摂食嚥下評価学習モデルを記憶する、コンピュータ読み取り可能な記録媒体である。
【0020】
前記携帯端末は、タブレット、スマートフォン、モバイルパソコン、専用端末などで構成されていてもよい。摂食嚥下評価アプリケーションをスマーフォンなどにインストールすることで、本開示の携帯端末の機能が構成されてもよい。
前記サーバは、オンプレミス、クラウドのいずれであってもよい。
【0021】
前記「知的情報処理技術」は、例えば、機械学習、深層学習、強化学習、深層強化学習などが挙げられる。機械学習、深層学習、強化学習、深層強化学習のアルゴリズムは、特に制限されず、従来のアルゴリズムを用いてもよい。教師あり学習として、例えば、線形回帰、一般化線形モデル、サポートベクター回帰、ガウス過程回帰、アンサンブル法、決定木、ニューラルネットワーク、サポートベクターマシン、判別分析、単純ベイズ、最近傍法などの各種アルゴリズムを採用してもよい。
前記摂食嚥下評価部は、摂食嚥下評価学習モデルが記憶されている記憶部から摂食嚥下評価学習モデルを読み出し、1または複数のプロセッサーで実行させてもよい。プロセッサーは、例えば、CPU、MPU、GPU、IPU(Intelligence Processing Unit)、MCU(Micro Controller Unit)などを1つ以上有して構成されていてもよい。
【0022】
(効果)
(1)嚥下所見データと、嚥下音および/または頸部の嚥下関連筋(オトガイ舌骨筋、または胸骨舌骨筋)の筋活動との相関関係を利用することで、摂食嚥下の評価を高精度に行える。これにより、摂食嚥下運動や誤嚥の検出感度・特異度を大きく向上させことができる。
(2)摂食嚥下障害患者の食事状況を客観的に評価し、それに応じて食事摂取の可否、摂食嚥下機能に応じた食形態の選択基準を作成することができる。
(3)食事中でも、嚥下音と頸部の嚥下関連筋の筋活動を簡単に負荷なく同時にモニターできるので、摂食嚥下障害患者が安全に口から食べることを支援できる。
【図面の簡単な説明】
【0023】
図1A】実施形態1の摂食嚥下モニター装置の外観の一例を示す図である。
図1B】実施形態1の摂食嚥下モニター装置の機能の一例を示す図である。
図2】実施形態2の摂食嚥下モニター装置の機能の一例を示す図である。
図3】実施形態3の摂食嚥下モニター装置の機能の一例を示す図である。
図4】実施形態4の摂食嚥下モニター装置の機能の一例を示す図である。
図5】嚥下障害の程度、内視鏡画像、嚥下音信号および筋電信号の対応関係について説明する図である。
図6A】測定用アームの実施例を示す図である。
図6B】測定用アームの実施例を示す図である。
【発明を実施するための形態】
【0024】
(実施形態1)
実施形態1の摂食嚥下モニター装置1の外観を図1Aに、その機能を図1Bに示す。摂食嚥下モニター装置1は、測定用アーム10と、携帯端末20とを備える。
測定用アーム10は、両端部が離間したリング状の首掛構造である。測定用アーム10は、一方端にマイクロフォン11が設けられ、その他方端に筋電検出用電極12が設けられる。
測定用アーム10の首掛構造は、首回りの大きさや形状に合わせて、端部の延設長さを調整する構造、リング径を調整する構造を備えていてもよい。
マイクロフォン11は、ユーザの喉あたりの皮膚に接触し、嚥下音(およびその前後の嚥下音以外の音、正常音なども含む)を検出する。嚥下時において検出された検出音は、第一検出データ記憶部13に記憶される。
筋電検出用電極12はユーザの頸部の皮膚に接触し、ユーザの嚥下音(およびその前後の嚥下音以外の音、正常音などを含む)が発生している期間における筋電信号を検出する。嚥下時において検出された筋電信号は、検出音は、第一検出データ記憶部13に記憶される。
第一検出データ記憶部13に記載された検出データは、アーム送信部14によって、携帯端末20へ送られる。アーム送信部14は、有線通信手段あるいは無線通信手段(例えば、短距離無線通信手段、無線PAN、無線LANなど)でもよいが無線通信手段が好ましい。
【0025】
携帯端末20は、スマートフォンなどで構成されており、摂食嚥下評価プログラムがインストールされている。摂食嚥下評価プログラムの機能として、ユーザ情報登録部28、過去データ閲覧部291、測定判定閲覧部292を備える。携帯端末20の入力インターフェースを利用し、ユーザ情報登録部28は、ユーザ情報(例えば、氏名、年齢、摂食嚥下の症状、個人情報など)を入力し登録する。過去データ閲覧部291は、過去の評価の結果情報を閲覧する。測定判定閲覧部292は、リアルタイム測定および判定の結果を表示する。
【0026】
携帯端末20の無線通信機能(例えば、短距離無線通信手段、無線PAN、無線LAN、無線MAN、無線WANなど)を利用した端末受信部は、測定用アーム10から検出データ(検出音および筋電信号)を受信し、携帯端末20のメモリを利用した第二検出データ記憶部22に記憶する。
携帯端末20は、携帯端末20のメモリを利用した記憶部23に摂食嚥下評価学習モデル231を保存している。摂食嚥下評価部26は、記憶部23から摂食嚥下評価学習モデル231を読み出し、特徴量抽出部25で特徴量抽出処理された検出データ(検出音および筋電信号)を入力し、摂食嚥下を評価した結果を出力する。
結果情報出力部27は、摂食嚥下評価部26で評価された結果情報を出力する。結果情報出力部27は、携帯端末20の表示装置24を利用し結果情報を表示する。表示装置24は、特に制限されず、液晶モニター、有機ELモニター、CRTモニター、スマートフォン、タブレット、汎用パソコンのモニターなどが例示される。本実施形態ではスマーフォンのモニターで実現する。
【0027】
(データ前処理:特徴量抽出処理)
「摂食嚥下評価学習モデル」における「教師データ」および「入力データ」としては、嚥下音および筋電信号は、特徴量抽出処理部で、予め特徴量抽出処理が行われる。特徴量抽出処理部25は、オリジナル(生あるいは未加工)の検出音(嚥下音を含む)に対し、短時間フーリエ変換してメルスペクトルを得て、このメルスペクトルを離散コサイン変換した成分あるいは係数としてのMFCC(メル周波数ケプストラム係数)を求めてもよい。つまり、検出音(嚥下音を含む)はMFCCのデータにして、摂食嚥下評価学習モデルに入力される。
また、特徴量抽出部25は、オリジナルの筋電信号に対し、整流処理、帯域制限処理、最大周波数成分抽出処理、立ち上がり電位抽出処理、ウエーブレット変換処理、などの演算処理を行い特徴量の抽出を行ってもよい。
【0028】
(教師データ)
教師データ(「訓練データ」とも称される)は、健常者と摂食嚥下の段階的な症状がある患者について、嚥下前および嚥下時の嚥下音と嚥下筋筋電図(舌骨上筋群の筋電図または舌骨下筋群の筋電図)を同時に計測し(検出データを得て)、嚥下内視鏡検査などに基づく嚥下所見データと関連づける。つまり、内視鏡検査による所見と、嚥下音および嚥下筋電信号を関連づけて教師データ(訓練データ)として、例えば、ディープニューラルネットワーク(DNN)を学習させることで、モデルを生成できる。
図5に、嚥下障害の程度、内視鏡画像、嚥下音信号および筋電信号の対応関係の一例を示す。
【0029】
(評価の結果情報)
「評価の結果情報」は、例えば、喉頭蓋谷・梨状陥凹の唾液貯留の多段階分類(例えば、なし、軽度、中度、重度の4段階)、声門閉鎖反射・咳反射の惹起性の多段階分類、嚥下反射の惹起性の多段階分類、咽頭クリアランスの多段階分類、誤嚥の多段階分類、鼻咽腔閉鎖不全の多段階分類、早期咽頭流入の多段階分類、声帯麻痺の多段階分類の情報を含んでいてもよい。
「評価の結果情報」は、上記多段階分類の合計点から、嚥下調整食コード(日本摂食嚥下リハビリテーション学会嚥下調整食分類2021)を対応させた選択基準の情報を含んでいてもよい。
【0030】
(実施形態2)
実施形態2の摂食嚥下モニター装置1の機能を図2に示す。摂食嚥下モニター装置1は、測定用アーム10と、携帯端末20と、サーバ30を備える。実施形態1(図1B)と同じ符号は同じ機能を有し、説明を省略する場合がある。
測定用アーム10は、実施形態1と同じ動作である。
実施形態2の携帯端末20は、端末受信部21で測定用アーム10から検出データを受信し、第二検出データ記憶部22に記憶する。端末送信部211は、検出データ(検出音および筋電信号)をサーバへ送信する。
【0031】
サーバ30は、サーバ受信部31で検出データを受信する。サーバ30は、特徴量抽出部35、摂食嚥下評価部36と摂食嚥下評価学習モデル331を保存する記憶部33を備える。摂食嚥下評価部36は、記憶部33から摂食嚥下評価学習モデル331を読み出し、特徴量抽出部35で特徴量抽出処理された検出データ(検出音および筋電信号)を入力し、摂食嚥下を評価した結果を出力する。サーバ送信部311は、摂食嚥下評価部36で評価された結果情報を携帯端末20へ送信する。
【0032】
携帯端末20の端末受信部21は、サーバ30から評価された結果情報を受信する。結果情報出力部27は、端末受信部21で受信した、サーバ30から摂食嚥下評価部36で評価された結果情報を出力する。
【0033】
サーバ30は、ユーザ情報と関連づけて、過去の評価の結果情報を蓄積する過去データ蓄積部38と、蓄積されているデータを外部装置からの要望に応じてダウンロードあるいは閲覧するデータ管理部39をさらに備える。
【0034】
(実施形態3)
実施形態3の摂食嚥下モニター装置1の機能を図3に示す。摂食嚥下モニター装置1は、測定用アーム10と、携帯端末20と、サーバ30を備える。実施形態2(図2)と同じ符号は同じ機能を有し、説明を省略する場合がある。
測定用アーム10において、アーム送信部14は、検出データ(検出音および筋電信号)をサーバ30へ送る。
サーバ30のサーバ受信部31は、検出データ(検出音および筋電信号)を受信する。サーバ30は、摂食嚥下評価部36と摂食嚥下評価学習モデル331を保存する記憶部33を備える。摂食嚥下評価部36は、記憶部33から摂食嚥下評価学習モデル331を読み出し、特徴量抽出部35で特徴量抽出処理された検出データ(検出音および筋電信号)を入力し、摂食嚥下を評価した結果を出力する。サーバ送信部311は、摂食嚥下評価部36で評価された結果情報を携帯端末20へ送信する。
携帯端末20は、端末受信部21でサーバ30から摂食嚥下評価部36で評価された結果情報を受信し、結果情報記憶部222に記憶する。結果情報出力部27は、評価された結果情報を出力する。
【0035】
(実施形態4)
実施形態4の摂食嚥下モニター装置1の機能を図4に示す。摂食嚥下モニター装置1は、測定用アーム10と、携帯端末20と、サーバ30を備える。実施形態2(図2)と同じ符号は同じ機能を有し、説明を省略する場合がある。
携帯端末20は、サーバ20から摂食嚥下評価学習モデルのダウンロード要求をするダウンロード要求部212を備える。
サーバ30は、サーバ受信部31でダウンロード要求を受信し、これに応じて、サーバ送信部311は、摂食嚥下評価学習モデル331を携帯端末20へ送信する。
携帯端末20の端末受信部21は、サーバ30から摂食嚥下評価学習モデル331を受信する。摂食嚥下評価部26は、サーバ30から受信した、摂食嚥下評価学習モデル331に、特徴量抽出部25で特徴量抽出処理された検出データ(検出音と筋電信号)を入力し、摂食嚥下を評価した結果を出力する。結果情報出力部27は、評価された結果情報を出力する。
【0036】
(実施形態5)
図6A,6Bに測定用アーム10の一実施例を示す。図6Aにおいて、測定用アーム10は、首掛けタイプであり、首の後ろ(背側)に配置される本体付根部102と、本体付根部102に設けられるバッテリーを収納するためのバッテリーボックス101と、電源スイッチ、電源ON/OFFを示すLED表示ランプ、バッテリー残量をLED表示で示すバッテリー残表示ランプ、金属接点部(GND)とを有する。
また、測定用アーム10は、は、本体付根部102から出し入れ移動可能に構成される左右一対の移動伸縮部103と、移動伸縮部103の先端に軸支されて連結される左右一対の当接部104を有する。左右一対の当接部104の首側の左右の先端には、咽喉マイク(マイクロフォン11)と、筋電センサー(筋電検出用電極12)が設けられている。これにより咽喉マイクと筋電センサーとを首サイズに合わせて簡単に調整することができる。
図6Bにおいて、被測定者の首回りサイズに合わせて、最小装着状態と最大装着状態との間で、左右一対の移動伸縮部103と左右一対の当接部104とを調整できることを示す。なお、図6Bの寸法はあくまでも一例であり、これに制限されない。
また、左右一対の移動伸縮部103および当接部104は、全体的に、首方向(径方向)に力が作用し、測定中は、咽喉マイク(マイクロフォン11)と、筋電センサー(筋電検出用電極12)が首に接触するように構成される。また、左右一対の当接部104は、軸支された回転周りに開拡・停止する機構を備えていてもよい。
【0037】
(実施形態6)
筋電センサーは、上下位置で2つの筋電検出用電極12を有する。筋電検出用電極12は、舌骨上筋群(例えば、オトガイ舌骨筋)のデータを計測してもよく、舌骨下筋群(例えば、胸骨舌骨筋)のデータを計測してもよい。
【0038】
(実験例1)
教師データとして、水嚥下音(swallow)を202ファイル、英語での発話(speech)を260ファイル、嚥下していない状態でマイクロフォンから得られる音(silence)を234ファイル用意した。各音を1秒間としてMFCCを用いて特徴量抽出処理を施した。
嚥下した状態の嚥下音と、英語の発話音、嚥下していない状態の嚥下音のそれぞれを訓練データ(教師データおよび評価データ)とし、DNN(ディープニューラルネットワーク)を訓練し、摂食嚥下評価学習モデル(A)を生成した。この学習モデル(A)の識別結果(正解率)は、95.33%であった。
【0039】
(実験例2)
水での嚥下状態とゼリーでの嚥下状態を識別することを目的に実験を行った。
20代の成人男性2名で水嚥下とゼリー嚥下をそれぞれ40回行い、その際の嚥下音と筋電データを計測した。
計測データを1秒間の嚥下音と筋電信号とし、筋電信号のサンプリング周波数を16kHzとした。
嚥下音をMFCC処理した音と、筋電信号を特徴量抽出処理した筋電のスぺクトグラムを訓練データ(教師データおよびモデル評価データ)に使用した。
学習モデルとして二次元の畳み込みニューラルネット(1層)を用いて上記訓練データで訓練させ、摂食嚥下評価学習モデル(B)を生成した。この学習モデル(B)の識別結果(正解率)は、92.7%であった。
【0040】
(実験例3)
無動作時(silent)、発話時(speech)、嚥下時(swallow)の音測定データを用いて、DNN(ディープニューラルネットワーク)を訓練し、摂食嚥下評価学習モデル(A)を生成した。学習データは、20歳台の成人男性8名より計嚥下969回、発話930回、安静1035回を計測した。嚥下の内訳はゼリー5g(計191)、ゼリー2g(計197)、水5g(計198)、水5g(計197)、肉じゃが2g(計186)、発話は「はい,いいえ,つける,けす,うえ,した,みぎ,ひだり,すすむ,とまる」とした。これらのデータのうち、約70%を用いてDNNを訓練し、約15%を用いて実際の識別を実行させた。その結果、95.46%の精度で無動作、発話、嚥下が識別できた。
特徴量抽出と学習モデルの構成は、実施例2と同様とした。
【0041】
(別実施形態)
(1)教師データ数は、特に上記実施例に限定されず、教師データを増やすことで、汎化性を高めることが可能である。
(2)摂食嚥下評価部は、摂食嚥下評価学習モデルの替わりに、摂食嚥下評価学習モデルを専用電子回路で構成した分類器を用いて、評価をしてもよい。
(3)ディープニューラネットワークは、多階層型ニューラルネットワークであってもよい。
【符号の説明】
【0042】
1 摂食嚥下モニター装置
10 測定用アーム
11 マイクロフォン
12 筋電用電極
13 第一検出データ記憶部
14 アーム送信部
20 携帯端末
21 端末受信部
211 端末送信部
22 第二検出データ記憶部
23 記憶部
231 摂食嚥下評価学習モデル
24 表示装置
25 特徴量抽出部
26 摂食嚥下評価部
27 結果情報出力部
30 サーバ
31 サーバ受信部
311 サーバ送信部
33 記憶部
331 摂食嚥下評価学習モデル
35 特徴量抽出部
36 摂食嚥下評価学習モデル
図1A
図1B
図2
図3
図4
図5
図6A
図6B