特許 7452855 時系列データ予測を用いた嚥下運動予測方法及びそのシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-11

(45)【発行日】2024-03-19

(54)【発明の名称】時系列データ予測を用いた嚥下運動予測方法及びそのシステム

(51)【国際特許分類】

   A61B 5/11 20060101AFI20240312BHJP

   A61B 5/389 20210101ALI20240312BHJP

【ＦＩ】

A61B5/11 310

A61B5/389

【請求項の数】 5

(21)【出願番号】P 2020131221

(22)【出願日】2020-07-31

(65)【公開番号】P2022027304

(43)【公開日】2022-02-10

【審査請求日】2023-03-06

【早期審査対象出願】

(73)【特許権者】

【識別番号】504165591

【氏名又は名称】国立大学法人岩手大学

(74)【代理人】

【識別番号】100161355

【弁理士】

【氏名又は名称】野崎 俊剛

(72)【発明者】

【氏名】佐々木 誠

(72)【発明者】

【氏名】劉 宇曦

【審査官】▲高▼ 芳徳

(56)【参考文献】

【文献】特開２０１９－２０８６２９（ＪＰ，Ａ）

【文献】特開２０１２－２３２０６５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ５／０６ － ５／２２

Ａ６１Ｂ ５／２４ － ５／３９８

(57)【特許請求の範囲】

【請求項1】

被験者が摂食した食塊の動き及び嚥下諸器官の動きを撮影する嚥下撮影工程と、
前記嚥下撮影工程の画像から前記嚥下諸器官及び前記食塊の位置を取得して座標として数値化し、前記嚥下諸器官及び前記食塊の運動の教師信号を作成する前処理工程と、
前記嚥下撮影工程に同期させ、前記被験者の所定の皮膚表面に配置したセンサ部で摂食嚥下時における生体信号を検出する生体信号検出工程と、
解析部で前記生体信号から特徴量を抽出する特徴量抽出工程と、
時系列データの予測手法を用いて前記教師信号及び前記特徴量に基づいて前記嚥下諸器官及び前記食塊の運動を学習し、前記特徴量から少なくとも前記嚥下諸器官と前記食塊の一方の運動を予測しうるモデルを生成する学習工程と、
前記学習工程で生成した予測モデルを用いて、前記特徴量から少なくとも前記嚥下諸器官と前記食塊の一方の運動を予測する予測工程と、
を備えていることを特徴とする時系列データ予測を用いた嚥下運動予測方法。

【請求項2】

請求項１の時系列データ予測を用いた嚥下運動予測方法であって、
前記生体信号検出工程では、舌骨上筋群部分に配置した舌骨上筋群用筋電センサで舌骨上筋群生体信号を検出し、舌骨下筋群部分に配置した舌骨下筋群用筋電センサで舌骨下筋群生体信号を検出し、喉頭部分に配置した喉頭挙動センサで喉頭挙動信号を検出し、
前記特徴量抽出工程では、前記生体信号としての、前記舌骨上筋群生体信号、前記舌骨下筋群生体信号及び前記喉頭挙動信号から特徴量を抽出していることを特徴とする時系列データ予測を用いた嚥下運動予測方法。

【請求項3】

請求項１又は請求項２記載の時系列データ予測を用いた嚥下運動予測方法であって、
前記学習工程では、学習データとして前記嚥下諸器官及び前記食塊の座標データを用い、前記学習データを、１つの元データを所定の周期で同一の座標データが含まれないようにシフトして複数に増幅させていることを特徴とする時系列データ予測を用いた嚥下運動予測方法。

【請求項4】

請求項１～請求項３のいずれか１項記載の時系列データ予測を用いた嚥下運動予測方法であって、
前処理工程では、前記嚥下諸器官及び前記食塊の座標データを求めるための座標系とその原点を定め、前記被験者の第５頸椎前縁下端を原点とし、前記被験者の第３頸椎前縁上端を一つの軸上の点とした座標系を設定することで、前記被験者の矢状面または前額面における嚥下諸器官及び食塊の各位置を前記座標系の座標で取得することを特徴とする時系列データ予測を用いた嚥下運動予測方法。

【請求項5】

被験者が摂食した食塊の動き及び嚥下諸器官の動きを撮影した画像から前記嚥下諸器官及び前記食塊の位置を取得して座標として数値化し、前記嚥下諸器官及び前記食塊の運動の教師信号を作成する前処理部と、
前記被験者の所定の皮膚表面に配置され、前記画像の撮影に同期させて、摂食嚥下時における生体信号を検出するセンサ部と、
前記生体信号から特徴量を抽出するとともに、時系列データの予測手法を用いて前記教師信号及び前記特徴量に基づいて少なくとも前記嚥下諸器官と前記食塊の一方の運動を学習し、前記特徴量から少なくとも前記嚥下諸器官と前記食塊の一方の運動を予測しうるモデルを生成し、この生成した予測モデルを用いて、前記特徴量から少なくとも前記嚥下諸器官と前記食塊の一方の運動を予測する解析部と、を備えていることを特徴とする時系列データ予測を用いた嚥下運動予測システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、摂食嚥下時における前頸部及びその周辺の摂食嚥下動作に関わる生体信号を検出し、検出した生体信号から特徴量を抽出し、口腔、咽頭・喉頭、食道などの嚥下諸器官の運動、ならびに嚥下物（食塊）の運動を予測して摂食嚥下機能を評価・訓練する摂食嚥下機能評価・訓練方法及び摂食嚥下機能評価・訓練システムに関する。

【背景技術】

【0002】

脳血管障害や神経筋疾患、加齢による筋力低下などが原因で、嚥下機能が低下すれば、図４に示すように食塊の咽頭残留や喉頭侵入、誤嚥、窒息のリスクが高まる。これには、舌骨・喉頭位の下垂、それに伴う舌骨や喉頭の挙上量や前方移動量の減少、喉頭挙上速度の低下による喉頭挙上の遅れ、嚥下反射惹起の遅延、喉頭閉鎖のタイミングのズレなど、嚥下諸器官の運動機能や感覚機能の低下が起因している。そのため、医療機関では嚥下機能を評価するために、舌、舌骨、喉頭、喉頭蓋、食道入口部などの嚥下に関連する様々な嚥下諸器官の運動ならびに食塊の運動の評価が行われている。

【0003】

例えば、嚥下機能の精密検査方法のゴールドスタンダードは、嚥下造影検査（Videofluoroscopic examination of swallowing：VF）である。VFは、図５(a)～(f)に示すように、X線透視下で造影剤入りの食塊を嚥下させ、準備・口腔、咽頭、食道期の嚥下諸器官の運動、ならびに食塊の動きを評価するものである。準備・口腔期では、咀嚼による食塊形成過程・機能や舌運動による咽頭への送り込み、口腔内残留などを評価することができる。咽頭期では、食塊の送り込みに伴う嚥下反射の惹起、ならびに、舌骨や喉頭の挙上、鼻咽腔閉鎖、喉頭蓋の反転に伴う喉頭閉鎖、食道入口部の開大、食塊の咽頭残留や喉頭侵入、誤嚥などを、舌骨、喉頭蓋、食道入口部などの嚥下諸器官の運動と食塊の運動を観察しながら詳細に評価することができる。一方で、このVFには放射線被曝や造影剤の誤嚥などのリスクがあるため、検査回数・時間・頻度、検査場所、検査条件などなどが制限される問題がある。

【0004】

最近では、ベッドサイドや在宅で嚥下諸器官や食塊の運動を観察する方法として、嚥下内視鏡検査（Videoendoscopic evaluation of swallowing.：VE）も広く用いられている。VEは、被曝のリスクを伴うことなく、食塊の状態や咽頭残留を評価できる利点があるが、鼻腔から内視鏡を挿入するため、粘膜損傷や痛みを伴うリスクがあり、必ずしも自然な嚥下を観察しているとはいえない側面もある。加えて、咽頭期における嚥下の瞬間や準備・口腔、食道期の運動は観察できない問題がある。

【0005】

嚥下諸器官や食塊の運動を数値として定量的に評価する際には、画像処理が用いられ、舌骨はその中でもよく着目される重要な嚥下諸器官の一つである。舌骨は人体の中で唯一、隣り合う骨、もしくは軟骨と関節の形態を呈さない、宙に浮いた状態にある極めて特異な骨である。図１に示すように、舌骨は舌と喉頭の中間に位置し、嚥下運動に関与する多くの筋が付着している。例えば、顎二腹筋、茎突舌骨筋、顎舌骨筋、オトガイ舌骨筋、胸骨舌骨筋、甲状舌骨筋、肩甲舌骨筋、咽頭舌骨筋、中咽頭収縮筋などがある。これらの筋群が協調的に活動することによって咀嚼、嚥下、発声などの巧妙な動作がなされている。

【0006】

図２に示すように、舌骨は嚥下時におおむね三角形に類似した運動軌跡を描くことが知られている。第一に比較的ゆっくりと挙上運動を始めるが、この際、わずかに後退運動を伴うことが多い（１：挙上後退運動）。第二に舌骨は大きく挙上すると同時に急激に前進する（２：挙上前進運動）。そして最大挙上位置及び最大前進位置に停滞した後に第三の運動、すなわち元の位置へと復元するために後退及び下降運動を行う（３：下降後退運動）。これらの動作に大きく関わってくるのが舌骨上筋群と舌骨下筋群である。図３に示すように、この一連の運動の際に、咽頭筋や舌筋とともに舌骨上筋群が収縮して舌骨が上前方に移動する。そして舌骨に追従する形で舌骨下筋群の収縮により喉頭が挙上し、合わせて輪状咽頭筋の弛緩と収縮が連続的に生じて食塊は食道入口部を通過する。また、舌骨の挙上のタイミングや挙上時間は、食塊が喉頭に侵入するのを防ぐ喉頭閉鎖のタイミングや閉鎖時間と密接に関わっている。

【0007】

舌骨上筋群と舌骨下筋群の筋活動に着目した摂食嚥下機能を評価する技術として、特許文献１に開示される摂食嚥下機能評価技術が知られている。特許文献１の摂食嚥下機能評価技術は、摂食嚥下開始から摂食嚥下終了までの生体信号を検出し、検出した生体信号から特徴量を抽出し、機械学習を用いて特徴量から摂食嚥下動作を識別して摂食嚥下機能を評価する摂食嚥下機能評価法である。生体信号として、舌骨上筋群の筋活動による舌骨上筋群生体信号と、舌骨下筋群の筋活動による舌骨下筋群生体信号とを用い、舌骨上筋群生体信号と舌骨下筋群生体信号とから特徴量を抽出する。しかし、特許文献１は、随意嚥下の強さや一回嚥下量の違い、食物や食塊の物性値（硬さ、粘度、温度、液体、個体など）の違いなど、嚥下状態の違いや誤嚥の有無・種類（顕性誤嚥、不顕性誤嚥、嚥下前誤嚥、嚥下中誤嚥、嚥下後誤嚥など）・リスク（喉頭流入など）を判別できる嚥下機能評価法及び嚥下機能評価装置であり、VFやVEで観測可能な嚥下諸器官及び食塊の運動を時系列データとして直接予測しうるものではない。これらを予測できれば、ベッドサイドや在宅で利用可能な、非侵襲かつ簡便な摂食嚥下機能評価ならびに摂食嚥下訓練を実現できる。

【先行技術文献】

【特許文献】

【0008】

【文献】特開２０１９－２０８６２９号公報

【発明の概要】

【発明が解決しようとする課題】

【0009】

本発明は、以上の点に鑑み、非侵襲的でリスクの少ない、ベッドサイドや在宅医療でも簡便に嚥下諸器官及び食塊の運動を予測することができる摂食嚥下機能評価・訓練技術を提供することを課題とする。

【課題を解決するための手段】

【0010】

［１］ 被験者が摂食した食塊の動き及び嚥下諸器官の動きを撮影する嚥下撮影工程と、
前記嚥下撮影工程の画像から前記嚥下諸器官及び前記食塊の位置を取得して座標として数値化し、前記嚥下諸器官及び前記食塊の運動の教師信号を作成する前処理工程と、
前記嚥下撮影工程に同期させ、前記被験者の所定の皮膚表面に配置したセンサ部で摂食嚥下時における生体信号を検出する生体信号検出工程と、
解析部で前記生体信号から特徴量を抽出する特徴量抽出工程と、
RNN (Recurrent Neural Network)及び前記RNNから派生したLSTM (Long Short-Term Memory)、GRU (Gated Recurrent Unit)、LSTNet（Long- and Short-term Time-series Network）や、AR（Autoregressive）モデル及び前記ARモデルから派生したARMA（Autoregressive Moving Average）、ARIMA（Autoregressive Integrated Moving Average）、SARIMA（Seasonal AutoRegressive Integrated Moving Average）モデルを含む時系列データの予測手法を用いて前記教師信号及び前記特徴量に基づいて前記嚥下諸器官及び前記食塊の運動を学習して、前記特徴量から少なくとも前記嚥下諸器官と前記食塊の一方の運動を予測しうるモデルを生成する学習工程と、
前記学習工程で生成した予測モデルを用いて、前記特徴量から少なくとも前記嚥下諸器官と前記食塊の一方の運動を予測する予測工程と、
を備えていることを特徴とする。

【0011】

かかる構成によれば、嚥下撮影工程、前処理工程、嚥下撮影工程と同期させた生体信号検出工程、特徴量抽出工程、学習工程、予測工程及び評価・訓練工程を備えている。嚥下撮影工程において、造影剤を混ぜた、あるいは表面にコーティングした嚥下物が球状であれば、画像処理による食塊の運動の数値化が容易になる。撮影は、嚥下工程の連続的な変化が確認できれば動画または静止画などでも良く、画像の種類は問わない。さらに、学習工程、予測工程において、例えば、時系列データの予測手法としてLSTMを用いる場合は、長期の時間依存性及び短期の時間依存性を学習する回帰型ニューラルネットワークアーキテクチャである長・短期記憶を用いて教師信号及び特徴量に基づいて舌骨をはじめとする嚥下諸器官及び食塊の運動を学習する。LSTMは、深層学習の分野において用いられる回帰型ニューラルネットワークアーキテクチャであり、従来のRNNで訓練する際に、長期の時間依存性では学習できない問題を解決し、長期の時間依存性も短期の時間依存性も学習できる。学習過程で新たな入力、出力が来た時に、新たなパターンに適合するようにし、RNNで発生していた入力重み衝突、出力重み衝突の問題に対処可能とした。このため、被験者は、最初に少なくとも一回の嚥下造形検査（VF検査）又は嚥下内視鏡検査（VE検査）などの検査と同時にセンサ部で生体信号を取ることで、その被験者の嚥下時の少なくとも嚥下諸器官と食塊の一方の運動に関する特徴を学習し、２回目以降からはVF検査などなしで、前記学習工程の後に新たに検出された生体信号の特徴量のみから少なくとも嚥下諸器官と食塊の一方の運動を予測することができる。結果、VF検査時に要するX線透視装置が不要になり、非侵襲的でリスクの少ない、ベッドサイドや在宅医療でも簡便に嚥下諸器官及び食塊の運動を予測する摂食嚥下機能評価・訓練を行うことができる。また、同じ量、同じ物性値を同じように飲み込んだときの嚥下であれば、学習データは１回で適切なデータとなるが、より好適な学習データとするには、量や物性値を変えたときの嚥下について、その条件における嚥下データを学習に加えて学習データとしてもよい。

【0012】

［２］好ましくは、前記生体信号検出工程では、舌骨上筋群部分に配置した舌骨上筋群用筋電センサで舌骨上筋群生体信号を検出し、舌骨下筋群部分に配置した舌骨下筋群用筋電センサで舌骨下筋群生体信号を検出し、喉頭部分に配置した喉頭挙動センサで喉頭挙動信号を検出し、
前記特徴量抽出工程では、前記生体信号としての、前記舌骨上筋群生体信号、前記舌骨下筋群生体信号及び前記喉頭挙動信号から特徴量を抽出している。

【0013】

かかる構成によれば、生体信号検出工程では、舌骨上筋群生体信号、舌骨下筋群生体信号、及び喉頭挙動信号を検出するので、より精度の高い少なくとも嚥下諸器官と食塊の一方の運動の予測ができる。

【0014】

［３］好ましくは、前記学習工程では、学習データとして前記嚥下諸器官及び前記食塊の座標データを用い、前記学習データを、１つの元データを所定の周期で同一の座標データが含まれないようにシフトして複数に増幅させている。

【0015】

かかる構成によれば、学習工程では、１つの元データを所定の周期で同一の座標データが含まれないようにシフトして複数に増幅させているので、最初の１回の学習で予測値と実測値の誤差を軽減させ、より精度の高い少なくとも嚥下諸器官と食塊の一方の運動の予測ができる。

【0016】

［４］好ましくは、前処理工程では、前記嚥下諸器官及び前記食塊の座標データを求めるための座標系とその原点を定め、前記被験者の第５頸椎前縁下端を原点とし、前記被験者の第３頸椎前縁上端を一つの軸上の点とした座標系を設定することで、前記被験者の矢状面または前額面における嚥下諸器官及び食塊の各位置を前記座標系の座標で取得する。

【0017】

かかる構成によれば、前処理工程では、被験者の矢状面もしくは前額面における座標系を設定し、嚥下諸器官及び食塊の各位置のXY座標系の座標を取得しているので、被験者の前後・上下など各方向の少なくとも嚥下諸器官と食塊の一方の運動の予測を分かり易くすることができる。

【0018】

［５］好ましくは、被験者が摂食した食塊の動き及び嚥下諸器官の動きを撮影した画像から前記嚥下諸器官及び前記食塊の位置を取得して座標として数値化し、前記嚥下諸器官及び前記食塊の運動の教師信号を作成する前処理部と、
前記被験者の所定の皮膚表面に配置され、前記画像の撮影に同期させて、摂食嚥下時における生体信号を検出するセンサ部と、
前記生体信号から特徴量を抽出するとともに、RNN (Recurrent Neural Network)及び前記RNNから派生したLSTM (Long Short-Term Memory)、GRU (Gated Recurrent Unit)、LSTNet（Long- and Short-term Time-series Network）や、AR（Autoregressive）モデル及び前記ARモデルから派生したARMA（Autoregressive Moving Average）、ARIMA（Autoregressive Integrated Moving Average）、SARIMA（Seasonal AutoRegressive Integrated Moving Average）モデルを含む時系列データの予測手法を用いて前記教師信号及び前記特徴量に基づいて少なくとも嚥下諸器官と食塊の一方の運動を学習し、前記特徴量から少なくとも前記嚥下諸器官と前記食塊の一方の運動を予測しうるモデルを生成し、この生成した予測モデルを用いて、前記特徴量から少なくとも前記嚥下諸器官と前記食塊の一方の運動を予測する解析部と、を備えている。

【0019】

かかる構成によれば、非侵襲的でリスクの少ない、ベッドサイドや在宅医療でも簡便に少なくとも嚥下諸器官と食塊の一方の運動を予測する摂食嚥下機能評価・訓練を行うことができる時系列データ予測を用いた嚥下機能評価・訓練システムを提供することができる。

【発明の効果】

【0020】

非侵襲的でリスクの少ない、ベッドサイドや在宅医療でも簡便に少なくとも嚥下諸器官と食塊の一方の運動を予測する摂食嚥下機能評価・訓練を行うことができる。

【図面の簡単な説明】

【0021】

【図1】舌骨上筋群と舌骨下筋群を示す説明図である。

【図2】舌骨の運動を示す説明図である。

【図3】随意運動及び嚥下反射からなる嚥下の仕組みを示す説明図である。

【図4】誤嚥リスクを示す説明図である。

【図5】VFで得られる情報を示す説明図である。

【図6】本発明に係る時系列データ予測を用いた嚥下機能評価・訓練方法システムの構成図である。

【図7】センサ部を示す説明図である。

【図8】喉頭挙動センサ及び電極用治具を示す説明図である。

【図9】伸縮率に対応した出力電圧を示す説明図である。

【図10】回路構成を示す説明図である。

【図11】Σ-ΔAD変換の概略図及び各AD変換モジュールの並列化と同期化を示す説明図である。

【図12】データ処理・転送回路を示す説明図である。

【図13】絶縁構成を示す説明図である。

【図14】同期用マイク及びポータブルマルチミキサーを示す説明図である。

【図15】時系列データ予測を用いた嚥下機能評価・訓練方法を示すフロー図である。

【図16】フレームシフトの様子を示す説明図である。

【図17】X線画像での対象物の設定を示す説明図である。

【図18】舌骨の開始点の距離（X軸及びY軸）を示す説明図である。

【図19】VF画像上でのA～Fの時刻における舌骨位置（白丸）を示す説明図である。

【図20】動画による動作区間決定を示す説明図である。

【図21】生体信号による動作区間決定を示す説明図である。

【図22】RNNの基本図である。

【図23】LSTMブロックの内部構成の簡略図である。

【図24】LSTMブロックの内部構成を示す説明図である。

【図25】忘却ゲート層、入力ゲート層、セルの更新、出力ゲート層を示す説明図である。

【図26】X線透視装置及び時系列データ予測を用いた嚥下機能評価・訓練システムを示す説明図である。

【図27】電極の配置を示す説明図である。

【図28】センサ部及び被験者にセンサ部を装着して透過した状態を示す説明図である。

【図29】舌骨運動の数値化を示す説明図である。

【図30】学習条件を示す説明図である。

【図31】学習データ及びテストデータの作成を示す説明図である。

【図32】データの増幅を示す説明図である。

【図33】データ増幅とRMSEの関係を示す説明図である。

【図34】学習の例（図３１の条件６に相当する）を示す説明図である。

【図35】嚥下１回目のsEMG信号及び喉頭運動の一例を示す説明図である。

【図36】各筋群のsEMG信号、RMS、CCと喉頭運動及び舌骨の動きの時系列データを示す説明図である。

【図37】一例として学習A－予測Cの結果を示す説明図である。

【図38】一例として学習A－予測Cでの舌骨の軌跡を示す説明図である。

【図39】X軸における実測値と予測値のRMSEと、Y軸における実測値と予測値のRMSEを示す説明図である。

【図40】X軸方向における実測値と予測値の相関係数と、Y軸方向における実測値と予測値の相関係数を示す説明図である。

【図41】一例として学習A－予測Cの結果を示す説明図である。

【図42】一例として学習A－予測Cでの食塊の先端の軌跡を示す説明図である。

【発明を実施するための形態】

【0022】

本発明の実施の形態として、舌骨の運動予測を例に、添付図に基づいて以下に説明する。なお、図面は、摂食嚥下機能評価システムの概略構成を概念的（模式的）に示すものとする。

【実施例】

【0023】

まず本発明の実施例に係る摂食嚥下機能評価システム１０の全体構成を説明する。
図６～図８、図２６及び図２７に示すように、摂食嚥下機能評価システム１０は、摂食嚥下時の生体信号を検出するセンサ部２０と、検出した生体信号を増幅してPCに送信する多機能筋電位計測装置３０と、生体信号から舌骨をはじめとする少なくとも嚥下諸器官と食塊の一方の運動を予測し、嚥下機能の評価や訓練に用いるための解析部４０と、評価・訓練した結果を記録する記録部（不図示）と、評価・訓練した結果を表示する表示部４１と、これらに給電するバッテリ（不図示）とを備えている。

【0024】

また、摂食嚥下機能評価システム１０は、被験者６０が摂食した食塊の動き及び嚥下諸器官の動きを透視化して摂食嚥下造影動画を得るX線透視装置５０と、摂食嚥下造影動画から嚥下諸器官及び食塊の位置を取得して少なくとも嚥下諸器官と食塊の一方の運動を座標として数値化し、各運動の教師信号を作成する前処理部５１とを備えている。なお、X線透視装置５０は、被験者６０が、最初にVF検査と同時にセンサ部２０で生体信号を検知して学習データを得るときにのみ使用される。

【0025】

次にセンサ部２０について説明する。
センサ部２０は、舌骨上筋群部分に配置され舌骨上筋群の筋活動による舌骨上筋群生体信号を検出する舌骨上筋群用筋電センサ２１と、舌骨下筋群部分に配置され舌骨下筋群の筋活動による舌骨下筋群生体信号を検出する舌骨下筋群用筋電センサ２２と、喉頭部分に配置され喉頭の挙上による喉頭挙動信号を検出する喉頭挙動センサ２５とを備えている。センサ部２０は、被験６０者の所定の皮膚表面に配置され、摂食嚥下造影動画の取得に同期させて、摂食嚥下時における生体信号を検出するものである。

【0026】

舌骨上筋群用筋電センサ２１は、多チャンネルの電極２１aが整列したアレイ状電極が用いられている。舌骨下筋群用筋電センサ２２は、多チャンネルの電極２２aが整列したアレイ状電極が用いられている。

【0027】

多チャンネルの電極２１a、２２aは多機能筋電位計測装置３０に接続して使用する。舌骨上筋群用筋電センサ２１は後頭部に干渉しないように、かつ下顎底部奥に存在する茎突舌骨筋部分も計測できるような形状である。舌骨下筋群用筋電センサ２２は喉頭隆起の動きに干渉せず計測できるような形状である。

【0028】

基板自体の厚さは０．３mmであり、基板保護のために全体をシリコンで覆い、シリコン上に埋め込んだ銀電極を介して筋肉の表面筋電位信号（surface Electromyography、以下sEMG信号という）を抽出する。

【0029】

銀電極は直径２mm、高さ２．５mmであり、舌骨上筋群用の電極２１aは縦８mm、横１１．５mm間隔で埋め込み、下顎底部全体を覆うように２２個配置した。舌骨下筋群用の電極２２aは縦８mm、横８mm間隔で埋め込み、頸部前面を覆うように２２個配置した．また、GND電極２３aとバイポーラ電極の基準電極２３bを左右の耳朶に、RLD電極２４を第7頸椎棘突起にそれぞれ配置した．計測の際は接触抵抗を抑えるために電極部分にペースト（Elefix、日本光電）を塗布した多チャンネルの電極２１a、２２aを被験者にとりつける。得られた信号は多機能筋電位計測装置３０に送られる。本発明において、周波数帯域は２０～４０００Hz、ゲインは１２５倍である。

【0030】

また、本発明では舌骨が挙上する際、それに追従するかたちで喉頭も挙上するため、喉頭隆起の位置変化を記録するために、図８の（a）に示す喉頭挙動センサ（伸縮性ひずみセンサ）２５を用いた。本発明で用いたのは喉頭挙動センサC-STRETCH（登録商標）（F51FS01、バンドー化学株式会社）である。本センサは、エラストマーフィルムと保護膜で構成されている誘電容量式のひずみセンサで、電源電圧を入力することで、センサの伸びに応じたアナログ電圧を出力する。センサ伸縮部は長さ５０mm、幅５mmである。センサ伸縮部の伸縮レンジは０～１００％であり、伸縮の変位に対応する出力電圧は図９に示す値になる。

【0031】

また、２２chフレキシブル電極２１a及び２２chフレキシブル電極２２aの装着の際は、テーピングを施したのちに、図８の（b）に示す舌骨上筋群用筋電センサ用治具２７（帽子とバンド）と、図８の（c）に示す舌骨下筋群用筋電センサ用治具２８（バンド）で固定した。

【0032】

次に多機能筋電位計測装置３０について説明する。
多機能筋電位計測装置３０は、複数の異なるセンサを同時に利用することを前提に設計された、生体活動をモニタリングするための計測装置である。最大６４チャンネルのセンサを同時にサンプリングすることが可能である。USB２．０（High Speed）インターフェースを介して、計測データを取り込むためのPCと接続される。任意のアプリケーションソフトウェアから装置を制御することも可能である。DC１２（V）のACアダプタまたは外部バッテリ入力電源により作動する。多機能筋電位計測装置の回路構成は、以下に示すように、シグナルコンディショニング部、AD変換部、データ転送部、絶縁部の４つに分けられる。

【0033】

図１０に示すように、シグナルコンディショニング部は、最大で２個の多チャンネル電極と、４個の汎用筋電位センサ、１６個の任意のアナログセンサが入力可能である。まず、差動増幅回路にて、耳朶に張り付けられた基準電極から得られる信号と、多チャンネル電極の各電極から得られる信号間の同相ノイズを除去して、信号成分の差のみを増幅する。単極誘導計測とも呼ばれる。

【0034】

また、得られた差動信号からDCサーボ回路にて１（Hz）以下の低周波帯域信号を検出して除去する。次に、信号増幅回路PGA（Programmable Gain Amplifier）にて、１２５か１０００倍のいずれかに信号を増幅する。３極のアンチエイリアシングフィルタ回路にて不要な高周波雑音を除去する。これにはAD変換時の帯域折り返しを防止する効果もある。最後にAD変換を駆動するための高速アンプに入力し、出力信号を得る。

【0035】

その他、低周波信号を追加で除去するために、デジタルフィルタによる１次ローカットフィルタ処理を施すことも可能である。遮断周波数は、disable、０．０１、０．１、１．０、１０．０、２０．０（Hz）のいずれかである。

【0036】

汎用筋電位センサの信号処理回路は、多チャンネル電極のそれと殆ど同じ構成であるが、体表面に張り付けられた任意の電極２点から得られる信号を差動増幅する点が異なる。双極誘導計測とも呼ばれる。

【0037】

汎用アナログセンサの信号処理回路は、様々なセンサを任意に接続できるように、最大で±１５（V）のアナログ信号を入力できる仕様になっている。振幅の大きな信号を入力する場合、多機能筋電位計測装置の計測範囲（±２．５（V））に調整するためにPGAによりゲイン調整を行う。PGAの値は、disable、１／４、１／２、１倍のいずれかである。出力信号は、AD変換を駆動するための高速アンプから得られる。

【0038】

図１１に示すように、多機能筋電位計測装置３０が内蔵するAD変換機能は、Σ-Δ変換方式で、１６（bit）の分解能、最大１０（kHz）で全チャンネルの同時サンプリングが可能である。Σ-Δ AD変換の概略図を示す。アナログ信号Vinに対して、サンプリング周波数fs（Hz）×nのオーバーサンプリングとΣ-Δ変調を施すことにより、帯域外の高周波帯域に不要なノイズの周波数スペクトルを移行させ、これをデジタルフィルタにより除去する。最後にfs（Hz）にダウンレートすることで、デジタライズされた出力信号を得る。広く用いられる逐次比較AD変換と比べてSN比を高くとることができ、またアンチエイリアシングフィルタを単純化することができる。

【0039】

多機能筋電位計測装置３０のデジタルフィルタは、振幅が平坦で、線形位相の特性を持つ（有効帯域は、サンプリング周波数の１／２）。サンプリング周波数は、１k、１．２５k、２k、２．５k、４k、５k、８k、１０k（Hz）から選択する。

【0040】

また、各チャンネルに対応した（６４個の）Σ-Δ AD変換モジュールは、等長配線された同一のクロック源により駆動されるため、各々が同期してAD変換動作を行う。

【0041】

図１２に示すように、データ転送部では、AD変換によりデジタライズされた計測データはUSB２．０（High Speed）インターフェースを介してPCに取り込まれる。これらの処理はDSP（Digital Signal Processor）に書き込まれたファームウェアによって実現される。サンプリング周波数毎に、各AD変換モジュールから転送される計測データは、DMA（Direct Memory Access）によって、DSP内のメモリに転送される。DSPは、デジタルフィルタなどの追加の信号処理を行い、SDRAMで構成されるFIFO（First In First Out）メモリに計測データを保存する。USB送信バッファが空になると、FIFOメモリから対象の計測データを順次読み込み、PC（USBホスト）に送信する。このようにFIFOメモリを、データ処理とUSB転送処理の間に入れることで、抜けを起こさずに全ての計測データを、PCに転送できるようにした。

【0042】

図１３に示すように、絶縁部において、多機能筋電位計測装置３０は、生体活動をモニタリングするための計測装置であるため、安全性についても考慮する必要がある。電極と生体が接触するアナログ部(既述のシグナルコンディショニング部とAD変換部)と、電源やPCへの接続を可能にするデジタル部(既述のデータ転送部)は、電気的に絶縁する仕様とした。アナログ部の駆動電力は、１２（V）入力から絶縁電源回路により生成される。デジタル部とアナログ部のデータ通信は、デジタルアイソレータを介して行われる。

【0043】

次にX線透視装置５０について説明する。
図２６に示すように、本発明で用いたVF検査装置はX線透視装置５０（SHIMADZU Corp 、Safire II ZS-100）であり、検査時の電圧の出力状態は７９kVp、電流は２５０mAである。

【0044】

次に同期用マイク５２及びポータブルマルチミキサー５３について説明する。
図１４に示すように、同期用マイクは、検査の際、X線透視装置５０によって得られた動画と多機能筋電位計測装置３０によって得られたsEMG信号を同期させるのを目的に同期用マイク５２を使用した。図１４の（a）に示す同期用マイク５２の本体にはステレオマイクロホン（AT9941、audio-technica（登録商標））を使用し、図１４の（b）に示すポータブルマルチミキサー５３（AT-PMX5P、audio-technica（登録商標））を同期用マイク５２の本体、X線透視装置５０、多機能筋電位計測装置３０に接続することで同期を図った。

【0045】

次に解析部４０について説明する。
解析部４０（図６及び図２６参照）は、生体信号から特徴量を抽出するとともに、ここでは長期の時間依存性及び短期の時間依存性を学習する回帰型ニューラルネットワークアーキテクチャである長・短期記憶（LSTM）を用いて教師信号及び特徴量に基づいて舌骨をはじめとする嚥下諸器官や食塊の運動を学習して予測するものである（詳細は後述する）。

【0046】

次に本発明の実施例に係る摂食嚥下機能評価方法について説明する。
図１５に示すように、摂食嚥下機能評価方法は、嚥下撮影工程（VF動画工程）と、前処理工程と、生体信号検出工程（信号計測工程）と、特徴量抽出工程と、学習工程及び予測工程（学習・予測工程）と、予測結果の評価工程（動作予測工程）とを備えている。

【0047】

嚥下撮影工程（VF動画工程）では、被験者が摂食した食塊の動き及び嚥下関連器官の動きをX線透視下で観察可能な嚥下造影検査により摂食嚥下造影動画を得る。前処理工程では、摂食嚥下造影動画から舌骨をはじめとする嚥下諸器官や食塊の運動の位置を取得して各運動を座標として数値化し、嚥下諸器官や食塊の運動の教師信号を作成する。

【0048】

生体信号検出工程（信号計測工程）では、造影動画工程に同期させ、被験者の所定の皮膚表面に配置したセンサ部で摂食嚥下時の生体信号を検出する。特徴量抽出工程では、解析部で生体信号から特徴量を抽出する。

【0049】

学習工程では、長期の時間依存性及び短期の時間依存性を学習する回帰型ニューラルネットワークアーキテクチャであるLSTM（長・短期記憶）を用いて教師信号及び特徴量に基づいて舌骨をはじめとする嚥下諸器官や食塊の運動を学習して特徴量から嚥下諸器官及び食塊の運動を予測しうるモデル（予測モデル）を生成する。予測工程では、学習工程で生成した被験者の運動予測モデルにより、学習工程の後に新たに検出された、あるいは、学習工程で使用していない被験者の生体信号について特徴量から、舌骨をはじめとする嚥下諸器官や食塊の運動を予測する。また、予測工程の結果を用いて摂食嚥下機能評価・訓練する評価・訓練工程を備える。

【0050】

さらに、生体信号検出工程では、舌骨上筋群部分に配置した舌骨上筋群用筋電センサで舌骨上筋群生体信号を検出し、舌骨下筋群部分に配置した舌骨下筋群用筋電センサで舌骨下筋群生体信号を検出し、喉頭部分に配置した喉頭挙動センサで喉頭挙動信号を検出し、特徴量抽出工程では、生体信号としての、舌骨上筋群生体信号、舌骨下筋群生体信号及び喉頭挙動信号から特徴量を抽出している。

【0051】

さらに、学習工程では、学習データとして舌骨をはじめとする嚥下諸器官や食塊の運動の座標データを用い、学習データを、１つの元データを所定の周期で同一の座標データが含まれないようにシフトして複数に増幅させている（図３２参照）。また、データを増幅する際、１つの元データを所定の周期で同一の座標データが含まれないようにシフトした各点（例えば、図３２のデータ１、データ２、データ３）において、各点を含む平均値（移動平均）を用いてもよい。

【0052】

さらに、前処理工程では、被験者の側面視で、被験者の第５頸椎前縁下端を原点とし、被験者の第３頸椎前縁上端をY軸上の点としたXY座標系を設定し、被験者の舌骨の下端を前記舌骨の位置として前記XY座標系の座標を取得している。

【0053】

次に摂食嚥下機能評価方法における時系列データによる舌骨の運動予測アルゴリズムについて説明する。時系列データによる舌骨の運動の予測アルゴリズムの概略図は、図１５に示す通りである。

【0054】

次に信号計測の特徴部抽出部について説明する。
発明者らは、信号計測によって得られた舌骨上筋群２２ch、舌骨下筋群２２chにおいてバンドパスフィルタ（２５０－７００Hz）をかけることでノイズの除去を行った。その後、舌骨上筋群及び舌骨下筋群の各チャンネルにおいて動作に関連した特徴的な信号成分（特徴量）を抽出する。本研究は舌骨上筋群と舌骨下筋群の各チャンネルのそれぞれのsEMG信号に対して、長さ２５６サンプル分のフレームを、１６サンプルの周期でシフトさせながら特徴量を抽出し作成した。この特徴量には以下のものを用いた。

【0055】

RMS（Root Mean Square）は数式１で表され、EMG信号の振幅に関する特徴が得られる。

【0056】

【数1】

【0057】

CC（Cepstrum coefficient）は数式２で表される。周波数領域から抽出する特徴量であり、パワースペクトルの包絡形状と微細構造の分離を行える特徴がある。次数が低いと包絡形状の特徴が、次数が高いと微細構造の特徴が表れる。

【0058】

【数2】

【0059】

ここで、nは総サンプル数、sEMGはsEMG信号を表す。

【0060】

図１６に示すように、RMSの計算には過去nサンプルのEMGを用いる。この際、nサンプル分を一つのフレームとして切り出して計算し、切り出す範囲を一定周期でシフトさせていくフレームシフト方式を用いる。

【0061】

次にVF検査動画の前処理について説明する。
図１７に示すように、VF検査によって得られた動画は動画解析ソフトウェアのDIPP‐Motion V（株式会社ディテクト）を用いて３０fpsのサンプリング速度で取り込み、舌骨の運動の数値化を行った。座標系は、第３頸椎前縁上端をP１、第５頸椎前縁下端をP２、舌骨体の下端をP３とし、P１とP２を通過する直線をY軸とした。Y軸に垂直かつP２を通る直線をX軸と設定した。画面上のスケール設定においては多チャンネル電極の２２個ある純銀棒の１つの直径２mmを基準とした。

【0062】

図１８に示すように、舌骨体の下端の動きの解析においては安静状態の舌骨体の下端を座標の原点とし、嚥下時におけるX軸及びY軸の移動距離（mm）を算出し、その後移動平均を行い、平滑化を行った。

【0063】

図１９に示すように、画像結果から、Aを随意嚥下開始に伴う舌尖の運動開始、Bを舌骨挙上運動開始、Cを嚥下反射開始に伴う急速な舌骨挙上開始、Dを舌骨の最前上方位到達、Eを舌骨の急速下降開始、Fを嚥下終了後の舌骨安静位として決定し、AからFまでの区間を舌骨の運動を予測する区間とした。

【0064】

図２０に示すように、動作区間の決定については、教師信号となる舌骨の運動から、開始点を随意嚥下開始に伴う舌尖の運動開始A（図１９参照）とし、終了点を嚥下終了後の舌骨安静位Fとした。

【0065】

そして、図２１に示すように、舌骨の運動に対して、舌骨上筋群のsEMG信号、舌骨下筋群のsEMG信号、及び喉頭挙動センサ（伸縮ひずみセンサ）による喉頭運動を合わせて、動作区間を決定した。

【0066】

次に学習器について説明する。
ここではsEMG信号からの舌骨の運動予測に、時系列データ予測に適しているLSTMを用いた。LSTM（Long short-term memory、長・短期記憶）とは、深層学習の分野において用いられる回帰型ニューラルネットワーク（Recurrent Neural Network ：RNN）アーキテクチャであり、従来のRNNで訓練する際に、長期の時間依存性では学習できない問題を解決し、長期の時間依存性も短期の時間依存性も学習できる手法である。

【0067】

RNNは、ニューラルネットワークを拡張した深層学習の一つで、時系列データの分野で優れた性能をもつ手法である。現在では機械翻訳や音声認識の分野にてよく使用される。図２２に示すように、可変長データをニューラルネットワークで扱うために中間層で得られた値を再び中間層に入力するというネットワーク構造になっている。中間層h_tは、入力x_tを見て、値h_tを出力する。ループは、情報をネットワークの１ステップから次のステップに渡すことを可能にした。しかし、長期間の予測になればなるほど、予測する値に関連する情報が最初に位置していると、RNNの場合、関連づけて学習することが困難となる。

【0068】

図２３に示すように、RNNと異なる部分として、LSTMにはCEC（Constant Error Carousel、記憶セル、セルとも呼ばれる）、入力ゲート、出力ゲート、忘却ゲートがある。CECとは過去のデータを保存するためのユニットで記憶セル、セルとも呼ばれる。これを導入することにより、長周期の規則性を検出することが可能になる。入力ゲート及び出力ゲートでは、学習過程で新たな入力、出力が来た時に、新たなパターンに適合するようにし、RNNで発生していた入力重み衝突、出力重み衝突の問題に対処可能となった。忘却ゲートがないモデルの場合、大きな変化のある入力が来たとしても、相対的にその入力の影響は小さくなってしまい、今までと同様の結果しか出力されなくなってしまう。この問題に対処するために忘却ゲートを導入することで、入力のパターンが大きく変化した際、セルの状態を一気に更新することを可能にした。

【0069】

図２４に示すように、LSTMブロックの内部の詳細は図２４の（a）のようになる。図２５の（b）のようにそれぞれの線はベクトル全体を、１つのノードの出力から他のノードの入力に運ぶ。小さな円は、ベクトルの加算のような１点の操作を表し、矩形のボックスは、学習されるニューラルネットワークの層である。合流している線は連結を意味し、分岐している線は内容がコピーされ、そのコピーが別の場所に行くことを意味する。

【0070】

図２５は忘却ゲートを示しており、図２５の（a）に示すように、LSTMブロック内では、最初のステップで捨てる情報を判定する。この判定は「忘却ゲート層」と呼ばれるシグモイド層によって行われる。入力されたh_t－１とx_tを見て、セル状態C_t－１の中の各数値のために０と１の間の数値を出力します。１は「完全に維持する」を表し、０は「完全に取り除く」を表す。また、その時の式は数式３、ゲート活性化関数であるσの式は数式４に示す。

【0071】

【数3】

【0072】

【数4】

【0073】

ここで、Wは入力の重み、bはバイアスを表す。

【0074】

図２５の（b）は入力ゲートを示しており、次のステップは、セル状態で保存する新たな状態を判定する。これには２つの部分がある。まず、「入力ゲート層」と呼ばれるシグモイド層は、どの値を更新するか判定する。次に、tanh層は、セル状態に加えられる新たな候補地のベクトルC_tを作成する。そして次のステップで状態を更新するために、これら２つを組み合わせる。その時の式を数式５、数式６に表す．ここでtanhは双曲線正接関数を表す。

【0075】

【数5】

【0076】

【数6】

【0077】

図２５の（c）はセルの更新を示しており、古いセル状態C_t－１から新しいセル状態C_tに更新する。古いセル状態にf_tを掛け、先ほど忘れると判定されたものを忘れる。そして、i_t×ベクトルC_tを加える。これは、各状態値を更新すると決定した割合でスケーリングされた新たな候補値である。その時の式を数式７に表す．

【0078】

【数7】

【0079】

図２５の（d）は出力ゲートを示しており、最後に、出力するものを判定する必要がある。この出力はセル状態に基づいて行われる。まず、シグモイド層を実行する。この層は、セル状態のどの部分を出力するかを判定し、判定された部分のみを出力するため、セル状態に（値を－１と１の間に圧縮するために）tanhを適用し、それにシグモイド層での出力を掛け合わせる。その時の式を数式８、数式９に表す。

【0080】

【数8】

【0081】

【数9】

【0082】

次にsEMG信号による舌骨の運動予測について説明する。
検査条件として、被検者は、口腔機能に疑いがあり、岩手医科大学附属病院に来院され、VF検査の実施に同意された７０代の女性である。なお、本検査は岩手医科大学歯学部倫理審査委員会（第０１３０４号）及び岩手大学研究倫理審査委員会（第２０１９０５号）の承認を得て、通常検査の範囲内で実施した。

【0083】

計測方法及び計測動作については、図２６に示すように、VF検査時には、X線透視装置（SafireII ZS‐１００、島津製作所）を用い、頸部側面から椅子座位における舌骨の運動を撮影した。検査食は１％のとろみを付与した９８w／w％硫酸バリウム溶液３mlとし、検査者が被検者の舌下部にシリンジにて注入した後、検査者の指示によって嚥下を行った。検査回数は３試行、撮影速度は３０fpsとした。また、図２７及び図２８に示すように、VF検査と同時に、下顎部に舌骨上筋群用２２チャンネルフレキシブル電極、頸部に舌骨下筋群用２２チャンネルフレキシブル電極、耳朶に耳電極を装着した。舌骨上筋群は図７の（c）の１、２番の電極からオトガイまでの距離が２５mmから３０mmの間で、電極が顎骨に当たらない位置に装着した。舌骨下筋群は図７の（d）の５、６番の電極が甲状軟骨（喉仏）前方に最も突出している部分に位置するように装着した。

【0084】

喉頭運動の計測には、甲状軟骨部分に喉頭挙動センサ（伸縮ひずみセンサ）を装着し、筋電計測と同じ多機能筋電位計測装置に接続した。なお、sEMG信号の増幅率は１２５倍sEMG信号及び喉頭挙動センサのサンプリング周波数は２０００Hzとした。そして、筋電と喉頭運動の計測システムとVF検査の同期を行うために、多機能筋電位計測装置及びX線透視装置に同期用マイクを接続し、音によるトリガー入力を行った。図２９は舌骨の運動の数値化の過程を示したものであり、VF動画に応じて、舌骨のX軸方向（前後方向）の動きと、舌骨のY軸方向（上下方向）の動きをグラフ化している。なお、この計測はVF検査が主目的であり、筋電の計測は付随して行われたものである。

【0085】

LSTMを用いた舌骨の運動予測については、解析条件としての学習条件は、学習の入力値において、入力に用いる筋群が増えるとどうなるか、また、喉頭運動を加えることで予測精度にどういう影響を与えるかを検証するため図３０に示すような６パターンで検証を行った。

【0086】

解析条件としての学習・予測用データセットの作成は、検査回数が３回のためそれぞれをA、B、Cとした。そして図３１のように学習及びテストデータを６通り作成した。予測精度の向上を目的に学習データそれぞれにおいてデータの増幅を行った。図３２に示すように、本発明では、元データのサンプル数に対して、同一の点を含まないように３０サンプルに１つの周期で点をとり、データを３０個まで増幅を行った。３０個に増幅したデータは、それぞれのデータが元のデータのサンプル数の１／３０になっているため、元のデータのサンプル数に合わせるために１次データ内挿を行い、元のデータのサンプル数に合わせた。

【0087】

データ増幅の有効性については、本発明でデータを３０個まで増幅したが、増幅しない場合との比較を図３３に示す。図３３はデータ増幅とRMSEの関係を示しており、RMSEでの誤差検証からデータ増幅することによって予測値と実測値の誤差が減っていることが見て取れ、データ増幅の有効性が分かる。

【0088】

図３４は学習についての例を示しており、学習の入力値が舌骨上筋群と舌骨下筋群及び喉頭運動とした場合、計２６５次元が入力の次元数となる。出力値は舌骨の前後方向の運動、上下方向の運動の２次元となる。また、テストデータで予測する際、予測結果には平滑化処理を行っている。

【0089】

次に評価指標について説明する。
VF動画によって得られた実測値と予測値の結果にどれほどの差があるかを検証するためにRMSE（Root Mean Square Error、平均二乗誤差）及びピアソンの積率相関係数を用いた。RMSE及び相関係数の結果は６通りの学習結果の平均値とする。RMSEは数式１０で表され、回帰モデルの最も一般的な性能指標であり、誤差が少ないほど良い精度であるといえる。

【0090】

【数10】

【0091】

ピアソンの積率相関係数（以下、相関係数と呼ぶ）は、数式１１で表され、値が大きいほど波形の類似度が高く、予測精度が高いといえる。

【0092】

【数11】

【0093】

ここで、y_obsは出力の実測値、y_predは出力の予測値を表す。

【0094】

次に結果について説明する。
収集したデータについては、図３５に、本発明で得られた嚥下３回分のうち１回分のsEMG信号、喉頭運動を示している。

【0095】

また、図３６は、各筋群のsEMG信号、RMS、CCと喉頭運動及び舌骨の動きの時系列データを示している。なお、ここで用いられるqrとはケプストラム係数（CC）のquefrencyのことである。

【0096】

X軸方向（前後方向）とY軸方向（上下方向）の予測結果については、舌骨のX軸方向及びY軸方向を図１７のようにして、舌骨の運動の各方向での実測値及び予測値の６通りのうち１通りの結果は図３７のようになる。

【0097】

図３７における結果に対応する、舌骨の運動の矢状面（XY座標面）での軌跡は、図３８のようになる。なお、図３８では、実測値と予測値を含むように示している。

【0098】

次に筋群の組み合わせにおける舌骨の運動予測の精度について説明する。
図３９はRMSEの結果を示しており、筋群の組み合わせにおけるX軸方向及びY軸方向の結果である。

【0099】

図４０は相関係数の結果を示しており、筋群の組み合わせにおけるX軸方向及びY軸方向の結果である。

【0100】

これらの結果により、舌骨をX軸方向に動かす筋肉はオトガイ舌骨筋をはじめとする舌骨上筋群が強く作用していると考えられる。また、舌骨をY軸方向に動かす筋肉は各筋群のみによって動いているのではなく、両筋群の協調運動によって動作がなされていると考えられる。喉頭は舌骨が嚥下によって上方向へ運動する際、追従する形で舌骨下筋群によって引き上げられるため、伸縮性ひずみセンサによる喉頭運動の情報を加えることでより精度が向上したと考えられる。

【0101】

舌骨の矢状面の予測結果において、実測値と同様の三角形状の軌跡を描く予測結果が多くみられた。これにより、嚥下時の舌骨の運動からも正しい予測ができたと考えられる。

【0102】

次に、舌骨の運動ではなく、食塊の運動を推定したもう一つの実施例を示す。教師信号は、VFによって撮影した食塊（１％のとろみを付与した９８w／w％硫酸バリウム溶液３ml）の先端の位置変化とし、特徴量を含む学習データなどの学習条件は舌骨の運動推定の場合と同一とした。図４１、図４２に示す通り、食塊先端が食道入口部を通過する際のXY座標（原点は第五頸椎前縁下端）の実測値と推定値（学習A－予測C）がほぼ一致し、高い精度で食塊の運動を予測できることが確認できる。

【0103】

以上に述べた摂食嚥下機能評価方法及び摂食嚥下機能評価システムの作用・効果について説明する。
例えば、VF検査以外で、嚥下機能及び舌骨の動きを評価可能なものとしては、超音波診断装置を用いたエコー検査がある。しかし、先行研究では付着性のある粥はエコー画像で検出しやすいが、水やゼリーなどの流動性があるものの嚥下では嚥下反射から誤嚥までの一瞬の動態の観察が困難であり、エコー検査では誤嚥の同定は困難である。また、プローブのあて方によって観測される映像が異なり、再現性の高い観察が難しい。この点、本発明によれば、舌骨だけでなく、喉頭閉鎖のタイミング、食道入口部の開閉など、VFやVEで観察できる少なくとも嚥下諸器官と食塊の一方の運動も同様に予測できるため、放射線被曝などのリスクのない評価法として期待できる。本発明では、１回の嚥下データさえ取得できればX軸方向においてRMSEが１．０３、相関係数が０．６４、Y軸方向においてRMSEが１．２０、相関係数が０．９６の精度で、同条件における嚥下運動を予測できることは確認できた。

【0104】

本発明の実施例によれば、造影動画工程（VF動画工程）、前処理工程、VF動画工程と同期させた生体信号検出工程、特徴量抽出工程、学習工程、及び予測工程を備えている。学習工程では、特徴量を教師信号に合わせて動作区間を決定し、長期の時間依存性及び短期の時間依存性を学習する回帰型ニューラルネットワークアーキテクチャであるLSTM（長・短期記憶）を用いて教師信号及び特徴量に基づいて舌骨の運動を学習する。LSTMは、従来のRNNで訓練する際に、長期の時間依存性では学習できない問題を解決し、長期の時間依存性も短期の時間依存性も学習できる。学習過程で新たな入力、出力が来た時に、新たなパターンに適合するようにし、RNNで発生していた入力重み衝突、出力重み衝突の問題に対処可能とした。このため、被験者は、最初に一度だけVF検査と同時にセンサ部で生体信号を取ることで、その被験者の嚥下時の舌骨運動に関する特徴を学習し、２回目以降（予測工程）からはVF検査なしで舌骨の運動を予測することができる。結果、X線透視装置の場所が不要になり、非侵襲的でリスクの少ない、ベッドサイドや在宅医療でも簡易的に舌骨の運動を予測する摂食嚥下機能評価を行うことができる。また、同じ量、同じ物性値を同じように飲み込んだときの嚥下であれば、学習データは１回で適切なデータとなるが、より好適な学習データとするには、量や物性値を変えたときの嚥下ついて、その条件における嚥下データを学習に加えて学習データとしてもよい。

【0105】

さらに、被験者は最初に少なくとも１回、X線透視装置のある病院などで被験者の舌骨の運動を学習すれば、次回以降からは場所を選ばずにVF検査なしで舌骨の運動を予測して嚥下機能評価・訓練を行うことができる。また、同じ量、同じ物性値を同じように飲み込んだときの嚥下であれば、学習データは１回で適切なデータとなるが、より好適な学習データとするには、量や物性値を変えたときの嚥下ついて、その条件における嚥下データを学習に加えて学習データとすることで、より好適に推定することができる。

【0106】

さらに、生体信号検出工程では、舌骨上筋群生体信号、舌骨下筋群生体信号、及び喉頭挙動信号を検出するので、より精度の高い舌骨の運動の予測ができる。

【0107】

さらに、学習工程、予測工程では、１つの元データを所定の周期で同一の座標データが含まれないようにシフトして複数に増幅させているので、最初の１回の学習で予測値と実測値の誤差を軽減させ、より精度の高い舌骨の運動の予測ができる。

【0108】

さらに、前処理工程では、被験者の側面視におけるXY座標系を設定し、舌骨の下端を舌骨の位置としてXY座標系の座標を取得しているので、被験者の前後・上下の舌骨の運動の予測を分かり易くすることができる。

【0109】

尚、実施例では、喉頭挙動センサを伸縮性ひずみセンサとしたが、これに限定されず、喉頭の運動は、圧力センサ、加速度センサ、非接触式センサなどとしても良い。また、実施例では、舌骨上筋群用筋電センサ及び舌骨下筋群筋電センサをアレイ状の電極としたが、等間隔に整列したアレイ状でなくても、複数（少なくとも２チャンネル以上）の電極を備えていればよい。嚥下音を加えても良い。また、上述の説明や図中において、適宜、摂食嚥下を意味する部分でも嚥下と記載する部分を有する。

【0110】

また、実施例では、時系列データの予測手法として、RNN (Recurrent Neural Network)から派生したLSTM (Long Short-Term Memory)を用いたが、これに限定されず、RNN及びRNNから派生したGRU (Gated Recurrent Unit)、LSTNet（Long- and Short-term Time-series Network）などや、AR（Autoregressive）モデル及び前記ARモデルから派生したARMA（Autoregressive Moving Average）、ARIMA（Autoregressive Integrated Moving Average）、SARIMA（Seasonal AutoRegressive Integrated Moving Average）モデルなどの時系列データの予測手法を用いてもよい。

【0111】

また、実施例では、嚥下撮影工程を、X線透視下で観測可能な嚥下造形検査（VF検査）としたが、これに限定されず、内視鏡による嚥下内視鏡検査（VE検査）の観測でもよく、さらには、エコーで舌骨の動きを観測して座標に表してもよい。嚥下撮影工程の撮影による画像は、動画に限定せず、連続的な変化が分かれば静止画でもよく、静止画をコマ送り画像としてもよい。

【0112】

また、予測工程では、摂食嚥下時における生体信号から嚥下諸器官と食塊の運動を予測するものとしたが、これに限定されず、訓練時（食べ物を用いる直接訓練や、食べ物を用いない間接訓練、いわゆるバイオフィードバック訓練時）における生体信号からの嚥下諸器官や食隗の運動予測に用いてもよい。嚥下機能の訓練法である食物を用いた直接訓練や、食物を用いない間接訓練（基礎訓練）における嚥下諸器官の運動の評価やバイオフィードバック訓練への利用など、摂食嚥下機能を訓練する摂食嚥下機能訓練技術に好適である。

【0113】

即ち、本発明の作用及び効果を奏する限りにおいて、本発明は、実施例に限定されるものではない。

【産業上の利用可能性】

【0114】

本発明は、摂食嚥下時における生体信号を検出し、検出した生体信号から特徴量を抽出し、少なくとも嚥下諸器官と食塊の一方の運動を予測して摂食嚥下機能を評価する摂食嚥下機能評価技術に好適である。また、嚥下機能の訓練法である食物を用いた直接訓練や、食物を用いない間接訓練（基礎訓練）における嚥下諸器官の運動の評価やバイオフィードバック訓練への利用など、摂食嚥下機能を訓練する摂食嚥下機能訓練技術に好適である。

【符号の説明】

【0115】

１０…摂食嚥下機能評価システム、２０…センサ部、２１…舌骨上筋群用筋電センサ、２１a…電極、２２…舌骨下筋群用筋電センサ、２２a…電極、２５…喉頭挙動センサ（伸縮性ひずみセンサ）、３０…多機能筋電位計測装置、４０…解析部、５０…X線透視装置、５１…前処理部、６０…被験者。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】

【図36】

【図37】

【図38】

【図39】

【図40】

【図41】

【図42】