ホーム > 特許ランキング > 国立大学法人岩手大学
特許7428383嚥下パターン画像の類似度を用いた嚥下機能評価方法及びそのシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-29
(45)【発行日】2024-02-06
(54)【発明の名称】嚥下パターン画像の類似度を用いた嚥下機能評価方法及びそのシステム
(51)【国際特許分類】
A61B 5/389 20210101AFI20240130BHJP
【ＦＩ】
A61B5/389
【請求項の数】
3
(21)【出願番号】P 2020146438
(22)【出願日】2020-08-31
(65)【公開番号】P2022041316
(43)【公開日】2022-03-11
【審査請求日】2023-03-06
【早期審査対象出願】
(73)【特許権者】
【識別番号】504165591
【氏名又は名称】国立大学法人岩手大学
(74)【代理人】
【識別番号】100161355
【弁理士】
【氏名又は名称】野崎 俊剛
(72)【発明者】
【氏名】佐々木 誠
(72)【発明者】
【氏名】鈴木 雅大
【審査官】高松 大
(56)【参考文献】
【文献】特表２０２０－５０８７４５（ＪＰ，Ａ）
【文献】特開２０１９－２０８６２９（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１８／０２１７６６０（ＵＳ，Ａ１）
【文献】国際公開第２０１９／０２２２５９（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ５／３８９
(57)【特許請求の範囲】
【請求項1】
被験者の摂食嚥下動作に関わる生体信号を検出する生体信号検出工程と、解析部で前記生体信号から嚥下パターン画像を作成する嚥下パターン画像作成工程と、
異なる嚥下条件における前記嚥下パターン画像の類似度を計算する画像類似度計算工程と、
前記類似度から嚥下機能を評価する評価工程と、を備え、
前記生体信号検出工程では、前記生体信号として表面筋電位信号を用い、
前記嚥下パターン画像作成工程では、多点同時計測による嚥下の始まりから終わりまでの前記生体信号の振幅の時間領域の特徴量、周波数成分の周波数領域の特徴量、又は時間－周波数領域の特徴量をカラーマップに変換して画像化するとともに一方向に並べて１つのフレームとし、前記フレームを一方向に直交する方向に複数個並べて１枚の前記嚥下パターン画像を作成し、
前記画像類似度計算工程では、畳み込みニューラルネットワークに代表される深層学習の画像認識モデルを用いて、前記嚥下パターン画像から特徴ベクトルを抽出し、カーネル主成分分析を用いたうえで、異なる嚥下条件における前記特徴ベクトルの類似度を、前記特徴ベクトルの少なくとも角度、距離、相関のいずれかで数値化し、
評価工程では、各動作群同士の前記特徴ベクトルの少なくとも角度、距離、相関のいずれかを、基準値となる所定の嚥下条件での少なくとも角度、距離、相関のいずれかで正規化し、得られた値を評価指標とし、筋走行に対する電極位置の違い、電極装着位置の皮下組織の組成の違い、及び嚥下諸器官の筋力の違いのベースラインを整えていることを特徴とする嚥下パターン画像の類似度を用いた嚥下機能評価方法。
【請求項2】
請求項１の嚥下パターン画像の類似度を用いた嚥下機能評価方法であって、前記生体信号検出工程では、少なくとも舌骨上筋群と舌骨下筋群の一方の前記表面筋電位信号を用いていることを特徴とする嚥下パターン画像の類似度を用いた嚥下機能評価方法。
【請求項3】
被験者の摂食嚥下動作に関わる生体信号として表面筋電位信号を検出するセンサ部と、多点同時計測による嚥下の始まりから終わりまでの前記生体信号の振幅の時間領域の特徴量、周波数成分の周波数領域の特徴量、又は時間－周波数領域の特徴量をカラーマップに変換して画像化するとともに一方向に並べて１つのフレームとし、前記フレームを一方向に直交する方向に複数個並べて１枚の嚥下パターン画像を作成し、畳み込みニューラルネットワークに代表される深層学習の画像認識モデルの特徴抽出器を用いて前記嚥下パターン画像から特徴ベクトルを抽出し、前記特徴ベクトルに対してカーネル主成分分析を行い、高次元特徴空間に写像された特徴ベクトルを次元圧縮し、次元圧縮された前記特徴ベクトルから各動作群同士の類似度を少なくとも角度、距離、相関のいずれかとして算出し、算出された前記各動作群同士の少なくとも角度、距離、相関のいずれかを、基準値となる所定の嚥下条件での少なくとも角度、距離、相関のいずれかで正規化し、得られた値を評価指標とし、筋走行に対する電極位置の違い、電極装着位置の皮下組織の組成の違い、及び嚥下諸器官の筋力の違いのベースラインを整えることで用いて嚥下パターンの変化量である嚥下予備能を評価する解析部と、を備えていることを特徴とする嚥下パターン画像の類似度を用いた嚥下機能評価システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、摂食嚥下動作に関わる生体信号を検出し、検出した生体信号を画像に変換することで摂食嚥下機能を評価する嚥下パターン画像の類似度を用いた嚥下機能評価方法及びそのシステムに関する。
【背景技術】
【0002】
嚥下は、食物を口腔から胃へと送り込む一連の運動であり、口腔期・咽頭期・食道期の３期に分けられる。嚥下のメカニズムを図１の（ａ）、（ｂ）に示す。咀嚼によって形成された食塊は、舌を口蓋に押し付けることにより咽頭へと送り込まれる。その後、嚥下反射が誘発され、舌骨上筋群の収縮により舌骨と喉頭が前上方に挙上する。さらに舌骨上筋群の収縮に伴う反射運動として、舌骨下筋群（甲状舌骨筋）が収縮することで喉頭が最高位に到達する。この舌骨と喉頭の挙上に連動して、喉頭蓋が反転することで喉頭を閉鎖する。これにより、誤嚥や窒息を起こすことなく食塊が食道を通過する。これが安全に嚥下を行うメカニズムである。
【0003】
このように嚥下は、「随意運動」と「反射性の不随意運動」が共存する複雑な生理機構によって実現される。随意運動は主に、食物を咀嚼して形成した食塊を、舌運動により咽頭へ送り込む口腔内の運動を指し（口腔期）、不随意運動は、嚥下反射によって食塊を咽頭通過させる運動を指している（咽頭期）。嚥下反射は、延髄にある中枢パターン生成器（central pattern generator：CPG）によってプログラムされた再現性の高い、極めて緻密なパターン運動となっており、嚥下の可否には、口腔運動の問題の有無や嚥下反射の破綻が大きく関与する。
【0004】
嚥下反射によって誘発された嚥下運動は、再現性の高い運動パターンを示すが、一回嚥下量（食物の量）や食物の物性値（粘性や硬さなど）などの違いによって、舌骨の移動距離や移動速度、喉頭閉鎖のタイミングや閉鎖時間、食道入口部の開大時間などの嚥下の運動パターン（嚥下パターン）が変化することが知られている。このように、嚥下条件に合わせて嚥下関連器官の運動を微調整し、嚥下パターンを変えられる能力は、嚥下予備能と考えられている。これは窒息や誤嚥を引き起こさないための食物に対する嚥下の対応力である。しかし、脳血管障害や神経筋疾患、加齢による筋力低下、嚥下諸器官の位置変化などが原因で、嚥下予備能は低下する。さらに全身疾患等が原因で、嚥下に何らかの問題が生じた場合には、食塊の咽頭残留、喉頭侵入、誤嚥などが生じ、結果として誤嚥性肺炎の発症や窒息のリスクが増大することになる。
【0005】
厚生労働省によると平成３０年度における摂食嚥下障害による誤嚥性肺炎を原因とする死亡者数は３万８４６０人、不慮の窒息を原因とする死亡者数は８８７６人であり、誤嚥性肺炎に至っては我が国の死因第７位となっている。嚥下予備能の低下時には、一般的に、舌骨および喉頭位の下垂や、それに伴う舌骨や喉頭の前上方への挙上量の減少、喉頭挙上速度の低下による喉頭挙上の遅れ、嚥下反射惹起の遅延などが生じることが知られている。そのため、高齢者の健康寿命を延伸するためには、これらの変化を観測・評価し、自覚困難な嚥下機能の低下や、フレイルの状態に陥った高齢者（嚥下障害予備軍）を早期発見することが重要である。
【0006】
現在、嚥下機能の評価には精密検査のゴールドスタンダードである嚥下造影検査（Videofluoroscopic Examination of Swallowing : VF）が主に用いられている。VFはX線透視装置を用いた造影検査であり、造影剤を混ぜた嚥下物が口腔から咽頭そして食道へと通過する状態を観察し、形態的異常や機能的異常、誤嚥、咽頭残留の有無などを明らかにする検査である。検査では造影剤の動態による評価だけでなく、舌や下顎などの口腔運動や、舌骨や喉頭、食道入口部の動きなど嚥下諸器官の運動についても同時に評価が行なわれる。これまでのVFによる解析結果から、加齢などによる嚥下機能低下に伴って、舌骨および喉頭位の下垂や、それに伴う舌骨や喉頭の前上方への挙上量の減少、喉頭挙上速度の低下による喉頭挙上の遅れ、嚥下反射惹起の遅延などが生じることが報告されている。このような生体内部で行われる食塊や嚥下諸器官の運動に着目した詳細な嚥下機能評価はVFでのみ行うことが可能である。しかし、VFには問題点もある。まずX線透視装置を用いるためにX線透視による放射線被曝のリスクがあり、定期的な検診を行うことができない。また病院でしか検査を行うことができないため、日常的な嚥下機能評価には不向きである。さらに造影剤を含んだ食品の誤嚥といったリスクを伴う課題点もある。このような問題点から、検査時には既に重症化しているケースも多い。そのため、嚥下障害になる前の段階で、嚥下予備能の変化（すなわち嚥下機能低下）を日常的に把握できる安全かつ簡便な評価手法の開発が望まれている。
【0007】
これまでに非侵襲的に計測可能な嚥下時の生体信号として表面筋電位（Surface Electromyography：sEMG）信号などを用いた先行研究が行われており、例えば特許文献１に開示される摂食嚥下機能評価技術が知られている。特許文献１の摂食嚥下機能評価技術は、摂食嚥下開始から摂食嚥下終了までの生体信号を検出し、検出した生体信号から特徴量を抽出し、機械学習を用いて特徴量から摂食嚥下動作を識別して摂食嚥下機能を評価する摂食嚥下機能評価法である。これにより、随意嚥下の強さや一回嚥下量の違い、食物や食塊の物性値（硬さ、粘度、温度、液体、個体など）の違いなど、嚥下条件の違いに伴う嚥下パターンの変化（すなわち嚥下予備能）を、機械学習による識別精度という形で評価できる。
【0008】
しかし、このような機械学習を用いた技術では、嚥下パターンの予測モデルを生成するための学習データと、識別精度を求めるためのテストデータが必要になる。そして、十分な精度で個々人の嚥下機能を評価するためには、複数の嚥下条件で数十回程度の嚥下データを計測する必要があり、計測回数、総嚥下量、計測時間の面で対象者の負担となる。また、生体信号に表面筋電位を用いる場合は、電極貼り付け位置により観測される信号が異なるため、同一の対象者であっても、嚥下機能を評価するごとに、学習データとテストデータの収集が必要となり、日常的に利用可能な手軽な評価方法としては扱い難い。
【0009】
特許文献１は、摂食嚥下時において重要な舌骨上筋群や舌骨下筋群の表面筋電位を画像に変換し、人工知能の得意とする画像認識の技術により、嚥下パターンを識別するものであるが、これは画像から抽出した特徴量（すなわち特徴ベクトル）が、高次元特徴空間において嚥下条件ごとに分離可能である特徴に基づいている。そして、学習データの画像から抽出した特徴ベクトルが嚥下条件によって異なる大きさと方向を持ち、かつ再現性が高いほど、嚥下パターンの識別精度が高くなる。反対に、嚥下機能が低下し、嚥下条件の違いによる特徴ベクトルの変化量が小さくなるほど（すなわち特徴ベクトルが類似するほど）、嚥下パターンの識別精度が低下する。したがって、特徴ベクトルが、随意嚥下の強さや一回嚥下量の違い、食物や食塊の物性値（硬さ、粘度、温度、液体、個体など）の違いなど、嚥下条件の違いによってどれくらい異なるかに着目することによって、嚥下パターンの予測モデルを生成することなく、少ない嚥下データのみで、嚥下機能を評価できる可能性がある。言い換えれば、機械学習による嚥下パターンの識別精度ではなく、画像の類似度という形で嚥下機能を評価できる可能性がある。
【先行技術文献】
【特許文献】
【0010】
【文献】特開２０１９－２０８６２９号公報
【発明の概要】
【発明が解決しようとする課題】
【0011】
本発明は、以上の点に鑑み、被験者の摂食嚥下時における生体信号を画像に変換し、機械学習による嚥下パターン分類を用いることなく、画像の類似度という形で嚥下予備能の変化を定量的にかつ日常的に把握できる安全で簡便な嚥下機能評価技術を提供することを課題とする。
【課題を解決するための手段】
【0012】
［１］被験者の摂食嚥下動作に関わる生体信号を検出する生体信号検出工程と、
解析部で前記生体信号から嚥下パターン画像を作成する嚥下パターン画像作成工程と、
異なる嚥下条件における前記嚥下パターン画像の類似度を計算する画像類似度計算工程と、
前記類似度から嚥下機能を評価する評価工程と、を備えていることを特徴とする。
解析部で前記生体信号から嚥下パターン画像を作成する嚥下パターン画像作成工程と、
異なる嚥下条件における前記嚥下パターン画像の類似度を計算する画像類似度計算工程と、
前記類似度から嚥下機能を評価する評価工程と、を備えていることを特徴とする。
【0013】
かかる構成によれば、生体信号検出工程、嚥下パターン画像作成工程、画像類似度計算工程、評価工程を備えている。嚥下パターン画像作成工程では、検出した生体信号にフィルタ処理、変換処理、特徴抽出などの前処理を行ったうえ、モノクロ画像、グレースケール画像、カラー画像などの画像を少なくとも１枚作成する。画像は複数枚あってもよいし、２次元グラフや３次元グラフなどでもよい。画像類似度計算工程では、例えば、画像を特徴ベクトルに変換し、異なる嚥下条件における特徴ベクトルの角度や距離等を計算し、画像の類似度を数値化する。類似度には、コサイン類似度、ユークリッド距離、ハミング距離、マハラノビス距離、マンハッタン距離、ピアソンの相関係数、チェビシェフ距離、ミンコフスキー距離などがある。また、MSE(Mean Square Error)、PSNR(Peak Signal to Noise Ratio)、SSIM(structural similarity index measure)などの画像の類似度の評価法もある。評価工程では、画像の類似度から嚥下機能を評価する指標を作成し、個々人の嚥下機能を評価する。このため、被験者に所定の嚥下条件で数回ずつ計測すれば十分であり、機械学習を用いることなく、嚥下予備能の変化を定量的にかつ日常的に把握できる安全で簡便な嚥下機能価方法とすることができる。
【0014】
［１］好ましくは、前記生体信号検出工程では、前記生体信号として表面筋電位信号を用いている。
【0015】
かかる構成によれば、生体信号として表面筋電位信号を用いているので、例えば筋電センサを用いて簡便に計測することができる。
【0016】
［２］好ましくは、前記生体信号検出工程では、少なくとも舌骨上筋群と舌骨下筋群の一方の前記表面筋電位信号を用いている。
【0017】
かかる構成によれば、生体信号検出工程では、少なくとも舌骨上筋群生体信号と舌骨下筋群生体信号の一方の表面筋電位信号を用いるだけで済むので、より簡便に計測することができる。
【0018】
［１］好ましくは、前記嚥下パターン画像作成工程では、多点同時計測による嚥下の始まりから終わりまでの前記生体信号の振幅等の時間領域の特徴量、周波数成分等の周波数領域の特徴量、あるいは時間－周波数領域の特徴量等をカラーマップに変換して画像化するとともに一方向に並べて１つのフレームとし、前記フレームを一方向に直交する方向に複数個並べて前記嚥下パターン画像を作成する。
【0019】
かかる構成によれば、嚥下パターン画像作成工程では、特徴抽出等の前処理を行った生体信号を画像化して少なくとも１枚の嚥下パターン画像を作成する。例えば、嚥下の始まりから終わりまでの表面筋電位（sEMG）信号の振幅情報、周波数情報、時間－周波数情報、立ち上がりのタイミング、筋肉の活動時間などの嚥下運動に関与する複数のパラメータを画像上に表現することができる。また、多点同時計測を行うので、他の筋肉との違いも画像上に表現することができる。さらに、この画像を用いて嚥下条件による嚥下パターンの違いを検出するので、嚥下条件に伴って飲み込み方を変えられる能力（嚥下予備能）の定量評価を実現することができる。
【0020】
［１］好ましくは、前記画像類似度計算工程では、畳み込みニューラルネットワークに代表されるような深層学習などの画像認識モデルを用いて、嚥下パターン画像から特徴ベクトルを抽出し、カーネル主成分分析を用いたうえで、異なる嚥下条件における前記特徴ベクトルの類似度を、前記特徴ベクトルの角度や距離などで数値化する。
【0021】
かかる構成によれば、カーネル関数を用いて特徴ベクトルを線形分離可能な無限次元特徴空間に写像したのち、主成分分析を用いて次元圧縮することで、学習データを要する予測モデル生成を行うことなく、嚥下パターン識別精度に関連した情報を、画像の類似度という形で抽出できる。
【0022】
［１］好ましくは、前記評価工程では、各動作群同士の前記特徴ベクトルの角度や距離などを、基準値となる所定の嚥下条件での角度や距離などで正規化し、得られた値を評価指標とし、筋走行に対する電極位置の違い、電極装着位置の皮下組織の組成の違い、及び嚥下諸器官の筋力の違いのベースラインを整えている。なお、基準値とは、例えば、６mlの水を通常嚥下した際の嚥下パターン画像のように、嚥下機能評価の基準となる嚥下条件（随意嚥下の強さや一回嚥下量の違い、食物や食塊の物性値）を定め、その特徴ベクトルの角度や距離などと定義できる。また、この特徴ベクトルを用いて計算した値であれば、角度や距離そのものでなくても構わない。また、基準値を、複数の嚥下条件における特徴ベクトルの成す角や相対距離、あるいは、それらの特徴ベクトルを用いて計算した値などに置き換えてもよい。
【0023】
かかる構成によれば、各動作群同士の前記特徴ベクトルの角度や距離等を、所定の基準値で正規化し、得られた値を評価指標としているので、筋走行に対する電極位置の違いや、電極装着位置の皮下組織の組成（例えば脂肪厚）の違い、嚥下諸器官の筋力の違い、嚥下の癖等、ベースラインを整えることで、個人差を吸収することができる。
【0024】
［３］好ましくは、被験者の摂食嚥下動作に関わる生体信号として表面筋電位信号を検出するセンサ部と、
多点同時計測による嚥下の始まりから終わりまでの前記生体信号の振幅の時間領域の特徴量、周波数成分の周波数領域の特徴量、又は時間－周波数領域の特徴量をカラーマップに変換して画像化するとともに一方向に並べて１つのフレームとし、前記フレームを一方向に直交する方向に複数個並べて１枚の嚥下パターン画像を作成し、畳み込みニューラルネットワークなどの画像認識モデルの特徴抽出器を用いて前記嚥下パターン画像から特徴ベクトルを抽出し、前記特徴ベクトルに対してカーネル主成分分析を行い、高次元特徴空間に写像された特徴ベクトルを次元圧縮し、次元圧縮された前記特徴ベクトルから各動作群同士の類似度を角度や距離等として算出し、算出された前記各動作群同士の角度や距離等を基準値となる所定の嚥下条件での少なくとも角度、距離、相関のいずれかで正規化し、得られた値を評価指標とし、筋走行に対する電極位置の違い、電極装着位置の皮下組織の組成の違い、及び嚥下諸器官の筋力の違いのベースラインを整えることで用いて嚥下パターンの変化量、すなわち嚥下予備能（嚥下機能）を評価する解析部と、を備えている。
多点同時計測による嚥下の始まりから終わりまでの前記生体信号の振幅の時間領域の特徴量、周波数成分の周波数領域の特徴量、又は時間－周波数領域の特徴量をカラーマップに変換して画像化するとともに一方向に並べて１つのフレームとし、前記フレームを一方向に直交する方向に複数個並べて１枚の嚥下パターン画像を作成し、畳み込みニューラルネットワークなどの画像認識モデルの特徴抽出器を用いて前記嚥下パターン画像から特徴ベクトルを抽出し、前記特徴ベクトルに対してカーネル主成分分析を行い、高次元特徴空間に写像された特徴ベクトルを次元圧縮し、次元圧縮された前記特徴ベクトルから各動作群同士の類似度を角度や距離等として算出し、算出された前記各動作群同士の角度や距離等を基準値となる所定の嚥下条件での少なくとも角度、距離、相関のいずれかで正規化し、得られた値を評価指標とし、筋走行に対する電極位置の違い、電極装着位置の皮下組織の組成の違い、及び嚥下諸器官の筋力の違いのベースラインを整えることで用いて嚥下パターンの変化量、すなわち嚥下予備能（嚥下機能）を評価する解析部と、を備えている。
【0025】
かかる構成によれば、解析部で、次元圧縮された特徴ベクトルから各動作群同士の角度や距離等を算出し、算出された各動作群同士の角度や距離等を用いて嚥下パターンの変化量を評価するので、機械学習による嚥下パターン分類（すなわち予測モデル作成と動作識別の過程）を用いる必要がない。このため、被験者に所定の嚥下条件で数回ずつ計測すれば十分であり、嚥下予備能の変化を定量的にかつ日常的に把握できる安全で簡便な嚥下機能価システムとすることができる。
【発明の効果】
【0026】
被験者の生体信号から機械学習による嚥下パターン分類を経ることなく、嚥下予備能の変化を定量的にかつ日常的に把握できる安全で簡便な嚥下機能評価技術を提供することができる。
【図面の簡単な説明】
【0027】
【図1】嚥下のメカニズム及び舌骨上筋群と舌骨下筋群を示す説明図である。
【図2】本発明に係る嚥下パターン画像の類似度を用いた嚥下機能評価システムの全体構成を示す説明図である。
【図3】センサ部を示す説明図である。
【図4】信号処理回路を示す説明図である。
【図5】AD変換を示す説明図である。
【図6】絶縁構成を示す説明図である。
【図7】計測動作を示す説明図である。
【図8】画像の類似度を用いた嚥下機能の定量的評価法を示すフロー図である。
【図9】フレームシフトの様子及びsEMG信号と各特徴量を示す説明図である。
【図10】解析区間の設定、CCの正規化及び嚥下パターン画像を示す説明図である。
【図11】一般的なCNNの構造及び畳み込み層でのフィルタ１つに関する計算内容を示す説明図である。
【図12】AlexNetの構造及びAlexNetとSVMの組み合わせを示す説明図である。
【図13】舌骨上筋群と舌骨下筋群の特徴ベクトルの連結を示す説明図である。
【図14】カーネル主成分分析のイメージ図である。
【図15】γ=２－１５のときの固有値λkを示す説明図である。
【図16】特徴空間における各動作群同士のユークリッド距離のイメージ図及び特徴空間における原点と各動作群のユークリッド距離のイメージ図である。
【図17】嚥下パターン画像の例を示す説明図である。
【図18】最適化したパラメータを示す説明図である。
【図19】正規化前の動作群同士のユークリッド距離、及び正規化前の動作群同士のユークリッド距離に対してt検定を行った際の各動作の組み合わせにおけるP値を示す説明図である。
【図20】原点とNS6のユークリッド距離で正規化後の評価指標D、原点とNS6のユークリッド距離で正規化後の評価指標Dに対してt検定を行った際の各動作の組み合わせにおけるP値及びを示す説明図である。
【発明を実施するための形態】
【0028】
本発明の実施の形態を添付図に基づいて以下に説明する。なお、図面は、嚥下パターン画像の類似度を用いた嚥下機能評価技術の概略構成を概念的（模式的）に示すものとする。
【実施例】
【0029】
まず本発明の実施例に係る嚥下パターン画像の類似度を用いた嚥下機能評価システム１０の全体構成を説明する。
図２に示すように、嚥下機能評価システム１０は、被験者６０（図３参照）の生体信号を検出するセンサ部２０と、GND電極２３ａと、不関電極２３ｂと、RLD電極２４と、検出した生体信号を増幅してPC（解析部）４０に送信する多機能筋電位計測装置３０と、嚥下パターンの分類精度を評価する解析部４０と、評価した結果を記録する記録部（不図示）と、評価した結果を表示する表示部４１と、これらに給電するバッテリ（不図示）と、を備えている。
図２に示すように、嚥下機能評価システム１０は、被験者６０（図３参照）の生体信号を検出するセンサ部２０と、GND電極２３ａと、不関電極２３ｂと、RLD電極２４と、検出した生体信号を増幅してPC（解析部）４０に送信する多機能筋電位計測装置３０と、嚥下パターンの分類精度を評価する解析部４０と、評価した結果を記録する記録部（不図示）と、評価した結果を表示する表示部４１と、これらに給電するバッテリ（不図示）と、を備えている。
【0030】
次にセンサ部２０について説明する。
図３に示すように、センサ部２０は、舌骨上筋群部分に配置され舌骨上筋群の筋活動による舌骨上筋群生体信号を検出する２２チャンネルの舌骨上筋群用筋電センサ（舌骨上筋群用２２チャンネルフレキシブル電極）２１と、舌骨下筋群部分に配置され舌骨下筋群の筋活動による舌骨下筋群生体信号を検出する２２チャンネルの舌骨下筋群用筋電センサ（舌骨下筋群用２２チャンネルフレキシブル電極）２２と、を備えている。センサ部２０は、被験者６０の所定の皮膚表面に配置され、少なくとも嚥下開始から嚥下終了までの摂食嚥下時における生体信号を検出するものである。
図３に示すように、センサ部２０は、舌骨上筋群部分に配置され舌骨上筋群の筋活動による舌骨上筋群生体信号を検出する２２チャンネルの舌骨上筋群用筋電センサ（舌骨上筋群用２２チャンネルフレキシブル電極）２１と、舌骨下筋群部分に配置され舌骨下筋群の筋活動による舌骨下筋群生体信号を検出する２２チャンネルの舌骨下筋群用筋電センサ（舌骨下筋群用２２チャンネルフレキシブル電極）２２と、を備えている。センサ部２０は、被験者６０の所定の皮膚表面に配置され、少なくとも嚥下開始から嚥下終了までの摂食嚥下時における生体信号を検出するものである。
【0031】
多機能筋電位計測装置３０に接続されるセンサ部２０の各電極２１ａ、２２ａのsEMG信号は，耳朶に貼りつけた不関電極と２２チャンネルフレキシブル電極２１、２２を構成する各電極２１ａ、２２ａとの電位差を、もう片方の耳朶に貼りつけたGND電極２３ａを基準に差動増幅することで計測した。
【0032】
また、不関電極から導出される同位相ノイズ成分を反転増幅し、後頚椎に貼り付けたRLD（Right Leg Drive）電極にフィードバックすることで、計測中に混入したノイズをキャンセリングした．RLD電極を人体に装着することで多機能筋電位計測装置のノイズ除去能力を高める効果がある。信号のゲインは、１２５倍とした。全ての信号は、多機能筋電位計測装置に搭載される１６bitのAD変換により同時にサンプリングされ、PCに取り込まれる。サンプリング周波数は、２０００Hzの設定とした。
【0033】
舌骨上筋群用２２チャンネルフレキシブル電極２１及び舌骨下筋群用２２チャンネルフレキシブル電極２２は、後述する多機能筋電位計測装置３０に接続して使用する。舌骨上筋群用２２チャンネルフレキシブル電極２１は喉頭部に干渉せず、かつ下顎底部奥に存在する茎突舌骨筋部分も計測できるようにブーメラン形状に設計した。また、顎の小さい方や女性の方でも純銀棒の電極２１ａが下顎骨に当たらにように設計した。一方、舌骨下筋群用２２チャンネルフレキシブル電極２２は喉頭隆起の動きに干渉せず計測でき、電極２２ａから伸びるケーブルの自重によって電極２２ａが浮かないようにするためにU字状に設計した。また、頸部が長い人でも電極によって喉頭隆起の動きが阻害されずに計測できるように、中央部の切り抜きを長く設計してある。舌骨上筋群用２２チャンネルフレキシブル電極２１は、多チャンネルの電極２１aが整列したアレイ状電極が用いられている。舌骨下筋群用２２チャンネルフレキシブル電極２２は、多チャンネルの電極２２ａが整列したアレイ状電極が用いられている。
【0034】
フレキシブル基板自体の厚さは、約１２０μm（銅箔を除くフィルム基材１００μm、銅箔厚１８μm）である。基板保護と人体絶縁のために全体をシリコンで覆い、シリコンから露出した純銀棒の電極を介してsEMG信号を抽出する。純銀棒で作られた電極は直径２．０mm、高３．５mmであり、先端は皮膚との接触を良くするために直径２．０mmの半球状になっている。舌骨上筋群用２２チャンネルフレキシブル電極２１は縦８．０mm、１１．０mm間隔で埋め込み、下顎底部全体を覆うように２２個配置した。舌骨下筋群用２２チャンネルフレキシブル電極２２は縦８mm、横８mm間隔で埋め込み、頸部前面を覆うように２２個配置した。また、GND電極２３ａと不関電極２３ｂを左右の耳朶に、RLD電極２４は後頚椎にそれぞれ配置した。GND電極２３ａ、不関電極２３ｂ、RLD電極２４の３つの電極の内、不関電極２３ｂにのみ裏面にチップが搭載してある。計測の際は接触抵抗を抑えるために電極表面にペースト（Elefix（登録商標）、日本光電）を塗布した２２チャンネルフレキシブル電極２１、２２を被験者に取り付ける。
【0035】
次に多機能筋電位計測装置３０について説明する。
図２に示すように、多機能筋電位計測装置３０は、複数の異なるセンサを同時に利用することを前提に設計された、生体活動をモニタリングするための計測装置である。最大で６４チャンネルのアナログデータを同時にサンプリングすることが可能である。USB２．０（High Speed）インターフェースを介して、計測データを取り込むためのPCと接続される。任意のアプリケーションソフトウェアから装置を制御することも可能である。DC１２VのACアダプタまたは、外部バッテリ入力電源により動作する。多機能筋電位計測装置３０の回路構成は、以下に示すように、シグナルコンディショニング部、AD変換部、データ転送部、絶縁部の４つに分けられる。
図２に示すように、多機能筋電位計測装置３０は、複数の異なるセンサを同時に利用することを前提に設計された、生体活動をモニタリングするための計測装置である。最大で６４チャンネルのアナログデータを同時にサンプリングすることが可能である。USB２．０（High Speed）インターフェースを介して、計測データを取り込むためのPCと接続される。任意のアプリケーションソフトウェアから装置を制御することも可能である。DC１２VのACアダプタまたは、外部バッテリ入力電源により動作する。多機能筋電位計測装置３０の回路構成は、以下に示すように、シグナルコンディショニング部、AD変換部、データ転送部、絶縁部の４つに分けられる。
【0036】
次にシグナルコンディショニング部について説明する。
図４の（ａ）～（ｃ）に示すように、シグナルコンディショニング部は、最大で２個の２２チャンネル電極と、４個の汎用筋電位センサ、１６個の任意のアナログセンサが入力可能である。
図４の（ａ）～（ｃ）に示すように、シグナルコンディショニング部は、最大で２個の２２チャンネル電極と、４個の汎用筋電位センサ、１６個の任意のアナログセンサが入力可能である。
【0037】
まず、差動増幅回路にて、耳朶に張り付けられた不関電極から得られる信号と、多チャンネル電極の各電極から得られる信号間の同相ノイズを除去して、信号成分の差のみを増幅する。単極誘導計測とも呼ばれる。
【0038】
また、得られた差動信号からDCサーボ回路にて１Hz以下の低周波帯域信号を検出して除去する。次に、信号増幅回路・PGA（Programmable Gain Amplifier）にて、１２５か１０００倍のいずれかに信号を増幅する。３極のアンチエイリアシングフィルタ回路にて不要な高周波雑音を除去する。これにはAD変換時の帯域折り返しを防止する効果もある。最後にAD変換を駆動するための高速アンプに入力し、出力信号を得る。
【0039】
その他、低周波信号を追加で除去するために、デジタルフィルタによる1次ローカットフィルタ処理を施すことも可能である。遮断周波数は、disable、０．０１、０．１、１．０、１０．０、２０．０Hzのいずれかである。本研究では遮断周波数は、２０．０Hzとした。
【0040】
汎用筋電位センサの信号処理回路は、多チャンネル電極のそれと殆ど同じ構成であるが、体表面に張り付けられた任意の電極2点から得られる信号を差動増幅する点が異なる、双極誘導計測とも呼ばれる。
【0041】
汎用アナログセンサの信号処理回路は、様々なセンサを任意に接続できるように、最大で±１５Vのアナログ信号を入力できる仕様になっている。振幅の大きな信号を入力する場合、多機能筋電位計測装置の計測範囲（±２．５V）に調整するためにPGAによりゲイン調整を行う。PGAの値は、disable、１／４、１／２、１倍のいずれかである。出力信号は、AD変換を駆動するための高速アンプから得られる。
【0042】
次にAD変換部について説明する。
図５の（ａ）に示すように、多機能筋電位計測装置３０（図２参照）が内蔵するAD変換機能は、Σ-Δ変換方式で、１６bitの分解能、最大１０kHzで全チャンネルの同時サンプリングが可能である。Σ-ΔAD変換の概略図を示す。アナログ信号Vinに対して、サンプリング周波数fs(Hz)×nのオーバーサンプリングとΣ-Δ変調を施すことにより、帯域外の高周波帯域に不要なノイズの周波数スペクトルを移行させ、これをデジタルフィルタにより除去する。最後にfs(Hz)にダウンレートすることで、デジタライズされた出力信号を得る。広く用いられる逐次比較AD変換と比べてSN比を高くとることができ、またアンチエイリアシングフィルタを単純化することができる。
図５の（ａ）に示すように、多機能筋電位計測装置３０（図２参照）が内蔵するAD変換機能は、Σ-Δ変換方式で、１６bitの分解能、最大１０kHzで全チャンネルの同時サンプリングが可能である。Σ-ΔAD変換の概略図を示す。アナログ信号Vinに対して、サンプリング周波数fs(Hz)×nのオーバーサンプリングとΣ-Δ変調を施すことにより、帯域外の高周波帯域に不要なノイズの周波数スペクトルを移行させ、これをデジタルフィルタにより除去する。最後にfs(Hz)にダウンレートすることで、デジタライズされた出力信号を得る。広く用いられる逐次比較AD変換と比べてSN比を高くとることができ、またアンチエイリアシングフィルタを単純化することができる。
【0043】
多機能筋電位計測装置３０のデジタルフィルタは、振幅が平坦で、線形位相の特性を持つ。（有効帯域は，サンプリング周波数の１／２）。サンプリング周波数は、１、１．２５、２、２．５、４、５、８、１０kHzから選択する。
【0044】
また、図５の（ｂ）に示すように、各チャンネルに対応した（６４個の）Σ-ΔAD変換モジュールは、等長配線された同一のクロック源により駆動されるため、各々が同期してAD変換動作を行う。
【0045】
次にデータ転送部について説明する。
図５の（ｃ）に示すように、AD変換によりデジタライズされた計測データはUSB２．０（High Speed）インターフェースを介してPCに取り込まれる。これらの処理はDSP（Digital Signal Processor）に書き込まれたファームウェアによって実現される。サンプリング周波数毎に、各AD変換モジュールから転送される計測データは、DMA（Direct Memory Access）によって、DSP内のメモリに転送される。DSPは、デジタルフィルタ等の追加の信号処理を行い、SDRAMで構成されるFIFO（First In First Out）メモリに計測データを保存する。USB送信バッファが空になると、FIFOメモリから対象の計測データを順次読み込み、PC（USBホスト）に送信する。このようにFIFOメモリを、データ処理とUSB転送処理の間に入れることで、抜けを起こさずに全ての計測データを、PCに転送できるようにした。
図５の（ｃ）に示すように、AD変換によりデジタライズされた計測データはUSB２．０（High Speed）インターフェースを介してPCに取り込まれる。これらの処理はDSP（Digital Signal Processor）に書き込まれたファームウェアによって実現される。サンプリング周波数毎に、各AD変換モジュールから転送される計測データは、DMA（Direct Memory Access）によって、DSP内のメモリに転送される。DSPは、デジタルフィルタ等の追加の信号処理を行い、SDRAMで構成されるFIFO（First In First Out）メモリに計測データを保存する。USB送信バッファが空になると、FIFOメモリから対象の計測データを順次読み込み、PC（USBホスト）に送信する。このようにFIFOメモリを、データ処理とUSB転送処理の間に入れることで、抜けを起こさずに全ての計測データを、PCに転送できるようにした。
【0046】
次に絶縁部について説明する。
図６に示すように、多機能筋電位計測装置３０は、生体活動をモニタリングするための計測装置であるため、安全性についても考慮する必要がある。電極と生体が接触するアナログ部（既述のシグナルコンディショニング部とAD変換部）と、電源やPCへの接続を可能にするデジタル部（既述のデータ転送部）は、電気的に絶縁する仕様とした。アナログ部の駆動電力は、１２V入力から絶縁電源回路により生成される。デジタル部とアナログ部のデータ通信は、デジタルアイソレータを介して行われる。
図６に示すように、多機能筋電位計測装置３０は、生体活動をモニタリングするための計測装置であるため、安全性についても考慮する必要がある。電極と生体が接触するアナログ部（既述のシグナルコンディショニング部とAD変換部）と、電源やPCへの接続を可能にするデジタル部（既述のデータ転送部）は、電気的に絶縁する仕様とした。アナログ部の駆動電力は、１２V入力から絶縁電源回路により生成される。デジタル部とアナログ部のデータ通信は、デジタルアイソレータを介して行われる。
【0047】
次に解析部４０について説明する。
解析部４０（図２参照）は、生体信号から特徴量を抽出し、抽出した特徴量を変換して画像化し嚥下パターン画像を作成し、畳み込みニューラルネットワークを用いて嚥下パターン画像から特徴ベクトルを抽出し、カーネル主成分分析を行う。カーネル主成分分析では、嚥下パターンを識別可能な高次元特徴空間に特徴ベクトルを写像したのち、取り扱い容易な低次元の特徴ベクトルに次元圧縮する（図１４参照）。さらに解析部４０は、次元圧縮された特徴ベクトルから各動作群同士の類似度の一つとして、ユークリッド距離を算出し、算出された前記各動作群同士のユークリッド距離を用いて嚥下パターンの分類精度を評価する。なお、特徴ベクトルは、特徴量の値が組になったものだけではなく、１次元の特徴量（すなわちスカラー）をも含むものとする。
解析部４０（図２参照）は、生体信号から特徴量を抽出し、抽出した特徴量を変換して画像化し嚥下パターン画像を作成し、畳み込みニューラルネットワークを用いて嚥下パターン画像から特徴ベクトルを抽出し、カーネル主成分分析を行う。カーネル主成分分析では、嚥下パターンを識別可能な高次元特徴空間に特徴ベクトルを写像したのち、取り扱い容易な低次元の特徴ベクトルに次元圧縮する（図１４参照）。さらに解析部４０は、次元圧縮された特徴ベクトルから各動作群同士の類似度の一つとして、ユークリッド距離を算出し、算出された前記各動作群同士のユークリッド距離を用いて嚥下パターンの分類精度を評価する。なお、特徴ベクトルは、特徴量の値が組になったものだけではなく、１次元の特徴量（すなわちスカラー）をも含むものとする。
【0048】
次に実験条件について説明する。
被験者は２０代の若年者１５名（男性１３名、女性２名、年齢２１．９±１．２歳、身長１７０．４±５．９cm、体重６３．４±７．７kg、mean±SD）、高齢者１５名（男性９名、女性６名、年齢７０．１±４．５歳、身長１６２．３±７．７cm、体重６１．０±１０．５kg、mean±SD）)の計３０名とした。
被験者は２０代の若年者１５名（男性１３名、女性２名、年齢２１．９±１．２歳、身長１７０．４±５．９cm、体重６３．４±７．７kg、mean±SD）、高齢者１５名（男性９名、女性６名、年齢７０．１±４．５歳、身長１６２．３±７．７cm、体重６１．０±１０．５kg、mean±SD）)の計３０名とした。
【0049】
計測方法は、実験では舌骨上筋群用２２チャンネルフレキシブル電極（センサ部）２０（図２参照）を顎下部に、舌骨下筋群用２２チャンネルフレキシブル電極を前頸部に、GND電極と不関電極を左右の耳朶に、RLD電極を後頚椎にそれぞれ装着した。舌骨上筋群用２２チャンネルフレキシブル電極の装着位置は、下顎の正中線と電極の中心線が一致し、かつ下顎骨に純銀棒の電極が当たらない位置に、舌骨下筋群用２２チャンネルフレキシブル電極の装着位置は、舌骨下筋群電極の上から2番目の電極が甲状軟骨の前方に最も突出している部分に位置し、かつ舌骨上筋群電極と干渉しない位置に、それぞれ規定した。sEMG信号は22チャンネルフレキシブル電極の各電極と一方の耳朶に装着した不関電極との電位差を、もう一方の耳朶に装着したGND電極の電位を基準として差動増幅することによって導出した．なお、事前にエタノール含有綿（サニコットパウチβa、丸三産業株式会社）を用い、電極を装着する顎下部及び前頸部、耳朶、後頸椎の皮脂を除去した．sEMG信号のサンプリング周波数は２０００Hzとした。
【0050】
図７に示すように、計測動作は、２つの嚥下状態を考慮するために、随意嚥下の強さと異なる一回嚥下量を組み合わせた、計４動作を実施した。試料として冷水を使用し、一回嚥下量には１mlと６mlの２種類を設定した。一回嚥下量である１mlは空嚥下を想定した量である。基本的に空嚥下は口腔内に何も含まずに唾液のみで嚥下を行うが、高度に口腔内が乾燥している場合にはそれが原因で空嚥下を行えない場合があることから、口腔内を湿らせることを目的として１mlを使用した。また、６mlは一回嚥下量を増やした際の嚥下パターンの変化を観察するために設定した。事前に高齢者を対象として予備検討を行った結果、１５mlを嚥下できない高齢者がいた。そのため、今回は予備検討の結果を受けて高齢者が１度で嚥下可能な量である６mlを一回嚥下量として設定した。
【0051】
随意嚥下の強さには通常嚥下と努力嚥下の２種類を設定した。努力嚥下は、嚥下機能を改善するための一般的な訓練法である。通常嚥下（努力嚥下ではない嚥下）の際には、被験者には普段ものを飲み込むときと同様に自然に嚥下を行うように指示し、努力嚥下の際には、できるだけ強く飲み込むように指示した（「飲み込むときに喉の筋肉に力を入れてください」と指示）。試料の水はシリンジ（ニプロシリンジ（針なし）２０ml、ニプロ株式会社）を用いて口腔底に挿入し、その後の指示により嚥下を行うこととし、舌で水をすくってから飲み込むまでを計測対象とした。健常者の嚥下には、水や食塊を舌背上に保持した状態から嚥下を行うTipper typeと口腔底に保持し舌ですくい上げてから嚥下を行うDipper typeの２種類が存在し、高齢者はDipper typeの頻度が多いことが知られている。本実験ではTipper typeの場合、試料を挿入してから嚥下の指示までの時間で試料が舌背からこぼれ落ちてしまう可能性や、試料が咽頭へと流入し誤嚥してしまう可能性、また保持によるsEMG信号が観測されてしまう可能性があると考えたため、今回はDipper typeで実験を行った。実験時の姿勢は座位とした。
【0052】
また実験時にはリラックスした状態で嚥下を行うように指示した。一回の計測は安静3秒間の後２秒以内で嚥下し、３秒間安静の計８秒間として、水１mlの通常嚥下（１ml Normal Swallow : NS1）、水１mlの努力嚥下（１ml Effortful swallow : ES1）、水６mlの通常嚥下（６ml Normal Swallow : NS6）、水６mlの努力嚥下 （６ml Effortful swallow : ES6）の順に1動作ずつ行った。この４動作を１セットとし、合計７セットの計測を行った。なお、連続の嚥下による筋肉疲労を考慮し、各動作の間に少なくとも１０秒以上、２セットごとに少なくとも６０秒以上の休息時間をそれぞれ設けた。
【0053】
次に嚥下機能の定量的評価法の流れ（嚥下パターン画像の類似度を用いた嚥下機能評価方法の大まかなフロー。次元圧縮工程、評価工程の詳細。）について説明する。
【0054】
図８に示すように、評価方法のフローは、（１）sEMG信号検出、（２）特徴抽出、（３）嚥下パターンの画像化（特徴量の画像化）、（４）畳み込みニューラルネットワークを用いた特徴ベクトルの作成、（５）カーネル主成分分析による写像と次元圧縮、（６）嚥下予備機能の数値化と嚥下機能評価、の流れとなる。
【0055】
（１）sEMG信号検出は、被験者の所定の皮膚表面に配置したセンサ部で摂食嚥下における生体信号を検出する（生体信号検出工程）。
【0056】
（２）特徴抽出では、解析部で、嚥下パターン画像を作成するための前処理として、データの特性を表現する時間領域と周波数領域の特徴量を計測データから抽出する（特徴量抽出工程）。
【0057】
（３）特徴量の画像化では、抽出した前記特徴量を変換して画像化し嚥下パターン画像を作成する。具体的には、計算した特徴量から解析区間を切り出し、カラーマッピングによって嚥下パターン画像を作成する。なお、嚥下パターン画像は、舌骨上筋群と舌骨下筋群それぞれ１枚ずつ作成する（嚥下パターン画像作成工程）。
【0058】
（４）畳み込みニューラルネットワークを用いた特徴ベクトルの作成では、事前学習済みの畳み込みニューラルネットワークCNNであるAlexNetを特徴抽出器として用いることで、嚥下パターン画像から識別に使用する特徴ベクトルを抽出する（特徴ベクトル抽出工程）。
【0059】
（５）カーネル主成分分析による写像と次元圧縮では、AlexNetから抽出した８１９２次元の特徴ベクトルに対してカーネル主成分分析を行い、線形可能分離な高次元特徴空間に写像された特徴ベクトルを次元圧縮する（次元圧縮工程）。
【0060】
（６）嚥下予備機能の数値化では、カーネル主成分分析により得られた特徴ベクトルから、各動作群同士のユークリッド距離を計算する。すなわち、異なる嚥下条件における嚥下パターン画像の類似度を計算する（画像類似度計算工程）。具体的には、次元圧縮された前記特徴ベクトルから各動作群同士のユークリッド距離を算出し、算出された前記各動作群同士のユークリッド距離を用いて嚥下パターンの分類精度を評価する（評価工程）。
【0061】
また、生体信号検出工程では、生体信号として表面筋電位信号を用いている。さらに、生体信号検出工程では、少なくとも舌骨上筋群と舌骨下筋群の一方の表面筋電位信号を用いている。
【0062】
さらに、嚥下パターン画像作成工程では、時間領域の特徴量と、低次である１次、２次及び３次の周波数領域の前記特徴量を変換して画像化するとともに一方向に並べて１つのフレームとし、フレームを一方向に直交する方向に複数個並べて１枚の嚥下パターン画像を作成する。
【0063】
さらに、評価工程では、各動作群同士のユークリッド距離を、所定の正規用ユークリッド距離で割り、正規化した値を評価指標としている。
【0064】
評価工程では、所定の前記正規用ユークリッド距離は、原点と６ml通常嚥下のユークリッド距離である。
【0065】
次に各処理について詳しく述べる。（１）sEMG信号検出については、前述したので説明を省略する。（２）特徴抽出について説明する。
【0066】
画像化を行う前に舌骨上筋群と舌骨下筋群のsEMG信号から、それぞれ動作に関連した特徴的な信号成分（特徴量）を抽出する。特徴抽出はチャンネルごとに行う。
【0067】
セグメンテーションでは、特徴量の計算では過去nサンプルのsEMG信号を用いる。この際、nサンプル分を１つのフレームとして切り出して計算し、切り出す範囲を一定周期でシフトさせていくフレームシフト方式を用いる。図９の（ａ）は、フレームシフトを行う様子である。なお、フレーム長は１２８ms、シフト周期は１６msである。サンプル数に置き換えると、サンプリング周波数２０００Hzで計測を行ったため、フレーム長は２５６、シフト周期は３２である。
【0068】
特徴量は、本実験では、以下の２つを用いた（図９の（ｂ）を合わせて参照）。
（１）Root Mean Square (RMS)
RMSは時間領域の特徴量であり、sEMG信号の振幅情報を含む。RMSは数式１により求められ、sEMGl,n(p) (n=０，…，N－１)は、電極番号l (l=１，２，…，２２)の、p番目のフレームにおけるn番目のsEMGサンプルの値を示している。なお、フレームのサンプル数Nは２５６である。
（１）Root Mean Square (RMS)
RMSは時間領域の特徴量であり、sEMG信号の振幅情報を含む。RMSは数式１により求められ、sEMGl,n(p) (n=０，…，N－１)は、電極番号l (l=１，２，…，２２)の、p番目のフレームにおけるn番目のsEMGサンプルの値を示している。なお、フレームのサンプル数Nは２５６である。
【0069】
【数1】
【0070】
（２）Cepstrum coefficients (CC)
Cepstrum coefficients (CC) は周波数領域の特徴量であり、sEMG信号のパワースペクトルに関する情報を含む。低次のCCはなだらかな変動（包絡形状）に対応し，高次のCCは細かな変動（微細構造）に対応する。本研究では、パワースペクトルの包絡形状に着目し、低次（１～３）のCCを特徴量として採用する。CCは、数式２によりsEMG信号の離散フーリエ変換Xl k(k=０，…，N－１)を求め、数式３によりCCl n(p)が求められる。
Cepstrum coefficients (CC) は周波数領域の特徴量であり、sEMG信号のパワースペクトルに関する情報を含む。低次のCCはなだらかな変動（包絡形状）に対応し，高次のCCは細かな変動（微細構造）に対応する。本研究では、パワースペクトルの包絡形状に着目し、低次（１～３）のCCを特徴量として採用する。CCは、数式２によりsEMG信号の離散フーリエ変換Xl k(k=０，…，N－１)を求め、数式３によりCCl n(p)が求められる。
【0071】
【数2】
【0072】
【数3】
【0073】
時系列信号のスペクトル解析を行う際には、その前に窓関数をかけるのが一般的である。これはセグメンテーションを行ったデータに対して、フーリエ変換による信号のパワースペクトルを計算する場合に、信号の両端が不連続になるなどすると、信号の周期性が完全に満足されていない場合、元の信号が本来持っていなかった周波数にパワーが生じるためである。そこでCCの計算の際には、数式４に示すハニング窓をセグメンテーション後に適応し、信号の不連続性の問題の解消を行っている。
【0074】
【数4】
【0075】
平滑化は、フレーム間の変動を抑えるため、数式５と数式６のような移動平均を行いRMSとCCを平滑化した。ここでpはフレーム番号、Mは移動平均点数である。なお、移動平均点数Mは１０フレームである。
【0076】
【数5】
【0077】
【数6】
【0078】
次に（３）特徴量の画像化について説明する。
sEMG信号から抽出した特徴量を用いて、舌骨上筋群と舌骨下筋群それぞれで嚥下パターン画像の作成を行う。以下に特徴量の画像化方法を述べる。
sEMG信号から抽出した特徴量を用いて、舌骨上筋群と舌骨下筋群それぞれで嚥下パターン画像の作成を行う。以下に特徴量の画像化方法を述べる。
【0079】
図１０の（ａ）に示すように、解析区分の設定では、安静状態から水を舌ですくい、咽頭へ送り込み、嚥下反射によって水を安全に食道へ送り込むまでの一連の筋活動、すなわち、嚥下の始まりから終わりまでと嚥下前後の安静状態を含めたsEMG信号を解析対象としている。嚥下は、わずか１秒程度もしくはそれ以下で行われる一瞬の動作である。そこで、嚥下を行う動作区間は個人差を考慮し２秒間、安静状態である無動作区間は嚥下の前後でそれぞれ０．５秒間を想定し、これらを合わせた３秒間（６０４８サンプル）を画像化に用いる解析区間とした。また数式７より、６０４８サンプルから１８２個のフレーム（p=１，２，…，１８２）が得られる。
【0080】
【数7】
【0081】
特徴量の正規化では、画像化に用いる特徴量であるRMSとCCとでは値のスケールが異なる。そのため、もし同じスケールでカラーマップによる画像化を行った場合にはスケールの大きい方のデータの影響を大きく受けてしまい、必然的にスケールの小さなデータは分解能が低くなり、結果として濃淡が少なく情報量が少ない画像となってしまう。そこでこの問題を解決するために画像化を行う前に、それぞれ学習データの最小値と最大値を用いて正規化を行う。ただし、この方法では外れ値が存在する場合には、その値に大きな影響を受けてしまう。そこで本研究では各値を降順に並べ、上位１００個の値の平均値を正規化に用いる最大値に、下位１００個の値の平均値を正規化に用いる最小値とした。またCCにおいては次数によっても値のスケール（変動範囲）が異なる。そのため、同一のスケールで画像化を行った際に、各次数の変化を高い分解能で表現することができない。そこでCCの正規化を行う際には、最小値をゼロに合わせるようなベースラインの調整を行った。具体的な手順としては、初めに各次数の値を降順に並べ下位１００個の値の平均値を求める。
【0082】
図１０の（ｂ）に示すように、各次数の値から下位１００個の値の平均値を引くことでCC１～CC３の最小値を合わせる。最後に計算後の各値を降順に並べ、上位１００個の値の平均値を正規化に用いる最大値に、下位１００個の値の平均値を正規化に用いる最小値とした。これにより、次数間の相対的な変化を考慮しつつ、高い分解能で各次数の値の変化を表現することができる。
【0083】
図１０の（ｃ）に示すように、カラーマップによる画像化は、画像化の際には６０４８サンプルを含む解析区間から抽出された、「８８次元の特徴ベクトル×１８２フレーム」が１枚の画像として画像化する。特徴量は１チャンネルにつきRMSが１次元、CCが３次元分得られるため、２２チャンネルのsEMG信号を使用する場合、合計８８次元となる。
【0084】
初めに、各１２８msのフレームから抽出されたRMSとCCで構成される特徴ベクトルをカラーマップに変換し画像化する。次に１８２個の特徴ベクトルから作成されたカラーマップを並べることにより、嚥下パターン画像を作成する。最後に、画像認識に用いるために２２７×２２７pixelのサイズに画像をリサイズする。また、画像のカラーはMATLAB（登録商標）の関数colormapのjetにより決定した。jetではRGBの各色の強度が［0，1］の範囲で定義されており、RMS、CC両方の最大値が［R,G,B］=［0.5，0，0］、最小値が［R,G,B］=［0，0，0.5625］、にそれぞれ対応している。
【0085】
畳み込みニューラルネットワークを用いたベクトルの作成について説明する。
画像化の後、事前学習済みのCNNを特徴抽出器として用いることによって、作成された嚥下パターン画像から特徴ベクトルを抽出する。特徴ベクトルの抽出は、舌骨上筋群と舌骨下筋群それぞれ個別に行う。以下にCNNの構造と特徴抽出器としての転用方法について述べる。
画像化の後、事前学習済みのCNNを特徴抽出器として用いることによって、作成された嚥下パターン画像から特徴ベクトルを抽出する。特徴ベクトルの抽出は、舌骨上筋群と舌骨下筋群それぞれ個別に行う。以下にCNNの構造と特徴抽出器としての転用方法について述べる。
【0086】
畳み込みニューラルネットワーク（Convolutional Neural Network：CNN）は畳み込み層とプーリング層という特別な２種類の層を含む順伝播型のネットワークであり、画像認識の分野において優れた性能を示している深層学習の手法の一つである。
【0087】
図１１の（ａ）に示すように、CNNの典型的な構造であり、入力側から出力側へ向けて、畳み込み層（convolution layer）とプーリング層（pooling layer）がペアでこの順に並び、このペアが複数回繰り返される。また、畳み込み層とプーリング層の後に、正規化層を挿入することもある。畳み込み層とプーリング層の繰り返しの後には、隣接層間のユニットが全結合した全結合層（fully-connected layer）が配置される。最後の出力層は、クラス分類を目的とする場合にはソフトマックス層が配置される。以下に畳み込み層、プーリング層、全結合層についてそれぞれ述べる。
【0088】
畳み込み層では、画像の畳み込みは、フィルタの濃淡パターンと類似した濃淡パターンが入力画像上のどこにあるかを検出する働きがある。つまり、フィルタが表す特徴的な濃淡構造を、画像から抽出する働きである。
【0089】
図１１の（ｂ）に示すように、畳み込み層の基本構造では、入力は縦横のサイズがS×S画素のN枚の画像の形（S×S×N）をとる。最初の入力層では、チャンネル数は入力画像がグレースケールならN＝１、カラーならRGB計３枚でN＝３である。それ以降の中間層では、直前の畳み込み層の出力チャンネル数～Nと一致する。以下では、S×S×Nの入力をxijk((i, j, k)∈[0, S－1]×[0, S－1]×[1,N])とする。
【0090】
畳み込み層ではこの入力にフィルタを畳み込む計算を行う。これは、一般的な画像処理でのフィルタの畳み込み、すなわち小サイズの画像を入力画像に２次元的に畳み込んで、画像をぼかしたり、あるいはエッジを強調したりするものと基本的に同じである。
【0091】
具体的には、入力（図１１（ｂ）の（ａ））のサイズS×S画素の各チャンネル（図１１（ｂ）の（ａ）のN枚のk番目）ごとにL×Lのサイズの２次元フィルタ（図１１（ｂ）の（ｂ）のN枚のk番目）を畳み込み、その結果を全Nチャンネルに渡って加算する（図１１（ｂ）の（ｃ））のが一般的である。この計算の結果は１チャンネルの画像の形式uijをとる（図１１（ｂ）の（ｄ））。uijはフィルタをwijk((i, j, k)∈[0, L－1]×[0, L－1]×[1,N])と書くと、数式８のように計算される。
【0092】
【数8】
【0093】
ただし、ρijは画像中の画素(i, j)を頂点とするサイズL×L画素の正方領域、数式９である。
【0094】
【数9】
【0095】
数式８の最後のbkはバイアスで、チャンネルkごとに全出力ノード間で同一とする（つまりbijk＝bk）ことが多い。なおフィルタを全画素でなく、数画素間隔で適用することもある。すなわち、ある画素数sについて、数式８のρijを、数式１０
【0096】
【数10】
【0097】
とし、ρp－i,q－j,kをρp－si,q－sj,kと置き換えてuijを計算する。この場合、出力層のノード数は入力層の（１／s）２倍になる。この画素間隔sをストライドと呼び、入力サイズが大きい時、ネットワークのサイズが大きくなりすぎるのを避けるため、２以上のsを選ぶことがある。ただし、その場合、特徴を取りこぼすことに繋がり、一般に性能は低下する傾向にある。このように計算されたuijは，その後活性化関数a（・）を経て（図１１（ｂ）の（ｅ））、畳み込み層の出力（図１１（ｂ）の（ｆ））、数式１１
【0098】
【数11】
【0099】
となる。これにより、一つのフィルタwijkにつき、入力xijkと縦横サイズが同じS×Sの１チャンネルの出力yijを得る。同様のフィルタをN’個用意し、S×S×N’のサイズyijk((i, j, k)∈[0, S－1]×[0, S－1]×[1,N’])を得る。これは次の層への入力（つまり今の層でのxijk）となる。図１１の（ｂ）は、N’個あるフィルタのうちの一つについての計算に相当する。以上の計算は、特殊な形での層間ノードが結ばれた単相ネットワークとして表現できる。具体的には、上位層の各ノードは、下位層のノードの一部のみと結合し、さらにその結合の重みは各ノード間で共通となる構造である。前者の結合の様子を受容野が局所的であると言い、後者の共通構造を重みの共有と呼ぶ。
【0100】
プーリング層では、畳み込み層で抽出された特徴の位置感度を若干低下させることで、対象とする特徴量の画像内での位置が若干変化した場合でも、プーリング層の出力が不変になるようにする。プーリングを行うプーリング層は畳み込み層と対で使われ、基本的には畳み込みの出力がこの層への入力となる、したがって、その入力はやはり、S×S×N の形をとる。プーリング層の目的は、プーリングすなわち画像のどの位置でフィルタの応答が強かったかという情報を一部捨てて、画像内に現れる特徴の微小な位置変化に対する応答の不変性を実現することにある。
【0101】
プーリング層のノード（i, j）は、畳み込み層と同様に、その入力側の層に局所受容野ρijを持つ。このノード（i, j）の出力はρijの内部のノード（p, q）∈ρijの出力ypqを後述の方法で集約したものである。なおρijのサイズは、畳み込み層のフィルタサイズとは通常無関係に設定される。また入力が複数チャンネルある場合、チャンネルごとに以上の処理を独立して行うのが一般的である。つまり、畳み込み層の出力チャンネル数とプーリング層の出力チャンネルは一致する。通常このプーリング層の処理は画像の縦横（i, j）方向に間引いて行う。つまり２以上のストライドsを設定する。sとρijのサイズによっては、隣接する出力ノードの受容野ρijが互いに重なり合うこともある。こうして、プーリング層の出力ノード数は入力ノード数の１／s２倍となる。
【0102】
受容野ρij内のノードからの入力をまとめて一つの値に集約する方法にはいくつかある。平均プーリングとはρijに属するノードからの入力の平均をこのノードの出力とする方法である（数式１２）。
【0103】
【数12】
【0104】
最大プーリングとはρijに属するノードからの入力の最大値を出力とする（数式１３）。
【0105】
【数13】
【0106】
また，両者の中間的存在としてLpプーリングがある（数式１４）。
【0107】
【数14】
【0108】
これらの計算は、平均プーリングを除いて通常のノードの入出力関係では表現できないものの、基本的には畳み込み層同様に単層のネットワークとして表現できる。また、畳み込み層と違ってプーリング層には、学習によって変化する重みがない。さらにプーリング層では活性化関数を使用しないのが普通である。
【0109】
全結合層は隣接層間のノードをすべて結合した層である。通常、CNNでは出力層付近に全結合層が１層以上配置される。
【0110】
次に特徴抽出器としての転用と特徴ベクトルの作成（（４）畳み込みニューラルネットワークを用いた特徴ベクトルの作成）について説明する。
CNNを含む多層のNNが学習する特徴はその層構造に対応した階層性を持ち、下位層の特徴ほど普遍性を持ち、上位層の特徴ほどタスク依存性が高くなる。つまり、下位層の特徴は異なるタスク間で共有される。この性質から、ある認識タスクに対し多層NNが学習した特徴を別の認識タスクに転用することが可能であるとされている。転用の方法には、「ネットワークのFine-tuning」と「特徴抽出器としての利用」の２つがある。
CNNを含む多層のNNが学習する特徴はその層構造に対応した階層性を持ち、下位層の特徴ほど普遍性を持ち、上位層の特徴ほどタスク依存性が高くなる。つまり、下位層の特徴は異なるタスク間で共有される。この性質から、ある認識タスクに対し多層NNが学習した特徴を別の認識タスクに転用することが可能であるとされている。転用の方法には、「ネットワークのFine-tuning」と「特徴抽出器としての利用」の２つがある。
【0111】
事前学習されたCNNには、AlexNetやVGG、GoogLeNet、ResNetなど多数のネットワークがあるが、今回はその中で識別性能が高く、最もネットワーク構造が簡単なAlexNetを事前学習されたCNNとして用いた。
【0112】
図１２の（ａ）に示すように、AlexNetは、５つの畳み込み層と３つのプーリング層、２つの正規化層、３つの全結合層から構成されている。ImageNetのデータセット１２０万枚を用いて学習、５万枚を用いて検証、１５万枚を用いてテストされており、画像をキーボードやマウス、コーヒーカップ、鉛筆、犬などの１０００個のカテゴリに識別することができる。
【0113】
図１２の（ｂ）に示すように、AlexNetを特徴抽出器として転用し、全結合層のfc6層の出力（４０９６次元）を特徴ベクトルとして用いた。
【0114】
舌骨上筋群と舌骨下筋群の特徴ベクトルの連結について説明する。
sEMG信号の画像化、そして作成された嚥下パターン画像からの特徴ベクトルの抽出は舌骨上筋群と舌骨下筋群それぞれ個別に行ってきた。しかし、嚥下は舌骨上筋群と舌骨下筋群の協調運動によって行われる運動である。そのため、嚥下運動を評価する際にはどちらか片方の筋群のみを用いて評価するのではなく、舌骨上筋群と舌骨下筋群の両方の筋群のsEMG信号を用いて評価を行うことで、双方の特徴を考慮した評価を行うことができる。図１３に示すように、本発明では、事前学習されたCNNのfc6層から抽出された、舌骨上筋群と舌骨下筋群の４０９６次元の各特徴ベクトルを連結することで、８１９２次元の特徴ベクトルを作成し、これを１動作分の特徴ベクトルとした。
sEMG信号の画像化、そして作成された嚥下パターン画像からの特徴ベクトルの抽出は舌骨上筋群と舌骨下筋群それぞれ個別に行ってきた。しかし、嚥下は舌骨上筋群と舌骨下筋群の協調運動によって行われる運動である。そのため、嚥下運動を評価する際にはどちらか片方の筋群のみを用いて評価するのではなく、舌骨上筋群と舌骨下筋群の両方の筋群のsEMG信号を用いて評価を行うことで、双方の特徴を考慮した評価を行うことができる。図１３に示すように、本発明では、事前学習されたCNNのfc6層から抽出された、舌骨上筋群と舌骨下筋群の４０９６次元の各特徴ベクトルを連結することで、８１９２次元の特徴ベクトルを作成し、これを１動作分の特徴ベクトルとした。
【0115】
特許文献１の方法では、画像から得られた特徴ベクトルを用いて、SVMによる嚥下パターン識別が可能であることが開示されている。これは、特徴ベクトルにカーネル関数を使用することで線形分離可能な高次元特徴空間へと写像できることを意味している。ただし、この高次元特徴空間は、一般に無限次元となるため、各動作群同士の特徴ベクトルの角度や距離などを算出することは難しい。そこで、高次元特徴空間に写像しつつ、取り扱いが容易な低次元の特徴ベクトルへと次元圧縮する方法として、カーネル主成分分析（kernel principal component analysis : KPCA）に着目した（（５）カーネル主成分分析による写像と次元圧縮について）。
【0116】
図１４に示すように、通常の主成分分析（principal component analysis : PCA）が線形データに対する次元圧縮法であるのに対して、KPCAは非線形データに対する次元圧縮法である。KPCAでは非線形変換φ(x)によって一度高次元空間へと写像した後に、その特徴空間においてPCAを行うことで主成分を得るため、非線形なデータに対しても適用可能である。本研究では、KPCAの処理を全被験者、全データの特徴ベクトルに対して適用し、特徴ベクトルの高次元空間への写像と次元圧縮を図った。以下にKPCAの計算手順と、カーネル関数のハイパーパラメータ、使用する主成分数の探索について述べる。
【0117】
次にカーネル主成分分析について説明する。
D次元ベクトルのデータセットを｛xｉ｝とする。元のD次元特徴空間からM次元特徴空間（M≫D）への非線形変換φ(x)を仮定すると、各データ点xｉは点φ(xｉ)へと投影される。この新しい特徴空間において通常のPCAを行うことができるが、非常にコストがかかり、非効率的である。そこでカーネル関数を使用することにより計算を簡略化できる。はじめに、投影後の特徴量の平均が０となるように中心化されていると仮定する（数式１５）。
D次元ベクトルのデータセットを｛xｉ｝とする。元のD次元特徴空間からM次元特徴空間（M≫D）への非線形変換φ(x)を仮定すると、各データ点xｉは点φ(xｉ)へと投影される。この新しい特徴空間において通常のPCAを行うことができるが、非常にコストがかかり、非効率的である。そこでカーネル関数を使用することにより計算を簡略化できる。はじめに、投影後の特徴量の平均が０となるように中心化されていると仮定する（数式１５）。
【0118】
【数15】
【0119】
このとき投影された特徴量のM×Mの共分散行列は、次式で計算される（数式１６）。
【0120】
【数16】
【0121】
その固有値λｋと固有ベクトルvｋはk＝１、２、…、Mに対して、次式で定義される（数式１７）。
【0122】
【数17】
【0123】
数式１６、と数式１７より固有ベクトルvｋは数式１８、
【0124】
【数18】
【0125】
を満たすことがわかる。それゆえ、（λｋ>０を仮定して）ベクトルvｋはのφ(xｉ)線形結合で与えられ、数式１９のように書かれる。
【0126】
【数19】
【0127】
数式１８のvｋを数式１９で置き換えると、数式２０が得られる。
【0128】
【数20】
【0129】
ここで、数式２１でカーネル関数を定義し（数式２１）、
【0130】
【数21】
【0131】
数式２０の両辺にφ(xｌ)Ｔをかけることで数式２２を得る。
【0132】
【数22】
【0133】
【数23】
【0134】
【数24】
【0135】
ただし、aｋはaｋｉのN次元列ベクトルである（数式２５）。
【0136】
【数25】
【0137】
aｋは数式２６を解くことにより得られる。
【0138】
【数26】
【0139】
結果として得られるカーネル主成分の射影はカーネル関数により表すことができる。点xの固有ベクトルk上への射影は次式によって計算される（数式２７）。
【0140】
【数27】
【0141】
もし投影されたデータセット｛φ(xｉ)｝の平均が０でない場合、グラム行列K~を使用することで、カーネル行列Kを置き換えることができる。グラム行列K~は数式２８で与えられる。
【0142】
【数28】
【0143】
ここで１Ｎはすべての要素が１／Ｎという値をとるＮ×Ｎ行列である。カーネル関数の利点はφ(xｉ)を計算する必要がなく、データセット｛xｉ｝から直接カーネル行列を求めることができる点である。本発明ではカーネル関数には、前術同様にRBFカーネルを使用した。γはカーネルパラメータである（数式２９）。
【0144】
【数29】
【0145】
次にカーネルパラメータの探索について説明する。
KPCAでは使用するカーネル関数によってハイパーパラメータの設定が必要である。本研究ではカーネル関数に、前述同様にRBFカーネルを使用しており、設定するべきハイパーパラメータはγの１種類である。KPCAではこのハイパーパラメータの設定により結果が大きく異なることが予想されるため、ハイパーパラメータの選択は非常に重要となる。そこで本研究では、最適なγの探索を、γ＝｛2－23，2－21，…，2－11｝の７通りに対して試行錯誤的に行った。
KPCAでは使用するカーネル関数によってハイパーパラメータの設定が必要である。本研究ではカーネル関数に、前述同様にRBFカーネルを使用しており、設定するべきハイパーパラメータはγの１種類である。KPCAではこのハイパーパラメータの設定により結果が大きく異なることが予想されるため、ハイパーパラメータの選択は非常に重要となる。そこで本研究では、最適なγの探索を、γ＝｛2－23，2－21，…，2－11｝の７通りに対して試行錯誤的に行った。
【0146】
次に最適な主成分数の探索について説明する。
KPCAでは、KPCAに使用したデータ数iと同じ数の主成分yを得ることができる。KPCAを用いた解析においては、どの主成分を使用するか、つまり何次元まで特徴量を圧縮するかも非常に重要となる。そのため解析に使用する主成分数についても探索を行った。本発明では、KPCAに用いる特徴ベクトルは５８８０サンプル（被験者数３０×データ数７×動作数４×画像増幅率７）×８１９２次元であり、数式２４と数式２９より５８８０×５８８０のカーネル行列Kが得られる。カーネル行列Kを固有値分解すると、５８８０個の固有値λｋと５８８０×５８８０の固有ベクトルａｋが得られ、最大で５８８０個の主成分が得られる。そこで、図１５に示すように、ここでは固有値λｋ着目し、降順に並び替えた固有値λｋの値の変位が大きい範囲（第６００主成分まで）に対して、主成分数＝｛３，１０，５０，１００，４００，６００，５８８０｝の７通りで試行錯誤的に行った。
KPCAでは、KPCAに使用したデータ数iと同じ数の主成分yを得ることができる。KPCAを用いた解析においては、どの主成分を使用するか、つまり何次元まで特徴量を圧縮するかも非常に重要となる。そのため解析に使用する主成分数についても探索を行った。本発明では、KPCAに用いる特徴ベクトルは５８８０サンプル（被験者数３０×データ数７×動作数４×画像増幅率７）×８１９２次元であり、数式２４と数式２９より５８８０×５８８０のカーネル行列Kが得られる。カーネル行列Kを固有値分解すると、５８８０個の固有値λｋと５８８０×５８８０の固有ベクトルａｋが得られ、最大で５８８０個の主成分が得られる。そこで、図１５に示すように、ここでは固有値λｋ着目し、降順に並び替えた固有値λｋの値の変位が大きい範囲（第６００主成分まで）に対して、主成分数＝｛３，１０，５０，１００，４００，６００，５８８０｝の７通りで試行錯誤的に行った。
【0147】
次に（６）嚥下予備能の数値化について説明する。
嚥下予備能を定量的に評価するために、各嚥下条件における特徴ベクトルの類似度を評価することによって嚥下予備能を数値化する。一般的に類似度は角度、距離、相関等で表される。図１６の（ａ）、（ｂ）に示すように、本発明では、類似度を各特徴ベクトルの差、つまりユークリッド距離として表現することで、嚥下予備能を数値化した。また、特徴空間上で距離を求める際には、距離測定方法以外に各動作群の位置を決定する必要がある。そこで各動作群の位置は、外れ値の影響を考慮するため各動作群のデータの中央値とし、ユークリッド距離の計算は被験者ごとに行った。本発明では嚥下条件を変化させたときの類似度の違いを見るために、以下の３条件、合計６つのユークリッド距離について検討した。
嚥下予備能を定量的に評価するために、各嚥下条件における特徴ベクトルの類似度を評価することによって嚥下予備能を数値化する。一般的に類似度は角度、距離、相関等で表される。図１６の（ａ）、（ｂ）に示すように、本発明では、類似度を各特徴ベクトルの差、つまりユークリッド距離として表現することで、嚥下予備能を数値化した。また、特徴空間上で距離を求める際には、距離測定方法以外に各動作群の位置を決定する必要がある。そこで各動作群の位置は、外れ値の影響を考慮するため各動作群のデータの中央値とし、ユークリッド距離の計算は被験者ごとに行った。本発明では嚥下条件を変化させたときの類似度の違いを見るために、以下の３条件、合計６つのユークリッド距離について検討した。
【0148】
（ａ）随意嚥下の強さを変化させた場合のユークリッド距離
（１）１ml通常嚥下と１ml努力嚥下（NS1 - ES1）
（２）６ml通常嚥下と６ml努力嚥下（NS6 - ES6）
（ｂ）一回嚥下量を変化させた場合のユークリッド距離
（３）１ml通常嚥下と６ml通常嚥下（NS1 - NS6）
（４）１ml努力嚥下と６ml努力嚥下（ES1 - ES6）
（ｃ）随意嚥下の強さと一回嚥下量の両方を変化させた場合のユークリッド距離
（５）１ml通常嚥下と６ml努力嚥下（NS1 - ES6）
（６）６ml通常嚥下と１ml努力嚥下（NS6 - ES1）
（１）１ml通常嚥下と１ml努力嚥下（NS1 - ES1）
（２）６ml通常嚥下と６ml努力嚥下（NS6 - ES6）
（ｂ）一回嚥下量を変化させた場合のユークリッド距離
（３）１ml通常嚥下と６ml通常嚥下（NS1 - NS6）
（４）１ml努力嚥下と６ml努力嚥下（ES1 - ES6）
（ｃ）随意嚥下の強さと一回嚥下量の両方を変化させた場合のユークリッド距離
（５）１ml通常嚥下と６ml努力嚥下（NS1 - ES6）
（６）６ml通常嚥下と１ml努力嚥下（NS6 - ES1）
【0149】
さらに、動作群同士のユークリッド距離の計算後、個人差を考慮するために、任意のユークリッド距離により正規化を行った。この際、新たに数式３０で表される評価指標Dを定義した。
【0150】
【数30】
【0151】
また、正規化に用いる任意のユークリッド距離についても、他のパラメータと同様に探索を行った。正規化用のユークリッド距離は、以下の合計１０個のユークリッド距離について試行錯誤的に探索した。
【0152】
（ａ）随意嚥下の強さを変化させた場合のユークリッド距離
（１）１ml通常嚥下と１ml努力嚥下（NS1 - ES1）
（２）６ml通常嚥下と６ml努力嚥下（NS6 - ES6）
（ｂ）一回嚥下量を変化させた場合のユークリッド距離
（３）１ml通常嚥下と６ml通常嚥下（NS1 - NS6）
（４）１ml努力嚥下と６ml努力嚥下（ES1 - ES6）
（ｃ）随意嚥下の強さと一回嚥下量の両方を変化させた場合のユークリッド距離
（５）１ml通常嚥下と６ml努力嚥下（NS1 - ES6）
（６）６ml通常嚥下と１ml努力嚥下（NS6 - ES1）
（ｄ）原点と各動作群とのユークリッド距離
（７）原点Oと１ml通常嚥下（NS1）
（８）原点Oと６ml通常嚥下（NS6）
（９）原点Oと１ml努力嚥下（ES1）
（１０）原点Oと６ml努力嚥下（ES6）
（１）１ml通常嚥下と１ml努力嚥下（NS1 - ES1）
（２）６ml通常嚥下と６ml努力嚥下（NS6 - ES6）
（ｂ）一回嚥下量を変化させた場合のユークリッド距離
（３）１ml通常嚥下と６ml通常嚥下（NS1 - NS6）
（４）１ml努力嚥下と６ml努力嚥下（ES1 - ES6）
（ｃ）随意嚥下の強さと一回嚥下量の両方を変化させた場合のユークリッド距離
（５）１ml通常嚥下と６ml努力嚥下（NS1 - ES6）
（６）６ml通常嚥下と１ml努力嚥下（NS6 - ES1）
（ｄ）原点と各動作群とのユークリッド距離
（７）原点Oと１ml通常嚥下（NS1）
（８）原点Oと６ml通常嚥下（NS6）
（９）原点Oと１ml努力嚥下（ES1）
（１０）原点Oと６ml努力嚥下（ES6）
【0153】
次に本発明の手法の評価と各パラメータの決定方法について説明する。
本発明の手法の評価はt検定によって行う。若年者と高齢者との間で評価指標Dに対してt検定を行い、有意差が表れるかを検証する。有意差が出た場合、それは年齢の変化に伴う嚥下機能の変化を評価できていることを意味する。さらに、評価指標DとRSST、最大舌圧を合わせた8項目と年齢、評価指標DとRSST、評価指標Dと最大舌圧との関係を調べるために、それぞれで相関係数を求めた。
本発明の手法の評価はt検定によって行う。若年者と高齢者との間で評価指標Dに対してt検定を行い、有意差が表れるかを検証する。有意差が出た場合、それは年齢の変化に伴う嚥下機能の変化を評価できていることを意味する。さらに、評価指標DとRSST、最大舌圧を合わせた8項目と年齢、評価指標DとRSST、評価指標Dと最大舌圧との関係を調べるために、それぞれで相関係数を求めた。
【0154】
また、探索を行うパラメータである、ハイパーパラメータγ、使用する主成分数、正規化に用いるユークリッド距離の最適な値についてもt検定の結果を用いて決定することとした。評価指標Dのうち、随意嚥下の強さを変化させたとき、一回嚥下量を変化させたとき、のそれぞれで有意差があり、かつ最も有意差の出る評価指標Dの数が多いパラメータの組み合わせを嚥下機能評価に最適なパラメータとした。
【0155】
次に結果について説明する。
全被験者の舌骨上筋群と舌骨下筋群の各嚥下条件の嚥下パターン画像の一例を図１７に示す。最適化したパラメータを図１８に示す。ハイパーパラメータγは、γ＝｛2－23，2－21，…，2－15｝の範囲で結果に大きな差が見られなかったため、前述における最適なγの値であるγ＝2－15を最適なパラメータとして採用した。最適な主成分数は３、正規化用のユークリッド距離は原点Oと６ml通常嚥下（NS6）のユークリッド距離であった。図１８のγと主成分数を用いて計算された、正規化を行う前の年齢層ごとの動作群同士のユークリッド距離を図１９の（ａ）に、t検定におけるP値を図１９の（ｂ）に示す。また、正規化後の年齢層ごとの評価指標Dを図２０の（ａ）に、t検定におけるP値を図２０の（ｂ）に示す。正規化前の動作群同士のユークリッド距離には若年者と高齢者の間に有意差は見られなかった。一方、原点Oと６ml通常嚥下（NS6）のユークリッド距離を用いて各動作群同士のユークリッド距離を正規化することにより、|NS1－ES1|/|NS6|、|NS6－ES6|/|NS6|、|NS1－NS6|/|NS6|、|NS1－ES6|/|NS6|、|NS6－ES1|/|NS6|、の５つの評価指標Dで有意差が見られた。
全被験者の舌骨上筋群と舌骨下筋群の各嚥下条件の嚥下パターン画像の一例を図１７に示す。最適化したパラメータを図１８に示す。ハイパーパラメータγは、γ＝｛2－23，2－21，…，2－15｝の範囲で結果に大きな差が見られなかったため、前述における最適なγの値であるγ＝2－15を最適なパラメータとして採用した。最適な主成分数は３、正規化用のユークリッド距離は原点Oと６ml通常嚥下（NS6）のユークリッド距離であった。図１８のγと主成分数を用いて計算された、正規化を行う前の年齢層ごとの動作群同士のユークリッド距離を図１９の（ａ）に、t検定におけるP値を図１９の（ｂ）に示す。また、正規化後の年齢層ごとの評価指標Dを図２０の（ａ）に、t検定におけるP値を図２０の（ｂ）に示す。正規化前の動作群同士のユークリッド距離には若年者と高齢者の間に有意差は見られなかった。一方、原点Oと６ml通常嚥下（NS6）のユークリッド距離を用いて各動作群同士のユークリッド距離を正規化することにより、|NS1－ES1|/|NS6|、|NS6－ES6|/|NS6|、|NS1－NS6|/|NS6|、|NS1－ES6|/|NS6|、|NS6－ES1|/|NS6|、の５つの評価指標Dで有意差が見られた。
【0156】
次に考察について述べる。正規化前の動作群同士のユークリッド距離の各動作の組み合わせに着目すると、どちらの年齢層においても随意嚥下の強さを変化させた時（NS1-ES1，NS6-ES6）や、随意嚥下の強さと一回嚥下量の両方を変化させた時（NS1- ES6，NS6-ES1）ではユークリッド距離が大きく、一回嚥下量を変化させた時（NS1-NS6，ES1-ES6）はユークリッド距離が小さかった。これは、随意嚥下の強さの変化は意図的に嚥下パターンを変化させているためにユークリッド距離が大きくなり、一方で一回嚥下量の変化は反射運動によるものなのでユークリッド距離が小さいと考えられ、嚥下パターンが異なるほどユークリッド距離が大きくなる傾向が見られた。
【0157】
しかし、若年者と高齢者の間で動作群同士のユークリッド距離に有意差は見られず、ユークリッド距離からでは嚥下予備能の違いを評価できないことがわかった。この理由としては、今回実験を行う際に全ての被験者に対して同一の多チャンネル電極を用いてsEMG信号の計測を行ったため、被験者によって各電極と筋肉との位置関係が異なっていることや、電極サイズと顎下形状・大きさの相対関係などの個人差を考慮できていないためだと考えられる。そのため個人差をどのように考慮するかが重要であり、ここでは原点とNS6のユークリッド距離を用いて各動作群同士のユークリッド距離の正規化を行い、新しい評価指標Dを用いた。これにより同一のユークリッド距離を基準として他のユークリッド距離を表現することができ、個人間での比較が行えるようになったため、随意嚥下の強さを変化させた時（|NS1－ES1|/|NS6|，|NS6－ES6|/|NS6|）、一回嚥下量を変化させた時（|NS1－NS6|/|NS6|）、随意嚥下の強さと一回嚥下量の両方を変化させた時（|NS1－ES6|/|NS6|，|NS6－ES1|/|NS6|）の５つの評価指標Dで有意差が見られたと考えられる。各動作の組み合わせに着目すると、随意嚥下を変化させた場合では、評価指標Dは舌での送り込み強さの違いを表しており、加齢によって変化することがわかる。また一回嚥下量が１ml から６mlに変化した場合でも有意差が見られた。一方、一回嚥下量を変化させた場合では、評価指標Dは一回嚥下量に対する喉頭などの対応力を表しており、加齢によって変化することがわかる。また、各年齢層の評価指標Dの値の大きさに着目すると、６つの全ての動作の組み合わせにおいて若年者の方が高齢者よりも評価指標Dが小さく、若年者は嚥下予備能があると仮定することで評価指標Dが小さいほど嚥下予備能があると考えられる。このことから、嚥下予備能が高ければ評価指標Dが小さく、逆に嚥下予備能が低ければ評価指標Dが大きくなるというように、嚥下予備能の違いを評価指標Dの大きさによって評価できる可能性が示された。
【0158】
次に年齢と評価指標Dの相関関係について着目すると、随意嚥下の強さを変化させた時（NS1－ES1，NS6－ES6）や随意嚥下の強さと一回嚥下量の両方を変化させた時（NS1－ES6，ES1－NS6）では弱い相関が見られたのに対して、一回嚥下量を変化させた時（NS1－NS6，ES1－ES6）では相関が見られなかったことから、加齢による能力の低下は、一回嚥下量変えるような反射性の不随意運動の能力の変化よりも、随意嚥下の強さを変えるような随意運動の能力の変化に表れやすい傾向にあると考えられる。ただし、一回嚥下量を変化させた時に関しては、若年者の場合、一回に少なくとも２０ml以上の水を嚥下することが可能であり、１mlと６mlという僅か５mlの差であれば嚥下パターンを大きく変えなくても、余力を残しての嚥下を行えていた可能性がある。さらにRSSTや最大舌圧と評価指標Dとの関係を比較すると、随意嚥下の強さや一回嚥下量の変化に対して相関が見られなかった。このことから本研究で定量化した評価指標Dに基づく評価では、従来のスクリーニング検査であるRSSTや舌圧とは異なる視点で嚥下予備能を評価しており、従来技術では検出できない嚥下機能低下を検出できる可能性がある。
【0159】
以上の結果から、嚥下パターンの類似度はKPCAによって高次元空間へと写像、次元圧縮された特徴ベクトルのユークリッド距離から計算された評価指標Dによって表され、若年者と高齢者の評価指標Dには有意差があり、評価指標Dの大きさによって加齢に伴う嚥下予備能の変化を定量的に評価できる可能性が示唆された。
【0160】
以上の述べた嚥下パターン画像の類似度を用いた嚥下機能評価方法及びそのシステムの作用・効果について説明する。
【0161】
本発明の実施例に係る嚥下パターン画像の類似度を用いた嚥下機能評価方法では、生体信号検出工程、嚥下パターン画像作成工程、画像類似度計算工程、評価工程を備えている。嚥下パターン画像作成工程では、検出した生体信号にフィルタ処理、変換処理、特徴抽出などの前処理を行ったうえ、モノクロ画像、グレースケール画像、カラー画像などの画像を少なくとも１枚作成する。画像は複数枚あってもよいし、２次元グラフや３次元グラフなどでもよい。画像類似度計算工程では、例えば、画像を特徴ベクトルに変換し、異なる嚥下条件における特徴ベクトルの角度や距離等を計算し、画像の類似度を数値化する。類似度には、コサイン類似度、ユークリッド距離、ハミング距離、マハラノビス距離、マンハッタン距離、ピアソンの相関係数、チェビシェフ距離、ミンコフスキー距離などがある。また、MSE(Mean Square Error)、PSNR(Peak Signal to Noise Ratio)、SSIM(structural similarity index measure)などの画像の類似度の評価法もある。評価工程では、画像の類似度から嚥下機能を評価する指標を作成し、個々人の嚥下機能を評価する。このため、被験者に所定の嚥下条件で数回ずつ計測すれば十分であり、機械学習を用いることなく、嚥下予備能の変化を定量的にかつ日常的に把握できる安全で簡便な嚥下機能価方法とすることができる。
【0162】
さらに、生体信号として表面筋電位信号を用いているので、例えば筋電センサを用いて簡便に計測することができる。
【0163】
さらに、生体信号検出工程では、少なくとも舌骨上筋群生体信号と舌骨下筋群生体信号の一方の表面筋電位信号を用いるだけで済むので、より簡便に計測することができる。なお、片方の筋電位信号から作成した１枚の画像から、同様の嚥下機能評価を実施することは可能である。
【0164】
さらに、嚥下パターン画像作成工程では、特徴抽出等の前処理を行った生体信号を画像化して少なくとも１枚の嚥下パターン画像を作成する。例えば、嚥下の始まりから終わりまでの表面筋電位（sEMG）信号の振幅情報、周波数情報、時間－周波数情報、立ち上がりのタイミング、筋肉の活動時間などの嚥下運動に関与する複数のパラメータを画像上に表現することができる。また、多点同時計測を行うので、他の筋肉との違いも画像上に表現することができる。さらに、この画像を用いて嚥下条件による嚥下パターンの違いを検出するので、嚥下条件に伴って飲み込み方を変えられる能力（嚥下予備能）の定量評価を実現することができる。
【0165】
さらに、カーネル関数を用いて特徴ベクトルを線形分離可能な無限次元特徴空間に写像したのち、主成分分析を用いて次元圧縮することで、学習データを要する予測モデル生成を行うことなく、嚥下パターン識別精度に関連した情報を、画像の類似度という形で抽出できる。
【0166】
さらに、各動作群同士の前記特徴ベクトルの角度や距離等を、所定の基準値で正規化し、得られた値を評価指標としているので、筋走行に対する電極位置の違いや、電極装着位置の皮下組織の組成（例えば脂肪厚）の違い、嚥下諸器官の筋力の違い、嚥下の癖等、ベースラインを整えることで、個人差を吸収することができる。
【0167】
さらに、解析部で、次元圧縮された特徴ベクトルから各動作群同士の角度や距離等を算出し、算出された各動作群同士の角度や距離等を用いて嚥下パターンの変化量を評価するので、機械学習による嚥下パターン分類（すなわち予測モデル作成と動作識別の過程）を用いる必要がない。このため、被験者に所定の嚥下条件で数回ずつ計測すれば十分であり、嚥下予備能の変化を定量的にかつ日常的に把握できる安全で簡便な嚥下機能価システムとすることができる。
【0168】
尚、実施例では、舌骨上筋群用筋電センサ及び舌骨下筋群筋電センサをアレイ状の電極としたが、等間隔に整列したアレイ状でなくても、少なくとも１チャンネル以上の電極を備えていればよい。また、上述の説明や図中において、適宜、摂食嚥下を意味する部分でも嚥下と記載する部分を有する。
【0169】
また、画像の類似度の比較として、実施例では一回嚥下量と嚥下強度を嚥下パターン変化量の対象としたが、これに限定されず、一回嚥下量の違いに対する嚥下パターン変化量、総嚥下量（一回の嚥下ではなく、所謂ごくごくを対象）の違いに対する嚥下パターン変化量、嚥下方法（通常嚥下や努力嚥下の強さ、あるいは飲み込む速さ、飲み込む姿勢等）の違いに対する嚥下パターン変化量、嚥下物の物性（粘度、大きさ、硬さ、テクスチャー、液体、個体、液体個体混合、温度等）の違いに対する嚥下パターン変化量、疲労度（ある動作前と動作後）の違いに対する嚥下パターン変化量、食事の場所や時間、姿勢など食事条件や環境の違いに対する嚥下パターン変化量、でもよく画像の類似度を比較できれば嚥下パターン変化量の形態はいずれであってもよい。
【0170】
また、嚥下パターン画像は、上筋群は上筋群の画像、下筋群は下筋群の画像というように合計２枚の画像を用いているが、あわせて１枚にしても良く、逆に全部で４枚などに増やしてもよい。また、実施例ではカーネル主成分分析を用いて特徴ベクトルを次元圧縮したうえで、その類似度を特徴ベクトルの角度や距離などで数値化したが、これに限定されず、画像から抽出した特徴量ベクトルをそのまま角度や距離計算に用いてもよい。また、カーネル主成分分析ではなく、通常の主成分分析などの次元圧縮手法を用いて、特徴ベクトルの類似度を特徴ベクトルの角度や距離などで数値化してもよい。
【0171】
なお、実施例では、生体信号検出工程で生体信号として表面筋電位信号を用いて画像としたが、これに限定されず、嚥下音などの生体音、喉頭運動、筋の硬さやボリューム変化、筋音、嚥下諸器官の運動に関する生体信号情報などを画像にしてもよい。さらには、これらを組み合わせて複数の嚥下パターン画像としてもよい。また、実施例では、嚥下パターン画像作成工程で、生体信号の振幅の時間領域の特徴量、周波数成分の周波数領域の特徴量、又は時間－周波数領域の特徴量をカラーマップに変換して画像化したが、これに限定されず、生データをそのまま画像にしてもよく、どの特徴量を一つ選択して使ってもよい。
【0172】
即ち、本発明の作用及び効果を奏する限りにおいて、本発明は、実施例に限定されるものではない。
【産業上の利用可能性】
【0173】
本発明は、被験者の生体信号から深層学習を用いて、嚥下予備能の変化を定量的にかつ日常的に把握する嚥下機能評価技術に好適である。
【符号の説明】
【0174】
１０…嚥下機能評価システム、２０…センサ部、２１…舌骨上筋群用筋電センサ（２２チャンネルフレキシブル電極）、２１ａ…電極、２２…舌骨下筋群用筋電センサ（２２チャンネルフレキシブル電極）、２２ａ…電極、３０…多機能筋電位計測装置、４０…解析部（動作学習・識別部、PC）、６０…被験者。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】