ホーム > 特許ランキング > 国立大学法人岩手大学
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-08-31
(45)【発行日】2022-09-08
(54)【発明の名称】嚥下機能評価装置による評価方法及び嚥下機能評価装置
(51)【国際特許分類】
A61B 5/397 20210101AFI20220901BHJP
A61B 5/11 20060101ALI20220901BHJP
A61B 5/296 20210101ALI20220901BHJP
【ＦＩ】
A61B5/397
A61B5/11 310
A61B5/296
【請求項の数】
5
(21)【出願番号】P 2018105082
(22)【出願日】2018-05-31
(65)【公開番号】P2019208629
(43)【公開日】2019-12-12
【審査請求日】2021-05-14
【新規性喪失の例外の表示】特許法第３０条第２項適用 １．平成２９年１２月２日発行，第５１回日本生体医工学会東北支部大会講演論文集，第１３頁，日本生体医工学会東北支部 ２．平成２９年１２月２日に開催された、第５１回日本生体医工学会東北支部大会にて発表
(73)【特許権者】
【識別番号】504165591
【氏名又は名称】国立大学法人岩手大学
(74)【代理人】
【識別番号】100098545
【弁理士】
【氏名又は名称】阿部 伸一
(74)【代理人】
【識別番号】100087745
【弁理士】
【氏名又は名称】清水 善廣
(74)【代理人】
【識別番号】100106611
【弁理士】
【氏名又は名称】辻田 幸史
(74)【代理人】
【識別番号】100189717
【弁理士】
【氏名又は名称】太田 貴章
(72)【発明者】
【氏名】佐々木 誠
(72)【発明者】
【氏名】鈴木 雅大
(72)【発明者】
【氏名】中居 志紀也
【審査官】▲瀬▼戸井 綾菜
(56)【参考文献】
【文献】特開２００５－３０４８９０（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１１／０２４５６２２（ＵＳ，Ａ１）
【文献】特開２０１８－８７１（ＪＰ，Ａ）
【文献】特開２０１２－２３２０６５（ＪＰ，Ａ）
【文献】特開２０１４－１６８４９０（ＪＰ，Ａ）
【文献】特開２０１５－１００３８２（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ５／０５－５／０５３８
Ａ６１Ｂ ５／０６－５／３９８
Ｇ０６Ｎ ３／００－３／１２
Ｇ０６Ｎ ７／０８－９９／００
(57)【特許請求の範囲】
【請求項1】
少なくとも嚥下開始から嚥下終了までの生体信号を検出し、検出した前記生体信号から特徴量を抽出し、機械学習を用いて前記特徴量から嚥下状態を識別して嚥下機能を評価する嚥下機能評価装置による評価方法であって、喉頭部に干渉せず、かつ下顎底部奥に存在する左右の茎突舌骨筋を計測できるような逆Ｖ字形状に舌骨上筋群用電極を配置して表面筋電位信号を検出する舌骨上筋群用多チャンネル電極と、
喉頭隆起の動きに干渉せず、かつ左右の甲状舌骨筋、肩甲舌骨筋、胸骨舌骨筋、及び胸骨甲状筋を計測できるようなＵ字形状に舌骨下筋群用電極を配置して表面筋電位信号を検出する舌骨下筋群用多チャンネル電極と
を用い、
前記生体信号として、前記舌骨上筋群用多チャンネル電極からの舌骨上筋群生体信号と、前記舌骨下筋群用多チャンネル電極からの舌骨下筋群生体信号とを用い、
前記舌骨上筋群生体信号と前記舌骨下筋群生体信号とから前記特徴量を抽出する
ことを特徴とする嚥下機能評価装置による評価方法。
【請求項2】
少なくとも前記嚥下開始から前記嚥下終了までの前記表面筋電位信号から前記特徴量を抽出し、抽出した前記特徴量を画像ファイルに変換し、
画像認識を行うことで前記嚥下状態を識別する
ことを特徴とする請求項１に記載の嚥下機能評価装置による評価方法。
【請求項3】
前記画像認識をディープラーニングにより行うことを特徴とする請求項２に記載の嚥下機能評価装置による評価方法。
【請求項4】
前記機械学習に用いる学習用生体信号として、異なる装着位置で検出した複数の前記生体信号を用いることを特徴とする請求項１から請求項３のいずれか１項に記載の嚥下機能評価装置による評価方法。
【請求項5】
少なくとも嚥下開始から嚥下終了までの生体信号を検出し、検出した前記生体信号から特徴量を抽出し、機械学習を用いて前記特徴量から嚥下状態を識別して嚥下機能を評価する嚥下機能評価装置であって、喉頭部に干渉せず、かつ下顎底部奥に存在する左右の茎突舌骨筋を計測できるような逆Ｖ字形状に舌骨上筋群用電極を配置して表面筋電位信号を検出する舌骨上筋群用多チャンネル電極と、
喉頭隆起の動きに干渉せず、かつ左右の甲状舌骨筋、肩甲舌骨筋、胸骨舌骨筋、及び胸骨甲状筋を計測できるようなＵ字形状に舌骨下筋群用電極を配置して表面筋電位信号を検出する舌骨下筋群用多チャンネル電極と、
制御器と
を備え、
前記制御器は、
前記舌骨上筋群用多チャンネル電極からの舌骨上筋群生体信号及び前記舌骨下筋群用多チャンネル電極からの舌骨下筋群生体信号から前記特徴量を抽出する特徴抽出部と、
抽出した前記特徴量を画像ファイルに変換し、ディープラーニングによる画像認識を行うことで前記嚥下状態を識別する動作識別部と
を有することを特徴とする嚥下機能評価装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、機械学習を用いて嚥下状態を識別して嚥下機能を評価する嚥下機能評価装置による評価方法及び嚥下機能評価装置に関する。
【背景技術】
【0002】
摂食・嚥下は食物を認知して口に運び、口腔内で咀嚼し、咽頭、食道を通り胃まで運ぶ一連の動作であり、先行期、準備期、口腔期、咽頭期、食道期の５期に分けられる。嚥下はこの5期の中の口腔期から食道期までを指し、随意運動と反射運動が共存する複雑な生理機構によって実現される。随意嚥下は主に口腔内によって食物を咀嚼し咽頭に導くことを指し、反射運動は食物が咽頭を通過する際のことを指している。嚥下反射は延髄にある中枢パターン生成器（ＣＰＧ：central pattern generator）により再現性の高いパターン運動となっており、嚥下の可否は、口腔運動の問題の有無や嚥下反射の破綻が大きく関与している。一方、ＣＰＧによるパターン化はなされているものの、嚥下には様々なバリエーションがあり、一回嚥下量（食物の量）や食物の物性値に合わせて、舌骨や喉頭などの嚥下諸器官の動きや、嚥下に関与する各筋の活動パターンが変化することが報告されている。なお、変化することは知られているが、その変化量は個人差が大きいことから、その変化量から逆向きに嚥下の条件を推定する手法は確立されていない。
このように「飲み込み方を変えられる能力」は、窒息や誤嚥を引き起こさないための、嚥下予備能（食物に対する対応力）と考えられている。しかし、脳血管障害や神経筋疾患、加齢による筋力や感覚機能、認知機能等の低下などが原因で、嚥下予備能は低下し、窒息・誤嚥のリスクが高まることが知られている。嚥下機能低下時には、舌骨・喉頭位の下垂、それに伴う舌骨や喉頭の挙上量や前方移動量の減少、喉頭挙上速度の低下による喉頭挙上の遅れ、嚥下反射惹起の遅延などが生じる。また、これらの嚥下諸器官の機能評価は、X線透視下で食塊や舌骨・喉頭の運動を観察する嚥下造影検査を用いるのが一般的であるが、放射線被爆や造影剤誤嚥のリスクがあり、医療機関での反復的な検査や在宅医療での利用、さらには日常生活における定期的な評価には不向きである。
厚生労働省の人口動態統計年報によると、平成２８年度の我が国の死因第３位は「肺炎」であり、その死亡者１１万９，３００人の約半数は「嚥下障害による誤嚥性肺炎」が原因とされている。したがって、高齢者の健康寿命を延伸するためにも、嚥下予備能を安全かつ簡便に評価し、自覚困難な嚥下機能の低下やフレイルの高齢者（嚥下障害予備軍）を早期発見する新しい技術が必要とされている。
発明者は、舌骨上筋群の多チャンネル表面筋電図を用いた顎口腔運動の推定法を提案している（特許文献１）。
特許文献１によれば、舌の随意運動だけでなく、嚥下の検出も可能である。
このように「飲み込み方を変えられる能力」は、窒息や誤嚥を引き起こさないための、嚥下予備能（食物に対する対応力）と考えられている。しかし、脳血管障害や神経筋疾患、加齢による筋力や感覚機能、認知機能等の低下などが原因で、嚥下予備能は低下し、窒息・誤嚥のリスクが高まることが知られている。嚥下機能低下時には、舌骨・喉頭位の下垂、それに伴う舌骨や喉頭の挙上量や前方移動量の減少、喉頭挙上速度の低下による喉頭挙上の遅れ、嚥下反射惹起の遅延などが生じる。また、これらの嚥下諸器官の機能評価は、X線透視下で食塊や舌骨・喉頭の運動を観察する嚥下造影検査を用いるのが一般的であるが、放射線被爆や造影剤誤嚥のリスクがあり、医療機関での反復的な検査や在宅医療での利用、さらには日常生活における定期的な評価には不向きである。
厚生労働省の人口動態統計年報によると、平成２８年度の我が国の死因第３位は「肺炎」であり、その死亡者１１万９，３００人の約半数は「嚥下障害による誤嚥性肺炎」が原因とされている。したがって、高齢者の健康寿命を延伸するためにも、嚥下予備能を安全かつ簡便に評価し、自覚困難な嚥下機能の低下やフレイルの高齢者（嚥下障害予備軍）を早期発見する新しい技術が必要とされている。
発明者は、舌骨上筋群の多チャンネル表面筋電図を用いた顎口腔運動の推定法を提案している（特許文献１）。
特許文献１によれば、舌の随意運動だけでなく、嚥下の検出も可能である。
【先行技術文献】
【特許文献】
【0003】
【文献】特許第５９２４７２４号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかし、特許文献１では、飲み込み方を変えられる能力（嚥下予備能）、例えば、随意嚥下と一回嚥下量の違い（嚥下反射の違い)などを正確に評価することは困難である。これは、喉頭蓋の反転による喉頭閉鎖など、嚥下時に重要な役割を担う舌骨・喉頭の挙上が、舌骨上筋群の活動と、それに対する舌骨下筋群の反射性の活動で緻密に制御されているにも関わらず、舌骨上筋群の筋活動しか着目していないためである。
【0005】
本発明は、随意嚥下の強さや一回嚥下量の違い、食物や食塊の物性値（硬さ、粘度、温度、液体、個体など）の違いなど、嚥下状態の違いや誤嚥の有無・種類（顕性誤嚥、不顕性誤嚥、嚥下前誤嚥、嚥下中誤嚥、嚥下後誤嚥など）・リスク（喉頭流入など）を判別できる嚥下機能評価装置による評価方法及び嚥下機能評価装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
請求項１記載の本発明の嚥下機能評価装置による評価方法は、少なくとも嚥下開始から嚥下終了までの生体信号を検出し、検出した前記生体信号から特徴量を抽出し、機械学習を用いて前記特徴量から嚥下状態を識別して嚥下機能を評価する嚥下機能評価装置による評価方法であって、喉頭部に干渉せず、かつ下顎底部奥に存在する左右の茎突舌骨筋を計測できるような逆Ｖ字形状に舌骨上筋群用電極を配置して表面筋電位信号を検出する舌骨上筋群用多チャンネル電極１１と、喉頭隆起の動きに干渉せず、かつ左右の甲状舌骨筋、肩甲舌骨筋、胸骨舌骨筋、及び胸骨甲状筋を計測できるようなＵ字形状に舌骨下筋群用電極を配置して表面筋電位信号を検出する舌骨下筋群用多チャンネル電極１２とを用い、前記生体信号として、前記舌骨上筋群用多チャンネル電極１１からの舌骨上筋群生体信号と、前記舌骨下筋群用多チャンネル電極１２からの舌骨下筋群生体信号とを用い、前記舌骨上筋群生体信号と前記舌骨下筋群生体信号とから前記特徴量を抽出することを特徴とする。
請求項２記載の本発明は、請求項１に記載の嚥下機能評価装置による評価方法において、少なくとも前記嚥下開始から前記嚥下終了までの前記表面筋電位信号から前記特徴量を抽出し、抽出した前記特徴量を画像ファイルに変換し、画像認識を行うことで前記嚥下状態を識別することを特徴とする。
請求項３記載の本発明は、請求項２に記載の嚥下機能評価装置による評価方法において、前記画像認識をディープラーニングにより行うことを特徴とする。
請求項４記載の本発明は、請求項１から請求項３のいずれか１項に記載の嚥下機能評価特徴抽出部法において、前記機械学習に用いる学習用生体信号として、異なる装着位置で検出した複数の前記生体信号を用いることを特徴とする。
請求項５記載の本発明の嚥下機能評価装置は、少なくとも嚥下開始から嚥下終了までの生体信号を検出し、検出した前記生体信号から特徴量を抽出し、機械学習を用いて前記特徴量から嚥下状態を識別して嚥下機能を評価する嚥下機能評価装置であって、喉頭部に干渉せず、かつ下顎底部奥に存在する左右の茎突舌骨筋を計測できるような逆Ｖ字形状に舌骨上筋群用電極を配置して表面筋電位信号を検出する舌骨上筋群用多チャンネル電極１１と、喉頭隆起の動きに干渉せず、かつ左右の甲状舌骨筋、肩甲舌骨筋、胸骨舌骨筋、及び胸骨甲状筋を計測できるようなＵ字形状に舌骨下筋群用電極を配置して表面筋電位信号を検出する舌骨上筋群用多チャンネル電極１１と、制御器４０とを備え、前記制御器４０は、前記舌骨上筋群用多チャンネル電極１１からの舌骨上筋群生体信号、及び前記舌骨下筋群用多チャンネル電極１２からの舌骨下筋群生体信号から前記特徴量を抽出する特徴抽出部４１と、抽出した前記特徴量を画像ファイルに変換し、ディープラーニングによる画像認識を行うことで前記嚥下状態を識別する動作識別部とを有することを特徴とする。
請求項２記載の本発明は、請求項１に記載の嚥下機能評価装置による評価方法において、少なくとも前記嚥下開始から前記嚥下終了までの前記表面筋電位信号から前記特徴量を抽出し、抽出した前記特徴量を画像ファイルに変換し、画像認識を行うことで前記嚥下状態を識別することを特徴とする。
請求項３記載の本発明は、請求項２に記載の嚥下機能評価装置による評価方法において、前記画像認識をディープラーニングにより行うことを特徴とする。
請求項４記載の本発明は、請求項１から請求項３のいずれか１項に記載の嚥下機能評価特徴抽出部法において、前記機械学習に用いる学習用生体信号として、異なる装着位置で検出した複数の前記生体信号を用いることを特徴とする。
請求項５記載の本発明の嚥下機能評価装置は、少なくとも嚥下開始から嚥下終了までの生体信号を検出し、検出した前記生体信号から特徴量を抽出し、機械学習を用いて前記特徴量から嚥下状態を識別して嚥下機能を評価する嚥下機能評価装置であって、喉頭部に干渉せず、かつ下顎底部奥に存在する左右の茎突舌骨筋を計測できるような逆Ｖ字形状に舌骨上筋群用電極を配置して表面筋電位信号を検出する舌骨上筋群用多チャンネル電極１１と、喉頭隆起の動きに干渉せず、かつ左右の甲状舌骨筋、肩甲舌骨筋、胸骨舌骨筋、及び胸骨甲状筋を計測できるようなＵ字形状に舌骨下筋群用電極を配置して表面筋電位信号を検出する舌骨上筋群用多チャンネル電極１１と、制御器４０とを備え、前記制御器４０は、前記舌骨上筋群用多チャンネル電極１１からの舌骨上筋群生体信号、及び前記舌骨下筋群用多チャンネル電極１２からの舌骨下筋群生体信号から前記特徴量を抽出する特徴抽出部４１と、抽出した前記特徴量を画像ファイルに変換し、ディープラーニングによる画像認識を行うことで前記嚥下状態を識別する動作識別部とを有することを特徴とする。
【発明の効果】
【0007】
本発明の嚥下機能評価装置による評価方法によれば、舌骨上筋群と舌骨下筋群とで制御されている舌骨・喉頭の挙上やそれに伴う喉頭蓋の反転や喉頭閉鎖などを高い識別率で推定でき、随意嚥下の強さや一回嚥下量の違い、食物や食塊の物性値の違いなど、嚥下状態の違いや誤嚥の有無・種類・リスク、さらには個人に適した嚥下条件などを正確に評価できる。
【図面の簡単な説明】
【0008】
【図1】舌骨上筋群と舌骨下筋群を示す説明図
【図2】本発明の一実施例による嚥下機能評価装置の全体構成図
【図3】同嚥下機能評価装置に用いる多チャンネル電極の外観を示す写真
【図4】同嚥下機能評価装置に用いる筋電アンプボックスの回路構成図
【図5】同嚥下機能評価装置に用いる時系列データによる嚥下運動推定アルゴリズムの概略図
【図6】フレームシフトを行う様子を示す図
【図7】同嚥下機能評価装置に用いる画像認識による嚥下運動推定アルゴリズムの概略図
【図8】一例として高速フーリエ変換により得られた特徴量を基に画像化した表面筋電位信号の写真
【図9】画像サイズを８×８、プーリング範囲２×２とした時の最大プーリングの例を示す図
【図10】本実施例で用いた事前学習済み畳み込みニューラルネットワーク（Convolutional Neural Network：ＣＮＮ）であるＡｌｅｘ Ｎｅｔの構造を示す説明図
【図11】ＣＮＮを特徴抽出器としてＳＶＭで識別する方法を示す説明図
【図12】Ｆｉｎｅ－ｔｕｎｉｎｇされたＣＮＮにより識別する方法を示す説明図
【図13】実験に用いた多チャンネル電極の電極配置とチャンネル番号の関係を示す図
【図14】実際に装着した様子を示す写真
【図15】実験での計測動作を示す図
【図16】一人分の識別率の算出方法の一例を示す図
【図17】２動作識別を行う際の識別動作の組み合わせを示す図
【図19】各特徴量抽出方法によって作成された１動作分の画像を示す写真
【図20】解析条件を示す図
【図21】各特徴抽出方法によって作成された画像を使用し、学習・識別を行った時の識別結果を示すグラフ
【図22】識別器が識別精度に与える影響を検討する上での解析条件を示す図
【図23】各識別器で学習・識別を行った時の識別率を示すグラフ
【図24】舌骨上筋群と舌骨下筋群との特徴量を合成する場合の構造を示す図
【図25】舌骨上筋群と舌骨下筋群を１枚の画像に画像化する方法を示す図
【図26】使用電極による識別率の検討に用いる解析条件を示す図
【図27】使用電極毎の識別率の結果を示すグラフ
【図28】舌骨上筋群と舌骨下筋群の識別率の検討に用いる解析条件を示す図
【図29】２２チャンネルにおける舌骨上筋群と舌骨下筋群の２動作識別の結果を示すグラフ
【図30】平均識別率によって得られた結果の有効性の検証結果を示す図
【図31】１６チャンネルにおける舌骨上筋群と舌骨下筋群の２動作識別の結果を示すグラフ
【発明を実施するための形態】
【0009】
本発明の第１の実施の形態による嚥下機能評価装置による評価方法は、喉頭部に干渉せず、かつ下顎底部奥に存在する左右の茎突舌骨筋を計測できるような逆Ｖ字形状に舌骨上筋群用電極を配置して表面筋電位信号を検出する舌骨上筋群用多チャンネル電極と、喉頭隆起の動きに干渉せず、かつ左右の甲状舌骨筋、肩甲舌骨筋、胸骨舌骨筋、及び胸骨甲状筋を計測できるようなＵ字形状に舌骨下筋群用電極を配置して表面筋電位信号を検出する舌骨下筋群用多チャンネル電極とを用い、生体信号として、舌骨上筋群用多チャンネル電極からの舌骨上筋群生体信号と、舌骨下筋群用多チャンネル電極からの舌骨下筋群生体信号とを用い、舌骨上筋群生体信号と舌骨下筋群生体信号とから特徴量を抽出するものである。本実施の形態によれば、舌骨上筋群と舌骨下筋群とで制御されている舌骨・喉頭の挙上やそれに伴う喉頭蓋の反転や喉頭閉鎖などを高い識別率で推定でき、随意嚥下の強さや一回嚥下量の違い、食物や食塊の物性値の違いなど、嚥下状態の違いや誤嚥の有無・種類・リスク、さらには個人に適した嚥下条件などを正確に評価できる。
【0011】
本発明の第２の実施の形態は、第１の実施の形態による嚥下機能評価装置による評価方法において、少なくとも嚥下開始から嚥下終了までの表面筋電位信号から特徴量を抽出し、抽出した特徴量を画像ファイルに変換し、画像認識を行うことで嚥下状態を識別するものである。本実施の形態によれば、画像認識によって識別率を高めることができる。
【0012】
本発明の第３の実施の形態は、第２の実施の形態による嚥下機能評価装置による評価方法において、画像認識をディープラーニングにより行うものである。本実施の形態によれば、識別率を高めることができ、随意嚥下や嚥下反射を正確に評価できる。
【0013】
本発明の第４の実施の形態は、第１から第３のいずれかの実施の形態による嚥下機能評価装置による評価方法において、機械学習に用いる学習用生体信号として、異なる装着位置で検出した複数の生体信号を用いるものである。本実施の形態によれば、嚥下機能評価を行う際に必要となる電極装着直後のキャリブレーション作業を行うことなく正確な評価を行える。
【0014】
本発明の第５の実施の形態による嚥下機能評価装置は、喉頭部に干渉せず、かつ下顎底部奥に存在する左右の茎突舌骨筋を計測できるような逆Ｖ字形状に舌骨上筋群用電極を配置して表面筋電位信号を検出する舌骨上筋群用多チャンネル電極と、喉頭隆起の動きに干渉せず、かつ左右の甲状舌骨筋、肩甲舌骨筋、胸骨舌骨筋、及び胸骨甲状筋を計測できるようなＵ字形状に舌骨下筋群用電極を配置して表面筋電位信号を検出する舌骨下筋群用多チャンネル電極と、制御器とを備え、制御器は、舌骨上筋群用多チャンネル電極からの舌骨上筋群生体信号及び舌骨下筋群用多チャンネル電極からの舌骨下筋群生体信号から特徴量を抽出する特徴抽出部と、抽出した特徴量を画像ファイルに変換し、ディープラーニングによる画像認識を行うことで嚥下状態を識別する動作識別部とを有するものである。本実施の形態によれば、舌骨上筋群と舌骨下筋群とで制御されている舌骨・喉頭の挙上や反射運動を高い識別率で推定でき、随意嚥下や嚥下反射を正確に評価できる。
【実施例】
【0015】
以下本発明の実施例について図面とともに説明する。
図１は、舌骨上筋群と舌骨下筋群を示す説明図である。
嚥下に要する時間は口腔期と咽頭期をあわせ１～１．５秒と言われ、このわずかな時間に、１）口唇の閉鎖、２）舌による食塊の咽頭への移送、３）鼻咽腔閉鎖、４）下顎の閉口位での固定、５）喉頭の挙上と喉頭蓋の反転による喉頭閉鎖、６）喉頭の前方移動による咽頭下部の開大、７）声門閉鎖と呼気圧の上昇、８）食道入口部の括約筋の弛緩、などが決められた順序で連続的に起こる。
これらの動作に大きく関わるのが図１に示す舌骨上筋群と舌骨下筋群である。舌骨上筋群はオトガイ舌骨筋、顎舌骨筋、顎二腹筋、茎突舌骨筋から構成される。舌骨上筋群が収縮することにより舌骨と喉頭を前上方へと挙上する。舌骨下筋群は、甲状舌骨筋、肩甲舌骨筋、胸骨舌骨筋、胸骨甲状筋から構成される。舌骨上筋群の反射運動により甲状舌骨筋が収縮することで喉頭を最高位へと引き上げる。これらの運動により、喉頭蓋が反転し、喉頭を閉鎖するとともに食道入口部を開大し、誤嚥や窒息を起こすことなく安全に食塊を食道へと通過させる。これらの筋肉の機能を解明することは嚥下予備能の評価にもつながる。
図１は、舌骨上筋群と舌骨下筋群を示す説明図である。
嚥下に要する時間は口腔期と咽頭期をあわせ１～１．５秒と言われ、このわずかな時間に、１）口唇の閉鎖、２）舌による食塊の咽頭への移送、３）鼻咽腔閉鎖、４）下顎の閉口位での固定、５）喉頭の挙上と喉頭蓋の反転による喉頭閉鎖、６）喉頭の前方移動による咽頭下部の開大、７）声門閉鎖と呼気圧の上昇、８）食道入口部の括約筋の弛緩、などが決められた順序で連続的に起こる。
これらの動作に大きく関わるのが図１に示す舌骨上筋群と舌骨下筋群である。舌骨上筋群はオトガイ舌骨筋、顎舌骨筋、顎二腹筋、茎突舌骨筋から構成される。舌骨上筋群が収縮することにより舌骨と喉頭を前上方へと挙上する。舌骨下筋群は、甲状舌骨筋、肩甲舌骨筋、胸骨舌骨筋、胸骨甲状筋から構成される。舌骨上筋群の反射運動により甲状舌骨筋が収縮することで喉頭を最高位へと引き上げる。これらの運動により、喉頭蓋が反転し、喉頭を閉鎖するとともに食道入口部を開大し、誤嚥や窒息を起こすことなく安全に食塊を食道へと通過させる。これらの筋肉の機能を解明することは嚥下予備能の評価にもつながる。
【0016】
本実施例による嚥下機能評価法は、少なくとも嚥下開始から嚥下終了までの生体信号を検出し、検出した生体信号から特徴量を抽出し、機械学習を用いて特徴量から嚥下状態を識別して嚥下機能を評価する。誤嚥には、嚥下前誤嚥や嚥下後誤嚥があり、無意識に流入する場合や咳き込む場合もあり、嚥下開始前や嚥下終了後についても生体信号を検出することで、嚥下機能評価を行うことができる。
本実施例による嚥下機能評価法は、舌骨上筋群と舌骨下筋群の協調運動に着目し、表面筋電位信号から随意嚥下の強さや、一回嚥下量の変化による嚥下パターンの違いを識別するものである。嚥下パターンを識別し、得られる識別率は、その値が大きいほど筋活動パターンの再現性が高いこと、そして、物性値や量に対して嚥下パターンを変えられることを表している。したがって、識別率が高ければ、嚥下予備能があると定義した。一方、識別率が低い場合この時は、嚥下予備能がない場合と、識別性能が不十分である、という２つの原因が考えられる。そこで、識別性能が不十分という原因を取り除くために、嚥下予備能が高いと仮定できる健常者に対して高い識別精度で識別できるような識別方法を開発する必要がある。
本実施例による嚥下機能評価法は、舌骨上筋群と舌骨下筋群の協調運動に着目し、表面筋電位信号から随意嚥下の強さや、一回嚥下量の変化による嚥下パターンの違いを識別するものである。嚥下パターンを識別し、得られる識別率は、その値が大きいほど筋活動パターンの再現性が高いこと、そして、物性値や量に対して嚥下パターンを変えられることを表している。したがって、識別率が高ければ、嚥下予備能があると定義した。一方、識別率が低い場合この時は、嚥下予備能がない場合と、識別性能が不十分である、という２つの原因が考えられる。そこで、識別性能が不十分という原因を取り除くために、嚥下予備能が高いと仮定できる健常者に対して高い識別精度で識別できるような識別方法を開発する必要がある。
【0017】
図２は本発明の一実施例による嚥下機能評価装置の全体構成図である。
本実施例による嚥下機能評価装置は、舌骨上筋群用多チャンネル電極１１（１０）、舌骨下筋群用多チャンネル電極１２（１０）、筋電アンプボックス（筋電計）２０、ＡＤ／ＤＡ変換器３０、制御器４０から構成される。
本実施例による嚥下機能評価装置は、舌骨上筋群用多チャンネル電極１１（１０）、舌骨下筋群用多チャンネル電極１２（１０）、筋電アンプボックス（筋電計）２０、ＡＤ／ＤＡ変換器３０、制御器４０から構成される。
【0018】
筋電アンプボックス２０とＡＤ／ＤＡ変換器３０とは、舌骨上筋群と舌骨下筋群の２種類の計測を行うため２台ずつ使用する。なお、筋電アンプボックス２０及びＡＤ／ＤＡ変換器３０は１台で構成してもよい。
表面筋電位信号は、耳朶に貼りつけた基準電極１３と多チャンネル電極１０を構成する各電極との電位差を、もう片方の耳朶に貼りつけたＧＮＤ電極１４を基準に差動増幅することで計測した。検出された表面筋電位信号は、筋電アンプボックス２０を介して２０５２倍に増幅され、ＡＤ／ＤＡ変換器３０へ取り込まれる。なお、多チャンネル電極１０の一部の電極を基準電極１３やＧＮＤ電極１４として用いてもよく、多チャンネル電極１０と共に基準電極１３やＧＮＤ電極１４を設けてもよく、必ずしも耳朶に貼り付けなくてもよい。基準電極１３やＧＮＤ電極１４を多チャンネル電極１０と共に設ける場合には、舌骨上筋群用多チャンネル電極１１側でも舌骨下筋群用多チャンネル電極１２側の少なくともいずれか一方に設ける。
データの収集で用いるＡＤ／ＤＡ変換器３０は、ＮＩ ＵＳＢ－６２１８（NATIONAL INSTRUMENTS）を用いた。ＡＤ／ＤＡ変換器３０は、アナログ入力（１６ビット、２５０ｋＳ／秒、３２ｃｈ）、アナログ出力（１６ビット、２５０ｋＳ／秒、２ｃｈ）、８デジタル入力、８デジタル出力、２つの３２ビットカウンタ機能を搭載している。本研究ではアナログ入力を用いてデータ採取を行う。
また、２台のＡＤ／ＤＡ変換器３０を同期させることで舌骨上筋群と舌骨下筋群の２種類の計測を同時に行う。
表面筋電位信号は、耳朶に貼りつけた基準電極１３と多チャンネル電極１０を構成する各電極との電位差を、もう片方の耳朶に貼りつけたＧＮＤ電極１４を基準に差動増幅することで計測した。検出された表面筋電位信号は、筋電アンプボックス２０を介して２０５２倍に増幅され、ＡＤ／ＤＡ変換器３０へ取り込まれる。なお、多チャンネル電極１０の一部の電極を基準電極１３やＧＮＤ電極１４として用いてもよく、多チャンネル電極１０と共に基準電極１３やＧＮＤ電極１４を設けてもよく、必ずしも耳朶に貼り付けなくてもよい。基準電極１３やＧＮＤ電極１４を多チャンネル電極１０と共に設ける場合には、舌骨上筋群用多チャンネル電極１１側でも舌骨下筋群用多チャンネル電極１２側の少なくともいずれか一方に設ける。
データの収集で用いるＡＤ／ＤＡ変換器３０は、ＮＩ ＵＳＢ－６２１８（NATIONAL INSTRUMENTS）を用いた。ＡＤ／ＤＡ変換器３０は、アナログ入力（１６ビット、２５０ｋＳ／秒、３２ｃｈ）、アナログ出力（１６ビット、２５０ｋＳ／秒、２ｃｈ）、８デジタル入力、８デジタル出力、２つの３２ビットカウンタ機能を搭載している。本研究ではアナログ入力を用いてデータ採取を行う。
また、２台のＡＤ／ＤＡ変換器３０を同期させることで舌骨上筋群と舌骨下筋群の２種類の計測を同時に行う。
【0019】
図３は同嚥下機能評価装置に用いる多チャンネル電極の外観を示す写真である。
多チャンネル電極１０は筋電アンプボックス２０に接続する。舌骨上筋群用電極１１は喉頭部に干渉せず、かつ下顎底部奥に存在する左右の茎突舌骨筋を計測できるような逆Ｖ字形状である。舌骨下筋群用電極１２は喉頭隆起の動きに干渉せず、かつ左右の甲状舌骨筋、肩甲舌骨筋、胸骨舌骨筋、及び胸骨甲状筋を計測できるようなＵ字形状である。
多チャンネル電極１０の基板厚さは０．３ｍｍであり、基板保護および電気的な絶縁のために全体をシリコンで覆い、シリコン上に埋め込んだ銀電極を介して表面筋電位信号を抽出する。なお、銀電極はシリコンで覆われていない。
銀電極は直径２ｍｍ、高さ２．５ｍｍである。
舌骨上筋群用電極１１は縦８ｍｍ、横１２．５ｍｍ間隔で埋め込み、下顎底部全体を覆うように２２個配置した。舌骨下筋群用電極１２は縦８ｍｍ、横８ｍｍ間隔で埋め込み、頸部前面を覆うように２２個配置した。また、ＧＮＤ電極１４とバイポーラ電極の基準電極１３を左右の耳朶にそれぞれ配置した。計測の際は接触抵抗を抑えるために電極表面にペースト（Ｅｌｅｆｉｘ、日本光電）を塗布した多チャンネル電極１０を被験者に取り付ける。多チャンネル電極１０で得られた信号は筋電アンプボックス２０に送られる。
多チャンネル電極１０は筋電アンプボックス２０に接続する。舌骨上筋群用電極１１は喉頭部に干渉せず、かつ下顎底部奥に存在する左右の茎突舌骨筋を計測できるような逆Ｖ字形状である。舌骨下筋群用電極１２は喉頭隆起の動きに干渉せず、かつ左右の甲状舌骨筋、肩甲舌骨筋、胸骨舌骨筋、及び胸骨甲状筋を計測できるようなＵ字形状である。
多チャンネル電極１０の基板厚さは０．３ｍｍであり、基板保護および電気的な絶縁のために全体をシリコンで覆い、シリコン上に埋め込んだ銀電極を介して表面筋電位信号を抽出する。なお、銀電極はシリコンで覆われていない。
銀電極は直径２ｍｍ、高さ２．５ｍｍである。
舌骨上筋群用電極１１は縦８ｍｍ、横１２．５ｍｍ間隔で埋め込み、下顎底部全体を覆うように２２個配置した。舌骨下筋群用電極１２は縦８ｍｍ、横８ｍｍ間隔で埋め込み、頸部前面を覆うように２２個配置した。また、ＧＮＤ電極１４とバイポーラ電極の基準電極１３を左右の耳朶にそれぞれ配置した。計測の際は接触抵抗を抑えるために電極表面にペースト（Ｅｌｅｆｉｘ、日本光電）を塗布した多チャンネル電極１０を被験者に取り付ける。多チャンネル電極１０で得られた信号は筋電アンプボックス２０に送られる。
【0020】
図４は同嚥下機能評価装置に用いる筋電アンプボックスの回路構成図である。
筋電アンプボックス２０は、内部に計装アンプ（ＡＤ８２２６ＢＲＭＺ）、オペアンプ（ＡＤ８６２２ＡＲＭＺ）を格納しており、２２ｃｈの表面筋電位計測が可能な仕様となっている。周波数帯域は１４～４４０Ｈｚ、ゲインは２０５２倍、電源は単三電池４本である。
差動増幅回路２１にて各チャンネルから得られた信号と基準信号間の同相ノイズを除去して差動増幅する。差動増幅回路２１から出力された信号からＤＣサーボ回路２２にて低周波帯域信号を検出して除去する。差動増幅回路２１から出力された信号は、信号増幅回路２３にて信号を増幅し、アンチエイリアシングフィルタ回路２４にて不要な高周波雑音を除去する。これにはＡＤ変換時の帯域折り返しを防止する機能もある。最後にバンドパス／出力バッファ回路２５にて回路内部で生じたオフセット信号や高周波ノイズを除去して出力する。
筋電アンプボックス２０は、内部に計装アンプ（ＡＤ８２２６ＢＲＭＺ）、オペアンプ（ＡＤ８６２２ＡＲＭＺ）を格納しており、２２ｃｈの表面筋電位計測が可能な仕様となっている。周波数帯域は１４～４４０Ｈｚ、ゲインは２０５２倍、電源は単三電池４本である。
差動増幅回路２１にて各チャンネルから得られた信号と基準信号間の同相ノイズを除去して差動増幅する。差動増幅回路２１から出力された信号からＤＣサーボ回路２２にて低周波帯域信号を検出して除去する。差動増幅回路２１から出力された信号は、信号増幅回路２３にて信号を増幅し、アンチエイリアシングフィルタ回路２４にて不要な高周波雑音を除去する。これにはＡＤ変換時の帯域折り返しを防止する機能もある。最後にバンドパス／出力バッファ回路２５にて回路内部で生じたオフセット信号や高周波ノイズを除去して出力する。
【0021】
図５は同嚥下機能評価装置に用いる時系列データによる嚥下運動推定アルゴリズムの概略図である。
動作識別のアルゴリズムは、舌骨上筋群用多チャンネル電極１１からの舌骨上筋群生体信号及び舌骨下筋群用多チャンネル電極１２からの舌骨下筋群生体信号から特徴量を抽出する特徴抽出部４１と、機械学習により嚥下状態を識別する動作学習・識別部４２で構成され、制御器４０で処理される。
特徴抽出部４１は、生体信号として表面筋電位信号を用い、舌骨上筋群の筋活動による舌骨上筋群生体信号と、舌骨下筋群の筋活動による舌骨下筋群生体信号とから特徴量を抽出する。
そして、抽出した特徴量を用いて、サポートベクターマシンによって動作識別を行う。
特徴抽出部４１では、動作識別を行う前に、表面筋電位（ＥＭＧ）から、動作に関連した特徴的な信号成分（特徴量）を抽出し、特徴ベクトルを構成する。この特徴量には以下のものを用いた。
動作識別のアルゴリズムは、舌骨上筋群用多チャンネル電極１１からの舌骨上筋群生体信号及び舌骨下筋群用多チャンネル電極１２からの舌骨下筋群生体信号から特徴量を抽出する特徴抽出部４１と、機械学習により嚥下状態を識別する動作学習・識別部４２で構成され、制御器４０で処理される。
特徴抽出部４１は、生体信号として表面筋電位信号を用い、舌骨上筋群の筋活動による舌骨上筋群生体信号と、舌骨下筋群の筋活動による舌骨下筋群生体信号とから特徴量を抽出する。
そして、抽出した特徴量を用いて、サポートベクターマシンによって動作識別を行う。
特徴抽出部４１では、動作識別を行う前に、表面筋電位（ＥＭＧ）から、動作に関連した特徴的な信号成分（特徴量）を抽出し、特徴ベクトルを構成する。この特徴量には以下のものを用いた。
【0022】
Root Mean Square（ＲＭＳ）
ＲＭＳは式１で表され、表面筋電位信号の振幅に関する特徴が得られる。
（１）
ＲＭＳは式１で表され、表面筋電位信号の振幅に関する特徴が得られる。
【数1】
【0023】
Cepstrum coefficient（ＣＣ）
ＣＣは式２で表される。周波数領域から抽出する特徴量であり、パワースペクトルの包絡形状と微細構造の分離を行える特徴がある。次数が低いと包絡形状の特徴が、次数が高いと微細構造の特徴が表れる。
（２）
ＣＣは式２で表される。周波数領域から抽出する特徴量であり、パワースペクトルの包絡形状と微細構造の分離を行える特徴がある。次数が低いと包絡形状の特徴が、次数が高いと微細構造の特徴が表れる。
【数2】
（２）
【0024】
ＲＭＳの計算には過去nサンプルの表面筋電位を用いる。この際、ｎサンプル分を一つのフレームとして切り出して計算し、切り出す範囲を一定周期でシフトさせていくフレームシフト方式を用いる。ここで、ｎはフレーム長である。
図６は、フレームシフトを行う様子を示す図である。
さらにフレーム間の変動を抑えるため、式３のような移動平均を行って特徴量を平滑化した。ここで、ｐはフレーム番号、Ｍは移動平均点数である。
（３）
図６は、フレームシフトを行う様子を示す図である。
さらにフレーム間の変動を抑えるため、式３のような移動平均を行って特徴量を平滑化した。ここで、ｐはフレーム番号、Ｍは移動平均点数である。
【数3】
【0025】
また、計算された全チャンネルのＲＭＳの総和に閾値処理を行い、嚥下の動作範囲（閾値を超えた部分）に対して、各舌動作に対応した動作ラベルを付与する。このようにして作成した動作ラベル、ＲＭＳ、ＣＣを用いて特徴ベクトルを構成し、学習・識別に用いる。
【0026】
以下に図５に示す動作学習・識別部４２について説明する。
最初に学習データを用いて識別関数を構成する。
ここで、機械学習に用いる学習データは、異なる装着位置で検出した複数の生体信号を用いることが好ましい。本実施例による嚥下機能評価法による嚥下機能評価を得るためには、電極装着後にキャリブレーション作業が必要となる。被験者が同一人物であっても、電極の装着位置が異なれば、各電極と筋との相対位置が変化し、検出される筋活動パターンも異なるものとなってしまう。従って、キャリブレーション作業は電極を装着する都度必要となり、煩わしく感じるため、電極装着ごとの学習作業を省略することが望まれる。
学習データとして異なる装着位置で検出した複数の生体信号を用いることで、複数位置での表面筋電位信号パターンと嚥下状態との関連付けを行うことができ、キャリブレーション作業を行うことなく正確な評価を行える。
最初に学習データを用いて識別関数を構成する。
ここで、機械学習に用いる学習データは、異なる装着位置で検出した複数の生体信号を用いることが好ましい。本実施例による嚥下機能評価法による嚥下機能評価を得るためには、電極装着後にキャリブレーション作業が必要となる。被験者が同一人物であっても、電極の装着位置が異なれば、各電極と筋との相対位置が変化し、検出される筋活動パターンも異なるものとなってしまう。従って、キャリブレーション作業は電極を装着する都度必要となり、煩わしく感じるため、電極装着ごとの学習作業を省略することが望まれる。
学習データとして異なる装着位置で検出した複数の生体信号を用いることで、複数位置での表面筋電位信号パターンと嚥下状態との関連付けを行うことができ、キャリブレーション作業を行うことなく正確な評価を行える。
【0027】
サポートベクターマシン（Ssupport Vector Machine：ＳＶＭ）は、教師あり学習を用いるパターン認識モデルの一つであり、分類や回帰へ適用できる手法として知られている。ＳＶＭでは、学習に用いる際の動作学習部と、学習結果を基に識別を行う動作識別部がある。
動作学習部では、特徴ベクトル（特徴量を並べたもの）と正解ラベル（動作クラスにラベル付けしたもの）が対になった学習データからＳＶＭのハイパーパラメータを求め、識別関数を構成する。学習データは、ハイパーパラメータであるγ（カーネルパラメータ）とC（コストパラメータ）は格子探索により決定する。γとＣの探索範囲はγ＝｛２－３、２－２．５、・・・２１｝、Ｃ＝｛２３、２３．５、・・・、２６｝の６３通りの組み合わせとし、各格子点の識別率の中から最も高い識別率を示す組み合わせを探索する。なお、この際の識別率は、識別された動作ラベルと正解ラベルの正誤から求められ、交差検定（クロスバリデーション）により汎化性能の評価を行う。
動作識別部では学習によって作成された識別関数を基に特徴ベクトルから動作クラス（動作ラベル）を識別する。その後、識別した過去ｋ個の動作ラベルに対して多数決判定を行い、運動状態を最終決定する。ｋの値を小さく設定すれば、リアルタイムの動作識別を可能にする。また、ｋの値を大きく設定し、嚥下開始から終了までのすべての動作ラベルをカバーするように多数決処理を行えば、嚥下開始から終了までの一連の動作を一つの動作として識別できる。
動作学習部では、特徴ベクトル（特徴量を並べたもの）と正解ラベル（動作クラスにラベル付けしたもの）が対になった学習データからＳＶＭのハイパーパラメータを求め、識別関数を構成する。学習データは、ハイパーパラメータであるγ（カーネルパラメータ）とC（コストパラメータ）は格子探索により決定する。γとＣの探索範囲はγ＝｛２－３、２－２．５、・・・２１｝、Ｃ＝｛２３、２３．５、・・・、２６｝の６３通りの組み合わせとし、各格子点の識別率の中から最も高い識別率を示す組み合わせを探索する。なお、この際の識別率は、識別された動作ラベルと正解ラベルの正誤から求められ、交差検定（クロスバリデーション）により汎化性能の評価を行う。
動作識別部では学習によって作成された識別関数を基に特徴ベクトルから動作クラス（動作ラベル）を識別する。その後、識別した過去ｋ個の動作ラベルに対して多数決判定を行い、運動状態を最終決定する。ｋの値を小さく設定すれば、リアルタイムの動作識別を可能にする。また、ｋの値を大きく設定し、嚥下開始から終了までのすべての動作ラベルをカバーするように多数決処理を行えば、嚥下開始から終了までの一連の動作を一つの動作として識別できる。
【0028】
ＳＶＭは２クラスを識別する手法であるため、多数のクラスを識別する際にはマルチクラスへの拡張が必要となる。一般的にこの方法にはｏｎｅ－ａｇａｉｎｓｔ－ｏｎｅ法とｏｎｅ－ａｇａｉｎｓｔ－ａｌｌ法の２種類が存在するが、本手法ではｏｎｅ－ａｇａｉｎｓｔ－ｏｎｅ法を採用した。これは、O個のクラスすべての組み合わせ、すなわちO（O－１）／２個の識別関数を構成し、各識別関数を用いて特徴ベクトルの識別を行う方法である。この手法の優位性はＨｓｕらによる２種類の手法の学習時間と識別精度に関する比較実験より示されている。
【0029】
図７は同嚥下機能評価装置に用いる画像認識による嚥下運動推定アルゴリズムの概略図である。
本実施例による嚥下機能評価法では、抽出した特徴量を画像ファイルに変換し、画像認識を行うことで嚥下状態を識別することが好ましい。なお、画像認識には、表面筋電位信号の生波形グラフを画像ファイルとして用いることができる。また、画像認識には、表面筋電位信号を、周波数分析やケプストラム分析などの分析処理することで得られた信号を画像ファイルとして用いることができる。
更にはこの画像認識をディープラーニングにより行うことが好ましいが、ディープラーニング以外の方法で行っても良い。また、抽出した特徴量を画像ファイルに変換することなく、図５に示す動作学習・識別部４２をディープラーニングによる処理とすることもできる。ディープラーニングには、特徴量の抽出機能と特徴量の識別機能とがあり、ディープラーニングだけで画像認識を行っても良いし、ディープラーニングで画像から特徴量を抽出後、他の機械学習を用いて特徴量を識別しても良い。
また、嚥下状態の識別には、抽出した特徴量を画像化して画像認識を行った後に、再度特徴量を抽出し、この再度の特徴量を用いることもできる。
画像認識による嚥下運動推定アルゴリズムでは、前処理として計測した表面筋電位信号の画像化を行った後、畳み込みニューラルネットワーク（Convolutional Neural Network：ＣＮＮ）（以下ＣＮＮと表記する）を用いて嚥下運動の識別を行う。
ただし、本実施例では、大規模な学習データがないため、ＣＮＮが特徴抽出器と動作識別器の二つの役割があることに着目し、（１）ＣＮＮを特徴抽出器、ＳＶＭを動作識別器として用いる方法、（２）事前学習済みのＣＮＮを嚥下運動学習用データでＦｉｎｅ－ｔｕｎｉｎｇしたＣＮＮを、特徴抽出器および動作識別器として用いる方法、（３）（２）でＦｉｎｅ－ｔｕｎｉｎｇされたＣＮＮを特徴抽出器、ＳＶＭを動作識別器として用いる方法、の３つの方法で識別を行う。
本実施例による嚥下機能評価法では、抽出した特徴量を画像ファイルに変換し、画像認識を行うことで嚥下状態を識別することが好ましい。なお、画像認識には、表面筋電位信号の生波形グラフを画像ファイルとして用いることができる。また、画像認識には、表面筋電位信号を、周波数分析やケプストラム分析などの分析処理することで得られた信号を画像ファイルとして用いることができる。
更にはこの画像認識をディープラーニングにより行うことが好ましいが、ディープラーニング以外の方法で行っても良い。また、抽出した特徴量を画像ファイルに変換することなく、図５に示す動作学習・識別部４２をディープラーニングによる処理とすることもできる。ディープラーニングには、特徴量の抽出機能と特徴量の識別機能とがあり、ディープラーニングだけで画像認識を行っても良いし、ディープラーニングで画像から特徴量を抽出後、他の機械学習を用いて特徴量を識別しても良い。
また、嚥下状態の識別には、抽出した特徴量を画像化して画像認識を行った後に、再度特徴量を抽出し、この再度の特徴量を用いることもできる。
画像認識による嚥下運動推定アルゴリズムでは、前処理として計測した表面筋電位信号の画像化を行った後、畳み込みニューラルネットワーク（Convolutional Neural Network：ＣＮＮ）（以下ＣＮＮと表記する）を用いて嚥下運動の識別を行う。
ただし、本実施例では、大規模な学習データがないため、ＣＮＮが特徴抽出器と動作識別器の二つの役割があることに着目し、（１）ＣＮＮを特徴抽出器、ＳＶＭを動作識別器として用いる方法、（２）事前学習済みのＣＮＮを嚥下運動学習用データでＦｉｎｅ－ｔｕｎｉｎｇしたＣＮＮを、特徴抽出器および動作識別器として用いる方法、（３）（２）でＦｉｎｅ－ｔｕｎｉｎｇされたＣＮＮを特徴抽出器、ＳＶＭを動作識別器として用いる方法、の３つの方法で識別を行う。
【0030】
表面筋電位信号を画像ファイルに変換するための特徴抽出の方法について以下に説明する。
表面筋電位信号から、動作に関連した特徴的な信号成分（特徴量）を抽出し、それらを画像化する。特徴量の抽出方法には以下のものを用いた。
表面筋電位信号から、動作に関連した特徴的な信号成分（特徴量）を抽出し、それらを画像化する。特徴量の抽出方法には以下のものを用いた。
【0031】
fast Fouriertrans form（ＦＦＴ）
ＦＦＴは式４で表され、表面筋電位信号のパワースペクトル（式５）を得ることができる。窓関数にはハニング窓（式６）を使用した。
（４）
（５）
（６）
ＦＦＴは式４で表され、表面筋電位信号のパワースペクトル（式５）を得ることができる。窓関数にはハニング窓（式６）を使用した。
【数4】
（４）
【数5】
【数6】
（６）
【0032】
Cepstrum coefficient（ＣＣ）
ＣＣは、式２と同様であるため省略する。
ＣＣは、式２と同様であるため省略する。
【0033】
wavelet transformation
ウェーブレット変換は式７で表され、ウェーブレットは、式８で表される。また、式９によってスカログラムを得ることができる。ウェーブレット変換では、マザーウェーブレットおよびそれを拡大縮小し、平行移動したウェーブレットを用いて特徴のある時刻について詳細に調べることができる。高周波領域を解析するには短い基底を用いて時間分解能を上げ、低周波領域の解析に長い規定により周波数分解能を上げている。
（７）
（８）
（９）
ウェーブレット変換は式７で表され、ウェーブレットは、式８で表される。また、式９によってスカログラムを得ることができる。ウェーブレット変換では、マザーウェーブレットおよびそれを拡大縮小し、平行移動したウェーブレットを用いて特徴のある時刻について詳細に調べることができる。高周波領域を解析するには短い基底を用いて時間分解能を上げ、低周波領域の解析に長い規定により周波数分解能を上げている。
【数7】
（７）
【数8】
（８）
【数9】
（９）
【0034】
以下に表面筋電位信号の画像化について説明する。
得られた特徴量はチャンネル毎にカラーマッピングを行い画像化する。カラーマップの最大値と最小値は、各チャンネルの特徴量の最大値と最小値を平均したものとした。
図８は、一例として高速フーリエ変換により得られた特徴量を基に画像化した表面筋電位信号の写真である。
図８（ａ）に示すチャンネルごとに作成した画像は、解析に使用するチャンネル数に合わせて１枚の画像にまとめることで、図８（ｂ）に示すように、１動作分の嚥下パターン画像とした。
得られた特徴量はチャンネル毎にカラーマッピングを行い画像化する。カラーマップの最大値と最小値は、各チャンネルの特徴量の最大値と最小値を平均したものとした。
図８は、一例として高速フーリエ変換により得られた特徴量を基に画像化した表面筋電位信号の写真である。
図８（ａ）に示すチャンネルごとに作成した画像は、解析に使用するチャンネル数に合わせて１枚の画像にまとめることで、図８（ｂ）に示すように、１動作分の嚥下パターン画像とした。
【0035】
ＣＮＮは、畳み込み層とプーリング層と呼ばれる２種類の層を交互に積み重ねた構造を持つフィードフォワード型のニューラルネットワークであり、画像認識の分野において優れた性能を示しているディープラーニングの手法の一つである。
畳み込み層では、入力画像とフィルタの積和計算を行い、フィルタが表す特徴的な濃淡構造を画像から抽出する。入力画像のサイズをW×W画素、入力画像の画素インデックスを（ｉ，ｊ）（ｉ＝０，．．．，Ｗ－１，ｊ＝０，．．．，Ｗ－１）とし、入力画像の画素値をxij、フィルタのサイズをH×Hとし、フィルタの画素インデックスを（ｐ，ｑ）（ｐ＝０，．．．，Ｈ－１，ｑ＝０，．．．，Ｈ－１）とし、フィルタの画素値をｈｐｑ、とすると、畳み込みの計算は式１０で表される。
（１０）
畳み込み層では、入力画像とフィルタの積和計算を行い、フィルタが表す特徴的な濃淡構造を画像から抽出する。入力画像のサイズをW×W画素、入力画像の画素インデックスを（ｉ，ｊ）（ｉ＝０，．．．，Ｗ－１，ｊ＝０，．．．，Ｗ－１）とし、入力画像の画素値をxij、フィルタのサイズをH×Hとし、フィルタの画素インデックスを（ｐ，ｑ）（ｐ＝０，．．．，Ｈ－１，ｑ＝０，．．．，Ｈ－１）とし、フィルタの画素値をｈｐｑ、とすると、畳み込みの計算は式１０で表される。
【数10】
（１０）
【0036】
プーリング層では、画像の特定の範囲を選択し、その中から１つの画素値を求める。画素値の求め方にはいくつかの方法があり、最大プーリングでは画素値の最大値を選択する。また平均プーリングでは範囲の平均値を計算する。これにより、対象とする特徴量の画像内での位置が若干変化した場合でも、プーリング層の出力が不変になる。
図９は、画像サイズを８×８、プーリング範囲２×２とした時の最大プーリングの例を示している。
図９は、画像サイズを８×８、プーリング範囲２×２とした時の最大プーリングの例を示している。
【0037】
ＣＮＮの利用には幾つか難点がある。その一つがネットワークの構築である。一からネットワークの構築を行うには一つのタスクに付き大量のデータが必要となり、また、その大量の画像データを学習するための時間も必要となる。そこである程度異なる認識タスク間で、学習される特徴に共通性があるというＣＮＮの性質を活かし、一からネットワークの構築をせず、すでに学習済みであるネットワークを今回のタスクに転用することで嚥下運動の識別を行う。
図１０は、本実施例で用いた事前学習済み畳み込みニューラルネットワーク（Convolutional Neural Network：ＣＮＮ）であるＡｌｅｘＮｅｔの構造を示す。
ＡｌｅｘＮｅｔはＡｌｅｘ Ｋｒｉｚｈｅｖｓｋｙらによって提案された５層の畳み込み層と３つの全結合層からなるＤｅｅｐ ＣＮＮである。１、２番目の畳み込み層の後に正規化層、各正規化層の後と５番目の畳み込み層の後には最大プーリング層が用いられている。
図１０は、本実施例で用いた事前学習済み畳み込みニューラルネットワーク（Convolutional Neural Network：ＣＮＮ）であるＡｌｅｘＮｅｔの構造を示す。
ＡｌｅｘＮｅｔはＡｌｅｘ Ｋｒｉｚｈｅｖｓｋｙらによって提案された５層の畳み込み層と３つの全結合層からなるＤｅｅｐ ＣＮＮである。１、２番目の畳み込み層の後に正規化層、各正規化層の後と５番目の畳み込み層の後には最大プーリング層が用いられている。
【0038】
本実施例では、このＡｌｅｘＮｅｔを以下に示す３つの方法で転用する。
図１１は、（１）ＣＮＮを特徴抽出器、ＳＶＭを動作識別器として組み合わせて識別する方法を示す説明図である。
ＣＮＮを特徴抽出器として用いてＳＶＭにより識別を行う方法では、ネットワークの重みを固定したまま入力画像をフィードフォワードし、適当な中間層の出力をそのまま特徴ベクトルとして扱う。そして、得られた特徴ベクトルでＳＶＭの学習・識別を行う。得られる特徴ベクトルは、１枚の画像につき４０９６次元である。
ＣＮＮを特徴抽出器として用いる場合には、どの層から特徴抽出を行うかを考慮する必要がある。ＣＮＮでは、入力に近い層から識別層に近づくにつれ、徐々に低次の視覚的特徴からデータセットに特化した意味的な特徴に構造化されることが知られている。したがって、低すぎる層の特徴をとるとＣＮＮの高い識別的構造の恩恵を受けることができず、逆に高すぎる層の特徴を選ぶと学習時のデータセットに特化しすぎてしまい、転移学習の性能が下がってしまうおそれがある。経験的には識別層の一つ二つ手前の全結合層を用いることが多い。本研究では、Ａｌｅｘ Ｎｅｔの最後から２番目の全結合層における出力を特徴ベクトルとして扱った。
ＳＶＭによる動作学習・識別部について、ハイパーパラメータであるγとＣは格子探索により決定する。γとＣの探索範囲はγ＝｛２－１６、２－１５．５、・・・２－１２｝、Ｃ＝｛２７、２７．５、・・・、２１０｝の６３通りの組み合わせとし、各格子点の識別率の中から最も高い識別率を示す組み合わせを探索する。なお、この際の識別率は識別結果と、学習に用いたデータの動作クラスとの正誤から求められている。
動作識別部では学習によって作成された識別関数を基に特徴ベクトルを識別し、動作クラスを付与する。
図１１は、（１）ＣＮＮを特徴抽出器、ＳＶＭを動作識別器として組み合わせて識別する方法を示す説明図である。
ＣＮＮを特徴抽出器として用いてＳＶＭにより識別を行う方法では、ネットワークの重みを固定したまま入力画像をフィードフォワードし、適当な中間層の出力をそのまま特徴ベクトルとして扱う。そして、得られた特徴ベクトルでＳＶＭの学習・識別を行う。得られる特徴ベクトルは、１枚の画像につき４０９６次元である。
ＣＮＮを特徴抽出器として用いる場合には、どの層から特徴抽出を行うかを考慮する必要がある。ＣＮＮでは、入力に近い層から識別層に近づくにつれ、徐々に低次の視覚的特徴からデータセットに特化した意味的な特徴に構造化されることが知られている。したがって、低すぎる層の特徴をとるとＣＮＮの高い識別的構造の恩恵を受けることができず、逆に高すぎる層の特徴を選ぶと学習時のデータセットに特化しすぎてしまい、転移学習の性能が下がってしまうおそれがある。経験的には識別層の一つ二つ手前の全結合層を用いることが多い。本研究では、Ａｌｅｘ Ｎｅｔの最後から２番目の全結合層における出力を特徴ベクトルとして扱った。
ＳＶＭによる動作学習・識別部について、ハイパーパラメータであるγとＣは格子探索により決定する。γとＣの探索範囲はγ＝｛２－１６、２－１５．５、・・・２－１２｝、Ｃ＝｛２７、２７．５、・・・、２１０｝の６３通りの組み合わせとし、各格子点の識別率の中から最も高い識別率を示す組み合わせを探索する。なお、この際の識別率は識別結果と、学習に用いたデータの動作クラスとの正誤から求められている。
動作識別部では学習によって作成された識別関数を基に特徴ベクトルを識別し、動作クラスを付与する。
【0039】
図１２は、Ｆｉｎｅ－ｔｕｎｉｎｇされたＣＮＮにより識別する方法を示す説明図である。
（２）ＣＮＮをＦｉｎｅ－ｔｕｎｉｎｇする方法では、Ａｌｅｘ Ｎｅｔの識別部だけを対象のタスクのものに付け替え、その他の部分はＡｌｅｘ Ｎｅｔのパラメータを初期値として用い、ネットワーク全体の再学習を行う。そして再学習されたネットワークを用いて識別を行う。本研究では入力層から２つ目の全結合層までの重みを固定し、残りの全結合層、ソフトマックス層、出力層を新しいものに替え再学習する。Ｆｉｎｅ－ｔｕｎｉｎｇで使用するパラメータはベイズ最適化によって最適化した。
（２）ＣＮＮをＦｉｎｅ－ｔｕｎｉｎｇする方法では、Ａｌｅｘ Ｎｅｔの識別部だけを対象のタスクのものに付け替え、その他の部分はＡｌｅｘ Ｎｅｔのパラメータを初期値として用い、ネットワーク全体の再学習を行う。そして再学習されたネットワークを用いて識別を行う。本研究では入力層から２つ目の全結合層までの重みを固定し、残りの全結合層、ソフトマックス層、出力層を新しいものに替え再学習する。Ｆｉｎｅ－ｔｕｎｉｎｇで使用するパラメータはベイズ最適化によって最適化した。
【0040】
（３）Ｆｉｎｅ－ｔｕｎｉｎｇされたＣＮＮを特徴抽出器としてＳＶＭで識別する方法では、図１２に示すＦｉｎｅ－ｔｕｎｉｎｇされたＣＮＮにより識別する方法と同様に、画像化した表面筋電位信号を用いてＡｌｅｘ ＮｅｔのＦｉｎｅ－ｔｕｎｉｎｇを行った後、図１１に示すＣＮＮを特徴抽出器としてＳＶＭで識別する方法と同様にＦｉｎｅ－ｔｕｎｉｎｇされたＡｌｅｘ Ｎｅｔを特徴抽出器として特徴ベクトルを作成し、ＳＶＭによって識別を行う。
【0041】
以下に、画像認識による嚥下運動識別法の検証結果を説明する。
被験者は嚥下機能が正常な健常成人男性６名（年齢２２．７±１．２歳、身長１７２．７±５．５cm、体重６０．０±５．５ｋｇ、ｍｅａｎ±ＳＤ）とし、被験者名をＡ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆと区別する。
図１３は、実験に用いた多チャンネル電極の電極配置とチャンネル番号の関係を示す図である。
実験では下顎部に舌骨上筋群用２２チャンネルフレキシブル電極、頸部に舌骨下筋群用２２チャンネルフレキシブル電極、耳朶に耳電極を装着した。舌骨上筋群は図１３（ａ）の１、２番の電極からオトガイまでの距離が２５ｍｍから３０ｍｍの間で、電極が顎骨に当たらない位置に装着した。舌骨下筋群は図１３（ｂ）の５、６番の電極が甲状軟骨（喉仏）が前方に最も突出している部分に位置するように装着した。表面筋電位信号は、各表面電極と一方の耳朶に貼り付けた基準電極との電位差を、もう一方の耳朶に貼りつけたＧＮＤ電極を基準に差動増幅することにより導出した。これにより任意の２点間電位差を、通常の差動増幅表面筋電位のように取り出すことができる。
図１４は、実際に装着した様子を示す写真である。
計測の際は電極の位置がずれないように、舌骨上筋群用２２チャンネルフレキシブル電極は図１４（ｂ）の帽子で、舌骨下筋群用２２チャンネルフレキシブル電極は図１４（ｃ）のバンドでそれぞれ固定した。
被験者は嚥下機能が正常な健常成人男性６名（年齢２２．７±１．２歳、身長１７２．７±５．５cm、体重６０．０±５．５ｋｇ、ｍｅａｎ±ＳＤ）とし、被験者名をＡ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆと区別する。
図１３は、実験に用いた多チャンネル電極の電極配置とチャンネル番号の関係を示す図である。
実験では下顎部に舌骨上筋群用２２チャンネルフレキシブル電極、頸部に舌骨下筋群用２２チャンネルフレキシブル電極、耳朶に耳電極を装着した。舌骨上筋群は図１３（ａ）の１、２番の電極からオトガイまでの距離が２５ｍｍから３０ｍｍの間で、電極が顎骨に当たらない位置に装着した。舌骨下筋群は図１３（ｂ）の５、６番の電極が甲状軟骨（喉仏）が前方に最も突出している部分に位置するように装着した。表面筋電位信号は、各表面電極と一方の耳朶に貼り付けた基準電極との電位差を、もう一方の耳朶に貼りつけたＧＮＤ電極を基準に差動増幅することにより導出した。これにより任意の２点間電位差を、通常の差動増幅表面筋電位のように取り出すことができる。
図１４は、実際に装着した様子を示す写真である。
計測の際は電極の位置がずれないように、舌骨上筋群用２２チャンネルフレキシブル電極は図１４（ｂ）の帽子で、舌骨下筋群用２２チャンネルフレキシブル電極は図１４（ｃ）のバンドでそれぞれ固定した。
【0042】
図１５は、実験での計測動作を示す図である。
嚥下は随意運動と反射運動からなる複雑な運動である。そこで、本実験ではまず随意嚥下の強さの違いを検討するために、普段通りの嚥下と最大努力での嚥下（意識的に力強く飲み込む動作）の２種類を対象とした。また、反射運動の違いを検討するために一回の嚥下量を水３ｍｌと１５ｍｌとした。そして、これらを組み合わせた合計４動作（３ｍｌ（普通：ＮＳ３）、３ｍｌ（最大努力：ＥＳ３）、１５ｍｌ（普通：ＮＳ１５）、１５ｍｌ（最大努力：ＥＳ１５））を１セットとして２０セットの計測を行った。１回嚥下量である３ｍｌは、嚥下機能の簡易検査（スクリーニング）の１つである改訂水飲みテストの規定量、１５ｍｌは舌で一度にすくえる一般的な嚥下量である。試料の水は口腔底にシリンジで挿入し、その後の指示により嚥下を行うこととし、舌で水をすくってから飲み込むまでを計測対象とした。実験時の姿勢は座位とし、実験の最中に頸部の角度が変化しないよう頭部を壁に固定した。一回の計測を安静２秒間の後２秒以内で嚥下、２秒間安静の計６秒間として、３ｍｌ（普通：ＮＳ３）、３ｍｌ（最大努力：ＥＳ３）、１５ｍｌ（普通：ＮＳ１５）、１５ｍｌ（最大努力：ＥＳ１５）の順に１動作ずつ計測を行った。連続の嚥下による筋肉疲労を考慮し、３ｍｌ（最大努力：ＥＳ３）、１５ｍｌ（普通：ＮＳ１５）の間に１０秒間、１５ｍｌ（最大努力：ＥＳ１５）の後に３０秒間の休憩を挟んだ。表面筋電位は、増幅率２，０５２倍、サンプリング周波数２，０００Ｈｚで計測した。
嚥下は随意運動と反射運動からなる複雑な運動である。そこで、本実験ではまず随意嚥下の強さの違いを検討するために、普段通りの嚥下と最大努力での嚥下（意識的に力強く飲み込む動作）の２種類を対象とした。また、反射運動の違いを検討するために一回の嚥下量を水３ｍｌと１５ｍｌとした。そして、これらを組み合わせた合計４動作（３ｍｌ（普通：ＮＳ３）、３ｍｌ（最大努力：ＥＳ３）、１５ｍｌ（普通：ＮＳ１５）、１５ｍｌ（最大努力：ＥＳ１５））を１セットとして２０セットの計測を行った。１回嚥下量である３ｍｌは、嚥下機能の簡易検査（スクリーニング）の１つである改訂水飲みテストの規定量、１５ｍｌは舌で一度にすくえる一般的な嚥下量である。試料の水は口腔底にシリンジで挿入し、その後の指示により嚥下を行うこととし、舌で水をすくってから飲み込むまでを計測対象とした。実験時の姿勢は座位とし、実験の最中に頸部の角度が変化しないよう頭部を壁に固定した。一回の計測を安静２秒間の後２秒以内で嚥下、２秒間安静の計６秒間として、３ｍｌ（普通：ＮＳ３）、３ｍｌ（最大努力：ＥＳ３）、１５ｍｌ（普通：ＮＳ１５）、１５ｍｌ（最大努力：ＥＳ１５）の順に１動作ずつ計測を行った。連続の嚥下による筋肉疲労を考慮し、３ｍｌ（最大努力：ＥＳ３）、１５ｍｌ（普通：ＮＳ１５）の間に１０秒間、１５ｍｌ（最大努力：ＥＳ１５）の後に３０秒間の休憩を挟んだ。表面筋電位は、増幅率２，０５２倍、サンプリング周波数２，０００Ｈｚで計測した。
【0043】
図１６は、一人分の識別率の算出方法の一例を示す図である。
学習・識別は、計測データの偏りの影響を受けないようにするために、図１６の方法（クロスバリデーション）で行った。計測データを１から順にＡ、Ｂ、Ｃ、Ｄの４つに振り分けていく。次に、２つを学習用データ、残りの２つをテスト用データし学習・識別を行っていく。これを全ての組み合わせ、計６通りで行い識別率を計算する。識別率は式１１で与えられる。
（１１）
学習・識別は、計測データの偏りの影響を受けないようにするために、図１６の方法（クロスバリデーション）で行った。計測データを１から順にＡ、Ｂ、Ｃ、Ｄの４つに振り分けていく。次に、２つを学習用データ、残りの２つをテスト用データし学習・識別を行っていく。これを全ての組み合わせ、計６通りで行い識別率を計算する。識別率は式１１で与えられる。
【数11】
（１１）
【0044】
得られた６つの識別率の平均を最終的な識別率とした。推定精度の評価の指標には、最終的に得られた平均識別率を用いた。
なお、特に断りのない場合、識別率の計算結果は被験者６名に対するｍｅａｎ±ＳＤで示す。
なお、特に断りのない場合、識別率の計算結果は被験者６名に対するｍｅａｎ±ＳＤで示す。
【0045】
【0046】
画像化のための特徴量の抽出方法が識別精度に与える影響について以下に説明する。
高速フーリエ変換（fast Fourier transform：ＦＦＴ）、Cepstrum coefficient（ＣＣ）、ウェーブレット変換の３つの方法を用いて特徴量を抽出し作成された画像を使用して識別を行った時の識別精度の違いを比較検討する。
高速フーリエ変換（fast Fourier transform：ＦＦＴ）、Cepstrum coefficient（ＣＣ）、ウェーブレット変換の３つの方法を用いて特徴量を抽出し作成された画像を使用して識別を行った時の識別精度の違いを比較検討する。
【0047】
ＦＦＴとウェーブレット変換ではそれぞれスペクトログラムとスカログラムを作成した。縦軸は周波数、横軸は時間であり、周波数は０～１，０００Ｈｚで表現している。ＣＣは低次のＣＣから順に画像の下から上に並べることで画像化を行った。縦軸はケプストラム係数の次数、横軸は時間であり、ケプストラム係数の次数は１～５を使用した。
図１８は、図１３に示す電極番号と配置を基にした画像の配置を示す図である。
各チャンネルの画像は、表を１動作分の画像と見立て、各マスには１チャンネル分の画像が入る。各マスにかかれている数字は電極番号を表している。
図１９は各特徴量抽出方法によって作成された１動作分の画像を示す写真である。
図２１は各特徴抽出方法によって作成された画像を使用し、学習・識別を行った時の識別結果を示すグラフである。なお、ここでは、各筋群の嚥下動作識別率への寄与度を検討するために、舌骨上筋群の表面筋電位もしくは舌骨下筋群の表面筋電位を用いた場合の識別率を求めた。
２動作識別では、識別する動作の組み合わせにより多少の違いはあるものの、舌骨上筋群、舌骨下筋群のどちらの表面筋電を用いた場合でも、ＣＣを用いて識別した時に、他の特徴量抽出方法よりも安定して高い識別率を得ることができた。４動作識別では、舌骨上筋群、舌骨下筋群共に特徴抽出方法としてＣＣを用いて識別して時に一番高い識別率を示した。また、ＣＣが３つの条件の中で唯一８０%を越える結果となった。
この理由としては、今回比較した３つの特徴抽出方法は全て周波数領域における特徴抽出法であるが、ＣＣが他の特徴量抽出方法に比べて、５次元という少ない情報量でスペクトルの特徴を表現できる。そのため、Ａｌｅｘ Ｎｅｔの入力画像サイズである２２７×２２７ｐｉｘｅｌにリサイズされた時に、識別のための分解能の低下が少なかったためと考えられる。
以上の結果から、本計測データに対する、本解析条件おいては、特徴量の抽出方法にＣＣが最も適していることが示唆された。また、表面筋電位の画像化を行い、ＣＮＮを特徴抽出器として使用しＳＶＭで識別を行うという方法で嚥下動作の識別ができる可能性が示された。
図１８は、図１３に示す電極番号と配置を基にした画像の配置を示す図である。
各チャンネルの画像は、表を１動作分の画像と見立て、各マスには１チャンネル分の画像が入る。各マスにかかれている数字は電極番号を表している。
図１９は各特徴量抽出方法によって作成された１動作分の画像を示す写真である。
図２１は各特徴抽出方法によって作成された画像を使用し、学習・識別を行った時の識別結果を示すグラフである。なお、ここでは、各筋群の嚥下動作識別率への寄与度を検討するために、舌骨上筋群の表面筋電位もしくは舌骨下筋群の表面筋電位を用いた場合の識別率を求めた。
２動作識別では、識別する動作の組み合わせにより多少の違いはあるものの、舌骨上筋群、舌骨下筋群のどちらの表面筋電を用いた場合でも、ＣＣを用いて識別した時に、他の特徴量抽出方法よりも安定して高い識別率を得ることができた。４動作識別では、舌骨上筋群、舌骨下筋群共に特徴抽出方法としてＣＣを用いて識別して時に一番高い識別率を示した。また、ＣＣが３つの条件の中で唯一８０%を越える結果となった。
この理由としては、今回比較した３つの特徴抽出方法は全て周波数領域における特徴抽出法であるが、ＣＣが他の特徴量抽出方法に比べて、５次元という少ない情報量でスペクトルの特徴を表現できる。そのため、Ａｌｅｘ Ｎｅｔの入力画像サイズである２２７×２２７ｐｉｘｅｌにリサイズされた時に、識別のための分解能の低下が少なかったためと考えられる。
以上の結果から、本計測データに対する、本解析条件おいては、特徴量の抽出方法にＣＣが最も適していることが示唆された。また、表面筋電位の画像化を行い、ＣＮＮを特徴抽出器として使用しＳＶＭで識別を行うという方法で嚥下動作の識別ができる可能性が示された。
【0048】
識別器が識別精度に与える影響について以下に説明する。なお、ここでは、各筋群の嚥下動作識別率への寄与度を検討するために、舌骨上筋群の表面筋電位もしくは舌骨下筋群の表面筋電位を用いた場合の識別率を求めた。
事前学習済みのネットワークの利用方法には、特徴抽出器としての利用する方法と、Ｆｉｎｅ－ｔｕｎｉｎｇを行う２つの方法がある。そこで、最適化されたパラメータを基に作成された画像を用いて学習・識別を行い、（１）ＣＮＮを特徴抽出器として用いてＳＶＭで識別する方法、（２）Ｆｉｎｅ－ｔｕｎｉｎｇされたＣＮＮにより識別する方法、（３）Ｆｉｎｅ－ｔｕｎｉｎｇされたＣＮＮを特徴抽出器として用いてＳＶＭで識別する方法、による識別精度を比較し、どの識別器が最適であるか検討する。
図２２は、識別器が識別精度に与える影響を検討する上での解析条件を示している。
Ｆｉｎｅ－ｔｕｎｉｎｇに用いることができる画像が少ないため、学習過程における検証用データに識別用データ（テストデータ）１０セットを用いた。そのため、Ｆｉｎｅ－ｔｕｎｉｎｇされたＣＮＮによる識別率は純粋な識別率とは言えないため、今回は参考程度の識別率として比較を行う。
図２３は、各識別器で学習・識別を行った時の識別率を示すグラフである。
２動作識別では、（２）識別器にＦｉｎｅ－ｔｕｎｉｎｇしたＣＮＮを使用した時、組み合わせによっては（１）ＣＮＮを特徴抽出器として使用した時よりも識別率が高くなるものがあったが、全組み合わせの平均識別率で見ると（１）ＣＮＮを特徴抽出器として使用した時よりも低い識別率となった。（３）Ｆｉｎｅ－ｔｕｎｉｎｇしたＣＮＮを特徴抽出器として使用した時には、ほぼ全ての動作の組み合わせで他の２つより識別率が下がり、平均識別率でも最も低い識別率となった。４動作識別では、（１）ＣＮＮによる特徴抽出器＋ＳＶＭによる動作識別が他の２つよりも高い識別率となった。
この理由としては、今回学習・識別に使用できるデータ数が足りなかったためＦｉｎｅ－ｔｕｎｉｎｇで再学習が十分に進まなかったと考えられる。２動作識別で識別率が上がった組み合わせがあったのは、検証用データ（テストデータ）と識別データに同じデータを使用しているためＦｉｎｅ－ｔｕｎｉｎｇしたＣＮＮを使用した場合ではテストデータの情報が含まれたような学習となり識別率が上がったのだと考えられる。
今回は識別器に最も識別率が高かった、（１）ＣＮＮを特徴抽出器として用いてＳＶＭで識別する方法を最適と判断した。
ただし、Ｆｉｎｅ－ｔｕｎｉｎｇに関してはデータ数が増えることによって識別率が向上する可能性が十分にある。
事前学習済みのネットワークの利用方法には、特徴抽出器としての利用する方法と、Ｆｉｎｅ－ｔｕｎｉｎｇを行う２つの方法がある。そこで、最適化されたパラメータを基に作成された画像を用いて学習・識別を行い、（１）ＣＮＮを特徴抽出器として用いてＳＶＭで識別する方法、（２）Ｆｉｎｅ－ｔｕｎｉｎｇされたＣＮＮにより識別する方法、（３）Ｆｉｎｅ－ｔｕｎｉｎｇされたＣＮＮを特徴抽出器として用いてＳＶＭで識別する方法、による識別精度を比較し、どの識別器が最適であるか検討する。
図２２は、識別器が識別精度に与える影響を検討する上での解析条件を示している。
Ｆｉｎｅ－ｔｕｎｉｎｇに用いることができる画像が少ないため、学習過程における検証用データに識別用データ（テストデータ）１０セットを用いた。そのため、Ｆｉｎｅ－ｔｕｎｉｎｇされたＣＮＮによる識別率は純粋な識別率とは言えないため、今回は参考程度の識別率として比較を行う。
図２３は、各識別器で学習・識別を行った時の識別率を示すグラフである。
２動作識別では、（２）識別器にＦｉｎｅ－ｔｕｎｉｎｇしたＣＮＮを使用した時、組み合わせによっては（１）ＣＮＮを特徴抽出器として使用した時よりも識別率が高くなるものがあったが、全組み合わせの平均識別率で見ると（１）ＣＮＮを特徴抽出器として使用した時よりも低い識別率となった。（３）Ｆｉｎｅ－ｔｕｎｉｎｇしたＣＮＮを特徴抽出器として使用した時には、ほぼ全ての動作の組み合わせで他の２つより識別率が下がり、平均識別率でも最も低い識別率となった。４動作識別では、（１）ＣＮＮによる特徴抽出器＋ＳＶＭによる動作識別が他の２つよりも高い識別率となった。
この理由としては、今回学習・識別に使用できるデータ数が足りなかったためＦｉｎｅ－ｔｕｎｉｎｇで再学習が十分に進まなかったと考えられる。２動作識別で識別率が上がった組み合わせがあったのは、検証用データ（テストデータ）と識別データに同じデータを使用しているためＦｉｎｅ－ｔｕｎｉｎｇしたＣＮＮを使用した場合ではテストデータの情報が含まれたような学習となり識別率が上がったのだと考えられる。
今回は識別器に最も識別率が高かった、（１）ＣＮＮを特徴抽出器として用いてＳＶＭで識別する方法を最適と判断した。
ただし、Ｆｉｎｅ－ｔｕｎｉｎｇに関してはデータ数が増えることによって識別率が向上する可能性が十分にある。
【0049】
舌骨上筋群のみ使用した場合、舌骨下筋群のみ使用した場合、舌骨上筋群と舌骨下筋群の特徴量を合成した場合、舌骨上筋群と舌骨下筋群を１枚の画像に画像化した場合、の４つの方法で学習・識別した時の識別精度について比較、検討した結果を以下に説明する。
【0050】
図２４は舌骨上筋群と舌骨下筋群との特徴量を合成する場合の構造を示す図である。
舌骨上筋群と舌骨下筋群の特徴量を合成する場合、まず舌骨上筋群の表面筋電位信号から作成した画像ファイルと、舌骨下筋群の表面筋電位信号から作成した画像ファイルを、ＣＮＮを特徴抽出器として用いてそれぞれで４０９６次元の特徴ベクトルを作成する。そして、２つの特徴量を合成し８１９２次元の特徴ベクトルを作成し、ＳＶＭで学習識別を行う。
図２５は、舌骨上筋群と舌骨下筋群を１枚の画像に画像化する方法を示す図である。
１枚の画像に画像化する場合、たとえば、２２チャンネルの表面筋電位信号から任意の１６チャンネルを選択する、あるいは、任意の２つのチャンネル間電位差を計算し、新たな表面筋電位信号を１６チャンネル作成する、あるいはこれらの組み合わせにより１６チャンネルの表面筋電位信号があるとする。このとき、６×６のマトリクスに舌骨上筋群と舌骨下筋群の各チャンネルの画像を図２５のように並べて１枚の画像に変換する。このように検出に用いるチャンネルそのものを用いることなく、各チャンネル間の電極間電位差を計算し、新たな筋電位信号を作り出し、画像化に用いるチャンネル数や表面筋電位信号を任意に選択することができる。
舌骨上筋群と舌骨下筋群の特徴量を合成する場合、まず舌骨上筋群の表面筋電位信号から作成した画像ファイルと、舌骨下筋群の表面筋電位信号から作成した画像ファイルを、ＣＮＮを特徴抽出器として用いてそれぞれで４０９６次元の特徴ベクトルを作成する。そして、２つの特徴量を合成し８１９２次元の特徴ベクトルを作成し、ＳＶＭで学習識別を行う。
図２５は、舌骨上筋群と舌骨下筋群を１枚の画像に画像化する方法を示す図である。
１枚の画像に画像化する場合、たとえば、２２チャンネルの表面筋電位信号から任意の１６チャンネルを選択する、あるいは、任意の２つのチャンネル間電位差を計算し、新たな表面筋電位信号を１６チャンネル作成する、あるいはこれらの組み合わせにより１６チャンネルの表面筋電位信号があるとする。このとき、６×６のマトリクスに舌骨上筋群と舌骨下筋群の各チャンネルの画像を図２５のように並べて１枚の画像に変換する。このように検出に用いるチャンネルそのものを用いることなく、各チャンネル間の電極間電位差を計算し、新たな筋電位信号を作り出し、画像化に用いるチャンネル数や表面筋電位信号を任意に選択することができる。
【0051】
図２６は、使用電極による識別率の検討に用いる解析条件を示している。
図２７は、使用電極毎の識別率の結果を示すグラフである。
２動作識別、４動作識別ともに舌骨上筋群のみ、舌骨下筋群のみで学習、識別を行った時よりも、舌骨上筋群と舌骨下筋群両方の表面筋電位信号を用いて識別を行った時のほうが高い識別率となった。また、１枚の画像に画像化するよりも、特徴量を合成したほうが高い識別率となった。
この理由としては１枚の画像に画像化する方法では、画像認識に用いる画像サイズ（２２７×２２７ｐｉｘｅｌ）が決まっているため、多くのチャンネルの画像を入れると、一つのチャンネルが持つ情報量が（いわゆる識別のための分解能）が落ちてしまうため特徴量抽出で識別に必要な特徴を抽出しきれなかったと考えられる。一方、特徴量を合成する方法では、舌骨上筋群と舌骨下筋群それぞれで特徴を抽出したために、双方の特徴をよく捉えることができた特徴ベクトルで学習・識別できたためと考えられる。
よって、本計測データに対する、本解析条件おいては、舌骨上筋群と舌骨下筋群の特徴量を合成する方法が嚥下運動の識別に最適だと判断した。
図２７は、使用電極毎の識別率の結果を示すグラフである。
２動作識別、４動作識別ともに舌骨上筋群のみ、舌骨下筋群のみで学習、識別を行った時よりも、舌骨上筋群と舌骨下筋群両方の表面筋電位信号を用いて識別を行った時のほうが高い識別率となった。また、１枚の画像に画像化するよりも、特徴量を合成したほうが高い識別率となった。
この理由としては１枚の画像に画像化する方法では、画像認識に用いる画像サイズ（２２７×２２７ｐｉｘｅｌ）が決まっているため、多くのチャンネルの画像を入れると、一つのチャンネルが持つ情報量が（いわゆる識別のための分解能）が落ちてしまうため特徴量抽出で識別に必要な特徴を抽出しきれなかったと考えられる。一方、特徴量を合成する方法では、舌骨上筋群と舌骨下筋群それぞれで特徴を抽出したために、双方の特徴をよく捉えることができた特徴ベクトルで学習・識別できたためと考えられる。
よって、本計測データに対する、本解析条件おいては、舌骨上筋群と舌骨下筋群の特徴量を合成する方法が嚥下運動の識別に最適だと判断した。
【0052】
随意嚥下や嚥下反射に対する舌骨上筋群と舌骨下筋群の機能解明についての検討結果を以下に説明する。
舌骨上筋群と舌骨下筋群の筋機能に着目し、随意嚥下の強度や一回嚥下量を変化させた時の各筋群の働きが、識別精度にどのように現れるか検討した。
舌骨上筋群と舌骨下筋群の筋機能に着目し、随意嚥下の強度や一回嚥下量を変化させた時の各筋群の働きが、識別精度にどのように現れるか検討した。
【0053】
図２８は舌骨上筋群と舌骨下筋群の識別率の検討に用いる解析条件を示している。
使用する表面筋電位信号のチャンネル数は、電位差の算出の仕方による影響を受けないようにするため２２チャンネルと１６チャンネルで行う。
図２９は２２チャンネルにおける舌骨上筋群と舌骨下筋群の２動作識別の結果を示すグラフである。
まず一回嚥下量が等しく、飲み込む強さを変化させた時、つまり３ｍｌ（普通：ＮＳ３）と３ｍｌ（最大努力：ＥＳ３）を識別した場合（ｉ）と１５ｍｌ（普通：ＮＳ１５）と１５ｍｌ（最大努力：ＥＳ１５）を識別した場合（vi）について見ると、双方とも舌骨下筋群より舌骨上筋群のほうが高い識別率となった。舌骨上筋群には、舌の根本に位置する舌骨を安定して支えるという役割があり、嚥下の強さ、すなわち水分や食塊を口腔から咽頭に送り込む力によって、舌骨の支え方が大きく変化するため、舌骨上筋群の表面筋電位で高い識別率を得ることができたと考えられる。
次に飲み込む強さが一定で、一口嚥下量を変えた時を変化させた時、つまり３ｍｌ（普通：ＮＳ３）と１５ｍｌ（普通：ＮＳ１５）を識別した場合（ii）と３ｍｌ（最大努力：ＥＳ３）と１５ｍｌ（最大努力：ＥＳ１５）識別した場合（ｖ）について見ると、双方とも舌骨上筋群より舌骨下筋群のほうが高い識別率となった。舌骨下筋群には、舌骨上筋群の収縮に伴う反射運動として、喉頭を最高位に引き上げ、喉頭を閉鎖する役割がある。喉頭閉鎖のタイミングや閉鎖時間は、一口量の増加に伴って変化することが知られているため、舌骨下筋群の表面筋電位に一口嚥下量の違いが表れたと考えられる。しかし、（ｖ）では舌骨上筋群、舌骨下筋群共に識別率が約８５%と他に比べ低い結果となった。これは、量の変化による表面筋電位の変化だけでなく、強く嚥下したことによる表面筋電位の変化も特徴として表れ、画像化した時に量の変化による特徴がわかりにくくなったためだと考えられる。
以上から随意嚥下の強度は舌骨上筋群の活動パターンに、一回の嚥下量の違いは舌骨下筋群の活動パターンに表れやすいことが示唆された。この知見は嚥下機能の低下の早期発見や、訓練指針の決定などへの活用が期待される。
使用する表面筋電位信号のチャンネル数は、電位差の算出の仕方による影響を受けないようにするため２２チャンネルと１６チャンネルで行う。
図２９は２２チャンネルにおける舌骨上筋群と舌骨下筋群の２動作識別の結果を示すグラフである。
まず一回嚥下量が等しく、飲み込む強さを変化させた時、つまり３ｍｌ（普通：ＮＳ３）と３ｍｌ（最大努力：ＥＳ３）を識別した場合（ｉ）と１５ｍｌ（普通：ＮＳ１５）と１５ｍｌ（最大努力：ＥＳ１５）を識別した場合（vi）について見ると、双方とも舌骨下筋群より舌骨上筋群のほうが高い識別率となった。舌骨上筋群には、舌の根本に位置する舌骨を安定して支えるという役割があり、嚥下の強さ、すなわち水分や食塊を口腔から咽頭に送り込む力によって、舌骨の支え方が大きく変化するため、舌骨上筋群の表面筋電位で高い識別率を得ることができたと考えられる。
次に飲み込む強さが一定で、一口嚥下量を変えた時を変化させた時、つまり３ｍｌ（普通：ＮＳ３）と１５ｍｌ（普通：ＮＳ１５）を識別した場合（ii）と３ｍｌ（最大努力：ＥＳ３）と１５ｍｌ（最大努力：ＥＳ１５）識別した場合（ｖ）について見ると、双方とも舌骨上筋群より舌骨下筋群のほうが高い識別率となった。舌骨下筋群には、舌骨上筋群の収縮に伴う反射運動として、喉頭を最高位に引き上げ、喉頭を閉鎖する役割がある。喉頭閉鎖のタイミングや閉鎖時間は、一口量の増加に伴って変化することが知られているため、舌骨下筋群の表面筋電位に一口嚥下量の違いが表れたと考えられる。しかし、（ｖ）では舌骨上筋群、舌骨下筋群共に識別率が約８５%と他に比べ低い結果となった。これは、量の変化による表面筋電位の変化だけでなく、強く嚥下したことによる表面筋電位の変化も特徴として表れ、画像化した時に量の変化による特徴がわかりにくくなったためだと考えられる。
以上から随意嚥下の強度は舌骨上筋群の活動パターンに、一回の嚥下量の違いは舌骨下筋群の活動パターンに表れやすいことが示唆された。この知見は嚥下機能の低下の早期発見や、訓練指針の決定などへの活用が期待される。
【0054】
図３０は平均識別率によって得られた結果の有効性の検証結果を示している。
被験者６人の平均識別でそれぞれの電極で得られる表面筋電位信号について考察を行ったが、今回は被験者が少ないため平均識別率は一人の識別結果によって大きく左右されてしまう。そこで、被験者毎にそれぞれ舌骨上筋群と舌骨下筋群の識別率を比較し識別率が高い方に１つカウントし、その人数により動作毎に優位な舌骨筋群を決定し、その結果から平均識別率によって得られた結果の有効性を調べた。２つの識別率を比較し同じだった場合にはどちらもカウントしないこととする。
図３０では、舌骨上筋群と舌骨下筋群の２動作識別の結果を被験者毎に比較しカウントしたものを示している。各マス内の左側数値は舌骨上筋群が舌骨下筋群の識別率を上回っている人数、各マス内の右側数値は舌骨下筋群の識別率が舌骨上筋群の識別率を上回っている人数を示す。
３ｍｌ（普通：ＮＳ３）と３ｍｌ（最大努力：ＥＳ３）を識別した場合（ｉ）と１５ｍｌ（普通：ＮＳ１５）と１５ｍｌ（最大努力：ＥＳ１５）を識別した場合（vi）に舌骨上筋群が舌骨下筋群の識別率を上回り、それ以外では舌骨下筋群の識別率が舌骨上筋群の識別率を上回った。この結果からも随意嚥下の強度は舌骨上筋群の活動パターンに、一回の嚥下量の違いは舌骨下筋群の活動パターンに表れやすいということができる。
以上から、平均識別率によって得られた結果の有効性が確認された
被験者６人の平均識別でそれぞれの電極で得られる表面筋電位信号について考察を行ったが、今回は被験者が少ないため平均識別率は一人の識別結果によって大きく左右されてしまう。そこで、被験者毎にそれぞれ舌骨上筋群と舌骨下筋群の識別率を比較し識別率が高い方に１つカウントし、その人数により動作毎に優位な舌骨筋群を決定し、その結果から平均識別率によって得られた結果の有効性を調べた。２つの識別率を比較し同じだった場合にはどちらもカウントしないこととする。
図３０では、舌骨上筋群と舌骨下筋群の２動作識別の結果を被験者毎に比較しカウントしたものを示している。各マス内の左側数値は舌骨上筋群が舌骨下筋群の識別率を上回っている人数、各マス内の右側数値は舌骨下筋群の識別率が舌骨上筋群の識別率を上回っている人数を示す。
３ｍｌ（普通：ＮＳ３）と３ｍｌ（最大努力：ＥＳ３）を識別した場合（ｉ）と１５ｍｌ（普通：ＮＳ１５）と１５ｍｌ（最大努力：ＥＳ１５）を識別した場合（vi）に舌骨上筋群が舌骨下筋群の識別率を上回り、それ以外では舌骨下筋群の識別率が舌骨上筋群の識別率を上回った。この結果からも随意嚥下の強度は舌骨上筋群の活動パターンに、一回の嚥下量の違いは舌骨下筋群の活動パターンに表れやすいということができる。
以上から、平均識別率によって得られた結果の有効性が確認された
【0055】
まず一回嚥下量が等しく、飲み込む強さを変化させた時、つまり３ｍｌ（普通：ＮＳ３）と３ｍｌ（最大努力：ＥＳ３）を識別した場合（ｉ）と１５ｍｌ（普通：ＮＳ１５）と１５ｍｌ（最大努力：ＥＳ１５）を識別した場合（vi）について見ると、（ｉ）では舌骨上筋群より舌骨下筋群のほうが高い識別率となり、（vi）では舌骨下筋群より舌骨上筋群のほうが高い識別率となった。
次に飲み込む強さが一定で、一口嚥下量を変えた時を変化させた時、つまり３ｍｌ（普通：ＮＳ３）と１５ｍｌ（普通：ＮＳ１５）を識別した場合（ii）と３ｍｌ（最大努力：ＥＳ３）と１５ｍｌ（最大努力：ＥＳ１５）識別した場合（ｖ）について見ると、双方とも舌骨上筋群より舌骨下筋群のほうが高い識別率となった。
（vi）、（ii）、（ｖ）では２２チャンネルで識別を行った時と同様の傾向が見られたものの、（ｉ）では同様の傾向が見られなかった。この理由としては、舌骨下筋群の１６チャンネルでの識別率が２２チャンネルでの識別率に比べ全体的に上がっているのに対して、舌骨上筋群では部分的にのみ上がっている。つまり、電極間電位差の算出の部分で識別率の変化率に差があり、舌骨上筋群と舌骨下筋群が同様の条件でなかったためと考えられる。
次に飲み込む強さが一定で、一口嚥下量を変えた時を変化させた時、つまり３ｍｌ（普通：ＮＳ３）と１５ｍｌ（普通：ＮＳ１５）を識別した場合（ii）と３ｍｌ（最大努力：ＥＳ３）と１５ｍｌ（最大努力：ＥＳ１５）識別した場合（ｖ）について見ると、双方とも舌骨上筋群より舌骨下筋群のほうが高い識別率となった。
（vi）、（ii）、（ｖ）では２２チャンネルで識別を行った時と同様の傾向が見られたものの、（ｉ）では同様の傾向が見られなかった。この理由としては、舌骨下筋群の１６チャンネルでの識別率が２２チャンネルでの識別率に比べ全体的に上がっているのに対して、舌骨上筋群では部分的にのみ上がっている。つまり、電極間電位差の算出の部分で識別率の変化率に差があり、舌骨上筋群と舌骨下筋群が同様の条件でなかったためと考えられる。
【0056】
舌骨上筋群と舌骨下筋群の識別率の検討の結果から、随意嚥下の強度や一回嚥下量を変化させた時の各筋群の働きが、識別精度にどのように現れるか検討したところ、随意嚥下の強度は舌骨上筋群の活動パターンに、一回の嚥下量の違いは舌骨下筋群の活動パターンに表れやすいことが示唆された。
【産業上の利用可能性】
【0057】
本発明は、日常的に嚥下機能をチェックするための嚥下機能計としても適用できる。
【符号の説明】
【0058】
１０ 多チャンネル電極
１１ 舌骨上筋群用多チャンネル電極
１２ 舌骨下筋群用多チャンネル電極
１３ 基準電極
１４ ＧＮＤ電極
２０ 筋電アンプボックス（筋電計）
２１ 差動増幅回路
２２ ＤＣサーボ回路
２３ 信号増幅回路
２４ アンチエイリアシングフィルタ回路
２５ バンドパス／出力バッファ回路
３０ ＡＤ／ＤＡ変換器
４０ 制御器
４１ 特徴抽出部
４２ 動作学習・識別部
１１ 舌骨上筋群用多チャンネル電極
１２ 舌骨下筋群用多チャンネル電極
１３ 基準電極
１４ ＧＮＤ電極
２０ 筋電アンプボックス（筋電計）
２１ 差動増幅回路
２２ ＤＣサーボ回路
２３ 信号増幅回路
２４ アンチエイリアシングフィルタ回路
２５ バンドパス／出力バッファ回路
３０ ＡＤ／ＤＡ変換器
４０ 制御器
４１ 特徴抽出部
４２ 動作学習・識別部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
