IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 国立大学法人岩手大学の特許一覧

<>
  • 特開-耳周辺装着具 図1
  • 特開-耳周辺装着具 図2
  • 特開-耳周辺装着具 図3
  • 特開-耳周辺装着具 図4
  • 特開-耳周辺装着具 図5
  • 特開-耳周辺装着具 図6
  • 特開-耳周辺装着具 図7
  • 特開-耳周辺装着具 図8
  • 特開-耳周辺装着具 図9
  • 特開-耳周辺装着具 図10
  • 特開-耳周辺装着具 図11
  • 特開-耳周辺装着具 図12
  • 特開-耳周辺装着具 図13
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022048693
(43)【公開日】2022-03-28
(54)【発明の名称】耳周辺装着具
(51)【国際特許分類】
   A61B 5/11 20060101AFI20220318BHJP
【FI】
A61B5/11 300
A61B5/11 310
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2020154659
(22)【出願日】2020-09-15
(71)【出願人】
【識別番号】504165591
【氏名又は名称】国立大学法人岩手大学
(74)【代理人】
【識別番号】100098545
【弁理士】
【氏名又は名称】阿部 伸一
(74)【代理人】
【識別番号】100189717
【弁理士】
【氏名又は名称】太田 貴章
(72)【発明者】
【氏名】佐々木 誠
(72)【発明者】
【氏名】米田 直輝
【テーマコード(参考)】
4C038
【Fターム(参考)】
4C038VA04
4C038VB08
4C038VB09
4C038VB34
4C038VC20
(57)【要約】
【課題】咀嚼及び嚥下を正確に検出でき装着負担が少ない耳周辺装着具を提供すること。
【解決手段】本発明の耳周辺装着具は、生体信号検出手段10と音検出手段20とを備え、側頭筋、後頭筋、胸鎖乳突筋、咬筋、耳介筋、茎突舌骨筋、及び顎二腹筋の少なくとも一つの筋肉の耳周辺での筋活動による生体信号が検出できる位置に生体信号検出手段10を配置し、咀嚼音及び嚥下音を検出できる位置に音検出手段20を配置し、生体信号検出手段10で検出される生体信号から咀嚼区間を決定し、決定した咀嚼区間以外で検出される音検出手段20による音声信号で嚥下音を特定することを特徴とする。
【選択図】 図1
【特許請求の範囲】
【請求項1】
生体信号検出手段と音検出手段とを備え、
側頭筋、後頭筋、胸鎖乳突筋、咬筋、耳介筋、茎突舌骨筋、及び顎二腹筋の少なくとも一つの筋肉の耳周辺での筋活動による生体信号が検出できる位置に前記生体信号検出手段を配置し、
咀嚼音及び嚥下音を検出できる位置に前記音検出手段を配置する
耳周辺装着具であって、
前記生体信号検出手段で検出される前記生体信号から咀嚼区間を決定し、
決定した前記咀嚼区間以外で検出される前記音検出手段による音声信号で前記嚥下音を特定する
ことを特徴とする耳周辺装着具。
【請求項2】
前記咀嚼区間に検出される前記生体信号から咀嚼回数を算出し、
前記嚥下音から嚥下回数を算出する
ことを特徴とする請求項1に記載の耳周辺装着具。
【請求項3】
前記生体信号検出手段の生体信号用電極を、装着者の皮膚に接触させ、
前記音検出手段のマイクを、前記装着者の前記皮膚に接触させずに
装着する
ことを特徴とする請求項1又は請求項2に記載の耳周辺装着具。
【請求項4】
前記マイクの周囲に前記生体信号用電極を配置し、
前記生体信号用電極を前記装着者の前記皮膚に接触させた状態では、前記マイクと前記皮膚との間に空気層が形成される
ことを特徴とする請求項3に記載の耳周辺装着具。
【請求項5】
前記生体信号用電極を、前記マイクを中心としたドーナツ状に配置した
ことを特徴とする請求項4に記載の耳周辺装着具。
【請求項6】
前記生体信号用電極を、カンペル平面以上の高さに配置し、
前記マイクを、前記カンペル平面以下の高さに配置した
ことを特徴とする請求項3に記載の耳周辺装着具。
【請求項7】
前記生体信号からピーク探索を行い、
前記ピーク探索で検出される隣り合うピークの間の距離を咀嚼ペースとして算出し、
一つの前記ピークの波形の高さを用いて咀嚼強さを算出し、
一つの前記ピークの所定高さにおける幅を用いて筋活動時間を算出し、
算出される前記咀嚼ペース、前記咀嚼強さ、及び前記筋活動時間を用いて、嚥下に伴う予備動作を除去して前記咀嚼区間を決定する
ことを特徴とする請求項1から請求項6のいずれか1項に記載の耳周辺装着具。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、咀嚼や嚥下を検出することができる耳周辺装着具に関する。
【背景技術】
【0002】
咀嚼には、食物を嚥下や消化に適した物性に調整する、唾液の分泌を促し消化を良くする、満腹中枢を刺激し過食や肥満を予防する、などの様々な重要な機能がある。
しかし、食生活の変化によって現代人の咀嚼回数は減少傾向にあり、咀嚼回数と生活習慣病との関連性も報告されている。
また、咀嚼機能や嚥下機能が低下した摂食嚥下障害者や高齢者の場合、食事中に窒息・誤嚥などを起こすリスクが高く、注意深く食事中の様子を見守る必要がある。しかしながらこれまでの見守りとは、安否確認や生存確認が主流であり、食事中の見守りを対象としたものは少ない。高齢者施設では、食事の履歴を記録し管理することも重要な業務の一つであり、介護記録等の支援において食事の見守りは重要となる。
それゆえ、健康維持や窒息・誤嚥の予防、食事の記録・管理のために、「咀嚼・嚥下の回数やペース等の咀嚼・嚥下の状態」や「誤嚥によるむせや咳の回数」を日常的に記録し観察することが重要である。
特許文献1は、使用者の体調や食物の種類等に応じ簡単な操作で目標咀嚼条件が設定され、使用者の咀嚼状態を検出判定通報する咀嚼カウンタを提案している。なお、特許文献1では、圧電素子を用いて使用者の下顎骨及び上頬骨の動きを咀嚼動作として検出している。
特許文献2は、嚥下動作が生じていないことを検出する嚥下障害検出システムを提案している。このシステムでは、咀嚼検出手段が、被検者の咀嚼動作が継続して行われていることを検出し、動き検出手段が、咽頭または喉頭が所定の動きをしていないことを検出し、嚥下障害判定手段が、咀嚼検出手段及び動き検出手段の2つの検出結果のみに基づいて被検者が嚥下障害であることを判定するものである。
特許文献2は、咀嚼検出手段は、咀嚼時の口内の音、被検者の咀嚼時に動く顎の位置、被検者の咀嚼に関与する筋肉の筋電位、及び被検者の咀嚼に関与する血管の血流に関する物理量を検出し、動き検出手段には、被検者の喉頭の位置を測定可能な圧力センサ、測距センサ、又は被検者の咽頭の位置を内部撮影して透視画像を取得して出力する撮像カメラを用いている。
特許文献3は、咀嚼回数を計測するために外耳道の動きをイヤーチップで受けて測定する咀嚼回数計を提案している。
特許文献4は、咀嚼動作により生じる電位を検出するための一組の電位検出手段であって、両側の外耳道または耳介にそれぞれ装着される電位検出手段と、一組の電位検出手段により計測された電位の差を算出する電位差算出手段とを備えた咀嚼動作計測装置を提案している。
特許文献5は、耳と頭部との間で挟持されて耳に装着される耳掛部を備えて咀嚼回数を計測できる生体装着型計測装置を提案している。
特許文献6は、外耳道に挿入されたイヤホン型センサを用いた筋活動診断装置を提案しており、人の筋肉の活動状態の一つとして咀嚼を特定している。
特許文献7は、変位センサ及びマイクを備えて咀嚼や嚥下を検知する検知装置を提案している。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2007-317144号公報
【特許文献2】特開2012-75758号公報
【特許文献3】特開2013-42968号公報
【特許文献4】特開2020-431号公報
【特許文献5】特開2016-131854号公報
【特許文献6】特開2012-228号公報
【特許文献7】国際公開2018/182043号
【発明の開示】
【発明が解決しようとする課題】
【0004】
特許文献1では、使用者が耳に装着した状態で食事が自由にできるが、咀嚼動作だけの検出であり、嚥下を検出できない。
特許文献2では、音と筋電位とを検出することが記載されているが、いずれも咀嚼検出に用いるものである。
特許文献3では、咀嚼回数の計測に振動センサを用いている。
特許文献4では、耳介に装着する装置であり筋電位によって咀嚼動作を検出するが、嚥下を検出するものではない。
特許文献5では、測距センサを用いて耳裏下部の動きを検出することで咀嚼回数を計測するものであり、また嚥下は検出しない。
特許文献6では、筋電位を検出して咀嚼を特定し、更にイヤホン型センサを用いているが、嚥下を検出していない。
特許文献7では、変位センサはユーザの頬等に貼り付けられ、マイクはユーザのこめかみ付近等に貼り付けている。
装着者の装着負担を軽減する上では、耳周辺に装着できる器具が適しているが、耳周辺に装着することで、咀嚼と嚥下を検出できるものは提案されていない。
【0005】
本発明は、咀嚼及び嚥下を正確に検出でき装着負担が少ない耳周辺装着具を提供することを目的とする。
【課題を解決するための手段】
【0006】
請求項1記載の本発明の耳周辺装着具は、生体信号検出手段10と音検出手段20とを備え、側頭筋、後頭筋、胸鎖乳突筋、咬筋、耳介筋、茎突舌骨筋、及び顎二腹筋の少なくとも一つの筋肉の耳周辺での筋活動による生体信号が検出できる位置に前記生体信号検出手段10を配置し、咀嚼音及び嚥下音を検出できる位置に前記音検出手段20を配置する耳周辺装着具であって、前記生体信号検出手段10で検出される前記生体信号から咀嚼区間を決定し、決定した前記咀嚼区間以外で検出される前記音検出手段20による音声信号で前記嚥下音を特定することを特徴とする。
請求項2記載の本発明は、請求項1に記載の耳周辺装着具において、前記咀嚼区間に検出される前記生体信号から咀嚼回数を算出し、前記嚥下音から嚥下回数を算出することを特徴とする。
請求項3記載の本発明は、請求項1又は請求項2に記載の耳周辺装着具において、前記生体信号検出手段10の生体信号用電極11を、装着者の皮膚に接触させ、前記音検出手段20のマイク21を、前記装着者の前記皮膚に接触させずに装着することを特徴とする。
請求項4記載の本発明は、請求項3に記載の耳周辺装着具において、前記マイク21の周囲に前記生体信号用電極11を配置し、前記生体信号用電極11を前記装着者の前記皮膚に接触させた状態では、前記マイク21と前記皮膚との間に空気層22が形成されることを特徴とする。
請求項5記載の本発明は、請求項4に記載の耳周辺装着具において、前記生体信号用電極11を、前記マイク21を中心としたドーナツ状に配置したことを特徴とする。
請求項6記載の本発明は、請求項3に記載の耳周辺装着具において、前記生体信号用電極11を、カンペル平面以上の高さに配置し、前記マイク21を、前記カンペル平面以下の高さに配置したことを特徴とする。
請求項7記載の本発明は、請求項1から請求項6のいずれか1項に記載の耳周辺装着具において、前記生体信号からピーク探索を行い、前記ピーク探索で検出される隣り合うピークの間の距離を咀嚼ペースとして算出し、一つの前記ピークの波形の高さを用いて咀嚼強さを算出し、一つの前記ピークの所定高さにおける幅を用いて筋活動時間を算出し、算出される前記咀嚼ペース、前記咀嚼強さ、及び前記筋活動時間を用いて、嚥下に伴う予備動作を除去して前記咀嚼区間を決定することを特徴とする。
【発明の効果】
【0007】
本発明の耳周辺装着具によれば、咀嚼の検出には生体信号検出手段を用い、嚥下の検出には音検出手段を用い、更に嚥下音の特定にあたっては、生体信号検出手段で検出される咀嚼区間を用いることで、咀嚼及び嚥下を正確に検出でき、筋活動による生体信号の検出及び音検出を耳周辺で行うことで装着負担が少ない。
【図面の簡単な説明】
【0008】
図1】本発明の一実施例による耳周辺装着具及び同装具の装着位置を示す図
図2】生体信号の定性的評価のための複合センサの計測個所を示す図
図3】生体信号の定性的評価結果を示す図
図4】咀嚼及び嚥下の検出実験例における生体信号の検出個所を示す図
図5】検出される生体信号の前処理を説明するための図
図6】ピーク探索における咀嚼検出データを示す図
図7】咀嚼ペース、咀嚼強さ、及び筋活動時間を示す図
図8】予備動作の除去による咀嚼区間を示す図
図9】嚥下の検出を示す図
図10】本実施例による耳周辺装着具の評価結果を示す図
図11】食材別咀嚼データ
図12】検知位置による検出誤差を示す図
図13】検知位置による検出誤差を示す図
【発明を実施するための形態】
【0009】
本発明の第1の実施の形態による耳周辺装着具は、生体信号検出手段と音検出手段とを備え、側頭筋、後頭筋、胸鎖乳突筋、咬筋、耳介筋、茎突舌骨筋、及び顎二腹筋の少なくとも一つの筋肉の耳周辺での筋活動による生体信号が検出できる位置に生体信号検出手段を配置し、咀嚼音及び嚥下音を検出できる位置に音検出手段を配置する耳周辺装着具であって、生体信号検出手段で検出される生体信号から咀嚼区間を決定し、決定した咀嚼区間以外で検出される音検出手段による音声信号で嚥下音を特定するものである。本実施の形態によれば、咀嚼の検出には生体信号検出手段を用い、嚥下の検出には音検出手段を用い、更に嚥下音の特定にあたっては、生体信号検出手段で検出される咀嚼区間を用いることで、咀嚼及び嚥下を正確に検出でき、筋活動による生体信号の検出及び音検出を耳周辺で行うことで装着負担が少ない。
【0010】
本発明の第2の実施の形態は、第1の実施の形態による耳周辺装着具において、咀嚼区間に検出される生体信号から咀嚼回数を算出し、嚥下音から嚥下回数を算出するものである。本実施の形態によれば、咀嚼回数及び嚥下回数を正確に算出できる。
【0011】
本発明の第3の実施の形態は、第1又は第2の実施の形態による耳周辺装着具において、生体信号検出手段の生体信号用電極を、装着者の皮膚に接触させ、音検出手段のマイクを、装着者の皮膚に接触させずに装着するものである。本実施の形態によれば、生体信号用電極を皮膚に接触させることで筋活動による生体信号を正確に検出し、一方でマイクが皮膚に接触することで生じるノイズを、マイクを皮膚に接触させないことで少なくでき、嚥下音を正確に検出できる。
【0012】
本発明の第4の実施の形態は、第3の実施の形態による耳周辺装着具において、マイクの周囲に生体信号用電極を配置し、生体信号用電極を装着者の皮膚に接触させた状態では、マイクと皮膚との間に空気層が形成されるものである。本実施の形態によれば、マイクの周囲に生体信号用電極を配置することで、マイクと皮膚との間に空気層を形成しやすく、この空気層によって集音性が高まる。
【0013】
本発明の第5の実施の形態は、第4の実施の形態による耳周辺装着具において、生体信号用電極を、マイクを中心としたドーナツ状に配置したものである。本実施の形態によれば、マイクと皮膚との間に集音性が高い空気層を形成しやすい。
【0014】
本発明の第6の実施の形態は、第3の実施の形態による耳周辺装着具において、生体信号用電極を、カンペル平面以上の高さに配置し、マイクを、カンペル平面以下の高さに配置したものである。本実施の形態によれば、咀嚼及び嚥下を更に正確に検出しやすい。
【0015】
本発明の第7の実施の形態は、第1から第6のいずれかの実施の形態による耳周辺装着具において、生体信号からピーク探索を行い、ピーク探索で検出される隣り合うピークの間の距離を咀嚼ペースとして算出し、一つのピークの波形の高さを用いて咀嚼強さを算出し、一つのピークの所定高さにおける幅を用いて筋活動時間を算出し、算出される咀嚼ペース、咀嚼強さ、及び筋活動時間を用いて、嚥下に伴う予備動作を除去して咀嚼区間を決定するものである。予備動作とは、嚥下時に、口を閉じる動作や上下の歯列を咬合接触させる動作であり、このような予備的動作でも筋活動が検出されるが、本実施の形態によれば、嚥下に伴う予備動作を除去することで咀嚼区間をより正確に検出でき、咀嚼区間を正確に検出できることで、嚥下も更に正確に検出できる。
【実施例0016】
以下本発明の一実施例について図面とともに説明する。
図1は本実施例による耳周辺装着具及び同装具の装着位置を示す図である。
本実施例による耳周辺装着具は、生体信号検出手段10と音検出手段20とを備えている。
生体信号検出手段10は生体信号用電極11で構成され、音検出手段20はマイク21で構成され、生体信号用電極11は、信号検出用の関電極11a及び基準電位を表す不関電極(基準電極)11bからなる。
【0017】
図1(a)に示すように、本実施例による耳周辺装着具は、生体信号検出手段10の生体信号用電極11と、音検出手段20のマイク21とを固定部材30に配置することで複合センサ1を構成している。図1(a)では、生体信号用電極11として2つの関電極11aを、マイク21を中心としたドーナツ状に配置している。なお、関電極11aは1つでもよく、3つ以上であってもよい。また、生体信号の導出法は、単極誘導法、双極誘導法のいずれでもよく、例えば2つの関電極11aで観測した信号から2チャンネルの生体信号を導出してもよいし(単極誘導)、1チャンネルの生体信号を導出してもよい(双極誘導)。これらを組み合わせて2つの関電極11aから3チャンネルの生体信号を導出しても良い。
生体信号用電極11にはゴム電極が適しており、ゴム電極を用いることで、繰り返しの使用が可能で柔軟性があり任意の形状に加工しやすい。また、皮膚と電極の間の摩擦により、咀嚼・嚥下中に電極位置がずれにくい利点もある。
【0018】
図1(b)に示すように、生体信号用電極11は装着者の皮膚に接触させ、マイク21は装着者の皮膚に接触させずに装着する。マイク21の周囲に生体信号用電極11を配置し、生体信号用電極11を装着者の皮膚に接触させた状態では、マイク21と皮膚との間に空気層22が形成される。形成される空気層22の周りにリング状にシリコン材23を設けることが好ましい。なお、シリコン材23に代えて、マイク21の表面にメッシュ状の絶縁物や集音に影響を与えないスポンジ材を用いてもよい。
【0019】
図1(c)に示す領域Xは、装着時に、生体信号検出手段10と音検出手段20とが配置される範囲を示している。なお、図1(c)では、複合センサ1として2つの複合センサ1A、1Bを示しているが、単に配置を示すものであり、いずれか1つの複合センサ1を用いればよい。図1(c)では、不関電極11bを耳朶の後方に配置している。
【0020】
生体信号検出手段10は、側頭筋、後頭筋、胸鎖乳突筋、咬筋、耳介筋、茎突舌骨筋、及び顎二腹筋の少なくとも一つの筋肉の耳周辺での筋活動による生体信号が検出できる位置に配置する。なお、本実施例では、筋活動による生体信号を筋電位信号として説明するが、筋収縮にともなって体表面上に発生する微細振動信号(筋音図)や、筋収縮に伴う皮膚の形状変化を検出する圧力信号や変位信号も筋活動による生体信号である。
音検出手段20は、咀嚼音及び嚥下音を検出できる位置に配置する。
このように、耳周りの生体信号を生体信号検出手段10及び音検出手段20で検出することで、本実施例による耳周辺装着具は、耳掛け式装着器具や眼鏡式装着器具のように、日常的に使用可能なウェアラブルデバイスとすることができる。
【0021】
本実施例による耳周辺装着具は、生体信号検出手段10及び音検出手段20の他に、検出信号を増幅する増幅器、アナログデジタル変換を行うAD変換器、電源を供給する電源部、及び検出信号を処理する制御部を備える。これら増幅器、AD変換器、電源部、及び制御部は、生体信号検出手段10及び音検出手段20とともに耳周辺部に配置してもよいが、有線や無線による通信手段を備えることで、これらの一部又は全てを構造的に分離してもよい。
本実施例による耳周辺装着具は、生体信号用電極11を皮膚に接触させることで筋電位を正確に検出し、一方でマイク21を皮膚に接触させないことで雑音を少なくでき、嚥下音を正確に検出できる。
また、本実施例による耳周辺装着具は、マイク21の周囲に生体信号用電極11を配置することで、マイク21と皮膚との間に空気層22を形成しやすく、この空気層22によって集音性が高まる。そして、生体信号用電極11を、マイク21を中心としたドーナツ状に配置することで、マイク21と皮膚との間に集音性が高い空気層22を形成しやすい。
【0022】
以下の実験では下記の装置を用いた。
複合センサ1は生体信号用電極11とマイク21からなり、生体信号用電極11には「生体信号用ゴム電極」(NOK株式会社製)を、マイク21には「マイク(EM-60340BT-A)」(アオイ電機製)を用いた。
マイク21は、2.5Vを電位基準とする5V単電源で駆動される。マイク21からの音声信号は、マイクアンプにより5倍に増幅され、AD変換器へ取り込まれる。
生体信号用電極11からの筋電位信号(生体信号)は、耳朶に貼りつけた不関電極11bを基準に差動増幅することで計測した。検出された筋電位信号は、筋電アンプボックスを介して2,052倍に増幅され、AD変換器へ取り込まれる。
計測ではアナログ入力を用いてデータ採取を行い、データの収集で用いるAD変換器には、NIUSB-6218(NATIONAL INSTRUMENTS)を用いた。サンプリング周波数は、嚥下の特徴が見られる周波数帯4kHzまでを考慮し、その2倍である8kHzに設定した。
筋電位信号の導出に双極誘導法を用いた場合、1つの複合センサ1で得られる信号は、筋電位信号が1チャンネル、音声信号が1チャンネルである。
【0023】
図2は生体信号の定性的評価のための複合センサの計測個所を示す図である。
図3は生体信号の定性的評価結果を示す図である。
【0024】
図3(a)は、米の右噛み時の右耳側の計測データである。図示している筋電位信号は複合センサ1毎の筋電位信号である。
図3(a)に示すように、耳周りのすべての場所において噛みしめ時の筋電位信号が観測された。また、嚥下のための予備動作に対応した筋電位信号が嚥下前に観測された。
【0025】
図3(b)は、米の右噛み時の右耳側の計測データであり、複合センサ1毎のマイク21の1チャンネル分の音声信号である。
図3(b)に示すように、耳周りのすべての場所において咀嚼音が得られた。耳下部では、下に行くほど咀嚼音が小さく観測された。また、耳下部では嚥下音が観測された。嚥下音は耳下部(2)で大きくなる傾向がみられた。音声信号は音の発生する位置の影響が大きいと考えられる。
定性的評価を整理すると、咀嚼は耳上部の側頭筋に位置すれば大きな波形が得られる。ただし、嚥下時に上下の歯面を合わせる咬合接触(以下予備動作)の筋活動も観測され、筋電位信号のみから、咀嚼と嚥下を見分けるには、機械学習などの高度な信号処理が必要である。音声信号は、咀嚼は検出できるが、嚥下は咽頭部に近づくほど検出できる。
【0026】
図3(c)は、食材と被験者とを異ならせた場合の筋電位信号と音声信号とを示している。
図3(c)に示すように、食材によって筋活動が変わり、また、個人差があり、同一の被験者であっても電極位置が異なる場合には、筋活動の波形が異なる。
そのため、筋電位信号から咀嚼を検出するには、一般に機械学習や閾値処理が必要となる。しかし、機械学習には学習データが必要であり、技術的に可能であったとしても、様々な食材を対象とした咀嚼データを事前に用意しておくことは現実的ではない。これは、閾値処理の場合でも同様であり、食材差、個人差、計測位置での差などを考慮しなければならない。
また、同一の食材であっても、一口量や、咀嚼が進み、食塊形成が進むにつれて、筋活動が変化する。さらに、嚥下に伴う予備動作があり、咀嚼と予備動作の区別がつかない。また、ペットボトルの水をごくごく飲む際など、嚥下条件によって予備動作があらわれない場合があり、動作の判定が必要になる。
【0027】
図4は咀嚼及び嚥下の検出実験例における生体信号の検出個所を示す図である。
顔の左右に計6個の複合センサ1を装着して計測を行った。得られる信号は、筋電位信号が6チャンネル、音声信号が6チャンネルである。
複合センサ1の計測箇所を決めるため、歯科分野で用いられる基準、すなわちカンペル平面を使用した。カンペル平面とは、耳珠点と鼻下点を結んだ線より構成される面である。カンペル平面に垂直であり、耳珠点と交わる線を基準とし、カンペル平面から上方向に15mm、下方向に50mm、80mmをセンサの計測箇所とした。
カンペル平面から上方向に15mmの位置における複合センサ1Aは主に咀嚼筋である側頭筋、カンペル平面から下方向に50mm、80mmの位置における複合センサ1B、1Cは主に胸鎖乳突筋に位置すると考えられる。
【0028】
図5は検出される生体信号の前処理を説明するための図である。
ノイズを軽減するための前処理として、得られた筋電位信号に800Hzのローカットフィルタ、音声信号に900Hzのローカットフィルタを施す。その後、信号処理を行うにあたり、計測された信号を長さ64msのフレームに分割し、フレームごとに計算を行う。
図5(a)に示すように、あるフレームから次フレームへと計算範囲を移動させる際には、フレームの開始点を12ms間隔でシフトさせていくフレームシフト方式を採用した。
【0029】
咀嚼・嚥下の検出を行うためには、検出が容易な波形信号にする必要があるため、信号の振幅成分について数値化して検出対象の信号とした。ここで、図5(b)、(c)に示す式中のSは計測信号(Signal)を表している。
信号の時間領域における振幅成分の特徴を抽出するため、図5(b)に示すRMS(Root Mean Square)を、フレームごとに求めた。一般に、同じ筋肉の筋活動を計測する場合、筋収縮が強いほどRMSは高い値を示す。そのため、RMSの値が大きいほど咀嚼に要した筋活動が大きいこと、すなわち咀嚼強さに関する情報を得ることができる。ここで、チャンネル番号l(l=1,2,・・・,6)でのp番目のフレームにおけるnサンプル目の計測信号Sの値をSl,n(p)(n=1,2,・・・,N)とする。フレーム長さ64msでサンプリング周波数が8,000Hzであるとき、フレームのサンプル数Nは512点となる。
また、RMS特徴量には、フレーム間の変動を抑制するために、図5(c)に示す式により移動平均処理を施した。pはフレーム番号、Mは移動平均数である。今回はM=10とした。
以上の処理をチャンネル毎に施した。
【0030】
図6はピーク探索における咀嚼検出データを示す図である。
前処理をした筋電位信号から、食材やセンサ位置、個人差の影響を受けないために、ピーク探索を用いて咀嚼を検出する。図6で示す「▼」は実際に咀嚼として検出されたピークである。図6(a)は結果予備動作がピークとして検出されていないデータであり、図6(b)は予備動作がピークとして検出されているデータである。
【0031】
図7は咀嚼ペース、咀嚼強さ、及び筋活動時間を示す図である。
咀嚼ペースは、ピーク探索で検出される隣り合うピークの間の距離として算出され、咀嚼強さは、一つのピークの波形の高さを用いて算出され、筋活動時間は、一つのピークの所定高さにおける幅を用いて算出される。
図7では、筋活動時間は、ピーク高さの半分の高さにおける幅としている。咀嚼強さは、一つのピークで定まる波形と幅から積分で求められる面積とすることもできる。
【0032】
図8は予備動作の除去による咀嚼区間を示す図であり、図8(a)は予備動作を含んだ状態での咀嚼区間を示し、図8(b)は予備動作を除去した後の咀嚼区間を示している。
図7で示す咀嚼ペース、咀嚼強さ、及び筋活動時間を用いて咀嚼区間から予備動作を除去する。
図8(a)に示すように、予備動作がピークとして検出される場合には、ピーク探索の結果だけでは、予備動作を含んで咀嚼区間となってしまうため、咀嚼ペース、咀嚼強さ、及び筋活動時間を用いて、予備動作を特定する。例えば、咀嚼ペース、咀嚼強さ、及び筋活動時間それぞれの平均値を算出し、平均値に係数を掛けて判定を行う場合は、咀嚼ペースの平均×1.6以上、咀嚼強さの平均×0.4以下、及び筋活動時間の平均×1.3以上、のいずれかを満たす場合には、予備動作と判定することができる。
図8(b)に示すように、予備動作を除去することで正しい咀嚼区間を得ることができる。
このように、算出される咀嚼ペース、咀嚼強さ、及び筋活動時間を用いて、嚥下に伴う予備動作を除去して咀嚼区間を決定することで、咀嚼区間をより正確に検出でき、咀嚼区間を正確に検出できることで、嚥下も更に正確に検出できる。
なお、決定された咀嚼区間におけるピークから咀嚼回数を算出することができる。
【0033】
図9は嚥下の検出を示す図である。
嚥下音の検出は、咀嚼区間を用いて行う。
図9(a)では、検出される筋電位信号と音声信号とを示している。
決定された咀嚼区間では、音声信号にマスクをかける(図9(b))。なお、咀嚼音は咀嚼の筋活動のピークより遅れて発生するため、マスクは実際の咀嚼区間より広い範囲とすることが好ましい。なお、嚥下は、複数回発生することもある。
本実施例による耳周辺装着具は、生体信号検出手段10で検出される筋電位信号から咀嚼区間を決定し、決定した咀嚼区間以外で検出される音検出手段20による音声信号で嚥下音を特定する。
ここで、嚥下音として特定できる音声信号は、決定された第1の咀嚼区間と、第1の咀嚼区間の次のタイミングで決定された第2の咀嚼区間との間を咀嚼区間以外として検出できる。また、第1の咀嚼区間の後の所定時間や、第2の咀嚼区間の後の所定時間を咀嚼区間以外として検出できる。
このように、咀嚼の検出には生体信号検出手段10を用い、嚥下の検出には音検出手段20を用い、更に嚥下音の特定にあたっては、生体信号検出手段10で検出される咀嚼区間を用いることで、咀嚼及び嚥下を正確に検出できる。
また、咀嚼区間に検出される筋電位信号から咀嚼回数を算出し、嚥下音から嚥下回数を算出することで、咀嚼回数及び嚥下回数を正確に算出できる。
また、咀嚼区間の検出過程において、図8(a)に示すように予備動作がピークとして検出されることで予備動作を特定できる場合は、検出される予備動作の後に検出される音声信号を嚥下音として特定することで、嚥下検出の精度を高めることができる。
【0034】
図10は本実施例による耳周辺装着具の評価結果を示す図である。
図10(a)に示す式によって誤差を算出して評価を行った。誤差(外れ率)は推定回数の誤差であり、回数の正解値は被験者の自己申告によって記録した回数である。
評価実験には、咀嚼の実験でよく用いられるグミ、ガムに加え、咀嚼時に音が鳴るものとして米菓、主食である米を用いた。また食材は、予備実験を行い咀嚼回数が10回前後となる量、大きさとした。
米にはコープ商品「おいしいご飯」5g、米菓には「通の枝豆」亀田製菓1枚、グミには「つぶぐみ」春日井製菓株式会社1/2粒、ガムには「ACUO」株式会社ロッテ1粒を用いた。
図10(b)に示す誤差は、被験者4名が、「右噛み10回程度→嚥下1回+左噛み10回程度→嚥下1回」を1セットと定義し、それぞれ6セットを行った際の平均誤差である。
【0035】
図11は食材別咀嚼データであり、図11(a)は咀嚼強さ、図11(b)は咀嚼ペース、図11(c)は咀嚼時間、図11(d)は咀嚼終了から嚥下までの時間を示す図である。
図11に示すように、咀嚼の強さ及び咀嚼時間では、歯ごたえのあるグミでは値が大きくなっていることが分かる。このように、食事における特徴を数値化することができる。
【0036】
図12及び図13は検知位置による検出誤差を示す図である。
図12(a)から図12(d)、及び図13(a)では、図4に示す複合センサ1A、1B、1Cを、顔の左右に計6個装着して、測定に用いる複合センサ1を異ならせている。図13(b)から図13(d)では、図4に示す複合センサ1A、1Bを、顔の左右に計4個装着して、測定に用いる複合センサ1を異ならせている。
図12(a)では、顔右に配置した複合センサ1A、及び顔左に配置した複合センサ1Aからの筋電位信号2チャンネルを用い、顔右に配置した複合センサ1B、1C、及び顔左に配置した複合センサ1B、1Cからの音声信号4チャンネルを用いている。
図12(b)では、顔右に配置した複合センサ1A、1B、1C、及び顔左に配置した複合センサ1A、1B、1Cからの筋電位信号6チャンネルを用い、顔右に配置した複合センサ1A、1B、1C、及び顔左に配置した複合センサ1A、1B、1Cからの音声信号6チャンネルを用いている。
図12(c)では、顔右に配置した複合センサ1A、及び顔左に配置した複合センサ1Aからの筋電位信号2チャンネルを用い、顔右に配置した複合センサ1C、及び顔左に配置した複合センサ1Cからの音声信号2チャンネルを用いている。
図12(d)では、顔右に配置した複合センサ1Aからの筋電位信号1チャンネルを用い、顔右に配置した複合センサ1Cからの音声信号1チャンネルを用いている。
【0037】
図13(a)では、顔左に配置した複合センサ1Aからの筋電位信号1チャンネルを用い、顔左に配置した複合センサ1Cからの音声信号1チャンネルを用いている。
図13(b)では、顔右に配置した複合センサ1A、及び顔左に配置した複合センサ1Aからの筋電位信号2チャンネルを用い、顔右に配置した複合センサ1B、及び顔左に配置した複合センサ1Bからの音声信号2チャンネルを用いている。
図13(c)では、顔右に配置した複合センサ1Aからの筋電位信号1チャンネルを用い、顔右に配置した複合センサ1Bからの音声信号1チャンネルを用いている。
図13(d)では、顔左に配置した複合センサ1Aからの筋電位信号1チャンネルを用い、顔左に配置した複合センサ1Bからの音声信号1チャンネルを用いている。
図12及び図13に示すように、いずれの場合も検出誤差は小さいが、生体信号用電極11を、カンペル平面以上の高さに配置し、マイク21を、カンペル平面以下の高さに配置することで、咀嚼及び嚥下を正確に検出しやすい。
【産業上の利用可能性】
【0038】
本発明は、キャリブレーションや機械学習の学習プロセスを必要とせず、食材、個人差、計測位置での差異に関らず咀嚼及び嚥下を検出することができる。
【符号の説明】
【0039】
1 複合センサ
1A 複合センサ
1B 複合センサ
1C 複合センサ
10 生体信号検出手段
11 生体信号用電極
11a 関電極
11b 不関電極
20 音検出手段
21 マイク
22 空気層
23 シリコン材
30 固定部材
X 領域
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13