特許 6775218 嚥下情報提示装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6775218

(24)【登録日】2020年10月8日

(45)【発行日】2020年10月28日

(54)【発明の名称】嚥下情報提示装置

(51)【国際特許分類】

   A61B 5/11 20060101AFI20201019BHJP

   A61B 7/04 20060101ALI20201019BHJP

【ＦＩ】

   A61B5/11 310

   A61B7/04 A

【請求項の数】9

【全頁数】13

(21)【出願番号】特願2016-137063(P2016-137063)

(22)【出願日】2016年7月11日

(65)【公開番号】特開2018-7723(P2018-7723A)

(43)【公開日】2018年1月18日

【審査請求日】2019年6月12日

(73)【特許権者】

【識別番号】304023318

【氏名又は名称】国立大学法人静岡大学

(73)【特許権者】

【識別番号】304021831

【氏名又は名称】国立大学法人千葉大学

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100124800

【弁理士】

【氏名又は名称】諏澤 勇司

(72)【発明者】

【氏名】西村 雅史

(72)【発明者】

【氏名】黒岩 眞吾

【審査官】 近藤 利充

(56)【参考文献】

【文献】 特開２０１３−０１７６９４（ＪＰ，Ａ）

【文献】 特開２００３−１１１７４８（ＪＰ，Ａ）

【文献】 国際公開第２００７／１０８３２２（ＷＯ，Ａ１）

【文献】 国際公開第２０１５／０２９５０１（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ５／１１

Ａ６１Ｂ ７／０４

(57)【特許請求の範囲】

【請求項1】

対象者の咽喉部の音である咽喉音を音響信号として取得する信号取得部と、
前記音響信号から特徴量を抽出し、前記対象者が嚥下を行った期間である嚥下区間を前記特徴量に基づいて検出する検出部と、
前記検出部が前記嚥下区間を検出したことを契機に、前記嚥下区間における前記音響信号を知覚可能に出力するための信号に変換する生成部と、
前記生成部によって変換された信号を出力する出力部と、を備え、
前記生成部は、前記検出部が前記嚥下区間を検出したことを契機に、前記嚥下区間における前記音響信号を、音として出力するための第１再生信号に変換し、
前記出力部は、前記第１再生信号を嚥下音として出力する、嚥下情報提示装置。

【請求項2】

前記生成部は、前記第１再生信号を変調信号に変調し、
前記出力部は、前記変調信号を前記嚥下音として出力する、請求項１記載の嚥下情報提示装置。

【請求項3】

前記嚥下区間を除く期間の一部を少なくとも含む期間における前記音響信号を、音として出力するための第２再生信号に変換する再生部を更に備え、
前記出力部は、前記第２再生信号を前記咽喉音として出力する、請求項１又は２記載の嚥下情報提示装置。

【請求項4】

前記生成部又は前記再生部は、前記嚥下音の強度と前記咽喉音の強度との少なくとも一方を調整可能な機能を含む、請求項３記載の嚥下情報提示装置。

【請求項5】

対象者の咽喉部の音である咽喉音を音響信号として取得する信号取得部と、
前記音響信号から特徴量を抽出し、前記対象者が嚥下を行った期間である嚥下区間を前記特徴量に基づいて検出する検出部と、
前記検出部が前記嚥下区間を検出したことを契機に、前記嚥下区間における前記音響信号を知覚可能に出力するための信号に変換する生成部と、
前記生成部によって変換された信号を出力する出力部と、
前記嚥下区間を除く期間の一部を少なくとも含む期間における前記音響信号を、音として出力するための第２再生信号に変換する再生部と、を備え、
前記生成部は、前記検出部が前記嚥下区間を検出したことを契機に、前記嚥下区間における前記音響信号を、予め記憶している検出音として出力するための信号に変換し、
前記出力部は、前記生成部によって変換された信号を前記検出音として出力し、
前記出力部は、前記第２再生信号を前記咽喉音として出力する、嚥下情報提示装置。

【請求項6】

前記生成部又は再生部は、前記検出音の強度と前記咽喉音の強度との少なくとも一方を調整可能な機能を含む、請求項５記載の嚥下情報提示装置。

【請求項7】

前記嚥下区間を除く期間における前記音響信号を、音として出力するための第２再生信号に変換する再生部を更に備え、
前記出力部は、前記第２再生信号を前記咽喉音として出力する、請求項３〜６の何れか一項記載の嚥下情報提示装置。

【請求項8】

前記嚥下区間を除く期間の一部及び前記嚥下区間における前記音響信号を、音として出力するための第２再生信号に変換する再生部を更に備え、
前記出力部は、前記第２再生信号を前記咽喉音として出力する、請求項３〜６の何れか一項記載の嚥下情報提示装置。

【請求項9】

対象者の咽喉部の音である咽喉音を音響信号として取得する第１ステップと、
前記音響信号を基に音区間を検出する第２ステップと、
前記音響信号の前記音区間における特徴量を抽出する第３ステップと、
前記音区間における前記特徴量に基づいて、対象者が嚥下を行った音区間である嚥下区間を検出する第４ステップと、
前記第４ステップにて前記嚥下区間が検出されたことを契機に、前記嚥下区間における前記音響信号を音として出力するための第１再生信号に変換する第５ステップと、
前記第１再生信号を変調信号に変調する第６ステップと、
前記音響信号を音として出力するための第２再生信号に変換する第７ステップと、
前記第２再生信号を遅延させる第８ステップと、
前記変調信号を嚥下音として、前記第２再生信号を咽喉音として、出力する第９ステップと、
を実行する嚥下情報提示装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、嚥下情報提示装置に関する。

【背景技術】

【0002】

例えば嚥下機能が低下すると、食事の際に通常よりも誤嚥を起こし易くなる。このため、例えば医療又は介護の現場では、看護者又は介護者等には、対象者の食事中において、嚥下が適切に行われていることの確認が求められる場合がある。そこで、嚥下が行われたことを容易に把握するための手段が提案されている（例えば下記特許文献１及び非特許文献１〜３参照）。

【0003】

特許文献１及び非特許文献１には、対象者の咽喉部の音をマイクで検出すると共に、検出された音をスピーカから出力する装置が開示されている。これらの装置によれば、看護者又は介護者等のユーザは、スピーカから出力される対象者の咽喉部の音を聞いて、その微妙な音の違いから嚥下が適切に行われたか否かを判断することができる。

【0004】

非特許文献２には、対象者の嚥下時の音を咽喉部の複数箇所に配置された加速度トランスデューサで検出し、検出された音の音響信号に基づいて、嚥下時の音の産生部位、及び各産生部位における音響特性を解明する方法が開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００３−１１１７４８号公報

【非特許文献】

【0006】

【非特許文献1】“ごっくんチェッカー”、[online]、株式会社リザービア、[平成28年5月28日検索]、インターネット〈URL:http://www.誤嚥性肺炎.com/〉

【非特許文献2】中山裕司、外5名、「嚥下音の産生部位と音響特性の検討」、昭和歯学会雑誌、昭和大学昭和歯学会、平成18年、第26巻、p.163−174

【発明の概要】

【発明が解決しようとする課題】

【0007】

ところで、特許文献１及び非特許文献１に記載の装置は、対象者の咽喉部の音をスピーカから単に出力する機能のみを有している。また、非特許文献２に記載の方法では、予め対象者の嚥下時の音であることが分かっている音が用いられる。

【0008】

しかしながら、実際の咽喉部の音には、嚥下時の音だけでなく、咀嚼時、発話時の音等も含まれているため、咽喉部の音から嚥下時の音を聞き分けることは容易ではない。このため、嚥下が行われたか否かを確認することが難しい場合がある。

【0009】

本発明は、上記課題に鑑みて為されたものであり、嚥下が行われたことをユーザに容易に確認させることができる嚥下情報提示装置を提供することを目的とする。

【課題を解決するための手段】

【0010】

本発明の嚥下情報提示装置は、対象者の咽喉部の音である咽喉音を音響信号として取得する信号取得部と、音響信号から特徴量を抽出し、対象者が嚥下を行った期間である嚥下区間を特徴量に基づいて検出する検出部と、検出部が嚥下区間を検出したことを契機に、嚥下区間における音響信号を知覚可能に出力するための信号に変換する生成部と、生成部によって変換された信号を出力する出力部と、を備える。

【0011】

この嚥下情報提示装置では、対象者の咽喉音の音響信号から特徴量が抽出され、特徴量に基づいて嚥下区間が検出される。このため、嚥下区間を自動的に識別することができる。また、嚥下区間が検出されたことを契機に、嚥下区間における音響信号が知覚可能に出力されるための信号に変換され、変換された信号が知覚可能に出力される。このため、看護者又は介護者等のユーザに対して、対象者が嚥下を行ったことをより確実に知らせることができる。よって、嚥下が行われたことをユーザに容易に確認させることができる。

【0012】

本発明の嚥下情報提示装置では、生成部は、検出部が嚥下区間を検出したことを契機に、嚥下区間における音響信号を、音として出力するための第１再生信号に変換し、出力部は、第１再生信号を嚥下音として出力してもよい。この場合、看護者又は介護者等のユーザは、例えば他の作業を行っているようなときであっても、嚥下音を聞くことによって、嚥下が行われたことを容易に確認することができる。

【0013】

この嚥下情報提示装置では、生成部は、第１再生信号を変調信号に変調し、出力部は、変調信号を嚥下音として出力してもよい。この場合、嚥下音をより聞き取り易くして出力することができるため、嚥下が行われたことをユーザに一層容易に確認させることができる。

【0014】

この嚥下情報提示装置では、嚥下区間を除く期間の一部を少なくとも含む期間における音響信号を、音として出力するための第２再生信号に変換する再生部を更に備え、出力部は、第２再生信号を咽喉音として出力してもよい。この場合、検出部が嚥下区間を検出することができなかったとき、又は、検出部が嚥下区間以外の期間を嚥下区間であると誤って検出したときであっても、咽喉音が出力され続けている。よって、看護者又は介護者等のユーザは、咽喉音から嚥下音を聞き分けて、嚥下が行われたことを確認することができる。

【0015】

この嚥下情報提示装置では、生成部又は再生部は、嚥下音の強度と咽喉音の強度との少なくとも一方を調整可能な機能を含んでもよい。この場合、嚥下音がより聞き取り易くなるように嚥下音の強度と咽喉音の強度とのバランスを調整することができるため、嚥下が行われたことをユーザに一層容易に確認させることができる。

【0016】

この嚥下情報提示装置では、生成部は、検出部が嚥下区間を検出したことを契機に、嚥下区間における音響信号を、予め記憶している検出音として出力するための信号に変換し、出力部は、生成部によって変換された信号を前記検出音として出力してもよい。この場合、嚥下音に代えて、より聞き取り易い検出音を出力するため、嚥下が行われたことをユーザに一層容易に確認させることができる。

【0017】

この嚥下情報提示装置では、嚥下区間を除く期間の一部を少なくとも含む期間における音響信号を、音として出力するための第２再生信号に変換する再生部を更に備え、出力部は、第２再生信号を咽喉音として出力してもよい。この場合、検出部が嚥下区間を検出することができなかったとき、又は、検出部が嚥下区間以外の期間を嚥下区間であると誤って検出したときであっても、咽喉音が出力され続けている。よって、看護者又は介護者等のユーザは、咽喉音から嚥下音を聞き分けて、嚥下が行われたことを確認することができる。

【0018】

この嚥下情報提示装置では、生成部又は再生部は、検出音の強度と咽喉音の強度との少なくとも一方を調整可能な機能を含んでもよい。この場合、検出音がより聞き取り易くなるように検出音の強度と咽喉音の強度とのバランスを調整することができるため、嚥下が行われたことをユーザに一層容易に確認させることができる。

【0019】

この嚥下情報提示装置では、嚥下区間を除く期間における音響信号を、音として出力するための第２再生信号に変換する再生部を更に備え、出力部は、第２再生信号を咽喉音として出力してもよい。この場合、検出部が嚥下区間を検出することができなかったときであっても、咽喉音が出力され続けている。よって、看護者又は介護者等のユーザは、咽喉音から嚥下音を聞き分けて、嚥下が行われたことを確認することができる。

【0020】

この嚥下情報提示装置では、嚥下区間を除く期間の一部及び嚥下区間における音響信号を、音として出力するための第２再生信号に変換する再生部を更に備え、出力部は、第２再生信号を咽喉音として出力してもよい。この場合、検出部が嚥下区間を検出することができなかったとき、又は、検出部が嚥下区間以外の期間を嚥下区間であると誤って検出したときであっても、咽喉音が出力され続けている。よって、看護者又は介護者等のユーザは、咽喉音から嚥下音を聞き分けて、嚥下が行われたことを確認することができる。

【0021】

この嚥下情報提示装置では、生成部は、検出部が嚥下区間を検出したことを契機に、嚥下区間における音響信号を、光として出力するための信号に変換し、出力部は、生成部によって変換された信号を光として出力してもよい。この場合、看護者又は介護者等のユーザは、例えば他の作業を行っているようなときであっても、出力部によって出力された光を見ることによって、嚥下が行われたことを容易に確認することができる。

【0022】

この嚥下情報提示装置では、生成部は、検出部が嚥下区間を検出したことを契機に、嚥下区間における音響信号を、振動として出力するための信号に変換し、出力部は、生成部によって変換された信号を振動として出力してもよい。この場合、看護者又は介護者等のユーザは、例えば他の作業を行っているようなときであっても、出力部によって出力された振動を感じることによって、嚥下が行われたことを容易に確認することができる。

【発明の効果】

【0023】

本発明によれば、嚥下が行われたことをユーザに容易に確認させることが可能となる。

【図面の簡単な説明】

【0024】

【図1】一実施形態に係る嚥下情報提示装置を示すブロック図である。

【図2】嚥下情報提示装置のハードウェア構成を示すブロック図である。

【図3】嚥下情報提示装置による嚥下情報の提示処理を示すフローチャートである。

【発明を実施するための形態】

【0025】

以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。図１は、一実施形態に係る嚥下情報提示装置を示すブロック図である。図１に示す嚥下情報提示装置１は、対象者が嚥下を行った期間（嚥下区間）における対象者の咽喉部の音（咽喉音）である嚥下音を出力（再生）することによって、対象者が嚥下を行ったことを周囲に知らせる装置である。嚥下情報提示装置１を使用することが想定されるユーザの一例として、医療又は介護の現場における看護者又は介護者等が挙げられる。この場合、上記対象者は、ユーザから看護又は介護を受ける者等である。なお、ユーザ及び対象者は、これらの者に限定されない。

【0026】

図１に示すように、嚥下情報提示装置１は、マイク２との間で有線又は無線によって通信を行う。マイク２は、対象者の咽喉部の音を検出して、電気信号である音響信号として嚥下情報提示装置１に出力する。マイク２は、例えば、対象者の首に固定される固定具によって当該対象者の咽喉部に保持される。なお、マイク２が対象者の咽喉部に保持される態様は特に限定されない。

【0027】

また、嚥下情報提示装置１は、第１スピーカ３及び第２スピーカ４との間で有線又は無線によって通信を行う。嚥下情報提示装置１は、嚥下音として出力するための信号を第１スピーカ３に出力し、第１スピーカ３は、嚥下音を出力する。また、嚥下情報提示装置１は、咽喉音として出力するための信号を第２スピーカ４に出力し、第２スピーカ４は、咽喉音を出力する。

【0028】

図２は、嚥下情報提示装置のハードウェア構成を示すブロック図である。同図に示すように、嚥下情報提示装置１は、物理的には、ＣＰＵ１０１、主記憶装置であるＲＡＭ１０２及びＲＯＭ１０３、入力キー、タッチセンサ等の入力デバイスである入力装置１０４、タッチパネルディスプレイ、液晶ディスプレイ等の出力装置１０５、半導体メモリ等の補助記憶装置１０６、などを含むコンピュータシステム（情報処理プロセッサ）として構成されている。嚥下情報提示装置１の後述する処理機能は、図２に示されるＣＰＵ１０１、ＲＡＭ１０２等のハードウェア上に１又は複数の所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１０１の制御のもとで入力装置１０４及び出力装置１０５を動作させると共に、ＲＡＭ１０２や補助記憶装置１０６におけるデータの読み出し及び書き込みを行うことで実現される。

【0029】

図１に戻り、嚥下情報提示装置１の具備する機能的構成要素の詳細について説明する。嚥下情報提示装置１は、機能的構成要素として、信号取得部１０と、検出部１１と、生成部１２と、再生部１３と、遅延部１４と、出力部１５とを備えている。

【0030】

信号取得部１０は、マイク２によって出力される咽喉音を音響信号として取得する。信号取得部１０は、取得した音響信号をＡ／Ｄ変換するためのＡ／Ｄ変換部を有する。Ａ／Ｄ変換部の構成は特に限定されない。信号取得部１０は、取得した音響信号をＡ／Ｄ変換し、検出部１１に出力する。

【0031】

検出部１１は、音響信号から特徴量を抽出し、抽出した特徴量に基づいて嚥下区間を検出する。検出部１１は、音区間検出部２０と、特徴量抽出部２１と、識別部２２と、を有している。

【0032】

音区間検出部２０は、ＶＡＤ（Voice Activity Detection ：音区間検出）によって、音の信号を含む区間（期間）を判別する。本実施形態では、音区間検出部２０は、具体的には、咽喉音の音響信号の内のパワー（例えば、対数パワー）が所定値以上である期間を検出し、検出した各期間を音イベントと判定する。ここで、音イベントとは、音を発生する事象を意味し、例えば、対象者による嚥下、咀嚼、発話等、又は環境音等が挙げられる。なお、音区間検出部２０において用いることのできる具体的なＶＡＤの手法は、上述したものに限定されない。

【0033】

特徴量抽出部２１は、音区間検出部２０によって検出された各音イベントにおける特徴量を抽出する。特徴量としては、例えば、ＭＦＣＣ（Mel-Frequency Cepstrum Coefficients：メル周波数ケプストラム係数）、及び、音響信号の位相情報を用いることができる。音響信号の位相情報は、音響信号の波形の位相の違いに関する情報である。位相情報を用いた場合には、音響信号は、パワースペクトルに差異がなくても位相によって異なる波形として扱われる。なお、特徴量抽出部２１において用いられる位相情報については、「王龍標、外3名、「位相情報を利用した話者識別・照合法の評価」、社団法人情報処理学会研究報告、2008-SLP-74(30)、p.173-178」等に詳述されている。

【0034】

識別部２２は、識別器であり、特徴量抽出部２１によって抽出された各音イベントにおける特徴量に基づいて、当該音イベントに対応するラベルを識別する。ここで、ラベルとは、各音イベントにおいて音を発生させた原因である。ラベルは、対象者による嚥下を少なくとも含み、その他に、対象者による咀嚼、発話等を含んでもよい。対応するラベルが嚥下であると識別部２２によって識別された音イベントの音区間が、嚥下区間として検出される。本実施形態では、識別部２２は、ＳＶＭ（Support Vector Machine）を用いて構成されている。

【0035】

生成部１２は、検出部１１が嚥下区間を検出したことを契機に、嚥下区間における音響信号を知覚可能に出力するための信号に変換する。具体的には、生成部１２は、検出部１１が嚥下区間を検出したことを契機に、嚥下区間における音響信号を、音として出力するための第１再生信号に変換する。

【0036】

ここで、生成部１２は、第１再生信号を、嚥下音として出力するための変調信号に変調する。「変調」とは、第１再生信号の振幅、周波数、及び位相の内の少なくとも一つを変化させることにより、第１再生信号の波形を変化させることを意味する。「嚥下音」とは、嚥下区間における音響信号を知覚可能な音として出力したものである。生成部１２は、変調信号を出力部１５に出力する。なお、生成部１２は、第１再生信号を変調信号に変調し、変調信号を出力部１５に出力するまでの処理に所定の時間を要する。

【0037】

また、生成部１２は、出力部１５によって出力される嚥下音の強度を調整可能な機能を有する調整部２３を含む。なお、出力部１５が嚥下音及び咽喉音を出力することについては、後述する。

【0038】

再生部１３は、検出部１１が嚥下区間を検出したか否かに拘らず（すなわち、嚥下区間を除く期間の一部及び嚥下区間において）、音響信号を、咽喉音として出力するための第２再生信号に変換する。「咽喉音」とは、嚥下区間に限らない期間における音響信号を知覚可能な音として出力したものである。再生部１３は、第２再生信号を遅延部１４に出力する。

【0039】

遅延部１４は、遅延回路によって構成され、第２再生信号を遅延させる。遅延部１４は、遅延させた第２再生信号を出力部１５に出力する。遅延部１４が第２再生信号を遅延させる時間は、生成部１２が、第１再生信号を変調信号に変調し、変調信号を出力部１５に出力するまでの処理に要する時間と一致するように設定されている。

【0040】

出力部１５は、変調信号及び第２再生信号をＤ／Ａ変換するためのＤ／Ａ変換部を有する。Ｄ／Ａ変換部の構成は特に限定されない。出力部１５は、生成部１２から入力された変調信号をＤ／Ａ変換し、第１スピーカ３に出力する。また、出力部１５は、遅延部１４から入力された第２再生信号をＤ／Ａ変換し、第２スピーカ４に出力する。これにより、出力部１５は、第１スピーカ３を介して変調信号を嚥下音として出力すると共に、第２スピーカを介して第２再生信号を咽喉音として出力する。換言すると、出力部１５は、第１スピーカ３及び第２スピーカ４を介して、嚥下音と咽喉音とをステレオ出力する。なお、出力部１５は、嚥下音と咽喉音とを時間同期加算して、第１スピーカ３及び第２スピーカ４の両方を介して出力してもよい。

【0041】

上述した生成部１２の調整部２３は、出力部１５によって出力される嚥下音の強度を調整可能な機能を有する。すなわち、調整部２３は、嚥下音の強度と咽喉音の強度とのバランスを調整する。例えば、調整部２３は、ボリューム調整用ボタンによって実現され、当該ボタンによってバランスを調整する。或いは、調整部２３は、ソフトウェアで実現される入力手段を含んでいて、当該入力手段によってバランスを調整するように構成されていてもよく、また、外部から通信等で取得されるパラメータによってバランスを調整するように構成されていてもよい。なお、調整部２３は、嚥下音の強度と咽喉音の強度との両方を調整可能な機能を有していてもよく、その場合には、調整部２３は、嚥下音又は咽喉音の何れか一方の強度を増大させると共に、何れか他方の強度を低下させてもよい。

【0042】

続いて、上述した嚥下情報提示装置１の動作について、図３を参照しながら説明する。図３は、嚥下情報提示装置による嚥下情報の提示処理を示すフローチャートである。

【0043】

嚥下情報の提示処理の開始の指示が受け付けられると、図３のフローチャートに示す処理が開始される。最初に、信号取得部１０により出力される咽喉音の音響信号が、マイク２によって取得される（ステップＳ１）。そして、信号取得部１０によって取得された音響信号が検出部１１の音区間検出部２０に出力される。

【0044】

次に、音区間検出部２０により、音響信号に対してＶＡＤが行われる。具体的には、音区間検出部２０により、咽喉音の音響信号の内のパワー（例えば、対数パワー）が所定値以上である期間が検出され、検出された各期間が音イベントと判定される（ステップＳ２）。そして、特徴量抽出部２１により、音区間検出部２０によって検出された各音イベントにおける特徴量（例えば、ＭＦＣＣ、及び、各音イベントでの音響信号の位相情報）が抽出される（ステップＳ３）。更に、識別部２２により、特徴量抽出部２１によって抽出された各音イベントにおける特徴量に基づいて、対象者による嚥下に対応する音イベントが識別される（ステップＳ４）。このようにして識別された対象者の嚥下に対応する音イベントの音区間が、嚥下区間と判定される。

【0045】

次に、検出部１１によって嚥下区間が検出されたことを契機に、生成部１２により、嚥下区間における音響信号が第１再生信号に変換され（ステップＳ５）、第１再生信号が変調信号に変調される（ステップＳ６）。変調信号は、生成部１２から出力部１５に出力される。

【0046】

ここで、ステップＳ５，Ｓ６の処理に同期して、再生部１３により、音響信号が第２再生信号に変換され（ステップＳ７）、第２再生信号が遅延部１４に出力される。第２再生信号は、遅延部１４において遅延される（ステップＳ８）。遅延された第２再生信号は、遅延部１４から出力部１５に出力される。

【0047】

そして、変調信号が嚥下音として出力部１５によって出力されると共に、第２再生信号が咽喉音として出力部１５によって出力される。このとき、嚥下音及び咽喉音は、第１スピーカ３及び第２スピーカ４を介して時間同期加算又はステレオで出力される（ステップＳ９）。

【0048】

このとき、嚥下音が第１スピーカ３によって出力されている間にも、咽喉音は第２スピーカ４によって出力されている。このため、看護者又は介護者等のユーザは、第１スピーカ３によって出力される嚥下音によって、対象者が嚥下を行ったことを確認しつつ、第２スピーカ４によって出力される咽喉音から嚥下音を聞き分けることによって、検出部１１が嚥下区間を正しく検出したこと（すなわち、検出部１１が嚥下区間を検出することができなかった場合ではなく、且つ、検出部１１が嚥下区間以外の期間を嚥下区間であると誤って検出した場合ではないこと）を確認することができる。

【0049】

上記のステップＳ１〜ステップＳ９の処理は、嚥下情報の提示処理の終了の指示が受け付けられるまで繰り返される。

【0050】

以上説明したように、嚥下情報提示装置１では、対象者の咽喉音の音響信号から特徴量が抽出され、特徴量に基づいて嚥下区間が検出される。このため、嚥下区間を自動的に識別することができる。また、嚥下区間が検出されたことを契機に、嚥下区間における音響信号が音として知覚可能に出力されるための信号に変換され、変換された信号が音として出力される。このため、看護者又は介護者等のユーザは、手や目を使って作業している最中であっても、耳を使って、対象者が嚥下を行ったことを確実に確認することができる。よって、ユーザが作業中であっても、嚥下が行われたことをユーザに容易に確認させることができる。

【0051】

また、嚥下情報提示装置１では、生成部１２は、検出部１１が嚥下区間を検出したことを契機に、嚥下区間における音響信号を、音として出力するための第１再生信号に変換し、出力部１５は、第１再生信号を嚥下音として出力する。このため、看護者又は介護者等のユーザは、例えば他の作業を行っているようなときであっても、嚥下音を聞くことによって、嚥下が行われたことを容易に確認することができる。

【0052】

また、嚥下情報提示装置１では、生成部１２は、第１再生信号を変調信号に変調し、出力部１５は、変調信号を嚥下音として出力する。このため、嚥下音をより聞き取り易くして出力することができるため、嚥下が行われたことをユーザに一層容易に確認させることができる。

【0053】

また、嚥下情報提示装置１では、嚥下区間を除く期間の一部を少なくとも含む期間における音響信号を、音として出力するための第２再生信号に変換する再生部１３を更に備え、出力部１５は、第２再生信号を咽喉音として出力する。このため、検出部１１が嚥下区間を検出することができなかったとき、又は、検出部１１が嚥下区間以外の期間を嚥下区間であると誤って検出したときであっても、咽喉音が出力され続けている。よって、看護者又は介護者等のユーザは、咽喉音から嚥下音を聞き分けて、嚥下が行われたことを確認することができる。

【0054】

また、嚥下情報提示装置１では、生成部１２は、嚥下音の強度を調整可能な機能を含む。このため、嚥下音がより聞き取り易くなるように嚥下音の強度と咽喉音の強度とのバランスを調整することができるため、嚥下が行われたことをユーザに一層容易に確認させることができる。

【0055】

また、嚥下情報提示装置１では、嚥下区間を除く期間の一部及び嚥下区間における音響信号を、音として出力するための第２再生信号に変換する再生部１３を更に備え、出力部１５は、第２再生信号を咽喉音として出力する。このため、検出部１１が嚥下区間を検出することができなかったとき、又は、検出部１１が嚥下区間以外の期間を嚥下区間であると誤って検出したときであっても、咽喉音が出力され続けている。よって、看護者又は介護者等のユーザは、咽喉音から嚥下音を聞き分けて、嚥下が行われたことを確認することができる。

【0056】

本発明は、上述した実施形態に限定されるものではない。例えば、上記実施形態においては、生成部１２は第１再生信号を変調信号に変調して出力部１５に出力し、出力部１５は変調信号を嚥下音として出力する。しかし、生成部１２は第１再生信号を変調信号に変調せずに出力部１５に出力し、出力部は第１再生信号を嚥下音として出力してもよい。

【0057】

また、上記実施形態においては、再生部１３は、音響信号を、音として出力するための第２再生信号に変換し、出力部１５は、第２再生信号を咽喉音として出力する。しかし、嚥下情報提示装置１は、再生部１３を備えず、出力部１５は、咽喉音を出力しなくてもよい。

【0058】

また、生成部１２は、検出部１１が嚥下区間を検出したことを契機に、嚥下区間における音響信号を、予め記憶している検出音として出力するための信号に変換し、出力部１５は、生成部１２によって変換された信号を検出音として出力してもよい。この場合、嚥下音に代えて、より聞き取り易い検出音を出力するため、嚥下が行われたことをユーザに一層容易に確認させることができる。

【0059】

なお、検出音は、特に限定されるものではない。例えば、検出音は、予め録音された典型的な嚥下音であってもよく、人工的に作り出された合成音による「ごっくん」等の音（オノマトペ）であってもよく、チャイム等の既定の音であってもよい。

【0060】

また、検出音は、嚥下区間の長さに応じて出力される長さが変えられてもよい。例えば、嚥下区間の長さ（例えば、嚥下の開始から完了までに要した時間の長さ）と同等の長さになるように、検出音の長さが変えられてもよい。そのためには、検出音の再生速度が調整されることによって検出音の長さが変えられてもよく、或いは、嚥下区間の長さと同等の長さになるまで検出音が繰り返し出力されてもよい。

【0061】

ここで、出力部１５が検出音を出力する場合においては、調整部２３は、検出音の強度を調整可能な機能を有していてもよく、或いは、調整部２３は、検出音の強度と咽喉音の強度との両方を調整可能な機能を有していてもよい。この場合、検出音がより聞き取り易くなるように検出音の強度と咽喉音の強度とのバランスを調整することができるため、嚥下が行われたことをユーザに一層容易に確認させることができる。

【0062】

また、調整部２３は、再生部１３に含まれ、出力部１５によって出力される咽喉音の強度を調整可能な機能を有していてもよい。或いは、調整部２３は、再生部１３に含まれ、嚥下音（又は検出音）の強度と咽喉音の強度との両方を調整可能な機能を有していてもよい。

【0063】

また、上記実施形態においては、再生部１３は、嚥下区間を除く期間の一部及び嚥下区間における音響信号を、音として出力するための第２再生信号に変換し、第２再生信号を咽喉音として出力する。しかし、再生部１３は、嚥下区間を除く期間（のみ）における音響信号を、音として出力するための第２再生信号に変換し、出力部１５は、第２再生信号を咽喉音として出力してもよい。この場合、検出部１１が嚥下区間を検出することができなかったときであっても、咽喉音が出力され続けている。よって、看護者又は介護者等のユーザは、咽喉音から嚥下音を聞き分けて、嚥下が行われたことを確認することができる。

【0064】

また、上記実施形態においては、特徴量として、ＭＦＣＣ及び各音イベントでの音響信号の位相情報が用いられている。しかし、特徴量としては、これらＭＦＣＣ及び位相情報に加えて、各音イベント内におけるエネルギーの平均値、各音イベントの継続長等を用いてもよく、また、咽喉音とは別に環境音を取得可能である場合においては、各音イベント内における咽喉音と環境音とのパワー及びパワー比の平均値、環境音のＭＦＣＣ及びエネルギー等を更に用いてもよい。なお、特徴量としては、位相情報が用いられなくてもよい。

【0065】

また、上記実施形態においては、識別部２２は、ＳＶＭを用いて構成されている。しかし、識別部２２は、ＳＶＭに限定されず、例えば、決定木、ＧＭＭ（Gaussian Mixture Model：混合ガウス分布モデル）、ＡｄａＢｏｏｓｔ（AdaptiveBoosting）、ＨＭＭ（Hidden Markov Model：隠れマルコフモデル）等を用いて構成されていてもよい。

【0066】

また、上記実施形態においては、嚥下情報提示装置１は、第１スピーカ３及び第２スピーカ４との間で有線又は無線によって通信を行い、嚥下音と咽喉音とを時間同期加算又はステレオで出力している。しかし、嚥下情報提示装置１は、一つのスピーカとの間で有線又は無線によって通信を行い、嚥下音と咽喉音とを時間同期加算で出力してもよい。

【0067】

また、上記実施形態においては、信号取得部１０はＡ／Ｄ変換部を有し、出力部１５はＤ／Ａ変換部を有していた。しかし、信号取得部１０はＡ／Ｄ変換部を有していなくてもよく、出力部１５はＤ／Ａ変換部を有していなくてもよい。

【0068】

また、上記実施形態においては、生成部１２は、検出部１１が嚥下区間を検出したことを契機に、嚥下区間における音響信号を音として知覚可能に出力するための信号に変換した。しかし、知覚可能な出力としては、音に限らず、ユーザの五感によって感知され得る出力であれば特に限定されない。

【0069】

例えば、生成部１２は、検出部１１が嚥下区間を検出したことを契機に、嚥下区間における音響信号を、光として出力するための信号に変換し、出力部１５は、生成部１２によって変換された信号を光として出力してもよい。なお、嚥下区間における音響信号が光に変換される場合には、嚥下情報提示装置１は、第１スピーカ３及び第２スピーカ４に代えて、ＬＥＤ等の発光装置に接続されていてもよい。この場合、看護者又は介護者等のユーザは、例えば他の作業を行っているようなときであっても、ＬＥＤの光を見ることによって、嚥下が行われたことを容易に確認することができる。

【0070】

或いは、生成部１２は、検出部１１が嚥下区間を検出したことを契機に、嚥下区間における音響信号を、振動として出力するための信号に変換し、出力部１５は、生成部１２によって変換された信号を振動として出力してもよい。なお、嚥下区間における音響信号が振動に変換される場合には、嚥下情報提示装置１は、第１スピーカ３及び第２スピーカ４に代えて、バイブレータ等の振動生成装置に接続されていてもよい。この場合、看護者又は介護者等のユーザは、例えば他の作業を行っているようなときであっても、バイブレータの振動を感じることによって、嚥下が行われたことを容易に確認することができる。

【符号の説明】

【0071】

１…嚥下情報提示装置、２…マイク、３…第１スピーカ、４…第２スピーカ、１０…信号取得部、１１…検出部、１２…生成部、１３…再生部、１４…遅延部、１５…出力部、２０…音区間検出部、２１…特徴量抽出部、２２…識別部、２３…調整部。

【図1】

【図2】

【図3】