特許 7316596 口腔機能可視化システム、口腔機能可視化方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-07-20

(45)【発行日】2023-07-28

(54)【発明の名称】口腔機能可視化システム、口腔機能可視化方法およびプログラム

(51)【国際特許分類】

   G09B 19/04 20060101AFI20230721BHJP

   G09B 19/00 20060101ALI20230721BHJP

   G10L 25/48 20130101ALI20230721BHJP

   G10L 25/60 20130101ALI20230721BHJP

【ＦＩ】

G09B19/04

G09B19/00 Z

G10L25/48 100

G10L25/60

【請求項の数】 10

(21)【出願番号】P 2022501800

(86)(22)【出願日】2021-02-05

(86)【国際出願番号】 JP2021004380

(87)【国際公開番号】W WO2021166695

(87)【国際公開日】2021-08-26

【審査請求日】2022-07-15

(31)【優先権主張番号】P 2020026166

(32)【優先日】2020-02-19

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】100109210

【弁理士】

【氏名又は名称】新居 広守

(74)【代理人】

【識別番号】100137235

【弁理士】

【氏名又は名称】寺谷 英作

(74)【代理人】

【識別番号】100131417

【弁理士】

【氏名又は名称】道坂 伸一

(72)【発明者】

【氏名】松村 吉浩

(72)【発明者】

【氏名】中嶋 絢子

(72)【発明者】

【氏名】石丸 雅司

(72)【発明者】

【氏名】清崎 若正

【審査官】安田 明央

(56)【参考文献】

【文献】国際公開第２０１３／０３１６７７（ＷＯ，Ａ１）

【文献】国際公開第２００３／０６８０６２（ＷＯ，Ａ１）

【文献】特開２０１１－７６０４４（ＪＰ，Ａ）

【文献】特開２００６－１２６４９８（ＪＰ，Ａ）

【文献】特開２００７－１２２００４（ＪＰ，Ａ）

【文献】国際公開第２０１９／２２５２４２（ＷＯ，Ａ１）

【文献】中屋 隆，Ｋｉｎｅｃｔセンサを用いた嚥下体操支援システム，情報処理学会研究報告 ヒューマンコンピュータインタラクション，Vol.2015-HCI-162, No.12，情報処理学会，2015年03月06日，pp.1-8

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０９Ｂ １９／０４

Ｇ０９Ｂ １９／００

Ｇ１０Ｌ ２５／４８

Ｇ１０Ｌ ２５／６０

(57)【特許請求の範囲】

【請求項1】

ユーザに対して、所定の音声での発話を促すための情報の出力を行う出力部と、
前記出力に応じてなされた前記ユーザの発話音声を取得する取得部と、
前記取得部が取得した前記発話音声の音圧較差および話す速度を解析する解析部と、
前記解析部が前記発話音声を解析した結果から前記ユーザの口腔器官の状態を推定する推定部と、を備え、
前記出力部は、さらに、前記推定部が推定した前記ユーザの前記口腔器官の状態に基づいて、前記所定の音声での発話に適する前記口腔器官の状態を前記ユーザが実現するための情報を出力する、
口腔機能可視化システム。

【請求項2】

前記所定の音声で発話するために適した口腔器官の状態を示す情報と過去の前記ユーザの発話音声とを記憶する記憶部を備え、
前記出力部は、前記記憶部に記憶された過去の前記ユーザの発話音声と、前記取得部が取得した現時点での発話音声とのそれぞれから、前記推定部によって推定される前記ユーザの前記口腔器官の状態のそれぞれを再現し、それらを画面表示する、
請求項１に記載の口腔機能可視化システム。

【請求項3】

さらに、前記所定の音声を発話するために適した前記口腔器官の状態を表す画像を記憶する記憶部を備え、
前記推定部は、推定した前記ユーザの口腔器官の状態を示す画像を生成し、
前記出力部は、前記記憶部に記憶された前記画像と、前記推定部によって生成された前記画像とのそれぞれを画面表示する、
請求項１に記載の口腔機能可視化システム。

【請求項4】

前記出力部は、人の顔を横から見たときの口腔内部の断面図を用いて、口腔内の舌の位置および口腔の開閉状態を、前記口腔器官の状態として表す、
請求項２または３に記載の口腔機能可視化システム。

【請求項5】

前記出力部は、さらに、前記ユーザが前記所定の音声での発話に適する前記口腔器官の状態を達成するための訓練を行うように促す情報を出力する、
請求項１～４のいずれか１項に記載の口腔機能可視化システム。

【請求項6】

前記記憶部は、さらに、所定の音声特徴量と紐づけられた前記口腔器官の状態を表す画像である口腔状態データを記憶し、
前記出力部は、前記解析部が前記発話音声を解析した結果として得られる音声特徴量に対応する前記口腔状態データを出力する、
請求項２～４のいずれか１項に記載の口腔機能可視化システム。

【請求項7】

前記画像は、動画である、
請求項６に記載の口腔機能可視化システム。

【請求項8】

前記出力部は、前記所定の音声での発話に適する前記口腔器官の状態を前記ユーザが実現するための情報、前記所定の音声を発話するために適した前記口腔器官の状態を表す情報、および、前記ユーザが前記所定の音声での発話に適する前記口腔器官の状態を達成するための訓練を行うように促す情報のうちの少なくとも１つを、紙面上に出力する、
請求項１～６のいずれか１項に記載の口腔機能可視化システム。

【請求項9】

ユーザに対して、所定の音声での発話を促すための情報の出力を行う第１出力ステップと、
前記出力に応じてなされた前記ユーザの発話音声を取得する取得ステップと、
前記取得ステップで取得された前記発話音声の音圧較差および話す速度を解析する解析ステップと、
前記解析ステップで前記発話音声が解析された結果から前記ユーザの口腔器官の状態を推定する推定ステップと、
前記推定ステップで推定された前記ユーザの前記口腔器官の状態に基づいて、前記所定の音声での発話に適する前記口腔器官の状態を前記ユーザが実現するための情報を出力する第２出力ステップとを含む、
口腔機能可視化方法。

【請求項10】

請求項９に記載の口腔機能可視化方法をコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、口腔機能可視化システムおよび口腔機能可視化方法に関する。

【背景技術】

【0002】

高齢者等の口腔機能が低下している人のために、口を開閉させる訓練、または、嚥下機能を強化する発音を練習するためのパタカラ体操等が行われてきた。特許文献１には、ユーザの顔等を映したビューをディスプレイ上に表示させる反射を利用する拡張現実システム等が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特表２０１９－５１１０６７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に開示される反射を利用する拡張現実システム等は、ユーザの発音に基づいて、ユーザの口腔内部の可視化を行うことはできない。

【0005】

そこで、本開示は、ユーザの発音に基づいて、ユーザの口腔内部の可視化を行うことができる口腔機能可視化システム、口腔機能可視化方法およびプログラムを提供する。

【課題を解決するための手段】

【0006】

本発明の一態様に係る口腔機能可視化システムは、ユーザに対して、所定の音声での発話を促すための情報の出力を行う出力部と、前記出力に応じてなされた前記ユーザの発話音声を取得する取得部と、前記取得部が取得した前記発話音声を解析する解析部と、前記解析部が前記発話音声を解析した結果から前記ユーザの口腔器官の状態を推定する推定部と、を備え、前記出力部は、さらに、前記推定部が推定した前記ユーザの前記口腔器官の状態に基づいて、前記所定の音声での発話に適する前記口腔器官の状態を前記ユーザが実現するための情報を出力する。

【0007】

本発明の一態様に係る口腔機能可視化方法は、ユーザに対して、所定の音声での発話を促すための情報の出力を行う第１出力ステップと、前記出力に応じてなされた前記ユーザの発話音声を取得する取得ステップと、前記取得ステップで取得された前記発話音声を解析する解析ステップと、前記解析ステップで前記発話音声が解析された結果から前記ユーザの口腔器官の状態を推定する推定ステップと、前記推定ステップで推定された前記ユーザの前記口腔器官の状態に基づいて、前記所定の音声での発話に適する前記口腔器官の状態を前記ユーザが実現するための情報を出力する第２出力ステップとを含む。

【0008】

本発明の一態様に係るプログラムは、ユーザに対して、所定の音声での発話を促すための情報の出力を行う第１出力ステップと、前記出力に応じてなされた前記ユーザの発話音声を取得する取得ステップと、前記取得ステップで取得された前記発話音声を解析する解析ステップと、前記解析ステップで前記発話音声が解析された結果から前記ユーザの口腔器官の状態を推定する推定ステップと、前記推定ステップで推定された前記ユーザの前記口腔器官の状態に基づいて、前記所定の音声での発話に適する前記口腔器官の状態を前記ユーザが実現するための情報を出力する第２出力ステップとを含む口腔機能可視化方法をコンピュータに実行させる。

【発明の効果】

【0009】

本発明の一態様に係る口腔機能可視化システム等は、ユーザの発音に基づいて、ユーザの口腔内部の可視化を行うことができる。

【図面の簡単な説明】

【0010】

【図1】図１は、ヒトが発した音声から取得した特徴量を示す図である。

【図2】図２は、ヒトの口腔内部の構成を示す図である。

【図3】図３は、本開示の実施の形態における口腔機能可視化システムの構成を示すブロック図である。

【図4】図４は、本開示の実施の形態における口腔機能可視化システムの動作のフローチャートである。

【図5】図５は、フォルマント母音と口腔内部の状態の関係を示す図である。

【図6】図６は、口腔機能の訓練に用いる言葉の例とその発音の波形の例を示す図である。

【図7】図７は、特定の子音を発音する際の口腔内部の状態の例を示す図である。

【図8】図８は、口腔機能の訓練に用いる言葉の発音の波形の例を示す図である。

【図9】図９は、特定の音を発音する際の口腔内部の状態の例を示す図である。

【図10】図１０は、本開示の実施の形態における口腔機能可視化システムの出力例を示す図である。

【図11】図１１は、本開示の実施の形態における口腔機能可視化システムで用いられる画像データと音声特徴量を紐づけたデータの例を示す図である。

【図12】図１２は、本開示の実施の形態における摂食嚥下のプロセスに対応した動画表示の内容を示す表である。

【発明を実施するための形態】

【0011】

以下、実施の形態について、図面を参照しながら説明する。なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

【0012】

なお、各図は模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付しており、重複する説明は省略または簡略化される場合がある。

【0013】

（実施の形態１）
［音声特徴量および口腔内部の構造］
図１は、音声から取得する特徴量を示す図である。音声から、特徴量として、第一フォルマント周波数、第二フォルマント周波数、音圧較差および話す速度が取得される。音声データの横軸を周波数に変換して得られるデータには、複数のピークが確認される。複数のピークのうち、周波数の最も低いピークの周波数は、第一フォルマント周波数Ｆ１である。また、第一フォルマント周波数Ｆ１の次に周波数の低いピークの周波数は、第二フォルマント周波数Ｆ２である。また、第二フォルマント周波数Ｆ２の次に周波数の低いピークの周波数は、第三フォルマント周波数Ｆ３である。それぞれの周波数は、既知の方法により発音された音声の母音部分を抽出して、抽出した母音部分の音声データを、周波数に対する振幅にデータ変換することにより母音部分のスペクトルを算出することで得られる。

【0014】

図１には、第一フォルマント周波数および第二フォルマント周波数の例が示されている。図１は、「えをかくことにきめた」という言葉が発音された際の例を示している。

【0015】

第一フォルマント周波数は、人の音声の低周波数側から数えて最も振幅の小さい振幅のピーク周波数であり、舌の動き（特に上下運動）に影響される音声の特徴が反映されやすいことが知られている。加えて、第一フォルマント周波数は、顎の開きに影響される音声の特徴が反映されやすいことも知られている。

【0016】

第二フォルマント周波数は、人の音声の低周波数側から数えて２番目に見られる振幅のピーク周波数であり、声帯音源が声道、口唇および舌等の口腔、鼻腔等で生じる共鳴のうち、舌の位置（特に前後位置）に関する影響が反映されやすいことが知られている。また、例えば、歯が存在しない場合に正しく発話できないことから、準備期における歯の咬合状態（歯の数）は、第二フォルマント周波数に影響があると考えられる。また、例えば、唾液が少ない場合に正しく発話できないことから、準備期における唾液の分泌機能は、第二フォルマント周波数に影響があると考えられる。なお、舌の運動機能、唾液の分泌機能または歯の咬合状態（歯の数）は、第一フォルマント周波数から得られる特徴量および第二フォルマント周波数から得られる特徴量のうちのいずれの特徴量から算出してもよい。

【0017】

また、第二フォルマント周波数は、主に、発音の際の舌の前後の動きを表す。また、図１には、音圧較差および話す速度の例も示されている。発音において、音圧較差は、主に、舌の動きの強さを表す。また、話す速度は、舌の巧緻性を表す。

【0018】

図１に示すグラフには、「え」、「を」、「か」、「く」、「こ」、「と」、「に」、「き」、「め」、「た」に対応する音圧の変化が確認される。以下で説明する口腔機能可視化システムは、ユーザの発音を表す音声データとして、図１に示すデータを取得する。口腔機能可視化システムは、例えば、既知の方法により、図１に示す音声データに含まれる「と（ｔｏ）」における「ｔ」および「ｏ」の各音圧、「た（ｔａ）」における「ｔ」および「ａ」の各音圧を算出する。また、口腔機能可視化システム１０は、「と（ｔｏ）」における「ｔ」および「ｏ」の各音圧を特徴量として算出する。

【0019】

このようにして、口腔機能可視化システムは、ユーザが発音した音声から各種特徴量を抽出する。

【0020】

次に、口腔機能可視化システム１０がユーザ２の口腔内部を再現する際に用いられる口腔内部の構成について、説明する。図２は、ヒトの口腔内部の構成を示す図である。図２に示されるように、口腔は、外部から近い順に、上唇、下唇、歯、歯茎、舌尖がある。舌尖から口腔の奥に向かって、舌端、前舌、後舌および舌根と続く。また、歯茎からは、硬口蓋歯茎、歯茎硬口蓋、硬口蓋、軟口蓋および口蓋垂と続く。口腔機能可視化システム１０は、ここに列挙された部位をそれぞれモデル化し、ユーザ２の発音を解析して、それぞれの部位の位置を再現する。再現は、口腔内部の全ての部位について行われなくてもよく、口腔内部の一部の部位について行われてもよい。

【0021】

［口腔機能可視化システムの構成］
図３は、本開示の実施の形態における口腔機能可視化システム１０の構成を示すブロック図である。口腔機能可視化システム１０は、出力部１１、取得部１２、制御部１３、記憶部１４、解析部１５および推定部１６を備える。

【0022】

出力部１１は、解析部１５が解析したユーザ２の発音の音声特徴量等のデータ、または、推定部１６が推定したユーザ２の口腔内部の再現画像等を画面に出力する。出力部１１は、ディスプレイ等の画像を画面に表示することができる端末と、プロセッサ、マイクロコンピュータ、または、専用回路とによって実現される。端末は、タブレット端末またはスマートフォンでもよい。また、口腔機能可視化システム１０が、紙面にユーザの口腔状態等を出力する場合、端末はプリンタ等でもよい。また、出力部１１は、画像表示を行う機能だけでなく、スピーカ等で実現される音声を出力することができる機能を備えていてもよい。また、出力部１１は、推定部１６が推定したユーザ２の口腔状態を示す画像を生成する。出力部１１は、ユーザ２が、所定の音声での発話に適する口腔器官の状態を実現するための情報当該情報とは、例えば、舌または唇等の動かし方を指示する言葉等であってもよい。または、出力部１１は、所定の音声での発話に適する口腔器官の状態を達成するための訓練を行うように促す情報を生成してもよい。

【0023】

取得部１２は、ユーザ２が発話した音声をマイクロフォン等が非接触により集音することで得られる音声データを取得する。当該音声は、ユーザ２が所定の音節または所定の文章または言葉を発話した音声である。また、取得部１２は、さらに、ユーザ２の個人情報を取得してもよい。例えば、個人情報は携帯端末等に入力された情報であり、年齢、体重、身長、性別、ＢＭＩ（Ｂｏｄｙ Ｍａｓｓ Ｉｎｄｅｘ）、歯科情報（例えば、歯の数、入れ歯の有無、咬合支持の場所など）、血清アルブミン値または喫食率等である。取得部１２は、制御部１３に含まれる解析部１５に取得した音声等のデータを送信する。また、取得部１２は、例えば、有線通信または無線通信を行う通信インターフェースである。

【0024】

制御部１３は、出力部１１、解析部１５および推定部１６を含む。制御部１３は、具体的には、プロセッサ、マイクロコンピュータ、または、専用回路によって実現される。

【0025】

記憶部１４は、ユーザ２が所定の音声での発話するために適した口腔器官の状態を示す情報を記憶する。また、記憶部１４は、取得部１２が取得したユーザ２が発話した音声の音声データ、解析部１５が解析したユーザ２の発音の音声特徴量等のデータ、ユーザ２の個人情報、ならびに、出力部１１、取得部１２、制御部１３、解析部１５および推定部１６が実行するプログラム等を記憶してもよい。記憶部１４は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、半導体メモリ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等によって実現される。

【0026】

解析部１５は、取得部１２が取得したユーザ２の発話音声を解析する。解析部１５は、ユーザ２の発話音声から、例えば、図１で説明されたように、第一フォルマント周波数、第二フォルマント周波数、音圧較差および話す速度等の音声特徴量を解析してもよい。解析部１５は、具体的には、プロセッサ、マイクロコンピュータ、または、専用回路によって実現される。

【0027】

推定部１６は、解析部１５が発話音声を解析した結果からユーザ２の口腔器官の状態を推定する。推定部１６は、ユーザ２の発話音声から、例えば、図２で説明された口腔内の部位に基づいて、ユーザ２の口腔状態を推定する。具体的には、推定部１６は、舌端、前舌、後舌の口腔内での位置、または、上唇および下唇の位置関係等を推定してもよい。推定部１６は、具体的には、プロセッサ、マイクロコンピュータ、または、専用回路によって実現される。

【0028】

［口腔機能可視化システムの処理手順］
続いて、口腔機能可視化システム１０が実行する処理について説明する。

【0029】

図４は、本開示の実施の形態における口腔機能可視化システムの動作のフローチャートである。

【0030】

まず、出力部１１は、ユーザ２に対して、所定の音声での発話を促すための情報を画面に出力する（ステップＳ１００）。例えば、出力部１１は、ユーザ２が発音するための例文または単語を表す画像を出力してもよいし、ユーザ２が発音するための例文または単語を表す音声を出力してもよい。例えば、出力部１１は、「えをかくことにきめた」という例文を表す文字列を出力してもよいし、「から」「さら」等の音節を表す文字列を出力してもよいし、「いっぱい」「いっかい」「いったい」等の単語を表す文字列を画面に出力してもよい。

【0031】

なお、記憶部１４は、事前に口腔器官の状態を示す情報を記憶していてもよい。例えば、記憶部１４は、所定の音声特徴量と紐づけられた口腔器官の状態を表す画像である口腔状態データを記憶する。所定の音声特徴量と紐づけられた口腔器官の状態を表す画像のデータについては後述する。

【0032】

続いて、取得部１２は、ユーザ２の発話音声を取得する（ステップＳ１０１）。取得部１２は、マイクロフォン等を通して、ユーザ２の発話音声を取得する。

【0033】

そして、解析部１５は、取得部１２が取得したユーザ２の発話音声を解析する（ステップＳ１０２）。解析部１５は、ユーザ２の発話音声を解析して、音声特徴量を抽出する。例えば、解析部１５は、ユーザ２の発話音声を解析することで、第一フォルマント周波数、第二フォルマント周波数および音圧較差等を、音声特徴量として抽出する。

【0034】

次に、推定部１６は、解析部１５が解析したユーザ２の発話音声の音声特徴量から、ユーザ２の口腔器官の状態を推定する（ステップＳ１０３）。推定部１６は、例えば、ユーザ２の口の開閉状態またはユーザ２の舌端、前舌、後舌および舌根のそれぞれの位置を推定する。

【0035】

続いて、出力部１１は、所定の音声での発話に適する口腔器官の状態をユーザ２が実現するための情報を画面またはスピーカ等に出力する（ステップＳ１０４）。ここで、所定の音声とは、ステップＳ１００で出力部１１が、ユーザ２に対して発音するように提示した言葉等を表す音声である。出力部１１は、所定の音声での発話に適する口腔器官の状態をユーザ２が実現するための情報として、推定部１６が推定したユーザ２の口腔器官の状態を示す図と、所定の音声を発するために適した口腔器官の状態を示す図と、を出力してもよい。また、出力部１１は、所定の音声での発話に適する口腔器官の状態をユーザ２が実現するための情報として、推定部１６が推定したユーザ２の口腔器官の状態を示す言葉と、所定の音声を発するために適した口腔器官の状態を示す言葉とを音声または文字列等で出力してもよい。そのとき、出力部１１は、推定部１６が推定したユーザ２の口腔器官の状態と、所定の音声を発するために適した口腔器官の状態とを比較した結果を出力してもよい。また、出力部１１は、所定の音声での発話に適する口腔器官の状態をユーザ２が実現するための情報として、所定の音声を発するために適した口腔器官の状態を実現するためのアドバイスを音声または文字列、図等として出力してもよい。

【0036】

［フォルマント母音と口腔の関係］
図５は、フォルマント母音と口腔内部の状態の関係を示す図である。図５に示されるように、第一フォルマント周波数（Ｆ_１で示される）は、口の開閉状態に関与しており、第二フォルマント周波数（Ｆ_２で示される）は、口腔器官内での舌の位置に関与している。具体的には、口が閉じた状態で、舌の位置が前にあるとき、い（ｉ）の発音となる。また、口が半分閉じた状態で、舌の位置が前にあるとき、え（ｅ）の発音となる。次に、口が開いた状態で、舌の位置が中央にあるとき、あ（ａ）の発音となる。そして、口が閉じた状態で、舌の位置が後ろにあるとき、う（ｕ）の発音となる。また、口が半分閉じた状態で、舌の位置が後ろにあるとき、お（ｏ）の発音となる。

【0037】

また、舌が前にあるとき、い（ｉ）、え（ｅ）およびあ（ａ）の発音の順で、第一フォルマント周波数が高い。また、舌が後ろにあるとき、う（ｕ）の発音のときより、お（ｏ）の発音のときの方が、第一フォルマント周波数が高くなる。

【0038】

また、口が閉じているとき、い（ｉ）の発音のときの方が、う（ｕ）の発音のときよりも、第二フォルマント周波数が高い。そして、口が半分閉じているとき、え（ｅ）の発音のときの方が、お（ｏ）の発音のときよりも、第二フォルマント周波数が高い。

【0039】

［発音の解析と可視化の例］
図６は、口腔機能の訓練に用いる言葉の例とその発音の波形の例を示す図である。図６に示されるように、口腔機能可視化システム１０は、例えば、「いっぱい」、「いったい」および「いっかい」という言葉をユーザ２に発音させる。図６の（ａ）、（ｂ）および（ｃ）に示されるように、グラフ中のＤｉｆｆで示された箇所は、唇または舌が閉塞状態にあることを示している。また、図６の（ａ）、（ｂ）および（ｃ）に示されるように、グラフ中のＴｉｍｅで示された箇所は、唇または舌の閉塞時間を示している。グラフの波形が基準線よりも上にあるときに、音声が所定以上の強度であると判断される。

【0040】

図７は、特定の子音を発音する際の口腔内部の状態の例を示す図である。まず、口腔機能可視化システム１０が、ユーザ２に「いっぱい」という言葉を発音させる場合について説明する。「いっぱい」という言葉には子音のｐが含まれている。そこで、図７の（ａ）に図示されるように、口腔機能可視化システム１０は、ユーザ２が唇を完全に閉じた後に、空気を破裂させるように発音できているかを解析する。また、口腔機能可視化システム１０が、ユーザ２に「いったい」という言葉を発音させたときに、口腔機能可視化システム１０は、特に唇の部分の動作を強調して、ユーザ２の口腔器官の状態を可視化してもよい。

【0041】

次に、口腔機能可視化システム１０が、ユーザ２に「いったい」という言葉を発音させる場合について説明する。「いっぱい」という言葉には子音のｔが含まれている。そこで、図７の（ｂ）に図示されるように、口腔機能可視化システム１０は、ユーザ２が舌を完全に口腔上部の歯茎に接した後、舌を弾くように発音できているかを解析する。また、口腔機能可視化システム１０が、ユーザ２に「いったい」という言葉を発音させたときに、口腔機能可視化システム１０は、特に舌先の部分の動作を強調して、ユーザ２の口腔器官の状態を可視化してもよい。

【0042】

続いて、口腔機能可視化システム１０が、ユーザ２に「いっかい」という言葉を発音させる場合について説明する。「いっかい」という言葉には子音のｋが含まれている。そこで、図７の（ｃ）に図示されるように、口腔機能可視化システム１０は、ユーザ２が後舌を完全に口腔上部の硬口蓋または軟口蓋に接して空気の通り道を閉じた後、空気の通り道を開くように発音できているかを解析する。また、口腔機能可視化システム１０が、ユーザ２に「いっかい」という言葉を発音させたときに、口腔機能可視化システム１０は、特に後舌の部分の動作を強調して、ユーザ２の口腔器官の状態を可視化してもよい。

【0043】

図８は、口腔機能の訓練に用いる言葉の発音の波形の例を示す図である。ここでは、口腔機能可視化システム１０が、ユーザ２に「から」および「さら」という言葉を発音させる場合について説明する。図８に示されるように、「から」または「さら」と発音されている場合、２こぶの山状の波形が観測される。この２こぶの山のような波形のこぶの部分がなだらかな波形が観測された場合、「か」または「さ」がうまく発音できていないと解釈される。なお、基準線より高い波形が観測されれば、音量が所定以上であると解釈される。

【0044】

例えば、ユーザ２によって「から」という言葉が発音された場合、図９の（ａ）および（ｂ）に示されるような、口腔器官の状態が示される。「ｋａ」の発音には、後舌が口腔上部の硬口蓋または軟口蓋に接している必要があるため、ユーザ２が「ｋａ」を完全に発音できている場合、後舌が口腔上部の硬口蓋または軟口蓋に接している図が示される。それに対して、ユーザ２が「ｋａ」を完全に発音できていない場合、後舌が口腔上部の硬口蓋または軟口蓋に接しておらず、舌と硬口蓋または軟口蓋との間に隙間が空いている図が示される。

【0045】

また、例えば、ユーザ２によって「さら」という言葉が発音された場合、図９の（ｃ）および（ｄ）に示されるような、口腔器官の状態が示される。「ｓａ」の発音には、舌尖が口腔上部の歯茎に接している必要があるため、ユーザ２が「ｓａ」を適切に発音できている場合、舌尖が口腔上部の歯茎に接している図が示される。それに対して、ユーザ２が「ｓａ」を完全に発音できていない場合、舌尖が口腔上部の歯茎に接しておらず、舌と歯茎との間に隙間が空いている図が示される。また、「ｓａ」の発音が行われる場合、唇が開いている必要があり、上唇および下唇の間に隙間が空いている図が示される。

【0046】

［口腔機能可視化システムの出力例］
図１０は、本開示の実施の形態における口腔機能可視化システムの出力例を示す図である。ユーザ２が発話した音声から推定されるユーザ２の口腔器官の状態と、口腔機能可視化システム１０がユーザ２に発音させた言葉を発音するための理想的な口腔器官の状態とを図示して示す。上記の２つの状態は、別々の２つの図で示されてもよいし、１つの図で表現されてもよい。また、口腔機能可視化システム１０が出力する図には、ユーザ２の口腔器官の位置を改善するための方向等を示す矢印等の図形が描かれてもよい。加えて、口腔機能可視化システム１０は、ユーザ２の口腔器官の位置を改善するための方向等を示す文章等を表示してもよいし、ユーザ２に更なる発音の練習を促す文言等を画面に表示してもよい。

【0047】

例えば、口腔機能可視化システム１０は、ユーザ２に特定の言葉を発音させた後、ユーザ２が発音した音節に対応するユーザ２の口腔器官の状態を推定し、図または言葉で表示する。口腔機能可視化システム１０は、ユーザ２の口の開閉状態またはユーザ２の舌端、前舌、後舌および舌根のそれぞれの位置を推定して、図または言葉で画面に表示する。当該推定は、ユーザ２が発音した音節毎に行われてもよい。合わせて、口腔機能可視化システム１０は、ユーザ２に発音させた言葉を発音する時の理想的な口腔器官の状態を図または言葉で画面に表示してもよい。具体的には、口腔機能可視化システム１０が、ユーザ２が発音した音節に対応するユーザ２の口腔器官の状態として、舌端が歯茎のほうに向かっているが、歯茎に接触していない状態を表す図を画面に表示する。そして、口腔機能可視化システム１０は、ユーザ２に発音させた言葉を発音する時の理想的な口腔器官の状態として、舌端がより歯茎に近づいている状態を図示する。舌全体を上方向に移動させるように示す上向きの矢印が同時に図示されてもよい。合わせて、「舌をもう少し上げてください。」という、ユーザ２の口腔器官の位置を改善するための方向等を示す文章等が画面に表示されてもよい。また、ユーザ２に更なる発音の練習を促す文章等として、「もう１回練習してみましょう。」という文章が画面に表示されてもよい。なお、ここで、画面に表示されると説明された言葉等は、音声で読み上げられてもよい。

【0048】

このように、口腔機能可視化システム１０は、ユーザ２が理想的な発音のための口腔器官の状態を実現できるような図または言葉を出力する。

【0049】

［口腔機能可視化システムに用いられる画像データの例］
次に、口腔機能可視化システム１０が、ユーザ２の口腔器官の状態を推定し、可視化するために用いられるデータについて説明する。図１１は、本開示の実施の形態における口腔機能可視化システムで用いられる画像データと音声特徴量を紐づけたデータの例を示す図である。

【0050】

口腔機能可視化システム１０は、記憶部１４に、所定の音声特徴量と紐づけられた口腔器官の状態を表す画像である口腔状態データを記憶する。例えば、第一フォルマント周波数が７６８Ｈｚ、第二フォルマント周波数が１３０６Ｈｚ、第三フォルマント周波数が２５５２Ｈｚである「ａ」という音声に対応したデータとして、画像Ａが記憶部１４に記憶される。ここで、「ａ」に分類される音の中で、第一フォルマント周波数、第二フォルマント周波数、第三フォルマント周波数のさまざまな組み合わせの音に対応する画像データが保存される。他の種類の母音および子音についても、同様である。また、ここで、第一フォルマント周波数、第二フォルマント周波数および第三フォルマント周波数が音声特徴量として採用されているが、他の種類の音声特徴量が用いられてもよい。

【0051】

そして、口腔機能可視化システム１０は、出力部１１から、解析部１５が発話音声を解析した結果として得られる音声特徴量に対応する口腔状態データを出力する。口腔機能可視化システム１０は、発話音声の音声特徴量に最も近い音声特徴量と対応する口腔状態データ（例えば、画像データ）を選択して、出力する。口腔機能可視化システム１０は、複数の口腔状態データを連続して表示し、動画として出力してもよい。

【0052】

［摂食嚥下の評価における応用］
口腔機能可視化システム１０は、摂食嚥下の評価および摂食嚥下機能の向上等に応用することができる。

【0053】

まず、摂食嚥下のプロセスについて説明する。摂食嚥下機能とは、食物を認識して口に取り込みそして胃に至るまでの一連の過程を達成するのに必要な人体の機能である。摂食嚥下機能は、先行期、準備期、口腔期、咽頭期および食道期の５つの段階からなる。

【0054】

摂食嚥下における先行期（認知期とも呼ばれる）では、食物の形、硬さおよび温度等が判断される。先行期における摂食嚥下機能は、例えば、目の視認機能等である。先行期において、食物の性質および状態が認知され、食べ方、唾液分泌および姿勢といった摂食に必要な準備が整えられる。

【0055】

摂食嚥下における準備期（咀嚼期とも呼ばれる）では、口腔内に取り込まれた食物が歯で噛み砕かれ、すり潰され（つまり咀嚼され）、そして、咀嚼された食物を舌によって唾液と混ぜ合わせられて食塊にまとめられる。準備期における摂食嚥下機能は、例えば、食物をこぼさずに口腔内に取り込むための表情筋（口唇の筋肉および頬の筋肉等）の運動機能、食物の味を認識したり硬さを認識したりするための舌の認識機能、食物を歯に押し当てたり細かくなった食物を唾液と混ぜ合わせてまとめたりするための舌の運動機能、食物を噛み砕きすり潰すための歯の咬合状態、歯と頬の間に食物が入り込むのを防ぐ頬の運動機能、咀嚼するための筋肉の総称である咀嚼筋（咬筋および側頭筋等）の運動機能（咀嚼機能）、ならびに、細かくなった食物をまとめるための唾液の分泌機能等である。咀嚼機能は、歯の咬合状態、咀嚼筋の運動機能、舌の機能などに影響される。準備期におけるこれらの摂食嚥下機能によって、食塊は飲み込みやすい物性（サイズ、塊、粘度）となるため、食塊が口腔内から咽頭を通って胃までスムーズに移動しやすくなる。

【0056】

摂食嚥下における口腔期では、舌（舌の先端）が持ち上がり、食塊が口腔内から咽頭に移動させられる。口腔期における摂食嚥下機能は、例えば、食塊を咽頭へ移動させるための舌の運動機能、咽頭と鼻腔との間を閉鎖する軟口蓋の上昇機能等である。

【0057】

摂食嚥下における咽頭期では、食塊が咽頭に達すると嚥下反射が生じて短時間（約１秒）の間に食塊が食道へ送られる。具体的には、軟口蓋が挙上して鼻腔と咽頭との間が塞がれ、舌の根元（具体的には舌の根元を支持する舌骨）および喉頭が挙上して食塊が咽頭を通過し、その際に喉頭蓋が下方に反転し気管の入口が塞がれ、誤嚥が生じないように食塊が食道へ送られる。咽頭期における摂食嚥下機能は、例えば、鼻腔と咽頭との間を塞ぐための咽頭の運動機能（具体的には、軟口蓋を挙上する運動機能）、食塊を咽頭へ送るための舌（具体的には舌の根元）の運動機能、食塊を咽頭から食道へ送ったり、食塊が咽頭へ流れ込んできた際に、声門が閉じて気管を塞ぎ、その上から喉頭蓋が気管の入り口に垂れ下がることで蓋をしたりする喉頭の運動機能等である。

【0058】

摂食嚥下における食道期では、食道壁の蠕動運動が誘発され、食塊が食道から胃へと送り込まれる。食道期における摂食嚥下機能は、例えば、食塊を胃へ移動させるための食道の蠕動機能等である。

【0059】

例えば、人は加齢とともに、健康状態からプレフレイル期およびフレイル期を経て要介護状態へとなる。摂食嚥下機能の低下（オーラルフレイルとも呼ばれる）は、プレフレイル期に現れはじめるとされている。摂食嚥下機能の低下は、フレイル期から続く要介護状態への進行を早める要因となり得る。このため、プレフレイル期の段階で摂食嚥下機能がどのように低下しているかに気付き、事前に予防や改善を行うことで、フレイル期から続く要介護状態に陥りにくくなり、健やかで自立した暮らしを長く保つことができるようになる。

【0060】

次に、口腔機能可視化システム１０が、摂食嚥下のプロセスに応じて、ユーザ２の口腔器官の状態を推定した画像を画面に表示する例について説明する。図１２は、本開示の実施の形態における摂食嚥下のプロセスに対応した動画表示の内容を示す表である。

【0061】

口腔機能可視化システム１０は、咀嚼期のプロセスである開閉口に対応する音として、“ｉ”、“ｅ”および“ａ”に着目する。口腔機能可視化システム１０は、開閉口のプロセスを評価するために、“ｉ”、“ｅ”および“ａ”の音を含む言葉をユーザ２に発音させ、ユーザ２の発音を解析する。そして、口腔機能可視化システム１０は、ユーザ２の発音から推定されたユーザ２の口腔器官の状態を画面に表示する。このとき、口腔機能可視化システム１０は、“ｉ”、“ｅ”および“ａ”の音を含む言葉を発音する時の理想的な口腔器官の状態も表示してもよい。

【0062】

また、例えば、口腔機能可視化システム１０は、咀嚼期のプロセスである咀嚼に対応する音として、“ｋａ ｌａ”に着目する。口腔機能可視化システム１０は、開閉口のプロセスを評価するために、“ｋａ ｌａ”の音を含む言葉をユーザ２に発音させ、ユーザ２の発音を解析する。そして、口腔機能可視化システム１０は、ユーザ２の発音から推定されたユーザ２の口腔器官の状態を画面に表示する。このとき、口腔機能可視化システム１０は、“ｋａ ｌａ”の音を含む言葉を発音する時の理想的な口腔器官の状態も表示してもよい。

【0063】

また、例えば、口腔機能可視化システム１０は、咀嚼期のプロセスである口唇閉鎖に対応する音として、“ｐ”に着目する。口腔機能可視化システム１０は、開閉口のプロセスを評価するために、“ｐ”の音を含む言葉をユーザ２に発音させ、ユーザ２の発音を解析する。そして、口腔機能可視化システム１０は、ユーザ２の発音から推定されたユーザ２の口腔器官の状態を画面に表示する。このとき、口腔機能可視化システム１０は、“ｐ”の音を含む言葉を発音する時の理想的な口腔器官の状態も表示してもよい。

【0064】

また、例えば、口腔機能可視化システム１０は、口腔期のプロセスである前方舌運動に対応する音として、“ｔ”、“ｅ”に着目する。口腔機能可視化システム１０は、前方舌運動のプロセスを評価するために、“ｔ”、“ｅ”の音を含む言葉をユーザ２に発音させ、ユーザ２の発音を解析する。そして、口腔機能可視化システム１０は、ユーザ２の発音から推定されたユーザ２の口腔器官の状態を画面に表示する。このとき、口腔機能可視化システム１０は、“ｔ”、“ｅ”の音を含む言葉を発音する時の理想的な口腔器官の状態も表示してもよい。

【0065】

また、例えば、口腔機能可視化システム１０は、口腔期のプロセスである奥舌運動に対応する音として、“ｋ”、“ｏ”に着目する。口腔機能可視化システム１０は、前方舌運動のプロセスを評価するために、“ｋ”、“ｏ”の音を含む言葉をユーザ２に発音させ、ユーザ２の発音を解析する。そして、口腔機能可視化システム１０は、ユーザ２の発音から推定されたユーザ２の口腔器官の状態を画面に表示する。このとき、口腔機能可視化システム１０は、“ｋ”、“ｏ”の音を含む言葉を発音する時の理想的な口腔器官の状態も表示してもよい。

【0066】

また、例えば、口腔機能可視化システム１０は、咽頭期のプロセスである舌口蓋閉鎖に対応する音として、“ｋｏ”に着目する。口腔機能可視化システム１０は、前方舌運動のプロセスを評価するために、“ｋｏ”の音を含む言葉をユーザ２に発音させ、ユーザ２の発音を解析する。そして、口腔機能可視化システム１０は、ユーザ２の発音から推定されたユーザ２の口腔器官の状態を画面に表示する。このとき、口腔機能可視化システム１０は、“ｋｏ”の音を含む言葉を発音する時の理想的な口腔器官の状態も表示してもよい。

【0067】

これにより、口腔機能可視化システム１０は、ユーザ２の発音を解析することで、ユーザ２の摂食嚥下機能を評価することができる。また、口腔機能可視化システム１０は、ユーザ２の発音を解析し、推定したユーザ２の口腔器官の状態を画面に表示することにより、ユーザ２に摂食嚥下機能を改善するためのトレーニングを促すこともできる。このように、口腔機能可視化システム１０は、摂食嚥下の評価および摂食嚥下機能の向上等に応用することができる。

【0068】

［効果等］
口腔機能可視化システム１０は、ユーザ２に対して、所定の音声での発話を促すための出力を行う出力部１１と、出力に応じてなされたユーザ２の発話音声を取得する取得部１２と、取得部１２が取得した発話音声を解析する解析部１５と、解析部１５が発話音声を解析した結果からユーザ２の口腔器官の状態を推定する推定部１６と、を備え、出力部１１は、推定部１６が推定したユーザ２の口腔器官の状態に基づいて、所定の音声での発話に適する口腔器官の状態をユーザ２が実現するための情報を出力する。

【0069】

これにより、口腔機能可視化システム１０は、例えば、口腔器官の状態が画面に表示されれば、ユーザ２の発音に基づくユーザ２の口腔空内部の可視化を行うことができる。ユーザ２は、出力された口腔器官の状態を認識することができるため、正しく発話するように心がけることができる。その結果、ユーザ２は発話を正しく行えるようになる。

【0070】

所定の音声で発話するために適した口腔器官の状態を示す情報を記憶する記憶部１４を備え、記憶部１４は、さらに、発話音声を記憶し、出力部１１は、記憶部１４に記憶された発話音声と、取得部１２が取得した現時点での発話音声とのそれぞれから、推定部１６によって推定されるユーザ２の口腔器官の状態のそれぞれを再現し、それらを画面表示する。

【0071】

これにより、口腔機能可視化システム１０は、ユーザ２の口腔器官の状態を推定して再現することで、ユーザ２に対して所定の音声での発話を正しく行うように促すことができる。

【0072】

さらに、発話音声を記録する記憶部１４を備え、出力部１１は、記憶部１４に記憶された所定の音声を発話するために適した口腔器官の状態を表す画像と、推定部１６によって推定されるユーザ２の口腔器官の状態を再現した画像とのそれぞれを画面表示する。

【0073】

これにより、口腔機能可視化システム１０は、所定の音声を発話するために理想的な口腔器官の状態と、推定したユーザ２の口腔器官の状態を画面に表示することで、ユーザ２に対して所定の音声での発話を正しく行うように促すことができる。

【0074】

出力部１１は、人の顔を横から見たときの口腔内部の断面図を用いて、口腔内の舌の位置および口腔の開閉状態を、口腔器官の状態として表す。

【0075】

出力部１１は、さらに、ユーザ２が所定の音声での発話に適する口腔器官の状態を達成するための訓練を行うように促す情報を出力する。

【0076】

これにより、口腔機能可視化システム１０は、ユーザ２に対して所定の音声での発話を訓練するように促すことができる。

【0077】

記憶部１４は、さらに、所定の音声特徴量と紐づけられた口腔器官の状態を表す画像である口腔状態データを記憶し、出力部１１は、解析部１５が発話音声を解析した結果として得られる音声特徴量に対応する口腔状態データを出力する。

【0078】

これにより、口腔機能可視化システム１０は、予め記憶された複数の画像を用いて、推定部１６によって推定されるユーザ２の口腔器官の状態を再現することができる。

【0079】

口腔機能可視化システム１０において、画像は、動画である。

【0080】

これにより、口腔機能可視化システム１０は、動画を用いて、ユーザ２に対して所定の音声での発話を正しく行うように促すことができる。

【0081】

出力部１１は、所定の音声での発話に適する口腔器官の状態をユーザ２が実現するための情報、所定の音声を発話するために適した口腔器官の状態を表す情報、および、ユーザ２が所定の音声での発話に適する口腔器官の状態を達成するための訓練を行うように促す情報のうちのいずれかまたは全てを、紙面上に出力する。

【0082】

これにより、口腔機能可視化システム１０は、紙のレポートにより、ユーザ２に対して所定の音声での発話を正しく行うように促すことができる。

【0083】

口腔機能可視化方法は、ユーザ２に対して、所定の音声での発話を促すための出力を行う出力ステップと、所定の音声での発話するために適した口腔器官の状態を示す情報を記憶する記憶ステップと、出力に応じてなされたユーザ２の発話音声を取得する取得ステップと、取得ステップで取得された発話音声を解析する解析ステップと、解析ステップで発話音声が解析された結果からユーザ２の口腔器官の状態を推定する推定ステップと、を含み、出力ステップでは、記憶ステップで記憶された所定の音声での発話するために適した口腔器官の状態を示す情報と推定ステップで推定されたユーザ２の口腔器官の状態とに基づいて、所定の音声での発話に適する口腔器官の状態をユーザ２が実現するための情報を出力する。

【0084】

これにより、口腔機能可視化方法は、上記口腔機能可視化システム１０と同様の効果を奏することができる。

【0085】

プログラムは、ユーザ２に対して、所定の音声での発話を促すための出力を行う出力ステップと、所定の音声での発話するために適した口腔器官の状態を示す情報を記憶する記憶ステップと、出力に応じてなされたユーザ２の発話音声を取得する取得ステップと、取得ステップで取得された発話音声を解析する解析ステップと、解析ステップで発話音声が解析された結果からユーザ２の口腔器官の状態を推定する推定ステップと、を含み、出力ステップでは、記憶ステップで記憶された所定の音声での発話するために適した口腔器官の状態を示す情報と推定ステップで推定されたユーザ２の口腔器官の状態とに基づいて、所定の音声での発話に適する口腔器官の状態をユーザ２が実現するための情報を出力する口腔機能可視化方法をコンピュータに実行させる。

【0086】

これにより、プログラムは、上記口腔機能可視化システム１０と同様の効果を奏することができる。

【0087】

［その他］
以上、実施の形態について説明したが、本発明は、上記実施の形態に限定されるものではない。

【0088】

例えば、上記実施の形態に係る口腔機能可視化システムは、複数の装置によって実現されてもよいし、単一の装置として実現されてもよい。例えば、口腔機能可視化システムは、クライアントサーバシステムとして実現されてもよい。また、口腔機能可視化システムは、スマートフォンまたはタブレット端末などの携帯端末単体として実現されてもよい。口腔機能可視化システムが複数の装置によって実現される場合、口腔機能可視化システムが備える構成要素は、複数の装置にどのように振り分けられてもよい。

【0089】

また、上記実施の形態において、特定の処理部が実行する処理を別の処理部が実行してもよい。また、複数の処理の順序が変更されてもよいし、複数の処理が並行して実行されてもよい。

【0090】

また、上記実施の形態において、各構成要素は、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

【0091】

また、各構成要素は、ハードウェアによって実現されてもよい。例えば、各構成要素は、回路（または集積回路）でもよい。これらの回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。

【0092】

また、本発明の全般的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよい。また、本発明の全般的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

【0093】

例えば、本発明は、上記実施の形態の口腔機能可視化方法をコンピュータに実行させるためのプログラムとして実現されてもよい。本発明は、このようなプログラムが記録されたコンピュータ読み取り可能な非一時的な記録媒体として実現されてもよい。なお、このようなプログラムには、汎用の携帯端末を上記実施の形態に係る口腔機能可視化システムとして動作させるためのアプリケーションプログラムが含まれる。

【0094】

その他、各実施の形態に対して当業者が思いつく各種変形を施して得られる形態、または、本発明の趣旨を逸脱しない範囲で各実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本発明に含まれる。

【符号の説明】

【0095】

１０ 口腔機能可視化システム
１１ 出力部
１２ 取得部
１３ 制御部
１４ 記憶部
１５ 解析部
１６ 推定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】