特開 2022-74671 咀嚼指導システム、咀嚼指導プログラム、及び咀嚼指導方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022074671

(43)【公開日】2022-05-18

(54)【発明の名称】咀嚼指導システム、咀嚼指導プログラム、及び咀嚼指導方法

(51)【国際特許分類】

   A61B 5/11 20060101AFI20220511BHJP

   G16H 20/00 20180101ALI20220511BHJP

【ＦＩ】

A61B5/11 320

G16H20/00

【審査請求】未請求

【請求項の数】17

【出願形態】ＯＬ

(21)【出願番号】P 2020184914

(22)【出願日】2020-11-05

(71)【出願人】

【識別番号】000106324

【氏名又は名称】サンスター株式会社

(74)【代理人】

【識別番号】100074561

【弁理士】

【氏名又は名称】柳野 隆生

(74)【代理人】

【識別番号】100177264

【弁理士】

【氏名又は名称】柳野 嘉秀

(74)【代理人】

【識別番号】100124925

【弁理士】

【氏名又は名称】森岡 則夫

(74)【代理人】

【識別番号】100141874

【弁理士】

【氏名又は名称】関口 久由

(74)【代理人】

【識別番号】100143373

【弁理士】

【氏名又は名称】大西 裕人

(72)【発明者】

【氏名】金田 健

【テーマコード（参考）】

4C038

5L099

【Ｆターム（参考）】

4C038VA04

4C038VB03

4C038VB05

4C038VB06

4C038VC05

5L099AA15

(57)【要約】

【課題】咀嚼運動の改善が容易な咀嚼指導システム、咀嚼指導プログラム、及び咀嚼指導方法を提供する。
【解決手段】咀嚼指導システム１は、ユーザの咀嚼運動を指導するための基準となる咀嚼基準情報Ｉを記憶する基準情報記憶部３と、咀嚼運動が行われている期間中に、ユーザの口及び口の周辺部のうち少なくとも一方を含む領域の動画を撮像動画Ｍとしてリアルタイムで取得する動画取得部２２と、撮像動画Ｍから、咀嚼運動に関する咀嚼情報をリアルタイムで取得する咀嚼情報取得部２３と、咀嚼情報と咀嚼基準情報Ｉとに基づいて、ユーザに対して咀嚼運動を指導するための指導情報をリアルタイムで生成する指導情報生成部２４と、撮像動画Ｍの取得と並行して、指導情報をリアルタイムでユーザに報知する報知部２５とを備えた。
【選択図】図７

【特許請求の範囲】

【請求項1】

ユーザの咀嚼運動を指導するための基準となる咀嚼基準情報を記憶する基準情報記憶部と、
前記咀嚼運動が行われている期間中に、前記ユーザの口及び口の周辺部のうち少なくとも一方を含む領域の動画を撮像動画としてリアルタイムで取得する動画取得部と、
前記撮像動画から、前記咀嚼運動に関する咀嚼情報をリアルタイムで取得する咀嚼情報取得部と、
前記咀嚼情報と前記咀嚼基準情報とに基づいて、前記ユーザに対して前記咀嚼運動を指導するための指導情報をリアルタイムで生成する指導情報生成部と、
前記撮像動画の取得と並行して、前記指導情報をリアルタイムで前記ユーザに報知する報知部とを備える咀嚼指導システム。

【請求項2】

前記咀嚼基準情報は、食物を口に入れてから飲み込むまでの咀嚼回数を示す咀嚼基準回数を含み、
前記咀嚼情報取得部は、前記撮像動画から前記ユーザの咀嚼回数を前記咀嚼情報としてリアルタイムで計数し、
前記指導情報は、前記計数された咀嚼回数と前記咀嚼基準回数とを含む請求項１に記載の咀嚼指導システム。

【請求項3】

前記指導情報生成部は、ユーザによる右噛み回数と左噛み回数とが実質的に同一になるように噛方向を前記指導情報として設定する請求項１又は２に記載の咀嚼指導システム。

【請求項4】

前記咀嚼基準情報は、咀嚼の時間間隔に関して予め設定された間隔基準情報を含み、
前記指導情報生成部は、前記間隔基準情報に基づいて、前記指導情報として咀嚼タイミングを生成し、
前記報知部は、前記指導情報により示されるタイミングで、前記ユーザに咀嚼すべきタイミングを報知する請求項１～３のいずれか一項に記載の咀嚼指導システム。

【請求項5】

前記報知部は、前記タイミングを、音によって報知する請求項４に記載の咀嚼指導システム。

【請求項6】

前記報知部は、前記タイミングを、振動によって報知する請求項４に記載の咀嚼指導システム。

【請求項7】

前記咀嚼基準情報は、咀嚼の時間間隔に関して予め設定された間隔基準情報を含み、
前記咀嚼情報取得部は、前記撮像動画から前記ユーザの咀嚼の時間間隔に関する間隔情報を前記咀嚼情報としてリアルタイムで取得し、
前記指導情報は、前記間隔基準情報と前記間隔情報とを含む請求項１～６のいずれか一項に記載の咀嚼指導システム。

【請求項8】

前記咀嚼基準情報は、咀嚼の時間間隔に関して予め設定された間隔基準情報を含み、
前記咀嚼情報取得部は、前記撮像動画から前記ユーザの咀嚼の時間間隔に関する間隔情報を前記咀嚼情報としてリアルタイムで取得し、
前記指導情報生成部は、さらに、前記間隔情報に基づいて、前記ユーザの咀嚼間隔を前記間隔基準情報で示される時間間隔に近づけるように前記ユーザを指導する情報を前記指導情報として生成する請求項１～７のいずれか一項に記載の咀嚼指導システム。

【請求項9】

前記咀嚼情報取得部は、前記撮像動画から前記ユーザの咀嚼運動経路を前記咀嚼情報としてリアルタイムで取得する請求項１～８のいずれか１項に記載の咀嚼指導システム。

【請求項10】

前記咀嚼基準情報は、予め設定された咀嚼運動経路を示す咀嚼経路基準情報を含み、
前記指導情報生成部は、さらに、前記リアルタイムで取得された咀嚼運動経路に基づいて、前記ユーザの咀嚼運動経路を前記咀嚼経路基準情報で示される咀嚼運動経路に近づけるように前記ユーザを指導する情報を前記指導情報として生成する請求項９に記載の咀嚼指導システム。

【請求項11】

前記報知部は、前記指導情報を、人の顔の画像によって報知する請求項１～１０のいずれか１項に記載の咀嚼指導システム。

【請求項12】

前記咀嚼基準情報は、予め設定された咀嚼運動経路を示す咀嚼経路基準情報を含み、
前記報知部は、前記咀嚼経路基準情報が示す咀嚼運動経路と前記リアルタイムで取得された咀嚼運動経路とを、リアルタイムで画像表示する請求項９に記載の咀嚼指導システム。

【請求項13】

前記咀嚼情報取得部は、咀嚼運動に伴い動く顔の特徴点である動的特徴点と、咀嚼に伴い動かない顔の特徴点である静的特徴点とを前記撮像動画から検出し、前記動的特徴点と前記静的特徴点との距離の時間的変化を示す時間的変化情報を取得し、前記時間的変化情報に基づき前記咀嚼情報を取得する請求項１～１２のいずれか１項に記載の咀嚼指導システム。

【請求項14】

前記動的特徴点は、口の口角、上唇の頂点、下唇の頂点、顎の頂点、及び咬筋付近の頬の輪郭に沿った点のうちいずれかであり、
前記静的特徴点は、鼻先、及び鼻元のうちいずれかである請求項１３に記載の咀嚼指導システム。

【請求項15】

前記咀嚼基準情報の入力を受け付けて前記基準情報記憶部に記憶させる基準情報受付部をさらに備える請求項１～１４のいずれか１項に記載の咀嚼指導システム。

【請求項16】

ユーザの咀嚼運動を指導するための基準となる咀嚼基準情報を記憶する基準情報記憶部、
前記咀嚼運動が行われている期間中に、前記ユーザの口及び口の周辺部のうち少なくとも一方を含む領域の動画を撮像動画としてリアルタイムで取得する動画取得部、
前記撮像動画から、前記咀嚼運動に関する咀嚼情報をリアルタイムで取得する咀嚼情報取得部、
前記咀嚼情報と前記咀嚼基準情報とに基づいて、前記ユーザに対して前記咀嚼運動を指導するための指導情報をリアルタイムで生成する指導情報生成部、及び、
前記撮像動画の取得と並行して、前記指導情報をリアルタイムで前記ユーザに報知する報知部としてコンピュータを機能させる咀嚼指導プログラム。

【請求項17】

（１）ユーザの咀嚼運動を指導するための基準となる咀嚼基準情報を記憶し、
（２）前記咀嚼運動が行われている期間中に、前記ユーザの口及び口の周辺部のうち少なくとも一方を含む領域の動画を撮像動画としてリアルタイムで取得し、
（３）前記撮像動画から、前記咀嚼運動に関する咀嚼情報をリアルタイムで取得し、
（４）前記撮像動画と前記咀嚼基準情報とに基づいて、前記ユーザに対して前記咀嚼運動を指導するための指導情報をリアルタイムで生成し、
（５）前記撮像動画の取得と並行して、前記指導情報をリアルタイムで前記ユーザに報知する咀嚼指導方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ユーザの咀嚼を指導する咀嚼指導システム、咀嚼指導プログラム、及び咀嚼指導方法に関する。

【背景技術】

【0002】

食べ物を噛むことや嚥下行動、唾液の分泌等は、脳および全身への影響が大きく、心身の健康および健康寿命に大きく影響を及ぼす。口腔および咽頭領域の健康を維持、向上させることで、結果的に健康寿命も延びるといわれている。

【0003】

とくに、歯応えのある食事の十分な咀嚼は、心身の成長の促進、脳の活性化、運動機能の向上、肥満の抑制、老化の抑制、社会性の維持につながるなど、健康寿命の延伸に効果があるとされている。咀嚼回数の少ない食事の摂取などの不十分な咀嚼は、発達期の子供の咀嚼機能の低下、高齢者のオーラルフレイルへ繋がることが知られている（非特許文献１参照）。

【0004】

また、いつも同じ側でばかり噛む「偏咀嚼」は、片側の歯の寿命が縮まる、噛まない歯が汚れやすい、顎の関節に負担がかかる、顏がゆがむといった、歯や顎、顏などへの悪影響を及ぼす恐れがある。また、このような悪影響から、やがて体のゆがみ、肩こり、腰痛を引き起こすなど、全身にも影響が及ぶおそれがある。左右の咬合のバランス（咬合干渉）も、身体的、情動的ストレスを引き起こすと言われ、交感神経と副交感神経の両機能に影響を及ぼすおそれがある。

【0005】

そこで、ユーザの顔にセンサを取り付けることによって、ユーザの咀嚼運動を測定する技術が知られている（例えば、特許文献１参照。）。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１９－４７８５９号公報

【非特許文献1】小林義典，依頼論文 咬合・咀嚼が創る健康寿命，日補綴会誌Ann Jpn Prosthodont Soc3，p189-219,2011

【発明の概要】

【発明が解決しようとする課題】

【0007】

特許文献１に記載の技術によれば、ユーザの咀嚼運動を測定することはできる。しかしながら、専門知識のないユーザが咀嚼運動の測定結果を見ても、測定結果から咀嚼運動の問題を判断したり、どのように咀嚼運動を改善すべきかを判断したりすることは困難である。また、咀嚼運動は、通常無意識に行われるため、ユーザが無意識の咀嚼運動を改善することは容易でない。

【0008】

本発明の目的は、咀嚼運動の改善が容易な咀嚼指導システム、咀嚼指導プログラム、及び咀嚼指導方法を提供することである。

【課題を解決するための手段】

【0009】

本発明に係る咀嚼指導システムは、ユーザの咀嚼運動を指導するための基準となる咀嚼基準情報を記憶する基準情報記憶部と、前記咀嚼運動が行われている期間中に、前記ユーザの口及び口の周辺部のうち少なくとも一方を含む領域の動画を撮像動画としてリアルタイムで取得する動画取得部と、前記撮像動画から、前記咀嚼運動に関する咀嚼情報をリアルタイムで取得する咀嚼情報取得部と、前記咀嚼情報と前記咀嚼基準情報とに基づいて、前記ユーザに対して前記咀嚼運動を指導するための指導情報をリアルタイムで生成する指導情報生成部と、前記撮像動画の取得と並行して、前記指導情報をリアルタイムで前記ユーザに報知する報知部とを備える。

【0010】

また、本発明に係る咀嚼指導プログラムは、ユーザの咀嚼運動を指導するための基準となる咀嚼基準情報を記憶する基準情報記憶部、前記咀嚼運動が行われている期間中に、前記ユーザの口及び口の周辺部のうち少なくとも一方を含む領域の動画を撮像動画としてリアルタイムで取得する動画取得部、前記撮像動画から、前記咀嚼運動に関する咀嚼情報をリアルタイムで取得する咀嚼情報取得部、前記咀嚼情報と前記咀嚼基準情報とに基づいて、前記ユーザに対して前記咀嚼運動を指導するための指導情報をリアルタイムで生成する指導情報生成部、及び、前記撮像動画の取得と並行して、前記指導情報をリアルタイムで前記ユーザに報知する報知部としてコンピュータを機能させる。

【0011】

また、本発明に係る咀嚼指導方法は、（１）ユーザの咀嚼運動を指導するための基準となる咀嚼基準情報を記憶し、（２）前記咀嚼運動が行われている期間中に、前記ユーザの口及び口の周辺部のうち少なくとも一方を含む領域の動画を撮像動画としてリアルタイムで取得し、（３）前記撮像動画から、前記咀嚼運動に関する咀嚼情報をリアルタイムで取得し、（４）前記撮像動画と前記咀嚼基準情報とに基づいて、前記ユーザに対して前記咀嚼運動を指導するための指導情報をリアルタイムで生成し、（５）前記撮像動画の取得と並行して、前記指導情報をリアルタイムで前記ユーザに報知する。

【0012】

これらのシステム、方法、及びプログラムによれば、ユーザを撮影した撮像動画に基づいて、ユーザに対して咀嚼運動を指導するための指導情報をリアルタイムで報知することができるので、ユーザの咀嚼運動の改善が容易である。

【0013】

また、前記咀嚼基準情報は、食物を口に入れてから飲み込むまでの咀嚼回数を示す咀嚼基準回数を含み、前記咀嚼情報取得部は、前記撮像動画から前記ユーザの咀嚼回数を前記咀嚼情報としてリアルタイムで計数し、前記指導情報は、前記計数された咀嚼回数と前記咀嚼基準回数とを含むことが好ましい。

【0014】

この構成によれば、ユーザは、咀嚼しながら、咀嚼回数の基準となる咀嚼基準回数と、自分の咀嚼した咀嚼回数とを知ることができるので、適切な回数、食物を咀嚼することが可能となる。

【0015】

また、前記指導情報生成部は、ユーザによる右噛み回数と左噛み回数とが実質的に同一になるように噛方向を前記指導情報として設定することが好ましい。

【0016】

この構成によれば、右噛み回数と左噛み回数とが実質的に同一になるように噛方向が指導情報として設定され、その噛方向がリアルタイムで報知される。ユーザは、報知された噛み方向に従って咀嚼することによって、偏咀嚼が改善される。

【0017】

また、前記咀嚼基準情報は、咀嚼の時間間隔に関して予め設定された間隔基準情報を含み、前記指導情報生成部は、前記間隔基準情報に基づいて、前記指導情報として咀嚼タイミングを生成し、前記報知部は、前記指導情報により示されるタイミングで、前記ユーザに咀嚼すべきタイミングを報知することが好ましい。

【0018】

この構成によれば、ユーザが報知されたタイミングで咀嚼することによって、適切な時間間隔でリズムよく咀嚼することが可能となる。

【0019】

また、前記報知部は、前記タイミングを、音によって報知することが好ましい。

【0020】

この構成によれば、咀嚼のタイミングを耳から知ることができる。

【0021】

また、前記報知部は、前記タイミングを、振動によって報知することが好ましい。

【0022】

この構成によれば、咀嚼のタイミングを振動によって知ることができるので、視覚によらず、かつ音による報知のように第三者に対するノイズを生じる虞を低減しつつ、ユーザが咀嚼のタイミングを知ることができる。

【0023】

また、前記咀嚼基準情報は、咀嚼の時間間隔に関して予め設定された間隔基準情報を含み、前記咀嚼情報取得部は、前記撮像動画から前記ユーザの咀嚼の時間間隔に関する間隔情報を前記咀嚼情報としてリアルタイムで取得し、前記指導情報は、前記間隔基準情報と前記間隔情報とを含むことが好ましい。

【0024】

この構成によれば、ユーザは、咀嚼の時間間隔の基準となる間隔基準情報と、自分の今の咀嚼間隔とを知ることができる。その結果、ユーザが自分の咀嚼間隔を、間隔基準情報に近づけることが可能となる。

【0025】

また、前記咀嚼基準情報は、咀嚼の時間間隔に関して予め設定された間隔基準情報を含み、前記咀嚼情報取得部は、前記撮像動画から前記ユーザの咀嚼の時間間隔に関する間隔情報を前記咀嚼情報としてリアルタイムで取得し、前記指導情報生成部は、さらに、前記間隔情報に基づいて、前記ユーザの咀嚼間隔を前記間隔基準情報で示される時間間隔に近づけるように前記ユーザを指導する情報を前記指導情報として生成することが好ましい。

【0026】

この構成によれば、ユーザの咀嚼間隔を間隔基準情報で示される時間間隔に近づけるようにユーザを指導することができる。

【0027】

また、前記咀嚼情報取得部は、前記撮像動画から前記ユーザの咀嚼運動経路を前記咀嚼情報としてリアルタイムで取得することが好ましい。

【0028】

この構成によれば、ユーザの咀嚼運動経路を把握することが可能となる。

【0029】

また、前記咀嚼基準情報は、予め設定された咀嚼運動経路を示す咀嚼経路基準情報を含み、前記指導情報生成部は、さらに、前記リアルタイムで取得された咀嚼運動経路に基づいて、前記ユーザの咀嚼運動経路を前記咀嚼経路基準情報で示される咀嚼運動経路に近づけるように前記ユーザを指導する情報を前記指導情報として生成することが好ましい。

【0030】

また、前記報知部は、前記指導情報を、人の顔の画像によって報知することが好ましい。

【0031】

この構成によれば、ユーザは視覚的に直感的に指導情報を把握することが容易となる。

【0032】

また、前記咀嚼基準情報は、予め設定された咀嚼運動経路を示す咀嚼経路基準情報を含み、前記報知部は、前記咀嚼経路基準情報が示す咀嚼運動経路と前記リアルタイムで取得された咀嚼運動経路とを、リアルタイムで画像表示することが好ましい。

【0033】

この構成によれば、ユーザは、見本となる咀嚼運動経路と自分の咀嚼運動経路とをリアルタイムで見比べながら、見本となる咀嚼運動経路に近づけるように自分の咀嚼運動をトレーニングすることが可能となる。

【0034】

また、前記咀嚼情報取得部は、咀嚼運動に伴い動く顔の特徴点である動的特徴点と、咀嚼に伴い動かない顔の特徴点である静的特徴点とを前記撮像動画から検出し、前記動的特徴点と前記静的特徴点との距離の時間的変化を示す時間的変化情報を取得し、前記時間的変化情報に基づき前記咀嚼情報を取得することが好ましい。

【0035】

この構成によれば、顔の撮像動画から、咀嚼情報を取得することが容易となる。

【0036】

また、前記動的特徴点は、口の口角、上唇の頂点、下唇の頂点、顎の頂点、及び咬筋付近の頬の輪郭に沿った点のうちいずれかであり、前記静的特徴点は、鼻先、及び鼻元のうちいずれかであることが好ましい。

【0037】

口の口角、上唇の頂点、下唇の頂点、顎の頂点、及び咬筋付近の頬の輪郭に沿った点は、動的特徴点として適しており、鼻先、及び鼻元は、静的特徴点として適している。

【0038】

また、前記咀嚼基準情報の入力を受け付けて前記基準情報記憶部に記憶させる基準情報受付部をさらに備えることが好ましい。

【0039】

この構成によれば、咀嚼基準情報を適宜設定することが容易となる。

【発明の効果】

【0040】

このような構成の咀嚼指導システム、咀嚼指導プログラム、及び咀嚼指導方法は、咀嚼運動の改善が容易となる。

【図面の簡単な説明】

【0041】

【図1】本発明の一実施形態に係る咀嚼指導方法を用いる咀嚼指導システムの構成の一例を示すブロック図である。

【図2】時間的変化情報の一例を簡略化して模式的に示したグラフである。

【図3】右噛みの咀嚼運動経路の一例を簡略化して模式的に示した説明図である。

【図4】左噛みの咀嚼運動経路の一例を簡略化して模式的に示した説明図である。

【図5】図１に示す咀嚼指導システムの動作の一例を示すフローチャートである。

【図6】図１に示す咀嚼指導システムの動作の一例を示すフローチャートである。

【図7】噛方向Ｄが右のときの報知画面の一例を示す画面図である。

【図8】噛方向Ｄが左のときの報知画面の一例を示す画面図である。

【図9】報知部によって表示された咀嚼運動経路ＰＷｕと基準咀嚼経路ＰＷｒとの一例を示す表示画面である。

【発明を実施するための形態】

【0042】

以下、本発明に係る実施形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、その説明を省略する。図１は、本発明の一実施形態に係る咀嚼指導方法を用いる咀嚼指導システムの構成の一例を示すブロック図である。

【0043】

図１に示す咀嚼指導システム１は、制御部２、基準情報記憶部３、カメラ４、タッチパネルディスプレイ５、スピーカ６、及び振動発生装置７を備える。咀嚼指導システム１は、例えば、いわゆるスマートフォン、タブレット端末、パーソナルコンピュータ等によって、構成することができる。なお、咀嚼指導システム１は、スピーカ６及び振動発生装置７のうち、いずれか一つを備えていればよく、スピーカ６及び振動発生装置７を両方備えていなくてもよい。また、咀嚼指導システム１は、カメラ４、タッチパネルディスプレイ５、スピーカ６、及び振動発生装置７を備えていなくてもよい。

【0044】

また、咀嚼指導システム１は、単一の装置として構成される必要はなく、複数の装置から構成されていてもよい。また、制御部２は、複数の装置から構成されていてもよい。そして、基準情報記憶部３、カメラ４、タッチパネルディスプレイ５、スピーカ６、制御部２（又は制御部２を構成する各部）のうち少なくとも一部が、ネットワークを介して異なった場所に配置されていてもよい。

【0045】

例えばカメラ４、タッチパネルディスプレイ５、及びスピーカ６がユーザの近くに配置され、制御部２は、ネットワークを介してカメラ４、タッチパネルディスプレイ５、及びスピーカ６と接続されていてもよい。あるいは、例えばカメラ４、タッチパネルディスプレイ５、スピーカ６、及び制御部２がユーザの近くに配置され、基準情報記憶部３は、ネットワークを介して制御部２と接続されていてもよい。

【0046】

基準情報記憶部３は、例えばフラッシュメモリ、ＨＤＤ(Hard Disk Drive)、ＳＳＤ(Solid State Drive)等の不揮発性の記憶装置、あるいはＲＡＭ(Random Access Memory)等の揮発性の記憶装置を用いて構成されている。基準情報記憶部３には、ユーザの咀嚼運動を指導するための基準となる咀嚼基準情報Ｉが予め記憶されている。咀嚼基準情報Ｉは、咀嚼基準回数Ｉ１、間隔基準情報Ｉ２、及び咀嚼経路基準情報Ｉ３を含む。

【0047】

咀嚼基準回数Ｉ１は、食物を口に入れてから飲み込むまでの適切な咀嚼回数の基準となる回数である。間隔基準情報Ｉ２は、咀嚼の適切な時間間隔を示す情報である。咀嚼経路基準情報Ｉ３は、適切な咀嚼運動経路を示す情報である。

【0048】

カメラ４は、例えばＣＣＤ(Charge Coupled Device)、ＣＭＯＳ（Complementary Metal Oxide Semiconductor)等のカメラである。カメラ４は、撮像した動画を撮像動画Ｍとして制御部２へ送信する。

【0049】

タッチパネルディスプレイ５は、例えば液晶表示器や有機ＥＬ（Electro Luminescence）等の表示装置と、タッチパネルとが一体化された入出力操作装置である。なお、タッチパネルディスプレイ５の代わりに、表示装置と入出力操作装置とを備えてもよい。入出力操作装置は、マウスやキーボードであってもよい。タッチパネルディスプレイ５は、ユーザの操作を受け付けて制御部２へ送信し、制御部２からの信号に応じた画像を表示する。

【0050】

スピーカ６は、制御部２からの信号に応じた音を出力する。振動発生装置７は、いわゆるバイブレータであってもよく、振動によってユーザに音を感知させる骨伝導スピーカであってもよい。

【0051】

制御部２は、例えば所定の演算処理を実行するＣＰＵ(Central Processing Unit)、データを一時的に記憶するＲＡＭ(Random Access Memory)、例えば咀嚼指導プログラム等を記憶する不揮発性の記憶装置、及びこれらの周辺回路等を備えて構成されている。そして、制御部２は、上述の記憶装置に記憶された咀嚼指導プログラムを実行することによって、基準情報受付部２１、動画取得部２２、咀嚼情報取得部２３、指導情報生成部２４、及び報知部２５として機能する。

【0052】

基準情報受付部２１は、例えばタッチパネルディスプレイ５の操作や図略のネットワークを介して入力された咀嚼基準情報Ｉを受け付けて、咀嚼指導システム１による咀嚼指導の開始前に予め基準情報記憶部３に咀嚼基準情報Ｉを記憶される。

【0053】

なお、基準情報受付部２１を備える例に限らない。咀嚼基準情報Ｉは、例えば工場出荷時等に、予め基準情報記憶部３に記憶されていてもよい。

【0054】

動画取得部２２は、カメラ４によって撮像された撮像動画Ｍをリアルタイムで取得する。ユーザは、食事の際、ユーザの口及び口の周辺部のうち少なくとも一方を含む領域の動画を、カメラ４によって撮像動画Ｍとして撮像させる。これにより、動画取得部２２は、咀嚼運動が行われている期間中に、ユーザの顔の動画を撮像動画Ｍとして取得する。なお、撮像動画Ｍは、必ずしも顔全体の画像を含んでいる必要はなく、特徴点を含む領域、具体的にはユーザの口及び口の周辺部のうち少なくとも一方を含む領域の動画であればよい。

【0055】

咀嚼情報取得部２３は、撮像動画Ｍから、ユーザの咀嚼運動に関する咀嚼情報をリアルタイムで取得する。咀嚼情報には、例えばユーザの咀嚼回数ＣＴ、ユーザの咀嚼の時間間隔に関する間隔情報ＴＷ、及びユーザの咀嚼運動経路ＰＷが含まれる。

【0056】

なお、リアルタイムとは、ユーザの咀嚼に伴う口の動きに対する時間遅れが、おおよそ一回の咀嚼にかかる時間以内であることを意味する。具体的には、リアルタイムは、ユーザの咀嚼に伴う口の動きに対し、報知部２５による報知の時間遅れが例えば１秒以下となるように、動画取得部２２、咀嚼情報取得部２３、指導情報生成部２４、及び報知部２５が処理を行うことを意味する。

【0057】

例えば咀嚼情報取得部２３は、以下のようにして咀嚼回数ＣＴ、及び間隔情報ＴＷを取得することができる。咀嚼情報取得部２３は、撮像動画Ｍから、顔の特徴点を検出する。顔の特徴点には、咀嚼運動に伴い動く特徴点である動的特徴点と、咀嚼に伴い動かない特徴点である静的特徴点とが含まれる。

【0058】

顔の特徴点としては、例えば、鼻先、鼻元、口の口角、上唇の頂点、下唇の頂点、顎の頂点、咬筋付近の頬の輪郭に沿った点などを用いることができる。このような特徴点の検出方法としては、Active shape model（ＡＳＭ）やActive appearance model（ＡＡＭ）、Constrained local model（ＣＬＭ）等、顏特徴点検出技術として公知の種々の方法を利用できる。

【0059】

動的特徴点としては、例えば口の口角、上唇の頂点、下唇の頂点、顎の頂点、及び咬筋付近の頬の輪郭に沿った点のうちいずれかを用いることができる。静的特徴点としては、例えば鼻先、及び鼻元のうちいずれかを用いることができる。

【0060】

さらに、咀嚼情報取得部２３は、撮像動画Ｍから、動的特徴点と静的特徴点との距離Ｌの時間的変化を示す時間的変化情報Ａを取得する。

【0061】

図２は、時間的変化情報Ａの一例を簡略化して模式的に示したグラフである。横軸は時間、縦軸は距離Ｌを示している。図２では、動的特徴点を下唇の頂点、静的特徴点を鼻先とした例を示している。図２に示す時間的変化情報Ａによれば、動的特徴点と静的特徴点の距離Ｌの最小ピークである咀嚼開始点Ｐ１から、時間の経過とともに距離Ｌが増大して最大ピークの最大開口点Ｐ２に至り、距離Ｌが減少して最小ピークの咀嚼終了点Ｐ３に至る咀嚼運動を読み取ることができる。

【0062】

咀嚼情報取得部２３は、撮像動画Ｍから時間的変化情報Ａを取得し、時間的変化情報Ａからユーザの咀嚼回数ＣＴをリアルタイムで計数する。例えば、咀嚼情報取得部２３は、時間的変化情報Ａにおける咀嚼開始点Ｐ１から咀嚼終了点Ｐ３までを一回の咀嚼運動として計数することによって、ユーザの咀嚼回数ＣＴを計数することができる。

【0063】

また、咀嚼情報取得部２３は、撮像動画Ｍから時間的変化情報Ａを取得し、時間的変化情報Ａからユーザの咀嚼の時間間隔に関する間隔情報ＴＷをリアルタイムで取得する。例えば、咀嚼情報取得部２３は、時間的変化情報Ａにおける咀嚼開始点Ｐ１から咀嚼終了点Ｐ３までの時間、すなわち一回の咀嚼時間を、間隔情報ＴＷとして計時することによって、間隔情報ＴＷを取得することができる。この場合、咀嚼終了点Ｐ３は、次の咀嚼の開始点でもあるから、間隔情報ＴＷは、咀嚼と咀嚼の間隔を表す時間でもある。

【0064】

なお、間隔情報ＴＷは、ユーザの咀嚼の時間間隔に関する情報であればよく、必ずしも一回の咀嚼時間、あるいは咀嚼と咀嚼の間隔に限らない。例えば、間隔情報ＴＷは、予め設定された設定時間、例えば一分間の咀嚼回数であってもよい。間隔情報ＴＷは、ユーザの咀嚼の時間間隔に関し、咀嚼が速いか遅いかを表す情報であればよい。

【0065】

また、咀嚼情報取得部２３は、撮像動画Ｍからユーザの咀嚼運動経路ＰＷを咀嚼情報としてリアルタイムで取得する。

【0066】

図３、図４は、咀嚼運動経路ＰＷの一例を簡略化して模式的に示した説明図である。図３、図４に示す咀嚼運動経路ＰＷは、左右方向をＸ軸、上下方向をＹ軸で表した二次元座標のＸＹ平面に咀嚼運動経路ＰＷを示している。－Ｘ方向が右方向、＋Ｘ方向が左方向を表している。図３、図４に示す咀嚼運動経路ＰＷは、人の顔を正面から見たときの咀嚼運動時における動的特徴点の軌跡に相当する。図３は右側の歯で噛む右噛み、図４は左側の歯で噛む左噛みの場合の咀嚼運動経路ＰＷを示している。

【0067】

図３、図４に示すように、右噛みと左噛みとでは、咀嚼運動経路ＰＷの傾き方が異なることが知られている。

【0068】

咀嚼情報取得部２３は、撮像動画Ｍから、静的特徴点に対する、動的特徴点の相対的な座標位置を取得してＸＹ平面にプロットすることによって、図３、図４に示す咀嚼運動経路ＰＷを得ることができる。

【0069】

なお、動的特徴点は、口の口角、上唇の頂点、下唇の頂点、顎の頂点、及び咬筋付近の頬の輪郭に沿った点に限られず、静的特徴点は、鼻先、及び鼻元に限られない。また、また、咀嚼情報取得部２３は、動的特徴点と静的特徴点とに基づいて時間的変化情報Ａを取得する例に限らない。

【0070】

指導情報生成部２４は、咀嚼回数ＣＴ、間隔情報ＴＷ、及び咀嚼運動経路ＰＷ等の咀嚼情報と咀嚼基準情報Ｉとに基づいて、ユーザに対して咀嚼運動を指導するための指導情報をリアルタイムで生成する。

【0071】

次に、咀嚼指導システム１の動作について説明する。図５、図６は、図１に示す咀嚼指導システム１の動作の一例を示すフローチャートである。図５、図６に示すステップＳ１～Ｓ２７は、ユーザの食事中等において、咀嚼を行っている期間中に実行される。

【0072】

まず、咀嚼情報取得部２３は、ユーザの咀嚼回数を示す変数ＣＴをゼロに初期化する（ステップＳ１）。

【0073】

次に、指導情報生成部２４は、基準情報記憶部３から咀嚼基準回数Ｉ１を読みだして、咀嚼回数ＣＴと咀嚼基準回数Ｉ１の１／２とを比較する（ステップＳ２）。咀嚼回数ＣＴが咀嚼基準回数Ｉ１の１／２以下のとき（ステップＳ２でＹＥＳ）、指導情報生成部２４は、ユーザが右で噛むか左で噛むかを指示するための指導情報である噛方向Ｄを右とする（ステップＳ３）。一方、咀嚼回数ＣＴが咀嚼基準回数Ｉ１の１／２を超えるとき（ステップＳ２でＮＯ）、指導情報生成部２４は、噛方向Ｄを左とする（ステップＳ４）。

【0074】

次に、報知部２５は、噛方向Ｄでの咀嚼を指示する噛方向指示画像をタッチパネルディスプレイ５に表示する（ステップＳ５）。

【0075】

図７は、噛方向Ｄが右のとき、すなわちユーザに右噛みを指示するときに報知部２５によって表示される報知画面Ｇ１の一例を示す画面図である。図８は、噛方向Ｄが左のとき、すなわちユーザに左噛みを指示するときに報知部２５によって表示される報知画面Ｇ２の一例を示す画面図である。

【0076】

報知画面Ｇ１では、右噛みしている人の顔の画像に矢印で右噛みを指示する噛方向指示画像Ｇｄ１が表示され、報知画面Ｇ２では、左噛みしている人の顔の画像に矢印で左噛みを指示する噛方向指示画像Ｇｄ１が表示される。これにより、指導情報が人の顔によって報知され、ユーザに対して直感的にわかりやすく噛み方向が指示される。

【0077】

なお、報知部２５は、指導情報を人の顔の画像によって報知する例に限られず、報知画面Ｇ１，Ｇ２は人の顔の画像を含んでいなくてもよい。

【0078】

また、報知画面Ｇ１，Ｇ２には、左右の噛み方向を示す棒状の方向表示バーＧｄが表示されている。報知画面Ｇ１では方向表示バーＧｄに右噛みを指示する噛方向指示画像Ｇｄ２が表示され、報知画面Ｇ２では方向表示バーＧｄに左噛みを指示する噛方向指示画像Ｇｄ２が表示される。これにより、ユーザに対して明示的に噛み方向が指示される。

【0079】

ステップＳ２～Ｓ５によれば、ユーザによる咀嚼基準回数Ｉ１の咀嚼のうち、実質的に半分を右噛み、残りの半分を左噛みするように、ユーザをトレーニングすることができる。これにより、ユーザによる偏咀嚼を解消するように、左右でバランスよく咀嚼を行うよう、ユーザをトレーニングすることが可能となる。

【0080】

ステップＳ２～Ｓ５によれば、咀嚼基準回数Ｉ１が偶数のときは、左噛みと右噛みとが同数となり、咀嚼基準回数Ｉ１が奇数のときは、左噛みと右噛みとの回数の差が一回となるので、左噛みの回数と右噛みの回数とを、実質的に同一にすることができる。左噛みの回数と右噛みの回数とが実質的に同一、とは、左噛みと右噛みとの回数の差が咀嚼基準回数Ｉ１の１０％以内、より好ましくは、左噛みと右噛みとの回数の差が一回以内であることを意味するものとする。

【0081】

なお、指導情報生成部２４は、ユーザの左噛みの回数と右噛みの回数とを、実質的に同一にするように噛方向Ｄを設定することができればよく、咀嚼基準回数Ｉ１の前半と後半とで噛み方向を変える例に限らない。例えば左噛みと右噛みを交互に繰り返すように噛方向Ｄを設定してもよく、数回ずつで噛み方向を変えてもよい。

【0082】

次に、ユーザが食事等により咀嚼を行うときに、カメラ４で自分の顔を撮影する。そうすると、カメラ４から撮像動画Ｍが制御部２へ出力され（ステップＳ６）、動画取得部２２が撮像動画Ｍを取得する（ステップＳ７）。

【0083】

次に、咀嚼情報取得部２３は、撮像動画Ｍから時間的変化情報Ａを取得する（ステップＳ８）。データサイズの大きい撮像動画Ｍから時間的変化情報Ａを取得することによって、撮像動画Ｍよりも単純化された時間的変化情報Ａでユーザの咀嚼の特徴を表すことができる。このように、撮像動画Ｍから時間的変化情報Ａを取得し、時間的変化情報Ａに基づいて咀嚼回数ＣＴ及び間隔情報ＴＷを取得することによって、撮像動画Ｍから咀嚼回数ＣＴ及び間隔情報ＴＷを取得することが容易となる。

【0084】

次に、咀嚼情報取得部２３は、撮像動画Ｍからユーザの咀嚼運動経路ＰＷｕを取得する（ステップＳ９）。

【0085】

次に、咀嚼情報取得部２３は、時間的変化情報Ａから咀嚼回数ＣＴを計数する（ステップＳ１０）。

【0086】

次に、指導情報生成部２４は、基準情報記憶部３から咀嚼基準回数Ｉ１を読みだして、咀嚼回数ＣＴと咀嚼基準回数Ｉ１とを指導情報として報知部２５へ出力する。報知部２５は、咀嚼回数ＣＴと咀嚼基準回数Ｉ１とをタッチパネルディスプレイ５に表示する（ステップＳ１１）。このとき、報知部２５は、報知画面Ｇ１，Ｇ２のうち噛方向Ｄに対応する報知画面に咀嚼回数ＣＴと咀嚼基準回数Ｉ１とを表示することが好ましい。

【0087】

図７、図８に示す報知画面Ｇ１，Ｇ２には、咀嚼回数ＣＴとして３、咀嚼基準回数Ｉ１として２０が表示されている。ユーザは、報知画面Ｇ１，Ｇ２を見ながら食事することで、咀嚼基準回数Ｉ１により、２０回咀嚼すべきところ、現在何回咀嚼したかを咀嚼回数ＣＴの表示により知ることができる。これにより、咀嚼回数ＣＴが咀嚼基準回数Ｉ１になるまで咀嚼することができる。その結果、食べ物をよく噛まないで飲み込んでしまう習慣のあるユーザに対し、適切な回数咀嚼するようにトレーニングすることができる。

【0088】

次に、指導情報生成部２４は、基準情報記憶部３から間隔基準情報Ｉ２を読みだして、間隔基準情報Ｉ２で示される時間間隔で咀嚼タイミングＴを生成する（ステップＳ２１）。報知部２５は、咀嚼タイミングＴと同期してスピーカ６から音を鳴らす（ステップＳ２２）。

【0089】

ユーザは、音が鳴ったタイミングで咀嚼することによって、適切な時間間隔、すなわち適切なリズムで咀嚼を行うことができる。これにより、噛むのが速すぎたり、遅すぎたりするユーザに対し、適切な時間間隔（リズム）で咀嚼するトレーニングを行うことができる。また、食事の途中で、咀嚼が速くなったり遅くなったり、食事が不安定なユーザに対しても、一定の時間間隔（リズム）で咀嚼するトレーニングを行うことができる。

【0090】

なお、咀嚼タイミングＴの報知方法は音に限らず、画像を表示することによって咀嚼タイミングＴを報知してもよい。しかしながら、音で咀嚼タイミングＴを報知する場合、いわゆるメトロノームと同様、耳から咀嚼タイミングＴを知らせることができる。

【0091】

また、報知部２５は、スピーカ６の代わりに、振動発生装置７によって振動を発生させることによって、ユーザに咀嚼タイミングＴを報知してもよい。例えば咀嚼指導システム１がスマートフォンによって構成され、スマートフォンに内蔵された振動発生装置７を振動させるようにすれば、スマートフォンを手にもって咀嚼するユーザに対して、振動で咀嚼タイミングＴを報知することができる。

【0092】

また、振動発生装置７を骨伝導スピーカとすれば、骨伝導した振動がユーザにとって音として感知されるので、骨伝導した振動が音として感知されることによって、ユーザに咀嚼タイミングＴを報知することができる。

【0093】

このように、振動によって咀嚼タイミングＴを報知することによって、視覚によらず、かつ音による報知のように第三者に対するノイズを生じる虞を低減しつつ、ユーザが咀嚼のタイミングを知ることができる。

【0094】

次に、咀嚼情報取得部２３は、時間的変化情報Ａから間隔情報ＴＷを取得する（ステップＳ２３）。報知部２５は、タッチパネルディスプレイ５に間隔情報ＴＷを表示する（ステップＳ２４）。このとき、報知部２５は、報知画面Ｇ１，Ｇ２のうち噛方向Ｄに対応する報知画面に間隔情報ＴＷを表示することが好ましい。

【0095】

報知画面Ｇ１，Ｇ２では、間隔情報ＴＷを、棒状の速度表示バーＧｐによってグラフィカルに表示する例を示している。速度表示バーＧｐは、その中央部が間隔基準情報Ｉ２で示される時間間隔に対応している。速度表示バーＧｐの中央部より左側は間隔情報ＴＷが間隔基準情報Ｉ２よりも長く、ユーザの咀嚼が遅い状態を示している。速度表示バーＧｐの中央部より右側は間隔情報ＴＷが間隔基準情報Ｉ２よりも短く、ユーザの咀嚼が速い状態を示している。報知部２５は、速度表示バーＧｐの間隔情報ＴＷの時間間隔に対応する位置に白丸を表示することによって、ユーザの間隔情報ＴＷを表示する。

【0096】

次に、指導情報生成部２４は、間隔情報ＴＷに基づいて、ユーザの咀嚼間隔を間隔基準情報Ｉ２で示される時間間隔に近づけるようにユーザを指導する指導画像Ｇｔｗを指導情報として生成する（ステップＳ２５）。

【0097】

例えば、報知画面Ｇ１，Ｇ２に示すように、ユーザの間隔情報ＴＷが間隔基準情報Ｉ２の時間間隔よりも短く、ユーザの咀嚼が速い状態を示しているときは、指導情報生成部２４は、ユーザに対して咀嚼速度を遅くするように指示する指導画像Ｇｔｗを指導情報として生成する。

【0098】

報知画面Ｇ１，Ｇ２とは逆に、ユーザの間隔情報ＴＷが間隔基準情報Ｉ２の時間間隔よりも長く、ユーザの咀嚼が遅い状態を示しているときは、指導情報生成部２４は、ユーザに対して咀嚼速度を速くするように指示する指導画像Ｇｔｗを指導情報として生成する。

【0099】

次に、報知部２５は、タッチパネルディスプレイ５に指導画像Ｇｔｗを指導情報として表示する（ステップＳ２６）。このとき、報知部２５は、報知画面Ｇ１，Ｇ２のうち噛方向Ｄに対応する報知画面に指導画像Ｇｔｗを表示することが好ましい。これにより、ユーザは、指導画像Ｇｔｗに従って咀嚼速度を調節することによって、適切な時間間隔で咀嚼を行うことが可能となる。

【0100】

次に、報知部２５は、咀嚼情報取得部２３によって取得された咀嚼運動経路ＰＷｕと咀嚼経路基準情報Ｉ３が示す基準咀嚼経路ＰＷｒとをリアルタイムでタッチパネルディスプレイ５に表示し（ステップＳ２７）、再びステップＳ２以降の処理を繰り返す。

【0101】

図９は、報知部２５によって表示された咀嚼運動経路ＰＷｕと基準咀嚼経路ＰＷｒとの一例を示す表示画面である。図９に示す表示画面Ｇ３では、基準咀嚼経路ＰＷｒを実線で、咀嚼運動経路ＰＷｕを破線で示し、咀嚼運動経路ＰＷｕと基準咀嚼経路ＰＷｒとを重ね合わせて表示している。これにより、ユーザは、リアルタイムで表示される自分の咀嚼運動経路ＰＷｕが、基準咀嚼経路ＰＷｒと重なるように口を動かすことによって、正しい咀嚼の仕方をトレーニングすることができる。

【0102】

このように、咀嚼運動経路ＰＷｕと基準咀嚼経路ＰＷｒとを表示することによって、ユーザの咀嚼運動経路ＰＷｕを、基準咀嚼経路ＰＷｒに近づけるようにユーザを指導することができるから、咀嚼運動経路ＰＷｕと基準咀嚼経路ＰＷｒとは、指導情報の一例に相当する。

【0103】

以上、ステップＳ１～Ｓ２７によれば、ユーザの咀嚼運動の改善が容易である。

【0104】

なお、咀嚼基準情報Ｉは咀嚼経路基準情報Ｉ３を含んでいなくてもよく、ステップＳ２７を実行しなくてもよく、ステップＳ９を実行しなくてもよい。また、咀嚼基準情報Ｉは間隔基準情報Ｉ２を含んでいなくてもよく、ステップＳ２５、Ｓ２６を実行しなくてもよく、ステップＳ２３，Ｓ２４を実行しなくてもよい。また、ステップＳ２１，Ｓ２２を実行しなくてもよい。また、咀嚼基準情報Ｉは咀嚼基準回数Ｉ１を含んでいなくてもよく、ステップＳ１０，Ｓ１１を実行しなくてもよい。また、ステップＳ２～Ｓ５を実行しなくてもよい。

【符号の説明】

【0105】

１ 咀嚼指導システム
２ 制御部
３ 基準情報記憶部
４ カメラ
５ タッチパネルディスプレイ
６ スピーカ
７ 振動発生装置
２１ 基準情報受付部
２２ 動画取得部
２３ 咀嚼情報取得部
２４ 指導情報生成部
２５ 報知部
Ａ 時間的変化情報
ＣＴ 咀嚼回数（咀嚼情報）
Ｄ 噛方向（指導情報）
Ｇ１，Ｇ２ 報知画面
Ｇ３ 表示画面
Ｇｄ 方向表示バー
Ｇｄ１，Ｇｄ２ 噛方向指示画像
Ｇｐ 速度表示バー
Ｇｔｗ 指導画像
Ｉ 咀嚼基準情報
Ｉ１ 咀嚼基準回数
Ｉ２ 間隔基準情報
Ｉ３ 咀嚼経路基準情報
Ｌ 距離
Ｍ 撮像動画
Ｐ１ 咀嚼開始点
Ｐ２ 最大開口点
Ｐ３ 咀嚼終了点
ＰＷ 咀嚼運動経路（咀嚼情報）
ＰＷｒ 基準咀嚼経路（指導情報）
ＰＷｕ 咀嚼運動経路（咀嚼情報、指導情報）
Ｔ 咀嚼タイミング（指導情報）
ＴＷ 間隔情報（咀嚼情報）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】