IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ サンスター株式会社の特許一覧

特開2023-94218情報処理装置、咀嚼トレーニングシステム、咀嚼評価方法、咀嚼トレーニングプログラム、および、記録媒体
<>
  • 特開-情報処理装置、咀嚼トレーニングシステム、咀嚼評価方法、咀嚼トレーニングプログラム、および、記録媒体 図1
  • 特開-情報処理装置、咀嚼トレーニングシステム、咀嚼評価方法、咀嚼トレーニングプログラム、および、記録媒体 図2
  • 特開-情報処理装置、咀嚼トレーニングシステム、咀嚼評価方法、咀嚼トレーニングプログラム、および、記録媒体 図3
  • 特開-情報処理装置、咀嚼トレーニングシステム、咀嚼評価方法、咀嚼トレーニングプログラム、および、記録媒体 図4
  • 特開-情報処理装置、咀嚼トレーニングシステム、咀嚼評価方法、咀嚼トレーニングプログラム、および、記録媒体 図5
  • 特開-情報処理装置、咀嚼トレーニングシステム、咀嚼評価方法、咀嚼トレーニングプログラム、および、記録媒体 図6
  • 特開-情報処理装置、咀嚼トレーニングシステム、咀嚼評価方法、咀嚼トレーニングプログラム、および、記録媒体 図7
  • 特開-情報処理装置、咀嚼トレーニングシステム、咀嚼評価方法、咀嚼トレーニングプログラム、および、記録媒体 図8
  • 特開-情報処理装置、咀嚼トレーニングシステム、咀嚼評価方法、咀嚼トレーニングプログラム、および、記録媒体 図9
  • 特開-情報処理装置、咀嚼トレーニングシステム、咀嚼評価方法、咀嚼トレーニングプログラム、および、記録媒体 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023094218
(43)【公開日】2023-07-05
(54)【発明の名称】情報処理装置、咀嚼トレーニングシステム、咀嚼評価方法、咀嚼トレーニングプログラム、および、記録媒体
(51)【国際特許分類】
   A61B 5/11 20060101AFI20230628BHJP
【FI】
A61B5/11
【審査請求】未請求
【請求項の数】16
【出願形態】OL
(21)【出願番号】P 2021209569
(22)【出願日】2021-12-23
(71)【出願人】
【識別番号】000106324
【氏名又は名称】サンスター株式会社
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 HARAKENZO WORLD PATENT & TRADEMARK
(72)【発明者】
【氏名】林 眞由
(72)【発明者】
【氏名】金田 健
【テーマコード(参考)】
4C038
【Fターム(参考)】
4C038VA04
4C038VB06
4C038VB08
4C038VB34
4C038VC05
(57)【要約】
【課題】咀嚼のトレーニング効果を高めることができる技術を提供する。
【解決手段】情報処理装置(1)は、対象者の咀嚼の様子を時系列で撮影した画像に基づき、前記対象者の咀嚼時における口の縦方向および横方向の動きの大きさについて評価する評価部(102)と、前記評価の結果に応じたフィードバック情報を出力装置(16)に出力させる出力制御部(105)と、を備える。
【選択図】図1
【特許請求の範囲】
【請求項1】
対象者の咀嚼の様子を時系列で撮影した画像に基づき、前記対象者の咀嚼時における口の縦方向および横方向の動きの大きさについて評価する評価部と、
前記評価の結果に応じたフィードバック情報を出力装置に出力させる出力制御部と、を備える情報処理装置。
【請求項2】
前記評価部は、前記対象者の咀嚼中に前記評価を行い、
前記出力制御部は、前記評価の結果が得られる毎に当該結果に基づいて生成されたフィードバック情報を前記出力装置に出力させる、請求項1に記載の情報処理装置。
【請求項3】
前記対象者および当該対象者が咀嚼する咀嚼対象物の少なくとも何れかに応じた咀嚼のタイミングを前記対象者に報知する報知部を備える、請求項2に記載の情報処理装置。
【請求項4】
前記フィードバック情報は、口の縦方向および横方向の動きの大きさを表したグラフまたは図形である、請求項1から3の何れか1項に記載の情報処理装置。
【請求項5】
前記評価部は、前記対象者の咀嚼時における口の縦方向および横方向の動きの大きさを、比較対象の咀嚼における口の縦方向および横方向の動きの大きさとの差異に基づいて評価し、
前記フィードバック情報は、前記差異を小さくするための方策を示す、請求項1から4のいずれか1項に記載の情報処理装置。
【請求項6】
前記評価部は、前記画像から検出された、前記対象者の顔における咀嚼により位置が変化することがない所定の特徴点間の距離に基づき、前記対象者の咀嚼時における口の縦方向および横方向の動きの大きさを評価する、請求項1から5のいずれか1項に記載の情報処理装置。
【請求項7】
前記出力制御部は、前記フィードバック情報と共に、理想的な咀嚼における口の動きを示す画像を前記出力装置に出力させる、請求項1から6のいずれか1項に記載の情報処理装置。
【請求項8】
前記理想的な咀嚼における口の動きを示す画像は、前記対象者および当該対象者が咀嚼する咀嚼対象物の少なくとも何れかに応じた画像である、請求項7に記載の情報処理装置。
【請求項9】
前記出力制御部は、前記フィードバック情報と共に、前記対象者の咀嚼の様子を時系列で撮影した画像を前記出力装置に出力させる、請求項1から8のいずれか1項に記載の情報処理装置。
【請求項10】
前記フィードバック情報は、前記対象者の咀嚼時に計測された当該対象者の咀嚼筋の活動を示す信号に基づいて生成された、前記対象者の咀嚼筋にかかる負荷の大きさに関する情報を含む、請求項1から9のいずれか1項に記載の情報処理装置。
【請求項11】
前記フィードバック情報は、前記評価の結果に応じた、咀嚼対象物、咀嚼トレーニング用の機器、診療機関、および医師の少なくとも何れかを示す情報を含む、請求項1から10のいずれか1項に記載の情報処理装置。
【請求項12】
前記評価部は、咀嚼時における口の縦方向および横方向の動きの大きさについての評価結果を目的変数とし、咀嚼の様子を時系列で撮影した画像または該画像から抽出された特徴量を説明変数として、当該目的変数と説明変数との関係を学習した評価モデルを用いて前記対象者の咀嚼時における口の縦方向および横方向の動きの大きさについて評価する、請求項1から11のいずれか1項に記載の情報処理装置。
【請求項13】
対象者の咀嚼の様子を時系列で撮影する撮影装置と、
前記撮影装置が撮影する時系列の画像に基づき、前記対象者の咀嚼時における口の縦方向および横方向の動きの大きさについて評価する情報処理装置と、
前記評価の結果に応じたフィードバック情報を出力する出力装置と、を含む咀嚼トレーニングシステム。
【請求項14】
1または複数の情報処理装置が実行する咀嚼評価方法であって、
対象者の咀嚼の様子を時系列で撮影した画像に基づき、前記対象者の咀嚼時における口の縦方向および横方向の動きの大きさについて評価する評価ステップと、
前記評価の結果に応じたフィードバック情報を出力装置に出力させる出力制御ステップと、を含む咀嚼評価方法。
【請求項15】
請求項1に記載の情報処理装置としてコンピュータを機能させるための咀嚼トレーニングプログラムであって、前記評価部および前記出力制御部としてコンピュータを機能させるための咀嚼トレーニングプログラム。
【請求項16】
請求項15に記載の咀嚼トレーニングプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は咀嚼のトレーニングに利用可能な情報処理装置等に関する。
【背景技術】
【0002】
従来から、人がものを食べるという行為を解析して有用な知見を得る試みがなされている。例えば、下記の特許文献1には、被験者が試料を咀嚼する際の筋電位を測定し、測定した筋電位を解析することにより、試料の食感を定量的に推定する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2016-52516号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
咀嚼力は、加齢や、咀嚼に関する部位の機能不全等の様々な要因に伴って衰える場合がある。また、適切な咀嚼の仕方を教えられる機会がないこと等から、正しい咀嚼ができない者も多い。このような観点から、正しい仕方で咀嚼できるようになり、また、咀嚼力を鍛えることができるような咀嚼トレーニングが望まれる。そして、咀嚼トレーニングを行う際には、その効果ができるだけ高まるような技術があれば望ましい。
【0005】
しかしながら、咀嚼トレーニングの効果を高めるような技術は従来存在しなかった。例えば、特許文献1の技術によれば、試料の食感を定量することができるため、咀嚼トレーニングに用いる食品を選ぶ際に当該技術を利用できるものの、当該技術では咀嚼トレーニングの効果を高めること、または咀嚼トレーニング効果を評価してユーザに認識させることはできない。
【0006】
本発明の一態様は、上述の問題に鑑みてなされたものであり、その目的の一例は、単に咀嚼を行うだけの咀嚼トレーニングと比べて、そのトレーニング効果を高めること、または当該トレーニング効果を評価してユーザに認識させることができる技術を提供することである。
【課題を解決するための手段】
【0007】
上記の課題を解決するために、本発明の一態様に係る情報処理装置は、対象者の咀嚼の様子を時系列で撮影した画像に基づき、前記対象者の咀嚼時における口の縦方向および横方向の動きの大きさについて評価する評価部と、前記評価の結果に応じたフィードバック情報を出力装置に出力させる出力制御部と、を備える。
【0008】
上記の課題を解決するために、本発明の一態様に係る咀嚼トレーニングシステムは、対象者の咀嚼の様子を時系列で撮影する撮影装置と、前記撮影装置が撮影する時系列の画像に基づき、前記対象者の咀嚼時における口の縦方向および横方向の動きの大きさについて評価する情報処理装置と、前記評価の結果に応じたフィードバック情報を出力する出力装置と、を含む。
【0009】
上記の課題を解決するために、本発明の一態様に係る咀嚼評価方法は、1または複数の情報処理装置が実行する咀嚼評価方法であって、対象者の咀嚼の様子を時系列で撮影した画像に基づき、前記対象者の咀嚼時における口の縦方向および横方向の動きの大きさについて評価する評価ステップと、前記評価の結果に応じたフィードバック情報を出力装置に出力させる出力制御ステップと、を含む。
【0010】
本発明の各態様に係る情報処理装置およびシステムは、コンピュータによって実現してもよく、この場合には、コンピュータを情報処理装置またはシステムが備える各部(ソフトウェア要素)として動作させることにより情報処理装置またはシステムをコンピュータにて実現させるプログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【発明の効果】
【0011】
本発明の一態様によれば、咀嚼のトレーニング効果を高めることができる。
【図面の簡単な説明】
【0012】
図1】本発明の実施形態1に係る情報処理装置の要部構成の一例を示すブロック図である。
図2】上記情報処理装置の概要を示す図である。
図3】上記情報処理装置の評価部が実行する処理の一例を説明する図である。
図4】フィードバック情報の提示例を示す図である。
図5】フィードバック情報の他の提示例を示す図である。
図6】上記情報処理装置が実行する処理の流れを示すフローチャートである。
図7】本発明の実施形態2に係る咀嚼トレーニングシステムの構成例を示す図である。
図8】上記咀嚼トレーニングシステムに含まれる各装置の要部構成の一例を示すブロック図である。
図9】フィードバック情報の提示例を示す図である。
図10】フィードバック情報の他の提示例を示す図である。
【発明を実施するための形態】
【0013】
〔実施形態1〕
(概要)
本発明の一実施形態にかかる情報処理装置1の概要を図2に基づいて説明する。図2は、情報処理装置1の概要を示す図である。情報処理装置1は、対象者の咀嚼トレーニングの効果を高めることが可能な装置である。図2には情報処理装置1がスマートフォンである例を示しているが、任意の情報処理装置すなわちコンピュータを情報処理装置1として機能させることが可能である。
【0014】
ここで、咀嚼トレーニングとは、咀嚼能力を維持すること、咀嚼能力を向上すること、および、咀嚼能力の低下の速度または程度を緩和すること、の少なくともいずれかを支援するための行動を指す。咀嚼能力とは、特定の食品(咀嚼を評価するための食品は年齢や体の状態によって様々)に対して、捕食・かみ砕き・混和・嚥下を行う能力を指す。これらの4つの動作のいずれかの能力が低下すると、食品の摂取に支障をきたす。そのため、咀嚼能力は、人間が食品を摂取する上で重要な能力であり、咀嚼トレーニングの効果を高めることまたはトレーニング効果を評価して認識することの技術的意義は大きい。
【0015】
咀嚼トレーニングを行う対象者は、任意の咀嚼対象物を口に含み、これを咀嚼する。咀嚼対象物は、咀嚼トレーニング用の食品(例えば、グミ、ゼリー、ガム等)であってもよいし、一般的な食品であってもよい。そして、対象者は、自身の咀嚼の様子を情報処理装置1で撮影する。無論、他の者に撮影してもらってもよい。
【0016】
情報処理装置1は、撮影により得られた時系列の画像に基づいて対象者の咀嚼時における口の縦方向および横方向の動きの大きさについて評価し、その評価の結果に応じたフィードバック情報を出力する。これにより、咀嚼時に口を縦方向のみではなく横方向にも動かすことを対象者に意識させ、正しい口の動かし方を習得させることが可能になる。このように、情報処理装置1によれば、単に咀嚼を行うだけの咀嚼トレーニングと比べて、より効果の高い咀嚼トレーニングを行わせることが可能になる。
【0017】
上述の評価を行うために、情報処理装置1は、撮影により得られた時系列の画像に基づいて対象者の咀嚼時における口の動きの大きさを検出する。情報処理装置1は、口の縦方向および横方向の大きさを距離としてそれぞれ検出してもよいし、口の動きの大きさを面積として検出してもよい。具体的には、距離は、口またはその周囲の特徴点の縦方向よび横方向の移動距離であってもよい。面積は、口またはその周囲の特徴点が描く軌跡で囲まれる領域の面積であってもよい。
【0018】
また、奥行方向の口の動きを捉えることが可能な3次元カメラ等の撮影装置3によって撮影された画像を用いることも考えられる。この場合、情報処理装置1は、口の縦方向、横方向、および、奥行方向の大きさを距離としてそれぞれ検出してもよいし、口の動きの大きさを体積として検出してもよい。具体的には、体積は、口またはその周囲の特徴点が描く軌跡で囲まれる空間の体積であってもよい。
【0019】
例えば、図2に示す情報処理装置1の表示部16には、フィードバック情報(以下では適宜、FB(Feed Back)情報と記載する)として、咀嚼中の対象者の画像161と、対象者に対するアドバイスのメッセージ162が表示されている。
【0020】
画像161を表示させることにより、対象者は、咀嚼中の自身の口周りの動きを見ながら、口周りの動作をコントロールすることができる。本願の発明者らによる実験では、このような視覚的フィードバックにより、柔らかめの食品でも筋活動の増大がみられ、また、咀嚼時の口周りの動作が大きくなることが見出された。このため、画像161をFB情報に含めることは咀嚼トレーニングの効果を高める上で有効である。
【0021】
また、メッセージ162は、対象者に、顎先で大きく円を描くようにイメージして咀嚼することを促すものである。このようなメッセージは、対象者の咀嚼時における口の動きの大きさについての評価の結果が、口の動きが小さいこと、特に横方向の動きが小さいことを示している場合に表示される。メッセージ162は、対象者の咀嚼態様を理想に近付ける助けとなるため、咀嚼トレーニングの効果を高める上で有効である。
【0022】
なお、図2に示すFB情報は一例に過ぎず、咀嚼トレーニングの効果や効率を高め得るものであればその内容は任意である。また、対象者へのフィードバックは視覚的なものに限られず、音や振動等によってフィードバックを行ってもよく、それらの組み合わせによってフィードバックしてもよい。また、情報処理装置1の外部の表示装置にFB情報を表示させる等、他の装置を介してフィードバックを行ってもよい。
【0023】
(情報処理装置1の構成)
情報処理装置1のより詳細な構成について図1に基づいて説明する。図1は、情報処理装置1の要部構成の一例を示す図である。図示のように、情報処理装置1は、情報処理装置1の各部を統括して制御する制御部10と、情報処理装置1が使用する各種データを記憶する記憶部11を備えている。また、情報処理装置1は、画像を撮影する撮影装置である撮影部12、情報処理装置1が他の装置と通信するための通信部13、音を出力する出力装置である音出力部14を備えている。さらに、情報処理装置1は、情報処理装置1に対する各種データの入力を受け付ける入力部15、および各種情報を表示出力する表示装置である表示部16を備えている。なお、入力部15と表示部16の機能はタッチパネルにより実現することもできる。
【0024】
また、制御部10には、画像取得部101、評価部102、報知部103、手本生成部104、および出力制御部105が含まれている。また、評価部102には、特徴点検出部1021、動き解析部1022、および比較部1023が含まれる。これらの処理部は、例えば情報処理装置1をこれらの処理部として機能させるための咀嚼トレーニングプログラムを情報処理装置1にインストールすることにより実現することもできる。また、記憶部11には、画像111と評価結果112が記憶されている。後述するように、画像111および評価結果112は、FB情報の1つとして、情報処理装置1のユーザ、例えば、対象者自身、当該対象者の監督者、および、当該対象者をケアする医療従事者等(以下では、単に「対象者等」と記載する)に提示されてもよい。
【0025】
画像取得部101は、対象者の咀嚼の様子を時系列で撮影した画像を取得する。本実施形態では、画像取得部101が、撮影部12が撮影した画像を取得する例を説明するが、画像取得部101は、他の装置が撮影した画像を通信部13または入力部15を介して取得してもよい。あるいは、画像取得部101は、情報処理装置1において着脱可能な外付けメモリ等に記憶されている画像を、不図示の端子を介して取得してもよい。また、画像取得部101は、取得した画像を画像111として記憶部11に記憶させる。画像111は、動画像であってもよいし、連続して撮影された時系列の静止画像であってもよい。また、画像取得部101は、動画像を取得し、その動画像から抽出したフレーム画像を画像111として記憶させてもよい。
【0026】
評価部102は、対象者の咀嚼の様子を時系列で撮影した画像111に基づき、対象者の咀嚼時における口の縦方向および横方向の動きの大きさについて評価する。評価部102の機能は、特徴点検出部1021、動き解析部1022、および比較部1023により実現される。
【0027】
特徴点検出部1021は、画像111から対象者の顔における所定の特徴点を検出し、その位置情報を評価結果112として記憶部11に記憶させる。また、動き解析部1022は、時系列の上記位置情報を用いて咀嚼時の口の動きを解析し、その動きを示す指標値を算出する。そして、比較部1023は、動き解析部1022が算出する指標値を、所定の閾値と比較し、その結果を評価結果112に記録する。なお、これらの処理の詳細については、図3に基づいて後述する。
【0028】
報知部103は、咀嚼を行うべきタイミング、言い換えれば咀嚼対象物を噛むタイミングを咀嚼トレーニングの対象者に報知する。具体的には、報知部103は、咀嚼を行うべきタイミングを示す音を音出力部14に出力させる。例えば、報知部103は、咀嚼を行うべきタイミングを示すリズム音を出力させてもよい。また、報知部103は、音楽(メロディ)にあわせて咀嚼を行うべきタイミングを示す音を出力させてもよい。
【0029】
また、報知部103は、咀嚼対象物の属性(例えば、種類、硬さ、量、大きさ等の咀嚼に関連する情報)と対象者の属性(例えば、年齢、性別、現在の歯の数等の咀嚼に関連する情報)の少なくとも何れかに応じて咀嚼を行うべきタイミングを決定してもよい。このように、対象者および当該対象者が咀嚼する咀嚼対象物の少なくとも何れかに応じた咀嚼のタイミングを対象者に報知することにより、対象者および咀嚼対象物の少なくとも何れかを反映させた適切なタイミングでの咀嚼を対象者に促すことができる。なお、咀嚼対象物および対象者の属性は、対象者等が入力するようにしてもよいし、咀嚼対象物および対象者の画像を解析することにより報知部103が特定してもよい。
【0030】
手本生成部104は、対象者の咀嚼の手本となる手本情報を生成する。手本情報は、対象者の咀嚼態様を改善に導くための情報であり、例えば理想的な咀嚼態様を示す画像である。手本情報は、静止画像であってもよいが、動画像であることが好ましい。例えば、手本情報は、口またはその周囲の特徴点の位置を示す点が2次元平面上を移動するアニメーションであってもよい。手本生成部104は、上述したような咀嚼対象物や対象者の属性に応じた手本情報を生成し、出力制御部105を介して表示部16に表示させる。
【0031】
なお、手本生成部104を設ける代わりに、咀嚼対象物や対象者の属性に応じた複数パターンの手本情報を予め用意し、記憶部11等に記憶させておいてもよい。この場合、出力制御部105は、咀嚼対象物や対象者の属性に応じた手本情報を記憶部11等から読み出して表示させる。これにより、手本情報が、FB情報の1つとして対象者等に提示される。
【0032】
出力制御部105は、比較部1023による評価の結果に応じたFB情報を出力装置に出力させる。FB情報は、咀嚼トレーニングの効果や効率を高め得るものであればその内容は任意である。FB情報の詳細は後述する。
【0033】
FB情報を出力させる出力装置は、例えば表示部16であってもよいし、音出力部14であってもよく、それら両方であってもよく、また、情報処理装置1と有線または無線接続された外部の出力装置であってもよい。この他にも、例えば印字出力によりFB情報を出力する出力装置を適用することもできる。以下では、出力制御部105が表示部16に画像を表示させることによりFB(フィードバック)を行う例を説明するが、以下の説明における「表示部16」は任意の「出力装置」に読み替えることができ、「表示」は「出力」に読み替えることができる。
【0034】
以上のように、情報処理装置1は、対象者の咀嚼の様子を時系列で撮影した画像111に基づき、対象者の咀嚼時における口の縦方向および横方向の動きの大きさについて評価する評価部102と、その評価の結果に応じたFB情報を表示部16に表示させる出力制御部105と、を備える。よって、単に咀嚼を行うだけの咀嚼トレーニングと比べて、より効果の高い咀嚼トレーニングを行わせることが可能になる。
【0035】
(特徴点の検出)
特徴点検出部1021による特徴点の検出方法について図3に基づいて説明する。図3は、検出する特徴点の例と、特徴点の検出結果に基づいて口の動きを評価する例とを示す図である。
【0036】
図3の顔の模式図31は、検出する特徴点の例を示している。特徴点検出部1021が検出する特徴点は、咀嚼時の口の動きの解析に用いられるものであるから、咀嚼時にその咀嚼態様が反映された動きをする部位とすればよい。例えば、特徴点検出部1021は、模式図31における点314(上唇の頂点)、点315(下唇の頂点)、点316(顎の中心位置)または不図示の顎の先端等のような、顔の中心線L上の口の周囲の部位を特徴点として検出してもよい。中心線L上の部位を特徴点として検出することにより、咀嚼時における口の横方向の動きの大きさを特定しやすい。
【0037】
また、特徴点検出部1021は、模式図31における点317および点318(口角)を特徴点として検出してもよい。この場合、動き解析部1022は、点317(右側の口角)と点318(左側の口角)の中間点の動きを口の動きとみなして口の動きを解析すればよい。この他にも、例えば特徴点検出部1021は、咬筋付近の頬の領域を特徴点として検出してもよく、この場合、動き解析部1022は、当該領域の面積の変化から口の動きを解析すればよい。
【0038】
また、特徴点検出部1021は、咀嚼に起因した動きのない部位を検出してもよい。例えば、特徴点検出部1021は、点313(鼻頭)を検出してもよい。この場合、動き解析部1022は、点313(鼻頭)の位置を基準として、画像111に写る特徴点の位置を表すことができる。これにより、時系列の画像111間で対象者が写る位置がずれた場合でも、各特徴点の時系列の動きを正確に特定することができる。
【0039】
さらに、特徴点検出部1021は、口の動きの大きさを評価する際の基準となる画像111上の距離を求めるために、咀嚼に起因した動きのない複数の部位を検出してもよい。例えば、特徴点検出部1021は、点311および点312(目頭)を検出してもよい。これにより、比較部1023は、点311(右側の目頭)と点312(左側の目頭)の間の距離を基準として、口の動きの大きさを評価することができる。特徴点検出部1021は、点311、点312、点313、点317および点318等を、顔の中心線Lを求めるために利用してもよい。
【0040】
このように、評価部102は、画像111から検出された、対象者の顔における咀嚼により位置が変化することがない所定の特徴点間の距離に基づいて対象者の咀嚼時における口の縦方向および横方向の動きの大きさを評価してもよい。これにより、画像111に対象者が大きく写る場合でも小さく写る場合でも、口の動きの大きさを的確に評価することができる。
【0041】
なお、口の動きの大きさを評価するための基準となる距離は対象者等に入力させてもよい。また、被写体までの距離が分かる場合(例えば距離情報を出力する3次元カメラで撮影した場合等)にはその距離に応じて口の動きの大きさを評価できるため基準の距離を算出するための部位検出は不要である。
【0042】
上述のような特徴点の検出方法は特に限定されず、例えば、画像解析の手法を適用してもよいし、機械学習の手法を適用してもよく、それらを組み合わせて適用してもよい。また、複数の特徴点を検出する場合、検出対象の特徴点毎に特徴点検出部1021を設けてもよい。また、対象者の顔の検出対象部位に検出用のマーカや2次元コードや3次元コードを貼り付けて、画像中からそれらを検出してもよい。
【0043】
(動きの解析)
動き解析部1022は、上述のようにして検出された特徴点の時系列の位置変化から、咀嚼時の口の動きを解析し、その動きを示す指標値を算出する。これについて図3に示すグラフ32に基づいて説明する。
【0044】
グラフ32は、画像111上における特徴点の時系列の位置変化を示すグラフである。グラフ32は、時系列の複数の画像111のそれぞれから検出した当該画像111に写る特徴点の位置情報から生成することができる。
【0045】
例えば、下唇の頂点(模式図31における点315)や顎(模式図31における点316)の位置は咀嚼時にグラフ32に示されるような変化をする。グラフ32において、初期位置321が咀嚼開始時(口を開け始める直前)の特徴点の位置を示している。グラフ32に示されるように、咀嚼開始後に特徴点は左下方向に移動し、その後右上方向に移動し、そして左方向に移動している。なお、ここで説明された左右とは、対象者を撮影(観察)する側から見た左右であり、対象者から見れば左右は逆であることを付言しておく。
【0046】
このように、グラフ32には、咀嚼開始時の初期位置321から特徴点が移動し、再び初期位置321の付近に戻ってくるという特徴がある。よって、動き解析部1022は、この特徴を利用してグラフ32(正確には時系列の複数の画像111のそれぞれから検出した特徴点の位置情報)から1回の咀嚼動作を特定することができる。また、これにより、咀嚼対象物を噛み始めてから嚥下するまでの咀嚼回数を示す指標値を算出することもできる。
【0047】
また、グラフ32から、1回の咀嚼動作において特徴点が最も左側に移動したときの位置と、最も右側に移動したときの位置を特定することができる。よって、動き解析部1022は、時系列の複数の画像111のそれぞれから検出した特徴点の位置情報から、特徴点の横方向の動きの大きさがMoxであることを特定することもできる。同様に、動き解析部1022は、時系列の複数の画像111のそれぞれから検出した特徴点の位置情報から、特徴点が最も上側にあるときの位置(例えば、咀嚼開始時の初期位置321)と特徴点が最も下側に移動したときの位置を特定し、特徴点の縦方向の動きの大きさがMoyであることを特定することもできる。
【0048】
具体的には、動き解析部1022は、時系列の複数の画像111のそれぞれから検出した特徴点の位置情報から、1回の咀嚼動作に包含される位置情報を抽出する。なお、1回の咀嚼動作の検出は、口角の動きや唇の厚み、咬筋付近の頬の面積の変位等に基づいて行うことも可能である。そして、動き解析部1022は、1回の咀嚼動作における口の大きさを示す指標値として、それらの位置情報のうち最も左側の位置を示すものと最も右側の位置を示すものまでの距離Moxを算出すると共に、それらの位置情報のうち最も上側の位置を示すものと最も下側の位置を示すものまでの距離Moyを算出する。
【0049】
この際、動き解析部1022は、画像111から検出された対象者の顔における、咀嚼により位置が変化することがない所定の特徴点間の距離に基づき、対象者の口の縦方向および横方向の動きの大きさを示す指標値を算出してもよい。例えば、動き解析部1022は、模式図31における点311(右側の目頭)と点312(左側の目頭)の間の距離Exを算出し、口の横方向の動きの大きさを示す指標値としてMox/Exの値を算出し、口の縦方向の動きの大きさを示す指標値としてMoy/Exの値を算出してもよい。これにより、MoxおよびMoyの値を無次元化して、画像111に写る対象者の大きさの違いをキャンセルすることができる。
【0050】
なお、咀嚼時の口の動きを示す指標値は上述の例に限られない。例えば、グラフ32で囲まれる部分の面積(以下、Mosと呼ぶ)は、口の動きの大きさを示しているといえるから、当該部分の面積を咀嚼時の口の動きの大きさを示す指標値としてもよい。Mosについても咀嚼により位置が変化することがない所定の特徴点間の距離(例えば上述のEx)で割って無次元化してもよい。
【0051】
また、動き解析部1022は、MoxおよびMoyから三平方の定理により求められる斜め方向の距離の長さを、口の縦方向および横方向の動きの大きさを表わす指標値として算出してもよい。図3に示すグラフ32を参照して具体的に説明すれば、動き解析部1022は、横の長さがMox、縦の長さがMoyである四角形(破線で示される)の対角線の長さを口の縦方向および横方向の動きの大きさを表わす指標値として算出してもよい。
【0052】
また、動き解析部1022は、口の動きの大きさを示す指標値以外の指標値も算出してもよい。例えば、動き解析部1022は、単位時間あたりの咀嚼回数、1個の咀嚼対象物を口に含んでから嚥下するまでの咀嚼回数、咀嚼のリズム等を指標値としてもよい。この他にも、動き解析部1022は、例えば、口角の動き等に基づいて左右どちら側で咀嚼しているかを判定し、左右の咀嚼回数やそれらの比を指標値として算出してもよい。また、例えば、動き解析部1022は、特徴点の動きが正常範囲であるか否かを判定し、その判定結果を示す指標値を出力してもよい。
【0053】
なお、動き解析部1022は、指標値を得るにあたって、1回の咀嚼動作におけるMoxおよびMoyそれぞれの値を用いてもよいし、任意の回数の咀嚼動作におけるMoxおよびMoyそれぞれの平均値を用いてもよいし、任意の回数の咀嚼動作におけるMoxおよびMoyそれぞれの合計値を用いてもよい。
【0054】
(比較)
比較部1023は、動き解析部1022が以上のようにして算出した指標値と、所定の閾値とを比較する。この比較結果が、対象者の咀嚼時における口の縦方向および横方向の動きの大きさについての評価結果となる。上記所定の閾値は、比較対象(例えば、対象者または対象者と同じ属性の集団に関して理想とされる咀嚼、もしくは、対象者が過去に実施した咀嚼)における口の縦方向および横方向の動きの大きさに基づいて設定すればよい。
【0055】
例えば、動き解析部1022が口の縦方向および横方向の動きの大きさを示す指標値として上述のMoxとMoyを算出する場合、比較部1023は、動き解析部1022が算出したMoxおよびMoyと、設定されたMoxおよびMoyそれぞれの閾値とを比較することにより、対象者の口の縦方向および横方向の動きの大きさを評価してもよい。閾値として設定されたMoxおよびMoyは、対象者に求められる縦方向および横方向おける可動域を示しているから、以下ではこれらを要求可動域と呼ぶ。例えば、比較部1023の比較結果が、動き解析部1022が算出したMoxが横方向の要求可動域未満であることを示している場合、その咀嚼は横方向の口の動きが不十分であったといえる。同様に、比較部1023の比較結果が、動き解析部1022が算出したMoyが縦方向の要求可動域未満であることを示している場合、その咀嚼は縦方向の口の動きが不十分であったといえる。
【0056】
上述のように、このような比較に用いるMoxおよびMoyは、対象者の顔における、咀嚼により位置が変化することがない所定の特徴点間の距離に基づき無次元化されたものであってもよい。つまり、比較部1023は、上述のMox/ExおよびMoy/Exを要求可動域と比較し、評価してもよい。この場合、要求可動域についても同様にして無次元化されたものを用いる。
【0057】
また、評価部103は、
Moy/Mox*Ex≦要求可動域・・・式1
または、
Mos/Ex≦要求可動域・・・式2
が満たされる場合に、口の動きが不十分であると評価してもよい。
【0058】
また、比較部1023は、1回の咀嚼動作を複数段階に分けて各段階について評価し、それらの評価結果を総合することにより最終的な評価結果を得てもよい。これについて図3のグラフ33に基づいて説明する。図3のグラフ33は、1回の咀嚼動作をレベル0(咀嚼動作の開始/終了)からレベル10(最大開口)の10段階に分けて各段階について評価する例を示している。なお、グラフ33において示される左右は、対象者から見た左右に対応している。
【0059】
この場合、動き解析部1022は、各段階における口の横方向の動きの大きさを示す指標値を算出する。そして、比較部1023は、それらの指標値と各段階の横方向の要求可動域とを比較し、それらの比較結果に基づいて、対象者の口の横方向の動きを評価する。例えば、比較部1023は、各指標値と各要求可動域との比や差を算出し、それらの算出結果の合計値や平均値を所定の閾値と比較することにより、対象者の口の横方向の動きを評価してもよい。
【0060】
なお、評価部103は、10段階に分けた評価の代わりに、1回の咀嚼の軌跡が描く図形の相似度によって口の動きを評価してもよい。相似度とは図形の形状が似ている度合いを示す値であり、相似度の算出方法は特に限定されない。
【0061】
また、評価部103は、横方向の動きに加えて、縦方向の動きも加味して、口の動きを評価してもよい。また、指標値は、Moyの最大値で正規化してもよいし、Ex等で無次元化してもよい。
【0062】
また、動き解析部1022が口の動きの大きさを示す指標値以外の指標値も算出する場合、比較部1023はそれらの指標値についても比較を行ってもよい。例えば、比較部1023は、単位時間あたりの咀嚼回数、1個の咀嚼対象物を口に含んでから嚥下するまでの咀嚼回数、咀嚼のリズム等の評価値を、理想的な咀嚼におけるそれらの値と比較してもよい。
【0063】
また、比較部1023は、動き解析部1022が算出する各種指標を総合して、対象者の咀嚼を総合的に評価してもよい。例えば、比較部1023は、対象者の評価結果を示す情報として、咀嚼能率を算出してもよい。この場合、動き解析部1022は、咀嚼能率と相関のある各種指標値を算出すると共に、それら指標値と咀嚼能率との関係をモデル化した咀嚼能率の予測モデルを用いて、算出された各種指標値から咀嚼能率を算出すればよい。この場合、比較部1023は、算出された咀嚼能率と、理想的な咀嚼能率とを比較すればよい。また、理想的な咀嚼能率は、対象者の歯の数等の対象者の属性情報に基づいて算出されたものであってもよい。
【0064】
なお、評価の方法は、対象者の咀嚼時における口の縦方向および横方向の動きの大きさについての評価結果が少なくとも得られるものであればよく、上述の例に限られない。例えば、評価部102は、評価の基準となる咀嚼態様(例えば理想的な咀嚼態様)と、対象者の咀嚼態様の類似度を算出するものであってもよい。具体的には、評価部102は、評価の基準となる咀嚼態様を示す動画像と、対象者の咀嚼の様子を撮影した動画像の類似度を算出してもよいし、それらの動画像から抽出した時系列の静止画像の類似度を算出してもよい。また、例えば、評価部102は、それらの画像から抽出された特徴点の位置の時系列変化のパターンの類似度を算出してもよい。
【0065】
また、評価部102は、機械学習により構築された評価モデルを用いて、対象者の咀嚼時における口の縦方向および横方向の動きの大きさについて評価してもよい。この評価モデルは、咀嚼時における口の縦方向および横方向の動きの大きさの評価結果を目的変数とし、咀嚼の様子を時系列で撮影した画像または該画像から抽出された特徴量を説明変数として、当該目的変数と説明変数との関係を学習することにより構築することができる。この構成によれば、高精度な評価結果を生成することができる。
【0066】
上記特徴量としては、例えば特徴点検出部1021が検出した特徴点の時系列の位置情報を利用することもできる。画像111を評価モデルに入力して評価する場合、特徴点検出部1021~比較部1023は不要である。
【0067】
なお、評価部102は、対象者の咀嚼時における口の縦方向および横方向の動きの大きさについて評価すればよく、例えば対象者の咀嚼時における口の縦方向および横方向の動きの大きさを示す指標値を算出することも評価の範疇に含まれる。この場合のFB情報は、算出した指標値を示すものであってもよい。また、この場合、比較部1023は不要である。
【0068】
評価部102は、対象者において実際に観察された咀嚼態様を、事前に用意された手本となる咀嚼態様を示す手本データと比較することにより、対象者の咀嚼動作を評価してもよい。あるいは、手本生成部104は、情報処理装置1を評価に用いてきた過程で蓄積された対象者の評価結果112を利用して、当該対象者が目標とするべき理想の咀嚼態様を示す目標データを生成してもよい。評価部102は、対象者において実際に観察された咀嚼態様を、生成された上記目標データと比較することにより、対象者の咀嚼動作を評価してもよい。
【0069】
手本データおよび目標データは、比較の対象としてどのような情報を採用するのかに応じて、任意のデータ構造で構成され得る。例えば、指標値MoxおよびMoyを比較の対象として採用する場合には、手本データおよび目標データも、指標値MoxおよびMoyを含むように生成される。他の例では、評価部102は、対象者の咀嚼時の下顎の運動経路を表す咀嚼周期(チューイングサイクル)と理想的なチューイングサイクルとを比較して、対象者の咀嚼動作を評価してもよい。この場合、手本データおよび目標データは、理想的なチューイングサイクルを示す情報を含むように生成される。
【0070】
(フィードバック情報について)
出力制御部105は、比較部1023による上述のような評価の結果に応じたFB情報を表示させる。FB情報は、その提示態様に応じたものであればよく、例えば、文字情報であってもよいし、音声情報であってもよいし、画像情報(静止画でも動画でもよい)であってもよい。例えば、FB情報は、アニメーションや効果音等であってもよい。
【0071】
また、FB情報の内容は、評価部102の評価結果に応じたものであればよい。例えば、FB情報は、対象者の咀嚼時における口の縦方向および横方向の動きの大きさを示す指標値を提示するものであってもよい。また、例えば、FB情報は、対象者に注意喚起する情報であってもよいし、対象者の咀嚼態様が良好であることを示す情報であってもよく、対象者の咀嚼態様の良し悪しを示す情報であってもよい。この他にも、FB情報は、例えば咀嚼能率の高くなる咀嚼トレーニングが出来たか否かを示すものであってもよいし、咀嚼能率の高くなる咀嚼態様や、咀嚼態様の改善目標を示すものであってもよい。
【0072】
また、上述のように、評価部102は、対象者の咀嚼時における口の縦方向および横方向の動きの大きさを、比較対象の咀嚼における口の縦方向および横方向の動きの大きさとの差異に基づいて評価してもよい。この場合、FB情報は、その差異を小さくするための方策を示すものとしてもよい。これにより、対象者は自身の咀嚼態様を効率よく改善することが可能になる。
【0073】
具体例を挙げれば、比較部1023が、Mox(あるいはMox/Ex)が要求可動域未満であると判定した場合、出力制御部105は、Moxを要求可動域に近付けるための方策を示すFB情報を表示させてもよい。例えば、出力制御部105は、「顎先で大きく円を描くようにイメージしましょう」とのメッセージをFB情報として表示させてもよい。一般に、顎先で大きく円を描くようにイメージしながら咀嚼すれば口の動きは大きくなるため、このようなFB情報を対象者に提示することにより対象者の咀嚼態様の改善に寄与することができる。
【0074】
(FB情報の提示例1)
図4は、FB情報の提示例を示す図である。図4に示す表示画面4には、画像41、画像42、メッセージ43~45、および対象者の咀嚼の評価結果を示す画像46が表示されている。また、画像42に重畳して顎先の動きを示す矢印が表示されている。この矢印と、メッセージ43~45、および画像46は何れもFB情報である。また、表示画面4のようにFB情報を含んだ表示画面全体がFB情報であるともいえる。出力制御部105は、咀嚼トレーニング中にFB情報を表示させてもよいし、咀嚼トレーニング後にFB情報を表示させてもよい。
【0075】
画像41は、咀嚼時における理想的な口の動きを示す画像である。このように、出力制御部105は、FB情報と共に画像41を表示させてもよい。これにより、対象者に理想的な咀嚼における口の動きを認識させることができるので、そのような動きに近付くようにトレーニングさせることができる。なお、画像41は時系列の静止画像であってもよいが、動画像であることが好ましい。
【0076】
また、理想的な咀嚼における口の動きを示す画像41は、図4に示すような、口およびその周囲の部分の画像(アニメーション)であってもよいし、口の動きをグラフ(例えば図3の32のようなグラフ)や図形で表したものであってもよい。
【0077】
また、画像41は、対象者および当該対象者が咀嚼する咀嚼対象物の少なくとも何れかに応じた画像であることが好ましい。対象者や咀嚼対象物が変われば理想的な咀嚼の態様も異なり得るが、上記の構成によれば、そのような相違を加味して妥当なお手本となる画像を提示することができる。画像41は、対象者や咀嚼対象物の属性に応じて複数パターン用意しておき、出力制御部105は、その中で対象者や咀嚼対象物の属性に適合したものを選択し、表示させればよい。また、手本生成部104が、対象者や咀嚼対象物の属性に適合した手本情報として画像41を生成するようにしてもよい。
【0078】
画像42は、対象者の咀嚼時における口の動きを示す画像である。このように、出力制御部105は、FB情報と共に画像42を表示させてもよい。これにより、対象者に自身の咀嚼態様を認識させることができるため、トレーニング効果の向上が期待できる。特に、表示画面4のように、画像41と共に画像42を表示させることにより、理想的な口の動きと対象者の口の動きとの違いを認識させることができるため、さらに高いトレーニング効果が期待できる。画像42は画像41と同様に動画像であることが好ましい。画像111の元になった動画像を画像42として表示させてもよい。
【0079】
メッセージ43は、対象者の咀嚼時における口の縦方向および横方向の動きの大きさを、比較対象の咀嚼における口の縦方向および横方向の動きの大きさとの差異を小さくするための方策を示すFB情報の例である。
【0080】
メッセージ44は、口に含んだ咀嚼対象物を嚥下するまでの咀嚼回数が閾値未満であったときに表示されるFB情報の例である。例えば、動き解析部1022が、口に含んだ咀嚼対象物を嚥下するまでの咀嚼回数を算出し、比較部1023が、算出された咀嚼回数が閾値未満であるか否かを判定し、閾値未満であると判定されたときに出力制御部105がこのようなメッセージ44を表示させればよい。なお、閾値は咀嚼トレーニングの開始前に表示部16に表示させる等して対象者に認識させておくことが好ましい。
【0081】
メッセージ45は、対象者の咀嚼が左右何れかに偏っている場合に表示されるFB情報の例である。例えば、動き解析部1022が、図3に示すグラフ32を構成するプロットのうち、321より左側に位置するプロットの数と、321より右側に位置するプロットの数を算出し、比較部1023が、算出された数の差または比が閾値以上であるか否かを判定し、閾値以上であると判定されたときに出力制御部105がこのようなメッセージ45を表示させればよい。
【0082】
画像46は、比較部1023の評価結果を動物の種類により表したものである。図4に示す画像46はウサギの画像である。ウサギは口を縦方向に小刻みに動かすことにより摂食することから、対象者の口の動きが小さい咀嚼態様のシンボルとして好適である。例えば、比較部1023が、対象者の口の動きが要求可動域未満であると評価した場合に、出力制御部105がこのような画像46を表示させればよい。これにより、評価結果を印象的にかつ年少者等にも直感的に理解できるように提示することができる。
【0083】
画像46は、静止画像であってもよいが、動画像とすることが好ましく、対象者の咀嚼タイミングにあわせて咀嚼動作を行うアニメーション画像であることがさらに好ましい。なお、どのような動物がどのような評価結果あるいは咀嚼態様を示しているかは、咀嚼トレーニングの開始前に表示部16に表示させる等して対象者に認識させておくことが好ましい。
【0084】
(FB情報の提示例2)
図5は、咀嚼トレーニングの終了後におけるFB情報の提示例を示す図である。図5には、表示画面51と52の計2つの例を示している。このうち表示画面51には、対象者の総合的な評価結果を示す画像511と、対象者に対するメッセージ512が表示されている。一方の表示画面52には、対象者に対するメッセージ521と、理想的な口の動きを示す画像522と、対象者の口の動きを示す画像523が表示されている。
【0085】
画像511はウサギの画像であり、上述のように対象者の口の動きが小さかったことを表している。また、メッセージ512は、口の動きを大きくするための方策を示している。例えば、咀嚼トレーニング中における各咀嚼動作についての評価の結果に占める要求可動域未満であるとの評価の割合が閾値以上であった場合に、出力制御部105は、表示画面51を生成し、表示部16に表示させてもよい。
【0086】
なお、メッセージ512に含まれる「ラクダの咀嚼」について、ラクダは口を縦方向および横方向に大きく動かしながら摂食することから、口の動きが十分に大きい咀嚼態様のシンボルとして好適である。もし、咀嚼トレーニング中における各咀嚼動作についての評価の結果に占める要求可動域以上であるとの評価の割合が閾値以上であれば、ウサギの画像511の代わりにラクダの画像が表示される。なお、ラクダ以外にも例えばアルパカ等の動物を、口の動きが十分に大きい咀嚼態様のシンボルとしてもよい。上述のように、動物と評価結果あるいは咀嚼態様との対応関係は予め対象者に認識させておくことが好ましい。
【0087】
一方の表示画面52に含まれる画像522および523は、口の動き、より正確には口またはその周囲の特徴点の咀嚼動作中の動きをグラフで表したものである。このような画像は、評価の裏付けとなるデータであり、それを対象者に提示することにより、評価結果の妥当性を確認させることができる。
【0088】
なお、口またはその周囲の特徴点の咀嚼動作中の動きを示すグラフは、咀嚼トレーニング中に表示させてもよい。この場合、出力制御部105は、対象者の咀嚼動作の進行にあわせてグラフにプロットが追加されるアニメーションを表示させてもよいし、口またはその周囲の特徴点の位置を示す点が2次元平面上を移動するアニメーションを表示させてもよい。これにより、対象者は、自身の咀嚼動作とグラフとが連動していることを認識することができるので、口の開き方等を細かく調整し、理想的な咀嚼動作に近付けることが可能になる。なお、グラフの代わりに口の開き方を示す図形を表示させてもよい。
【0089】
また、咀嚼トレーニング中に上記のようなアニメーションを表示させる場合、手本生成部104に同様のアニメーションを生成させてそれらを共に表示させてもよい。これにより、対象者は理想の口の動きと実際の口の動きとの共通点や相違点を、アニメーションを通じて容易に認識することができる。
【0090】
このように、FB情報は、口の縦方向および横方向の動きの大きさを表したグラフまたは図形であってもよい。これにより、口の縦方向および横方向の動きの大きさを対象者に容易に認識させることができるため、咀嚼トレーニングの効果の向上が期待できる。口の縦方向および横方向の動きの大きさを表したグラフまたは図形は、図3に示すグラフ32であってもよいし、グラフ33であってもよいし、グラフ32において、横の長さがMox、縦の長さがMoyである四角形(破線で示される)の対角線の長さを示す図形であってもよい。
【0091】
(処理の流れ)
図6に基づいて情報処理装置1が実行する処理の流れを説明する。図6は、情報処理装置1が実行する処理(咀嚼評価方法)の一例を示すフローチャートである。なお、以下では咀嚼トレーニング中にフィードバックを行う例を説明する。以下説明するS12~15の処理が、対象者の咀嚼の様子を時系列で撮影した画像111に基づき、対象者の咀嚼時における口の縦方向および横方向の動きの大きさについて評価する評価ステップである。
【0092】
S11では、画像取得部101が対象者の咀嚼の様子を撮影した画像を取得し、画像111として記憶部11に記憶させる。例えば、咀嚼する対象者の動画を撮影部12によって撮影した場合、画像取得部101はその動画像から抽出したフレーム画像を画像111として取得してもよい。
【0093】
S12では、特徴点検出部1021が、S11で取得された画像111から対象者の口の動きを示す特徴点を検出し、検出した特徴点の位置情報を評価結果112として記憶部11に記憶させる。なお、上述のように、特徴点検出部1021は、対象者の口の動きを示す口またはその周囲の特徴点に加えて、両眼の目頭や鼻等の特徴点についても検出してもよい。
【0094】
S13では、動き解析部1022が、S12の検出結果に基づいて対象者の咀嚼時における口の動きを解析し、咀嚼動作の検出を試みる。そして、S14では、動き解析部1022は咀嚼動作を検出したか否かを判定し、検出していればS15に進み、検出していなければS11に戻る。咀嚼開始後、S11およびS12の処理を繰り返すことにより、図3のグラフ32に示されるような、特徴点の時系列の位置変化が特定できる。このため、動き解析部1022は、その位置変化のパターンから1回の咀嚼動作を特定することができる。そして、動き解析部1022は、1回の咀嚼動作を特定した場合、評価結果112として記憶されているその咀嚼動作に対応する位置情報を1回の咀嚼動作に対応するものとして関連付ける。また、動き解析部1022は、1回の咀嚼動作に対応するものとして関連付けた位置情報から、その咀嚼動作における口の動きの大きさを示す指標値(例えば上述のMoxおよびMoy)を算出する。なお、咀嚼動作の検出が可能な程度に画像111が蓄積され、かつそれらの画像111からの特徴点の検出が終了した段階でS13の処理を開始してもよい。
【0095】
S15では、比較部1023が、対象者の咀嚼時における口の縦方向および横方向の動きの大きさを要求可動域と比較し、その結果を評価結果112に追加する。続くS16では、比較部1023は、S15の評価結果に基づいてFB(フィードバック)の要否を判定する。S16でFBすると判定された場合にはS17に進み、FBしないと判定された場合にはS11に戻る。
【0096】
例えば、動き解析部1022がMoxおよびMoyを算出した場合、S15において、比較部1023は、算出されたMoxおよびMoyと、横方向および縦方向の要求可動域とを比較する。この比較の結果、算出されたMoxおよびMoyの何れもが要求可動域未満である場合にFBを行うと判定してもよいし、MoxおよびMoyの少なくとも一方が要求可動域未満である場合にFBを行うと判定してもよい。別の例では、比較部1023は、MoxおよびMoyの要求可動域が満たされていると評価した場合に、肯定的なFB情報を出力すると判定してもよい。
【0097】
S17(出力制御ステップ)では、出力制御部105が、評価結果112に応じたFB情報(例えば、図4に示す表示画面4等)を表示部16に表示出力させる。例えば、出力制御部105は、MoxおよびMoyの両方あるいは一方が要求可動域未満であると評価された場合に、要求可動域以上に口を動かすことを促すメッセージをFB情報として表示させてもよい。
【0098】
S18では、画像取得部101が処理を終了するか否かを判定する。S18で終了しないと判定された場合にはS11に戻り、終了すると判定された場合には図6の処理は終了する。なお、S18の終了条件は特に限定されず、例えば、入力部15を介して処理を終了する操作が行われたときに処理を終了すると判定してもよい。
【0099】
対象者の咀嚼中の画像を取得することが終了した後、すなわち、咀嚼トレーニングの終了後(S18のYES)、出力制御部105は、不図示のS19を実行してもよい。S19では、出力制御部105は、トレーニング終了後のFB情報(例えば、図5に示す表示画面51および表示画面52)を表示部16に表示させてもよい。
【0100】
以上のように、本実施形態にかかる咀嚼評価方法は、対象者の咀嚼の様子を時系列で撮影した画像111に基づき、対象者の咀嚼時における口の縦方向および横方向の動きの大きさについて評価する評価ステップ(S12~S15)と、当該評価の結果に応じたフィードバック情報を表示部16(出力装置)に出力させる出力制御ステップ(S17)と、を含む。よって、単に咀嚼を行うだけの咀嚼トレーニングと比べて、より効果の高い咀嚼トレーニングを行わせることが可能になる。
【0101】
また、上述のように、評価部102は、対象者の咀嚼中に評価を行ってもよく、この場合、出力制御部105は、評価の結果が得られる毎に当該結果に基づいて生成されたフィードバック情報を表示部16等の出力装置に出力させてもよい。これにより、対象者にリアルタイムまたはほぼリアルタイムのフィードバックを与えることができるため、咀嚼トレーニングの効果を高めることができる。
【0102】
なお、S15の評価は、対象者の過去の評価結果と比較することにより行ってもよい。例えば、S15において、比較部1023は、直近に算出されたMoxおよびMoyと、それより前に算出されたMoxおよびMoyとを比較してもよい。この場合、S17では、出力制御部105は、上記の比較結果に基づき、口の動きが大きくなった、あるいは小さくなった等のフィードバック情報を出力すればよい。また、この際、口の大きさがどの程度変ったかを数値で表示してもよい。
【0103】
〔実施形態2〕
(概要)
本実施形態にかかる咀嚼トレーニングシステム2の概要を図7に基づいて説明する。図7は、咀嚼トレーニングシステム2の概要を示す図である。咀嚼トレーニングシステム2は、対象者に効果の高い咀嚼トレーニングを行わせるためのシステムである。図示のように、咀嚼トレーニングシステム2には、サーバ21(情報処理装置)、端末装置22、表示装置23(出力装置)、撮影装置24、および筋電位測定装置25が含まれている。なお、図7にはサーバ21と端末装置22がネットワークを介して接続されている例を示しているが、サーバ21と端末装置22の接続態様は任意である。
【0104】
サーバ21は、撮影装置24が撮影する時系列の画像に基づき、対象者の咀嚼時における口の縦方向および横方向の動きの大きさについて評価する。評価の方法は実施形態1と概ね同様であるが、本実施形態では筋電位測定装置25の測定結果に基づいて評価を行うことができる点で実施形態1と相違している。
【0105】
咀嚼トレーニングシステム2は、筋電位測定装置25を備えていることにより、対象者の咀嚼時に計測された当該対象者の咀嚼筋の活動を示す信号に基づいて生成された、対象者の咀嚼筋にかかる負荷の大きさに関する情報を含むFB情報を出力することができる。これにより、咀嚼筋にかかる負荷の大きさも考慮したさらに効果的な咀嚼トレーニングが実現できる。
【0106】
端末装置22は、咀嚼トレーニングシステム2に含まれる各機器間におけるデータの受け渡し等を行う。例えば、端末装置22は、撮影装置24が撮影する画像をサーバ21に送信する処理や、サーバ21による評価の結果に応じたFB情報を表示装置23に表示させる処理等を行う。なお、図7では端末装置22がデスクトップ型のパーソナルコンピュータである例を示しているが、端末装置22として任意の情報処理装置を適用することができる。例えば、実施形態1と同様にスマートフォンを端末装置22として用いることも可能である。
【0107】
表示装置23は、対象者の咀嚼に対するFB情報を表示する。実施形態1で説明したように、FB情報は表示以外の態様で出力してもよく、FB情報の出力装置としては表示装置23以外のものを適用することもできる。
【0108】
撮影装置24は、対象者の咀嚼の様子を時系列で撮影する。撮影装置24は、動画像を撮影するものであってもよいし、時系列の静止画像を撮影するものであってもよい。
【0109】
筋電位測定装置25は、対象者の咀嚼時における筋電位を測定するための装置である。図7には対象者の左右の咀嚼筋のそれぞれに筋電位測定装置25を取り付けた例を示しているが、一方のみに取り付けてもよい。
【0110】
なお、筋電位測定装置25の代わりに、対象者の咀嚼時における咀嚼筋の活動を示す信号を生成可能な他の装置を用いてもよい。例えば、筋音図を出力する装置を用いてもよい。また、非接触で咀嚼筋の変位を測定する装置を用いてもよい。例えば、咀嚼筋の動きを測定するための近接センサや撮影装置24が撮影した画像の解析等により咀嚼筋の変位を測定することも可能であり、この場合、筋電位測定装置25を省略してもよい。また、例えば9軸の加速度センサにより咀嚼筋の活動を測定することもできる。ただし、筋電位測定装置25のように咀嚼筋の活動を示す生体信号を測定する装置を用いる方が、咀嚼筋の活動をより正確に評価することができる。
【0111】
以上のように、咀嚼トレーニングシステム2は、対象者の咀嚼の様子を時系列で撮影する撮影装置24と、撮影装置24が撮影する時系列の画像に基づき、対象者の咀嚼時における口の縦方向および横方向の動きの大きさについて評価するサーバ21と、評価の結果に応じたフィードバック情報を出力する表示装置23と、を含む。この咀嚼トレーニングシステム2によれば、単に咀嚼を行うだけの咀嚼トレーニングと比べて、より効果の高い咀嚼トレーニングを行わせることが可能になる。
【0112】
(端末装置22およびサーバ21の要部構成)
端末装置22およびサーバ21の構成について図8に基づいて説明する。図8は、端末装置22およびサーバ21の要部構成の一例を示す図である。図示のように、端末装置22は、画像取得部221、筋活動情報取得部222、および出力制御部223を備えている。また、サーバ21は、特徴点検出部211、動き解析部212、動き比較部213、負荷解析部214、負荷比較部215、および評価結果送信部216を備えている。
【0113】
なお、図8では図示を省略しているが、端末装置22は端末装置22の各部を統括して制御する制御部や、端末装置22が使用する各種データを記憶する記憶部等を備えている。そして、端末装置22が備える各ブロックの機能は上記の制御部により実現されるものであってもよい。サーバ21についても同様である。
【0114】
画像取得部221は、対象者の咀嚼の様子を時系列で撮影した画像を取得する。具体的には、画像取得部221は、撮影装置24が対象者の咀嚼の様子を時系列で撮影した画像を取得する。画像取得部221の機能は実施形態1の情報処理装置1が備える画像取得部101と概ね同様である。
【0115】
筋活動情報取得部222は、対象者の咀嚼時に計測された当該対象者の咀嚼筋の活動を示す情報を取得する。具体的には、筋活動情報取得部222は、筋電位測定装置25が計測する対象者の咀嚼時における筋電位を示す信号を取得する。筋活動情報取得部222は、取得した信号に対し、ノイズ除去や周波数解析等の処理を行うものであってもよい。
【0116】
出力制御部223は、サーバ21による評価の結果に応じたFB情報を表示装置23に出力させる。出力制御部223の機能は情報処理装置1が備える出力制御部105と概ね同様である。
【0117】
特徴点検出部211、動き解析部212、および動き比較部213の機能は、情報処理装置1が備える特徴点検出部1021、動き解析部1022、および比較部1023とそれぞれ同様である。
【0118】
負荷解析部214は、筋活動情報取得部222が取得する、対象者の咀嚼時に計測された当該対象者の咀嚼筋の活動を示す情報を端末装置22から取得し、その情報を用いて対象者の咀嚼筋の活動を示す指標値を算出する。
【0119】
指標値の算出にあたり、負荷解析部214は、まず咀嚼動作を検出してもよい。咀嚼動作を行うごとに筋電位は上昇と下降を繰り返すから、負荷解析部214は、例えば、筋電位が閾値以上となった時点を1回の咀嚼動作の開始タイミングと特定し、その後、筋電位が閾値未満となり、再び筋電位が閾値以上となる直前までを1回の咀嚼動作が行われた期間であると特定してもよい。なお、動き解析部1022は、自ら咀嚼動作を検出する代わりに、負荷解析部214の特定結果を利用してもよい。また逆に、負荷解析部214が、動き解析部1022による咀嚼動作の検出結果を利用してもよい。
【0120】
そして、負荷解析部214は、1回の咀嚼動作における咀嚼筋の筋活動量を、当該咀嚼における負荷の大きさを示す指標値として算出してもよい。
【0121】
負荷比較部215は、負荷解析部214が算出する指標値を所定の閾値と比較する。負荷比較部215の評価結果は、サーバ21による対象者の咀嚼筋の活動の評価の結果である。
【0122】
評価結果送信部216は、サーバ21による対象者の咀嚼の評価結果を端末装置22に通知する。例えば、評価結果送信部216は、負荷比較部215による比較結果と、動き比較部213による比較結果を示す情報を端末装置22に送信してもよい。この場合、出力制御部223が、受信した各情報に基づいてFB情報を含む表示画面を生成し、表示装置23に表示させる。また、評価結果送信部216は、上記の各比較結果に基づいてFB情報あるいはFB情報を含む表示画面を生成して端末装置22に送信してもよい。
【0123】
例えば、負荷比較部215が、要求負荷量以上の咀嚼が出来ていないと判定した場合に、評価結果送信部216は、そのことを対象者に注意喚起するFB情報またはFB情報を含む表示画面を生成してもよい。
【0124】
負荷比較部215は、負荷解析部214によって筋活動情報が解析された結果を参照する。そして、負荷比較部215は、対象者がある食品を咀嚼している期間において得られた筋活動情報から得られた指標値を閾値と比較し、要求負荷量が満たされているか否かを判定する。一例として、負荷比較部215は、対象者について観察された咀嚼回数および筋活動量に基づいて算出された実測負荷量を、理想的な咀嚼回数および筋活動量に基づいて予め定められた要求負荷量と比較してもよい。負荷比較部215は、実測負荷量が要求負荷量未満である場合に、要求負荷量以上の咀嚼が出来ていないと判定する。
【0125】
また、負荷比較部215は、咀嚼回数に基づく実測負荷量と要求負荷量とを比較するとともに、筋活動量に基づく実測負荷量と要求負荷量とを比較してもよい。
【0126】
負荷比較部215は、条件(1)咀嚼回数に基づく実測負荷量≧要求負荷量および条件(2)筋活動量に基づく実測負荷量≧要求負荷量のいずれか一方でも満たされない場合には、要求負荷量以上の咀嚼が出来ていないと判定してもよい。
【0127】
評価結果送信部216は、負荷比較部215によって要求負荷量以上の咀嚼が出来ていないと判定された場合に、例えば、「もう少し噛み応えのある食品の方が効果的です」等のように、注意喚起や改善を促す提案を含むメッセージを生成し、端末装置22に送信してもよい。
【0128】
上述の構成によれば、要求負荷量が「咀嚼筋回りのトレーニングを最大咬合圧の一定%の力で一定回数以上とする」等として設定される場合に、当該要求負荷量が満たされているか否かを適切に判定することが可能となる。
【0129】
負荷比較部215は、対象者の咀嚼によって得られる負荷量の実測値と、その咀嚼から必要とされる要求負荷量を表す閾値との差(負荷の不足量)を算出してもよい。そして、評価結果送信部216は、算出された差が小さくなるように、または、負荷量の実測値が上述の閾値を超えるように、行動変容を促すFB情報を生成してもよい。
【0130】
端末装置22は、対象者の測定中に、画像取得部221が随時取得している映像信号と、筋活動情報取得部222が随時取得している生体信号とを、リアルタイムに可視化データまたは可聴化データによりフィードバックするための情報出力機構を有していてもよい。例えば、情報出力機構としての出力制御部223は、画像取得部221によって取得された映像信号および筋活動情報取得部222によって取得された生体信号を、可視化データとして表示装置23に随時表示させてもよい。また、咀嚼トレーニングシステム2は、スピーカなどの音声出力装置(不図示)を含んでいてもよい。端末装置22の出力制御部223は、映像信号と併せてマイクなどの音声入力装置(不図示)から取得された音声信号を可聴化データとして音声出力装置に随時出力してもよい。
【0131】
また、出力制御部223は、サーバ21の評価結果送信部216が生成したFB情報としての可聴化データを音声出力装置に随時出力してもよい。例えば、FB情報としての可聴化データは、対象者の咀嚼時筋活動量の大小に応じた咀嚼音であってもよい。より具体的には、出力制御部223は、対象者の咀嚼タイミングに合わせて、発揮された筋活動量が小さい場合は、小さい音量の「パリパリ」、「ポリポリ」という咀嚼音を出力してもよいし、発揮された筋活動量が大きい場合は、大きい音量の「バリバリ」、「ボリボリ」という咀嚼音を出力してもよい。
【0132】
(FB情報の提示例)
図9は、FB情報の提示例を示す図である。図9に示す表示画面6には、一例として、手本情報としての咀嚼時における理想的な口の動きを示す画像61、対象者の咀嚼時における口の動きを示す画像62が含まれていてもよい。また、表示画面6には、筋活動情報取得部222によって取得された筋活動情報を示すグラフ65が含まれていてもよい。グラフ65は筋電図と呼ばれるものである。これにより、理想的な口の動きと対象者の口の動きとの違いを認識させて高いトレーニング効果が期待できることに加えて、筋活動量を可視化して対象者に認識させることができ、咀嚼筋を鍛える意識を対象者に持たせることができ、トレーニング効果を一層向上させることが期待できる。
【0133】
表示画面6は、さらに、メッセージ63、メッセージ64およびメッセージ66を含んでいてもよい。メッセージ63は、メッセージ43と同様に、対象者の咀嚼時における口の縦方向および横方向の動きの大きさを、比較対象の咀嚼における口の縦方向および横方向の動きの大きさとの差異を小さくするための方策を示すFB情報の例である。メッセージ64は、メッセージ44と同様に、口に含んだ咀嚼対象物を嚥下するまでの咀嚼回数が閾値未満であったときに表示されるFB情報の例である。メッセージ66は、咀嚼筋の活動量が、トレーニングの効果が期待できる程の要求負荷量に満たない場合に、トレーニング効果を上げるための行動変容を対象者等に促すFB情報の例である。
【0134】
さらに、表示装置23に表示されるフィードバック情報は、例えば、評価の結果に応じた、咀嚼対象物、咀嚼トレーニング用の機器、診療機関、および医師(歯科医師を含む)の少なくとも何れかを示す情報を含んでいてもよい。これにより、対象者の咀嚼の改善に寄与することができる。
【0135】
(FB情報の提示例2)
図10は、FB情報の他の提示例を示す図である。とりわけ、表示画面7は、咀嚼トレーニングの終了後におけるFB情報の提示例を示す。
【0136】
表示画面7は、一例として、総合評価グラフ71と、メッセージ72と、含んでいてもよい。総合評価グラフ71は、対象者の口の動きの大きさを横軸に、対象者が咀嚼時に発揮した筋活動量(噛む力強さ)を縦軸にとったグラフであり、大きく力強く噛むことを理想として、対象者の咀嚼行為の理想から位置付けを直感的に対象者等に認識させるように構成されている。
【0137】
例えば、総合評価グラフ71には、縦軸の噛む力強さのレベルが小さく、横軸の口を動かすレベルが小さいことのシンボルとしてウサギのアイコン711が配置されていてもよい。例えば、総合評価グラフ71には、縦軸の噛む力強さのレベルが小さく、横軸の口を動かすレベルが大きいことのシンボルとしてラクダのアイコン712が配置されていてもよい。例えば、総合評価グラフ71には、縦軸の噛む力強さのレベルが大きく、横軸の口を動かすレベルが小さいことのシンボルとしてワニのアイコン714が配置されていてもよい。例えば、総合評価グラフ71には、縦軸の噛む力強さのレベルが大きく、横軸の口を動かすレベルが大きいことのシンボルとして力持ちのラクダのアイコン715が配置されていてもよい。例えば、総合評価グラフ71には、縦軸の噛む力強さのレベルと、横軸の口を動かすレベルとがともに中くらいであることのシンボルとしてイヌのアイコン713が配置されていてもよい。そして、総合評価グラフ71には、対象者の咀嚼行為の噛む力強さのレベルと口を動かすレベルとに対応した位置に、対象者のアイコン716が配置される。
【0138】
これにより、対象者の現在の口の動きの大きさと理想とのギャップに加えて、対象者が現在発揮する筋活動量と理想とのギャップを、対象者に直感的に認識させることができるため、咀嚼トレーニングの効果の向上が期待できる。
【0139】
〔変形例〕
情報処理装置1の出力制御部105、または、サーバ21の評価結果送信部216は、対象者の最新の評価結果と、過去に評価された過去の評価結果と、年齢・性別等の同属性の集団から得られた統計的な情報とに基づいて、対象者に適した個別のFB情報を生成してもよい。例えば、対象者の咀嚼機能について期待される向上が見込めない場合に、以下のような情報提供が行われてもよい。
【0140】
(1)年齢に応じた口腔機能情報
(2)咀嚼機能の育成・改善のための機器の情報
(3)対象者の居住地域に応じた専門医の情報
さらに、情報処理装置1の出力制御部105、または、サーバ21の評価結果送信部216は、
(4)トレーニングに使用される食品の種類、当該食品に適した咀嚼回数、および、対象者が実際に飲み込める状態と判断できる食品の柔らかさ等を示す情報、および、
(5)現時点で、対象者個人に適した咀嚼トレーニングのための食品を推奨する情報
をFB情報として提供してもよい。
【0141】
情報処理装置1の出力制御部105、または、サーバ21の評価結果送信部216は、(4)および(5)の情報を、咀嚼量、咀嚼幅、開口量、咀嚼速度、咀嚼サイクルの面積、現在歯数から推定される推定された食品の咀嚼能率の値が高くなる(咀嚼能率スコアが高い)方向に補正されるような内容とすることができる。
【0142】
情報処理装置1の出力制御部105、および、端末装置22の出力制御部223は、咀嚼機能トレーニング食品を咀嚼する際に、口周りの動作から入手した口周りの特徴点を数値化する事で得られる時系列データを活用して、口の動きのリズムを可視化する可視化データを、表示部16および表示装置23に、それぞれ表示させてもよい。このような可視化データが対象者等に認識されることにより、咀嚼トレーニング効果を高めることが可能となる。
【0143】
対象者の測定より前に事前に手本として模範者の動画データが撮影されてもよく、そのような動画データから得られた咀嚼数値データまたは、蓄積した咀嚼数値化データを、比較対象となる閾値として採用してもよい。
【0144】
〔効果〕
また、本開示の構成によれば、加齢や機能不全等の様々な要因に伴って衰え得る咀嚼力を鍛えたり、成長過程にある小児の咀嚼力の発達を促したりして、口腔機能の維持、向上をサポートすることができる。食べ物を噛むことや嚥下行動、唾液の分泌等は、脳および全身への影響が大きく、心身の健康および健康寿命に大きく影響を及ぼす要素である。したがって、本開示の構成によれば、口腔機能の維持、向上が達成され、心身の健康維持、発達促進および健康寿命の延伸等に貢献することが期待される。延いては、持続可能な開発目標(SDGs)の目標3「すべての人に健康と福祉を」の達成に寄与する。
【0145】
〔ソフトウェアによる実現例〕
情報処理装置1、サーバ21、端末装置22(以下、「装置」と呼ぶ)の機能は、当該装置としてコンピュータを機能させるためのプログラムであって、当該装置の各制御ブロック(特に制御部10、サーバ21、端末装置22に含まれる各部)としてコンピュータを機能させるためのプログラム(咀嚼トレーニングプログラム)により実現することができる。
【0146】
この場合、上記装置は、上記プログラムを実行するためのハードウェアとして、少なくとも1つの制御装置(例えばプロセッサ)と少なくとも1つの記憶装置(例えばメモリ)を有するコンピュータを備えている。この制御装置と記憶装置により上記プログラムを実行することにより、上記各実施形態で説明した各機能が実現される。
【0147】
上記プログラムは、一時的ではなく、コンピュータ読み取り可能な、1または複数の記録媒体に記録されていてもよい。この記録媒体は、上記装置が備えていてもよいし、備えていなくてもよい。後者の場合、上記プログラムは、有線または無線の任意の伝送媒体を介して上記装置に供給されてもよい。
【0148】
また、上記各制御ブロックの機能の一部または全部は、論理回路により実現することも可能である。例えば、上記各制御ブロックとして機能する論理回路が形成された集積回路も本発明の範疇に含まれる。この他にも、例えば量子コンピュータにより上記各制御ブロックの機能を実現することも可能である。
【0149】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【0150】
1 情報処理装置
2 咀嚼トレーニングシステム
10 制御部
11 記憶部
12 撮影部
13 通信部
14 音出力部
15 入力部
16 表示部
21 サーバ
22 端末装置
23 表示装置
24 撮影装置
25 筋電位測定装置
101 画像取得部
102 評価部
103 報知部
104 手本生成部
105 出力制御部
112 評価結果
211 特徴点検出部
212 動き解析部
213 比較部
214 負荷解析部
215 負荷比較部
216 評価結果送信部
221 画像取得部
222 筋活動情報取得部
223 出力制御部
1021 特徴点検出部
1022 動き解析部
1023 比較部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10