特許 7436720 咀嚼状態判定装置、咀嚼状態判定方法および咀嚼状態判定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-02-13

(45)【発行日】2024-02-22

(54)【発明の名称】咀嚼状態判定装置、咀嚼状態判定方法および咀嚼状態判定プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240214BHJP

   A61B 5/11 20060101ALI20240214BHJP

   G06V 40/16 20220101ALI20240214BHJP

【ＦＩ】

G06T7/00 660A

A61B5/11 300

G06V40/16 C

【請求項の数】 16

(21)【出願番号】P 2023025120

(22)【出願日】2023-02-21

【審査請求日】2023-02-21

(73)【特許権者】

【識別番号】320005501

【氏名又は名称】株式会社電通

(74)【代理人】

【識別番号】230104019

【弁護士】

【氏名又は名称】大野 聖二

(74)【代理人】

【識別番号】100106840

【弁理士】

【氏名又は名称】森田 耕司

(74)【代理人】

【識別番号】100131451

【弁理士】

【氏名又は名称】津田 理

(74)【代理人】

【識別番号】100167933

【弁理士】

【氏名又は名称】松野 知紘

(74)【代理人】

【識別番号】100174137

【弁理士】

【氏名又は名称】酒谷 誠一

(74)【代理人】

【識別番号】100184181

【弁理士】

【氏名又は名称】野本 裕史

(72)【発明者】

【氏名】和泉 興

【審査官】新井 則和

(56)【参考文献】

【文献】特開２０２２－１２６２８８（ＪＰ，Ａ）

【文献】特開２０２２－０７４６７１（ＪＰ，Ａ）

【文献】特開２０２１－１０５８７８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ａ６１Ｂ ５／１１

Ｇ０６Ｖ ４０／１６

(57)【特許請求の範囲】

【請求項1】

被験者の顔を含む画像から、口より上にある上特徴点、口より下にある下特徴点、口より右にある右特徴点および口より左にある左特徴点を抽出する特徴点抽出部と、
前記上特徴点と前記下特徴点との間の縦距離と、前記左特徴点と前記右特徴点との間の横距離と、の差を算出する算出部と、
前記差に基づいて、咀嚼状態を判定する判定部と、を備える咀嚼状態判定装置。

【請求項2】

前記判定部は、前記差に基づいて、顎が開いているか否かを判定する、請求項１に記載の咀嚼状態判定装置。

【請求項3】

前記判定部は、前記差と第１閾値との比較により、顎が開いているか否かを判定する、請求項２に記載の咀嚼状態判定装置。

【請求項4】

前記第１閾値は、前記被験者が顎を閉じた状態における前記差に応じて定められる、請求項３に記載の咀嚼状態判定装置。

【請求項5】

前記判定部は、前記差と基準値との比較に基づいて、顎が開いている度合いを判定する、請求項１に記載の咀嚼状態判定装置。

【請求項6】

前記判定部は、前記差に基づいて、咀嚼１回における噛み始めであるか、噛んでいる途中であるか、噛み終わりであるか、を判定する、請求項１に記載の咀嚼状態判定装置。

【請求項7】

前記特徴点抽出部は、上唇に対応する上唇特徴点と、下唇に対応する下唇特徴点と、を抽出し、
前記算出部は、前記上唇特徴点と前記下唇特徴点との間の唇間距離を算出し、
前記判定部は、前記差および前記唇間距離に基づいて、咀嚼状態を判定する、請求項１に記載の咀嚼状態判定装置。

【請求項8】

前記判定部は、
前記差に基づいて、顎が開いてるか否かを判定し、
前記唇間距離に基づいて、唇が開いているか否かを判定し、
顎が開いているか否かと、唇が開いているか否かと、に基づいて咀嚼状態を判定する、請求項７に記載の咀嚼状態判定装置。

【請求項9】

前記判定部は、
顎が開いており、かつ、唇が開いている場合、咀嚼状態は１噛み目であると判定し、
顎が開いており、かつ、唇が閉じている場合、咀嚼状態は２噛み目以降であると判定する、請求項８に記載の咀嚼状態判定装置。

【請求項10】

前記判定部は、前記差と第１閾値との比較と、前記唇間距離と第２閾値との比較と、に基づいて、咀嚼状態が１噛み目であるか２噛み目以降であるかを判定する、請求項７に記載の咀嚼状態判定装置。

【請求項11】

判定された咀嚼状態に応じた映像、テキスト、音声、振動および香りの数なくとも１つが出力されるよう出力部を制御する出力制御部を備える、請求項１に記載の咀嚼状態判定装置。

【請求項12】

前記顎が開いている度合いに応じた映像、テキスト、音声および振動の数なくとも１つが出力されるよう出力する出力制御部を備える、請求項５に記載の咀嚼状態判定装置。

【請求項13】

前記判定部は、判定された咀嚼状態に応じて消費カロリーを推定する、請求項１に記載の咀嚼状態判定装置。

【請求項14】

被験者の顔を撮影するカメラと、
請求項１乃至１３のいずれかに記載の咀嚼状態判定装置と、を備える咀嚼状態判定システム。

【請求項15】

特徴点抽出部が、被験者の顔を含む画像から、口より上にある上特徴点、口より下にある下特徴点、口より右にある右特徴点および口より左にある左特徴点を抽出するステップと、
算出部が、前記上特徴点と前記下特徴点との間の縦距離と、前記左特徴点と前記右特徴点との間の横距離と、の差を算出するステップと、
判定部が、前記差に基づいて、咀嚼状態を判定するステップと、を含む咀嚼状態判定方法。

【請求項16】

コンピュータを、
被験者の顔を含む画像から、口より上にある上特徴点、口より下にある下特徴点、口より右にある右特徴点および口より左にある左特徴点を抽出する特徴点抽出部と、
前記上特徴点と前記下特徴点との間の縦距離と、前記左特徴点と前記右特徴点との間の横距離と、の差を算出する算出部と、
前記差に基づいて、咀嚼状態を判定する判定部と、として機能させる咀嚼状態判定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、咀嚼状態判定装置、咀嚼状態判定方法および咀嚼状態判定プログラムに関する。

【背景技術】

【0002】

特許文献１，２には、咀嚼運動を判定する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２１－１０５８７８号公報

【文献】特開２０２２－０７４６７１号公報

【文献】https://www.jstage.jst.go.jp/article/soshaku1991/2/1/2_1_55/_pdf/-char/en

【文献】https://google.github.io/mediapipe/

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明の課題は、精度よく咀嚼判定を行うことである。

【課題を解決するための手段】

【0005】

［１］
本発明の一態様によれば、
被験者の顔を含む画像から、口より上にある上特徴点、口より下にある下特徴点、口より右にある右特徴点および口より左にある左特徴点を抽出する特徴点抽出部と、
前記上特徴点と前記下特徴点との間の縦距離と、前記左特徴点と前記右特徴点との間の横距離と、の差を算出する算出部と、
前記差に基づいて、咀嚼状態を判定する判定部と、を備える咀嚼状態判定装置が提供される。

【0006】

［２］
［１］に記載の咀嚼状態判定装置において、
前記判定部は、前記差に基づいて、顎が開いているか否かを判定してもよい。

【0007】

［３］
［２］に記載の咀嚼状態判定装置において、
前記判定部は、前記差と第１閾値との比較により、顎が開いているか否かを判定してもよい。

【0008】

［４］
［３］に記載の咀嚼状態判定装置において、
前記第１閾値は、前記被験者が顎を閉じた状態における前記差に応じて定められてもよい。

【0009】

［５］
前記判定部は、前記差と基準値との比較に基づいて、顎が開いている度合いを判定する、請求項１乃至４のいずれかに記載の咀嚼状態判定装置。

【0010】

［６］
［１］乃至［５］のいずれかに記載の咀嚼状態判定装置において、
前記判定部は、前記差に基づいて、咀嚼１回における噛み始めであるか、噛んでいる途中であるか、噛み終わりであるか、を判定してもよい。

【0011】

［７］
［１］乃至［６］に記載の咀嚼状態判定装置において、
前記特徴点抽出部は、上唇に対応する上唇特徴点と、下唇に対応する下唇特徴点と、を抽出し、
前記算出部は、前記上唇特徴点と前記下唇特徴点との間の唇間距離を算出し、
前記判定部は、前記差および前記唇間距離に基づいて、咀嚼状態を判定してもよい。

【0012】

［８］
［７］に記載の咀嚼状態判定装置において、
前記判定部は、
前記差に基づいて、顎が開いてるか否かを判定し、
前記唇間距離に基づいて、唇が開いているか否かを判定し、
顎が開いているか否かと、唇が開いているか否かと、に基づいて咀嚼状態を判定してもよい。

【0013】

［９］
［８］に記載の咀嚼状態判定装置において、
前記判定部は、
顎が開いており、かつ、唇が開いている場合、咀嚼状態は１噛み目であると判定し、
顎が開いており、かつ、唇が閉じている場合、咀嚼状態は２噛み目以降であると判定してもよい。

【0014】

［１０］
［７］に記載の咀嚼状態判定装置において、
前記判定部は、前記差と第１閾値との比較と、前記唇間距離と第２閾値との比較と、に基づいて、咀嚼状態が１噛み目であるか２噛み目以降であるかを判定してもよい。

【0015】

［１１］
［１］乃至［１０］のいずれかに記載の咀嚼状態判定装置において、
判定された咀嚼状態に応じた映像、テキスト、音声、振動および香りの数なくとも１つが出力されるよう出力部を制御する出力制御部を備えてもよい。

【0016】

［１２］
［５］に記載の咀嚼状態判定装置において、
前記顎が開いている度合いに応じた映像、テキスト、音声および振動の数なくとも１つが出力されるよう出力する出力制御部を備えてもよい。

【0017】

［１３］
［１］乃至［１２］のいずれかに記載の咀嚼状態判定装置において、
前記判定部は、判定された咀嚼状態に応じて消費カロリーを推定してもよい。

【0018】

［１４］
本発明の一態様によれば、
被験者の顔を撮影するカメラと、
［１］乃至［１３］のいずれかに記載の咀嚼状態判定と、を備える咀嚼状態判定システムが提供される。

【0019】

［１５］
本発明の一態様によれば、
特徴点抽出部が、被験者の顔を含む画像から、口より上にある上特徴点、口より下にある下特徴点、口より右にある右特徴点および口より左にある左特徴点を抽出するステップと、
算出部が、前記上特徴点と前記下特徴点との間の縦距離と、前記左特徴点と前記右特徴点との間の横距離と、の差を算出するステップと、
判定部が、前記差に基づいて、咀嚼状態を判定するステップと、を含む咀嚼状態判定方法が提供される。

【0020】

［１６］
本発明の一態様によれば、
コンピュータを、
被験者の顔を含む画像から、口より上にある上特徴点、口より下にある下特徴点、口より右にある右特徴点および口より左にある左特徴点を抽出する特徴点抽出部と、
前記上特徴点と前記下特徴点との間の縦距離と、前記左特徴点と前記右特徴点との間の横距離と、の差を算出する算出部と、
前記差に基づいて、咀嚼状態を判定する判定部と、として機能させる咀嚼状態判定プログラムが提供される。

【発明の効果】

【0021】

精度よく咀嚼判定を行うことことができる。

【図面の簡単な説明】

【0022】

【図1】第１実施形態に係る咀嚼状態判定システムの概略構成を示すブロック図。

【図2A】顔を含む画像から抽出される特徴点を説明する図。

【図2B】上特徴点、下特徴点、左特徴点および右特徴点を説明する図。

【図3A】上特徴点および下特徴点を模式的に示す図。

【図3B】左特徴点および右特徴点を模式的に示す図。

【図4】顎が開いているか否かの判定手法の一例を説明する図。

【図5】被験者が咀嚼する場合の縦距離Ｙ（図５（ａ）、横距離Ｘ（図５（ｂ））および差Ｄ（図５（ｃ））の変化の一例を模式的に示す図。

【図6】被験者が咀嚼する場合の差Ｄの変化の一例を模式的に示す図。

【図7】被験者が咀嚼する場合の差Ｄの変化の一例を模式的に示す図。

【図8】上唇特徴点および下唇特徴点を説明する図。

【図9】唇が開いているか否かの判定手法の一例を説明する図。

【図10】１噛み目であるか２噛み目以降であるか、の判定手法の一例を説明する図。

【図11】第３実施形態に係る咀嚼状態判定システムの概略構成を示すブロック図。

【発明を実施するための形態】

【0023】

以下、本発明に係る実施形態について、図面を参照しながら具体的に説明する。

【0024】

（第１実施形態）
図１は、第１実施形態に係る咀嚼状態判定システムの概略構成を示すブロック図である。咀嚼状態判定システムは、カメラ１と、咀嚼状態判定装置２とを備えている。咀嚼状態判定装置２は、汎用コンピュータであってもよいし、専用装置であってもよい。

【0025】

カメラ１は被験者の顔を撮影する。撮影して得られた画像は咀嚼状態判定装置２に入力される。

【0026】

咀嚼状態判定装置２は、特徴点抽出部２１と、算出部２２と、判定部２３とを備えている。これらの一部または全部は、ハードウェアで実装されてもよいし、ソフトウェアで実現されてもよい。後者の場合、咀嚼状態判定装置２が有するプロセッサが所定のプログラムを実行することによって各機能が実現され得る。

【0027】

特徴点抽出部２１は、被験者の顔を含む画像から、口より上にある上特徴点、口より下にある下特徴点、口より右にある右特徴点および口より左にある左特徴点を抽出する。下特徴点と上特徴点は鉛直線上あるいはその近傍にあるのが望ましい。また、右特徴点と左特徴点は水平線上あるいはその近傍にあるのが望ましい。

【0028】

具体的な抽出法の例として、特徴点抽出部２１は、まず公知の手法（例えば非特許文献３）を適用することにより、図２Ａに示すような多数の顔の特徴点を抽出する。そして、特徴点抽出部２１は、図２Ｂに示すように、口より上にある所定の特徴点を上特徴点として抽出する。下特徴点、右特徴点、左特徴点も同様である。

【0029】

図１に戻り、算出部２２は、上特徴点と下特徴点との間の距離（以下「縦距離」という。）Ｙと、右特徴点と左特徴点との間の距離（以下「横距離」という。）Ｘを算出する。さらに、算出部２２は、縦距離Ｙと横距離Ｘとの差Ｄ＝Ｙ－Ｘを算出する。

【0030】

判定部２３は、差Ｄに基づいて、被験者の咀嚼状態を判定する。本実施形態における咀嚼状態の判定は、例えば顎が開いているか否か、顎が開いている度合い、咀嚼１回における噛み始めであるか噛んでいる途中であるか噛み終わりであるか、の少なくとも１つの判定を含み得る。以下、詳細に説明する。

【0031】

まずは、顎が開いているか否かの判定について説明する。
図３Ａは、上特徴点および下特徴点を模式的に示す図であり、同図（ａ）は顎が閉じた状態、同図（ｂ）は顎が開いた状態を示している。符号Ａで示すように、顎が開くと上特徴点は上に移動する。一方、符号Ｂで示すように、顎が開くと下特徴点は下に移動する。そのため、顎が開くと、縦距離Ｙは大きくなる。

【0032】

図３Ｂは、左特徴点および右特徴点を模式的に示す図であり、同図（ａ）は顎が閉じた状態、同図（ｂ）は顎が開いた状態を示している。符号Ｃで示すように、顎が開くと左特徴点は右に移動する。一方、符号Ｄで示すように、顎が開くと右特徴点は左に移動する。そのため、顎が開くと、横距離Ｘは小さくなる。

【0033】

したがって、差Ｄ（＝縦距離Ｙ－横距離Ｘ）は、顎が開くと大きくなり、顎が閉じると小さくなる。ここで、各特徴点の位置は常に揺らいでいるが、差をとることで揺らぎが相殺される。

【0034】

図４は、顎が開いているか否かの判定手法の一例を説明する図である。判定部２３は、差Ｄと閾値ＴＨ１との比較により、顎が開いているか否かを判定する。具体的には、差Ｄが閾値ＴＨ１未満である場合、判定部２３は顎が閉じていると判定する。一方、差Ｄが閾値ＴＨ１以上である場合、判定部２３は顎が開いていると判定する。

【0035】

図５は、被験者が咀嚼する場合の縦距離Ｙ（図５（ａ）、横距離Ｘ（図５（ｂ））および差Ｄ（図５（ｃ））の変化の一例を模式的に示す図である。

【0036】

時刻ｔ１以前は口および顎を閉じた状態とし、縦距離Ｙおよび横距離Ｘは初期値（以下０とする。）である。時刻ｔ１にて被験者が食べ物を口に入れて１噛み目を開始し、時刻ｔ４にて１噛み目を終了したとする。１噛み目では、口に食べ物を入れるため、口を開けることになる（なお、「口」は顔のどの部分を指すのか必ずしも明確でないため、また、顎を開けることと明確に区別するため、以下では「唇を開ける」と表記する）。そのため、図５（ａ）に示すように、縦距離Ｙは大きく増加し、最大値Ｙ１に達した後、減少する。一方、横距離Ｘは唇を開けると縮むため、図５（ｂ）に示すように、横距離Ｘは大きく減少し、最小値Ｘ１に達した後、増加する。

【0037】

その後、時刻ｔ４にて被験者が２噛み目を開始し、時刻ｔ７で２噛み目を終了したとする。２噛み目では既に口に食べ物が入っているため、再度唇を開ける必要はなく、通常は唇を閉じたまま顎を開閉することで咀嚼を行う。そのため、図５（ａ）に示すように、縦距離Ｙは増加するものの、１噛み目に比べると増加量は小さく、最大値Ｙ２はＹ１より小さい。一方、図５（ｂ）に示すように、横距離Ｘは減少するものの、１噛み目に比べると減少量は小さく、最小値Ｘ２（の絶対値）はＸ１より小さい。

【0038】

３噛み目以降は２噛み目とほぼ同様であるか、縦距離Ｙの増加量はより小さくなり横距離Ｘの減少量もより小さくなる。

【0039】

このような縦距離Ｙと横距離Ｘの差Ｄが図５（ｃ）に示される。そして、差Ｄが閾値ＴＨ１以上となる時刻ｔ２～ｔ３およびｔ４～ｔ５では、顎が開いていると判定される。その他は顎が閉じていると判定される。

【0040】

なお、この閾値ＴＨ１は適宜設定すればよく、例えば固定値であってもよい。望ましくは、被験者が顎を閉じた状態における差Ｄに応じて設定される。具体例として、被験者が顎を閉じた状態の差Ｄより所定値だけ大きい値を閾値ＴＨ１と設定してよい。このような設定は、外部から行ってもよいし、カメラ１で撮影された画像に基づいて判定部２３が自動設定してもよい。

【0041】

ここで、本実施形態の特徴の１つは、顎が開いているか否かの判定を、縦距離Ｙのみ、あるいは、横距離Ｘのみでなく、これらの差Ｄに基づいて行う点である。このことの利点を図５を用いながら説明する。

【0042】

例えば、縦距離Ｙ（図５（ａ））のみに基づいて顎が開いているか否かの判定を行うことも考えられる。

【0043】

確かに、唇を開いた状態（時刻ｔ１～ｔ４）であれば、縦距離Ｙが大きく増加し、最大値Ｙ１まで達する。すなわち、唇が開いていれば、顎が閉じた状態における縦距離と、顎が開いた状態の縦距離と、の差が大きく、顎が開いたことを判定できる。

【0044】

しかし、唇を閉じた状態（時刻ｔ４～ｔ７）では、縦距離Ｙの増加量は小さく、最大値Ｙ２までしか達しない。すなわち、唇が閉じている場合、顎が閉じた状態における縦距離と、顎が開いた状態の縦距離と、の差はあまり大きくならない。そのため、適切な閾値ＴＨ１を設定するのが困難であったり、特徴点の位置の揺らぎ等の影響により誤判定をしてしまったりするおそれがある。

【0045】

横距離Ｘ（図５（ｂ））のみに基づいて顎が開いているか否かの判定を行うのも同様である。

【0046】

このように、唇が閉じた状態においては、縦距離Ｙのみ、あるいは、横距離Ｘのみを用いても精度よく顎の開閉を判定できないことに本願発明者らは気づいた。

【0047】

そこで、本実施形態では、縦距離Ｙと横距離Ｘとの差Ｄを用いる。唇が開いているか閉じているかに関わらず、顎が開くと縦距離Ｙは増加し、横距離Ｘは減少する。そのため、これらの差をとることで、顎が開いているときの差Ｄの値と、閉じているときの差Ｄの値と、の差が増幅される。しかも、差を算出することで、特徴点の位置の揺らぎが相殺される。

【0048】

これにより、唇が閉じている場合であっても、差Ｄを用いることで顎の開閉を高精度に判定できる。この点が本実施形態の１つの特徴である。
続いて、咀嚼状態として、顎が開いている度合いを判定する例を示す。

【0049】

図６は、被験者が咀嚼する場合の差Ｄの変化の一例を模式的に示す図である。時刻ｔ１１で咀嚼を開始し、時刻ｔ１４で１回の咀嚼を終了したとする。判定部２３は、各時刻における差Ｄと、基準値Ａ０との比較（例えば比率）に基づいて、顎が開いている度合いを判定する。例えば、時刻ｔ１２における差Ｄの値はＤ１であり、顎が開いている度合いはＤ１／Ａ０と判定される。時刻ｔ１３における差Ｄの値はＤ２であり、顎が開いている度合いはＤ２／Ａ０と判定される。

【0050】

基準値Ａ０は適宜設定すればよく、例えば固定値であってもよい。望ましくは、基準値Ａ０は被験者が顎を開いた状態における差Ｄに応じて設定される。具体例として、複数の被験者について、咀嚼データから顎を大きく開いた状態の差Ｄを計測し、その平均値あるいはそれより少し小さい値を基準値Ａ０としてよい。

【0051】

続いて、咀嚼状態として、咀嚼１回における噛み始めであるか、噛んでいる途中であるか、噛み終わりであるか、を判定部２３が判定する例を示す。

【0052】

図７は、被験者が咀嚼する場合の差Ｄの変化の一例を模式的に示す図である。時刻ｔ２１で咀嚼を開始し、時刻ｔ２４で１回の咀嚼を終了したとする。判定部２３は、差Ｄが増加して閾値ＴＨ２に達した時刻ｔ２２を、噛み始めと判定できる。そして、判定部２３は、閾値ＴＨ２に達した後、差Ｄが閾値ＴＨ３まで減少した時刻ｔ２３までを噛んでいる途中と判定できる。そして、判定部２３は、差Ｄが閾値ＴＨ３まで減少した時刻ｔ２３を噛み終わりと判定できる。

【0053】

なお、差Ｄが増加しているか減少しているかは、例えばある時点での差Ｄと次の時点での差Ｄを比較して判断してもよいし、ある時点を含む複数時点の移動平均と次の時点を含む複数時点の移動平均を比較して判断してもよい。

【0054】

閾値ＴＨ２，ＴＨ３は適宜設定すればよい。また、その大小関係も任意であり、ＴＨ２＞ＴＨ３でも、ＴＨ２＝ＴＨ３でも、ＴＨ２＜ＴＨ３でもよい。

【0055】

以上述べたように、第１実施形態では、縦距離Ｙと横距離Ｘとの差Ｄを用いるため、精度よく咀嚼状態を判定できる。

【0056】

（第２実施形態）
次に説明する第２実施形態は、差Ｄに加え、上唇および下唇の特徴点も用いるものである。以下に述べる事項を、第１実施形態とは別個に行ってもよいし、第１実施形態に加えて行ってもよい。第２実施形態に係る咀嚼状態判定システムの概略構成は、図１に示すものと同様であり、以下、第１実施形態との違いを中心に説明する。

【0057】

本実施形態の特徴点抽出部２１は、被験者の顔を含む画像から、上唇に対応する特徴点（以下「上唇特徴点」という、）と、下唇に対応する下唇特徴点（以下「下唇特徴点」という。）とを抽出する（図８）。上唇特徴点は上唇上の特徴点であり、した唇特徴点は下唇上の特徴点であってよい。

【0058】

算出部２２は上唇特徴点と下唇特徴点との間の距離（以下「唇間距離」という。）Ｌを算出する。

【0059】

判定部２３は、差Ｄおよび唇間距離Ｌに基づいて、咀嚼状態を判定する。本実施形態では、咀嚼状態として、例えば唇が開いているか否か、１噛み目であるか２噛み目以降であるか、の判定を含み得る。

【0060】

図９は、唇が開いているか否かの判定手法の一例を説明する図である。判定部２３は、唇間距離Ｌと閾値ＴＨ４との比較により、唇が開いているか否かを判定する。具体的には、唇間距離Ｌが閾値ＴＨ４未満である場合、判定部２３は唇が閉じていると判定する。一方、唇間距離Ｌが閾値ＴＨ４以上である場合、判定部２３は唇が開いていると判定する。

【0061】

図１０は、１噛み目であるか２噛み目以降であるか、の判定手法の一例を説明する図である。１噛み目では、口に食べ物を入れるために唇を大きく開けるのに対し、２噛み目以降では、既に口に食べ物が入っているために唇を開ける必要がないことを利用する。

【0062】

図示のように、顎が開き、かつ、唇が開いている場合、判定部２３は１噛み目であると判定する。言い換えると、差Ｄが閾値ＴＨ１以上であり、唇間距離Ｌが閾値ＴＨ４以上である場合、判定部２３は１噛み目であると判定する。

【0063】

一方、顎が開いているが、唇が閉じている場合、判定部２３は２噛み目以降であると判定する。言い換えると、差Ｄが閾値ＴＨ１以上であり、唇間距離Ｌが閾値ＴＨ４未満である場合、判定部２３は２噛み目以降であると判定する。

【0064】

このように、第２実施形態では、差Ｄに加え、唇間距離Ｌも考慮して判定を行うため、唇の開閉状態や、１噛み目であるか２噛み目以降であるかの判定も行える。

【0065】

（第３実施形態）
以下に述べる第３実施形態は、判定された咀嚼状態に応じた出力を行うものであり、特に、実際には何も食べていない場合であったとしても、咀嚼状態に応じた出力を行えるようにするものである。以下、第１および第２実施形態と共通する説明は簡略化する。

【0066】

図１１は、第３実施形態に係る咀嚼状態判定システムの概略構成を示すブロック図である。この咀嚼状態判定システムは、カメラ１および咀嚼状態判定装置２に加え、さらに出力部３を備えている。出力部３は、スピーカ（イヤフォン）３１、バイブレータ３２、ディスプレイ３３、アロマディフューザ３４のうちの１以上を含み得る。そして、出力部３は、映像、テキスト、音声、振動および香りの数なくとも１つを出力する。また、咀嚼状態判定装置２は出力制御部２４を備えている。出力制御部２４は、判定された咀嚼状態に応じた出力を出力部３が行うよう、咀嚼状態に基づいて出力部３を制御する。

【0067】

例えば、出力部３はスピーカ３１を含み、咀嚼状態に連動した音声を出力する。出力部３は顎が開いている度合いに応じた大きさの音を出力してもよい。また、出力部３は、１噛み目か、２噛み目以降かに応じた音を出力してもよい。また、予め用意した音声ファイルを咀嚼状態に応じた音量や再生順で出力してもよいし、咀嚼状態に応じた音を出力制御部２４が生成して出力してもよい。出力される音は、咀嚼にふさわしいものでもよいし、咀嚼との関連性が薄く意外性があるものでもよい。音声出力により、被験者は、何も食べていないとしても、咀嚼を行うことによって、顎の動きに連動して音が再生される快感を味わうことができる。

【0068】

また、出力部３はバイブレータ３２を含み、咀嚼状態に連動した振動を出力してもよい。出力部３は顎が開いている度合いに応じた大きさの振動を出力してもよい。音声と振動の両方を出力すべく、出力部３１はイヤフォン３１およびバイブレータ３２を兼ねる骨伝導性イヤフォンであるのが好適である。この場合、被験者の頭の中に音および振動が響くような体験が提供される。そのため、被験者は、何も食べていないとしても、咀嚼を行うことによって、あたかも実際に食べ物を噛んでいるかのような感覚を味わうことができる。

【0069】

また、出力部３はディスプレイ３３を含み、咀嚼状態に連動した映像を表示してもよい。出力部３は顎が開いている度合いに応じた映像を出力してもよい。また、映像は、咀嚼に同期して、スナック菓子、せんべい、クッキーといった食べ物を食べるものでもよい。あるいは、映像は、咀嚼に同期して、岩やビルといった現実には食べることができないものを食べる映像であってもよい。また、映像は咀嚼に連動して食べるものが削れたり崩れたりするような時系列的な変化を含んでいてもよい。さらに、顎の動きに連動したグラフィカルで抽象的な映像表示を行うことで、咀嚼の感覚を増強してもよい。

【0070】

また、出力部３はディスプレイ３３を含み、咀嚼状態に連動したテキストを表示してもよい。テキストは顎が開いている度合いを示すものであってもよい。また、テキストは咀嚼状態に応じた擬音語や詩といった任意の文字列であってもよい。また、判定部２３が咀嚼状態に基づいて消費カロリーを推定し、この消費カロリーをテキスト表示してもよい。なお、推定手法は公知の技術（例えば非特許文献４）を適用すればよく、例えば咀嚼１回を０．０１４６７５ｋｃａｌとしてもよい。

【0071】

また、出力部３はアロマディフューザ３４を含み、咀嚼状態に同期して香料を噴霧することにより香りを出力してもよい。出力部３は食べ物の香りがついたシートを含み、被験者がシートを嗅ぐようにしてもよい。

【0072】

本実施形態によれば、実際には何も食べていないとしても、咀嚼を行うことにより咀嚼に連動した出力が行われる。そのため、カロリーを摂取することなく、むしろ咀嚼によりカロリーを消費しながら、咀嚼時の歯応えや食べ心地といった感触の疑似体験を被験者が得ることができる。

【0073】

本明細書で述べた各機能部の任意の一部または全部をプログラムによって実現するようにしてもよい。本明細書で言及したプログラムは、コンピュータ読み取り可能な記録媒体に非一時的に記録して頒布されてもよいし、インターネットなどの通信回線（無線通信も含む）を介して頒布されてもよいし、任意の端末にインストールされた状態で頒布されてもよい。

【0074】

上記の記載に基づいて、当業者であれば、本発明の追加の効果や種々の変形例を想到できるかもしれないが、本発明の態様は、上述した個々の実施形態には限定されるものではない。特許請求の範囲に規定された内容およびその均等物から導き出される本発明の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。

【0075】

例えば、本明細書において１台の装置（あるいは部材、以下同じ）として説明されるもの（図面において１台の装置として描かれているものを含む）を複数の装置によって実現してもよい。逆に、本明細書において複数の装置として説明されるもの（図面において複数の装置として描かれているものを含む）を１台の装置によって実現してもよい。あるいは、ある装置（例えばサーバ）に含まれるとした手段や機能の一部または全部が、他の装置（例えばユーザ端末）に含まれるようにしてもよい。また、「システム」とは、１台の装置から構成されてもよいし、２以上の装置から構成されてもよい。

【0076】

また、本明細書に記載された事項の全てが必須の要件というわけではない。特に、本明細書に記載され、特許請求の範囲に記載されていない事項は任意の付加的事項ということができる。

【0077】

なお、本出願人は本明細書の「先行技術文献」欄の文献に記載された文献公知発明を知っているにすぎず、本発明は必ずしも同文献公知発明における課題を解決することを目的とするものではないことにも留意されたい。本発明が解決しようとする課題は本明細書全体を考慮して認定されるべきものである。例えば、本明細書において、特定の構成によって所定の効果を奏する旨の記載がある場合、当該所定の効果の裏返しとなる課題が解決されるということもできる。ただし、必ずしもそのような特定の構成を必須の要件とする趣旨ではない。

【符号の説明】

【0078】

１ カメラ
２ 咀嚼状態判定装置
２１ 特徴点抽出部
２２ 算出部
２３ 判定部
２４ 出力制御部
３ 出力部
３１ スピーカ（イヤフォン）
３２ バイブレータ
３３ ディスプレイ
３４ アロマディフューザ

【要約】

【課題】精度よく咀嚼判定を行う。
【解決手段】被験者の顔を含む画像から、口より上にある上特徴点、口より下にある下特徴点、口より右にある右特徴点および口より左にある左特徴点を抽出する特徴点抽出部と、前記上特徴点と前記下特徴点との間の縦距離と、前記左特徴点と前記右特徴点との間の横距離と、の差を算出する算出部と、前記差に基づいて、咀嚼状態を判定する判定部と、を備える咀嚼状態判定装置が提供される。
【選択図】図１

【図1】

【図2A】

【図2B】

【図3A】

【図3B】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】