特開 2024-91117 評価装置、評価方法、および評価プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024091117

(43)【公開日】2024-07-04

(54)【発明の名称】評価装置、評価方法、および評価プログラム

(51)【国際特許分類】

   A61B 5/11 20060101AFI20240627BHJP

   G16H 50/30 20180101ALI20240627BHJP

   G06T 7/00 20170101ALI20240627BHJP

   G16Y 10/60 20200101ALI20240627BHJP

   G16Y 20/40 20200101ALI20240627BHJP

   G16Y 40/20 20200101ALI20240627BHJP

【ＦＩ】

A61B5/11

G16H50/30

G06T7/00 660A

G16Y10/60

G16Y20/40

G16Y40/20

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2022207575

(22)【出願日】2022-12-23

(71)【出願人】

【識別番号】000106324

【氏名又は名称】サンスター株式会社

(74)【代理人】

【識別番号】110000338

【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ

(72)【発明者】

【氏名】金田 健

【テーマコード（参考）】

4C038

5L096

5L099

【Ｆターム（参考）】

4C038VA04

4C038VB03

4C038VC05

5L096BA06

5L096DA02

5L096FA06

5L096FA09

5L096FA52

5L096FA69

5L096FA72

5L096GA41

5L096HA02

5L099AA15

(57)【要約】

【課題】含嗽動作を適切に評価する。
【解決手段】評価装置（１）は、対象者の含嗽の様子を時系列で撮影した画像から算出される、含嗽動作に伴い色相が変動する所定領域における色相の変動を示す色相変動データを取得する取得部（１０４）と、色相変動データに基づいて対象者の含嗽動作を評価する評価部（１０９）と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

対象者の含嗽の様子を時系列で撮影した画像から算出される、含嗽動作に伴い色相が変動する前記対象者の顔の所定領域における色相の変動を示す色相変動データを取得する取得部と、
前記色相変動データに基づいて前記対象者の含嗽動作を評価する評価部と、を備える評価装置。

【請求項2】

前記取得部は、前記含嗽動作に伴い動く前記対象者の顔の各特徴点の位置の変動を示す位置変動データを取得し、
前記評価部は、前記位置変動データと前記色相変動データとに基づいて前記対象者の含嗽動作を評価する、請求項１に記載の評価装置。

【請求項3】

前記所定領域は、口角と頬の輪郭との間の領域、鼻翼と頬の輪郭との間の領域、上唇の頂点と鼻下の間の領域、および下唇の頂点と顎の中心または顎の下端部との間の領域、の少なくともいずれかである、請求項１または２に記載の評価装置。

【請求項4】

前記色相変動データから、含嗽が行われている位置を判定する位置判定部をさらに備える、請求項１または２に記載の評価装置。

【請求項5】

前記色相変動データから、所定期間における含嗽の回数を判定する回数判定部をさらに備える、請求項１または２に記載の評価装置。

【請求項6】

前記色相変動データから、含嗽の周期を判定する周期判定部をさらに備える、請求項１または２に記載の評価装置。

【請求項7】

前記色相変動データから、前記含嗽動作の力加減を判定する力加減判定部をさらに備える、請求項１または２に記載の評価装置。

【請求項8】

前記評価部は、複数の被験者のそれぞれの前記色相変動データを説明変数とし含嗽の評価結果を目的変数とする評価モデルと、前記取得部が取得する前記色相変動データとに基づいて、前記対象者の含嗽動作を評価する、請求項１または２に記載の評価装置。

【請求項9】

前記評価部が評価した結果に応じた情報を出力装置に出力させる出力制御部をさらに備える、請求項１または２に記載の評価装置。

【請求項10】

１または複数の情報処理装置により実行される評価方法であって、
対象者の含嗽の様子を時系列で撮影した画像から算出される、含嗽動作に伴い色相が変動する前記対象者の顔の所定領域における色相の変動を示す色相変動データを取得するステップと、
前記色相変動データに基づいて前記対象者の含嗽動作を評価するステップと、を含む評価方法。

【請求項11】

請求項１に記載の評価装置としてコンピュータを機能させるための評価プログラムであって、前記取得部および前記評価部としてコンピュータを機能させるための評価プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、含嗽動作を評価する評価装置等に関する。

【背景技術】

【0002】

健康な生活を長く続けるためには口腔機能を維持することが重要であり、このような観点から、口腔機能改善や口腔機能低下予防のための様々なトレーニングが提案されている。例えば、下記の特許文献１には、対象者に吹矢を行わせることにより、ゲーム感覚で口周辺の筋肉を鍛える口腔機能訓練方法が開示されている。

【0003】

また、含嗽（うがい）を行う際の動作（以下、含嗽動作と呼ぶ）が、唇の周りの筋肉や舌等の筋肉に負荷を与えることから、口腔機能改善や口腔機能低下予防のための手段として含嗽動作を利用することも提案されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２１－４９２６０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、トレーニング効果が得られるような正しい含嗽動作を行うことは多くの人にとって容易ではないという問題がある。また、含嗽動作が正しくできているかどうかを医師等に確認してもらう機会を持つことは多くの人にとって煩わしい。また、たとえ医師等に確認してもらう機会があったとしても、医師等に確認してもらいつつトレーニングすることを習慣化するのは難しい。このため、手軽かつ適切に含嗽動作を評価できれば望ましいが、従来はそのような技術は存在しなかった。

【0006】

本発明の一態様は、上述の事項に鑑みてなされたものであり、含嗽動作を適切に評価することが可能な評価装置等を実現することを目的としている。

【課題を解決するための手段】

【0007】

上記の課題を解決するために、本発明の一態様に係る評価装置は、対象者の含嗽の様子を時系列で撮影した画像から算出される、含嗽動作に伴い色相が変動する前記対象者の顔の所定領域における色相の変動を示す色相変動データを取得する取得部と、前記色相変動データに基づいて前記対象者の含嗽動作を評価する評価部と、を備える評価装置。

【0008】

また、本発明の一態様に係る評価方法は、上記の課題を解決するために、１または複数の情報処理装置により実行される評価方法であって、対象者の含嗽の様子を時系列で撮影した画像から算出される、含嗽動作に伴い色相が変動する前記対象者の顔の所定領域における色相の変動を示す色相変動データを取得するステップと、前記色相変動データに基づいて前記対象者の含嗽動作を評価するステップと、を含む。

【発明の効果】

【0009】

本発明の一態様によれば、含嗽動作を適切に評価することが可能になる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施形態１に係る評価装置の概要を説明する図である。

【図2】上記評価装置の要部構成の一例を示すブロック図である。

【図3】特徴点検出部が検出する特徴点の例を示す図である。

【図4】色相変動データの例を示す図である。

【図5】上記評価装置が実行する処理の一例を示すフローチャートである。

【図6】本発明の実施形態２に係る評価システムの構成例を示す図である。

【発明を実施するための形態】

【0011】

〔実施形態１〕
本発明の実施形態１に係る含嗽動作の評価装置１および評価方法について図１から図５に基づいて以下詳細に説明する。

【0012】

〔評価装置の概要〕
評価装置１の概要を図２に基づいて説明する。図２は、評価装置１の概要を説明する図である。評価装置１は、含嗽による口腔のトレーニングを支援する機能を有する装置である。図示のように、評価装置１は、画像を撮影する撮影装置である撮影部１１と、画像を表示する表示装置である表示部１２とを備えている。なお、図２では、表示部１２に表示されている画像を拡大して示している。

【0013】

評価装置１は、トレーニングの対象者に所定の含嗽動作を行うことを促すガイド情報Ａ１を表示部１２に表示させると共に、ガイド情報Ａ１に従って含嗽動作を行う対象者を撮影部１１により撮影する。そして、評価装置１は、撮影された画像を解析することにより対象者の含嗽動作を評価し、評価結果Ａ２を表示部１２に表示させる。

【0014】

図２に示すガイド情報Ａ１は、人の顔付近を表す画像上に含嗽動作を行うべき位置を示す破線の円を描画すると共に、当該位置を指し示す白抜き矢印を描画することにより、当該位置で含嗽動作を行うことを促すものである。具体的には、ガイド情報Ａ１は、人の顔の鏡像画像により、対象者の口腔右側（右頬の口腔内部側）で含嗽動作を行うことを促している。なお、ガイド情報Ａ１における人の顔は、鏡像画像でなくてもよい。鏡像画像ではない場合、図２のガイド情報Ａ１は口腔左側で含嗽動作を行うことを促すものとなる。また、ガイド情報Ａ１における人の顔は、撮影部１１により撮影された対象者の画像であってもよいし、他者の画像であってもよく、アニメーション等であってもよく、動物等の人以外の顔の画像であってもよい。また、当該画像は動画像であってもよいし、静止画像であってもよい。

【0015】

また、図２に示す評価結果Ａ２は、含嗽動作が良好であることを示すと共に、含嗽回数、力加減、周期等についても示している。詳細は後述するが、評価装置１は、含嗽動作に伴い色相が変動する対象者の顔の所定領域における色相の変動を示す色相変動データから含嗽動作を評価する。この構成は、本願発明者が、実験により、含嗽動作に応じて対応する顔の部位の色相が変動することを見出したことに基づくものであり、当該構成によれば含嗽動作を適切に評価することが可能である。

【0016】

なお、図２には、評価装置１がタブレット型の端末装置である例を示している。例えば、所定の評価プログラム（アプリと呼ぶこともできる）を端末装置にインストールすることにより当該端末装置を評価装置１として機能させることもできる。また、評価装置１はタブレット型の端末装置に限られない。例えば、評価装置１としてパーソナルコンピュータ等を適用することもできるし、ゲーム機等の他の機能を主とする装置に評価装置１としての機能を持たせることもできる。

【0017】

〔評価装置の構成〕
評価装置１のより詳細な構成を図１に基づいて説明する。図１は、評価装置１の要部構成の一例を示すブロック図である。図示のように、評価装置１は、上述の撮影部１１および表示部１２を備えていると共に、評価装置１の各部を統括して制御する制御部１０と、評価装置１が使用する各種データを記憶する記憶部１３を備えている。さらに、評価装置１は、評価装置１が他の装置と通信するための通信部１４と、評価装置１に対する各種データの入力を受け付ける入力部１５を備えている。なお、入力部１５は例えばタッチパネルであってもよく、この場合、当該タッチパネルが入力部１５と表示部１２を兼ねることになる。

【0018】

制御部１０には、トレーニング支援部１０１、画像取得部１０２、特徴点検出部１０３、取得部１０４、位置判定部１０５、回数判定部１０６、周期判定部１０７、力加減判定部１０８、評価部１０９、および出力制御部１１０が含まれている。また、取得部１０４には、位置変動データ生成部１０４１と色相変動データ生成部１０４２が含まれる。なお、以下では、位置判定部１０５、回数判定部１０６、周期判定部１０７、および力加減判定部１０８を総称して「各判定部」と呼ぶことがある。

【0019】

トレーニング支援部１０１は、含嗽による口腔のトレーニングを支援する。具体的には、トレーニング支援部１０１は、トレーニングの対象者に所定の含嗽動作を行うことを促すガイド情報を表示部１２に表示させる。ガイド情報には、行うべき含嗽動作の種類の他、継続時間や周期等が含まれていてもよい。含嗽動作の種類としては、例えば、唇を軽く閉じて両頬で含嗽動作を行う、唇を尖らせて両頬で含嗽動作を行う、左右の口腔で交互に含嗽動作を行う、口腔前庭上側（口腔内の中央位置に対して上方側の空間）で含嗽動作を行う、および口腔前庭下側（口腔内の中央位置に対して下方側の空間）で含嗽動作を行う、等が挙げられる。

【0020】

画像取得部１０２は、対象者の含嗽の様子を時系列で撮影した画像を取得する。例えば、画像取得部１０２は、トレーニング支援部１０１が表示させるガイド情報に従って含嗽動作を行う対象者を撮影部１１に撮影させて、撮影部１１が撮影する画像を取得してもよい。なお、撮影部１１は、動画像を撮影してもよいし、時系列を構成する複数の静止画像を撮影してもよい。前者の場合、画像取得部１０２は、撮影された動画像から当該動画像を構成するフレーム画像を抽出し、当該フレーム画像を対象者の含嗽の様子を時系列で撮影した画像として取得すればよい。

【0021】

特徴点検出部１０３は、画像取得部１０２が取得する画像から、対象者の顔における所定の特徴点を検出する。詳細は後述するが、特徴点検出部１０３は、含嗽動作に伴って動く特徴点を検出すると共に、含嗽動作に伴って色相が変動する領域を検出する。

【0022】

取得部１０４は、対象者の含嗽の様子を時系列で撮影した画像から算出される、含嗽動作に伴い色相が変動する対象者の顔の所定領域における色相の変動を示す色相変動データを取得する。また、取得部１０４は、上記画像から算出される、含嗽動作に伴い動く対象者の顔の各特徴点の位置の変動を示す位置変動データを取得する。

【0023】

位置変動データ生成部１０４１は、上記の位置変動データを生成する。本実施形態では、位置変動データ生成部１０４１に位置変動データを生成させることにより、位置変動データを取得する例を説明するが、取得部１０４は他の装置で生成された位置変動データを入力部１５または通信部１４を介して取得するものであってもよい。位置変動データは、各特徴点の位置の変動を示すものであればよく、例えば、各特徴点の時系列の座標であってもよいし、当該座標から算出された値（例えば変動の周期、変動幅等）であってもよい。

【0024】

色相変動データ生成部１０４２は、上記の色相変動データを生成する。本実施形態では、色相変動データ生成部１０４２に色相変動データを生成させることにより、色相変動データを取得する例を説明するが、取得部１０４は他の装置で生成された色相変動データを入力部１５または通信部１４を介して取得するものであってもよい。なお、色相変動データの詳細は後述する。

【0025】

位置判定部１０５は、取得部１０４が取得する色相変動データから含嗽が行われている位置を判定する。回数判定部１０６は、取得部１０４が取得する色相変動データから所定期間における含嗽の回数を判定する。周期判定部１０７は、取得部１０４が取得する色相変動データから含嗽の周期を判定する。力加減判定部１０８は、取得部１０４が取得する色相変動データから含嗽動作の力加減を判定する。各判定部が実行する判定の詳細については後述する。

【0026】

評価部１０９は、色相変動データに基づいて対象者の含嗽動作を評価する。また、評価部１０９は、色相変動データと位置変動データとを用いて上記の評価を行ってもよい。例えば、評価部１０９は、ガイド情報に示される含嗽動作が正しく行われているか否を、位置変動データおよび色相変動データに基づいて評価してもよい。この場合、含嗽動作が正しく行われていれば高評価、正しく行われていなければ低評価となる。当該評価は各判定部の判定結果を用いて行うことができる。

【0027】

例えば、口腔右側で１０回以上の含嗽動作を所定範囲内の周期で行うことを促すガイド情報が表示されたとする。この場合、評価部１０９は、位置判定部１０５が判定した位置が口腔右側であるか否か、回数判定部１０６が判定した回数が１０回以上であるか否か、周期判定部１０７が判定した周期が所定範囲内であるか否か、および力加減判定部１０８の判定結果が所定の下限値以上の力で含嗽されたことを示しているか否か、等に応じて対象者の含嗽動作を評価してもよい。評価結果は、良い、普通、悪い等の段階的な評価であってもよいし、点数による評価であってもよい。点数で評価する場合、各判定部の判定結果に対する点数の付与基準を予め定めておけばよい。

【0028】

出力制御部１１０は、評価部１０９が評価した結果に応じた情報を出力装置に出力させる。これにより、評価結果に応じた情報を対象者に認識させることができる。出力装置は評価装置１が備えているものであってもよく、評価装置１の外部の装置であってもよい。また、出力態様も特に限定されず、例えば、表示出力、音声出力、および印字出力の少なくとも何れかであってもよい。例えば、出力制御部１１０は、図２の例のように評価結果を表示部１２に表示させてもよい。

【0029】

評価結果に応じた上記の情報は、例えば、評価部１０９による総合的な評価結果（良し悪しを示す文字列、点数、および画像等）を含むものであってもよいし、各判定部の個別の判定結果を含むものであってもよい。また、評価結果が良好であった場合、出力制御部１１０は、含嗽動作によるトレーニングを継続する動機付けとなるような肯定的なコメントを表示させてもよい。例えば、出力制御部１１０は、「とても良いうがいができています。このまま維持できるようにしましょう。」等のコメントを表示させてもよい。また、評価結果が平均的なものであった場合、出力制御部１１０は、「普通にうがいができているようです。うがいをしにくくなる前に対策しましょう。」等のコメントを表示させてもよい。

【0030】

また、出力制御部１１０は、正しい含嗽に誘導するための情報を表示させてもよい。例えば、出力制御部１１０は、対象者が含嗽動作を行った位置が誤っていた場合には、正しい位置を示す情報や、正しい位置で含嗽動作を行うコツ等を示す情報を表示させてもよい。また、例えば、出力制御部１１０は、対象者の含嗽動作の力加減が弱かった場合には、より力強く含嗽動作を行うことを促す「もっと力強くうがいしましょう。」等のメッセージを表示させてもよい。これらの情報を出力させるタイミングは特に限定されず、例えば、出力制御部１１０は、これらの情報を含嗽動作中に出力させてもよいし、含嗽動作の終了後に出力させてもよく、含嗽動作中と含嗽動作終了後の両方で出力させてもよい。

【0031】

この他にも、出力制御部１１０は、例えば、評価結果に応じて、含嗽によるトレーニング効果をさらに高めるための手法や商品を示す情報を表示させてもよい。例えば、出力制御部１１０は、ある程度力強く含嗽動作を行うことができている対象者に対しては、粘度の高い洗口液の使用を勧めるコメントを表示し、含嗽動作の力強さが通常程度の対象者に対しては、上記の洗口液よりも粘度が低い洗口液の使用を勧めるコメントを表示してもよい。

【0032】

以上のように、評価装置１は、対象者の含嗽の様子を時系列で撮影した画像から算出される、含嗽動作に伴い色相が変動する対象者の顔の所定領域における色相の変動を示す色相変動データを取得する取得部１０４と、色相変動データに基づいて対象者の含嗽動作を評価する評価部１０９と、を備える。上述のとおり、本願発明者の実験により含嗽動作に応じて顔の所定領域の色相が変動することが見出されており、含嗽動作を評価するにあたり色相変動データを用いる上記の構成によれば、含嗽動作を適切に評価することが可能になる。

【0033】

また、以上のように、取得部１０４は、含嗽動作に伴い動く対象者の顔の各特徴点の位置の変動を示す位置変動データについても取得し、評価部１０９は、位置変動データと色相変動データとに基づいて対象者の含嗽動作を評価してもよい。これにより、含嗽動作の評価精度を高めることができる。

【0034】

また、以上のように、評価装置１は、色相変動データから、含嗽が行われている位置を判定する位置判定部１０５をさらに備える。これにより、含嗽が行われている位置の正否を加味した評価を行ったり、含嗽が行われている位置を対象者に提示したりすることが可能になる。

【0035】

また、以上のように、評価装置１は、色相変動データから、所定期間における含嗽の回数を判定する回数判定部１０６をさらに備える。これにより、含嗽の回数を加味した評価を行ったり、含嗽の回数を対象者に提示したりすることが可能になる。

【0036】

また、以上のように、評価装置１は、色相変動データから、含嗽の周期を判定する周期判定部１０７をさらに備える。これにより、含嗽の周期の適否を加味した評価を行ったり、含嗽の周期を対象者に提示したりすることが可能になる。

【0037】

また、以上のように、評価装置１は、色相変動データから、含嗽動作の力加減を判定する力加減判定部１０８をさらに備える。これにより、含嗽動作の力加減の良否を加味した評価を行ったり、含嗽動作の力加減を対象者に提示したりすることが可能になる。

【0038】

〔特徴点の検出について〕
特徴点検出部１０３による特徴点の検出について図３に基づいて説明する。図３は、特徴点検出部１０３が検出する特徴点の例を示す図である。図３には対象者の顔の正面図Ｂ１と側面図Ｂ２とを示しており、ｂ１～ｂ９が検出する特徴点の例を示している。ｂ１は鼻の下端部（以下、鼻下と称する）、ｂ２は右側の鼻翼、ｂ３は上唇の頂点、ｂ４は下唇の頂点、ｂ５は右側の口角、ｂ６は顎の中心部、ｂ７は頬の輪郭、ｂ８が顎の下端部（以下、顎下と称する）、ｂ９が左側の口角である。

【0039】

特徴点検出部１０３は、これらの特徴点の全部または一部を検出してもよい。なお、鼻翼、頬の輪郭については左側についても検出してもよい。これらの特徴点は、含嗽に伴って動く点、または当該点の動きを特定する際の基準となる点である。例えば、鼻下ｂ１は含嗽動作に伴って動く点ではないが、鼻下ｂ１を基準とすることにより、顔全体が動いた場合であっても上唇の頂点ｂ３の動きを的確に特定することができる。鼻下ｂ１を基準とする場合、位置変動データ生成部１０４１は、鼻下ｂ１の位置に対する上唇の頂点ｂ３の相対位置の変動を示す位置変動データを生成すればよい。

【0040】

上記特徴点の検出方法は任意である。例えば、特徴点検出部１０３は、特徴点マッチング等の画像処理により特徴点を検出してもよいし、機械学習により生成された特徴点の検出モデルを用いて特徴点を検出してもよい。

【0041】

また、特徴点検出部１０３は、含嗽動作に伴って色相が変動する所定領域を検出する。例えば、特徴点検出部１０３は、検出した上記特徴点を基準として当該領域を検出してもよい。例えば、特徴点検出部１０３は、口角ｂ５と頬の輪郭ｂ７との間、つまり図３の正面図Ｂ１における白抜き矢印で示す区間上において上記領域を検出してもよい。この領域は対象者の右頬上の領域となる。右頬上の領域の色相には、口腔右側で行われた含嗽動作が反映される。なお、上記「領域」は、少なくとも１つの画素からなる領域である。

【0042】

また、特徴点検出部１０３は、鼻翼ｂ２と頬の輪郭ｂ７との間の領域を検出してもよい。また、特徴点検出部１０３は、上唇の頂点ｂ３と鼻下ｂ１との間の領域を検出してもよい。これらの領域の色相には、口腔前庭上側で行われた含嗽動作が反映される。

【0043】

また、特徴点検出部１０３は、下唇の頂点ｂ４と顎の中心ｂ６あるいは顎下ｂ８との間の領域を検出してもよい。この領域の色相には、口腔前庭下側で行われた含嗽動作が反映される。

【0044】

なお、上記領域は特徴点とは独立に検出してもよい。この場合、例えば、特徴点検出部１０３は、特徴点マッチング等の画像処理により上記領域を検出してもよいし、機械学習により生成された上記領域の検出モデルを用いて上記領域を検出してもよい。

【0045】

このように、色相変動データの算出対象となる所定領域は、口角と頬の輪郭との間の領域、鼻翼と頬の輪郭との間の領域、上唇の頂点と鼻下の間の領域、および下唇の頂点と顎の中心または顎の下端部との間の領域、の少なくともいずれかであってもよい。これらの領域は、何れも含嗽時に色相が変動することが確認された領域であるから、これらのいずれかを所定領域として検出することにより、妥当な評価結果を得ることができる。

【0046】

〔色相変動データについて〕
色相変動データについて図４に基づいて説明する。図４は、色相変動データの例を示す図である。より詳細には、図４には、画素値の濃淡により所定領域における色相の変動を表した色相変動データＣ１～Ｃ３を示している。色相変動データＣ１は、左右の口腔内で交互に含嗽動作を行ったときに撮影された画像を元に生成されたものであり、色相変動データＣ２は、口腔前庭上側で含嗽動作を行ったときに撮影された画像を元に生成されたものであり、色相変動データＣ３は、口腔前庭下側で含嗽動作を行ったときに撮影された画像を元に生成されたものである。

【0047】

また、色相変動データＣ１～Ｃ３の右側には、それらの元になった領域を示している。つまり、色相変動データＣ１は、左側の口角Ｃ１１と頬の輪郭上の点Ｃ１２との間の領域における色相の変動を示している。また、色相変動データＣ２は、左側の鼻翼Ｃ２１と頬の輪郭上の点Ｃ２２との間の領域における色相の変動を示し、色相変動データＣ３は、下唇の上端部Ｃ３１と顎下Ｃ３２との間の領域における色相の変動を示している。

【0048】

なお、色相変動データの算出対象となる領域は、含嗽動作を反映した色相変動データが生成できる位置および範囲とすればよく、その形状等は特に限定されない。例えば、検出された特徴点を結ぶ線分上の領域としてもよいし、当該線分または当該線分上の点を基準として設定された矩形、円形、あるいは楕円形等の領域としてもよい。

【0049】

色相変動データＣ１～Ｃ３の横軸は時間であり、縦軸は領域内の位置を示している。例えば、色相変動データＣ１は、Ｃ１１からＣ１２までの領域における色相を示している。つまり、色相変動データＣ１において、上側ほどＣ１２に近い位置における色相を示し、下側ほどＣ１１に近い位置における色相を示している。

【0050】

色相変動データＣ１からは、時刻ｔ１を境に色相のパターンに変化が生じ始め、その後、色相は周期的なパターンで変化したことが分かる。同様に、色相変動データＣ２からは時刻ｔ２以降に、色相変動データＣ３からは時刻ｔ３以降に、色相が周期的なパターンで変化したことが分かる。これらは、含嗽動作時に含嗽動作が行われた位置付近の皮膚が拡がり、その色相が変化したことが反映されたものである。

【0051】

したがって、位置判定部１０５は、含嗽動作が行われ得る複数の位置のうち、含嗽動作時に特有の上記のようなパターンが現れた位置を、含嗽が行われている位置と判定することができる。例えば、色相変動データ生成部１０４２が、Ｃ１１とＣ１２の間の領域における時系列の色相値を示す色相変動データを生成したとする。この場合、位置判定部１０５は、生成された色相変動データに、色相変動データＣ１に示されるような特徴的なパターンが現れていれば、含嗽動作が行われている位置を口腔左側と判定する。

【0052】

また、含嗽動作に伴う、含嗽動作が行われた位置付近の皮膚の拡がりは、含嗽の一動作ごとに生じる。このため、回数判定部１０６は、色相変動データにおける画素値の周期的な変化を検出して、その変化の回数を含嗽動作の回数と判定することができる。例えば、図中に白抜き矢印で示す期間Ｔには１０回の周期的な変化が現れている。この場合、回数判定部１０６は、期間Ｔにおける含嗽動作の回数を１０回と判定する。

【0053】

また、上述のようにして含嗽動作の回数を判定することにより、含嗽動作の周期を判定することも可能になる。つまり、周期判定部１０７は、回数判定部１０６が判定した、所定期間における含嗽動作の回数で、当該期間の値を除することにより、含嗽動作の周期を判定することができる。例えば、期間Ｔにおける含嗽動作の周期は、Ｔ／１０と判定される。

【0054】

また、含嗽動作が行われている位置付近の皮膚の色相は、その位置で行われている含嗽動作の力加減を示しているといえる。これは、力強く含嗽動作を行う程、その位置付近の皮膚の色相の変化は大きくなるためである。このため、力加減判定部１０８は、所定領域における色相変動データを用いて、当該領域に対応する位置で行われた含嗽動作の力加減を判定することができる。例えば、色相値と力加減を示す数値との対応関係を予め定式化しておけば、力加減判定部１０８は、色相値から力加減を示す数値を算出することができる。

【0055】

なお、力加減判定部１０８は、このようにして算出した数値を力加減の判定結果としてもよいし、算出された数値が予め設定された範囲の何れに該当するかにより、段階的な判定結果を生成してもよい。例えば、力加減の正常範囲を予め設定しておいてもよく、この場合、力加減判定部１０８は、算出した数値が一般的な強度の範囲内であれば「通常」、一般的な強度を超えていれば「強い」、一般的な強度に届いていなければ「弱い」と判定してもよい。

【0056】

〔色相変動データと位置変動データの両方を考慮した判定および評価について〕
含嗽動作時には、特徴点検出部１０３が検出する特徴点の位置が含嗽動作に伴って周期的に変動するから、位置変動データにも含嗽動作に伴う周期的な特徴が現れる。このため、各判定部は、色相変動データに加えて位置変動データについても用いて判定を行ってもよい。

【0057】

例えば、位置判定部１０５は、位置変動データを用いて判定した含嗽動作の位置と、色相変動データを用いて判定した含嗽動作の位置とが一致した場合に、当該位置を含嗽動作の位置と判定してもよい。これにより、含嗽動作の位置の判定精度を向上させることができる。

【0058】

また、例えば、回数判定部１０６は、色相変動データを用いて判定した含嗽動作の回数と、位置変動データを用いて判定した含嗽動作の回数との平均値を、含嗽動作の回数としてもよい。また、周期判定部１０７は、このようにして算出された回数をもとに周期を判定してもよく、これにより、色相変動データと位置変動データの両方を考慮した周期が算出される。

【0059】

また、力加減判定部１０８は、色相変動データを用いて算出した力加減を示す数値と、位置変動データを用いて算出した力加減を示す数値との平均値を、力加減の判定結果としてもよい。位置変動データを用いて力加減を判定する場合、例えば、特徴点の変動幅が大きいほど力が入っているとの前提に基づき、特徴点の変動幅に応じた、力加減を示す数値を算出してもよい。

【0060】

以上のようにして、各判定部が色相変動データと位置変動データの両方を考慮した判定を行う場合、評価部１０９は、それらの判定結果を用いて含嗽動作を評価すれば、色相変動データと位置変動データの両方を考慮した評価結果が得られる。

【0061】

また、評価部１０９は、色相変動データに基づく判定の結果と、位置変動データに基づく判定の結果とを用いて含嗽動作を評価してもよい。この場合も、色相変動データと位置変動データの両方を考慮した評価結果が得られる。例えば、評価部１０９は、位置変動データに基づく判定の結果と、色相変動データに基づく判定の結果と、のそれぞれについて評価値を算出し、それらの和あるいは平均値を総合的な評価結果としてもよい。例えば、位置判定部１０５が、位置変動データを用いて含嗽動作の位置を判定すると共に、色相変動データを用いて含嗽動作を判定したとする。この場合、評価部１０９は、両方の判定結果が含嗽動作を行うべき位置と一致していれば４点、一方の判定結果のみが含嗽動作を行うべき位置と一致していれば２点、何れの判定結果も含嗽動作を行うべき位置と一致していなければ０点、のように評価してもよい。

【0062】

また、含嗽動作の評価においては、１つの含嗽方法に対して、１通りの位置変動および色相変動が対応付けられていてもよいし、複数通りの位置変動および色相変動が対応付けられていてもよい。例えば、左右の口腔で交互に含嗽動作を行う含嗽方法を実行させるとする。この場合、評価部１０９は、口内各所における色相変動データおよび位置変動データに基づいて、口腔右側および左側のそれぞれにおける位置変動および色相変動が適切なものとなっているかを評価してもよい。これにより、口腔の複数の領域を用いた含嗽動作を評価したり、検出したりすることが可能になる。

【0063】

〔処理の流れ（評価方法）〕
評価装置１が実行する処理（評価方法）の流れを図５に基づいて説明する。図５は、評価装置１が実行する処理の一例を示すフローチャートである。なお、以下では、含嗽動作中に評価および評価結果の出力を行う例を説明する。含嗽動作後に評価を行う場合、以下のＳ１、Ｓ８、Ｓ９は省略される。

【0064】

Ｓ１では、トレーニング支援部１０１が表示部１２にガイド情報を表示させる。上述のように、ガイド情報は、トレーニングの対象者に所定の含嗽動作を行うことを促すための情報である。

【0065】

Ｓ２では、画像取得部１０２が、対象者の含嗽の様子を時系列で撮影した画像を取得する。例えば、画像取得部１０２は、Ｓ１で表示されたガイド情報に従って含嗽動作を行う対象者を撮影部１１に撮影させて、撮影部１１が撮影する画像を取得してもよい。

【0066】

Ｓ３では、特徴点検出部１０３が、Ｓ２で取得された各画像から位置変動データを生成するための特徴点を検出する。また、特徴点検出部１０３は、色相変動データの算出対象となる領域を検出する。例えば、特徴点検出部１０３は、上述のように、各画像から位置変動データを生成するための特徴点を検出し、検出した特徴点を基準として上記領域を検出してもよい。

【0067】

Ｓ４では、取得部１０４が位置変動データを取得する。例えば、取得部１０４は、位置変動データ生成部１０４１に、Ｓ３で各画像から検出された特徴点の座標を用いて、含嗽動作が行われる可能性のある位置のそれぞれについて、時系列の位置変動データを少なくとも１つ生成させることにより、位置変動データを取得してもよい。

【0068】

具体例を挙げれば、位置変動データ生成部１０４１は、口腔右側、口腔左側、口腔前庭上側、および口腔前庭下側のそれぞれについて位置変動データを生成してもよい。この場合、位置変動データ生成部１０４１は、口腔右側に関する特徴点である口角（図３のｂ５）の頬の輪郭（図３のｂ７）に対する相対位置の変動を示す位置変動データを生成してもよい。また、位置変動データ生成部１０４１は、口腔前庭上側に関する特徴点である上唇の頂点（図３のｂ３）の鼻下（図３のｂ１）に対する相対位置の変動を示す位置変動データを生成してもよい。口腔左側および口腔前庭下側の位置変動データも同様にして生成される。

【0069】

Ｓ５では、取得部１０４が色相変動データを取得する。例えば、取得部１０４は、色相変動データ生成部１０４２に、含嗽動作が行われる可能性のある位置のそれぞれについて、Ｓ３で各画像から検出された領域の色相値を特定させ、特定された色相値を要素とする時系列の色相変動データを生成させることにより、色相変動データを取得してもよい。なお、上記領域の色相値は、当該領域に含まれる各画素の色相値の代表値（例えば平均値）とすればよい。また、Ｓ４の処理よりも先にＳ５の処理を実行するようにしてもよいし、Ｓ４の処理とＳ５の処理とを並行して実行するようにしてもよい。

【0070】

Ｓ６では、評価部１０９が、含嗽動作の評価を行う。具体的には、評価部１０９による評価に先立ち、各判定部がＳ５で生成された色相変動データとＳ４で生成された位置変動データの少なくとも何れかを用いて判定を行う。例えば、位置判定部１０５は、Ｓ５で生成された色相変動データを用いて含嗽動作が行われた位置を判定してもよい。また、回数判定部１０６はＳ４で生成された位置変動データとＳ５で生成された色相変動データとを用いて所定期間に含嗽動作が行われた回数を判定してもよい。また、周期判定部１０７は上記回数を用いて上記所定期間における含嗽動作の周期を判定し、力加減判定部１０８はＳ４で生成された位置変動データとＳ５で生成された色相変動データを用いて上記所定期間における含嗽動作の力加減を判定してもよい。そして、評価部１０９は、これらの判定結果に基づいて対象者の含嗽動作を評価する。

【0071】

Ｓ７では、出力制御部１１０が、Ｓ６の評価結果を例えば表示部１２に出力させる。続いて、Ｓ８では、トレーニング支援部１０１が、トレーニングおよび評価を終了するか否かを判定する。Ｓ８でＹＥＳと判定された場合には図５の処理は終了し、Ｓ８でＮＯと判定された場合にはＳ９の処理に進む。なお、Ｓ８において終了と判定する条件（以下、終了条件と呼ぶ）は予め定めておけばよい。例えば、複数種類の含嗽動作を行わせるトレーニングであれば、それらのトレーニングの全てについて、ガイド情報の表示と評価結果の出力が完了していることを終了条件としてもよい。

【0072】

Ｓ９では、トレーニング支援部１０１が、表示部１２に表示させるガイド情報を更新する。これにより、対象者には、次に行うべき含嗽動作が提示される。この後処理はＳ２に戻る。

【0073】

以上のように、本実施形態の評価方法は、対象者の含嗽の様子を時系列で撮影した画像から算出される、含嗽動作に伴い色相が変動する対象者の顔の所定領域における色相の変動を示す色相変動データを取得するステップ（Ｓ５）と、色相変動データに基づいて対象者の含嗽動作を評価するステップ（Ｓ６）と、を含む。よって、含嗽動作を適切に評価することが可能になる。

【0074】

〔実施形態２〕
本発明の実施形態２について図６に基づいて説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

【0075】

図６は、本実施形態に係る評価システムの構成例を示す図である。図示のように、評価システム５は、評価装置２と情報処理装置３を含む。評価装置２は、撮影部１１、通信部１４、および入力部１５を備えている点で実施形態１の評価装置１と共通しており、制御部１０が制御部２０に、記憶部１３が記憶部２３に変わっている点で評価装置１と相違している。情報処理装置３は、実施形態１における特徴点検出部１０３、位置変動データ生成部１０４１、および色相変動データ生成部１０４２の機能を備えている。また、情報処理装置３は、評価装置２と有線または無線で通信する機能も備えている。

【0076】

制御部２０には、トレーニング支援部１０１、画像取得部１０２、画像送信部２０１、取得部２０２、評価部２０３、および出力制御部１１０が含まれている。また、記憶部２３には、評価モデル２３１が記憶されている。

【0077】

画像送信部２０１は、画像取得部１０２が取得する、対象者の含嗽の様子を時系列で撮影した画像を情報処理装置３に送信する。また、取得部２０２は、送信された上記画像から情報処理装置３が生成する位置変動データと色相変動データを取得する。

【0078】

そして、評価部２０３は、取得部２０２が取得する色相変動データに基づいて対象者の含嗽動作を評価する。この評価において、評価部２０３は、評価モデル２３１と、取得部２０２が取得する色相変動データに基づいて対象者の含嗽動作を評価する。

【0079】

評価モデル２３１は、複数の被験者のそれぞれの色相変動データを説明変数とし含嗽の評価結果を目的変数とするモデルであり、機械学習により生成されたものである。このように、評価部２０３は、評価モデル２３１を用いて評価を行うから、複数の被験者における色相変動データと含嗽の評価結果との関係に基づいた妥当な評価結果を得ることができる。また、上記説明変数には、複数の被験者の位置変動データが含まれていてもよく、これにより含嗽動作の評価精度を高めることができる。

【0080】

なお、上記機械学習のアルゴリズムは特に限定されない。例えば、評価モデル２３１は、重回帰分析、ニューラルネットワーク、または決定木等により生成されたものであってもよい。また、評価モデル２３１に出力させる評価結果も任意であり、例えば評価結果を示す数値、すなわち評価値を出力するように学習した評価モデル２３１を用いてもよいし、含嗽動作の分類結果（例えば、「良い」「悪い」等）を出力するように学習した評価モデル２３１を用いてもよい。

【0081】

このように、評価装置２は、対象者の含嗽の様子を時系列で撮影した画像から算出される、含嗽動作に伴い色相が変動する対象者の顔の所定領域における色相の変動を示す色相変動データを取得する取得部２０２と、色相変動データに基づいて対象者の含嗽動作を評価する評価部２０３と、を備える。よって、含嗽動作を適切に評価することが可能になる。

【0082】

なお、評価装置２の制御部２０にも、評価装置１と同様の各判定部を含めてもよい。この場合、評価部２０３は、評価モデル２３１により得られた評価結果と、各判定部の判定結果とを総合して判定結果を生成してもよいし、評価モデル２３１により得られた評価結果とは別に、各判定部の判定結果を出力するようにしてもよい。

【0083】

〔システム構成の他の例〕
上述の実施形態で説明した各処理の実行主体は任意であり、上述の例に限られない。つまり、評価装置１の機能は、複数の情報処理装置で構成されるシステムにより実現することも可能であり、また、評価システム５を構成する装置は適宜変更することができる。例えば、評価装置２とは別の撮影装置を用いて含嗽の様子を撮影してもよく、この場合、評価装置２は、撮影装置から通信を介して直接、または人手を介して取得した画像を取得して情報処理装置３に送信すればよい。また、評価についても情報処理装置３で行うようにしてもよく、この場合、評価装置２は、情報処理装置３から評価の結果を取得して出力すればよい。

【0084】

また、図５に示した各ステップの実行主体も任意である。つまり、図５に示される評価方法は、１つの情報処理装置に実行させることもできるし、複数の情報処理装置に各ステップの処理を分担させることにより実行することもできる。

【0085】

〔ソフトウェアによる実現例〕
評価装置１および２（以下、「装置」と呼ぶ）の機能は、当該装置としてコンピュータを機能させるためのプログラムであって、当該装置の各制御ブロック（特に制御部１０または２０に含まれる各部）としてコンピュータを機能させるためのプログラム（評価プログラム）により実現することができる。

【0086】

この場合、上記装置は、上記プログラムを実行するためのハードウェアとして、少なくとも１つの制御装置（例えばプロセッサ）と少なくとも１つの記憶装置（例えばメモリ）を有するコンピュータを備えている。この制御装置と記憶装置により上記プログラムを実行することにより、上記各実施形態で説明した各機能が実現される。

【0087】

上記プログラムは、一時的ではなく、コンピュータ読み取り可能な、１または複数の記録媒体に記録されていてもよい。この記録媒体は、上記装置が備えていてもよいし、備えていなくてもよい。後者の場合、上記プログラムは、有線または無線の任意の伝送媒体を介して上記装置に供給されてもよい。

【0088】

また、上記各制御ブロックの機能の一部または全部は、論理回路により実現することも可能である。例えば、上記各制御ブロックとして機能する論理回路が形成された集積回路も本発明の範疇に含まれる。この他にも、例えば量子コンピュータにより上記各制御ブロックの機能を実現することも可能である。

【0089】

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

【符号の説明】

【0090】

１ 評価装置
１０４ 取得部
１０５ 位置判定部
１０６ 回数判定部
１０７ 周期判定部
１０８ 力加減判定部
１０９ 評価部
１１０ 出力制御部
２ 評価装置
２０２ 取得部
２０３ 評価部
２３１ 評価モデル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】