特開 2023-49604 舌状態推定装置、舌状態推定方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023049604

(43)【公開日】2023-04-10

(54)【発明の名称】舌状態推定装置、舌状態推定方法及びプログラム

(51)【国際特許分類】

   A61B 10/00 20060101AFI20230403BHJP

   A61B 1/24 20060101ALI20230403BHJP

   A61B 1/045 20060101ALI20230403BHJP

【ＦＩ】

A61B10/00 E

A61B1/24

A61B1/045 614

A61B1/045 618

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2021159436

(22)【出願日】2021-09-29

(71)【出願人】

【識別番号】304027279

【氏名又は名称】国立大学法人 新潟大学

(74)【代理人】

【識別番号】100095407

【弁理士】

【氏名又は名称】木村 満

(74)【代理人】

【識別番号】100175019

【弁理士】

【氏名又は名称】白井 健朗

(74)【代理人】

【識別番号】100195648

【弁理士】

【氏名又は名称】小林 悠太

(74)【代理人】

【識別番号】100104329

【弁理士】

【氏名又は名称】原田 卓治

(74)【代理人】

【識別番号】100132883

【弁理士】

【氏名又は名称】森川 泰司

(72)【発明者】

【氏名】小野 高裕

(72)【発明者】

【氏名】堀 一浩

(72)【発明者】

【氏名】大川 純平

【テーマコード（参考）】

4C161

【Ｆターム（参考）】

4C161AA08

4C161CC06

4C161HH51

4C161LL01

4C161SS21

(57)【要約】

【課題】簡易に舌の状態を評価することができる舌状態推定装置、舌状態推定方法及びプログラムを提供する。
【解決手段】舌状態推定装置１００は、識別部３１及び舌苔推定部３２を備える。識別部３１は、撮影部１０が撮影した口腔が写された口腔画像を取得する。識別部３１は、口腔画像から舌を含む範囲の画像である舌範囲画像を識別する。舌苔推定部３２は、舌範囲画像を分割して得られる複数の区画のうち、舌を表す舌区画毎に舌苔の付着度を調べるための舌苔特徴量を算出する。舌苔推定部３２は、算出した舌苔特徴量に基づいて舌区画毎に舌苔の付着度の推定値を算出する。
【選択図】図１

【特許請求の範囲】

【請求項1】

口腔が写された口腔画像から舌を含む範囲の画像である舌範囲画像を識別する識別手段と、
前記舌範囲画像を分割して得られる複数の区画のうち、前記舌を表す舌区画毎に舌苔の付着度を調べるための舌苔特徴量を算出し、算出した前記舌苔特徴量に基づいて前記舌区画毎に前記舌苔の付着度の推定値を算出する舌苔推定手段と、を備える、
舌状態推定装置。

【請求項2】

前記舌苔推定手段は、前記舌範囲画像が入力された際に、前記舌苔特徴量を算出して前記舌苔の付着度の推定値を算出するように、教師データを用いた機械学習が施された学習済みニューラルネットワークを有する、
請求項１に記載の舌状態推定装置。

【請求項3】

前記舌苔推定手段が有する学習済みニューラルネットワークは、前記舌範囲画像が入力された際に、前記舌範囲画像を分割して得られる複数の区画から前記舌区画を選択する、
請求項２に記載の舌状態推定装置。

【請求項4】

前記舌苔の付着度は、予め定められた複数の段階で表され、
前記舌苔推定手段は、前記舌区画毎に算出した前記舌苔の付着度の推定値の合計を百分率で表した評価値を出力する、
請求項１～３のいずれか１項に記載の舌状態推定装置。

【請求項5】

前記舌範囲画像を分割して得られる複数の区画から特定区画を選択し、前記特定区画において舌粘膜の湿潤度を調べるための湿潤特徴量を算出し、算出した前記湿潤特徴量に基づいて前記舌粘膜の湿潤度の推定値を算出する湿潤度推定手段をさらに備える、
請求項１～４のいずれか１項に記載の舌状態推定装置。

【請求項6】

前記識別手段が識別する前記舌範囲画像は矩形であり、
前記舌苔推定手段及び前記湿潤度推定手段の各々は、前記舌範囲画像が行列状に分割された複数の区画を得る、
請求項５に記載の舌状態推定装置。

【請求項7】

前記湿潤度推定手段は、前記舌範囲画像が入力された際に、前記湿潤特徴量を算出して前記舌粘膜の湿潤度の推定値を算出するように、教師データを用いた機械学習が施された学習済みニューラルネットワークを有する、
請求項５又は６に記載の舌状態推定装置。

【請求項8】

前記湿潤度推定手段が有する学習済みニューラルネットワークは、前記舌範囲画像を分割して得られる複数の区画から、舌先の近傍に相当する区画を前記特定区画として選択する、
請求項７に記載の舌状態推定装置。

【請求項9】

口腔が写された口腔画像から舌を含む範囲の画像である舌範囲画像を識別するステップと、
前記舌範囲画像を分割して得られる複数の区画のうち、前記舌を表す舌区画毎に舌苔の付着度を調べるための舌苔特徴量を算出し、算出した前記舌苔特徴量に基づいて前記舌区画毎に前記舌苔の付着度の推定値を算出するステップと、を備える、
舌状態推定方法。

【請求項10】

コンピュータを、
口腔が写された口腔画像から舌を含む範囲の画像である舌範囲画像を識別する識別手段、
前記舌範囲画像を分割して得られる複数の区画のうち、前記舌を表す舌区画毎に舌苔の付着度を調べるための舌苔特徴量を算出し、算出した前記舌苔特徴量に基づいて前記舌区画毎に前記舌苔の付着度の推定値を算出する舌苔推定手段、として機能させる、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、舌状態推定装置、舌状態推定方法及びプログラムに関する。

【背景技術】

【0002】

近年、オーラルフレイル、口腔機能低下症などの予防又は診断のため、舌の状態評価の重要性が増している。例えば、特許文献１には、観察対象者の舌に向けて特定の波長の光を発する発光素子と、舌からの蛍光を受ける受光素子と、受光素子が受けた蛍光の光量に基づき舌苔量を推定する推定装置と、を備える舌苔量推定システムが記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１８－１１７３６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載の発明は、推定装置の他に、舌苔量の推定に専用の発光素子及び受光素子を用意する必要があり、簡易に舌の状態を評価する点で改善の余地がある。また、装置を用いずに、評価者が目視によって舌の状態を評価する方法も存在するが、舌の状態評価の度に人為的な作業に頼るのは煩雑である。

【0005】

本発明は、上記実情に鑑みてなされたものであり、簡易に舌の状態を評価することができる舌状態推定装置、舌状態推定方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するため、本発明の第１の観点に係る舌状態推定装置は、
口腔が写された口腔画像から舌を含む範囲の画像である舌範囲画像を識別する識別手段と、
前記舌範囲画像を分割して得られる複数の区画のうち、前記舌を表す舌区画毎に舌苔の付着度を調べるための舌苔特徴量を算出し、算出した前記舌苔特徴量に基づいて前記舌区画毎に前記舌苔の付着度の推定値を算出する舌苔推定手段と、を備える。

【0007】

前記舌苔推定手段は、前記舌範囲画像が入力された際に、前記舌苔特徴量を算出して前記舌苔の付着度の推定値を算出するように、教師データを用いた機械学習が施された学習済みニューラルネットワークを有していてもよい。

【0008】

前記舌苔推定手段が有する学習済みニューラルネットワークは、前記舌範囲画像が入力された際に、前記舌範囲画像を分割して得られる複数の区画から前記舌区画を選択してもよい。

【0009】

前記舌苔の付着度は、予め定められた複数の段階で表され、
前記舌苔推定手段は、前記舌区画毎に算出した前記舌苔の付着度の推定値の合計を百分率で表した評価値を出力してもよい。

【0010】

前記舌状態推定装置は、
前記舌範囲画像を分割して得られる複数の区画から特定区画を選択し、前記特定区画において舌粘膜の湿潤度を調べるための湿潤特徴量を算出し、算出した前記湿潤特徴量に基づいて前記舌粘膜の湿潤度の推定値を算出する湿潤度推定手段をさらに備えていてもよい。

【0011】

前記識別手段が識別する前記舌範囲画像は矩形であり、
前記舌苔推定手段及び前記湿潤度推定手段の各々は、前記舌範囲画像が行列状に分割された複数の区画を得てもよい。

【0012】

前記湿潤度推定手段は、前記舌範囲画像が入力された際に、前記湿潤特徴量を算出して前記舌粘膜の湿潤度の推定値を算出するように、教師データを用いた機械学習が施された学習済みニューラルネットワークを有していてもよい。

【0013】

前記湿潤度推定手段が有する学習済みニューラルネットワークは、前記舌範囲画像を分割して得られる複数の区画から、舌先の近傍に相当する区画を前記特定区画として選択してもよい。

【0014】

上記目的を達成するため、本発明の第２の観点に係る舌状態推定方法は、
口腔が写された口腔画像から舌を含む範囲の画像である舌範囲画像を識別するステップと、
前記舌範囲画像を分割して得られる複数の区画のうち、前記舌を表す舌区画毎に舌苔の付着度を調べるための舌苔特徴量を算出し、算出した前記舌苔特徴量に基づいて前記舌区画毎に前記舌苔の付着度の推定値を算出するステップと、を備える。

【0015】

上記目的を達成するため、本発明の第３の観点に係るプログラムは、
コンピュータを、
口腔が写された口腔画像から舌を含む範囲の画像である舌範囲画像を識別する識別手段、
前記舌範囲画像を分割して得られる複数の区画のうち、前記舌を表す舌区画毎に舌苔の付着度を調べるための舌苔特徴量を算出し、算出した前記舌苔特徴量に基づいて前記舌区画毎に前記舌苔の付着度の推定値を算出する舌苔推定手段、として機能させる。

【発明の効果】

【0016】

本発明によれば、簡易に舌の状態を評価することができる。

【図面の簡単な説明】

【0017】

【図1】本発明の一実施形態に係る舌状態推定装置の構成を示すブロック図。

【図2】同上実施形態に係る舌状態推定処理を示すフローチャート。

【図3】口腔画像の模式図。

【図4】舌範囲画像の模式図であって、舌区画を含む複数の区画を示す図。

【図5】舌範囲画像の模式図であって、特定区画を含む複数の区画を示す図。

【図6】舌苔付着度の推定結果を示す結果画像の図。

【図7】機械学習で舌苔推定部を作成する際の一実施例を示す図であって、（ａ）は学習用データにおける各区画に付されたラベルの内訳を示し、（ｂ）は評価用データにおける各区画に付されたラベルの内訳を示す図。

【図8】舌苔推定部により推定されたＴＣＩとパネリストの評価したＴＣＩの相関を示す図。

【発明を実施するための形態】

【0018】

本発明の一実施形態について図面を参照して説明する。

【0019】

舌状態推定装置１００は、図１に示すように、撮影部１０と、表示部２０と、制御部３０とを備える。

【0020】

撮影部１０は、例えばデジタルカメラから構成され、撮影レンズ１１と、撮像素子１２と、画像処理部１３とを備える。撮像素子１２は、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等から構成され、撮影レンズ１１が結像する像を撮像したデータを画像処理部１３に出力する。画像処理部１３は、撮像素子１２から出力されたデータを処理して画像データ化し、制御部３０に送る。

【0021】

この実施形態では、撮像部１０は、被験者の口腔部分を撮影し、図３に示すように、口腔４が写された口腔画像Ｐ１のデータを制御部３０に送る。口腔画像Ｐ１は、被験者に開口させ、舌５が写るように撮影された画像である。

【0022】

表示部２０は、液晶ディスプレイ、有機ＥＬディスプレイ等から構成され、制御部３０の制御の下で画像を表示する。例えば、表示部２０は、後述の舌状態推定処理の進行状況、推定結果などを表示する。

【0023】

制御部３０は、撮影部１０及び表示部２０の動作を制御する。制御部３０としては、パーソナルコンピュータ、スマートフォン、タブレット端末などの情報端末に実装されたマイクロコントローラを使用できる。なお、撮影部１０及び表示部２０の少なくともいずれかは、前記情報端末に含まれる構成であってもよい。つまり、舌状態推定装置１００の一部または全部は、前記情報端末から構成されてもよい。

【0024】

制御部３０は、内蔵のメモリに記憶しているプログラムを実行することにより、図２に示す舌状態推定処理を実行する。制御部３０は、舌状態推定処理を実行する際の機能として、図１に示すように、識別部３１と、舌苔推定部３２と、湿潤度推定部３３とを備える。以下、これら機能部について、舌状態推定処理とともに説明する。制御部３０は、キーボード、タッチパネル等からなる図示せぬ入力装置からの指示に応じて舌状態推定処理を開始する。

【0025】

（識別部３１）
識別部３１は、舌状態推定処理が開始されると、撮影部１０から取得した口腔画像Ｐ１（画像データ）から、図３に示すように、舌５を含む範囲の画像である舌範囲画像Ｐ２を識別する（ステップＳ１）。この実施形態の舌範囲画像Ｐ２は、矩形である。

【0026】

例えば、識別部３１は、機械学習が施された学習済みニューラルネットワークを有し、当該ニューラルネットワークに基づき舌範囲画像Ｐ２を識別する。この学習済みニューラルネットワークは、口腔画像Ｐ１が入力された際に、舌５を含む範囲を調べるための舌範囲特徴量を算出して舌範囲画像Ｐ２を出力するように、教師データを用いた機械学習が施されている。

【0027】

一実施例として、本願発明者らは、舌５を検出する際の物体検出アルゴリズムとしてＹＯＬＯ（You Only Look Once）ｖ２を用い、教師データとして、口腔画像Ｐ１から舌５を含む範囲を指定した写真２０８枚を機械学習させて識別部３１を作成した。作成した識別部３１により、５９枚の舌範囲画像Ｐ２を評価用データとして出力した結果、識別精度は、５８／５９枚の高精度であった。

【0028】

（舌苔推定部３２）
舌苔推定部３２は、図４に示すように、舌範囲画像Ｐ２を分割して得られる複数の区画のうち、舌５を表す舌区画６毎に舌苔の付着度を調べるための舌苔特徴量を算出する（ステップＳ２）。そして、舌苔推定部３２は、算出した舌苔特徴量に基づき、舌区画６毎に舌苔の付着度の推定値を算出する（ステップＳ３）。

【0029】

例えば、舌苔推定部３２は、機械学習が施された学習済みニューラルネットワークに基づき、上記のように、舌苔特徴量を算出し、舌苔の付着度の推定値を算出する。この学習済みニューラルネットワークは、舌範囲画像Ｐ２が入力された際に、舌区画６毎に舌苔特徴量を算出し、算出した舌苔特徴量に基づき、舌区画６毎に舌苔の付着度の推定値を算出するように、教師データを用いた機械学習が施されている。

【0030】

一実施例として、本願発明者らは、矩形の舌範囲画像Ｐ２を７×７の行列状に分割して得られる４９個の複数の区画を、パネリスト５名により評価したデータを教師データとして、学習済みニューラルネットワークへの転移学習を実行した。転移学習では、畳み込みニューラルネットワークのＧｏｏｇＬｅＮｅｔを用いた。パネリストの評価により、舌範囲画像Ｐ２の複数の区画を、スコア付け対象の舌区画６と、スコア付けの対象ではない非対象区画（図４で着色した区画）とに選別した。非対象区画は、舌辺縁を示すマージン区画６ｍ、及び、舌５が写っていない他区画６ｏから構成される。そして、舌区画６については、０、１、２の３段階でスコア付けを行った。スコアは、大きいほど舌苔の付着度が高いことを示す。さらに、舌区画６毎に、パネリスト５名によって付されたスコアの平均値Ｍを算出し、平均値Ｍを基に５段階のラベル付けを行った。ラベルの値Ｌ（０～４）は、舌苔の付着度の推定値であり、大きいほど舌苔の付着度が高いことを示す。ラベルの値Ｌと平均値Ｍとの関係は以下の通りである。
０≦Ｍ＜０．４の場合、Ｌ＝０
０．４≦Ｍ＜０．８の場合、Ｌ＝１
０．８≦Ｍ＜１．２の場合、Ｌ＝２
１．２≦Ｍ＜１．６の場合、Ｌ＝３
１．６≦Ｍの場合、Ｌ＝４

【0031】

本願発明者らは、複数の区画の各々を、舌区画６の評価としての「０」、「１」、「２」、「３」、「４」、マージン区画６ｍを示す「ｍａｒｇｉｎ」、他区画６ｏを示す「ｏｔｈｅｒ」にラベル付けした舌範囲画像Ｐ２（計１５７枚）を教師データ（学習用データ）とした機械学習により舌苔推定部３２を作成した。そして、作成した舌苔推定部３２から計５８枚の評価用データを出力した。学習用データ、評価用データにおける各区画に付されたラベルの内訳を、図７（ａ）、（ｂ）に示す。図７（ａ）の縦軸は、学習用データとしての１５７枚の舌範囲画像Ｐ２における区画の数である。したがって、図７（ａ）において、各ラベルに応じた区画の数を合計すると、１５７×４９＝７６９３となる。同様に、図７（ｂ）の縦軸は、評価用データとしての５８枚の舌範囲画像Ｐ２における区画の数である。したがって、図７（ｂ）において、各ラベルに応じた区画の数を合計すると、５８×４９＝２８４２となる。

【0032】

本願発明者らは、評価用データの精度を調べるべく、ＴＣＩ（Tongue Coating Index）に準拠した方法で、評価用データとしての舌範囲画像Ｐ２の舌区画６毎に算出した舌苔の付着度の推定値の合計を百分率で表した評価値を算出した。ＴＣＩは、目視での舌苔評価に用いられる指標であり、その評価値は、（各舌区画６に付されたラベルの値の合計）／（ラベルの最大値×舌区画６の数）×１００［％］で表される。

【0033】

本願発明者らは、評価用データとしての５８枚の舌範囲画像Ｐ２の各々について評価値（以下、推定されたＴＣＩ）を算出するとともに、同じ５８枚の舌範囲画像Ｐ２の各々についてパネリストの目視で定めた舌苔の付着度の推定値を基に評価値（以下、パネリストの評価したＴＣＩ）を算出した。そして、推定されたＴＣＩとパネリストの評価したＴＣＩの相関を級内相関係数（ＩＣＣ：Intraclass Correlation Coefficients）により調べた。その結果を図８に示す。同図に示すように、検者間信頼性を表すＩＣＣ（２，１）の値は０．７９８であり、両者間のＴＣＩが高い信頼性があることを示している。また、相関係数ｒの値は０．８１４であり、両者間に強い相関があることを示している。以上により、機械学習により作成した舌苔推定部３２の舌苔付着度の推定精度が高いことが分かる。

【0034】

以上のように作成された本実施形態の舌苔推定部３２は、より詳細には、次の処理を行う。

【0035】

舌苔推定部３２が有する学習済みニューラルネットワークは、舌範囲画像５が入力されると、舌範囲画像Ｐ２を分割して得られる複数の区画の各々について舌苔特徴量を算出する。そして、当該ニューラルネットワークは、算出した舌苔特徴量に基づき、複数の区画の各々を、舌区画６の評価としての「０」、「１」、「２」、「３」、「４」、マージン区画６ｍを示す「ｍａｒｇｉｎ」、他区画６ｏを示す「ｏｔｈｅｒ」にラベル付けを実行する。この舌苔推定部３２による一連の処理には、以下の処理が少なくとも含まれる。
・舌範囲画像Ｐ２が入力された際に、舌範囲画像Ｐ２を分割して得られる複数の区画から舌区画６を選択する処理。
・複数の区画のうち少なくとも舌区画６毎に舌苔の付着度を調べるための舌苔特徴量を算出する処理（ステップＳ２）。
・算出した舌苔特徴量に基づき、舌区画６毎に舌苔の付着度の推定値（ラベルの値）を算出する処理（ステップＳ３）。

【0036】

さらに、本実施形態の舌苔推定部３２は、舌区画６毎に算出した舌苔の付着度の推定値（ラベルの値）に基づき、ＴＣＩの評価値を算出する。そして、舌苔付着度の推定結果を、図６に示すような画像で表示部２０に表示する（ステップＳ６）。図６に示す画像においては、ラベル付けされた複数の区画毎に、ラベルの種類に応じた色が付されている。例えば、「ｍａｒｇｉｎ」及び「ｏｔｈｅｒ」のラベルが付された区画は黒色で表される。そして、舌区画６の評価として、０～４のラベルが付された区画は、舌苔の付着度（つまり、ラベルの値の大きさ）を感覚的に把握可能なように、ラベルの値毎に異なる色で表される。ラベルの値に応じて表示される色の一例は、０が緑、１が黄、２がオレンジ、３が赤、４が紫である。また、図６に示す画像においては、ＴＣＩの評価値として、ＴＣＩ＝３６．６％が複数の区画の上方に記されている。

【0037】

（湿潤度推定部３３）
湿潤度推定部３３は、図５に示すように、舌範囲画像Ｐ２を分割して得られる複数の区画から特定区画７を選択し、特定区画７において、舌粘膜の湿潤度を調べるための湿潤特徴量を算出する（ステップＳ４）。そして、湿潤度推定部３３は、算出した湿潤特徴量に基づいて舌粘膜の湿潤度の推定値を算出する（ステップＳ５）。

【0038】

例えば、湿潤度推定部３３は、機械学習が施された学習済みニューラルネットワークに基づき、上記のように特定区画７の湿潤特徴量を算出し、舌粘膜の湿潤度の推定値を算出する。この学習済みニューラルネットワークは、舌範囲画像Ｐ２が入力された際に、舌範囲画像Ｐ２を分割して得られる複数の区画から、舌先の近傍に相当する区画を特定区画７として選択し、特定区画７の湿潤特徴量を算出して舌粘膜の湿潤度の推定値を算出するように、教師データを用いた機械学習が施されている。なお、舌先の近傍に相当する区画は、舌粘膜の湿潤度の推定に適した区画であればよく、舌先自体が写った区画であってもよいし、当該区画から１又は所定の個数分離れた区画であってもよい。

【0039】

教師データとしては、例えば、矩形の舌範囲画像Ｐ２を７×７の行列状に分割して得られる４９個の複数の区画のうち、口腔水分計の測定部位である、舌先端から舌根に向かって１０ｍｍに相当する区画を特定区画７として選択したデータを用いることができる。この教師データは、複数の区画に分割した舌範囲画像Ｐ２と、複数の区画から選択した特定区画７に相当する実際の部位で測定した口腔水分計の数値Ｗと、口腔乾燥の評価方法として数値Ｗに応じたラベルの値Ｌｗとを含むデータである。ラベルの値Ｌｗ（０～４）は、舌粘膜の湿潤度の推定値であり、大きいほど湿潤度が高いことを示す。ラベルの値Ｌｗと口腔水分計の数値Ｗとの関係は、例えば、以下の通りである。
０≦Ｗ＜２５の場合、Ｌｗ＝０
２５≦Ｗ＜２７の場合、Ｌｗ＝１
２７≦Ｗ＜２９の場合、Ｌｗ＝２
２９≦Ｗ＜３０の場合、Ｌｗ＝３
３０≦Ｗの場合、Ｌｗ＝４

【0040】

上記構成のデータを教師データとして、舌苔推定部３２と同様に、学習済みニューラルネットワークへの転移学習を実行することで湿潤度推定部３３を作成可能である。転移学習としては、例えば、畳み込みニューラルネットワークのＧｏｏｇＬｅＮｅｔを用いることができる。

【0041】

湿潤度推定部３３は、以上のように算出された舌粘膜の湿潤度の推定値の結果を表示部２０に表示する（ステップＳ６）。この際、推定値の結果は、ラベルの値Ｌｗ、口腔水分計の数値Ｗの少なくともいずれかであればよい。また、湿潤度推定部３３は、図６と同様に、舌粘膜の湿潤度を感覚的に把握可能なように、ラベルの値Ｌｗ、又は、口腔水分計の数値Ｗに応じて段階的に変化する色を特定区画７に付した画像を表示部２０に表示してもよい。

【0042】

なお、ステップＳ４で舌範囲画像Ｐ２を分割して得る区画の数が、ステップＳ２と同じであれば、湿潤度推定部３３は、ステップＳ２で分割した複数の区画を用いてステップＳ４、Ｓ５の処理を実行してもよい。また、湿潤度推定部３３は、舌苔推定部３２が舌範囲画像Ｐ２の複数の区画から選択した舌区画６から特定区画７を選択するように作成されてもよい。

【0043】

図２では、制御部３０が、舌苔の付着度推定の処理（ステップＳ２、Ｓ３）と、舌粘膜の湿潤度推定の処理（ステップＳ４、Ｓ５）とを並列で処理する例を示したが、処理の順序は任意であり、これらの処理を順次実行してもよい。本実施形態の舌状態推定装置１００及び舌状態推定処理の説明は以上である。

【0044】

本発明は以上の実施形態及び図面によって限定されるものではない。本発明の要旨を変更しない範囲で、適宜、変更（構成要素の削除も含む）を加えることが可能である。

【0045】

（変形例）
識別部３１、舌苔推定部３２及び湿潤度推定部３３を作成する際に用いられる、機械学習、深層学習のアルゴリズムは上記実施形態の例に限られず任意である。

【0046】

識別部３１は、学習済みニューラルネットワークに依らず、エッジ抽出フィルタ、パタンマッチング等の公知の画像解析処理を用いて、口腔画像Ｐ１から舌範囲画像Ｐ２を識別してもよい。つまり、識別部３１が算出する舌範囲特徴量は、エッジ抽出フィルタなどを用いた演算過程において算出される、注目画素と、注目画素に隣接する隣接画素の差分値などであってもよい。また、識別部３１が識別する舌範囲画像Ｐ２は、矩形の画像に限られず、舌５を含む範囲の画像であればその形状は任意である。例えば、識別部３１は、口腔画像Ｐ１から舌５の外形に相当する舌範囲画像Ｐ２を抽出し、識別してもよい。

【0047】

湿潤度推定部３３は、識別部３１が識別した舌範囲画像Ｐ２の複数の区画から、実験、シミュレーションにより定められる、舌先の近傍に相当する区画を特定区画７として選択してもよい。また、特定区画７は、舌範囲画像Ｐ２の複数の区画のうち、舌先の近傍に相当する１つの区画に限られず、当該複数の区画から複数選択されてもよい。例えば、湿潤度推定部３３は、舌苔推定部３２と同様に、舌区画６毎に湿潤特徴量を算出し、舌粘膜の湿潤度の推定値を算出してもよい。この場合は、舌区画６の全てが特定区画７である。そして、湿潤度推定部３３は、ＴＣＩのように、舌範囲画像Ｐ２の舌区画６毎に算出した舌粘膜の湿潤度の合計を百分率で表した評価値を算出してもよい。

【0048】

舌苔推定部３２が舌区画６を選択する際に用いる複数の区画と、湿潤度推定部３３が特定区画７を選択する際に用いる複数の区画の数は、同じであってもよいし、異なっていてもよい。

【0049】

舌苔推定部３２及び湿潤度推定部３３は、学習済みニューラルネットワークを用いずに構成されてもよい。舌苔推定部３２及び湿潤度推定部３３として機能する制御部３０が算出する、舌苔特徴量、湿潤特徴量は、学習済みニューラルネットワークを用いるか否かによらず、次に説明する特徴量を含み得る。

【0050】

制御部３０は、口腔画像Ｐ１、舌範囲画像Ｐ２の全体または画像の一部（関心領域）に対して下記１．－３．の特徴量を算出し得る。なお、関心領域とは、１）人による領域の指定、２）機械学習から得られたバウンディングボックス（機械学習による領域の指定）の算出、３）人または機械学習から得たセグメンテーション（ピクセル単位での領域の指定）の指定または算出により決定される。
１．色調を数値化し、特徴量とする（色調Ａ）：表色系として表現されるＲＧＢ、Ｌａｂ色空間、ＨＳＶ色空間、ＨＳＬ色空間によって、色調を数値化する。
２．数値化した色調の統計解析し、特徴量とする（色調Ｂ－１）：色調のバラツキ、同一の（同等の、類似度の高い）色調のヒストグラム、同一の（同等の、類似度の高い）色調の面積を算出する。
３．数値化した色調に対し、ピクセル単位で周辺ピクセルから解析し、特徴量とする（色調Ｂ－１）：色調のコントラスト、勾配、輪郭（エッジ）を算出する。

【0051】

ここで、舌苔が生じると、例えば下記の現象が観察される。
・舌の表面はピンクであるが、舌苔は白色、黄白色、黒色などの色調を有する。
・舌表面には舌乳頭と呼ばれる小さな凹凸が存在する。舌苔に覆われることで、舌乳頭が見えなくなる。
また、舌粘膜の湿潤度が低下すると、例えば下記の現象が観察される。
・口腔乾燥により舌の色調が赤くなる。
・舌表面のひび割れ起きる、または、滑沢（平滑舌）となることがある。
・軽度の口腔乾燥では糸をひくような唾液が観察され、中等度では泡沫を伴う唾液が観察される。
・重度になると、舌表面から唾液が失われる。水分がなくなることで光沢が低下する。

【0052】

舌表面の色調は色調Ａから表現できる。舌表面の形態（舌乳頭、ひび割れ、平滑さ）や舌表面の舌以外の物質（舌苔、唾液）の存在によって色調が舌の一部で変化するが、色調Ｂ－１は画像全体での色調変化として捉えることができ、色調Ｂ－２は変化させた存在自体を捉える（舌乳頭の位置や数を認識するなど）ことができる指標となる。なお、舌以外の部位（皮膚や口唇）は、色調Ａ、Ｂ－１、Ｂ－２の全てが、舌表面と大きく異なるものと考えられる。以上で述べた特性を考慮し、機械学習、実験又はシミュレーションを経て作成したプログラムに基づき、制御部３０は、舌苔特徴量及び湿潤特徴量を算出し、舌苔の付着度の推定値、舌粘膜の湿潤度の推定値を算出可能である。

【0053】

舌状態の推定対象は人（被験者）に限られず、動物であってもよい。

【0054】

以上に説明した各処理を実行するプログラムは、制御部３０のメモリに予め記憶されていなくともよく、着脱自在の記録媒体により配布・提供されてもよい。また、当該プログラムは、舌状態推定装置１００と接続された他の機器からダウンロードされるものであってもよい。また、舌状態推定装置１００は、他の機器と電気通信ネットワークなどを介して各種データの交換を行うことにより当該プログラムに従う各処理を実行してもよい。

【0055】

以上に説明した舌状態推定装置１００による効果を以下に述べる。

【0056】

（効果）
・舌状態推定装置１００は、口腔画像Ｐ１から舌範囲画像Ｐ２を識別する識別手段（識別部３１）と、舌範囲画像Ｐ２を分割して得られる複数の区画のうち、舌区画６毎に舌苔特徴量を算出し、算出した舌苔特徴量に基づいて舌区画６毎に舌苔の付着度の推定値を算出する舌苔推定手段（舌苔推定部３２）と、を備える。
・また、舌状態推定装置１００を用いた舌状態推定方法は、口腔画像Ｐ１から舌範囲画像Ｐ２を識別するステップと、舌範囲画像Ｐ２を分割して得られる複数の区画のうち、舌区画６毎に舌苔特徴量を算出し、算出した舌苔特徴量に基づいて舌区画６毎に舌苔の付着度の推定値を算出するステップと、を備える。
・また、制御部３０が実行するプログラムは、コンピュータを、識別手段、舌苔推定手段、として機能させる。
これらの構成によれば、撮影した口腔画像Ｐ１を画像解析するだけで舌苔の付着度を推定できるため、簡易に舌の状態を評価することができる。また、パーソナルコンピュータ、スマートフォン、タブレット端末などの情報端末に上記プログラムを実装するだけで、舌状態推定装置１００を構成することができるため、装置を容易に提供することができる。また、舌区画６毎に舌苔の付着度を推定できるため、評価者の目視に基づくＴＣＩと異なり、より詳細な舌苔の付着度の分布を簡易に得ることができる。また、舌の状態評価を自動化できるため、目視による評価のように評価者によって評価結果に差が生じることがない。

【0057】

・舌苔推定手段は、舌範囲画像Ｐ２が入力された際に、舌苔特徴量を算出して舌苔の付着度の推定値を算出するように、教師データを用いた機械学習が施された学習済みニューラルネットワークを有していてもよい。
この構成によれば、図８に示したように、舌苔の付着度の推定精度を高めることができる。また、ニューラルネットワークを有する舌苔推定手段に必要に応じて追加学習させることにより、より推定精度を向上させることができる。

【0058】

・具体的に、舌苔推定手段が有する学習済みニューラルネットワークは、舌範囲画像Ｐ２が入力された際に、舌範囲画像Ｐ２を分割して得られる複数の区画から舌区画６を選択してもよい。

【0059】

・また、舌苔の付着度は、予め定められた複数の段階で表され、舌苔推定手段は、舌区画６毎に算出した舌苔の付着度の推定値の合計を百分率で表した評価値を出力してもよい。
この構成によれば、舌全体における舌苔の付着評価を行うことができる。

【0060】

・また、舌状態推定装置１００は、舌範囲画像Ｐ２を分割して得られる複数の区画から特定区画７を選択し、特定区画７において湿潤特徴量を算出し、算出した湿潤特徴量に基づいて舌粘膜の湿潤度の推定値を算出する湿潤度推定手段（湿潤度推定部３３）をさらに備えていてもよい。
この構成によれば、撮影した口腔画像Ｐ１を画像解析するだけで、舌苔の付着度のみならず、舌粘膜の湿潤度も一度に推定できるため、舌の状態評価をより詳細且つ簡易に行うことができる。また、口腔水分計などの専用の装置に頼らずに、簡易に舌粘膜の湿潤度を評価することができる。

【0061】

・識別手段が識別する舌範囲画像Ｐ２は矩形であり、舌苔推定手段及び湿潤度推定手段の各々は、舌範囲画像Ｐ２が行列状に分割された複数の区画を得てもよい。
この構成によれば、舌にマージンを加味した範囲を舌範囲画像Ｐ２として識別できるため、口腔画像Ｐ１から舌の外形そのものを抽出、識別する手法で生じうる、評価対象である舌の一部が欠損してしまうことを抑制できる。

【0062】

・湿潤度推定手段は、舌範囲画像Ｐ２が入力された際に、湿潤特徴量を算出して舌粘膜の湿潤度の推定値を算出するように、教師データを用いた機械学習が施された学習済みニューラルネットワークを有する。
この構成によれば、舌粘膜の湿潤度の推定精度を高めることができる。また、ニューラルネットワークを有する湿潤度推定手段に必要に応じて追加学習させることにより、より推定精度を向上させることができる。

【0063】

・具体的に、湿潤度推定手段が有する学習済みニューラルネットワークは、舌範囲画像Ｐ２を分割して得られる複数の区画から、舌先の近傍に相当する区画を特定区画７として選択する。

【0064】

以上の説明では、本発明の理解を容易にするために、公知の技術的事項の説明を適宜省略した。

【0065】

この発明は、この発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この発明を説明するためのものであり、この発明の範囲を限定するものではない。すなわち、この発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。

【符号の説明】

【0066】

１００…舌状態推定装置
１０…撮影部、２０…表示部、３０…制御部
３１…識別部、３２…舌苔推定部、３３…湿潤度推定部
Ｐ１…口腔画像、Ｐ２…舌範囲画像
４…口腔、５…舌
６…舌区画、６ｍ…マージン区画、６ｏ…他区画
７…特定区画

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】