ホーム > 特許ランキング > 株式会社エクサウィザーズ
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-04-02
(45)【発行日】2024-04-10
(54)【発明の名称】舌評価方法、舌評価システム及び舌評価プログラム
(51)【国際特許分類】
A61B 10/00 20060101AFI20240403BHJP
G06T 7/00 20170101ALI20240403BHJP
G06V 10/70 20220101ALI20240403BHJP
【ＦＩ】
A61B10/00 E
G06T7/00 660A
G06T7/00 350B
G06T7/00 614
G06V10/70
【請求項の数】
8
(21)【出願番号】P 2023126585
(22)【出願日】2023-08-02
【審査請求日】2023-08-02
【早期審査対象出願】
(73)【特許権者】
【識別番号】517255566
【氏名又は名称】株式会社エクサウィザーズ
(74)【代理人】
【識別番号】110004093
【氏名又は名称】弁理士法人アクセル特許事務所
(72)【発明者】
【氏名】吉村 和也
(72)【発明者】
【氏名】佐野 碧
【審査官】▲高▼木 尚哉
(56)【参考文献】
【文献】特開２０２３－０４９６０４（ＪＰ，Ａ）
【文献】国際公開第２０１５／０６８４９５（ＷＯ，Ａ１）
【文献】特開２００５－１３７７５６（ＪＰ，Ａ）
【文献】特開２０１５－２２６５９９（ＪＰ，Ａ）
【文献】再公表特許第２０１９／２２５２３０（ＪＰ，Ａ１）
【文献】再公表特許第２０１５／０６００７０（ＪＰ，Ａ１）
【文献】中川 量晴，Oral Health Assessment Tool（OHAT）日本語版説明用資料，2015年05月23日，１－３頁，http://dentistryfujita-hu.jp/content/files/OHAT_%E8%AA%AC%E6%98%8E%E7%94%A8_20150520.pdf
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ １０／００
Ｇ０６Ｔ ７／００
Ｇ０６Ｖ １０／７０
(57)【特許請求の範囲】
【請求項1】
舌評価システムが実行する舌評価方法であって、舌を出した顔を撮影した顔画像を取得する取得ステップと、
舌検出モデルを利用して、前記顔画像から前記舌を検出する舌検出ステップと、
前記舌の検出結果に基づいて、前記顔画像から前記舌を含む部分画像をトリミングするトリミングステップと、
舌のむくみ度合いをアノテーションされた顔画像又は部分画像を教師データとして学習したニューラルネットワークである舌評価モデルを利用して、前記部分画像から前記舌のむくみ度合いを評価する評価ステップと、
を含む舌評価方法。
【請求項2】
前記評価ステップは、前記舌評価モデルを利用して、前記部分画像から前記舌の乾燥度合いを評価する請求項１に記載の舌評価方法。
【請求項3】
前記評価ステップは、前記舌評価モデルを利用して、前記部分画像から前記舌の舌苔の色を評価する請求項１に記載の舌評価方法。
【請求項4】
前記舌評価モデルは、前記部分画像を入力されると前記舌の状態の評価結果を出力するように学習された機械学習モデルである請求項１に記載の舌評価方法。
【請求項5】
舌苔検出モデルを利用して、前記部分画像から前記舌の舌苔を検出する舌苔検出ステップを更に含む請求項１に記載の舌評価方法。
【請求項6】
前記評価ステップは、前記舌の前記むくみ度合い、乾燥度合い、舌苔の色及び舌苔の検出結果の少なくとも１つに基づいて、前記舌の状態を評価する請求項１に記載の舌評価方法。
【請求項7】
舌を出した顔を撮影した顔画像を取得する取得部と、舌検出モデルを利用して、前記顔画像から前記舌を検出する舌検出部と、
前記舌の検出結果に基づいて、前記顔画像から前記舌を含む部分画像をトリミングするトリミング部と、
舌のむくみ度合いをアノテーションされた顔画像又は部分画像を教師データとして学習したニューラルネットワークである舌評価モデルを利用して、前記部分画像から前記舌のむくみ度合いを評価する評価部と、
を備える舌評価システム。
【請求項8】
舌評価システムが実行する舌評価方法であって、舌を出した顔を撮影した顔画像を取得する取得ステップと、
舌検出モデルを利用して、前記顔画像から前記舌を検出する舌検出ステップと、
前記舌の検出結果に基づいて、前記顔画像から前記舌を含む部分画像をトリミングするトリミングステップと、
舌のむくみ度合いをアノテーションされた顔画像又は部分画像を教師データとして学習したニューラルネットワークである舌評価モデルを利用して、前記部分画像から前記舌のむくみ度合いを評価する評価ステップと、
を含む舌評価方法をコンピュータに実行させるための舌評価プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、舌評価方法、舌評価システム及び舌評価プログラムに関する。
【背景技術】
【0002】
従来、舌に付着した舌苔の量から、舌の状態の推定することが行われている。例えば、引用文献１には、口腔が写された口腔画像から舌を含む範囲の画像である舌範囲画像を識別する識別手段と、前記舌範囲画像を分割して得られる複数の区画のうち、前記舌を表す舌区画毎に舌苔の付着度を調べるための舌苔特徴量を算出し、算出した前記舌苔特徴量に基づいて前記舌区画毎に前記舌苔の付着度の推定値を算出する舌苔推定手段と、を備える、舌状態推定装置が記載されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０２３－４９６０４号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来技術では、舌苔の量のみが評価されており、舌の状態の評価精度の向上の観点で課題がある。
【0005】
本発明は、上記の課題を鑑みてなされたものであり、舌の状態を精度良く評価することを目的とする。
【課題を解決するための手段】
【0006】
一実施形態に係る舌評価方法は、舌評価システムが実行する舌評価方法であって、舌を出した顔を撮影した顔画像を取得する取得ステップと、舌検出モデルを利用して、前記顔画像から前記舌を検出する舌検出ステップと、前記舌の検出結果に基づいて、前記顔画像から前記舌を含む部分画像をトリミングするトリミングステップと、舌評価モデルを利用して、前記部分画像から前記舌のむくみ度合いを評価する評価ステップと、を含む。
【発明の効果】
【0007】
一実施形態によれば、舌の状態を精度良く評価することを抑制することができる。
【図面の簡単な説明】
【0008】
【図1】舌評価システム１０００の構成の一例を示す図である。
【図2】舌評価装置１のハードウェア構成の一例を示す図である。
【図3】ユーザ端末２のハードウェア構成の一例を示す図である。
【図4】舌評価装置１の機能構成の一例を示す図である。
【図5】顔画像１２１の一例を示す図である。
【図6】部分画像１２３の一例を示す図である。
【図7】舌の検出結果の一例を示す図である。
【図8】舌苔の検出結果の一例を示す図である。
【図9】ユーザ端末２の機能構成の一例を示す図である。
【図10】舌評価システム１０００が実行する処理の一例を示すフローチャートである。
【図11】評価結果画面ＳＣの一例を示す図である。
【発明を実施するための形態】
【0009】
以下、本発明の各実施形態について、添付の図面を参照しながら説明する。なお、各実施形態に係る明細書及び図面の記載に関して、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
【0010】
＜システム構成＞
まず、本実施形態に係る舌評価システム１０００の概要について説明する。舌評価システム１０００は、対象者が舌を出した顔を撮影した顔画像に基づいて、対象者の舌の状態を評価する情報処理システムである。対象者は、舌の状態を評価される者である。対象者は、例えば、高齢者であるが、これに限られない。
まず、本実施形態に係る舌評価システム１０００の概要について説明する。舌評価システム１０００は、対象者が舌を出した顔を撮影した顔画像に基づいて、対象者の舌の状態を評価する情報処理システムである。対象者は、舌の状態を評価される者である。対象者は、例えば、高齢者であるが、これに限られない。
【0011】
図１は、舌評価システム１０００の構成の一例を示す図である。図１に示すように、舌評価システム１０００は、ネットワークＮを介して相互に通信可能に接続された、舌評価装置１と、ユーザ端末２と、を備える。ネットワークＮは、例えば、有線ＬＡＮ（Local Area Network）、無線ＬＡＮ、インターネット、公衆回線網、モバイルデータ通信網、又はこれらの組み合わせである。図１の例では、舌評価システム１０００は、舌評価装置１及びユーザ端末２をそれぞれ１つずつ備えるが、それぞれ複数備えてもよい。
【0012】
舌評価装置１は、顔画像に基づいて、対象者の舌の状態を評価する情報処理装置である。舌評価装置１は、例えば、ＰＣ（Personal Computer）、スマートフォン、タブレット端末、サーバ装置、又はマイクロコンピューであるが、これに限られない。
【0013】
ユーザ端末２は、舌評価システム１０００のユーザが利用する情報処理装置である。ユーザ端末２は、舌評価装置１に顔画像を送信し、舌評価装置１が評価した対象者の舌の状態の評価結果を表示する。ユーザ端末２は、例えば、ＰＣ、スマートフォン又はタブレット端末であるが、これに限られない。
【0014】
以下では、ユーザは、顔画像を撮影する撮影者であり、ユーザ端末２により顔画像を撮影する場合を例に説明する。しかしながら、ユーザは、撮影者でなくてもよい。この場合、ユーザ端末２は、予め撮影された顔画像を、ネットワークＮを介して外部装置から取得すればよい。
【0015】
＜舌評価装置１のハードウェア構成＞
次に、舌評価装置１のハードウェア構成について説明する。図２は、舌評価装置１のハードウェア構成の一例を示す図である。図２に示すように、舌評価装置１は、バスＢ１を介して相互に接続された、プロセッサ１０１と、メモリ１０２と、ストレージ１０３と、通信Ｉ／Ｆ１０４と、入力装置１０５と、出力装置１０６と、ドライブ装置１０７と、を備える。
次に、舌評価装置１のハードウェア構成について説明する。図２は、舌評価装置１のハードウェア構成の一例を示す図である。図２に示すように、舌評価装置１は、バスＢ１を介して相互に接続された、プロセッサ１０１と、メモリ１０２と、ストレージ１０３と、通信Ｉ／Ｆ１０４と、入力装置１０５と、出力装置１０６と、ドライブ装置１０７と、を備える。
【0016】
プロセッサ１０１は、ストレージ１０３に記憶されたＯＳ（Operating System）及び舌評価プログラムを含む各種のプログラムをメモリ１０２に展開して実行することにより、舌評価装置１の各構成を制御し、舌評価装置１の機能を実現する。プロセッサ１０１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）又はＤＳＰ（Digital Signal Processor）であるが、これに限られない。
【0017】
メモリ１０２は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、又はこれらの組み合わせである。ＲＯＭは、例えば、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、又はこれらの組み合わせである。ＲＡＭは、例えば、ＤＲＡＭ（Dynamic RAM）又はＳＲＡＭ（Static RAM）であるが、これに限られない。
【0018】
ストレージ１０３は、ＯＳ及び舌評価プログラムを含む各種のプログラム及びデータを記憶する。ストレージ１０３は、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）又はＳＣＭ（Storage Class Memories）であるが、これに限られない。
【0019】
通信Ｉ／Ｆ１０４は、舌評価装置１を、ネットワークＮを介して外部装置に接続し、通信を制御するためのインタフェースである。通信Ｉ／Ｆ１０４は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ（登録商標）、ＺｉｇＢｅｅ（登録商標）又はＥｔｈｅｒｎｅｔ（登録商標）であるが、これに限られない。
【0020】
入力装置１０５は、舌評価装置１に情報を入力するための装置である。入力装置１０５は、例えば、マウス、キーボード、タッチパネル、マイク、スキャナ、撮影装置（カメラ）、各種センサ又は操作ボタンであるが、これに限られない。
【0021】
出力装置１０６は、舌評価装置１から情報を出力するための装置である。出力装置１０６は、例えば、表示装置（ディスプレイ）、プロジェクタ、プリンタ、スピーカ又はバイブレータであるが、これに限られない。
【0022】
ドライブ装置１０７は、記録メディア１０８のデータを読み書きする装置である。ドライブ装置１０７は、例えば、磁気ディスクドライブ、光学ディスクドライブ、光磁気ディスクドライブ又はＳＤカードリーダであるが、これに限られない。記録メディア１０８は、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＦＤ（Floppy Disk）、ＭＯ（Magneto-Optical disk）、ＢＤ（Blu-ray（登録商標） Disc）、ＵＳＢ（登録商標）メモリ又はＳＤカードであるが、これに限られない。
【0023】
なお、本実施形態において、舌評価プログラムは、舌評価装置１の製造段階でメモリ１０２又はストレージ１０３に書き込まれてもよいし、ネットワークＮを介して舌評価装置１に提供されてもよいし、記録メディア１０８などの非一時的でコンピュータ読み取り可能な記録媒体を介して舌評価装置１に提供されてもよい。
【0024】
＜ユーザ端末２のハードウェア構成＞
次に、ユーザ端末２のハードウェア構成について説明する。図３は、ユーザ端末２のハードウェア構成の一例を示す図である。図３に示すように、ユーザ端末２は、バスＢ２を介して相互に接続された、プロセッサ２０１と、メモリ２０２と、ストレージ２０３と、通信Ｉ／Ｆ２０４と、入力装置２０５と、出力装置２０６と、を備える。
次に、ユーザ端末２のハードウェア構成について説明する。図３は、ユーザ端末２のハードウェア構成の一例を示す図である。図３に示すように、ユーザ端末２は、バスＢ２を介して相互に接続された、プロセッサ２０１と、メモリ２０２と、ストレージ２０３と、通信Ｉ／Ｆ２０４と、入力装置２０５と、出力装置２０６と、を備える。
【0025】
プロセッサ２０１は、ストレージ２０３に記憶されたＯＳ及び舌評価プログラムを含む各種のプログラムをメモリ２０２に展開して実行することにより、ユーザ端末２の各構成を制御し、ユーザ端末２の機能を実現する。プロセッサ２０１は、例えば、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＡＳＩＣ又はＤＳＰであるが、これに限られない。
【0026】
メモリ２０２は、例えば、ＲＯＭ、ＲＡＭ、又はこれらの組み合わせである。ＲＯＭは、例えば、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、又はこれらの組み合わせである。ＲＡＭは、例えば、ＤＲＡＭ又はＳＲＡＭであるが、これに限られない。
【0027】
ストレージ２０３は、ＯＳ及び舌評価プログラムを含む各種のプログラム及びデータを記憶する。ストレージ２０３は、例えば、フラッシュメモリ、ＨＤＤ、ＳＳＤ又はＳＣＭであるが、これに限られない。
【0028】
通信Ｉ／Ｆ２０４は、ユーザ端末２を、ネットワークＮを介して外部装置に接続し、通信を制御するためのインタフェースである。通信Ｉ／Ｆ２０４は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ（登録商標）、ＺｉｇＢｅｅ（登録商標）又はＥｔｈｅｒｎｅｔ（登録商標）であるが、これに限られない。
【0029】
入力装置２０５は、ユーザ端末２に情報を入力するための装置である。入力装置２０５は、例えば、マウス、キーボード、タッチパネル、マイク、スキャナ、撮影装置（カメラ）、各種センサ又は操作ボタンであるが、これに限られない。ユーザ端末２は、入力装置２０５として、撮影装置２０５Ｃを備える。
【0030】
出力装置２０６は、ユーザ端末２から情報を出力するための装置である。出力装置２０６は、例えば、表示装置（ディスプレイ）、プロジェクタ、プリンタ、スピーカ又はバイブレータであるが、これに限られない。ユーザ端末２は、出力装置２０６として、表示装置２０６Ｄを備える。
【0031】
ドライブ装置２０７は、記録メディア２０８のデータを読み書きする装置である。ドライブ装置２０７は、例えば、磁気ディスクドライブ、光学ディスクドライブ、光磁気ディスクドライブ又はＳＤカードリーダであるが、これに限られない。記録メディア２０８は、例えば、ＣＤ、ＤＶＤ、ＦＤ、ＭＯ、ＢＤ、ＵＳＢ（登録商標）メモリ又はＳＤカードであるが、これに限られない。
【0032】
なお、本実施形態において、舌評価プログラムは、ユーザ端末２の製造段階でメモリ２０２又はストレージ２０３に書き込まれてもよいし、ネットワークＮを介してユーザ端末２に提供されてもよいし、記録メディア２０８などの非一時的でコンピュータ読み取り可能な記録媒体を介してユーザ端末２に提供されてもよい。
【0033】
＜舌評価装置１の機能構成＞
次に、舌評価装置１の機能構成について説明する。図４は、舌評価装置１の機能構成の一例を示す図である。図４に示すように、舌評価装置１は、通信部１１と、記憶部１２と、制御部１３と、を備える。
次に、舌評価装置１の機能構成について説明する。図４は、舌評価装置１の機能構成の一例を示す図である。図４に示すように、舌評価装置１は、通信部１１と、記憶部１２と、制御部１３と、を備える。
【0034】
通信部１１は、通信Ｉ／Ｆ１０４により実現される。通信部１１は、ネットワークＮを介して、ユーザ端末２との間で情報の送受信を行う。通信部１１は、ユーザ端末２から顔画像を受信し、ユーザ端末２に対象者の舌の状態の評価結果を送信する。
【0035】
記憶部１２は、メモリ１０２及びストレージ１０３により実現される。記憶部１２は、顔画像１２１と、舌検出モデル１２２と、部分画像１２３と、舌評価モデル１２４と、舌苔検出モデル１２５と、評価結果１２６と、を記憶する。
【0036】
顔画像１２１は、対象者が舌を出した顔を撮影した画像である。顔画像１２１は、対象者の顔及び舌の画像を含む。顔画像１２１には、対象者の口腔や歯が写っている場合もある。
【0037】
【0038】
舌検出モデル１２２は、顔画像１２１から舌を検出（セグメンテーション）する機械学習モデルである。舌検出モデル１２２は、顔画像１２１を入力されると、顔画像１２１に含まれる舌の位置（座標）を出力する。舌検出モデル１２２は、例えば、教師データとして舌をアノテーションされた顔画像を学習したニューラルネットワークであるが、これに限られない。舌検出モデル１２２として、顔画像１２１から舌を検出可能な任意の機械学習モデルが利用できる。
【0039】
部分画像１２３は、顔画像１２１から舌を含む一部をトリミングした（切り出した）画像である。
【0040】
図６は、部分画像１２３の一例を示す図である。図６の部分画像１２３は、図５の顔画像１２１からトリミングしたものであり、対象者の舌を含む矩形の画像となっている。なお、部分画像１２３の形状は任意に設計可能である。
【0041】
舌評価モデル１２４は、部分画像１２３から舌のむくみ度合い、乾燥度合い及び舌苔の色の少なくとも１つを評価する機械学習モデルである。舌評価モデル１２４は、部分画像１２３を入力されると、舌のむくみ度合い、乾燥度合い及び舌苔の色の少なくとも１つを出力する。舌評価モデル１２４は、例えば、教師データとして舌のむくみ度合い、乾燥度合い及び舌苔の色の少なくとも１つをアノテーションされた顔画像又は部分画像を学習したニューラルネットワークであるが、これに限られない。舌評価モデル１２４として、部分画像１２４から舌のむくみ度合い、乾燥度合い及び舌苔の色の少なくとも１つを評価可能な任意の機械学習モデルが利用できる。なお、舌評価モデル１２４は、１つのモデルで舌のむくみ度合い、乾燥度合い及び舌苔の色の２つ以上を評価可能であってもよい。また、むくみ度合い、乾燥度合い及び舌苔の色をそれぞれ評価する３つの舌評価モデル１２４が用意されてもよい。
【0042】
舌苔検出モデル１２５は、部分画像１２３から舌苔を検出（セグメンテーション）する機械学習モデルである。舌苔検出モデル１２５は、部分画像１２３を入力されると、部分画像１２３に含まれる舌に付着した舌苔の位置（座標）及び量を出力する。舌苔の位置及び量は、部分画像１２３のピクセルごとに検出されてもよいし、舌の上に予め設定された領域（例えば、舌の上に設定されたＡ行Ｂ列の方眼のマス目）ごとに検出されてもよい。舌苔検出モデル１２５は、例えば、教師データとして舌苔の位置及び量をアノテーションされた顔画像又は部分画像を学習したニューラルネットワークであるが、これに限られない。舌苔検出モデル１２５として、部分画像１２３から舌苔を検出可能な任意の機械学習モデルが利用できる。
【0043】
評価結果１２６は、対象者の舌の状態の評価結果である。評価結果１２６は、対象者の舌のむくみ度合い、乾燥度合い、舌苔の色、舌苔の位置及び量、並びに総評の少なくとも１つを含む。
【0044】
制御部１３は、プロセッサ１０１がメモリ１０２からプログラムを読み出して実行し、他のハードウェア構成と協働することにより実現される。制御部１３は、舌評価装置１の動作全体を制御する。制御部１３は、取得部１３１と、舌検出部１３２と、トリミング部１３３と、舌苔検出部１３４と、評価部１３５と、を備える。
【0045】
取得部１３１は、ユーザ端末２から顔画像１２１を取得し、記憶部１２に保存する。
【0046】
舌検出部１３２は、舌検出モデル１２２を利用して、顔画像１２１から対象者の舌を検出する。具体的には、舌検出部１３２は、舌検出モデル１２２に顔画像１２１を入力し、舌検出モデル１２２が出力した検出結果を取得する。
【0047】
図７は、舌の検出結果の一例を示す図である。図７は、図５の顔画像１２１に対する舌の検出結果であり、舌の部分が斜線で示されている。図７に示すように、舌検出部１３２により、顔画像１２１から舌がセグメンテーションされる。
【0048】
トリミング部１３３は、顔画像１２１から部分画像１２３をトリミングする。具体的には、トリミング部１３３は、舌検出部１３２による舌の検出結果に基づいて、顔画像１２１から舌を含む一部をトリミングし、部分画像１２３として記憶部１２に保存する。トリミング部１３３は、例えば、舌から所定の余白をとるように部分画像１２３をトリミングしてもよいし、部分画像１２３が所定の形状となるように部分画像１２３をトリミングしてもよい。部分画像１２３のトリミング方法は、任意に設計できる。
【0049】
舌苔検出部１３４は、舌苔検出モデル１２５を利用して、部分画像１２３から対象者の舌に付着した舌苔を検出する。具体的には、舌苔検出モデル１３４は、舌苔検出モデル１２５に部分画像１２３を入力し、舌苔検出モデル１２５が出力した舌苔の位置及び量を検出結果として取得する。
【0050】
図８は、舌苔の検出結果の一例を示す図である。図８は、図６の部分画像１２３に対する舌苔の検出結果であり、舌の上に設定された８行８列の方眼のマス目ごとに、舌苔の量が３段階で示されている。無色のマス目は舌苔が無い、薄い縦線のマス目は舌苔が少ない、濃い縦線のマス目は舌苔が多いことを示している。図８に示すように、図７の部分画像１２３では、舌の奥の方で少ない舌苔が、中央部で多くの舌苔が検出される。
【0051】
評価部１３５は、舌評価モデル１２４を利用して、対象者の舌の状態を評価する。具体的には、評価部１３５は、舌評価モデル１２４に部分画像１２３を入力し、舌評価モデル１２４が出力した舌のむくみ度合い、乾燥度合い及び舌苔の色の少なくとも１つを評価結果として取得し、記憶部１２に保存する。また、評価部１３５は、舌苔検出部１３４による検出結果を取得し、評価結果１２６として記憶部１２に保存する。また、評価部１３５は、舌のむくみ度合い、乾燥度合い、舌苔の色、舌苔の位置及び量の少なくとも１つに基づいて、総評として舌の状態を評価し、評価結果１２６として記憶部１２に保存する。
【0052】
なお、舌評価装置１の機能構成は、上記の例に限られない。例えば、舌評価装置１は、上記の機能構成の一部を備え、残りをユーザ端末２が備えてもよい。また、舌評価装置１は、上記以外の機能構成を備えてもよい。また、舌評価装置１の各機能構成は、上記の通り、ソフトウェアにより実現されてもよいし、ＩＣチップ、ＳｏＣ（System on Chip）、ＬＳＩ（Large Scale Integration）、マイクロコンピュータ等のハードウェアによって実現されてもよい。
【0053】
＜ユーザ端末２の機能構成＞
次に、ユーザ端末２の機能構成について説明する。図９は、ユーザ端末２の機能構成の一例を示す図である。図９に示すように、ユーザ端末２は、通信部２１と、記憶部２２と、制御部２３と、を備える。
次に、ユーザ端末２の機能構成について説明する。図９は、ユーザ端末２の機能構成の一例を示す図である。図９に示すように、ユーザ端末２は、通信部２１と、記憶部２２と、制御部２３と、を備える。
【0054】
通信部２１は、通信Ｉ／Ｆ２０４により実現される。通信部２１は、ネットワークＮを介して、ユーザ端末２との間で情報の送受信を行う。通信部２１は、舌評価装置１に顔画像２２１を送信し、舌評価装置１から評価結果２２２を受信する。
【0055】
記憶部２２は、メモリ２０２及びストレージ２０３により実現される。記憶部２２は、顔画像２２１と、評価結果２２２と、を記憶する。
【0056】
顔画像２２１は、対象者が舌を出した顔を撮影した画像である。顔画像２２１は、対象者の顔及び舌の画像を含む。顔画像２２１には、対象者の口腔や歯が写っている場合もある。以下では、ユーザ端末２により顔画像２２１を撮影する場合を例に説明する。しかしながら、ユーザ端末２は、予め撮影された顔画像２２１を、ネットワークＮを介して外部装置から取得してもよい。
【0057】
評価結果２２２は、対象者の舌の状態の評価結果である。評価結果２２２は、対象者の舌のむくみ度合い、乾燥度合い、舌苔の色、舌苔の位置及び量、並びに総評の少なくとも１つを含む。
【0058】
制御部２３は、プロセッサ２０１がメモリ２０２からプログラムを読み出して実行し、他のハードウェア構成と協働することにより実現される。制御部２３は、ユーザ端末２の動作全体を制御する。制御部２３は、撮影部２３１と、取得部２３２と、表示部２３３と、を備える。
【0059】
撮影部２３１は、ユーザの操作に応じて撮影装置２０５Ｃを制御し、対象者の顔画像２２１を撮影し、記憶部２２に保存する。
【0060】
取得部２３２は、舌評価装置１から評価結果１２６を取得し、評価結果２２２として記憶部２２に保存する。
【0061】
表示部２３３は、評価結果２２２を表示装置２０６Ｄに表示する。
【0062】
なお、ユーザ端末２の機能構成は、上記の例に限られない。例えば、ユーザ端末２は、上記以外の機能構成を備えてもよい。また、ユーザ端末２の各機能構成は、上記の通り、ソフトウェアにより実現されてもよいし、ＩＣチップ、ＳｏＣ、ＬＳＩ、マイクロコンピュータ等のハードウェアによって実現されてもよい。
【0063】
＜舌評価システム１０００が実行する処理＞
次に、舌評価システム１０００が実行する処理（舌評価方法）について説明する。図１０は、舌評価システム１０００が実行する処理の一例を示すフローチャートである。
次に、舌評価システム１０００が実行する処理（舌評価方法）について説明する。図１０は、舌評価システム１０００が実行する処理の一例を示すフローチャートである。
【0064】
（ステップＳ１０１）
ユーザ端末２の撮影部２３１は、ユーザの操作に応じて撮影装置２０５Ｃを制御し、対象者の顔画像２２１を撮影し、記憶部２２に保存する（ステップＳ１０１）。
ユーザ端末２の撮影部２３１は、ユーザの操作に応じて撮影装置２０５Ｃを制御し、対象者の顔画像２２１を撮影し、記憶部２２に保存する（ステップＳ１０１）。
【0065】
（ステップＳ１０２）
ユーザ端末２の通信部２１は、記憶部２２に保存された顔画像２２１を舌評価装置１に送信する（ステップＳ１０２）。
ユーザ端末２の通信部２１は、記憶部２２に保存された顔画像２２１を舌評価装置１に送信する（ステップＳ１０２）。
【0066】
（ステップＳ１０３）
舌評価装置１の取得部１３１は、通信部１１が受信した顔画像２２１（図５参照）を取得し、顔画像１２１として記憶部１２に保存する（ステップＳ１０３）。
舌評価装置１の取得部１３１は、通信部１１が受信した顔画像２２１（図５参照）を取得し、顔画像１２１として記憶部１２に保存する（ステップＳ１０３）。
【0067】
（ステップＳ１０４）
舌検出部１３２は、舌検出モデル１２２を利用して、顔画像１２１から対象者の舌を検出する（図７参照）（ステップＳ１０４）。これにより、顔画像１２１から対象者の舌がセグメンテーションされる。
舌検出部１３２は、舌検出モデル１２２を利用して、顔画像１２１から対象者の舌を検出する（図７参照）（ステップＳ１０４）。これにより、顔画像１２１から対象者の舌がセグメンテーションされる。
【0068】
（ステップＳ１０５）
トリミング部１３３は、ステップＳ１０４で検出された舌の検出結果に基づいて、顔画像１２１から部分画像１２３（図６参照）をトリミングし、記憶部１２に保存する（ステップＳ１０５）。
トリミング部１３３は、ステップＳ１０４で検出された舌の検出結果に基づいて、顔画像１２１から部分画像１２３（図６参照）をトリミングし、記憶部１２に保存する（ステップＳ１０５）。
【0069】
（ステップＳ１０６）
評価部１３５は、舌評価モデル１２４を利用して、部分画像１２３から対象者の舌のむくみ度合いを評価し、評価結果１２６として記憶部１２に保存する（ステップＳ１０６）。具体的には、評価部１３５は、舌評価モデル１２４に部分画像１２３を入力し、舌評価モデル１２４が出力したむくみ度合いの評価結果を取得する。むくみ度合いは、例えば、得点又はランクで評価されるが、これに限られない。
評価部１３５は、舌評価モデル１２４を利用して、部分画像１２３から対象者の舌のむくみ度合いを評価し、評価結果１２６として記憶部１２に保存する（ステップＳ１０６）。具体的には、評価部１３５は、舌評価モデル１２４に部分画像１２３を入力し、舌評価モデル１２４が出力したむくみ度合いの評価結果を取得する。むくみ度合いは、例えば、得点又はランクで評価されるが、これに限られない。
【0070】
部分画像１２３は、顔画像１２１より評価対象（舌）以外の部分（ノイズ）が少ない。このため、部分画像１２３に基づいてむくみ度合いを評価することにより、顔画像１２１に基づいてむくみ度合いを評価する場合に比べて、舌のむくみ度合いを精度良く評価することができる。
【0071】
また、舌だけの画像に基づいてむくみ度合いを評価した場合、撮影環境（明るさなど）によってむくみ度合いの評価が大きく変化する。これに対して、部分画像１２３は、舌だけの画像とは異なり、舌の周辺（歯、口腔、唇など）の画像を含むため、部分画像１２３に基づいてむくみ度合いを評価した場合、舌とその周辺の関係を加味してむくみ度合いが評価される。したがって、部分画像１２３に基づいてむくみ度合いを評価することにより、舌だけの画像に基づいてむくみ度合いを評価する場合に比べて、撮影環境の影響を抑制し、舌のむくみ度合いを精度良く評価することができる。
【0072】
（ステップＳ１０７）
評価部１３５は、舌評価モデル１２４を利用して、部分画像１２３から対象者の舌の乾燥度合いを評価し、評価結果１２６として記憶部１２に保存する（ステップＳ１０７）。具体的には、評価部１３５は、舌評価モデル１２４に部分画像１２３を入力し、舌評価モデル１２４が出力した乾燥度合いの評価結果を取得する。乾燥度合いは、例えば、得点又はランクで評価されるが、これに限られない。
評価部１３５は、舌評価モデル１２４を利用して、部分画像１２３から対象者の舌の乾燥度合いを評価し、評価結果１２６として記憶部１２に保存する（ステップＳ１０７）。具体的には、評価部１３５は、舌評価モデル１２４に部分画像１２３を入力し、舌評価モデル１２４が出力した乾燥度合いの評価結果を取得する。乾燥度合いは、例えば、得点又はランクで評価されるが、これに限られない。
【0073】
部分画像１２３は、顔画像１２１より評価対象（舌）以外の部分（ノイズ）が少ない。このため、部分画像１２３に基づいて乾燥度合いを評価することにより、顔画像１２１に基づいて乾燥度合いを評価する場合に比べて、舌の乾燥度合いを精度良く評価することができる。
【0074】
また、舌だけの画像に基づいて乾燥度合いを評価した場合、撮影環境（明るさなど）によって乾燥度合いの評価が大きく変化する。これに対して、部分画像１２３は、舌だけの画像とは異なり、舌の周辺（歯、口腔、唇など）の画像を含むため、部分画像１２３に基づいて乾燥度合いを評価した場合、舌とその周辺の関係を加味して乾燥度合いが評価される。したがって、部分画像１２３に基づいて乾燥度合いを評価することにより、舌だけの画像に基づいて乾燥度合いを評価する場合に比べて、撮影環境の影響を抑制し、舌の乾燥度合いを精度良く評価することができる。
【0075】
（ステップＳ１０８）
評価部１３５は、舌評価モデル１２４を利用して、部分画像１２３から対象者の舌の舌苔の色を評価し、評価結果１２６として記憶部１２に保存する（ステップＳ１０８）。具体的には、評価部１３５は、舌評価モデル１２４に部分画像１２３を入力し、舌評価モデル１２４が出力した舌苔の色の評価結果を取得する。舌苔の色は、例えば、４色（赤、白、黄、黒）で評価されるが、これに限られない。
評価部１３５は、舌評価モデル１２４を利用して、部分画像１２３から対象者の舌の舌苔の色を評価し、評価結果１２６として記憶部１２に保存する（ステップＳ１０８）。具体的には、評価部１３５は、舌評価モデル１２４に部分画像１２３を入力し、舌評価モデル１２４が出力した舌苔の色の評価結果を取得する。舌苔の色は、例えば、４色（赤、白、黄、黒）で評価されるが、これに限られない。
【0076】
部分画像１２３は、顔画像１２１より評価対象（舌）以外の部分（ノイズ）が少ない。このため、部分画像１２３に基づいて舌苔の色を評価することにより、顔画像１２１に基づいて舌苔の色を評価する場合に比べて、舌苔の色を精度良く評価することができる。
【0077】
また、舌だけの画像に基づいて舌苔の色を評価した場合、撮影環境（明るさなど）によって舌苔の色の評価が大きく変化する。これに対して、部分画像１２３は、舌だけの画像とは異なり、舌の周辺（歯、口腔、唇など）の画像を含むため、部分画像１２３に基づいて乾燥度合いを評価した場合、舌とその周辺の関係を加味して舌苔の色が評価される。したがって、部分画像１２３に基づいて舌苔の色を評価することにより、舌だけの画像に基づいて舌苔の色を評価する場合に比べて、撮影環境の影響を抑制し、舌苔の色を精度良く評価することができる。
【0078】
（ステップＳ１０９）
舌苔検出部１３４は、舌苔検出モデル１２５を利用して、部分画像１２３から舌苔を検出し（図８参照）、評価結果１２６として記憶部１２に保存する（ステップＳ１０９）。
舌苔検出部１３４は、舌苔検出モデル１２５を利用して、部分画像１２３から舌苔を検出し（図８参照）、評価結果１２６として記憶部１２に保存する（ステップＳ１０９）。
【0079】
（ステップＳ１１０）
評価部１３５は、舌のむくみ度合い、乾燥度合い、舌苔の色及び舌苔の検出結果（位置及び量）に基づいて、舌の状態を評価（総評）し、評価結果１２６として記憶部１２に保存する（ステップＳ１１０）。総評は、例えば、舌の状態を総合評価した点数又はランクであってもよいし、舌の状態を説明するコメントでもよい。
評価部１３５は、舌のむくみ度合い、乾燥度合い、舌苔の色及び舌苔の検出結果（位置及び量）に基づいて、舌の状態を評価（総評）し、評価結果１２６として記憶部１２に保存する（ステップＳ１１０）。総評は、例えば、舌の状態を総合評価した点数又はランクであってもよいし、舌の状態を説明するコメントでもよい。
【0080】
評価部１３５は、例えば、記憶部１２に予め記憶された、舌のむくみ度合い、乾燥度合い、舌苔の色及び舌苔の検出結果（位置及び量）と、総評と、の関係を示すテーブルを参照して舌の状態を評価することができる。また、評価部１３５は、ＬＬＭ（Large Language Models）などの機械学習モデルに舌のむくみ度合い、乾燥度合い、舌苔の色及び舌苔の検出結果（位置及び量）を入力してコメントを生成してもよい。また、評価部１３５は、上記のテーブルと機械学習モデルを併用して総評を生成してもよい。
【0081】
（ステップＳ１１１）
評価装置１の通信部１１は、記憶部１２に保存された評価結果１２６をユーザ端末２に送信する（ステップＳ１１１）。通信部１１は、評価結果１２６と共に部分画像１２３をユーザ端末２に送信してもよい。
評価装置１の通信部１１は、記憶部１２に保存された評価結果１２６をユーザ端末２に送信する（ステップＳ１１１）。通信部１１は、評価結果１２６と共に部分画像１２３をユーザ端末２に送信してもよい。
【0082】
（ステップＳ１１２）
ユーザ端末２の取得部２３２は、通信部２１が受信した評価結果１２６を取得し、評価結果２２２としてとして記憶部２２に保存する（ステップＳ１１２）。
ユーザ端末２の取得部２３２は、通信部２１が受信した評価結果１２６を取得し、評価結果２２２としてとして記憶部２２に保存する（ステップＳ１１２）。
【0083】
（ステップＳ１１３）
表示部２３３は、評価結果２２２を表示装置２０６Ｄに表示する（ステップＳ１１３）。評価結果２２２は、例えば、評価結果画面ＳＣに表示される。
表示部２３３は、評価結果２２２を表示装置２０６Ｄに表示する（ステップＳ１１３）。評価結果２２２は、例えば、評価結果画面ＳＣに表示される。
【0084】
図１１は、評価結果画面ＳＣの一例を示す図である。図１１の評価結果画面ＳＣには、顔画像２２１と、評価結果２２２と、が表示されている。評価結果２２２として、むくみ度合い（むくみ）、乾燥度合い（乾燥）、舌苔の量及び総評（総合）を示す得点と、舌苔の色と、部分画像１２３に重畳して表示された舌苔の検出結果と、コメント（総評）と、が表示されている。このように、ユーザ端末２に評価結果２２２を表示することにより、ユーザは、評価結果２２２を容易に把握することができる。
【0085】
＜まとめ＞
以上説明した通り、本実施形態によれば、舌評価システム１０００が実行する舌評価方法であって、舌を出した顔を撮影した顔画像１２１を取得する取得ステップと、舌検出モデル１２２を利用して、顔画像１２１から舌を検出する舌検出ステップと、舌の検出結果に基づいて、顔画像１２１から舌を含む部分画像１２３をトリミングするトリミングステップと、舌評価モデル１２４を利用して、部分画像１２３から舌のむくみ度合いを評価する評価ステップと、を含む舌評価方法が実現される。これにより、従来評価されなかった舌のむくみ度合いが評価可能となるため、舌の状態をより精度良く評価することができる。
以上説明した通り、本実施形態によれば、舌評価システム１０００が実行する舌評価方法であって、舌を出した顔を撮影した顔画像１２１を取得する取得ステップと、舌検出モデル１２２を利用して、顔画像１２１から舌を検出する舌検出ステップと、舌の検出結果に基づいて、顔画像１２１から舌を含む部分画像１２３をトリミングするトリミングステップと、舌評価モデル１２４を利用して、部分画像１２３から舌のむくみ度合いを評価する評価ステップと、を含む舌評価方法が実現される。これにより、従来評価されなかった舌のむくみ度合いが評価可能となるため、舌の状態をより精度良く評価することができる。
【0086】
また、本実施形態によれば、舌評価モデル１２４を利用して、部分画像１２３から舌の乾燥度合いが評価される。これにより、従来評価されなかった舌の乾燥度合いが評価可能となるため、舌の状態をより精度良く評価することができる。
【0087】
また、本実施形態によれば、舌評価モデル１２４を利用して、部分画像１２３から舌苔の色が評価される。これにより、従来評価されなかった舌苔の色が評価可能となるため、舌の状態をより精度良く評価することができる。
【0088】
また、本実施形態によれば、舌のむくみ度合い、乾燥度合い、舌苔の色及び舌苔の検出結果の少なくとも１つに基づいて、舌の状態が評価される。これにより、従来評価されなかった複数の舌の状態に基づいて舌の状態を評価可能となるため、舌の状態をより精度良く評価することができる。
【0089】
＜付記＞
本実施形態は、以下の開示を含む。
本実施形態は、以下の開示を含む。
【0090】
（付記１）
舌評価システムが実行する舌評価方法であって、
舌を出した顔を撮影した顔画像を取得する取得ステップと、
舌検出モデルを利用して、前記顔画像から前記舌を検出する舌検出ステップと、
前記舌の検出結果に基づいて、前記顔画像から前記舌を含む部分画像をトリミングするトリミングステップと、
舌評価モデルを利用して、前記部分画像から前記舌のむくみ度合いを評価する評価ステップと、
を含む舌評価方法。
舌評価システムが実行する舌評価方法であって、
舌を出した顔を撮影した顔画像を取得する取得ステップと、
舌検出モデルを利用して、前記顔画像から前記舌を検出する舌検出ステップと、
前記舌の検出結果に基づいて、前記顔画像から前記舌を含む部分画像をトリミングするトリミングステップと、
舌評価モデルを利用して、前記部分画像から前記舌のむくみ度合いを評価する評価ステップと、
を含む舌評価方法。
【0091】
（付記２）
前記評価ステップは、前記舌評価モデルを利用して、前記部分画像から前記舌の乾燥度合いを評価する
付記１に記載の舌評価方法。
前記評価ステップは、前記舌評価モデルを利用して、前記部分画像から前記舌の乾燥度合いを評価する
付記１に記載の舌評価方法。
【0092】
（付記３）
前記評価ステップは、前記舌評価モデルを利用して、前記部分画像から前記舌の舌苔の色を評価する
付記１に記載の舌評価方法。
前記評価ステップは、前記舌評価モデルを利用して、前記部分画像から前記舌の舌苔の色を評価する
付記１に記載の舌評価方法。
【0093】
（付記４）
前記舌評価モデルは、前記部分画像を入力されると前記舌の評価結果を出力するように学習された機械学習モデルである
付記１に記載の舌評価方法。
前記舌評価モデルは、前記部分画像を入力されると前記舌の評価結果を出力するように学習された機械学習モデルである
付記１に記載の舌評価方法。
【0094】
（付記５）
舌苔検出モデルを利用して、前記部分画像から前記舌の舌苔を検出する舌苔検出ステップを更に含む
付記１に記載の舌評価方法。
舌苔検出モデルを利用して、前記部分画像から前記舌の舌苔を検出する舌苔検出ステップを更に含む
付記１に記載の舌評価方法。
【0095】
（付記６）
前記評価ステップは、前記舌の前記むくみ度合い、乾燥度合い、舌苔の色及び舌苔の検出結果の少なくとも１つに基づいて、前記舌の状態を評価する
付記１に記載の舌評価方法。
前記評価ステップは、前記舌の前記むくみ度合い、乾燥度合い、舌苔の色及び舌苔の検出結果の少なくとも１つに基づいて、前記舌の状態を評価する
付記１に記載の舌評価方法。
【0096】
（付記７）
舌を出した顔を撮影した顔画像を取得する取得部と、
舌検出モデルを利用して、前記顔画像から前記舌を検出する舌検出部と、
前記舌の検出結果に基づいて、前記顔画像から前記舌を含む部分画像をトリミングするトリミング部と、
舌評価モデルを利用して、前記部分画像から前記舌のむくみ度合いを評価する評価部と、
を備える舌評価システム。
舌を出した顔を撮影した顔画像を取得する取得部と、
舌検出モデルを利用して、前記顔画像から前記舌を検出する舌検出部と、
前記舌の検出結果に基づいて、前記顔画像から前記舌を含む部分画像をトリミングするトリミング部と、
舌評価モデルを利用して、前記部分画像から前記舌のむくみ度合いを評価する評価部と、
を備える舌評価システム。
【0097】
（付記８）
舌評価システムが実行する舌評価方法であって、
舌を出した顔を撮影した顔画像を取得する取得ステップと、
舌検出モデルを利用して、前記顔画像から前記舌を検出する舌検出ステップと、
前記舌の検出結果に基づいて、前記顔画像から前記舌を含む部分画像をトリミングするトリミングステップと、
舌評価モデルを利用して、前記部分画像から前記舌のむくみ度合いを評価する評価ステップと、
を含む舌評価方法をコンピュータに実行させるための舌評価プログラム。
舌評価システムが実行する舌評価方法であって、
舌を出した顔を撮影した顔画像を取得する取得ステップと、
舌検出モデルを利用して、前記顔画像から前記舌を検出する舌検出ステップと、
前記舌の検出結果に基づいて、前記顔画像から前記舌を含む部分画像をトリミングするトリミングステップと、
舌評価モデルを利用して、前記部分画像から前記舌のむくみ度合いを評価する評価ステップと、
を含む舌評価方法をコンピュータに実行させるための舌評価プログラム。
【0098】
今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。また、本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【0099】
１：舌評価装置
２：ユーザ端末
１２１：顔画像
１２２：舌検出モデル
１２３：部分画像
１２４：舌評価モデル
１２５：舌苔検出モデル
１２６：評価結果
１３１：取得部
１３２：舌検出部
１３３：トリミング部
１３４：舌苔検出部
１３５：評価部
２：ユーザ端末
１２１：顔画像
１２２：舌検出モデル
１２３：部分画像
１２４：舌評価モデル
１２５：舌苔検出モデル
１２６：評価結果
１３１：取得部
１３２：舌検出部
１３３：トリミング部
１３４：舌苔検出部
１３５：評価部
【要約】
【課題】 舌の状態を精度良く評価する。
【解決手段】
一実施形態に係る舌評価方法は、舌評価システムが実行する舌評価方法であって、舌を出した顔を撮影した顔画像を取得する取得ステップと、舌検出モデルを利用して、前記顔画像から前記舌を検出する舌検出ステップと、前記舌の検出結果に基づいて、前記顔画像から前記舌を含む部分画像をトリミングするトリミングステップと、舌評価モデルを利用して、前記部分画像から前記舌のむくみ度合いを評価する評価ステップと、を含む。
【選択図】図１１
【解決手段】
一実施形態に係る舌評価方法は、舌評価システムが実行する舌評価方法であって、舌を出した顔を撮影した顔画像を取得する取得ステップと、舌検出モデルを利用して、前記顔画像から前記舌を検出する舌検出ステップと、前記舌の検出結果に基づいて、前記顔画像から前記舌を含む部分画像をトリミングするトリミングステップと、舌評価モデルを利用して、前記部分画像から前記舌のむくみ度合いを評価する評価ステップと、を含む。
【選択図】図１１
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
