特許 7583893 舌画像に基づいてストレス状態を測定する方法、情報処理装置、及び情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-11-06

(45)【発行日】2024-11-14

(54)【発明の名称】舌画像に基づいてストレス状態を測定する方法、情報処理装置、及び情報処理プログラム

(51)【国際特許分類】

   A61B 5/16 20060101AFI20241107BHJP

   A61B 5/107 20060101ALI20241107BHJP

【ＦＩ】

A61B5/16 110

A61B5/107 100

【請求項の数】 8

(21)【出願番号】P 2023183139

(22)【出願日】2023-10-25

【審査請求日】2023-11-09

(73)【特許権者】

【識別番号】390004710

【氏名又は名称】株式会社第一興商

(74)【代理人】

【識別番号】110000176

【氏名又は名称】弁理士法人一色国際特許事務所

(72)【発明者】

【氏名】齋藤 一郎

【審査官】▲高▼原 悠佑

(56)【参考文献】

【文献】特開２００９－０２８０５８（ＪＰ，Ａ）

【文献】中国実用新案第２０７７５５２６３（ＣＮ，Ｕ）

【文献】米国特許出願公開第２０２１／０３０７５９７（ＵＳ，Ａ１）

【文献】中国特許出願公開第１０６５１０６３６（ＣＮ，Ａ）

【文献】特開２００５－１３７７５６（ＪＰ，Ａ）

【文献】国際公開第２０１５／０６８４９４（ＷＯ，Ａ１）

【文献】ストレスと舌診－鍼灸・長岡治療院，2010年11月23日，https://www.n-acp.com/archives/3918

【文献】HERNANDEZ, Javier et al.，Stress Measurement from Tongue Color Imaging，2017 Seventh International Conference on Affective Computing and Intelligent Interaction (ACII)，2017年10月，pp. 152-157，<DOI: 10.1109/ACII.2017.8273593>

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ５／００－５／０５３８

Ａ６１Ｂ ５／０６－５／３９８

(57)【特許請求の範囲】

【請求項1】

被測定者の舌の撮像画像から抽出された前記被測定者の舌の特徴量を取得するステップと、
被験者の舌の撮像画像から抽出された前記舌の特徴量を入力した場合に、予め測定された前記被験者のストレス状態を出力するよう学習済みの学習済モデルを用いて、前記舌の特徴量から前記被測定者のストレス状態を測定するステップと、
を含み、
前記被測定者の舌の特徴量は、形状に関する特徴量、色彩に関する特徴量、及びテクスチャに関する特徴量の全てを含み、
前記色彩に関する特徴量と前記テクスチャに関する特徴量は、舌表面の分割された所定の複数の範囲のそれぞれにおける特徴量を含む、
舌画像に基づいてストレス状態を測定する方法。

【請求項2】

前記形状に関する特徴量は、舌の面積、舌の長さ、及び舌の幅の少なくとも１つを含む、
請求項１に記載の舌画像に基づいてストレス状態を測定する方法。

【請求項3】

前記色彩に関する特徴量は、前記舌表面の所定の箇所の複数の画素における色彩の統計量であり、
前記色彩は、所定の色空間で表現された色座標である、
請求項１に記載の舌画像に基づいてストレス状態を測定する方法。

【請求項4】

前記テクスチャに関する特徴量は、前記舌表面の所定の箇所におけるグレーレベル同時生起行列に基づく特徴量を含む、
請求項１に記載の舌画像に基づいてストレス状態を測定する方法。

【請求項5】

前記学習済モデルは、ランダムフォレスト、ＬＧＢＭ、ＸＧＢのいずれかに基づく機械学習モデルである、
請求項１に記載の舌画像に基づいてストレス状態を測定する方法。

【請求項6】

前記被測定者の舌の撮像画像を取得するステップと、
前記被測定者の舌の撮像画像から、前記舌の特徴量を抽出するステップと、
を更に含む、
請求項１～５のいずれか一に記載の舌画像に基づいてストレス状態を測定する方法。

【請求項7】

被測定者の舌の撮像画像から抽出された前記被測定者の舌の特徴量を取得する特徴量取得部と、
被験者の舌の撮像画像から抽出された前記舌の特徴量を入力した場合に、予め測定された前記被験者のストレス状態を出力するよう学習済みの学習済モデルを用いて、前記舌の特徴量から前記被測定者のストレス状態を測定する測定部と、
を備え、
前記被測定者の舌の特徴量は、形状に関する特徴量、色彩に関する特徴量、及びテクスチャに関する特徴量の全てを含み、
前記色彩に関する特徴量と前記テクスチャに関する特徴量は、舌表面の分割された所定の複数の範囲のそれぞれにおける特徴量を含む、
情報処理装置。

【請求項8】

コンピュータに、
被測定者の舌の撮像画像から抽出された前記被測定者の舌の特徴量を取得する処理と、
被験者の舌の撮像画像から抽出された前記舌の特徴量を入力した場合に、予め測定された前記被験者のストレス状態を出力するよう学習済みの学習済モデルを用いて、前記舌の特徴量から前記被測定者のストレス状態を測定する処理と、
を実行させ、
前記被測定者の舌の特徴量は、形状に関する特徴量、色彩に関する特徴量、及びテクスチャに関する特徴量の全てを含み、
前記色彩に関する特徴量と前記テクスチャに関する特徴量は、舌表面の分割された所定の複数の範囲のそれぞれにおける特徴量を含む、
情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、舌画像に基づいてストレス状態を測定する方法、情報処理装置、及び情報処理プログラムに関する。

【背景技術】

【0002】

被験者のストレス状態を判定する方法が知られている。例えば、特許文献１には、被験者の頭部の複数の異なる位置にセンサを取り付け、センサによって取得された脳電位信号に基づいて、被験者のストレス状態を判定する方法が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２１－１１８９０８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載された方法は、被験者に取り付けたセンサからの脳電位信号を取得する必要がある。しかしながら、このような方法は高度な技術や知識が必要であり、熟練していない者が実施することは困難である。

【0005】

本発明はこのような課題を鑑みてなされたものであり、簡易にストレス状態の測定をすることが可能な技術を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するための一の発明は、被測定者の舌の撮像画像から抽出された前記被測定者の舌の特徴量を取得するステップと、被験者の舌の撮像画像から抽出された前記舌の特徴量を入力した場合に、予め測定された前記被験者のストレス状態を出力するよう学習済みの学習済モデルを用いて、前記舌の特徴量から前記被測定者のストレス状態を測定するステップと、を含み、前記被測定者の舌の特徴量は、形状に関する特徴量、色彩に関する特徴量、及びテクスチャに関する特徴量の全てを含み、前記色彩に関する特徴量と前記テクスチャに関する特徴量は、舌表面の分割された所定の複数の範囲のそれぞれにおける特徴量を含む、舌画像に基づいてストレス状態を測定する方法である。

【発明の効果】

【0007】

本発明によれば、簡易にストレス状態の測定をすることが可能な技術を提供することができる。

【図面の簡単な説明】

【0008】

【図1】実施形態の情報処理システム１の概要を説明するための図である。

【図2】実施形態の情報処理装置３のハードウェア構成の一例を示す図である。

【図3】実施形態で用いられる学習データを説明するための図である。

【図4】舌の表面の舌尖、舌辺及び舌中を説明するための図である。

【図5】形状に関する特徴量を説明する図である。

【図6】実施形態の情報処理装置３の機能ブロックを説明する図である。

【図7】実施形態の情報処理システム１が実行する処理を説明するフローチャートである。

【図8】３分割交差検証による検証を説明する図である。

【図9】３分割交差検証の結果を示す図である。

【図10】ＬＧＢＭを用いた場合の測定性能の結果を示す図である。

【発明を実施するための形態】

【0009】

＝＝実施形態＝＝
＜＜＜情報処理システム１＞＞＞
情報処理システム１は、被測定者の舌の画像を撮像し、撮像された舌の画像に基づいて、被測定者のストレス状態を測定するシステムである。

【0010】

図１は、本実施形態の情報処理システム１の概要を説明するための図である。情報処理システム１は、撮像装置２と、情報処理装置３とを備える。撮像装置２と、情報処理装置３とは、インターネット等の通信ネットワークＮＷを介して接続されている。情報処理装置３は「コンピュータ」に相当する。

【0011】

＜＜撮像装置２＞＞
撮像装置２は、被測定者の舌の画像Ｐを撮像するための装置である。撮像装置２としては、被測定者の舌の状態（色彩、形状、質感など）を観察することが可能な画像を撮像できるものであれば特に制限はない。なお、撮像装置によって撮像された画像Ｐは、「撮像画像」に相当する。

【0012】

図１に示すように、撮像装置２によって撮像された舌の画像Ｐは、通信ネットワークＮＷを介して後述する情報処理装置３に送信される。

【0013】

撮像装置２としては、たとえばタカノ株式会社製の舌画像撮影システム（ＴＩＡＳ：Ｔｏｎｇｕｅ Ｉｍａｇｅ Ａｎａｌｙｚｉｎｇ Ｓｙｓｔｅｍ）を用いることができる。ＴＩＡＳは、積分球を用いることで外光の影響を排除し、均一な量の光を舌に照射して舌の画像を撮像することが可能な装置である。

【0014】

＜＜情報処理装置３＞＞
情報処理装置３は、撮像装置２によって撮像された舌の画像Ｐを取得し、舌の画像Ｐに基づいて、被測定者のストレス状態を測定する装置である。情報処理装置３が被測定者のストレス状態を測定する際には、予め生成された学習済モデル（詳細は後述）が用いられる。

【0015】

以下では、情報処理装置３のハードウェア構成、情報処理装置３が用いる学習済モデル、情報処理装置３の機能ブロックの順で説明する。

【0016】

＜情報処理装置３のハードウェア構成＞
図２は、情報処理装置３のハードウェア構成の一例を示す図である。情報処理装置３は、プロセッサ３０１と、主記憶装置３０２と、補助記憶装置３０３と、入力装置３０４と、出力装置３０５と、通信装置３０６とを備える。

【0017】

なお、情報処理装置３は、その全部または一部が、例えば、クラウドシステムによって提供される仮想サーバのように、仮想化技術やプロセス空間分離技術等を用いて提供される仮想的な情報処理資源を用いて実現されるものであってもよい。

【0018】

また、情報処理装置３によって提供される機能の全部または一部は、例えば、クラウドシステムがＡＰＩ（Application Programming Interface）等を介して提供するサービスによって実現してもよい。また、情報処理システム１は、通信可能に接続された複数の情報処理装置３を含んでいてもよい。

【0019】

プロセッサ３０１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＡＩ（Artificial Intelligence）チップ等を用いて構成されている。

【0020】

主記憶装置３０２は、プログラムやデータを記憶する装置であり、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、不揮発性メモリ（ＮＶＲＡＭ（Non Volatile RAM））等である。

【0021】

補助記憶装置３０３は、例えば、ＳＳＤ（Solid State Drive）、ハードディスクドライブ、光学式記憶装置（ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）等）、ストレージシステム、ＩＣカード、ＳＤカードや光学式記録媒体等の記録媒体の読取／書込装置、クラウドサーバの記憶領域等である。

【0022】

補助記憶装置３０３には、記録媒体の読取装置や通信装置３０６を介してプログラムやデータを読み込むことができる。補助記憶装置３０３に格納（記憶）されているプログラムやデータは主記憶装置３０２に随時読み込まれる。

【0023】

ここでのプログラムやデータには、舌の画像を解析して特徴量（後述）を抽出するためのプログラム（「情報処理プログラム」に相当する）、被測定者のストレス状態を測定するための学習済モデル等が含まれる。

【0024】

入力装置３０４は、外部からの入力を受け付けるインタフェースであり、例えば、キーボード、マウス、タッチパネル、カードリーダ、ペン入力方式のタブレット、音声入力装置等である。

【0025】

出力装置３０５は、処理経過や処理結果等の各種情報を出力するインタフェースである。出力装置３０５は、例えば、上記の各種情報を可視化する表示装置（液晶モニタ、ＬＣＤ（Liquid Crystal Display）、グラフィックカード等）、上記の各種情報を音声化する装置（音声出力装置（スピーカ等））、上記の各種情報を文字化する装置（印字装置等）である。

【0026】

入力装置３０４及び出力装置３０５は、ユーザとの間で情報の受け付けや情報の提示を行うユーザインタフェースを構成する。

【0027】

通信装置３０６は、他の装置との間の通信を実現する装置である。通信装置３０６は、インターネット等の通信ネットワークを介して他の装置との間の通信を実現する、有線方式または無線方式の通信インタフェースであり、例えば、ＮＩＣ（Network Interface Card）、無線通信モジュール、ＵＳＢモジュール等である。本実施形態において、情報処理装置３は、通信装置３０６を介して撮像装置２との間で情報の入力や出力を行うことができる。

【0028】

情報処理装置３には、例えば、オペレーティングシステム、ファイルシステム、ＤＢＭＳ（DataBase Management System）（リレーショナルデータベース、ＮｏＳＱＬ等）、ＫＶＳ（Key-Value Store）等が導入されていてもよい。

【0029】

情報処理システム１が備える後述の各機能は、情報処理装置３のプロセッサ３０１が、主記憶装置３０２に格納されているプログラムを読み出して実行することにより、もしくは、情報処理システム１を構成するハードウェア（ＦＰＧＡ、ＡＳＩＣ、ＡＩチップ等）によって実現される。情報処理システム１は、前述した各種の情報（データ）を、例えば、データベースのテーブルやファイルシステムが管理するファイルとして記憶する。

【0030】

＜学習済モデル＞
学習済モデルは、被験者の舌の撮像画像から抽出された舌の特徴量を入力した場合に、予め測定された被験者のストレス状態を出力するよう学習済みの機械学習モデルである。

【0031】

学習済モデルを作成するためには、予め撮影された複数の舌画像、及び当該舌画像に対応する被験者のストレス状態を含む学習データを生成する（詳細は後述）。つまり、学習済モデルを構築するにあたり、複数の被験者を募り、それぞれの舌の画像を取得する。更に、複数の被験者のそれぞれのストレス状態を測定する。

【0032】

以下、先ず学習データの詳細及び学習データの生成処理について説明し、次いで学習済モデルの構築について説明する。

【0033】

［学習データの詳細］
図３は、本実施形態の学習済モデルを構築する際に用いられる学習データ４を説明するための図である。学習データ４は、入力データ４ａと、正解データ４ｂとを含む。図３には、複数の被験者のそれぞれから取得された入力データ４ａ及び正解データ４ｂが示されている。

【0034】

入力データ４ａは、被験者の舌の特徴量を示すデータである。舌の特徴量としては、形状に関する特徴量、色彩に関する特徴量及びテクスチャに関する特徴量を含む（詳細は後述）。

【0035】

正解データ４ｂは、被験者のストレス状態を示すデータである。本実施形態において「ストレス状態」とは、「高」又は「低」の２段階とした。なお、以下では「高」のストレス状態を「高ストレス」と称し、「低」のストレス状態を「低ストレス」と称する場合がある。

【0036】

なお、正解データ４ｂにおける被験者のストレス状態は２段階に限られるものではない。被験者のストレス状態は３段階以上の多段階で示されてもよいし、所定の範囲内の連続的な数値で示されてもよい。

【0037】

［学習データの生成処理］
学習データを生成するにあたり、複数の被験者を募り、複数の被験者のそれぞれの舌の画像及びストレス状態を取得する試験を実施する。

【0038】

図３に示したように、本実施形態に係る舌の特徴量は、形状に関する特徴量と、色彩に関する特徴量と、テクスチャに関する特徴量とを含む。これらの舌の特徴量は、撮像された被験者の舌の画像から抽出される。

【0039】

更に、色彩に関する特徴量及びテクスチャに関する特徴量は、舌表面の分割された所定の複数の範囲のそれぞれにおける特徴量を含む。本実施形態では、色彩に関する特徴量と、テクスチャに関する特徴量とについては、舌表面の分割された３つの範囲（舌尖、舌辺及び舌中）のそれぞれにおける特徴量を含む。なお、所定の複数の範囲とは、本実施形態では舌尖、舌辺及び舌中を含む範囲であるが、これに限られるものではない。

【0040】

図４は、舌Ｔの表面の舌尖、舌辺及び舌中を説明するための図である。図４は、Ｃｈｉｕ法と呼ばれる方法（Ｃｈｉｕ， Ｃ Ｃ． “Ａ ｎｏｖｅｌ ａｐｐｒｏａｃｈ ｂａｓｅｄ ｏｎ ｃｏｍｐｕｔｅｒｉｚｅｄ ｉｍａｇｅ ａｎａｌｙｓｉｓ ｆｏｒ ｔｒａｄｉｔｉｏｎａｌ Ｃｈｉｎｅｓｅ ｍｅｄｉｃａｌ ｄｉａｇｎｏｓｉｓ ｏｆ ｔｈｅ ｔｏｎｇｕｅ．” Ｃｏｍｐｕｔｅｒ ｍｅｔｈｏｄｓ ａｎｄ ｐｒｏｇｒａｍｓ ｉｎ ｂｉｏｍｅｄｉｃｉｎｅ ｖｏｌ． ６１， ２： ７７－８９）を用いて分割された範囲を示している。

【0041】

Ｃｈｉｕ法によれば、図４に示した所定の固定比率に基づいて、舌Ｔの表面の範囲が、舌尖、舌辺及び舌中に分割される。

【0042】

なお、舌表面を分割する方法については、Ｃｈｉｕ法に限られるものではない。他の例として、拡張Ｃｈｉｕ法、五点法（小笠原節夫，”人口地理学入門”，原書房，1999．）等を用いてもよい。

【0043】

以下、形状に関する特徴量、色彩に関する特徴量、テクスチャに関する特徴量の順に、それぞれの特徴量を抽出する手順について説明する。

【0044】

・形状に関する特徴量
形状に関する特徴量は、舌の形状の特徴を示す量である。本実施形態において、形状に関する特徴量は、舌の面積と、舌の長さと、舌の幅と、左上座標（ｘ及びｙ座標）と、右下座標（ｘ及びｙ座標）との７個の特徴量を含む。

【0045】

図５は、本実施形態に係る形状に関する特徴量を説明する図である。図５において、舌の面積Ｓと、舌の長さＬと、舌の幅Ｗと、左上座標Ｐ１（ｘ１，ｙ１）と、右下座標Ｐ２（ｘ２，ｙ２）とが示されている。

【0046】

なお、左上座標Ｐ１のｘ１及びｙ１の値はそれぞれ、舌の画像において舌Ｔが占める領域のｘ座標の最小値及びｙ座標の最大値である。また、右下座標Ｐ２のｘ２及びｙ２の値はそれぞれ、舌の画像において舌Ｔが占める領域のｘ座標の最大値及びｙ座標の最小値である。

【0047】

なお、本実施形態では形状に関する特徴量として、上述の７個の特徴量を用いることとしたが、これに限られるものではない。上述の７個の特徴量のうち、少なくともいずれか一が形状に関する特徴量として用いられればよい。

【0048】

・色彩に関する特徴量
色彩に関する特徴量は、舌の色彩の特徴を示す量である。本実施形態において、色彩に関する特徴量は、舌表面の所定の複数の範囲（本実施形態では、舌尖、舌中及び舌辺）のそれぞれの複数の画素における色彩の統計量である。

【0049】

ここで、「色彩」とは、所定の色空間で表現された色座標である。本実施形態では、色空間としてＣＩＥＬ＊ａ＊ｂ＊色空間を用いる。

【0050】

ＣＩＥＬ＊ａ＊ｂ＊色空間は、明度（Ｌ＊）、赤と緑の間の位置（ａ＊）、黄色と青の間の位置（ｂ＊）の３個の色座標によって表現される色空間である。

【0051】

また、「統計量」とは、最大値と、中央値と、平均値と、最小値と、分散と、歪度と、尖度との７個の統計量を含む。なお、統計量はこれらに限定されるものではなく、これらの７個の統計量のうち、少なくともいずれか一が色彩の統計量として用いられればよい。

【0052】

従って、色彩に関する特徴量は、本実施形態では６３個（＝３個×３個×７個）の統計量から構成される。

【0053】

これらの６３個の統計量のうち、例えば「舌尖」の「Ｌ＊」（明度）の「最大値」とは、被験者の舌の画像における舌尖の範囲内に位置する全ての画素のＬ＊（明度）うちの最大値である。

【0054】

また、例えば「舌尖」の「Ｌ＊」（明度）の「平均値」とは、被験者の舌の画像における舌尖の範囲内に位置する全ての画素のＬ＊（明度）の平均値である。

【0055】

なお、本実施形態では色彩の統計量を抽出する際に、舌尖、舌中又は舌辺のそれぞれの範囲に位置する全ての画素の色座標を用いることとしたが、これに限られない。舌尖、舌中又は舌辺のそれぞれの範囲に位置する一部の画素の色座標を用いることとしてもよい。例えば、舌尖、舌中又は舌辺のそれぞれの所定の点を代表点とし、代表点から近傍の範囲内に位置する複数の画素の色座標を用いることとしてもよい。

【0056】

・テクスチャに関する特徴量
テクスチャに関する特徴量は、舌表面のテクスチャの特徴を示す量である。本実施形態において、テクスチャに関する特徴量は、舌表面の所定の複数の範囲（本実施形態では、舌表面の舌尖、舌中及び舌辺）のそれぞれにおけるグレーレベル同時生起行列（ＧＬＣＭ：Ｇｒａｙ Ｌｅｖｅｌ Ｃｏ―ｏｃｃｕｒｒｅｎｃｅ Ｍａｔｒｉｘ）に基づく特徴量を含む。

【0057】

グレーレベル同時生起行列に基づく特徴量は、コントラストと、不均一性と、均一性と、一様性と、エナジーと、相関との６個を含む。なお、グレーレベル同時生起行列に基づく特徴量はこれらに限定されるものではなく、これらの６個の特徴量のうち、少なくともいずれか一がグレーレベル同時生起行列に基づく特徴量として用いられればよい。

【0058】

従って、テクスチャに関する特徴量は、本実施形態では１８個（＝３個×６個）の統計量から構成される。

【0059】

これらの１８個の統計量のうち、例えば「舌尖」の「コントラスト」とは、被験者の舌の画像における舌尖の範囲内に位置する画素から抽出された、グレーレベル同時生起行列に基づくコントラストである。

【0060】

以上説明した舌の特徴量は、合計８８個（７個＋６３個＋１８個）の特徴量から構成される。図３は、これらのうち一部以外を省略して示している。

【0061】

なお、本実施形態では、舌の特徴量として、形状に関する特徴量と、色彩に関する特徴量と、テクスチャに関する特徴量との３個の特徴量について説明したが、必ずしもこれら３個の全てを含まなくてもよく、これらのうち少なくとも一つを含んでいればよい。

【0062】

・被験者のストレス状態
被験者のストレス状態は、所定のアンケートに基づいて測定される。所定のアンケートは、ストレス状態を測定するために作成されたものである。本実施形態に係る所定のアンケートは、厚生労働省によって作成された「職業性ストレス簡易調査票（簡略版２３項目）」（以下、単に「調査票」と称する）を用いる。

【0063】

調査票によれば、被験者からの調査票に対する回答と、調査票の配点とに基づいて被験者のストレス状態を測定することが可能である。この測定方法を、以下では「調査票の配点を用いた方法」と称する。

【0064】

また、被験者からの調査票に対する回答と、厚生労働省によって作成された素点換算表とに基づいてストレス状態を測定することも可能である。この場合の測定方法を、以下では「素点換算表を用いた方法」と称する。

【0065】

本実施形態では、調査票の配点を用いた方法及び素点換算表を用いた方法を用いる方法で被験者のストレス状態を測定する（詳細は後述）。

【0066】

被験者のストレス状態は、所定のアンケートに対する当該被験者の回答に基づいて測定される。

【0067】

なお、被験者のストレス状態を測定する方法としては、アンケートに限られるものではない。例えば、被験者を対象としたカウンセリングに基づいて当該被測定者のストレス状態を測定してもよいし、医療機器を用いて測定してもよい。

【0068】

以上説明した方法を用いて、複数の被験者のそれぞれから、舌の特徴量を取得し、ストレス状態を測定することにより、図３に示した学習データ４における被験者毎の具体的な数値及びストレス状態（「高」又は「低」）を取得することができる。

【0069】

［学習済モデルの構築］
学習済モデルは、機械学習モデルに学習データを学習させることによって構築される。機械学習モデルとしては、教師あり学習に基づく機械学習モデルを用いることができる。

【0070】

教師あり学習に基づく機械学習モデルとしては、特に制限はないが、例えば、ランダムフォレスト（RF：Random Forest）、ＬＧＢＭ（LGBM：Light Gradient Boost Machine）、ＸＧＢ（XGB：Extreme Gradient Boosting）といった機械学習モデルを用いることができる。

【0071】

＜情報処理装置３の機能ブロック＞
図６は、情報処理装置３の機能ブロックを説明する図である。情報処置装置は、画像取得部３１１と、特徴量抽出部３１２と、特徴量取得部３１３と、測定部３１４と、出力部３１５と、を備える。

【0072】

［画像取得部３１１］
画像取得部３１１は、被測定者の舌の画像を取得する。舌の画像は、上述の撮像装置２によって撮像された画像である。画像取得部３１１は、通信装置３０６を介して撮像装置２から画像を取得する。

【0073】

［特徴量抽出部３１２］
特徴量抽出部３１２は、被測定者の舌の画像から、所定の画像解析プログラムを用いて舌の特徴量を抽出する。本実施形態に係る舌の特徴量は、図３に示した学習データ４のうち、入力データ４ａに対応する。つまり、本実施形態に係る舌の特徴量は、上述のように８８個の特徴量から構成される。

【0074】

特徴量抽出部３１２は、被測定者の舌の画像に対して画像解析を行い、所定数（本実施形態では８８個）の舌の特徴量を抽出する。特徴量抽出部３１２が舌の特徴量を抽出する方法は、上述の学習データ４の生成において、被験者の舌の画像から舌の特徴量を抽出する際の方法と同じである。

【0075】

［特徴量取得部３１３］
特徴量取得部３１３は、被測定者の舌の画像から抽出された被測定者の舌の特徴量を取得する。本実施形態では、特徴量取得部３１３は、特徴量抽出部３１２から被測定者の舌の特徴量を取得する。

【0076】

なお、後述するが、前述の画像取得部３１１及び特徴量抽出部３１２は、必ずしも情報処理装置３に備えられなくてもよく、他のコンピュータに備えられてもよい。この場合、特徴量取得部３１３は、インターネット等の通信ネットワークを介して当該他のコンピュータから舌の特徴量を取得する。

【0077】

［測定部３１４］
測定部３１４は、学習済モデルを用いて、舌の特徴量から被測定者のストレス状態を測定する。測定部３１４は、特徴量取得部３１３によって取得された舌の特徴量を学習済モデルに入力し、被測定者のストレス状態の測定結果を出力する。

【0078】

［出力部３１５］
出力部３１５は、測定部３１４によるストレス状態の測定結果を、情報処理装置３の出力装置３０５（図２）を介して出力する。出力装置３０５は、液晶モニタ等の表示装置に測定結果を表示したり、スピーカ等の音声出力装置によって測定結果を音声化したりすることにより、被測定者に対して測定結果を示す。

【0079】

以上、本実施形態の情報処理装置３について説明したが、これは一例であってこれに限られるものではない。

【0080】

例えば、本実施形態では、被測定者の舌の画像から舌の特徴量を抽出するための特徴量抽出部３１２が、情報処理装置３に備えられる。一方、撮像装置２に、特徴量抽出部３１２に相当する構成が備えられてもよい。この場合、特徴量取得部３１３は、撮像装置２から舌の特徴量を取得する。或いは、他の装置に特徴量抽出部３１２に相当する構成が備えられてもよい。

【0081】

また、本実施形態の情報処理システム１は、スマートフォン、タブレット端末、スマートウォッチ等の携帯端末に備えられてもよい。この場合、携帯端末には、本実施形態の情報処理装置３が備える機能を実現するためのアプリケーションプログラムがインストールされる。また、撮像装置２としては、携帯端末に内蔵されたカメラを用いることができる。

【0082】

携帯端末のユーザが携帯端末のカメラを起動し、自身の舌を撮影すると、携帯端末は、舌の画像を取得する。そして、携帯端末は、当該舌の画像を用いた特徴量の抽出、学習済モデルを用いたストレス状態の測定を実行する。

【0083】

携帯端末は、ストレス状態の測定結果をディスプレイに表示させることにより、ユーザに測定結果を提示することができる。

【0084】

＜＜情報処理システム１が実行する処理＞＞
情報処理システム１が被測定者の舌の画像を撮像してから、被測定者のストレス状態を出力するまでの処理についてフローチャートを用いて説明する。図７は、情報処理システム１が実行する処理を説明するフローチャートである。この例においては上述の学習データを用いた学習済モデルが予め構築されているとする。

【0085】

先ず、ステップＳ１０１において、撮像装置２は、被測定者の舌の画像を撮像する。

【0086】

次いで、ステップＳ１０２において、情報処理装置３の画像取得部３１１は、ステップＳ１０１で撮像された画像を取得する。

【0087】

次いで、ステップＳ１０３において、特徴量抽出部３１２は、ステップＳ１０２で取得された画像に対して画像解析を行い、舌の特徴量を抽出する。

【0088】

次いで、ステップＳ１０４において、特徴量取得部３１３は、ステップＳ１０３で抽出された舌の特徴量を取得する。

【0089】

次いで、ステップＳ１０５において、測定部３１４は、ステップＳ１０４で取得された舌の特徴量に基づいて、被測定者のストレス状態を測定する。このとき、測定部３１４は、舌の特徴量を学習済モデルに入力し、学習済モデルの出力結果を測定結果とする。

【0090】

最後に、ステップＳ１０６において、出力部３１５は、ステップＳ１０５における測定結果を、出力装置３０５を介して被測定者に示す。

【0091】

＝＝まとめ＝＝
以上説明した実施形態の舌画像に基づいてストレス状態を測定する方法は、被測定者の舌の撮像画像から抽出された被測定者の舌の特徴量を取得するステップと、被験者の舌の撮像画像から抽出された舌の特徴量を入力した場合に、予め測定された被験者のストレス状態を出力するよう学習済みの学習済モデルを用いて、舌の特徴量から被測定者のストレス状態を測定するステップと、を含む。

【0092】

このような方法によれば、舌の特徴量と、ストレス状態との相関を用いた学習済モデルを用いて、撮像装置２で撮像された被測定者の舌画像から当該被測定者のストレス状態を測定することができる。また、被測定者は撮像装置２で舌の画像を撮影するだけで済むため、負担が少なく簡易である。すなわち、実施形態の情報処理方法によれば、簡易な方法によって被測定者のストレス状態を測定することができる。

【0093】

実施形態の舌画像に基づいてストレス状態を測定する方法において、被測定者の舌の特徴量は、形状に関する特徴量、色彩に関する特徴量、及びテクスチャに関する特徴量の少なくとも１つを含む。このような方法によれば、被測定者の舌の特徴量を高精度で抽出することができる。従って、ストレス状態の測定結果の精度が向上する。

【0094】

また、実施形態の舌画像に基づいてストレス状態を測定する方法において、形状に関する特徴量は、舌の面積、舌の長さ、及び舌の幅の少なくともいずれか１つを含む。このような方法によれば、形状に関する特徴量を高精度で抽出することができる。従って、ストレス状態の測定結果の精度が更に向上する。

【0095】

また、実施形態の舌画像に基づいてストレス状態を測定する方法において、色彩に関する特徴量は、舌表面の所定の箇所の複数の画素における色彩の統計量であり、色彩は、所定の色空間で表現された色座標である。このような方法によれば、色彩に関する特徴量を高精度で抽出することができる。従って、ストレス状態の測定結果の精度が更に向上する。

【0096】

また、実施形態の舌画像に基づいてストレス状態を測定する方法において、テクスチャに関する特徴量は、舌表面の所定の箇所におけるグレーレベル同時生起行列に基づく特徴量を含む。このような方法によれば、テクスチャに関する特徴量を高精度で抽出することができる。従って、ストレス状態の測定結果の精度が更に向上する。

【0097】

また、実施形態の舌画像に基づいてストレス状態を測定する方法において、学習済モデルは、ランダムフォレスト、ＬＧＢＭ、ＸＧＢのいずれかに基づく機械学習モデルである。このような方法によれば、他のアルゴリズムを用いる機械学習モデルに比べて、舌の画像に基づくストレス状態の測定結果を高精度で得ることができる。

【0098】

また、実施形態の舌画像に基づいてストレス状態を測定する方法は、被測定者の舌の撮像画像を取得するステップと、被測定者の舌の撮像画像から、舌の特徴量を抽出するステップと、を更に含む。このような方法によれば、舌の画像を取得してからストレス状態を測定するまでの処理を一の情報処理装置３で実行することができる。

【0099】

また、実施形態の情報処理装置３は、被測定者の舌の撮像画像から抽出された被測定者の舌の特徴量を取得する特徴量取得部３１３と、被験者の舌の撮像画像から抽出された舌の特徴量を入力した場合に、予め測定された被験者のストレス状態を出力するよう学習済みの学習済モデルを用いて、舌の特徴量から被測定者のストレス状態を測定する測定部３１４と、を備える。

【0100】

このような構成によれば、舌の特徴量と、ストレス状態との相関を用いた学習済モデルを用いて、撮像装置２で撮像された被測定者の舌画像から当該被測定者のストレス状態を測定することができる。また、被測定者は撮像装置２で舌の画像を撮影するだけで済むため、負担が少なく簡易である。すなわち、実施形態の情報処理方法によれば、簡易な方法によって被測定者のストレス状態を測定することができる。

【0101】

また、実施形態の情報処理プログラムは、コンピュータに、被測定者の舌の撮像画像から抽出された被測定者の舌の特徴量を取得する処理と、被験者の舌の撮像画像から抽出された舌の特徴量を入力した場合に、予め測定された被験者のストレス状態を出力するよう学習済みの学習済モデルを用いて、舌の特徴量から被測定者のストレス状態を測定する処理と、を実現させる。

【0102】

このようなプログラムによれば、舌の特徴量と、ストレス状態との相関を用いた学習済モデルを用いて、撮像装置２で撮像された被測定者の舌画像から当該被測定者のストレス状態を測定することができる。また、被測定者は撮像装置２で舌の画像を撮影するだけで済むため、負担が少なく簡易である。すなわち、実施形態の情報処理プログラムによれば、簡易な方法によって被測定者のストレス状態を測定することができる。

【0103】

上記実施形態は、発明の例として提示したものであり、発明の範囲を限定するものでは
ない。上記の構成は、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行
うことができる。上記実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特
許請求の範囲に記載された発明とその均等の範囲に含まれる。

【実施例】

【0104】

複数の被験者を対象として実施した、学習データを生成するためのストレス状態測定試験（以下、「本試験」と称する）について説明する。また、本試験に基づいて生成された学習データから構築された学習済モデルの妥当性を検証した結果について説明する。

【0105】

［ストレス状態測定試験］
・被験者
本試験では、２０歳以上６０歳未満の男女を募り、９８名を被験者とした試験を実施した。

【0106】

そして、各被験者について、試験開始１日目、３日目及び５日目のデータを、それぞれの日において２回取得した（すなわち、一人の被験者について６例のデータ）。これによって、エラーデータを除く５７０例のデータを取得した。

【0107】

ここで、５７０例のデータとは、学習データを構成するデータであり、９８名の被験者のそれぞれの舌の特徴量と、ストレス状態の測定結果である。

【0108】

・舌の特徴量の取得
先ず、本試験において、舌の特徴量を取得するために、各被験者の舌の画像を撮像した。舌の特徴量は、学習データの入力データとして用いられるデータである。舌の画像の撮像には、ＴＩＡＳを用いた。

【0109】

そして、各被験者の舌の画像を解析することにより、舌の特徴量を抽出した。舌の特徴量は、８８個に分類した。

【0110】

・ストレス状態の測定
次いで、本試験において、被験者のストレス状態を測定した。ストレス状態は、学習データの正解データとして用いられるデータである。

【0111】

本試験では、前述の調査票及び素点換算表を用いて、被験者のストレス状態を測定した。調査票は、仕事に関する項目（６項目）と、心身のストレス反応に関する項目（１１項目）と、環境・周囲に関する項目（６項目）の２３項目の質問を含んでいる。

【0112】

調査票の２３項目の質問のそれぞれには、質問に応じた４段階の選択肢（例えば、質問１には、「そうだ」、「まあそうだ」、「ややちがう」及び「ちがう」の４肢、質問７には、「ほとんどなかった」、「ときどきあった」、「しばしばあった」及び「ほとんどいつもあった」の４肢）が設けられている。４段階の選択肢はそれぞれ、１～４点のいずれかの配点が設けられている（例えば、質問１の「そうだ」は１点、「まあそうだ」は２点、「ややちがう」には３点、「ちがう」は４点）。

【0113】

一方、素点換算表は、調査票の回答結果に基づいて、複数の尺度のそれぞれの得点を算出するための表である。ここで、複数の尺度とは、ストレスの原因から算出される２尺度、心身のストレス反応から算出される５尺度及び環境（仕事）のストレス要因から算出される２尺度の計９尺度である。

【0114】

被験者は、試験日（試験開始１日目、３日目及び５日目）における舌の画像の撮像後に、調査票に含まれる２３項目の質問に回答した。そして、厚生労働省により定義された以下の方法で、被験者のストレス状態を測定した。

【0115】

先ず、調査票の配点を用いた方法により、被験者のストレス状態を測定した。このとき、次のａ又はｂのいずれかに該当する場合は、調査票の配点を用いた方法によるストレス状態を「高」とした。他の場合は「低」とした。
ａ：心身のストレス反応に関する１１項目の合計が３１点以上
ｂ：環境・周囲に関する６項目の合計が３９点以上、かつａが２３点以上

【0116】

次いで、素点換算表を用いた方法によりストレス状態を測定した。このとき、次のｃ又はｄのいずれかに該当する場合は、素点換算表を用いた方法によるストレス状態を「高」とした。他の場合は「低」とした。
ｃ：心身のストレス反応から算出される５尺度の合計が１９点以上
ｄ：環境（仕事）のストレス要因から算出される２尺度の合計が１６点以上かつｃが１４点以上

【0117】

最後に、調査票の配点を用いた方法又は素点換算表を用いた方法のいずれかにおいてストレス状態が「高」である場合に、被測定者のストレス状態の最終的な測定結果を高ストレスとした。他の場合は低ストレスとした。

【0118】

その結果、上述の５７０例のうち、高ストレスが４６例となり、低ストレスが５２４例となった。

【0119】

以上の本試験により、５７０例のそれぞれについて、入力データである舌の特徴量と、正解データであるストレス状態とを含む学習データが生成された。

【0120】

［学習済モデルの検証］
本試験で生成された学習データを機械学習モデルに学習させることにより、学習済モデルを構築した。学習済モデルの構築にあたり、本実施例では３分割交差検証によって、学習済モデルによる測定結果の妥当性についての検証を行った。

【0121】

図８は、３分割交差検証による検証を説明する図であり、３分割交差検証に用いたサンプル数を示している。この図に示すように、３分割交差検証には、先ず、高ストレスと測定された４６例を用いた。更に、低ストレスと測定された５２４例から、高ストレスの例と同数となるよう４６例を抽出して検証に用いた。

【0122】

そして、高ストレス及び低ストレスの例のそれぞれにおいて、３６例をｔｒａｉｎデータとし、１０例をｔｅｓｔデータとした。

【0123】

そして、３分割交差検証において、適合率及び再現率を取得し、２次元直交座標の横軸に再現率、縦軸に適合率をプロットすることにより、適合率－再現率曲線（ＰＲ曲線）を描いた。３分割交差検証の評価指標は、ＰＲ曲線の面積を示す平均適合率とした。

【0124】

以上説明した３分割交差検証を、ランダムフォレスト（RF：Random Forest）、ＬＧＢＭ（LGBM：Light Gradient Boost Machine）、ＸＧＢ（XGB：Extreme Gradient Boosting）の３種の機械学習モデルについて行った。

【0125】

図９は、３分割交差検証の結果を示す図である。この図において、上述の３種の機械学習モデルのそれぞれについて、得られた平均適合率と、その標準偏差とが示されている。

【0126】

３種の機械学習モデルのいずれの平均適合率も０．７７程度以上であることから、良好な結果が得られたと言える。特に、ＬＧＢＭの平均適合率については０．８０７であり、最も良好な結果が得られた。

【0127】

図１０は、ＬＧＢＭを用いた場合の予測性能の結果を示す図である。ここでの予測性能とは、正解率、適合率、再現率及びＦ１値である。これらの予測性能のいずれの項目においても、良好な結果が得られていることがわかる。

【0128】

以上の結果から、学習済モデルは、ランダムフォレスト、ＬＧＢＭ、ＸＧＢのいずれかに基づく機械学習モデルであると好ましいことが明らかとなった。また、これらの機械学習モデルのうち、ＬＧＢＭに基づく機械学習モデルが最も良好な結果が得られることが明らかとなった。

【符号の説明】

【0129】

情報処理システム １
情報処理装置 ３
プロセッサ ３０１
主記憶装置 ３０２
補助記憶装置 ３０３
入力装置 ３０４
出力装置 ３０５
通信装置 ３０６
画像取得部 ３１１
特徴量抽出部 ３１２
特徴量取得部 ３１３
測定部 ３１４
出力部 ３１５
撮像装置 ２
学習データ ４
入力データ ４ａ
正解データ ４ｂ

【要約】

【課題】簡易にストレス状態の測定をすることが可能な技術を提供する。
【解決手段】被測定者の舌の撮像画像から抽出された前記被測定者の舌の特徴量を取得するステップと、被験者の舌の撮像画像から抽出された前記舌の特徴量を入力した場合に、予め測定された前記被験者のストレス状態を出力するよう学習済みの学習済モデルを用いて、前記舌の特徴量から前記被測定者のストレス状態を測定するステップと、を含む舌画像に基づいてストレス状態を測定する方法。
【選択図】図７

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】