特開 2024-145630 判定装置、判定方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024145630

(43)【公開日】2024-10-15

(54)【発明の名称】判定装置、判定方法およびプログラム

(51)【国際特許分類】

   A61B 5/00 20060101AFI20241004BHJP

   G06T 7/00 20170101ALI20241004BHJP

【ＦＩ】

A61B5/00 101A

G06T7/00 660A

A61B5/00 M

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2023058067

(22)【出願日】2023-03-31

(71)【出願人】

【識別番号】000001960

【氏名又は名称】シチズン時計株式会社

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100180806

【弁理士】

【氏名又は名称】三浦 剛

(74)【代理人】

【氏名又は名称】阿形 直起

(72)【発明者】

【氏名】清水 秀樹

【テーマコード（参考）】

4C117

5L096

【Ｆターム（参考）】

4C117XB02

4C117XD04

4C117XE43

5L096AA02

5L096DA02

5L096DA03

5L096FA09

5L096GA07

5L096GA51

(57)【要約】

【課題】ユーザの顔画像を用いてユーザの健康状態を高精度に判定することを可能とする判定装置等を提供する。
【解決手段】判定装置は、ユーザの顔を撮影して生成された、各画素がＲＧＢの画素値を含むカラー画像を取得する取得部と、カラー画像からユーザの顔の特徴点を抽出する抽出部と、抽出された特徴点に基づいて、ユーザの顔の第１の箇所と第２の箇所とを特定する特定部と、カラー画像に含まれる各画素のＢの画素値とＧの画素値との差分を各画素の値とする差分画像を生成する生成部と、差分画像において第１の箇所に対応する画素の値と第２の箇所に対応する画素の値とを比較することにより、ユーザの健康状態を判定する判定部と、を有する。
【選択図】図２

【特許請求の範囲】

【請求項1】

ユーザの顔を撮影して生成された、各画素がＲＧＢの画素値を含むカラー画像を取得する取得部と、
前記カラー画像からユーザの顔の特徴点を抽出する抽出部と、
前記抽出された特徴点に基づいて、ユーザの顔の第１の箇所と第２の箇所とを特定する特定部と、
前記カラー画像に含まれる各画素のＢの画素値とＧの画素値との差分を各画素の値とする差分画像を生成する生成部と、
前記差分画像において前記第１の箇所に対応する画素の値と前記第２の箇所に対応する画素の値とを比較することにより、ユーザの健康状態を判定する判定部と、
を有することを特徴とする判定装置。

【請求項2】

前記第１の箇所は、ユーザの顔の鼻側である、
請求項１に記載の判定装置。

【請求項3】

前記第２の箇所は、ユーザの顔の目の下または頬である、
請求項２に記載の判定装置。

【請求項4】

前記第２の箇所は、ユーザの目の下であり、
前記判定部は、前記差分画像において鼻側に対応する画素の値から目の下に対応する画素の値を減じた値が基準値以上である場合にユーザに血流障害が発生していると判定する、
請求項３に記載の判定装置。

【請求項5】

前記第２の箇所は、ユーザの頬であり、
前記判定部は、前記差分画像において鼻側に対応する画素の値から頬に対応する画素の値を減じた値が第１の基準値以上である場合にユーザに血流障害が発生していると判定し、前記第１の基準値より小さい第２の基準値未満である場合にユーザが貧血状態であると判定する、
請求項３に記載の判定装置。

【請求項6】

前記カラー画像に白飛びが発生している場合に、前記カラー画像に白飛びが発生している旨を報知する報知部をさらに有する、
請求項１に記載の判定装置。

【請求項7】

ユーザの顔を撮影して生成された、各画素がＲＧＢの画素値を含むカラー画像を取得し、
前記カラー画像からユーザの顔の特徴点を抽出し、
前記抽出された特徴点に基づいて、ユーザの顔の第１の箇所と第２の箇所とを特定し、
前記カラー画像に含まれる各画素のＢの画素値とＧの画素値との差分を各画素の値とする差分画像を生成し、
前記差分画像において前記第１の箇所に対応する画素の値と前記第２の箇所に対応する画素の値とを比較することにより、ユーザの健康状態を判定する、
ことを含むことを特徴とする判定方法。

【請求項8】

ユーザの顔を撮影して生成された、各画素がＲＧＢの画素値を含むカラー画像を取得し、
前記カラー画像からユーザの顔の特徴点を抽出し、
前記抽出された特徴点に基づいて、ユーザの顔の第１の箇所と第２の箇所とを特定し、
前記カラー画像に含まれる各画素のＢの画素値とＧの画素値との差分を各画素の値とする差分画像を生成し、
前記差分画像において前記第１の箇所に対応する画素の値と前記第２の箇所に対応する画素の値とを比較することにより、ユーザの健康状態を判定する、
ことをコンピュータに実行させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、判定装置、判定方法およびプログラムに関する。

【背景技術】

【0002】

顔色は、簡易に体調の変化を判別するための指標として有用である。しかしながら、顔色は個人によって異なり、照明環境によっても変化するため、これらの影響を補正する必要がある。特許文献１には、ユーザの顔画像から瞳部分の色情報と目元領域の色情報とを検出し、瞳部分の色情報に基づいて目元領域の色情報を補正し、補正された目元領域の色情報に基づいてユーザの健康状態を判定する健康診断装置が記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００９－１７２１８１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ユーザの顔色に基づいて、健康状態を高精度に判定することが求められている。

【0005】

本発明は、上述の課題を解決するためになされたものであり、ユーザの顔画像を用いてユーザの健康状態を高精度に判定することを可能とする判定装置、判定方法およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の実施形態に係る判定装置は、ユーザの顔を撮影して生成された、各画素がＲＧＢの画素値を含むカラー画像を取得する取得部と、カラー画像からユーザの顔の特徴点を抽出する抽出部と、抽出された特徴点に基づいて、ユーザの顔の第１の箇所と第２の箇所とを特定する特定部と、カラー画像に含まれる各画素のＢの画素値とＧの画素値との差分を各画素の値とする差分画像を生成する生成部と、差分画像において第１の箇所に対応する画素の値と第２の箇所に対応する画素の値とを比較することにより、ユーザの健康状態を判定する判定部と、を有することを特徴とする。

【0007】

また、第１の箇所は、ユーザの顔の鼻側であることが好ましい。

【0008】

また、第２の箇所は、ユーザの顔の目の下または頬であることが好ましい。

【0009】

また、第２の箇所は、ユーザの目の下であり、判定部は、差分画像において鼻側に対応する画素の画素値と目の下に対応する画素の値を減じた値が基準値以上である場合にユーザに血流障害が発生していると判定することが好ましい。

【0010】

また、第２の箇所は、ユーザの頬であり、判定部は、差分画像において鼻側に対応する画素の値から頬に対応する画素の画素値を減じた値が第１の基準値以上である場合にユーザに血流障害が発生していると判定し、第１の基準値より小さい第２の基準値未満である場合にユーザが貧血状態であると判定することが好ましい。

【0011】

また、判定装置は、カラー画像に白飛びが発生している場合に、カラー画像に白飛びが発生している旨を報知する報知部をさらに有することが好ましい。

【0012】

本発明の実施形態に係る判定方法は、ユーザの顔を撮影して生成された、各画素がＲＧＢの画素値を含むカラー画像を取得し、カラー画像からユーザの顔の特徴点を抽出し、抽出された特徴点に基づいて、ユーザの顔の第１の箇所と第２の箇所とを特定し、カラー画像に含まれる各画素のＢの画素値とＧの画素値との差分を各画素の値とする差分画像を生成し、差分画像において第１の箇所に対応する画素の値と第２の箇所に対応する画素の値とを比較することにより、ユーザの健康状態を判定する、ことを含むことを特徴とする。

【0013】

本発明の実施形態に係るプログラムは、ユーザの顔を撮影して生成された、各画素がＲＧＢの画素値を含むカラー画像を取得し、カラー画像からユーザの顔の特徴点を抽出し、
抽出された特徴点に基づいて、ユーザの顔の第１の箇所と第２の箇所とを特定し、カラー画像に含まれる各画素のＢの画素値とＧの画素値との差分を各画素の値とする差分画像を生成し、差分画像において第１の箇所に対応する画素の値と第２の箇所に対応する画素の値とを比較することにより、ユーザの健康状態を判定する、ことをコンピュータに実行させることを特徴とする。

【発明の効果】

【0014】

本発明に係る判定装置、判定方法およびプログラムは、ユーザの顔画像を用いてユーザの健康状態を高精度に判定することを可能とする。

【図面の簡単な説明】

【0015】

【図1】判定装置１の例示的な機能ブロック図である。

【図2】健康状態出力処理の流れの例を示すフロー図である。

【図3】対比箇所の特定について説明するための模式図である。

【図4】判定処理の流れの例を示すフロー図である。

【発明を実施するための形態】

【0016】

以下、図面を参照しつつ、本発明の様々な実施形態について説明する。本発明の技術的範囲はそれらの実施形態に限定されず、特許請求の範囲に記載された発明及びその均等物に及ぶ点に留意されたい。

【0017】

図１は、本発明の実施形態に係る判定装置１の例示的な機能ブロック図である。判定装置１は、ユーザの顔を撮影してカラー画像を生成し、カラー画像に基づいてユーザの健康状態を判定する。判定装置１は、スマートフォン、携帯電話機、タブレット端末、ＰＣ（Personal Computer）、携帯ゲーム機等の撮影機能を有するコンピュータである。判定装置１は、ＡＲ（Augmented Reality）グラス等でもよい。判定装置１は、記憶部１１、通信部１２、表示部１３、操作部１４、撮像部１５および処理部１６を有する。

【0018】

記憶部１１は、データおよびプログラムを記憶するための構成であり、例えば半導体メモリを備える。記憶部１１は、処理部１６による処理に用いられるオペレーティングシステムプログラム、ドライバプログラム、アプリケーションプログラム、データ等を記憶する。プログラムは、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）等のコンピュータ読み取り可能かつ非一時的な可搬型記憶媒体から記憶部１１にインストールされる。

【0019】

通信部１２は、判定装置１を他の装置と通信可能にするための構成であり、通信インタフェース回路を備える。通信インタフェース回路は、例えば無線ＬＡＮ（Local Area Network）等の通信インタフェース回路である。通信部１２は、他の装置から受信したデータを処理部１６に供給するとともに、処理部１６から供給されたデータを他の装置に送信する。

【0020】

表示部１３は、画像を表示するための構成であり、液晶ディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイ等のディスプレイを備える。表示部１３は、処理部１６から供給された表示データに基づいて画像を表示する。

【0021】

操作部１４は、判定装置１に対する操作を受け付けるための構成であり、キーボード、キーパッド、マウス等を備える。操作部１４は、表示部１３と一体化されたタッチパネルを備えてもよい。操作部１４は、受け付けた操作に応じた信号を生成して処理部１６に供給する。

【0022】

撮像部１５は、ユーザの顔を撮影して撮影画像を生成するための構成であり、結像光学系、撮像素子および画像処理回路を備える。結像光学系は、撮像素子の受光面に結像するように入射光を撮像素子に導く。撮像素子は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）、ＣＣＤ（Charge Coupled Device）等の撮像センサであり、受光面に入射した光に応じて撮影画像に含まれる複数の画素の画素値を出力する。撮像素子は、各画素についてＲＧＢの画素値を出力する。画像処理回路は、撮像素子が出力した画素値に基づいて、各画素がＲＧＢの画素値を含むカラー画像のデータを生成して処理部１６に供給する。

【0023】

処理部１６は、判定装置１の動作を統括的に制御するための構成であり、一つまたは複数のプロセッサおよび周辺回路を備える。処理部１６は、例えばＣＰＵ（Central Processing Unit）を備える。処理部１６は、ＧＰＵ（Graphics Processing Unit）、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等を備えてもよい。処理部１６は、記憶部１１に記憶されたプログラムに基づいて各種の処理を実行する。

【0024】

処理部１６は、取得部１６１、報知部１６２、抽出部１６３、特定部１６４、生成部１６５、判定部１６６および出力部１６７を機能ブロックとして備える。これらの各部は、処理部１６が実行するプログラムに基づいて実現される機能モジュールである。これらの各部は、専用の演算回路として判定装置１に実装されてもよい。

【0025】

図２は、判定装置１によって実行される健康状態出力処理の流れの例を示すフロー図である。健康状態出力処理は、例えば、操作部１４が健康状態判定アプリケーションプログラムを起動する操作を受け付けたことに応じて実行される。健康状態出力処理は、記憶部１１に記憶されたプログラムに基づいて、処理部１６が判定装置１の他の構成と協働することにより実現される。

【0026】

最初に、取得部１６１は、各画素がＲＧＢ値を含むカラー画像を生成する（ステップＳ１０１）。例えば、取得部１６１は、表示部１３にユーザの顔を撮影すべき旨を表示するとともに、撮像部１５を制御することにより、ユーザに顔を撮影させる。取得部１６１は、ユーザの顔を撮影して生成されたカラー画像を取得する。

【0027】

次に、報知部１６２は、カラー画像に含まれる各画素の画素値に基づいて、カラー画像に白飛びが発生しているか否かを判定する（ステップＳ１０２）。例えば、報知部１６２は、カラー画像に含まれる各画素の画素値の平均値をＲＧＢのそれぞれについて算出する。報知部１６２は、Ｒの平均値、Ｇの平均値およびＢの平均値の重み付け和をカラー画像の平均輝度値として算出する。報知部１６２は、平均輝度値が閾値以上である場合に白飛びが発生していると判定し、平均輝度値が所定値未満である場合に白飛びが発生していないと判定する。

【0028】

白飛びが発生している場合（ステップＳ１０２－Ｙｅｓ）、報知部１６２は、白飛びが発生している旨を報知する（ステップＳ１０３）。例えば、報知部１６２は、白飛びが発生していることを示す文字列を表示部１３に表示する。ステップＳ１０３の次に、健康状態出力処理はステップＳ１０１に戻る。

【0029】

白飛びが発生していない場合（ステップＳ１０２－Ｎｏ）、抽出部１６３は、カラー画像からユーザの顔の特徴点を抽出する（ステップＳ１０４）。特徴点は、例えばユーザの顔の輪郭線上の点および目、口、鼻等の顔の部位の輪郭線上の点である。例えば、抽出部１６３は、カラー画像が入力された場合にカラー画像に含まれる各画素について特徴量を算出し、特徴量に基づいて顔の特徴点を抽出するように学習された学習済みモデルを用いてユーザの顔の特徴点を抽出する。例えば、特徴量はＨａａｒ－Ｌｉｋｅ特徴量またはＬＢＰ（Local Binary Pattern）特徴量であり、学習済みモデルは複数の決定木からなるカスケード識別器である。抽出部１６３は、畳み込みニューラルネットワークである学習済みモデルを用いてユーザの顔の特徴点を検出してもよい。

【0030】

次に、報知部１６２は、顔の特徴点が抽出されたか否かを判定する（ステップＳ１０５）。所定の特徴点は、例えば、顔の輪郭線並びに目、鼻筋、鼻および口の輪郭線上の点である。

【0031】

特徴点が抽出されていない場合（ステップＳ１０５－Ｎｏ）、報知部１６２は、顔が正常に認識されない旨を報知する（ステップＳ１０６）。例えば、報知部１６２は、顔が正常に認識されないことを示す文字列を表示部１３に表示する。ステップＳ１０６の次に、健康状態出力処理はステップＳ１０１に戻る。すなわち、取得部１６１は、カラー画像に白飛びが発生せず、かつカラー画像から所定の特徴点が抽出されるまで、繰り返しカラー画像を取得する。

【0032】

特徴点が抽出された場合（ステップＳ１０５－Ｙｅｓ）、特定部１６４は、カラー画像において、画素値が対比される対比箇所を特定する（ステップＳ１０７）。対比箇所は、例えば、それぞれが鼻側、目の下および頬に対応する複数の領域である。特定部１６４は、特徴点の位置関係に基づいて対比箇所を特定する。

【0033】

図３は、対比箇所の特定について説明するための模式図である。図３には、抽出された特徴点が菱形で図示されている。図３に示す例では、対比箇所として、鼻背（鼻筋）の側面である鼻側に対応する領域Ａ１、目の下に対応する領域Ａ２および頬に対応する領域Ａ３がそれぞれ特定されている。例えば、領域Ａ１は、水平方向において鼻根（鼻筋の上端）を示す特徴点ＦＰ１と目の輪郭を示す特徴点のうち最も顔の内側のものＦＰ２との間に位置し、鉛直方向において鼻根を示す特徴点ＦＰ１と鼻尖（鼻先）を示す特徴点ＦＰ３との中間に位置している。領域Ａ２は、水平方向において目の輪郭を示す特徴点のうち最も顔の内側のものＦＰ２と最も顔の外側のものＦＰ４との間に位置し、鉛直方向において鼻根を示す特徴点ＦＰ１と鼻尖（鼻先）を示す特徴点ＦＰ３との中間に位置している。領域Ａ３は、鉛直方向において鼻翼の最も下側を示す特徴点ＦＰ５と同様の場所に位置し、水平方向において目の輪郭線のうち最も顔の外側のものＦＰ４と顔の輪郭線を示す特徴点のうち鉛直方向において略同一に位置するものＦＰ６との間に位置している。領域Ａ１、Ａ２およびＡ３の形状および面積は、あらかじめ設定される。領域Ａ１、Ａ２またはＡ３は、１つの画素のみからなる領域でもよい。

【0034】

図２に戻り、次に、生成部１６５は、カラー画像に含まれる各画素のＢの画素値とＧの画素値との差分を各画素の値とする差分画像を生成する。（ステップＳ１０８）。例えば、生成部１６５は、カラー画像に含まれる各画素のＢの画素値からＧの画素値を減じた値を、差分画像において対応する画素の値に設定する。

【0035】

次に、判定部１６６は、判定処理を実行する（ステップＳ１０９）。判定処理は、差分画像において対比箇所に対応する画素の値を比較することにより、ユーザの健康状態を判定する処理である。判定処理の詳細は後述する。

【0036】

次に、出力部１６７は、判定の結果を出力する（ステップＳ１１０）。例えば、出力部１６７は、判定の結果を示す文字列を表示部１３に表示する。出力部１６７は、通信部１２を介して判定の結果を示す情報を他の装置に送信してもよい。以上で、健康状態出力処理が終了する。

【0037】

図４は、健康状態出力処理のステップＳ１０９において実行される判定処理の流れの例を示すフロー図である。

【0038】

最初に、判定部１６６は、差分画像において鼻側に対応する画素の値と目の下に対応する画素の値とを比較する（ステップＳ２０１）。例えば、判定部１６６は、差分画像において、鼻側に対応する領域に含まれる複数の画素の値の平均値と、目の下に対応する領域に含まれる複数の画素の値の平均値を算出する。判定部１６６は、鼻側に対応する画素の平均値から目の下に対応する画素の平均値を減じた値を算出する。

【0039】

次に、判定部１６６は、比較の結果が所定の条件を満たしているか否かを判定する（ステップＳ２０２）。所定の条件は、例えば鼻側に対応する画素の平均値から目の下に対応する画素の平均値を減じた値が基準値以上であることである。基準値は、例えば鼻側に対応する画素の平均値の４０％である。

【0040】

比較結果が所定の条件を満たしている場合（ステップＳ２０２－Ｙｅｓ）、判定部１６６は、ユーザに血流障害が発生していると判定する（ステップＳ２０３）。以上で、判定処理が終了する。

【0041】

比較結果が所定の条件を満たしていない場合（ステップＳ２０２－Ｎｏ）、判定部１６６は、差分画像において鼻側に対応する画素の値と頬に対応する画素の値とを比較する（ステップＳ２０４）。例えば、判定部１６６は、差分画像において、頬に対応する領域に含まれる複数の画素の値の平均値を算出する。判定部１６６は、鼻側に対応する画素の平均値から目の下に対応する画素の平均値を減じた値を算出する。

【0042】

次に、判定部１６６は、比較の結果が第１の条件および第２の条件を満たしているか否かを判定する（ステップＳ２０５）。第１の条件は、例えば鼻側に対応する画素の平均値から目の下に対応する画素の平均値を減じた値が第１の基準値以下であることである。第１の基準値は、例えば鼻側に対応する画素の平均値の４０％である。第２の条件は、例えば鼻側に対応する画素の平均値から目の下に対応する画素の平均値を減じた値が第１の基準値よりも小さい第２の基準値未満であることである。第２の基準値は、例えば鼻側に対応する画素の平均値の５％である。

【0043】

比較の結果が第１の条件を満たす場合（ステップＳ２０５－「第１条件」）、判定部１６６は、ユーザに血流障害が発生していると判定する（ステップＳ２０６）。以上で、判定処理が終了する。

【0044】

比較の結果が第２の条件を満たす場合（ステップＳ２０５－「第２条件」）、判定部１６６は、ユーザが貧血状態であると判定する（ステップＳ２０７）。以上で、判定処理が終了する。

【0045】

比較の結果が第１の条件および第２の条件のいずれをも満たさない場合（ステップＳ２０５－「その他」）、判定部１６６は、ユーザに血流障害および貧血の症状はないと判定する（ステップＳ２０８）。以上で、判定処理が終了する。

【0046】

以上のように、判定装置１において、取得部１６１は、ユーザの顔を撮影して生成されたカラー画像を取得する。生成部１６５は、カラー画像に含まれる各画素のＢの画素値とＧの画素値との差分を各画素の値とする差分画像を生成する。判定部１６６は、差分画像において、鼻側に対応する画素の値と目の下および頬に対応する画素の値とを比較することにより、ユーザの健康状態を判定する。

【0047】

顔色は、真皮内の毛細血管の血流状態に応じて変化する。皮膚に照射された光のうち、Ｂの画素値に相当する波長の光の多くは表皮で反射し、Ｇの画素値に相当する波長の光の多くは表皮を透過して真皮で反射する。したがって、Ｂの画素値とＧの画素値との差分を算出することにより、肌の色、化粧等の表皮に起因する顔色の変化の影響を受けることなく、毛細血管の血流状態を評価することが可能となる。したがって、判定装置１は、ユーザの顔画像を用いて、ユーザの健康状態を高精度に評価することを可能とする。

【0048】

また、鼻側は毛細血管密度が小さい領域であるため、健康状態によって真皮内の状態が変化しづらい。判定装置１は、差分画像において鼻側に対応する領域の画素の値と他の領域の画素の値とを比較することにより、ユーザの顔画像を用いて、ユーザの健康状態を高精度に評価することを可能とする。

【0049】

また、目の下は毛細血管密度が大きく、疲労や血流障害によって鬱血が生じて色が黒色に近くなる。判定装置１は、鼻側に対応する領域の画素の値と目の下に対応する領域の画素の値とを比較することにより、ユーザに血流障害が発生しているか否かを適切に判定することを可能とする。

【0050】

また、頬は毛細血管密度が大きく、血流障害によって色が黒色に近くなるとともに、貧血によって色が白色に近くなる。判定装置１は、鼻側に対応する領域の画素の値と頬に対応する領域の画素の値とを比較することにより、ユーザが貧血状態にあるか否か、およびユーザに血流障害が発生しているか否かを適切に判定することを可能とする。

【0051】

また、報知部１６２は、カラー画像に白飛びが発生している場合に、その旨をユーザに報知する。これにより、判定装置１は、白飛びが発生している画像を判定に用いることを防止し、ユーザの健康状態を適切に判定することを可能とする。

【0052】

判定装置１には、次に述べるような変形例が適用されてもよい。

【0053】

上述した実施形態では、判定処理のステップＳ２０１およびＳ２０４において、判定部１６６が鼻側に対応する画素の値と目の下および頬に対応する画素の値とをそれぞれ比較するものとした。このような例に限られず、判定部１６６は、鼻側に対応する画素の値と、目の下および頬に対応する画素の値のうちのいずれか一方とを比較するものとしてもよい。

【0054】

また、判定部１６６は、鼻側に対応する画素の値と、目の下および頬に対応する画素の値の比較の結果の組合せに基づいてユーザの健康状態を判定してもよい。例えば、判定部１６６は、鼻側に対応する画素の値と目の下に対応する画素の値の比較の結果が所定の条件を満たし、かつ鼻側に対応する画素の値と頬に対応する画素の値の比較の結果が第１の条件を満たす場合に、ユーザに血流障害が発生していると判定してもよい。判定装置１は、鼻側に対応する領域と複数の領域とをそれぞれ比較した結果の組合せを用いることにより、より高精度にユーザの健康状態を判定することができる。

【0055】

上述した実施形態では、判定処理のステップＳ２０１およびＳ２０４において、判定部１６６が鼻側に対応する画素の値と目の下および頬に対応する画素の値との差分を基準値と比較するものとした。このとき、判定部１６６は、過去に算出された差分に基づいて基準値を設定してもよい。例えば、判定部１６６は、過去に実行された所定回数の判定処理において算出された差分の平均値に所定のマージンを加えた値を基準値として設定してもよい。所定のマージンは、過去に実行された所定回数の判定処理において算出された差分の標準偏差に基づいて設定されてもよい。これにより、判定装置１は、過去のユーザの顔画像との比較に基づいて、ユーザの健康状態をより高精度に判定することができる。

【0056】

上述した実施形態では、健康状態出力処理のステップＳ１０４において抽出部１６３が学習済みモデルを用いて特徴点を抽出し、特定部１６４が特徴点に基づいて対比箇所を特定するものとした。このような例に限られず、抽出部１６３は、画像が入力された場合にそれぞれが鼻側、頬および目の下に対応する対比箇所を出力するように学習された学習済みモデルを用いて対比箇所を抽出してもよい。

【0057】

上述した実施形態では、健康状態出力処理のステップＳ１０７において、特定部１６４が鼻側に対応する領域、目の下に対応する領域および頬に対応する領域を対比箇所としてそれぞれ特定するものとした。このような例に限られず、特定部１６４は他の領域を対比箇所として特定してもよい。

【0058】

上述した判定装置１の機能は、複数の装置によって実現されてもよい。

【0059】

当業者は、本発明の範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。例えば、上述した実施形態及び変形例は、本発明の範囲において、適宜に組み合わせて実施されてもよい。

【符号の説明】

【0060】

１ 判定装置
１６１ 取得部
１６２ 報知部
１６３ 抽出部
１６４ 特定部
１６５ 生成部
１６６ 判定部
１６７ 出力部

【図1】

【図2】

【図3】

【図4】