特許 7580716 認知機能判定装置、認知機能判定システム、学習モデル生成装置、認知機能判定方法、学習モデル製造方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-01

(45)【発行日】2024-11-12

(54)【発明の名称】認知機能判定装置、認知機能判定システム、学習モデル生成装置、認知機能判定方法、学習モデル製造方法、およびプログラム

(51)【国際特許分類】

   A61B 10/00 20060101AFI20241105BHJP

   G06T 7/00 20170101ALI20241105BHJP

【ＦＩ】

A61B10/00 H

G06T7/00 660A

G06T7/00 350C

【請求項の数】 17

(21)【出願番号】P 2020181215

(22)【出願日】2020-10-29

(65)【公開番号】P2022072024

(43)【公開日】2022-05-17

【審査請求日】2023-09-19

(73)【特許権者】

【識別番号】000001432

【氏名又は名称】グローリー株式会社

(73)【特許権者】

【識別番号】502285457

【氏名又は名称】学校法人順天堂

(74)【代理人】

【識別番号】100117673

【弁理士】

【氏名又は名称】中島 了

(72)【発明者】

【氏名】森藤 健

(72)【発明者】

【氏名】北野 豊

(72)【発明者】

【氏名】服部 信孝

(72)【発明者】

【氏名】大山 彦光

(72)【発明者】

【氏名】小川 真裕子

【審査官】喜々津 徳胤

(56)【参考文献】

【文献】米国特許出願公開第２０２０／０２５１１９０（ＵＳ，Ａ１）

【文献】特開２０２０－０４２６５９（ＪＰ，Ａ）

【文献】特開２０１６－０７１８９７（ＪＰ，Ａ）

【文献】特開２０１９－０５５０６４（ＪＰ，Ａ）

【文献】特開２０１８－００７７９２（ＪＰ，Ａ）

【文献】特開２０１６－１４９０６３（ＪＰ，Ａ）

【文献】特開２０１６－１４７００６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １０／００

(57)【特許請求の範囲】

【請求項1】

複数の被検者のそれぞれの表情スコアに関する情報と前記複数の被検者のそれぞれの認知機能の評価結果を示す所定の医学的認知機能評価尺度との関係を学習した学習モデルを利用して、認知機能に関する判定対象の人物の前記表情スコアに関する情報に基づき、前記人物の前記所定の医学的認知機能評価尺度に相当する値を推定する制御部、
を備え、
前記表情スコアは、特定表情の度合いを示す値であって対象者を撮影した撮影画像データに基づいて取得される値であり、
前記複数の被検者のそれぞれの前記所定の医学的認知機能評価尺度は、前記複数の被検者のそれぞれに対する所定の医学的検査によって取得される値であり、
休憩期間を挟む２つの期間である第１期間と第２期間とのうち前記第１期間にて前記特定表情を継続して表出させるための第１指示が撮影対象者に対して付与されることと、前記第１期間後の休憩期間である第１休止期間に引き続く前記第２期間にて前記特定表情を継続して表出させるための第２指示が前記撮影対象者に対して付与されることとに伴って、前記撮影画像データが生成され、
前記表情スコアに関する情報は、
前記第１期間に関する前記特定表情の持続時間の情報と、
前記第２期間に関する前記特定表情の持続時間の情報と、
を含むことを特徴とする、認知機能判定装置。

【請求項2】

前記特定表情は、笑顔であり、
前記表情スコアは、笑顔の度合いを示す値であることを特徴とする、請求項１に記載の認知機能判定装置。

【請求項3】

前記撮影画像データは、時系列の複数の画像を有し、
前記表情スコアに関する情報は、前記複数の画像からそれぞれ取得された複数の表情スコアに関する情報を含むことを特徴とする、請求項１または請求項２に記載の認知機能判定装置。

【請求項4】

前記表情スコアに関する情報は、前記撮影画像データの特定期間にて取得された２以上の表情スコアの最大値の情報を含むことを特徴とする、請求項３に記載の認知機能判定装置。

【請求項5】

前記表情スコアに関する情報は、前記撮影画像データの特定期間にて取得された２以上の表情スコアの平均値の情報を含むことを特徴とする、請求項３または請求項４に記載の認知機能判定装置。

【請求項6】

前記表情スコアに関する情報は、前記撮影画像データの特定期間にて取得された２以上の表情スコアの標準偏差の情報を含むことを特徴とする、請求項３から請求項５のいずれかに記載の認知機能判定装置。

【請求項7】

前記特定表情の各持続時間は、前記撮影画像データから抽出された前記表情スコアの経時変化曲線の２次微分曲線が前記特定表情の表出のための各指示の付与時点の近傍期間内にて所定値以上の極大値に到達した第１時点から、前記第１時点よりも後に前記２次微分曲線が所定値以上の極大値に再び到達した第２時点までの時間長さとして算出されることを特徴とする、請求項３から請求項６のいずれかに記載の認知機能判定装置。

【請求項8】

前記表情スコアに関する情報は、前記特定表情の立ち上がり時間の情報を含み、
前記立ち上がり時間は、前記撮影画像データから抽出された前記表情スコアの経時変化曲線の２次微分曲線が前記特定表情の表出開始の指示の付与時点の近傍期間内にて所定値以上の極大値に到達した第１時点から、前記第１時点よりも後に前記２次微分曲線が最初に極小値に到達した第２時点までの時間長さとして算出されることを特徴とする、請求項３から請求項７のいずれかに記載の認知機能判定装置。

【請求項9】

前記表情スコアに関する情報は、
前記第１期間に取得された２以上の表情スコアの平均値の情報と、
前記第２期間に取得された２以上の表情スコアの平均値の情報と、
前記第１期間と前記第２期間とに取得された２以上の表情スコアの平均値の情報と、
前記第１期間と前記第１休止期間とに取得された２以上の表情スコアの標準偏差の情報と、
前記第２期間と前記第２期間後の第２休止期間とに取得された２以上の表情スコアの標準偏差の情報と、
前記第１期間と前記第１休止期間と前記第２期間と前記第２休止期間とに取得された２以上の表情スコアの標準偏差の情報と、
前記第１期間と前記第２期間とに取得された２以上の表情スコアの最大値の情報と、
前記第１指示の付与時点あるいは当該付与時点近傍から前記特定表情が持続した期間である第１持続期間に取得された２以上の表情スコアの平均値の情報と、
前記第２指示の付与時点あるいは当該付与時点近傍から前記特定表情が持続した期間である第２持続期間に取得された２以上の表情スコアの平均値の情報と、
前記第１持続期間に取得された２以上の表情スコアの最大値の情報と、
前記第２持続期間に取得された２以上の表情スコアの最大値の情報と、
のうちの少なくとも１つをさらに含むことを特徴とする、請求項３に記載の認知機能判定装置。

【請求項10】

前記表情スコアに関する情報は、
前記第１期間に取得された２以上の表情スコアの平均値の情報と、
前記第２期間に取得された２以上の表情スコアの平均値の情報と、
前記第１期間と前記第１休止期間とに取得された２以上の表情スコアの標準偏差の情報と、
前記第１期間と前記第１休止期間と前記第２期間と前記第２期間後の第２休止期間とに取得された２以上の表情スコアの標準偏差の情報と、
をさらに含むことを特徴とする、請求項３に記載の認知機能判定装置。

【請求項11】

前記制御部は、前記特定表情の表出指示に際して、前記特定表情に関する基準顔画像を所定の表示部に表示させ、
前記基準顔画像は、前記特定表情を有する複数の人物の複数の顔画像を平均化して得られた平均顔画像であることを特徴とする、請求項１から請求項１０のいずれかに記載の認知機能判定装置。

【請求項12】

請求項１から請求項１１のいずれかに記載の認知機能判定装置と、
前記人物の前記撮影画像データを前記認知機能判定装置に送信する端末装置と、
を備えることを特徴とする認知機能判定システム。

【請求項13】

複数の被検者のそれぞれの表情スコアに関する情報と前記複数の被検者のそれぞれの認知機能の評価結果を示す所定の医学的認知機能評価尺度との関係を機械学習して学習モデルを生成する制御部、
を備え、
前記表情スコアは、特定表情の度合いを示す値であって対象者を撮影した撮影画像データに基づいて取得される値であり、
前記複数の被検者のそれぞれの前記所定の医学的認知機能評価尺度は、前記複数の被検者のそれぞれに対する所定の医学的検査によって取得される値であり、
休憩期間を挟む２つの期間である第１期間と第２期間とのうち前記第１期間にて前記特定表情を継続して表出させるための第１指示が撮影対象者に対して付与されることと、前記第１期間後の休憩期間である第１休止期間に引き続く前記第２期間にて前記特定表情を継続して表出させるための第２指示が前記撮影対象者に対して付与されることとに伴って、前記撮影画像データが生成され、
前記表情スコアに関する情報は、
前記第１期間に関する前記特定表情の持続時間の情報と、
前記第２期間に関する前記特定表情の持続時間の情報と、
を含むことを特徴とする学習モデル生成装置。

【請求項14】

複数の被検者のそれぞれの表情スコアに関する情報と前記複数の被検者のそれぞれの認知機能の評価結果を示す所定の医学的認知機能評価尺度との関係を学習した学習モデルを利用して、認知機能に関する判定対象の人物の前記表情スコアに関する情報に基づき、前記人物の前記所定の医学的認知機能評価尺度に相当する値を推定するステップ、
を備え、
前記表情スコアは、特定表情の度合いを示す値であって対象者を撮影した撮影画像データに基づいて取得される値であり、
前記複数の被検者のそれぞれの前記所定の医学的認知機能評価尺度は、前記複数の被検者のそれぞれに対する所定の医学的検査によって取得される値であり、
休憩期間を挟む２つの期間である第１期間と第２期間とのうち前記第１期間にて前記特定表情を継続して表出させるための第１指示が撮影対象者に対して付与されることと、前記第１期間後の休憩期間である第１休止期間に引き続く前記第２期間にて前記特定表情を継続して表出させるための第２指示が前記撮影対象者に対して付与されることとに伴って、前記撮影画像データが生成され、
前記表情スコアに関する情報は、
前記第１期間に関する前記特定表情の持続時間の情報と、
前記第２期間に関する前記特定表情の持続時間の情報と、
を含むことを特徴とする認知機能判定方法。

【請求項15】

複数の被検者のそれぞれの表情スコアに関する情報と前記複数の被検者のそれぞれの認知機能の評価結果を示す所定の医学的認知機能評価尺度との関係を機械学習して学習モデルを生成するステップ、
を備え、
前記表情スコアは、特定表情の度合いを示す値であって対象者を撮影した撮影画像データに基づいて取得される値であり、
前記複数の被検者のそれぞれの前記所定の医学的認知機能評価尺度は、前記複数の被検者のそれぞれに対する所定の医学的検査によって取得される値であり、
休憩期間を挟む２つの期間である第１期間と第２期間とのうち前記第１期間にて前記特定表情を継続して表出させるための第１指示が撮影対象者に対して付与されることと、前記第１期間後の休憩期間である第１休止期間に引き続く前記第２期間にて前記特定表情を継続して表出させるための第２指示が前記撮影対象者に対して付与されることとに伴って、前記撮影画像データが生成され、
前記表情スコアに関する情報は、
前記第１期間に関する前記特定表情の持続時間の情報と、
前記第２期間に関する前記特定表情の持続時間の情報と、
を含むことを特徴とする学習モデル製造方法。

【請求項16】

複数の被検者のそれぞれの表情スコアに関する情報と前記複数の被検者のそれぞれの認知機能の評価結果を示す所定の医学的認知機能評価尺度との関係を学習した学習モデルを利用して、認知機能に関する判定対象の人物の前記表情スコアに関する情報に基づき、前記人物の前記所定の医学的認知機能評価尺度に相当する値を推定するステップ、
をコンピュータに実行させるためのプログラムであって、
前記表情スコアは、特定表情の度合いを示す値であって対象者を撮影した撮影画像データに基づいて取得される値であり、
前記複数の被検者のそれぞれの前記所定の医学的認知機能評価尺度は、前記複数の被検者のそれぞれに対する所定の医学的検査によって取得される値であり、
休憩期間を挟む２つの期間である第１期間と第２期間とのうち前記第１期間にて前記特定表情を継続して表出させるための第１指示が撮影対象者に対して付与されることと、前記第１期間後の休憩期間である第１休止期間に引き続く前記第２期間にて前記特定表情を継続して表出させるための第２指示が前記撮影対象者に対して付与されることとに伴って、前記撮影画像データが生成され、
前記表情スコアに関する情報は、
前記第１期間に関する前記特定表情の持続時間の情報と、
前記第２期間に関する前記特定表情の持続時間の情報と、
を含むことを特徴とするプログラム。

【請求項17】

複数の被検者のそれぞれの表情スコアに関する情報と前記複数の被検者のそれぞれの認知機能の評価結果を示す所定の医学的認知機能評価尺度との関係を機械学習して学習モデルを生成するステップ、
をコンピュータに実行させるためのプログラムであって、
前記表情スコアは、特定表情の度合いを示す値であって対象者を撮影した撮影画像データに基づいて取得される値であり、
前記複数の被検者のそれぞれの前記所定の医学的認知機能評価尺度は、前記複数の被検者のそれぞれに対する所定の医学的検査によって取得される値であり、
休憩期間を挟む２つの期間である第１期間と第２期間とのうち前記第１期間にて前記特定表情を継続して表出させるための第１指示が撮影対象者に対して付与されることと、前記第１期間後の休憩期間である第１休止期間に引き続く前記第２期間にて前記特定表情を継続して表出させるための第２指示が前記撮影対象者に対して付与されることとに伴って、前記撮影画像データが生成され、
前記表情スコアに関する情報は、
前記第１期間に関する前記特定表情の持続時間の情報と、
前記第２期間に関する前記特定表情の持続時間の情報と、
を含むことを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、認知機能判定装置およびそれに関連する技術に関する。

【背景技術】

【0002】

認知症の診療等においては、ＭＭＳＥ（Mini-Mental State Examination：ミニメンタルステート検査）などの医学的な検査が行われ、当該医学的な検査による検査値が、認知機能の程度（認知機能の低下程度等）を示す客観的な数値として利用されている。たとえば、ＭＭＳＥは、十数項目にわたる質問等に被検者が答える形で診察が行われ、当該被検者の検査値が３０点満点の値で得られる。なお、当該医学的な検査による当該検査値（認知機能を評価した値）は、医学的認知機能評価尺度などとも称される。

【0003】

一方、被検者の画像を解析することにより、認知症などの診断に有用な情報を提供する技術も提案されている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１８－７７９２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記特許文献１の技術においては、複数の被検者の顔の各部位のベクトル情報および時間情報等に基づいて学習された学習モデルに基づき、ユーザが健常者グループと軽度認知障害者グループとのいずれに属するかを判定することが記載されている。

【0006】

しかしながら、出力結果は、ユーザが健常者グループと軽度認知障害者グループとのいずれに属するかに関する判定結果ではあるものの、認知機能の程度を示すものではない。また、当該出力結果は、独自の指標であり、診療等において行われている医学的な検査による検査値（認知機能の程度を示す医学的検査値）ではない。特に、当該独自の指標値と所定の医学的検査値（医学的認知機能評価尺度）との具体的な関係性は必ずしも明確ではない。

【0007】

したがって、当該独自の指標を所定の医学的認知機能評価尺度との対応関係を把握しつつ評価すること、端的に言えば、当該独自の指標を所定の医学的認知機能評価尺度と直接的に（同じレベルで）比較することは、困難である。

【0008】

また、ＭＭＳＥ等の医学的な検査は、医師等が被検者に対して直接的に質問する形で行われるとともに、質問項目数も一定程度有るので、必ずしも簡易に行えるものではない。また、患者が病院に行って診察を受けることを考慮すると、患者から見た負担感も存在する。

【0009】

特に、今後、高齢化の進展に伴って高齢者が増大し認知症患者も増大する可能性が高いこと等を考慮すると、認知機能に関する医学的評価がより簡易に得られることが好ましい。

【0010】

そこで、この発明は、認知機能の判定対象の人物に関して実際には医学的検査を行わずとも、当該医学的検査に基づく医学的認知機能評価尺度と同等の値を得ることが可能な技術を提供することを課題とする。

【課題を解決するための手段】

【0011】

上記課題を解決すべく、本発明に係る認知機能判定装置は、複数の被検者のそれぞれの表情スコアに関する情報と前記複数の被検者のそれぞれの認知機能の評価結果を示す所定の医学的認知機能評価尺度との関係を学習した学習モデルを利用して、認知機能に関する判定対象の人物の前記表情スコアに関する情報に基づき、前記人物の前記所定の医学的認知機能評価尺度に相当する値を推定する制御部、を備え、前記表情スコアは、特定表情の度合いを示す値であって対象者を撮影した撮影画像データに基づいて取得される値であり、前記複数の被検者のそれぞれの前記所定の医学的認知機能評価尺度は、前記複数の被検者のそれぞれに対する所定の医学的検査によって取得される値であり、休憩期間を挟む２つの期間である第１期間と第２期間とのうち前記第１期間にて前記特定表情を継続して表出させるための第１指示が撮影対象者に対して付与されることと、前記第１期間後の休憩期間である第１休止期間に引き続く前記第２期間にて前記特定表情を継続して表出させるための第２指示が前記撮影対象者に対して付与されることとに伴って、前記撮影画像データが生成され、前記表情スコアに関する情報は、前記第１期間に関する前記特定表情の持続時間の情報と、前記第２期間に関する前記特定表情の持続時間の情報と、を含むことを特徴とする。

【0012】

前記特定表情は、笑顔であり、前記表情スコアは、笑顔の度合いを示す値であってもよい。

【0013】

前記撮影画像データは、時系列の複数の画像を有し、前記表情スコアに関する情報は、前記複数の画像からそれぞれ取得された複数の表情スコアに関する情報を含んでもよい。

【0014】

前記表情スコアに関する情報は、前記撮影画像データの特定期間にて取得された２以上の表情スコアの最大値の情報を含んでもよい。

【0015】

前記表情スコアに関する情報は、前記撮影画像データの特定期間にて取得された２以上の表情スコアの平均値の情報を含んでもよい。

【0016】

前記表情スコアに関する情報は、前記撮影画像データの特定期間にて取得された２以上の表情スコアの標準偏差の情報を含んでもよい。

【0018】

前記特定表情の各持続時間は、前記撮影画像データから抽出された前記表情スコアの経時変化曲線の２次微分曲線が前記特定表情の表出のための各指示の付与時点の近傍期間内にて所定値以上の極大値に到達した第１時点から、前記第１時点よりも後に前記２次微分曲線が所定値以上の極大値に再び到達した第２時点までの時間長さとして算出されてもよい。

【0020】

前記表情スコアに関する情報は、前記特定表情の立ち上がり時間の情報を含み、前記立ち上がり時間は、前記撮影画像データから抽出された前記表情スコアの経時変化曲線の２次微分曲線が前記特定表情の表出開始の指示の付与時点の近傍期間内にて所定値以上の極大値に到達した第１時点から、前記第１時点よりも後に前記２次微分曲線が最初に極小値に到達した第２時点までの時間長さとして算出されてもよい。

【0021】

前記表情スコアに関する情報は、前記第１期間に取得された２以上の表情スコアの平均値の情報と、前記第２期間に取得された２以上の表情スコアの平均値の情報と、前記第１期間と前記第２期間とに取得された２以上の表情スコアの平均値の情報と、前記第１期間と前記第１休止期間とに取得された２以上の表情スコアの標準偏差の情報と、前記第２期間と前記第２期間後の第２休止期間とに取得された２以上の表情スコアの標準偏差の情報と、前記第１期間と前記第１休止期間と前記第２期間と前記第２休止期間とに取得された２以上の表情スコアの標準偏差の情報と、前記第１期間と前記第２期間とに取得された２以上の表情スコアの最大値の情報と、前記第１指示の付与時点あるいは当該付与時点近傍から前記特定表情が持続した期間である第１持続期間に取得された２以上の表情スコアの平均値の情報と、前記第２指示の付与時点あるいは当該付与時点近傍から前記特定表情が持続した期間である第２持続期間に取得された２以上の表情スコアの平均値の情報と、前記第１持続期間に取得された２以上の表情スコアの最大値の情報と、前記第２持続期間に取得された２以上の表情スコアの最大値の情報と、のうちの少なくとも１つをさらに含んでもよい。

【0022】

前記表情スコアに関する情報は、前記第１期間に取得された２以上の表情スコアの平均値の情報と、前記第２期間に取得された２以上の表情スコアの平均値の情報と、前記第１期間と前記第１休止期間とに取得された２以上の表情スコアの標準偏差の情報と、前記第１期間と前記第１休止期間と前記第２期間と前記第２期間後の第２休止期間とに取得された２以上の表情スコアの標準偏差の情報と、をさらに含んでもよい。

【0025】

前記制御部は、前記特定表情の表出指示に際して、前記特定表情に関する基準顔画像を所定の表示部に表示させ、前記基準顔画像は、前記特定表情を有する複数の人物の複数の顔画像を平均化して得られた平均顔画像であってもよい。

【0026】

上記課題を解決すべく、本発明に係る認知機能判定システムは、上記いずれかの特徴を有する認知機能判定装置と、前記人物の前記撮影画像データを前記認知機能判定装置に送信する端末装置と、を備えることを特徴とする。

【0027】

上記課題を解決すべく、本発明に係る学習モデル生成装置は、複数の被検者のそれぞれの表情スコアに関する情報と前記複数の被検者のそれぞれの認知機能の評価結果を示す所定の医学的認知機能評価尺度との関係を機械学習して学習モデルを生成する制御部、を備え、前記表情スコアは、特定表情の度合いを示す値であって対象者を撮影した撮影画像データに基づいて取得される値であり、前記複数の被検者のそれぞれの前記所定の医学的認知機能評価尺度は、前記複数の被検者のそれぞれに対する所定の医学的検査によって取得される値であり、休憩期間を挟む２つの期間である第１期間と第２期間とのうち前記第１期間にて前記特定表情を継続して表出させるための第１指示が撮影対象者に対して付与されることと、前記第１期間後の休憩期間である第１休止期間に引き続く前記第２期間にて前記特定表情を継続して表出させるための第２指示が前記撮影対象者に対して付与されることとに伴って、前記撮影画像データが生成され、前記表情スコアに関する情報は、前記第１期間に関する前記特定表情の持続時間の情報と、前記第２期間に関する前記特定表情の持続時間の情報と、を含むことを特徴とする。

【0028】

上記課題を解決すべく、本発明に係る認知機能判定方法は、複数の被検者のそれぞれの表情スコアに関する情報と前記複数の被検者のそれぞれの認知機能の評価結果を示す所定の医学的認知機能評価尺度との関係を学習した学習モデルを利用して、認知機能に関する判定対象の人物の前記表情スコアに関する情報に基づき、前記人物の前記所定の医学的認知機能評価尺度に相当する値を推定するステップ、を備え、前記表情スコアは、特定表情の度合いを示す値であって対象者を撮影した撮影画像データに基づいて取得される値であり、前記複数の被検者のそれぞれの前記所定の医学的認知機能評価尺度は、前記複数の被検者のそれぞれに対する所定の医学的検査によって取得される値であり、休憩期間を挟む２つの期間である第１期間と第２期間とのうち前記第１期間にて前記特定表情を継続して表出させるための第１指示が撮影対象者に対して付与されることと、前記第１期間後の休憩期間である第１休止期間に引き続く前記第２期間にて前記特定表情を継続して表出させるための第２指示が前記撮影対象者に対して付与されることとに伴って、前記撮影画像データが生成され、前記表情スコアに関する情報は、前記第１期間に関する前記特定表情の持続時間の情報と、前記第２期間に関する前記特定表情の持続時間の情報と、を含むことを特徴とする。

【0029】

上記課題を解決すべく、本発明に係る学習モデル製造方法は、複数の被検者のそれぞれの表情スコアに関する情報と前記複数の被検者のそれぞれの認知機能の評価結果を示す所定の医学的認知機能評価尺度との関係を機械学習して学習モデルを生成するステップ、を備え、前記表情スコアは、特定表情の度合いを示す値であって対象者を撮影した撮影画像データに基づいて取得される値であり、前記複数の被検者のそれぞれの前記所定の医学的認知機能評価尺度は、前記複数の被検者のそれぞれに対する所定の医学的検査によって取得される値であり、休憩期間を挟む２つの期間である第１期間と第２期間とのうち前記第１期間にて前記特定表情を継続して表出させるための第１指示が撮影対象者に対して付与されることと、前記第１期間後の休憩期間である第１休止期間に引き続く前記第２期間にて前記特定表情を継続して表出させるための第２指示が前記撮影対象者に対して付与されることとに伴って、前記撮影画像データが生成され、前記表情スコアに関する情報は、前記第１期間に関する前記特定表情の持続時間の情報と、前記第２期間に関する前記特定表情の持続時間の情報と、を含むことを特徴とする。

【0031】

上記課題を解決すべく、本発明に係るプログラムは、複数の被検者のそれぞれの表情スコアに関する情報と前記複数の被検者のそれぞれの認知機能の評価結果を示す所定の医学的認知機能評価尺度との関係を学習した学習モデルを利用して、認知機能に関する判定対象の人物の前記表情スコアに関する情報に基づき、前記人物の前記所定の医学的認知機能評価尺度に相当する値を推定するステップ、をコンピュータに実行させるためのプログラムであって、前記表情スコアは、特定表情の度合いを示す値であって対象者を撮影した撮影画像データに基づいて取得される値であり、前記複数の被検者のそれぞれの前記所定の医学的認知機能評価尺度は、前記複数の被検者のそれぞれに対する所定の医学的検査によって取得される値であり、休憩期間を挟む２つの期間である第１期間と第２期間とのうち前記第１期間にて前記特定表情を継続して表出させるための第１指示が撮影対象者に対して付与されることと、前記第１期間後の休憩期間である第１休止期間に引き続く前記第２期間にて前記特定表情を継続して表出させるための第２指示が前記撮影対象者に対して付与されることとに伴って、前記撮影画像データが生成され、前記表情スコアに関する情報は、前記第１期間に関する前記特定表情の持続時間の情報と、前記第２期間に関する前記特定表情の持続時間の情報と、を含むことを特徴とする。

【0032】

上記課題を解決すべく、本発明に係るプログラムは、複数の被検者のそれぞれの表情スコアに関する情報と前記複数の被検者のそれぞれの認知機能の評価結果を示す所定の医学的認知機能評価尺度との関係を機械学習して学習モデルを生成するステップ、をコンピュータに実行させるためのプログラムであって、前記表情スコアは、特定表情の度合いを示す値であって対象者を撮影した撮影画像データに基づいて取得される値であり、前記複数の被検者のそれぞれの前記所定の医学的認知機能評価尺度は、前記複数の被検者のそれぞれに対する所定の医学的検査によって取得される値であり、休憩期間を挟む２つの期間である第１期間と第２期間とのうち前記第１期間にて前記特定表情を継続して表出させるための第１指示が撮影対象者に対して付与されることと、前記第１期間後の休憩期間である第１休止期間に引き続く前記第２期間にて前記特定表情を継続して表出させるための第２指示が前記撮影対象者に対して付与されることとに伴って、前記撮影画像データが生成され、前記表情スコアに関する情報は、前記第１期間に関する前記特定表情の持続時間の情報と、前記第２期間に関する前記特定表情の持続時間の情報と、を含むことを特徴とする。

【発明の効果】

【0033】

本発明によれば、認知機能の判定対象の人物に関して実際には医学的検査を行わずとも、当該医学的検査に基づく医学的認知機能評価尺度と同等の値を得ることが可能である。

【図面の簡単な説明】

【0034】

【図1】認知機能判定システムを示す概略図である。

【図2】認知機能判定装置の機能ブロックを示す図である。

【図3】端末装置の機能ブロックを示す図である。

【図4】学習段階の処理を示す概念図である。

【図5】推論段階の処理を示す概念図である。

【図6】学習段階の処理を示すフローチャートである。

【図7】推論段階の処理を示すフローチャートである。

【図8】１回目の笑顔表出期間の直前における表示画面を示す図である。

【図9】１回目の笑顔表出指示等に関する表示画面を示す図である。

【図10】１回目の笑顔表出期間における表示画面を示す図である。

【図11】１回目の笑顔表出期間直後の第１休止期間における表示画面を示す図である。

【図12】２回目の笑顔表出期間の直前における表示画面を示す図である。

【図13】２回目の笑顔表出指示等に関する表示画面を示す図である。

【図14】２回目の笑顔表出期間直後の第２休止期間における表示画面を示す図である。

【図15】推論結果の表示画面を示す図である。

【図16】或る人物に関する表情スコアの時間変化を示す図である。

【図17】或る学習結果等の概要を示す図である。

【図18】実際のＭＭＳＥの検査値と学習済みモデルを利用して推定されたＭＭＳＥ相当値（認知度合スコア）との関係等を示す図である。

【図19】複数のパラメータのそれぞれとＭＭＳＥ検査値との相関を示す表（上段）と、これらのパラメータのうち実際に図１７の評価試験で利用されたパラメータ（下段）とを示す図である。

【図20】表情スコアの経時変化曲線およびその微分曲線等を示す図である。

【発明を実施するための形態】

【0035】

以下、本発明の実施形態を図面に基づいて説明する。

【0036】

＜１．システム概要＞
図１は、認知機能判定システム１を示す概略図である。図１に示されるように、認知機能判定システム１は、認知機能の程度を判定する認知機能判定装置３０と、複数の端末装置７０とを備えている（図２および図３も参照）。なお、図２は認知機能判定装置３０の機能ブロックを示す図であり、図３は端末装置７０の機能ブロックを示す図である。

【0037】

認知機能判定装置３０と各端末装置７０とはネットワーク（インターネット等を含む）を介して互いに通信可能である。認知機能判定装置３０はサーバ装置（クラウドサーバ等）として構築されており、端末装置７０はクライアント装置として構築されている。すなわち、認知機能判定システム１は、クライアントサーバシステムとして構築されている。

【0038】

認知機能判定装置３０は、学習モデル４１０（図２参照）を備えている。機械学習によって学習された後の学習モデル４１０は、学習済みモデル４２０とも称される。具体的には、学習モデル４１０（学習器）の学習パラメータが所定の機械学習手法を用いて調整され、学習済みの学習モデル４１０（学習済みモデル４２０）が生成される（図２参照）。

【0039】

学習モデル４１０としては、たとえば、複数の層で構成されるニューラルネットワークモデルが用いられる。そして、所定の機械学習手法によって、ニューラルネットワークモデルにおける複数の層（入力層、（１又は複数の）中間層、出力層）の層間における重み付け係数（学習パラメータ）等が調整される。あるいは、学習モデル４１０として重回帰モデル（回帰分析モデル）が用いられ、一の機械学習手法として重回帰に関する最小二乗法等が用いられて重回帰モデルの重み付け係数が調整されてもよい。

【0040】

このように、認知機能判定装置３０は、機械学習における学習段階の処理を実行する。なお、図４は、当該学習段階の処理を示す概念図である。

【0041】

具体的には、学習モデル４１０は、複数の被検者のそれぞれの表情スコアに関する情報と、複数の被検者のそれぞれの認知機能の程度（低下程度等）に関する評価結果を示す所定の医学的認知機能評価尺度との関係を学習するモデル（回帰モデル）である。詳細には、学習モデル４１０は、表情スコアに関する情報（複数のパラメータ）を入力とし且つ所定の医学的認知機能評価尺度に相当する値を出力とするモデルである。

【0042】

所定の医学的認知機能評価尺度は、被検者に対する所定の医学的検査（医師の問診に対する被検者の回答等を含む）によって取得される医学的な評価尺度（認知機能の程度を示す評価値）である。複数の被検者のそれぞれの所定の医学的認知機能評価尺度は、複数の被検者のそれぞれに対する所定の医学的検査によって取得される。学習モデル４１０の機械学習では、当該各被検者の所定の医学的認知機能評価尺度がラベル（正解データ）として用いられる。詳細には、各被検者の表情スコアに関する情報と当該各被検者の所定の医学的認知機能評価尺度との組合せ（データセット）が、学習モデル４１０の機械学習における教師データ（ラベル付きデータ）として用いられる。

【0043】

ここでは、所定の医学的認知機能評価尺度として、ＭＭＳＥ（Mini-Mental State Examination：ミニメンタルステート検査）を例示する。ＭＭＳＥの検査値（ＭＭＳＥ検査値とも称する）は、３０点を満点としており、ＭＭＳＥ検査値（点数）が低くなるにつれて認知機能が低下していることを示している。

【0044】

また、表情スコアは、特定表情の度合いを示す値（スコア）であり、対象者を撮影した撮影画像データ１１０（図１参照）に基づいて取得される値である。より詳細には、表情スコアは、撮影画像データ１１０内の対象者の顔画像を解析することによって、特定表情の度合いを数値化した値（たとえば、「０」～「１００」の値）として取得される。ここでは、特定表情として笑顔を例示するとともに、表情スコアとして、笑顔の度合いを数値化した笑顔スコアを例示する。ただし、これに限定されない。たとえば、特定表情は、驚き、怒り、悲しみ、嫌悪などであってもよく、表情スコアは、驚きスコア、怒りスコア、悲しみスコア、嫌悪スコアなどであってもよい。

【0045】

撮影画像データ１１０は、時系列の複数の画像（たとえば、動画像データ内の複数のフレーム画像）を有する。そして、当該複数の画像からそれぞれ抽出された複数の顔画像のそれぞれに対して表情スコアが算出される。このようにして、或る人物に関する複数の画像に基づいて、当該人物に関する複数の表情スコアが取得される。なお、撮影画像データ１１０は、動画像データ内の複数のフレーム画像を備えて構成されるものに限定されず、時系列の複数の静止画像を備えて構成されるもの等であってもよい。

【0046】

当該人物に関する当該複数の表情スコアに基づいて、当該人物に関する表情スコアに関する情報１２０が生成される。後に詳述するように、当該情報１２０は、たとえば、撮影画像データ１１０の特定期間にて取得された２以上の表情スコアの平均値および／または最大値の情報等を含む。また、複数の人物のそれぞれの表情スコアに関する情報は、当該複数の人物のそれぞれの撮影画像データ１１０に基づいて取得される。

【0047】

各人物に関する表情スコア等は、特定表情の表出指示に応じて取得される。具体的には、認知機能判定装置３０は、特定表情（ここでは笑顔）の表出指示を撮影対象者（被検者等）に付与し、当該撮影対象者は、当該表出指示に応じて当該特定表情（笑顔等）を表出（作出）する。たとえば、笑顔を一定期間（１５秒）に亘って表出し続けるべき旨の指示に応じて、当該撮影対象者は、自らの顔の表情筋等を動かして笑顔を表出（作出）するように試みる。そして、撮影対象者の撮影画像データ１１０（ここでは動画像データ）が端末装置７０によって撮影され、端末装置７０から認知機能判定装置３０へと送信される。認知機能判定装置３０は、認知機能判定装置３０から受信した撮影画像データ１１０を解析し、当該撮影画像データ１１０内の特定期間における複数の表情スコアの平均値、最大値および標準偏差を取得する。認知機能判定装置３０は、当該撮影画像データ１１０に対する解析処理によって、特定表情持続時間（笑顔持続時間）、および特定表情までの立ち上がり（起ち上がり）時間等をも取得する。

【0048】

ここにおいて、認知機能が低下すると、笑顔（特に、無表情状態とは大きく異なるしっかりとした笑顔）を表出することが難しくなる。それ故、高い笑顔スコア（たとえば最大値「１００」になるべく近い値）を出すことが困難になる。その結果、笑顔の表出指示に基づく一定期間における笑顔スコアの平均値および最大値等は低くなる傾向が存在する。また、笑顔持続時間は短くなる傾向が存在し、笑顔までの立ち上がり時間は長くなる傾向が存在する。

【0049】

このような知見等に基づき、本願においては、表情スコアに関する情報１２０に基づき、認知機能の程度を判定する。具体的には、学習モデル４１０において、表情スコアに関する情報１２０と認知機能の程度との関係を学習させる。詳細には、学習モデル４１０において、表情スコアに関する情報１２０と所定の医学的認知機能評価尺度との関係を学習させ、学習済みモデル４２０を生成する。

【0050】

より詳細には、複数の被検者のそれぞれの表情スコアに関する情報１２０を入力とし、当該複数の被検者のそれぞれの所定の医学的認知機能評価尺度（ＭＭＳＥ等）に相当する値（以下、認知度合スコアＤとも称する）を出力とする学習モデル４１０が構築される。そして、学習モデル４１０において、各被検者に関する出力（認知度合スコアＤ）（推定値）と各被検者の実際のＭＭＳＥのスコア（実際にＭＭＳＥを実施して得られた検査値）（正解値）との誤差を小さくするように機械学習が行われる。換言すれば、実際のＭＭＳＥのスコア（実際にＭＭＳＥを実施して得られた検査値）が正解データとして用いられて、機械学習が行われる。このように、学習モデル４１０において、複数の被検者のそれぞれの表情スコアに関する情報１２０と当該複数の被検者のそれぞれの認知機能の評価結果を示す所定の医学的認知機能評価尺度（ＭＭＳＥ検査値等）との関係が機械学習される。

【0051】

また、認知機能判定装置３０は、機械学習における推論段階の処理を実行する。認知機能判定装置３０は、学習済みモデル４２０を利用して、判定対象人物（学習に利用された複数の被検者とは異なる人物（ＭＭＳＥの未検者）等）の表情スコアに関する情報１２０に基づき、当該判定対象人物に関する認知度合スコアＤを推定する。なお、図５は、当該推論段階の処理を示す概念図である。

【0052】

具体的には、認知機能判定システム１は、認知機能の判定対象人物を撮影した撮影画像に基づき、当該判定対象人物の認知機能を判定する。具体的には、当該撮影画像が端末装置７０のカメラによって撮影され、ネットワーク（インターネット等を含む）を介して端末装置７０から認知機能判定装置３０へと送信される。認知機能判定装置３０は、当該撮影画像を解析し、当該撮影画像内の人物に関して特定表情（たとえば笑顔）の度合いを表す値である表情スコア（たとえば笑顔スコア）を求める。次に、表情スコアに関する情報１２０（詳細には、撮影画像内の時系列の複数の画像からそれぞれ取得された複数の表情スコアに関する情報）が認知機能判定装置３０内の学習済みモデル４２０に入力される。そして、所定の医学的検査値（ＭＭＳＥ）に相当する値（認知度合スコアＤ）が当該学習済みモデル４２０から出力される。換言すれば、認知機能判定装置３０は、学習済みモデル４２０を利用して、判定対象人物の表情スコアに関する情報に基づき、当該判定対象人物に関する「認知度合スコア」（ＭＭＳＥによる医学的認知機能評価尺度に相当する値）を推定する。

【0053】

ここにおいて、当該認知度合スコアＤは、複数の被検者のそれぞれの表情スコアに関する情報と当該複数の被検者のそれぞれの所定の医学的認知機能評価尺度との関係を学習した学習済みモデル４２０を利用して求められる値である。認知度合スコアＤは、所定の医学的認知機能評価尺度（たとえばＭＭＳＥ検査値）との間に高い相関を有する値であり、所定の医学的認知機能評価尺度に相当する値である、とも表現される。

【0054】

＜２．認知機能判定装置３０＞
図２に示されるように、認知機能判定装置３０は、コントローラ３１（制御部とも称される）と記憶部３２と通信部３４と操作部３５とを備える。

【0055】

コントローラ３１は、認知機能判定装置３０に内蔵され、認知機能判定装置３０の動作を制御する制御装置である。

【0056】

コントローラ３１は、１又は複数のハードウェアプロセッサ（例えば、ＣＰＵ（Central Processing Unit）およびＧＰＵ（Graphics Processing Unit））等を備えるコンピュータシステムとして構成される。コントローラ３１は、ＣＰＵ等において、記憶部（ＲＯＭおよび／またはハードディスクなどの不揮発性記憶部）３２内に格納されている所定のソフトウエアプログラム（以下、単にプログラムとも称する）を実行することによって、各種の処理を実現する。なお、当該プログラム（詳細にはプログラムモジュール群）は、ＵＳＢメモリなどの可搬性の記録媒体に記録され、当該記録媒体から読み出されて認知機能判定装置３０にインストールされるようにしてもよい。あるいは、当該プログラムは、通信ネットワーク等を経由してダウンロードされて認知機能判定装置３０にインストールされるようにしてもよい。

【0057】

コントローラ３１は、機械学習の学習段階に関する処理を実行する。

【0058】

具体的には、コントローラ３１は、まず教師データの取得処理を実行する。具体的には、コントローラ３１は、複数の被検者のそれぞれの表情スコアに関する情報１２０を取得するとともに、当該複数の被検者のそれぞれの所定の医学的認知機能評価尺度（ＭＭＳＥの検査値）を示すデータをも取得する。すなわち、各被検者の表情スコアに関する情報１２０と当該各被検者の医学的認知機能評価尺度との組合せが教師データとして取得される。

【0059】

次に、コントローラ３１は、当該教師データに基づいて、学習器（学習モデル４１０）に関する学習パラメータを最適化する処理を実行し、学習済みモデル４２０を生成する。より詳細には、複数の被検者のそれぞれの表情スコアに関する情報１２０と当該複数の被検者のそれぞれの所定の医学的認知機能評価尺度（ＭＭＳＥの検査値）との既知の関係を示すデータを教師データとして機械学習が行われ、学習パラメータが最適化される。これにより、学習済みモデル４２０が生成される。

【0060】

さらに、コントローラ３１は、機械学習の推論段階に関する処理を実行する。具体的には、学習パラメータが調整された学習モデル４１０（学習済みモデル４２０）を用いて、判定対象人物に関して取得された表情スコアに関する情報１２０に基づいて、推論処理が実行される。詳細には、認知度合スコアＤ（ＭＭＳＥの検査値に相当する値）を推定する推定処理（推論処理）が実行される。また、コントローラ３１は、推論結果を出力する処理（認知度合スコアＤの表示処理等）をも実行する。

【0061】

記憶部３２は、ハードディスクドライブ（ＨＤＤ）および／またはソリッドステートドライブ（ＳＳＤ）等の記憶装置で構成される。記憶部３２は、学習モデル４１０（学習モデルに関する学習パラメータおよびプログラムを含む）（ひいては学習済みモデル４２０）等を記憶する。また、認知機能判定装置３０に対する認証処理に用いられる登録データベース４５０をも記憶する。登録データベース４５０には、登録ユーザに関する各種の情報（ユーザＩＤ、氏名、顔画像情報等）が予め登録される。

【0062】

通信部３４は、ネットワークを介したネットワーク通信を行うことが可能である。このネットワーク通信では、たとえば、ＴＣＰ／ＩＰ（Transmission Control Protocol / Internet Protocol）等の各種のプロトコルが利用される。当該ネットワーク通信を利用することによって、認知機能判定装置３０は、所望の相手先（たとえば、端末装置７０）との間で各種のデータを授受することが可能である。

【0063】

操作部３５は、認知機能判定装置３０に対する操作入力を受け付ける操作入力部３５ａと、各種情報の表示出力を行う表示部３５ｂとを備えている。操作入力部３５ａとしてはマウスおよびキーボード等が用いられ、表示部３５ｂとしてはディスプレイ（液晶ディスプレイ等）が用いられる。また、操作入力部３５ａの一部としても機能し且つ表示部３５ｂの一部としても機能するタッチパネルが設けられてもよい。

【0064】

なお、この認知機能判定装置３０は、学習モデル４１０に関する学習段階の処理（学習モデル４１０の生成処理）をも実行するので、学習モデル生成装置などとも称される。

【0065】

＜３．端末装置７０＞
各端末装置７０は、認知機能判定装置３０との間でのネットワーク通信が可能な情報入出力端末装置（情報処理装置）である。各端末装置７０は、スマートフォン、タブレット型端末、あるいはパーソナルコンピュータ（固定式（据置型）あるいは携帯式の何れでもよい）などとして構成される。図１では、タブレット型端末として構築された端末装置７０が例示されている。

【0066】

端末装置７０は、認知機能判定装置３０との間で各種の情報を授受する。端末装置７０は、端末装置７０の近傍に存在する人物を撮影した撮影画像データ１１０を生成し、当該撮影画像データ１１０を認知機能判定装置３０に送信する。また、端末装置７０は、認知機能判定装置３０からの情報を受信して当該情報をその表示部７５ｂ等に表示する。

【0067】

図３は、端末装置７０の概略構成を示す機能ブロック図である。

【0068】

端末装置７０は、図３の機能ブロック図に示すように、コントローラ７１、記憶部７２、通信部７４、操作部７５、および撮影部７６等を備えており、これらの各部を複合的に動作させることによって、各種の機能を実現する。

【0069】

コントローラ（制御部）７１は、端末装置７０を制御する制御装置である。

【0070】

コントローラ７１は、コントローラ３１と同様のハードウエア構成を有している。また、コントローラ７１は、ＣＰＵ等において、記憶部（ＲＯＭおよび／またはハードディスクなどの不揮発性記憶部）７２内に格納されている所定のソフトウエアプログラムを実行することによって、各種の処理を実現する。なお、当該プログラム（詳細にはプログラムモジュール群）は、ＵＳＢメモリなどの可搬性の記録媒体に記録され、当該記録媒体から読み出されて端末装置７０にインストールされるようにしてもよい。あるいは、当該プログラムは、通信ネットワーク等を経由してダウンロードされて端末装置７０にインストールされるようにしてもよい。

【0071】

コントローラ７１は、当該プログラムを実行し、次のような各種の処理を実行する。

【0072】

具体的には、コントローラ７１は、学習モデル４１０の学習段階において、各被検者に関する顔画像等の撮影処理等を実行するとともに、各被検者に関する撮影画像データ１１０およびＭＭＳＥの検査値等を認知機能判定装置３０に送信する処理を実行する。

【0073】

また、コントローラ７１は、学習モデル４１０（詳細には学習済みモデル４２０）を用いた推論段階において、認知機能の判定対象人物に関する顔画像を撮影した撮影画像データ１１０を生成する。また、コントローラ７１は、各被検者に関する撮影画像データ１１０を認知機能判定装置３０に送信する。さらに、コントローラ７１は、学習済みモデル４２０を用いた認知機能判定装置３０によるＭＭＳＥの推定結果を認知機能判定装置３０から取得し、ＭＭＳＥの当該推定結果（所定の医学的認知機能評価尺度に相当する値）を表示部７５ｂに表示する。

【0074】

記憶部７２は、記憶部３２と同様のハードウエア構成を有している。

【0075】

通信部７４は、通信部３４と同様のハードウエア構成を有している。通信部７４によるネットワーク通信を利用することによって、端末装置７０は、所望の相手先（たとえば、認知機能判定装置３０）との間で各種のデータを授受することが可能である。

【0076】

操作部７５は、端末装置７０に対する操作入力を受け付ける操作入力部７５ａと、各種情報の表示出力を行う表示部７５ｂと、音声を出力する音声出力部７５ｅとを備えている。操作入力部７５ａとしてはマウス、キーボード等が用いられ、表示部７５ｂとしてはディスプレイ（液晶ディスプレイ等）が用いられる。また、操作入力部７５ａの一部としても機能し且つ表示部７５ｂの一部としても機能するタッチパネル７５ｃが設けられてもよい。音声出力部７５ｅは、スピーカー等を備えて構成される。

【0077】

撮影部７６は、カメラ７６ｃ等を備えて構成される。撮影部７６は、カメラ７６ｃによる撮影画像データ１１０（詳細には、動画像データ）を生成することが可能である。具体的には、カメラ７６ｃは、可視光画像（カラー画像等）を撮像するＲＧＢ画像センサ等を有しており、カラー動画像を撮影することが可能である。

【0078】

＜４．学習段階の処理＞
以下、学習モデル４１０の学習段階、および学習モデル４１０（学習済みモデル４２０）を用いた推論段階の各処理について順に説明する。

【0079】

まず、学習段階の処理について説明する。

【0080】

図６は、学習段階の処理を示すフローチャートである。図６に示される処理は、コントローラ３１等によって実行される。

【0081】

また、図６は、学習済みモデルの生成方法を示す図でもある。本願においては、学習済みモデル４２０を生成することは、学習済みモデル４２０を製造（生産）することを意味するとともに、「学習済みモデルの生成方法」は「学習済みモデルの製造方法」を意味する。

【0082】

図６の学習段階の処理は、教師データの準備段階の処理（ステップＳ１１，Ｓ１２）、および当該教師データを利用した学習モデル４１０の機械学習処理（ステップＳ１３，Ｓ１４）に大別される。

【0083】

まず、ステップＳ１１の処理について説明する。ステップＳ１１では、コントローラ３１は、各被検者（撮影対象者）の撮影画像データ１１０を取得するとともに、当該各被検者の表情スコアに関する情報１２０を当該撮影画像データ１１０に基づき取得する。

【0084】

具体的には、端末装置７０によって被検者の撮影画像データ１１０が取得される。被検者は自宅（あるいは病院）等にて自身の顔を含む撮影画像を端末装置７０によって撮影させる。

【0085】

より詳細には、被検者は、端末装置７０で実行されるアプリケーションソフトウエアプログラム（以下、単にアプリケーションとも称する）を用いて、認知機能判定装置３０にログインする。たとえば、端末装置７０の操作部７５を用いて入力されたユーザ情報（ログインＩＤおよびパスワード）が端末装置７０から認知機能判定装置３０に送信される。そして、入力された（送信されてきた）ユーザ情報と予め登録されていたユーザ情報とが認知機能判定装置３０において照合されることによって、ログイン処理（ユーザ認証処理）が行われる。なお、これに限定されず、たとえば、ログイン処理として、顔認証処理が行われてもよい。具体的には、被検者の現在の顔画像（ログイン時の顔画像（静止画像））を端末装置７０によって撮影し、予め登録された顔画像（当該被検者の顔画像（正規データ））と当該現在の顔画像とを照合することによって顔認証処理が行われてもよい。そして、当該顔認証処理の結果に応じてログインの許否が決定されてもよい。

【0086】

ログイン後において、端末装置７０からの表示出力および／または音声出力によって、「笑顔」の表出指示が被検者に対して付与される。当該表出指示を付与する処理は、端末装置７０内にて実行されるアプリケーションによって実行されればよい。ただし、これに限定されない。当該表出指示を付与する処理は、たとえば、認知機能判定装置３０からの指令（ウェブサーバ（認知機能判定装置３０）あるいはウエブブラウザ（端末装置７０）で実行されるスクリプト等）に従って端末装置７０にて実行されてもよい。なお、特定表情（笑顔等）の停止指示（後述）等についても同様である。

【0087】

ここでは、合計２回の特定表情の表出指示が付与される。より具体的には、まず、特定表情（ここでは笑顔）を第１期間Ｌ１にて（ここでは１５秒間に亘って）継続して表出させるための第１指示が、被検者に対して付与される。さらに、当該第１期間Ｌ１の終了直後の第１休止期間Ｒ１（ここでは１５秒間）の後に、特定表情（笑顔）を第２期間Ｌ２にて（再び１５秒間に亘って）継続して表出させるための第２指示が被検者に対して付与される。さらに、第２期間Ｌ２後の第２休止期間Ｒ２（ここでは１５秒間）が終了すると、全ての処理が終了した旨が被検者に報知される。そして、これらの全期間（第１期間Ｌ１と第１休止期間Ｒ１と第２期間Ｌ２と第２休止期間Ｒ２との全期間）、具体的には、合計６０秒（＝１５秒＋１５秒＋１５秒＋１５秒）を含む期間において被検者の撮影画像が撮影される。なお、各期間Ｌ１，Ｌ２は、特定表情表出期間（笑顔表出期間等）とも称される。

【0088】

具体的には、ログイン直後における不図示の画面にて、笑顔トレーニングの概略（１５秒間の休憩を挟んで２回に分けて１５秒ずつ笑顔を表出してもらうこと等）の説明が表示される。被検者は、当該概略の説明を理解した後に、笑顔トレーニングのスタートボタン（画面内に表示される）を押下する。

【0089】

当該スタートボタンの押下に応じて、図８のような画面２１０（２１１）が端末装置７０（詳細には表示部７５ｂ）に表示される。画面２１０（２１１）は、撮影画像の表示領域２２１と基準顔画像の表示領域２２３とを有している。表示領域２２１には、被検者自身の撮影画像がリアルタイムで随時更新されて表示される。一方、表示領域２２３には、基準となる笑顔の顔画像（基準顔画像とも称する）が表示される。ここでは、基準顔画像として「平均顔画像」が表示されるものとする。平均顔画像は、特定表情（ここでは笑顔）を有する複数の人物の複数の顔画像を平均化して予め得られた顔画像である。当該平均顔画像は、たとえば、複数の人物に関する複数の顔画像（笑顔の顔画像）の大きさを正規化するとともに、当該顔画像内の特徴点の位置（目、鼻、口等における更に詳細な特徴点の位置）を平均化すること等によって求められる。

【0090】

図８の画面２１１内の表示領域２２１の上側には、「スタート！の合図にあわせて、１５秒間、１回目の笑顔トレーニングをします！！右の基準顔画像（平均顔）のように笑ってください。」との文言が表示される。また、当該文言を読み上げる音声が端末装置７０にて出力される。また、画面２１１内の表示領域２２１の上側には、笑顔の表出開始時までの残り時間（図８では「３０秒前」）が表示される。なお、図８～図１１は、１回目の笑顔表出期間Ｌ１等に関する表示画面を示す図であり、図１２～図１４は、２回目の笑顔表出期間Ｌ２等に関する表示画面を示す図である。また、図１５は、推論結果（後述）の表示画面を示す図である。これらのうち図８は、１回目の笑顔表出期間Ｌ１の直前（撮影開始前等）における表示画面を示している。また、図９は１回目の笑顔表出指示の付与等を行うための表示画面を示しており、図１０は１回目の笑顔指示期間Ｌ１内における表示画面を示しており、図１１は１回目の笑顔表出期間Ｌ１の直後の第１休止期間Ｒ１内における表示画面を示している。

【0091】

その後（図８の画面２１１が表示された後）、適宜のタイミングで（たとえば、表出開始の５秒前に）図９のような画面２１０（２１２）が端末装置７０に表示される。画面２１２においては、「それでは、もうすぐ、１５秒間、１回目の笑顔トレーニングをします！！」と表示され、残り時間がさらにカウントダウンされていく。そして、開始タイミングが到来すると、笑顔の表出指示（詳細には表出開始指示）が付与される。具体的には、「はい、スタート！」の文字が画面２１２に表示されるとともに、「はい、スタート！」の音声が出力される。

【0092】

このようにして、１回目の表出開始指示Ｐ１（特定表情の表出を開始すべき旨の指示）（図１６も参照）が付与される。当該１回目の表出開始指示Ｐ１は、特定表情（ここでは笑顔）を第１期間Ｌ１にて継続して表出させるための第１指示であるとも表現される。なお、笑顔の表出開始指示Ｐ１は、笑顔開始指示Ｐ１とも称される。

【0093】

端末装置７０は、笑顔開始指示Ｐ１の数秒前（あるいは数十秒前）から被検者の撮影（撮影画像データ１１０の撮影処理）を開始する。ただし、これに限定されず、笑顔開始指示Ｐ１に応じて被検者の撮影が開始されてもよい。ここでは、笑顔開始指示Ｐ１の１０秒前から撮影が開始されるものとする（図１６参照）。なお、図１６は、或る撮影対象者に関する撮影画像データ１１０に基づいて取得された笑顔スコアの経時変化等を示す図である。

【0094】

被検者は、当該表出指示（笑顔開始指示Ｐ１）に応じて、笑顔の表出（作出）を開始する。この際、表示部７５ｂの画面２１３の表示領域２２３には、笑顔の基準顔画像（平均顔画像）が表示（提示）されており、被検者は、画面２１３に表示された基準顔画像（平均顔画像）を参考にして、当該基準顔画像に近い笑顔を表出（作出）するように試みる。

【0095】

第１期間Ｌ１においては、図１０のような画面２１０（２１３）が表示される。画面２１３においては、残り時間（図１０では「残り３秒」）がカウントダウン表示される。なお、第１期間Ｌ１は、笑顔の表出が指示された期間（区間）であることから、笑顔指示期間（笑顔指示区間）Ｌ１とも称される。

【0096】

第１期間Ｌ１が終了すると、図１１のような画面２１０（２１４）が表示される。画面２１４においては「１回目、終了です。」との文言が表示される。また同時に、「１回目、終了です。」の音声が出力される。このようにして、１回目の笑顔停止指示Ｑ１（笑顔の表出を停止（終了）すべき旨の指示（表出終了指示））（図１６参照）が付与される。

【0097】

また、画面２１４においては、「１５秒休憩した後、もう１回行います。」との文言がさらに表示されるとともに、２回目スタートまでの時間（図１１では、「１２秒前」）がカウントダウン表示される。

【0098】

その後、適宜のタイミングで（たとえば、第２回目の表出開始の１０秒前に）図１２のような画面２１０（２１５）が端末装置７０に表示される。画面２１５においては、「スタート！の合図に合わせて、１５秒間、２回目の笑顔トレーニングをします！！」と表示され、残り時間がカウントダウンされていく。その後、さらに図１３の画面２１６が表示され、残り時間がさらにカウントダウンされていく。そして、開始タイミングが到来すると、笑顔の表出指示（詳細には表出開始指示）が付与される。具体的には、図１３に示されるように「はい、スタート！」の文字が表示されるとともに、「はいスタート！」の音声が出力される。なお、図１２～図１４は、上述のように、２回目の笑顔表出期間Ｌ２等に関する表示画面を示している。詳細には、図１２は２回目の笑顔表出指示に関する表示画面（笑顔表出指示直前の表示画面）を示しており、図１３は２回目の笑顔表出指示の付与等を行うための表示画面を示しており、図１４は２回目の笑顔表出期間Ｌ２直後の第２休止期間Ｒ２における表示画面を示している。

【0099】

このようにして、２回目の笑顔開始指示Ｐ２（図１６参照）が付与される。当該２回目の笑顔開始指示Ｐ２は、笑顔を第２期間Ｌ２（図１６参照）にて継続して表出させるための第２指示であるとも表現される。

【0100】

被検者は、当該表出指示（笑顔開始指示Ｐ２）に応じて、笑顔の表出（作出）を開始する。この際、被検者は、第１期間Ｌ１と同様に、表示領域２２３に表示された基準顔画像（平均顔画像）を参考にして、当該基準顔画像に近い笑顔を表出（作出）するように試みる。

【0101】

第２期間Ｌ２においても、第１期間Ｌ１と同様に、図１０の画面２１３と同様の画面が表示される。なお、第２期間Ｌ２は、笑顔の表出が指示された期間（区間）であることから、笑顔指示期間（笑顔指示区間）Ｌ２とも称される。

【0102】

第２期間Ｌ２が終了すると、図１４のような画面２１０（２１７）が表示される。画面２１７においては「２回目も終了しました。このまま１５秒休憩してください。」との文言が表示される。また同時に、同内容の音声が出力される。このようにして、２回目の笑顔停止指示Ｑ２（笑顔の表出を停止（終了）すべき旨の指示）（図１６参照）が付与される。

【0103】

そして、２回目の笑顔停止指示Ｑ２から１５秒が経過すると、撮影が終了する。また、表示部７５ｂには「お疲れ様でした。全て終了しました。」の文言を含む画面（不図示）が表示され、撮影終了（笑顔トレーニング終了）の旨が被検者に通知される。また、端末装置７０による撮影も終了する。

【0104】

このような撮影によって、期間Ｌ１，Ｒ１，Ｌ２，Ｒ２（合計６０秒間）を含む撮影画像データ１１０が生成される。ここでは、笑顔開始指示Ｐ１の１０秒前の時点から撮影終了指示Ｑ３の時点（第２休止期間Ｒ２の終了時点）（図１６参照）までの７０秒間に亘る撮影画像データ１１０が生成される。すなわち、期間Ｌ１，Ｒ１，Ｌ２，Ｒ２の６０秒間と笑顔開始指示Ｐ１の直前の期間（１０秒間）とを含む期間に亘る撮影画像データ１１０が生成される。

【0105】

また、端末装置７０は、生成された撮影画像データ１１０を認知機能判定装置３０に送信する。認知機能判定装置３０は、端末装置７０から受信した撮影画像データ１１０を記憶部３２（図２）に記憶する。

【0106】

このようにして、認知機能判定装置３０（コントローラ３１等）は、各被検者（撮影対象者）の撮影画像データ１１０を取得する。

【0107】

なお、図１５（後述）は、学習モデル４１０の学習段階では表示されず、学習モデル４１０（学習済みモデル４２０）を利用した推論段階（後述、図７参照）で表示される。

【0108】

次に、認知機能判定装置３０のコントローラ３１は、当該撮影画像データ１１０に対する解析処理を実行し、表情スコアに関する情報１２０を抽出する。具体的には、まず、撮影画像データ１１０（合計６０秒間）に含まれる時系列の全てのフレーム画像に対して表情スコアの算出処理が施され、全フレーム画像に対して各表情スコアが算出される（図１６参照）。なお、図１６は、或る被検者に関する表情スコアの時間変化を示す図である。図１６においては、第１期間Ｌ１の開始時点（笑顔開始指示Ｐ１の付与時点）から撮影終了指示Ｑ３の付与時点までを含む期間における、表情スコアの時間変化等が示されている。

【0109】

（１）表情スコアに関する情報（以下、表情スコア情報とも称する）１２０は、たとえば、撮影画像データ１１０の特定期間にて取得された２以上の表情スコアの平均値および／または最大値の情報、を含む。

【0110】

詳細には、表情スコア情報１２０は、たとえば、撮影画像データ１１０の第１期間Ｌ１（図１６参照）にて取得された２以上の表情スコア（第１期間Ｌ１内の異なるタイミングで取得された複数の顔画像に関する複数の笑顔スコア等）の平均値および／または最大値の情報を含む。具体的には、表情スコア情報１２０は、３０フレーム／秒で第１期間Ｌ１の１５秒間に取得された４５０枚の顔画像に対する４５０個の笑顔スコアの平均値および／または最大値（４５０個の笑顔スコアのうちの最大の値）の情報を含む。

【0111】

ただし、これに限定されず、表情スコア情報１２０は、たとえば、撮影画像データ１１０の第２期間Ｌ２にて取得された２以上の表情スコア（第２期間Ｌ２内の異なるタイミングで取得された複数の顔画像に関する複数の笑顔スコア等）の平均値および／または最大値の情報を含んでもよい。

【0112】

また、表情スコア情報１２０は、たとえば、撮影画像データ１１０の第１期間Ｌ１と第２期間Ｌ２との双方（全指示期間とも称する）にて取得された２以上の表情スコアの平均値および／または最大値の情報を含んでもよい。換言すれば、表情スコア情報１２０は、全指示期間内の異なるタイミングで取得された複数の顔画像に関する複数の笑顔スコア等の平均値（および／または最大値）の情報を含んでもよい。具体的には、第１期間Ｌ１の１５秒間と第２期間Ｌ２の１５秒との合計３０秒の間に３０フレーム／秒で取得された９００枚の顔画像に対する９００個の笑顔スコアの平均値および／または最大値（９００個の笑顔スコアのうちの最大の値）の情報を含んでもよい。

【0113】

なお、第１期間Ｌ１と第２期間Ｌ２との双方（１回目の笑顔指示期間Ｌ１と２回目の指示期間Ｌ２との双方）を合わせた期間は、笑顔の表出が指示された全ての期間であることから、全指示期間（全指示区間あるいは全笑顔指示期間等）とも称される。また、撮影画像データ１１０の特定期間は、期間Ｌ１，Ｌ２に限定されず、実際に笑顔（所定スコア以上の笑顔等）が表出されている期間Ｍ１，Ｍ２（笑顔期間あるいは笑顔区間とも称する）（図１６参照）であってもよい。たとえば、表情スコア情報１２０は、撮影画像データ１１０の期間Ｍ１（および／またはＭ２）にて取得された２以上の表情スコアの平均値および／または最大値の情報を含んでもよい。

【0114】

認知機能が低下すると、特定表情（笑顔等）を意図的に表出（作出）することが難しくなる。たとえば、「良い」笑顔を作ること（大きな値の笑顔スコアの笑顔を表出すること）、および「良い」笑顔を表出し続けること等が難しくなる。したがって、たとえば、撮影画像データ１１０の特定期間における表情スコアの平均値および／または最大値は、認知機能の程度との間に相関を有する。

【0115】

また、認知機能の低下に伴い、２回続けて（第１期間Ｌ１と第２期間Ｌ２との双方（および期間Ｍ１と期間Ｍ２との双方）において）特定表情（笑顔等）を意図的に表出（作出）することも難しくなる。したがって、１回目の特定表情表出期間等（期間Ｌ１等）のみならず２回目の特定表情表出期間等（期間Ｌ２等）における表情スコアの平均値、最大値もが考慮されることが好ましい。

【0116】

（２）また、表情スコア情報１２０は、撮影画像データ１１０の特定期間にて取得された２以上の表情スコアの標準偏差の情報、を含んでもよい。

【0117】

詳細には、表情スコア情報１２０は、撮影画像データ１１０の第１期間Ｌ１および第１休止期間Ｒ１にて取得された２以上の表情スコアの標準偏差の情報を含んでもよい。具体的には、表情スコア情報１２０は、３０フレーム／秒で第１期間Ｌ１の１５秒間と第１休止期間Ｒ１の１５秒との合計３０秒において取得された９００枚の顔画像に対する９００個の笑顔スコアの標準偏差の情報を含んでもよい。

【0118】

また、表情スコア情報１２０は、撮影画像データ１１０の第２期間Ｌ２および第２休止期間Ｒ２にて取得された２以上の表情スコアの標準偏差の情報を含んでもよい。

【0119】

また、表情スコア情報１２０は、撮影画像データ１１０の第１期間Ｌ１、第１休止期間Ｒ１、第２期間Ｌ２および第２休止期間Ｒ２にて取得された２以上の表情スコアの標準偏差の情報を含んでもよい。具体的には、３０フレーム／秒で期間Ｌ１，Ｒ１，Ｌ２，Ｒ２の合計６０秒の間に取得された１８００枚の顔画像に対する１８００個の笑顔スコアの標準偏差の情報を含んでもよい。

【0120】

なお、第１期間Ｌ１と第１休止期間Ｒ１とを合わせた期間（Ｌ１＋Ｒ１）は、笑顔の表出の是非が指定された期間であることから、（１回目の）指定期間（指定区間）とも称される。同様に、第２期間Ｌ２と第２休止期間Ｒ２とを合わせた期間（Ｌ２＋Ｒ２）は、笑顔の表出の是非が指定された期間であることから、（２回目の）指定期間（指定区間）とも称される。また、第１期間Ｌ１と第１休止期間Ｒ１と第２期間Ｌ２と第２休止期間Ｒ２とを合わせた期間は、笑顔の表出の是非が指定された全ての期間であることから、全指定期間（全指定区間）とも称される。

【0121】

上述のように、認知機能が低下すると、特定表情（笑顔等）を意図的に表出（作出）することが難しくなる。たとえば、撮影画像データ１１０の特定期間（特定表情の表出期間と当該特定表情の停止期間との双方を含む指定期間）における表情スコアの標準偏差も、認知機能の程度との間に相関を有する。ここにおいて、第１期間Ｌ１と第１休止期間Ｒ１との合計期間（１回目の指定期間）における表情スコアの標準偏差は、第１期間Ｌ１（笑顔の表出期間）における表情スコアと第１休止期間Ｒ１（笑顔の停止期間）における表情スコアとの差異を表す指標とも言える。当該標準偏差は、認知機能の程度との間に相関を有する。

【0122】

また、認知機能の低下に伴い、２回続けて（第１期間Ｌ１と第２期間Ｌ２との双方において）特定表情（笑顔等）を意図的に表出（作出）することも難しくなる。したがって、１回目の指定期間（期間Ｌ１，Ｒ１の合計期間等）のみならず２回目の指定期間（期間Ｌ２，Ｒ２の合計期間等）における表情スコアの標準偏差もが考慮されることが好ましい。

【0123】

（３）また、表情スコア情報１２０は、撮影画像データ１１０における特定表情（笑顔等）の持続時間の情報を含んでもよい。

【0124】

当該持続時間は、たとえば、特定表情の表出指示に応じて実際に所定スコアＴｈ１（図１６参照）以上の表情スコアが持続した持続時間として算出される。

【0125】

詳細には、撮影画像データ１１０の第１期間Ｌ１にて実際に所定スコアＴｈ１（たとえば、「３５」）以上の表情スコア（笑顔スコア）が持続した時間（たとえば、１４秒）が、第１期間Ｌ１に関する特定表情（笑顔）の持続時間として算出される。第１期間Ｌ１に関する特定表情（笑顔）の持続時間は、１回目の笑顔期間Ｍ１（図１６参照）の期間長であるとも表現される。同様に、撮影画像データ１１０の第２期間Ｌ２にて実際に所定スコア（たとえば、「３５」）以上の表情スコア（笑顔スコア）が持続した時間（たとえば、９秒）が、第２期間Ｌ２に関する特定表情（笑顔）の持続時間として算出されてもよい。当該持続時間は、２回目の笑顔期間Ｍ２の期間長であるとも表現される。また、笑顔期間Ｍ１，Ｍ２は、それぞれ、笑顔（特定表情）が持続している期間（笑顔持続期間（特定表情持続期間）であるとも表現される。

【0126】

上述のように、認知機能が低下すると、特定表情（笑顔等）を意図的に作出することが難しくなる。たとえば、１５秒間の期間Ｌ１に亘って笑い続けることが難しくなり、１５秒間の期間Ｌ１等の途中で力尽きて笑顔が消えてしまうことがある。したがって、笑顔の持続時間は、認知機能の程度（低下程度）との間に相関を有する。また、１回目の特定表情持続時間（笑顔持続時間等）のみならず、２回目の特定表情持続時間もが考慮されることが好ましい。

【0127】

（４）また、表情スコア情報１２０は、特定表情の表出開始が指示された時点から表情スコアが極大値に到達する時点までの時間長さＢ（立ち上がりに要する期間長）の情報を含んでもよい。

【0128】

詳細には、撮影画像データ１１０の第１期間Ｌ１にて、笑顔開始指示Ｐ１の時点から表情スコア（笑顔スコア等）が極大値（たとえば「６２」）に到達する時点までの時間Ｂ１（たとえば、２．５秒）（図１６参照）の情報を含んでもよい。同様に、撮影画像データ１１０の第２期間Ｌ２にて、笑顔開始指示Ｐ２の時点から表情スコア（笑顔スコア等）が極大値（たとえば「６０」）に到達する時点までの時間Ｂ２（たとえば、３秒）の情報を含んでもよい。

【0129】

上述のように、認知機能が低下すると、特定表情（笑顔等）を意図的に表出（作出）することが難しくなる。特に、特定表情を俊敏に表出することが難しくなり、表情の表出までに比較的長い時間を要するようになる。それ故、特定表情の表出に関する立ち上がり時間は、認知機能の程度との間に相関を有する。また、１回目の特定表情への立ち上がり時間のみならず、２回目の特定表情への立ち上がり時間もが考慮されることが好ましい。

【0130】

ここにおいて、表情スコア情報１２０は、上述の各種の指標（表情スコアの平均値、最大値、標準偏差、持続時間、立ち上がり時間等）のうちの複数の指標を含むことが好ましい。換言すれば、学習モデル４１０の学習には、所定の医学的認知機能評価尺度との間に相関を有する複数の指標（入力パラメータ）が使用されることが好ましい。

【0131】

また、表情スコア情報１２０は、１枚の静止画像に基づく単独の表情スコア（笑顔スコア）のみでは必ずしも十分ではなく、一定程度の長さを有する期間内での複数のタイミングで取得される複数の表情スコアに関する情報を含むことが好ましい。また、表情スコアの取得対象期間（Ｌ１，Ｌ２等）の各期間長は、一定程度以上長いことが好ましい。具体的には、当該各期間長は、たとえば１秒程度以下では必ずしも十分ではなく、認知症の人（あるいは認知機能が低下しつつある人）が笑顔を継続することが困難になる程度の長さ（たとえば、１０秒程度以上）であることが好ましい。

【0132】

以上のようにして一の被検者に関する表情スコア情報１２０が取得される。当該表情スコア情報１２０の取得処理は、複数の被検者のそれぞれに対して実行される。これにより、複数の被検者のそれぞれに関する表情スコア情報１２０が取得される（ステップＳ１１）。なお、各被検者の撮影画像データ１１０は、当該各被検者の端末装置７０によって取得されればよい。ただし、これに限定されず、たとえば、ＭＭＳＥの実施場所（病院等）に設置された端末装置７０（医師が所持する端末装置７０等）を利用して、各被検者の撮影画像データ１１０が取得されてもよい。

【0133】

次のステップＳ１２においては、複数の被検者のそれぞれの所定の医学的認知機能評価尺度（ここではＭＭＳＥ）の取得処理が実行される。ここでは、当該複数の被検者のそれぞれに対して医師の問診等を含む所定の医学的検査が予め実施されており、当該所定の医学的検査に応じた所定の医学的認知機能評価尺度が得られているものとする。そして、当該複数の被検者のそれぞれに対する所定の医学的認知機能評価尺度（ＭＭＳＥの検査値）が記憶部３２に予め格納（登録）されているものとする。各被検者の医学的認知機能評価尺度は、所定のデータ形式を有するデータとして、医師等の端末装置７０から認知機能判定装置３０に送信され認知機能判定装置３０内の記憶部３２に（自動的に）登録されればよい。あるいは、各被検者の医学的認知機能評価尺度は、医師等から電子メール等によって或るオペレータ宛に送付され、当該オペレータによって記憶部３２に（手動で）登録されてもよい。

【0134】

このステップＳ１２においては、記憶部３２に予め登録されている複数の被検者の医学的認知機能評価尺度がコントローラ３１によって取得される。

【0135】

次のステップＳ１３においては、コントローラ３１は、複数の被検者のそれぞれの表情スコアに関する情報１２０と当該複数の被検者のそれぞれの認知機能の評価結果を示す所定の医学的認知機能評価尺度との関係を学習（機械学習）する。

【0136】

具体的には、複数の被検者のそれぞれの表情スコア情報１２０を入力とし、当該複数の被検者のそれぞれの認知度合スコアＤ（所定の医学的認知機能評価尺度（ＭＭＳＥ等）に相当する値）を出力とする学習モデル４１０に関する機械学習が行われる。詳細には、学習モデル４１０において、各被検者に関する出力（認知度合スコアＤ）と各被検者の実際のＭＭＳＥのスコア（実際にＭＭＳＥを実施して得られた検査値）（正解値）との誤差を小さくするように機械学習が行われる。なお、ここでは、各被検者にはＩＤ（識別子）が割り当てられており、割り当てられているＩＤによって各被検者が識別されるものとする。同じＩＤの人物に関する表情スコア情報１２０とＭＭＳＥ検査値との組合せが１つの教師データ（ラベル付きデータ）として利用される。

【0137】

このようにして、複数の被検者のそれぞれの表情スコアに関する情報１２０と当該複数の被検者のそれぞれの所定の医学的認知機能評価尺度との関係が機械学習されることによって、学習済みの学習モデル４１０（学習済みモデル４２０）が生成される（ステップＳ１４）。

【0138】

これによれば、次述するように、学習済みモデル４２０を利用して、判定対象人物（複数の被検者とは異なる人物等）の表情スコアに関する情報１２０に基づき、人物の所定の医学的認知機能評価尺度に相当する値を推定することが可能である。ひいては、認知機能の判定対象の人物に関して実際には医学的検査を行うことなく、当該医学的検査に基づく医学的認知機能評価尺度と同等の値を得ることが可能である。

【0139】

＜５．推論段階の処理＞
つぎに、学習済みモデル４２０を利用した推論段階の処理（ＭＭＳＥ検査値の推定段階）について説明する。

【0140】

図７は、推論段階の処理を示すフローチャートである。図７に示される処理は、コントローラ３１等によって実行される。

【0141】

図７は、当該推論段階の処理を示すフローチャートである。図７に示される処理は、コントローラ３１等によって実行される。当該推論段階の処理によって、判定対象人物に関する表情スコア情報１２０に基づき、当該判定対象人物に関するＭＭＳＥ検査値（詳細には、ＭＭＳＥ検査値に相当する値（具体的には、認知度合スコアＤ））が推定される。すなわち、所定の医学的認知機能評価尺度に相当する値が推定される。

【0142】

なお、判定対象人物は、たとえば、学習段階でそのデータが利用された被検者以外の人物である。ただし、これに限定されず、学習段階で所定の医学的検査のデータが利用された人物（被検者）であっても当該所定の医学的検査から一定程度時間が経過した時点での認知機能の程度が不明な人物が、判定対象人物であってもよい。当該人物に関して、当該時点での所定の医学的認知機能評価尺度を推定する用途で、学習済みモデル４２０に基づく推論処理が利用されてもよい。

【0143】

まず、ステップＳ３１において、判定対象人物の表情スコア情報１２０が取得される。ステップＳ３１においては、当該判定対象人物に関して、ステップＳ１１の処理と同様の処理が行われる（図８～図１４も参照）。具体的には、判定対象人物の端末装置７０によって当該判定対象人物（撮影対象者）に関する撮影画像データ１１０が撮影され、当該撮影画像データ１１０に基づき当該判定対象人物に関する表情スコア情報１２０が取得される。表情スコア情報１２０としては、ステップＳ１１で取得された指標と同じ種類の指標（複数の指標）が取得される。

【0144】

次のステップＳ３２において、判定対象人物に関する表情スコア情報１２０（学習段階と同じ種類の指標の値）が学習済みモデル４２０に入力されると、学習済みモデル４２０からの出力、すなわち学習済みモデル４２０による推定結果が得られる。具体的には、認知度合スコアＤ（ＭＭＳＥ相当値とも称する）が、学習済みモデル４２０による推定結果として出力される。

【0145】

ステップＳ３３においては、推論結果が表示される。たとえば、図１４の画面２１７の後に、図１５の画面２１０（２１８）が表示される。画面２１８においては、たとえば、「あなたの認知度合スコア（ＭＭＳＥ相当スコア）は、２９です。」などのように、ＭＭＳＥ相当値（認知度合スコアＤ）が表示される。また、コントローラ３１は、当該出力結果に係る認知度合スコアＤを当該判定対象人物の情報として記憶部３２に記憶する。

【0146】

＜６．実験例（学習結果の一例）＞
次に、少数サンプル（２０名のサンプルデータ）に基づく学習モデル４１０の学習結果の一例、および当該学習後の学習モデル４１０（学習済みモデル４２０）の評価について説明する。

【0147】

ただし、ここでは、非常に少数の教師データ（合計で２０名のデータ）に基づき、統計的手法（重回帰解析）を用いて、目的変数と複数の説明変数との関係（学習モデル４１０の一種とも表現される）を求めている。統計的手法（重回帰解析）を用いて複数の説明変数（表情スコア情報１２０内の複数の変数）と目的変数（ＭＭＳＥ相当値）との関係を求めることは、学習済みモデル４２０を求めることと実質的に等価である。また、ここでは、当該統計的手法によって得られた目的変数（出力）と複数の説明変数（入力）との関係に基づき新たな入力に対する出力値が求められ、当該出力値が学習済みモデル４２０による推定結果として求められる。

【0148】

具体的には、複数の説明変数として、表情スコア情報１２０内の複数の指標（変数）のうち、図１９の下側に示す５つの指標（変数）を用いている。詳細には、
・第１期間Ｌ１に関する特定表情の持続時間（「１回目の笑顔持続時間（特定表情持続時間）」とも称する）の情報と、
・第１期間Ｌ１に取得された２以上の表情スコア（ここでは笑顔スコア）の平均値（「１回目の指示期間Ｌ１における平均値」とも称する）の情報と、
・第２期間Ｌ２に取得された２以上の表情スコアの平均値（「２回目の指示期間Ｌ２における平均値」とも称する）の情報と、
・第１期間Ｌ１と第１休止期間Ｒ１とに取得された２以上の表情スコアの標準偏差（「１回目の指定期間（指示期間Ｌ１および停止期間Ｒ１）に関する標準偏差」とも称する）の情報と、
・第１期間Ｌ１と第１休止期間Ｒ１と第２期間Ｌ２と第２休止期間Ｒ２とに取得された２以上の表情スコアの標準偏差（「全指定期間に関する標準偏差」とも称する）の情報と、
が採用される。各情報は、０～１０の値として正規化されて利用される。たとえば、各期間の表情スコアの平均値「０」～「１００」が、「０」～「１０」に対応するように正規化される。また、各期間の表情スコアの持続時間（笑顔持続時間）の値「０」～「１５」（秒）が「０」～「１０」に対応するように正規化される。

【0149】

なお、ここでは、第１期間Ｌ１に関する特定表情の持続時間として、表情スコアの経時変化曲線Ｗ０（図２０）の２次微分曲線Ｗ２等に基づき算出された持続時間（後述）が用いられている。ただし、これに限定されず、第１期間Ｌ１のうち、所定値以上の大きさを有する２以上の表情スコアが持続的に取得される持続時間等が、第１期間Ｌ１に関する特定表情の持続時間として用いられてもよい。また、ここでは、上記の５つの指標を用いる場合を例示するが、これに限定されない。たとえば、上記の５つの指標のうち、「１回目の笑顔持続時間（特定表情持続時間）」と「１回目の指定期間（指示期間Ｌ１および停止期間Ｒ１）に関する標準偏差」とに代えて、
・第２期間Ｌ２に関する特定表情の持続時間（「２回目の笑顔持続時間（特定表情持続時間）」とも称する）の情報と、
・第２期間Ｌ２と第２休止期間Ｒ２とに取得された２以上の表情スコアの標準偏差（「２回目の指定期間（指示期間Ｌ２および停止期間Ｒ２）に関する標準偏差」とも称する）の情報と、
が（残りの３つの指標とともに）用いられてもよい。第２期間Ｌ２に関する特定表情の持続時間は、２次微分曲線Ｗ２等に基づき算出された持続時間（後述）であってもよく、第２期間Ｌ２のうち、所定値以上の大きさを有する２以上の表情スコアが持続的に取得される持続時間等であってもよい。

【0150】

また目的変数として、ＭＭＳＥ検査値が採用されている。ＭＭＳＥ検査値は、ＭＭＳＥ検査値「１９」を「０」としＭＭＳＥ検査値の最大値「３０」を「１０」とするようにスケール変換（アフィン変換）されている。ここでは、１９点未満の人物が存在しないことに基づき、１９点を０とするようにスケール変換している。なお、上述したように、ＭＭＳＥ検査値は３０点を満点としており、ＭＭＳＥ検査値（点数）が低くなるにつれて認知機能が低下していることを示している。

【0151】

このような重回帰解析の結果として得られる関数（多変数関数）に対して、判定対象人物に関する各変数の値を入力して得られる出力値Ｅが得られる。当該出力値Ｅは、学習済みモデル４２０の出力値Ｅと等価である。そして、当該出力値Ｅを逆スケール変換（スケールを元に戻すように変換）した値が、認知度合スコアＤとして求められる。具体的には、Ｄ＝Ｅ×（３０－１９）／１０＋１９、の式に基づいて、認知度合スコアＤが算出される。当該認知度合スコアＤは、ＭＭＳＥ検査値と同じスケールで表現された値として算出される。

【0152】

なお、これに限定されず、当該認知度合スコアＤは、所定の医学的認知機能評価尺度に対する一定のスケール変換がなされた状態の値で（たとえば値Ｅのまま）出力されてもよい。当該スケール変換がなされた値であっても、所定の医学的認知機能評価尺度と高い相関を有し、所定のスケール変換（逆スケール変換）によって所定の医学的認知機能評価尺度へと容易に換算することが可能である。このように、所定の医学的認知機能評価尺度に相当する値は、スケール変換がなされた値であってもよい。

【0153】

さて、ここでは、２０名の被検者に関して、実際にＭＭＳＥが実行され当該ＭＭＳＥの検査結果が予め取得されている。また、当該２０名の被検者に関して、表情スコア情報１２０も取得されている。

【0154】

学習モデル４１０に基づく学習結果を評価するため、ここでは、当該２０名の被検者Ｕ１～Ｕ２０を１０名ずつの２つのグループ（第１グループおよび第２グループ）に分ける。

【0155】

そして、図１７の上段に示されるように、第１グループの１０名の被検者Ｕ１～Ｕ１０に関するデータ（教師データ）に基づき学習モデル４１０が学習され、第１の学習済みモデル４２０（重回帰分析結果）が得られる。次に、第２グループの１０名（Ｕ１１～Ｕ２０）をそれぞれ判定対象人物とし、当該第１の学習済みモデル４２０を利用して、当該判定対象人物の表情スコア情報１２０に基づき当該判定対象人物の認知度合スコアＤ（ＭＭＳＥ相当値）が推定される。図１８においては、人物Ｕ１１～Ｕ２０に関して第１の学習済みモデル４２０を用いて推定されたＭＭＳＥ相当値（認知度合スコアＤ）と当該人物Ｕ１１～Ｕ２０に関する実際のＭＭＳＥの検査値との対応関係を示す複数の点（黒丸で示す）がプロットされている。

【0156】

また、図１７の下段に示されるような処理（ただし今度はグループを入れ替えた処理）も実行される。具体的には、第２グループの１０名の被検者Ｕ１１～Ｕ２０に関するデータ（教師データ）に基づき学習モデル４１０が学習され、第２の学習済みモデル４２０（重回帰分析結果）が得られる。次に、第１グループの１０名（Ｕ１～Ｕ１０）をそれぞれ判定対象人物とし、当該第２の学習済みモデル４２０を利用して、当該判定対象人物の表情スコア情報１２０に基づき当該判定対象人物の認知度合スコアＤ（ＭＭＳＥ相当値）が推定される。図１８においては、人物Ｕ１～Ｕ１０に関して第２の学習済みモデル４２０を用いて推定されたＭＭＳＥ相当値（認知度合スコアＤ）と当該人物Ｕ１～Ｕ１０に関する実際のＭＭＳＥの検査値との対応関係を示す複数の点（黒四角で示す）がプロットされている。

【0157】

図１８のグラフは、実際のＭＭＳＥの検査値と、学習済みモデル４２０を利用して推定されたＭＭＳＥ相当値（認知度合スコアＤ）との関係を示す図である。図１８のグラフの横軸は実際のＭＭＳＥの検査値を示しており、図１８のグラフの縦軸は、学習済みモデル４２０を利用して推定されたＭＭＳＥ相当値（認知度合スコアＤ）を示している。図１８においては、第１の学習済みモデル４２０に基づく推定結果（認知度合スコアＤ）と実際のＭＭＳＥとの関係を示すデータが黒丸で示されている。一方、第２の学習済みモデル４２０に基づく推定結果（認知度合スコアＤ）と実際のＭＭＳＥとの関係を示すデータは黒四角で示されている。

【0158】

黒丸で示される１０個のデータ（図では一部重複している）と黒四角で示される１０個のデータ（図では一部重複している）との合計２０個のデータを用いて相関係数ｒを算出すると、相関係数ｒとして「０．７２」が得られた。相関係数（相関値とも称される）ｒは、第１あるいは第２の学習済みモデル４２０を用いて推定されたＭＭＳＥ相当値（認知度合スコアＤ）と実際のＭＭＳＥの検査値との両者の相関の程度を示す値である。当該相関係数ｒは、次の式（１）に基づいて算出される。

【0159】

【数1】

【0160】

ここで、添え字（ｉあるいはｊ）付きのｘは、各人物の実際のＭＭＳＥの検査値（診断結果）であり、上側バー付きのｘは、実際のＭＭＳＥの検査値（診断結果）に関する（１０名の）平均値である。また、添え字（ｉあるいはｋ）付きのｙは、各人物の認知度合スコアＤであり、上側バー付きのｙは、認知度合スコアＤに関する（１０名の）平均値である。また、ｎは、データ数である。

【0161】

２つの変数間の相関係数ｒの絶対値が大きいほど（１に近いほど）、２つの変数間の相関が強い。一般に、２つの変数間の相関係数が０．４より大きい場合、２つの変数間に或る程度相関が存在する（やや強い相関がある）とみなせる。また、当該相関係数が０．７より大きい場合、２つの変数間に高い相関（強い相関）が存在するとみなせる。ここにおいて、認知度合スコアＤとＭＭＳＥ検査値との２つの変数間の相関係数ｒの値「０．７２」は、０．７より大きな値である。すなわち、当該２つの変数（認知度合スコアＤおよびＭＭＳＥ検査値）が高い相関（強い相関）を有することが示されている。

【0162】

このように、認知度合スコアＤは、ＭＭＳＥ検査値（医学的検査に基づく医学的認知機能評価尺度）との間に一定程度以上の高い相関を有する値である。したがって、認知度合スコアＤは、（ＭＭＳＥ検査値と同一の値であるとまでは言えないものの、）ＭＭＳＥ検査値と同等の値であると評価できる値である。換言すれば、上述のような５つの入力パラメータと１つの出力パラメータとを使用した機械学習（回帰）によれば、ＭＭＳＥ検査値と同等の値を出力可能な学習済みモデル４２０を良好に生成（製造）することが可能である。また、当該学習済みモデル４２０を利用することによって、所定の医学的認知機能評価尺度と同等の値を高い精度で得ることが可能である。

【0163】

なお、ここでは、非常に少数のデータ（２０個）に基づき、統計的手法（重回帰解析）を用いて、複数の説明変数（表情スコア情報１２０内の複数の変数）と目的変数（ＭＭＳＥ相当値）との関係を求めている。上述のように、当該関係を求めることは、学習済みモデル４２０を求めることと実質的に等価である。また、より多数のデータ（教師データ）を用いて学習モデル４１０を学習して学習済みモデル４２０を得ることによれば、当該学習済みモデル４２０による出力結果（認知度合スコアＤ）とＭＭＳＥの検査値との間には更に高い相関が得られることが期待できる。

【0164】

また、図１９は、複数（ここでは１３個）の変数（複数の入力パラメータ）のそれぞれとＭＭＳＥ検査値との間の相関係数ｒ（ｒ’とも称する）を示す図である。当該１３個の変数は、（それぞれ１回目および２回目の）各笑顔期間（Ｍ１，Ｍ２）の平均値、各笑顔期間（Ｍ１，Ｍ２）の最大値、各指示期間（Ｌ１，Ｌ２）の平均値、各指定期間（（Ｌ１＋Ｒ１），（Ｌ２＋Ｒ２））の標準偏差、および各笑顔持続時間（Ｍ１期間長、Ｍ２期間長）の合計１０個の変数を含む。また、当該１３個の変数は、全指示期間（Ｌ１＋Ｌ２）の最大値、全指示期間（Ｌ１＋Ｌ２）の平均値、および全指定期間（Ｌ１＋Ｒ１＋Ｌ２＋Ｒ２）の標準偏差の合計３個の変数をも含む。

【0165】

相関係数ｒ’は、上述の式（１）の右辺における添え字（ｉあるいはｋ）付きのｙとして、各人物の認知度合スコアＤに代えて、各人物の或る変数（入力パラメータ）の値が用いられることによって算出される。たとえば、上述の式（１）の右辺における添え字（ｉあるいはｋ）付きのｙとして、１０名の人物のそれぞれの１回目の笑顔持続時間が用いられると、変数「１回目の笑顔持続時間」とＭＭＳＥ検査値との間の相関係数ｒ’が算出される。なお、相関係数ｒ’の絶対値が大きいほど（１に近いほど）相関が強い。また、２つの変数に関する相関係数ｒ’の値が正の場合には２つの変数の相互間に正の相関が存在し、逆に当該相関係数ｒ’の値が負の場合には２つの変数の相互間に負の相関が存在する。

【0166】

たとえば、１回目の笑顔持続時間とＭＭＳＥ検査値との間の相関係数は、０．７４であることが示されている（図１９の表の右上欄）。同様に、１回目の指示期間Ｌ１における平均値とＭＭＳＥ検査値との間の相関係数は０．４９であり、２回目の指示期間Ｌ２における平均値とＭＭＳＥ検査値との間の相関係数は、０．４８であることが示されている。また、全指定期間に関する標準偏差とＭＭＳＥ検査値との間の相関係数は、０．６７であることが示されている。図１９の表におけるその他の各値は、その他の各指標（パラメータ）とＭＭＳＥ検査値との間の相関係数を示している。

【0167】

この実験例では、このような各変数とＭＭＳＥ検査値との相関係数等を考慮し、学習モデル４１０等において多数の種類の変数（パラメータ）のうち上述の５つの変数（入力パラメータ）（図１９上段の黒太枠欄参照）を使用している。なお、これに限定されず、他の変数（入力パラメータ）、たとえば、全指示期間（Ｌ１＋Ｌ２）における表情スコアの最大値等が使用されてもよい。また、図１９の上段に記載された１３個の変数のうちのいずれか１つ以上（単一の変数もしくは複数の変数の組合せ）が、表情スコアに関する情報として使用されてもよい。

【0168】

＜７．実施形態の効果＞
上記実施形態によれば、複数の被検者のそれぞれの表情スコアに関する情報１２０と当該複数の被検者のそれぞれの所定の医学的認知機能評価尺度との関係を機械学習して学習モデル４１０（学習済みモデル４２０）が生成される。

【0169】

そして、学習モデル４１０（詳細には学習済みモデル４２０）を利用して、判定対象人物の表情スコアに関する情報１２０に基づき、当該判定対象人物の所定の医学的認知機能評価尺度（ここではＭＭＳＥ）に相当する値（認知度合スコアＤ）が推定される。当該認知度合スコアＤは、ＭＭＳＥ検査値を使用して学習された学習済みモデル４２０からの出力に基づく値であり、ＭＭＳＥ検査値と高い相関を有する値である。それ故、認知度合スコアＤは、ＭＭＳＥ検査値と同等の値であると評価できる。

【0170】

したがって、認知機能の判定対象の人物に関して実際には医学的検査を行うことなく、当該医学的検査に基づく所定の医学的認知機能評価尺度と同等の値を得ることが可能である。医師による問診等を伴う医学的検査を行うことを要しないので、所定の医学的認知機能評価尺度と同等の値を比較的簡易に得ることが可能である。

【0171】

また、所定の医学的認知機能評価尺度と同等の値を得るための実質的な検査時間は、判定対象人物に関する比較的短時間の撮影画像を撮影するための比較的短い時間（１分～２分程度）である。すなわち、実質的な検査時間は、医学的検査に要する時間（たとえば３０分）に比べて短時間で済む。

【0172】

さらに、判定対象人物を撮影した撮影画像データ１１０が端末装置７０によって生成され、当該撮影画像データ１１０が端末装置７０から認知機能判定装置３０にネットワークを介して送信される。そして、認知機能判定装置３０によって認知機能の程度が判定される。詳細には、所定の医学的認知機能評価尺度と同等の値（ＭＭＳＥ相当値）が推定される。したがって、判定対象人物は、自宅等に居たまま（病院等に出向くことを要さずに）、所定の医学的認知機能評価尺度と同等の値（ＭＭＳＥ相当値）を知得することが可能である。

【0173】

また、上記実施形態においては、認知機能判定装置３０が撮影対象者に対して特定表情の表出指示を付与し、当該撮影対象者が当該表出指示に応じて特定表情を表出している。特に、認知機能が低下すると特定表情（笑顔等）を意図的に表出（作出）することが難しくなるとの特性等を考慮して、当該表出指示に応じて表出された特定表情に関するスコアが特定表情の表情スコアとして利用されている。このようなスコアを使用して学習モデル４１０が構築されることによれば、ＭＭＳＥ検査値との間に高い相関を有する認知度合スコアＤを得ることが可能である。

【0174】

また、上記実施形態においては、学習段階および推論段階の双方において、特定表情の表出指示に際して画面２１０（図１０等参照）内に特定表情（笑顔等）の基準顔画像が表示されている。したがって、撮影対象者は、自らが表出すべき表情（どのような表情を表出すればよいか）を容易に理解することが可能である。

【0175】

＜８．変形例等＞
以上、この発明の実施の形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。

【0176】

＜８－１．特定表情の持続時間および立ち上がり時間等＞
たとえば、上記実施形態等においては、特定表情の持続時間（笑顔持続時間等）として、所定スコアＴｈ１（図１６参照）以上の表情スコアが持続した持続時間が例示されているが、これに限定されない。

【0177】

具体的には、撮影画像データ１１０から抽出された表情スコアの経時変化曲線Ｗ０の２次微分曲線Ｗ２（図２０参照）の極大点等に基づいて、当該持続時間（の長さ）等が判断されてもよい。

【0178】

なお、図２０の最上段には、１回目の指示期間Ｌ１に関する表情スコア（笑顔スコア等）の経時変化曲線Ｗ０が示されており、中段には、表情スコアの経時変化曲線Ｗ０の１次微分曲線Ｗ１が示されており、最下段には、表情スコアの経時変化曲線Ｗ０の２次微分曲線Ｗ２が示されている。経時変化曲線Ｗ０は、撮影画像データ１１０から抽出された連続的な時系列の複数の表情スコア（ノイズ除去後の複数の表情スコア）をつないで（連結して）形成される曲線である。経時変化曲線Ｗ０は、連続する複数の表情スコアの連結線を（平滑化フィルタ等によって）平滑化して求められる。以下では、１回目の指示期間Ｌ１に関する表情スコアについて主に例示するが、２回目の指示期間Ｌ２に関する表情スコア等についても同様である。

【0179】

詳細には、図２０に示されるように、時点Ｃ１が特定表情の継続期間（持続期間）の始期（開始時点）であると判断される。時点Ｃ１は、２次微分曲線Ｗ２が特定表情（たとえば笑顔）の表出開始指示Ｐ１の付与時点付近にて所定値ＴＨ１１以上の極大値に到達した時点である。また、時点Ｃ９が特定表情の継続期間の終期（終了時点）であると判断される。時点Ｃ９は、時点Ｃ１よりも後に２次微分曲線Ｗ２が所定値ＴＨ１１以上の極大値に再び到達した時点である。そして、時点Ｃ１から時点Ｃ９までの期間（およびその長さ）が、特定表情（笑顔等）の持続期間（およびその持続期間）として算出される。

【0180】

２次微分曲線Ｗ２は、時点Ｃ１で閾値ＴＨ１１以上の極大値に到達した直後に、今度は閾値ＴＨ１２以下の極小値に到達する（時点Ｃ３）。その後、特定表情が安定して表出される期間（安定表出期間）においては、２次微分曲線Ｗ２の極値（極小値および極大値）は、閾値ＴＨ１２より大きく且つ閾値ＴＨ１１より小さい値である。２つの時点Ｃ３，Ｃ７（次述）の間においては所定値未満の大きさ（絶対値）の極大値および極小値を有する。そして、（表出終了指示Ｑ１に応じて或いは表出終了指示Ｑ１前に）特定表情（笑顔）が終了する際には、２次微分曲線Ｗ２が、閾値ＴＨ１２よりも小さな極小値に到達し（時点Ｃ７）、その直後に今度は閾値ＴＨ１１よりも大きな極大値に到達する（時点Ｃ９）。２次微分曲線Ｗ２のこのような変動を考慮して、上述のように、時点Ｃ１から時点Ｃ９までの期間長が特定表情（笑顔等）の持続期間であるとみなされてもよい。

【0181】

このような態様によれば、２次微分曲線Ｗ２の値が所定範囲内（閾値ＴＨ１１と閾値ＴＨ１２との間）に収まっている期間等が、特定表情の安定持続期間（特定表情が安定的に持続している期間）である、と判定される。また、当該安定持続期間の直前の極大値に対応する時点Ｃ１が特定表情の持続期間の開始時点であり且つ当該安定持続期間の直後の極大値に対応する時点Ｃ９が特定表情の持続期間の終了時点である、と判定される。したがって、特定表情の持続期間を、各人物の表情スコアの大きさ自体等に依らずに（各人物の表情スコアと閾値Ｔｈ１との大小関係等に依らずに）検出することが可能である。

【0182】

また、上記実施形態等においては、特定表情の立ち上がり時間として、表出開始が指示された時点から表情スコアが極大値に到達する時点までの時間長さ（期間長）が例示されているが、これに限定されない。

【0183】

詳細には、図２０に示されるように、時点Ｃ１から時点Ｃ３までの期間の長さが、特定表情（笑顔等）の立ち上がり時間として算出される。ここで、時点Ｃ３は、時点Ｃ１よりも後に２次微分曲線Ｗ２が最初に極小値（特に所定値ＴＨ１２以下の極小値）に到達した時点である。

【0184】

このようにして、特定表情の立ち上がり時間が求められてもよい。

【0185】

また、本来的には、特定表情の表出は、（表出開始指示Ｐ１に応じて）表出開始指示Ｐ１よりも後に開始される。図２０に示されるように、本来的には、表出開始指示Ｐ１は時点Ｃ１よりも前の時点である。しかしながら、特定表情の表出が表出開始指示Ｐ１よりも若干早く開始されることがある。たとえば、撮影対象者（被検者等）が開始タイミングを予期（察知）して、本来の開始時点よりも若干早めに特定表情を開始しようとすることもある。このような場合、図２０の括弧内のＰ１（Ｐ１’とも表記する）に示されるように、表出開始指示Ｐ１の時間軸上の位置が時点Ｃ１よりも後（右側）になることがある。

【0186】

このような状況をも考慮する場合には、表出開始指示Ｐ１（Ｐ１’）よりも前の時点（Ｃ１）が、「特定表情の持続時間」および「特定表情の立ち上がり時間」の開始時点であると判定されてもよい。具体的には、表出開始指示Ｐ１’の付与時点の近傍期間（表出開始指示Ｐ１’の数秒前から表出開始指示Ｐ１’の数秒後までの期間）内にて、２次微分曲線Ｗ２が所定値以上の極大値に到達した時点が、時点Ｃ１であると判定されてもよい。なお、このようにして算出された「特定表情の持続時間」等が理論上の最大値（第１期間Ｌ１の値（１５秒）等）を超える場合、当該最大値を超える値は当該最大値に変更されてもよい。すなわち「特定表情の持続時間」等に上限が設けられてもよい。たとえば、特定表情の持続時間が「１８秒」であると算出される場合には、「１８秒」が「１５秒」に変更されればよい。

【0187】

＜８－２．その他＞
また、上記実施形態等においては、認知機能判定装置３０が学習処理と推論処理との双方を実行しているが、これに限定されず、学習処理と推論処理とが別々の装置（３０Ａ，３０Ｂ）によって実現されてもよい。この場合、推論処理を実行する装置３０Ｂは、たとえば、学習処理を実行した装置３０Ａによって生成された学習済みモデル４２０に関する情報（学習済みの学習パラメータ等）を当該装置３０Ａから取得し、当該学習済みモデル４２０を利用すればよい。

【0188】

また、上記実施形態等においては、所定の医学的認知機能評価尺度として、ＭＭＳＥ（Mini-Mental State Examination：ミニメンタルステート検査）が例示されているが、これに限定されない。所定の医学的認知機能評価尺度としては、ＵＰＤＲＳ（Unified Prkinson's Disease Rating Scale：統一パーキンソン病評価尺度）等に関する他の評価尺度が利用されてもよい。たとえば、ＵＰＤＲＳのうちの認知機能に関する評価値（評価尺度）が用いられ得る。具体的には、ＵＰＤＲＳのうち認知機能の程度を示す、０点～４点の５段階の評価値（点数が高くなるにつれて認知機能が低下していることを示している）が、所定の医学的認知機能評価尺度として用いられてもよい。

【0189】

また、上記実施形態等においては、端末装置７０からの表示出力と音声出力との双方を用いて、笑顔等の表出指示および休止指示が付与されているが、これに限定されない。たとえば、端末装置７０からの表示出力と音声出力とのいずれか一方のみを用いて、笑顔等の表出指示および休止指示が付与されてもよい。

【0190】

また、上記実施形態等においては、端末装置７０によって被検者等が撮影されているが、これに限定されない。たとえば、認知機能判定装置３０が被検者等を撮影して撮影画像データ１１０を生成してもよい。この場合等において、画面２１０（撮影画像の表示領域２２１、および基準顔画像の表示領域２２３等を含む）は、認知機能判定装置３０の表示部３５ｂに表示されてもよい。換言すれば、笑顔指示の表出指示、撮影画像および基準顔画像等は、認知機能判定装置３０の表示部３５ｂに表示されてもよい。同様に、認知機能判定装置３０の音声出力部（不図示）から音声（笑顔指示の表出指示等）が出力されてもよい。

【符号の説明】

【0191】

１ 認知機能判定システム
３０ 認知機能判定装置
７０ 端末装置
７５ｃ タッチパネル
７６ｃ カメラ
１１０ 撮影画像データ
１２０ 表情スコア情報
４１０ 学習モデル
４２０ 学習済みモデル
４５０ 登録データベース
Ｄ 認知度合スコア
Ｅ 出力値
Ｌ１，Ｌ２ 笑顔指示期間
Ｐ１，Ｐ２ 笑顔開始指示（表出開始指示）
Ｑ１，Ｑ２ 笑顔停止指示
Ｑ３ 撮影終了指示
Ｒ１，Ｒ２ 休止期間
ｒ 相関係数

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】