特開 2024-113782 推定プログラム、推定方法および推定装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024113782

(43)【公開日】2024-08-23

(54)【発明の名称】推定プログラム、推定方法および推定装置

(51)【国際特許分類】

   G16H 50/20 20180101AFI20240816BHJP

   A61B 10/00 20060101ALI20240816BHJP

【ＦＩ】

G16H50/20

A61B10/00 H

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023018966

(22)【出願日】2023-02-10

(71)【出願人】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(71)【出願人】

【識別番号】502285457

【氏名又は名称】学校法人順天堂

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】陽奥 幸宏

(72)【発明者】

【氏名】▲ミイ▼ 暁宇

(72)【発明者】

【氏名】柴田 展人

【テーマコード（参考）】

5L099

【Ｆターム（参考）】

5L099AA11

(57)【要約】

【課題】認知症に関する症状の検査時間を短縮することを課題とする。
【解決手段】推定装置は、各認知機能に対応する各特定のタスクを実施している患者の顔を含む映像データを取得し、映像データを第一の機械学習モデルに入力することで、各特定のタスクを実行している患者の顔に含まれるアクションユニット毎の発生強度をそれぞれ検出する。推定装置は、各認知機能に対して生成された各第二の機械学習モデルに、各認知機能に対応する各特定のタスクを実行している際のアクションユニット毎の発生強度の時間的な変化を入力することで、認知症に関する検査を実行する検査ツールに含まれる前記各認知機能の検査スコアを推定し、各認知機能の検査スコアに基づき、検査ツールの検査スコアを推定する。
【選択図】図１

【特許請求の範囲】

【請求項1】

コンピュータに、
各認知機能に対応する各特定のタスクを実施している患者の顔を含む映像データを取得し、
取得した前記映像データを第一の機械学習モデルに入力することで、前記各特定のタスクを実行している前記患者の顔に含まれるアクションユニット毎の発生強度をそれぞれ検出し、
前記各認知機能に対して生成された各第二の機械学習モデルに、前記各認知機能に対応する前記各特定のタスクを実行している際の前記アクションユニット毎の発生強度の時間的な変化を入力することで、認知症に関する検査を実行する検査ツールに含まれる前記各認知機能の検査スコアを推定し、
前記各認知機能の検査スコアに基づき、前記検査ツールの検査スコアを推定する、
処理を実行させることを特徴とする推定プログラム。

【請求項2】

前記各認知機能の検査スコアを推定する処理は、
前記各第二の機械学習モデルに、前記各認知機能に対応する前記各特定のタスクを実行している際の前記アクションユニット毎の発生強度の時間的な変化と、前記各特定のタスクのスコアとを入力することで、前記各認知機能の検査スコアを推定する、
ことを特徴とする請求項１に記載の推定プログラム。

【請求項3】

前記各認知機能の検査スコアを推定する処理は、
前記各第二の機械学習モデルに、前記各認知機能に対応する前記各特定のタスクを実行している際の前記アクションユニット毎の発生強度の時間的な変化と、前記各特定のタスクを実行している際の前記患者の顔の向きに関する情報とを入力することで、前記各認知機能の検査スコアを推定する、
ことを特徴とする請求項１または２に記載の推定プログラム。

【請求項4】

前記検査ツールの検査スコアを推定する処理は、
前記各認知機能の検査スコアを説明変数、前記検査ツールの検査スコアを目的変数とする訓練データを用いて訓練された第３の機械学習モデルに、前記各認知機能に対して生成された各第二の機械学習モデルの出力結果を入力することで、前記検査ツールの検査スコアを推定する、
ことを特徴とする請求項１に記載の推定プログラム。

【請求項5】

コンピュータが、
各認知機能に対応する各特定のタスクを実施している患者の顔を含む映像データを取得し、
取得した前記映像データを第一の機械学習モデルに入力することで、前記各特定のタスクを実行している前記患者の顔に含まれるアクションユニット毎の発生強度をそれぞれ検出し、
前記各認知機能に対して生成された各第二の機械学習モデルに、前記各認知機能に対応する前記各特定のタスクを実行している際の前記アクションユニット毎の発生強度の時間的な変化を入力することで、認知症に関する検査を実行する検査ツールに含まれる前記各認知機能の検査スコアを推定し、
前記各認知機能の検査スコアに基づき、前記検査ツールの検査スコアを推定する、
処理を実行することを特徴とする推定方法。

【請求項6】

各認知機能に対応する各特定のタスクを実施している患者の顔を含む映像データを取得し、
取得した前記映像データを第一の機械学習モデルに入力することで、前記各特定のタスクを実行している前記患者の顔に含まれるアクションユニット毎の発生強度をそれぞれ検出し、
前記各認知機能に対して生成された各第二の機械学習モデルに、前記各認知機能に対応する前記各特定のタスクを実行している際の前記アクションユニット毎の発生強度の時間的な変化を入力することで、認知症に関する検査を実行する検査ツールに含まれる前記各認知機能の検査スコアを推定し、
前記各認知機能の検査スコアに基づき、前記検査ツールの検査スコアを推定する、
制御部を有することを特徴とする推定装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、推定プログラム、推定方法および推定装置に関する。

【背景技術】

【0002】

従来から、専門の医師が被験者に検査ツールを実行し、その結果から、食事や入浴などの基本的な動作も行うことができない認知症や、基本的な動作が行えるが買い物や家事など複雑な動作を行うことができない軽度の認知機能障害の診断することが知られている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－６１５８７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、検査には専門知識を有する検者が実施することが要求され、検査ツールには１０から２０分の時間を要するので、検査ツールの実施、検査スコアの取得、診断までにかかる検査時間が長い。

【0005】

一つの側面では、認知症に関する症状の検査時間を短縮することができる推定プログラム、推定方法および推定装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

第１の案では、推定プログラムは、コンピュータに、各認知機能に対応する各特定のタスクを実施している患者の顔を含む映像データを取得し、取得した前記映像データを第一の機械学習モデルに入力することで、前記各特定のタスクを実行している前記患者の顔に含まれるアクションユニット毎の発生強度をそれぞれ検出し、前記各認知機能に対して生成された各第二の機械学習モデルに、前記各認知機能に対応する前記各特定のタスクを実行している際の前記アクションユニット毎の発生強度の時間的な変化を入力することで、認知症に関する検査を実行する検査ツールに含まれる前記各認知機能の検査スコアを推定し、前記各認知機能の検査スコアに基づき、前記検査ツールの検査スコアを推定する、処理を実行させることを特徴とする。

【発明の効果】

【0007】

一実施形態によれば、認知症に関する症状の検査時間を短縮することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、実施例１にかかる推定装置を説明する図である。

【図2】図２は、実施例１にかかる推定装置の機能構成を示す機能ブロック図である。

【図3】図３は、第１の機械学習モデルの生成例を説明する図である。

【図4】図４は、カメラの配置例を示す図である。

【図5】図５は、マーカの移動について説明する図である。

【図6】図６は、各第２の機械学習モデルの訓練を説明する図である。

【図7】図７は、認知機能の分類を説明する図である。

【図8】図８は、ＭＭＳＥを説明する図である。

【図9】図９は、ＨＤＳ－Ｒを説明する図である。

【図10】図１０は、ＭｏＣＡを説明する図である。

【図11】図１１は、タスクアプリＡＴＭＴを説明する図である。

【図12】図１２は、タスクアプリ物品呼称を説明する図である。

【図13】図１３は、タスクアプリ類似課題を説明する図である。

【図14】図１４は、タスクアプリ引き算を説明する図である。

【図15】図１５は、タスクアプリ数字の逆唱を説明する図である。

【図16】図１６は、タスクアプリ高難易度課題を説明する図である。

【図17】図１７は、タスクアプリ即時再生を説明する図である。

【図18】図１８は、タスクアプリ遅延再生を説明する図である。

【図19】図１９は、タスクアプリ時間の見当識を説明する図である。

【図20】図２０は、タスクアプリ場所の見当識を説明する図である。

【図21】図２１は、各第２の機械学習モデルの訓練データの生成と機械学習を説明する図である。

【図22】図２２は、第３の機械学習モデルの機械学習を説明する図である。

【図23】図２３は、検査スコアの推定の詳細を説明する図である。

【図24】図２４は、検査スコアの推定の詳細を説明する図である。

【図25】図２５は、事前処理の流れを示すフローチャートである。

【図26】図２６は、推定処理の流れを示すフローチャートである。

【図27】図２７は、検査スコアの推定アプリケーションの利用形態の例を説明する図である。

【図28】図２８は、ハードウェア構成例を説明する図である。

【発明を実施するための形態】

【0009】

以下に、本願の開示する推定プログラム、推定方法および推定装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。

【実施例0010】

＜全体構成＞
図１は、実施例１にかかる推定装置１０を説明する図である。図１に示す推定装置１０は、表情認識技術を用いて、簡単なタスクと表情から、医師が認知症の診断に用いる検査ツールの検査スコアを推定するコンピュータの一例である。

【0011】

具体的には、推定装置１０は、各認知機能に対応する各特定のタスクを実施している患者の顔を含む映像データを取得する。そして、推定装置１０は、取得した映像データを第１の機械学習モデルに入力することで、各特定のタスクを実行している患者の顔に含まれるアクションユニット（Action Unit：ＡＵ）毎の発生強度をそれぞれ検出する。続いて、推定装置１０は、各認知機能に対して生成された各第２の機械学習モデルに、各認知機能に対応する各特定のタスクを実行している際のアクションユニット毎の発生強度の時間的な変化を入力することで、認知症に関する検査を実行する検査ツールに含まれる各認知機能の検査スコアを推定する。その後、推定装置１０は、各認知機能の検査スコアに基づき、検査ツールの検査スコアを推定する。

【0012】

例えば、図１に示すように、推定装置１０は、特定のタスク１を実行しているときの患者の映像データ、特定のタスク２を実行しているときの患者の映像データ、特定のタスク３を実行しているときの患者の映像データ、特定のタスク４を実行しているときの患者の映像データを取得する。ここで、各特定のタスクは、認知機能ごとに分類されたタスクアプリの一例であり、認知機能に負荷をかけて認知機能を検査するアプリケーションまたは対話型のアプリケーションの一例である。また、特定のタスクは、医師が利用する厳格な検査ツールと比べると、患者にとって短時間で簡単に利用できるツールである。

【0013】

続いて、推定装置１０は、特定のタスク１から４を実行しているときの撮像された映像データを第１の機械学習モデルに入力して、各ＡＵの発生強度（値）を取得する。すなわち、推定装置１０は、特定のタスク１を実行しているときの各ＡＵの時間変化、特定のタスク２を実行しているときの各ＡＵの時間変化、特定のタスク３を実行しているときの各ＡＵの時間変化、特定のタスク４を実行しているときの各ＡＵの時間変化を取得する。

【0014】

そして、推定装置１０は、特定のタスク１を実行しているときの各ＡＵの時間変化を、特定のタスク１が対象とする認知機能１用に生成された第２の機械学習モデルに入力して、認知機能１に対応する検査スコア１を取得する。同様に、推定装置１０は、特定のタスク２を実行しているときの各ＡＵの時間変化を、特定のタスク２が対象とする認知機能２用に生成された第２の機械学習モデルに入力して、認知機能２に対応する検査スコア２を取得する。推定装置１０は、特定のタスク３を実行しているときの各ＡＵの時間変化を、特定のタスク３が対象とする認知機能３用に生成された第２の機械学習モデルに入力して、認知機能３に対応する検査スコア３を取得する。推定装置１０は、特定のタスク４を実行しているときの各ＡＵの時間変化を、特定のタスク４が対象とする認知機能４用に生成された第２の機械学習モデルに入力して、認知機能４に対応する検査スコア４を取得する。

【0015】

その後、推定装置１０は、検査スコア１、検査スコア２、検査スコア３、検査スコア４を用いて、検査ツールの全体的なスコアを推定する。例えば、推定装置１０は、検査スコア１、検査スコア２、検査スコア３、検査スコア４を、予め生成された第３の機械学習モデルに入力して、検査ツールの全体的なスコアを推定したり、各検査スコアを合算して検査ツールの全体的なスコアを推定したりする。

【0016】

このように、推定装置１０は、ＡＵを用いることで、個人差が少なく、かつ、細かな表情の変化を捉えることが可能となり、検査ツールの検査スコアを短時間で推定することができるので、認知症に関する症状の検査時間を短縮することができる。

【0017】

＜機能構成＞
図２は、実施例１にかかる推定装置１０の機能構成を示す機能ブロック図である。図２に示すように、推定装置１０は、通信部１１、出力部１２、撮像部１３、記憶部２０、制御部３０を有する。

【0018】

通信部１１は、他の装置との間の通信を制御する処理部であり、例えば通信インタフェースなどにより実現される。例えば、通信部１１は、後述する映像データや特定のタスクのスコアを受信し、後述する制御部３０により処理結果を予め指定された宛先に送信する。

【0019】

出力部１２は、各種情報を表示出力する処理部であり、例えばディスプレイやタッチパネルなどにより実現される。例えば、出力部１２は、特定のタスクを出力して、特定のタスクに対する回答を受け付ける。

【0020】

撮像部１３は、映像を撮像して映像データを取得する処理部であり、例えばカメラなどにより実現される。例えば、撮像部１３は、患者が特定のタスクを行っている間、患者の顔を含む映像を撮像し、映像データとして記憶部２０に格納する。

【0021】

記憶部２０は、各種データや制御部３０が実行するプログラムなどを記憶する処理部であり、例えばメモリやハードディスクなどにより実現される。この記憶部２０は、訓練データＤＢ２１、映像データＤＢ２２、第１の機械学習モデル２３、各第２の機械学習モデル２４、第３の機械学習モデル２５を記憶する。

【0022】

訓練データＤＢ２１は、第１の機械学習モデル２３、各第２の機械学習モデル２４、第３の機械学習モデル２５の生成に用いられる各種訓練データを記憶するデータベースである。ここで記憶される訓練データには、正解情報が付加された教師ありの訓練データや、正解情報が付加されていない教師なしの訓練データを含めることができる。

【0023】

映像データＤＢ２２は、撮像部１３により撮像された映像データを記憶するデータベースである。例えば、映像データＤＢ２２は、患者ごとに、各特定のタスクを行っている間の患者の顔を含む映像データを記憶する。なお、映像データには、時系列の複数のフレームが含まれる。各フレームには、時系列の昇順に、フレーム番号が付与される。１つのフレームは、撮像部１３があるタイミングで撮影した静止画像の画像データである。

【0024】

第１の機械学習モデル２３は、映像データに含まれる各フレーム（画像データ）の入力に応じて、ＡＵそれぞれの発生強度を出力する機械学習モデルである。具体的には、第１の機械学習モデル２３は、表情を顔の部位と表情筋に基づいて分解して定量化する手法であるＡＵを推定する。この第１の機械学習モデル２３は、画像データの入力に応じて、表情を特定するために設定されるＡＵ１からＡＵ２８の各ＡＵの発生強度（例えば５段階評価）で表現した「ＡＵ１：２、ＡＵ２：５、ＡＵ３：１、・・・」のような表情認識結果を出力する。なお、第１の機械学習モデル２３には、ニューラルネットワークやランダムフォレストなどの各種アルゴリズムを採用することができる。

【0025】

各第２の機械学習モデル２４は、特徴量の入力に応じて、分類された各認知機能に対応する検査スコアの推定結果を出力する機械学習モデルである。例えば、認知機能１に対応する第２の機械学習モデル２４は、ＡＵそれぞれの発生強度の時間的な変化（変化パターン）と認知機能１に対応する特定のタスクのスコアとを含む特徴量の入力に応じて、認知機能１の検査スコアを含む推定結果を出力する。なお、第２の機械学習モデル２４には、ニューラルネットワークやランダムフォレストなどの各種アルゴリズムを採用することができる。

【0026】

第３の機械学習モデル２５は、各認知機能に対応する検査スコアから、検査ツールの全体的な検査スコアの推定結果を出力する機械学習モデルである。例えば、第３の機械学習モデル２５は、各認知機能に対応する第２の機械学習モデル２４それぞれの出力結果の入力に応じて、検査ツールの全体的な検査スコアの推定結果を出力する。なお、第３の機械学習モデル２５には、ニューラルネットワークやランダムフォレストなどの各種アルゴリズムを採用することができる。

【0027】

制御部３０は、推定装置１０全体を司る処理部であり、例えばプロセッサなどにより実現される。この制御部３０は、事前処理部４０と運用処理部５０を有する。なお、事前処理部４０と運用処理部５０は、プロセッサが有する電子回路やプロセッサが実行するプロセスなどにより実現される。

【0028】

（事前処理部４０）
事前処理部４０は、検査スコアの推定の運用に先立って、記憶部２０に記憶される訓練データを用いて、各モデルの生成を実行する処理部である。事前処理部４０は、第１訓練部４１、第２訓練部４２、第３訓練部４３を有する。

【0029】

第１訓練部４１は、訓練データを用いた訓練により、第１の機械学習モデル２３の生成を実行する処理部である。具体的には、第１訓練部４１は、正解情報（ラベル）付の訓練データを用いた教師あり学習により、第１の機械学習モデル２３を生成する。

【0030】

ここで、図３から図５を用いて、第１の機械学習モデル２３の生成を説明する。図３は、第１の機械学習モデル２３の生成例を説明する図である。図３に示すように、第１訓練部４１は、ＲＧＢ（Red、Green、Blue）カメラ２５ａ、ＩＲ（infrared：赤外線）カメラ２５ｂのそれぞれにより撮像された画像データに対して、訓練データの生成および機械学習を実行する。

【0031】

図３に示すように、まず、ＲＧＢカメラ２５ａ及びＩＲカメラ２５ｂは、マーカが付された人物の顔に向けられる。例えば、ＲＧＢカメラ２５ａは一般的なデジタルカメラであり、可視光を受光し画像を生成する。また、例えば、ＩＲカメラ２５ｂは、赤外線を感知する。また、マーカは、例えばＩＲ反射（再帰性反射）マーカである。ＩＲカメラ２５ｂは、マーカによるＩＲ反射を利用してモーションキャプチャを行うことができる。また、以降の説明では、撮像対象の人物を被験者と呼ぶ。

【0032】

訓練データの生成処理において、第１訓練部４１は、ＲＧＢカメラ２５ａによって撮像された画像データ及びＩＲカメラ２５ｂによるモーションキャプチャの結果を取得する。そして、第１訓練部４１は、ＡＵの発生強度１２１及び撮像画像データから画像処理によりマーカを削除した画像データ１２２を生成する。例えば、発生強度１２１は、各ＡＵの発生強度をＡからＥの５段階評価で表現し、「ＡＵ１：２、ＡＵ２：５、ＡＵ３：１、…」のようにアノテーションが行われたデータであってもよい。

【0033】

機械学習処理において、第１訓練部４１は、訓練データの生成処理から出力された画像データ１２２及びＡＵの発生強度１２１を用いて機械学習を行い、画像データからＡＵの発生強度を推定するための第１の機械学習モデル２３を生成する。第１訓練部４１は、ＡＵの発生強度をラベルとして用いることができる。

【0034】

ここで、図４を用いて、カメラの配置について説明する。図４は、カメラの配置例を示す図である。図４に示すように、複数のＩＲカメラ２５ｂがマーカトラッキングシステムを構成していてもよい。その場合、マーカトラッキングシステムは、ステレオ撮影によりＩＲ反射マーカの位置を検出することができる。また、複数のＩＲカメラ２５ｂのそれぞれの間の相対位置関係は、カメラキャリブレーションによりあらかじめ補正されているものとする。

【0035】

また、撮像される被験者の顔には、ＡＵ１からＡＵ２８をカバーするように、複数のマーカが付される。マーカの位置は、被験者の表情の変化に応じて変化する。例えば、マーカ４０１は、眉の根元付近に配置される。また、マーカ４０２及びマーカ４０３は、豊麗線の付近に配置される。マーカは、１つ以上のＡＵ及び表情筋の動きに対応した皮膚の上に配置されてもよい。また、マーカは、しわの寄り等により、テクスチャ変化が大きくなる皮膚の上を避けて配置されてもよい。

【0036】

さらに、被験者は、顔の輪郭外に基準点マーカが付された器具２５ｃを装着する。被験者の表情が変化しても、器具２５ｃに付された基準点マーカの位置は変化しないものとする。このため、第１訓練部４１は、基準点マーカからの相対的な位置の変化により、顔に付されたマーカの位置の変化を検出することができる。また、基準マーカの数を３つ以上にすることで、第１訓練部４１は、３次元空間におけるマーカの位置を特定することができる。

【0037】

器具２５ｃは、例えばヘッドバンドである。また、器具２５ｃは、ＶＲヘッドセット及び固い素材のマスク等であってもよい。その場合、第１訓練部４１は、器具２５ｃのリジッド表面を基準点マーカとして利用することができる。

【0038】

なお、ＩＲカメラ２５ｂ及びＲＧＢカメラ２５ａによる撮影が行われる際、被験者は表情を変化させていく。これにより、時系列に沿って表情が変化していく様子を画像として取得することができる。また、ＲＧＢカメラ２５ａは、動画を撮像してもよい。動画は、時系列に並べられた複数の静止画とみなすことができる。また、被験者は、自由に表情を変化させてもよいし、あらかじめ定められたシナリオに沿って表情を変化させてもよい。

【0039】

なお、ＡＵの発生強度は、マーカの移動量により判定することができる。具体的には、第１訓練部４１は、判定基準としてあらかじめ設定された位置と、マーカの位置との距離に基づいて算出したマーカの移動量を基に発生強度を判定することができる。

【0040】

ここで、図５を用いて、マーカの移動について説明する。図５は、マーカの移動について説明する図である。図５の（ａ）、（ｂ）、（ｃ）は、ＲＧＢカメラ２５ａによって撮像された画像である。また、画像は、（ａ）、（ｂ）、（ｃ）の順で撮像されたものとする。例えば、（ａ）は、被験者が無表情であるときの画像である。第１訓練部４１は、（ａ）の画像のマーカの位置を、移動量が０の基準位置とみなすことができる。図５に示すように、被験者は、眉を寄せるような表情を取っている。このとき、表情の変化に従い、マーカ４０１の位置は下方向に移動している。その際、マーカ４０１の位置と、器具２５ｃに付された基準マーカとの間の距離は大きくなっている。

【0041】

このようにして、第１訓練部４１は、被験者のある表情が写った画像データと、その表情時の各マーカの強度とを特定し、説明変数「画像データ」、目的変数「各マーカの強度」とする訓練データを生成する。そして、第１訓練部４１は、生成された訓練データを用いた教師あり学習により、第１の機械学習モデル２３を生成する。例えば、第１の機械学習モデル２３は、ニューラルネットワークである。第１訓練部４１は、第１の機械学習モデル２３の機械学習を実行することで、ニューラルネットワークのパラメータを変更する。第１訓練部４１は、説明変数をニューラルネットワークに入力する。そして、第１訓練部４１は、ニューラルネットワークから出力される出力結果と目的変数である正解データとの誤差が小さくなるようにニューラルネットワークのパラメータを変更した機械学習モデルを生成する。

【0042】

なお、第１の機械学習モデル２３の生成は、あくまで一例であり、他の手法を用いることができる。また、第１の機械学習モデル２３としては、特開２０２１－１１１１１４号公報に開示されるモデルを用いることもできる。また、顔の向きについても、同様の手法により学習することができる。

【0043】

第２訓練部４２は、訓練データを用いた訓練により、各第２の機械学習モデル２４の生成を実行する処理部である。具体的には、第２訓練部４２は、正解情報（ラベル）付の訓練データを用いた教師あり学習により、各第２の機械学習モデル２４を生成する。

【0044】

図６は、各第２の機械学習モデル２４の訓練を説明する図である。図６に示すように、第２訓練部４２は、各認知機能に対応する第２の機械学習モデル２４ごとに、予め用意した訓練データ、または、患者が特定のタスクを実行しているときの映像データと訓練済みの第１の機械学習モデル２３とを用いて生成した訓練データを用いて訓練を実行する。

【0045】

例えば、第２訓練部４２は、検査ツールの検査対象を分類した認知機能１に対応する第２の機械学習モデル２４を訓練する場合、医師が患者に対して実行した検査ツールの「検査スコアの値」から認知機能１の検査スコア１を取得する。また、第２訓練部４２は、患者が認知機能１に対応する特定のタスク１を実行した結果であるスコアと、患者が特定のタスク１を実行している間に撮像された患者の顔を含む映像データを第１の機械学習モデル２３に入力して得られた各ＡＵの発生強度および顔の向きとを取得する。

【0046】

そして、第２訓練部４２は、「正解情報」として「検査スコア１の値」を含むとともに、「特徴量」として「各ＡＵの発生強度の時間変化、顔の向きの時間変化、特定のタスク１のスコア」を含む訓練データを生成する。そして、第２訓練部４２は、訓練データの特徴量を第２の機械学習モデル２４に入力し、第２の機械学習モデル２４の出力結果と正解情報（検査スコア１の値）との誤差が小さくなるように、認知機能１に対応する第２の機械学習モデル２４のパラメータを更新することで、当該第２の機械学習モデル２４の訓練を実行する。

【0047】

ここで、認知症関連の検査に利用されるＭＭＳＥ（Mini Mental State Examination）を例にして、認知機能の分類について説明する。図７は、認知機能の分類を説明する図である。図７に示すように、検査ツール（ＭＭＳＥ）で検査される認知機能は、分類１から分類６に分類され、各分類には、特定のタスクの一例であるタスクアプリが対応付けられる。

【0048】

例えば、分類１は、「Visuospatial」に関する認知機能に該当し、ＭＭＳＥでは「１点満点」の「図形描写」の検査内容が含まれ、タスクアプリでは「１５点満点」の「ＡＴＭＴ（Advanced Trail Making Test）」を実行するアプリケーションが含まれる。分類２は、「Language」に関する認知機能に該当し、ＭＭＳＥでは「１点満点」の「文の復唱」、「３点満点」の「口頭指示」、「１点満点」の「書字指示」、「１点満点」の「自発書字」、「２点満点」の「物品呼称写」の検査内容が含まれ、タスクアプリでは「３点満点」の「物品呼称」を実行するアプリケーションと「３点満点」の「類似課題」を実行するアプリケーションが含まれる。

【0049】

分類３は、「Concentration」に関する認知機能に該当し、ＭＭＳＥでは「５点満点」の「計算」の検査内容が含まれ、タスクアプリでは「５点満点」の「引き算」を実行するアプリケーションと「２点満点」の「数字の逆唱」を実行するアプリケーションと「１点満点」の「高難易度課題」を実行するアプリケーションが含まれる。また、分類４は、「Working Memory」に関する認知機能に該当し、ＭＭＳＥでは「３点満点」の「即時想起」の検査内容が含まれ、タスクアプリでは「３点満点」の「即時再生」を実行するアプリケーションが含まれる。

【0050】

分類５は、「Memory recall」に関する認知機能に該当し、ＭＭＳＥでは「３点満点」の「遅延再生」の検査内容が含まれ、タスクアプリでは「３点満点」の「遅延再生」を実行するアプリケーションが含まれる。分類６は、「Orientation」に関する認知機能に該当し、ＭＭＳＥでは「５点満点」の「時間の見当識」および「場所の見当識」の検査内容が含まれ、タスクアプリでは「４点満点」の「時間」を実行するアプリケーションおよび「３点満点」の「場所」を実行するアプリケーションが含まれる。

【0051】

上述した検査ツールとしては、ＭＭＳＥ以外にも、ＨＤＳ－Ｒ（Hasegawa's Dementia Scale－Revised）、または、ＭｏＣＡ（Montreal Cognitive Assessment）などの認知症に関する検査を実行する検査ツールを用いることができる。

【0052】

図８は、ＭＭＳＥを説明する図である。図８に示すＭＭＳＥは、口頭、記述、描画などの回答方式で、１１項目、３０点満点の認識脳検査であり、６分から１０分の所要時間が要求される。「時間の見当識、３単語の遅延再生、文字復唱、文字写字、場所の見当識、計算、３段階の口頭命令、図形模写、３単語の即時再生、物品呼称、写字命令」などの検査が行われる。判定基準は、点数で判定され、２３点以下で認知症が疑われ、２７点以下では経度認知障害（ＭＣＩ：Mild Cognitive Impairment）が疑われる。例えば、得点ごとの判断基準としては、０点から１０点が重度、１１点から２０点が中等度、２１点から２７点が経度、２８点から３０点が問題なしと設定される。

【0053】

図９は、ＨＤＳ－Ｒを説明する図である。図９に示すＨＤＳ－Ｒは、口頭のみの回答方式で、９項目、３０点満点の認識脳検査であり、６分から１０分の所要時間が要求される。「年齢、時間の見当識、場所の見当識、３単語の即時記銘、３単語の遅延再生、計算、数字の逆唱、物品記銘、言語流暢性」などの検査が行われる。判定基準は、点数で判定され、２０点以下で認知症が疑われる。例えば、重症度ごとの判断基準としては、２４．４５点前後で非認知症、１７．８５点前後で経度認知症、１４．１０点前後で中等度認知症、９．２３点前後でやや高度認知症、４．７５点前後で高度認知症と設定される。

【0054】

図１０は、ＭｏＣＡを説明する図である。図１０に示すＭｏＣＡは、口頭、記述、描画の回答方式で、１０分前後の所要時間が要求される。検査内容は、「視空間の遂行機能、命名、記憶、注意力、復唱、語想起、抽象概念、遅延再生、見当識」などが行われる。判定基準は、点数で判定され、２５点以下でＭＣＩが疑われる。基本的に、ＭｏＣＡは、ＭＣＩのスクリーニング用である。

【0055】

次に、特定のタスク（タスクアプリ）それぞれについて説明する。図１１は、タスクアプリＡＴＭＴを説明する図である。図１１に示すように、タスクアプリ（ＡＴＭＴ）は、ランダムに数字を並べ、「１」から順番に患者に選択させるタスクである。１をクリックすると、２のクリックが有効になり、２をクリックすると、３のクリックが有効となる。選択済みの番号は、色を変えて表示され、現在探索集の番号、残り時間はタスクの枠外に表示する。表示数がＸＸの場合、ＸＸ個完了するが、制限時間ＹＹ秒を超過したら終了となる。終了時間と達成数（正解数）とが記録され、正解数等に基づきスコアが決定される。なお、ＸＸとＹＹは、任意に設定できる数値である。

【0056】

図１２は、タスクアプリ物品呼称を説明する図である。図１２に示すように、タスクアプリ（物品呼称）は、例えば３つの絵を表示し、それが何かを患者に選択させるタスクである。例えば、犬の絵であれば、動物名一覧の中から「犬」が選択されると正解となる。３つの絵は「動物」、「乗り物」、「日用品」で何パターンかのうちランダムに選択される。患者による選択はラジオボタン式であり、３つを選び終わるか、制限時間ＹＹ秒を経過したら終了となる。終了時間と回答とが記録され、正解数等に基づきスコアが決定される。時間切れの場合、途中回答とＹＹ秒が記録される。なお、ＹＹは、任意に設定できる数値である。

【0057】

図１３は、タスクアプリ類似課題を説明する図である。図１３に示すように、タスクアプリ（類似課題）は、２つの言葉に共通するものを選択させるタスクである。例えば、みかんとリンゴであれば、選択対象一覧の中から「果物」が選択されると正解となる。患者は、２つに共通するものをラジオボタン式で選択する。制限時間ＹＹ秒を経過したら終了となる。正解と選択結果とが記録され、正解数等に基づきスコアが決定される。時間切れの場合、正解と途中回答とが記録される。なお、ＹＹは、任意に設定できる数値である。

【0058】

図１４は、タスクアプリ引き算を説明する図である。図１４に示すように、タスクアプリ（引き算）は、例えば１００を表示し、順に７ずつ引き算させるタスクである。現在入力中の項目は色を変えて表示され、最大数（ＸＸ）回計算したら終了する。ＸＸ回の計算を終えるか、制限時間ＹＹ秒を超過したら終了となる。終了時間と回答とが記録され、正解数等に基づきスコアが決定される。時間切れの場合は、途中回答と制限時間が記録される。なお、ＸＸとＹＹは、任意に設定できる数値である。

【0059】

図１５は、タスクアプリ数字の逆唱を説明する図である。図１５に示すように、タスクアプリ（数字の逆唱）は、例えば表示されている数字を逆順にして入力させるタスクである。例えば、４２５が表示された場合には、５、２、４が順に入力されると正解となる。ランダムで、３桁の数字と４桁の数字とを表示して逆唱させる。それぞれの数字は、ＸＸ秒間表示させ、回答時間は、それぞれＹＹ秒とする。２問の回答が終了するが、制限時間を超過したら終了となる。表示した数字と回答のセットが記録され、正解数等に基づきスコアが決定される。なお、ＸＸとＹＹは、任意に設定できる数値である。

【0060】

図１６は、タスクアプリ高難易度課題を説明する図である。図１６に示すように、タスクアプリ（高難易度課題）は、例えば加算した数字がＺＺＺになるよう３つの数字を選択させるタスクである。例えば、１６６が表示された場合には、２７、６４、７５が選択されると正解となる。チェックボックス式で１２個の数字をランダムに表示して、３つの数字をチェックボックスで選択させる。制限時間は、ＹＹ秒とする。正解と選択結果とが記録され、正解数等に基づきスコアが決定される。時間切れの場合は、正解と途中回答とが記録される。なお、ＸＸとＹＹは、任意に設定できる数値である。

【0061】

図１７は、タスクアプリ即時再生を説明する図である。図１７に示すように、タスクアプリ（即時再生）は、例えば３つの言葉を並べ記憶するよう指示し、その後、並べた数字の表示を消してすぐに回答選択させ、その後、再度表示し、記憶するよう指示するタスクである。例えば、犬、ひまわり、電車を表示して記憶するよう指示し、ＹＹ秒後に表示が消される。その後に動物、植物、乗り物に関する単語をランダムに表示させて、チェックボックス式で選択させ、ＺＺ秒経過で終了する。さらに、もう一度同じ３語を表示し、「あとでもう一度聞くので覚えておいてください」と指示する。表示された３つの単語と選択した単語とが記録され、正解数等に基づきスコアが決定される。時間切れの場合は、選択された単語が記録される。なお、ＹＹとＺＺは、任意に設定できる数値である。

【0062】

図１８は、タスクアプリ遅延再生を説明する図である。図１８に示すように、タスクアプリ（遅延再生）は、例えば図１７の即時再生で表示させた３語を選択させるタスクである。上記例で説明すると、ランダムに表示された単語の中から、犬、ひまわり、電車をチェックボックスで選択させる。制限時間は、ＹＹ秒とする。正解と選択結果とが記録され、正解数等に基づきスコアが決定される。時間切れの場合は、正解と途中回答とが記録される。なお、ＹＹは、任意に設定できる数値である。

【0063】

図１９は、タスクアプリ時間の見当識を説明する図である。図１９に示すように、タスクアプリ（時間の見当識）は、今日の日付を患者に選択させるタスクである。選択は、ラジオボタン式であり、年から順に年、月、日、曜日と選択させる。回答を終了するか、制限時間が超過したら終了となる。回答終了時間と回答とが記録され、正解数等に基づきスコアが決定される。なお、時間切れの場合は、途中回答と制限時間が記録される。

【0064】

図２０は、タスクアプリ場所の見当識を説明する図である。図２０に示すように、タスクアプリ（場所の見当識）は、リストから今の場所を患者に選択させるタスクである。選択は、ラジオボタン式であり、県から順に県、市、場所と選択させる。回答を終了するか、制限時間が超過したら終了となる。回答終了時間と回答とが記録され、正解数等に基づきスコアが決定される。なお、時間切れの場合は、途中回答と制限時間が記録される。

【0065】

上述したように、第２訓練部４２は、分類ごとに、「ＡＵの時間変化、顔の向き、タスクアプリのスコア」の入力に応じて、当該分類に対応する検査ツールの検査スコアを出力するように、第２の機械学習モデル２４を生成する。

【0066】

図２１は、各第２の機械学習モデル２４の訓練データの生成と機械学習を説明する図である。図２１に示すように、第２訓練部４２は、複数のタスクアプリを含む特定のタスクが開始されてから終了するまでに撮像された映像データをカメラなどから取得し、各タスクアプリの実行時間等に基づき、映像データをタスクアプリごとに分割する。

【0067】

例えば、第２訓練部４２は、認知機能の分類１に対応するタスクアプリ（ＡＴＭＴ）の実行時の各フレーム（画像データ）を訓練済みの第１の機械学習モデル２３に入力し、「ＡＵ１：２、ＡＵ２：５・・・」および「顔の向き：Ａ」、「ＡＵ１：２、ＡＵ２：６・・・」および「顔の向き：Ａ」などを取得する。このようにして、第２訓練部４２は、映像データから、分類１のタスクアプリ（ＡＴＭＴ）を実行しているときの患者の各ＡＵの時間変化と患者の顔の向きの時間変化とを特定する。

【0068】

また、第２訓練部４２は、特定のタスクの終了後に出力されるスコア「ＸＸ」を取得し、その中からＡＴＭＴのスコア「ＸＸ１」を取得する。また、第２訓練部４２は、特定のタスクを実行した患者に対して医師が実行した検査ツールの結果（値）である「検査スコア：ＥＥ」を医師や電子カルテなどから取得し、そのうちＡＴＭＴに対応する検査スコア「ＥＥ１」を取得する。

【0069】

そして、第２訓練部４２は、「各ＡＵの発生強度」と「顔の向き」と「スコア（ＸＸ１）」とを説明変数、「検査スコア：ＥＥ１」を目的変数とする訓練データを生成し、分類１対応の第２の機械学習モデル２４を生成する。すなわち、第２の機械学習モデル２４は、「各ＡＵの発生強度の時間変化の変化パターン、顔の向きの時間変化の変化パターン、ＡＴＭＴのスコア」と、「ＡＴＭＴの検査スコア：ＥＥ１」との関係を訓練する。

【0070】

別例を説明すると、第２訓練部４２は、認知機能の分類２に対応するタスクアプリ（物品呼称）およびタスクアプリ（類似課題）の実行時の各フレームを訓練済みの第１の機械学習モデル２３に入力し、「各ＡＵの発生強度」および「顔の向き」などを取得する。このようにして、第２訓練部４２は、映像データから、分類２のタスクアプリ（物品呼称）およびタスクアプリ（類似課題）を実行しているときの患者の各ＡＵの時間変化と患者の顔の向きの時間変化とを特定する。

【0071】

また、第２訓練部４２は、特定のタスクの終了後に出力されるスコア「ＸＸ」を取得し、その中から分類２（物品呼称と類似課題）のスコアを取得する。また、第２訓練部４２は、検査ツールの結果から分類２に対応する検査スコアを取得する。

【0072】

そして、第２訓練部４２は、「各ＡＵの発生強度」と「顔の向き」と「スコア」とを説明変数、「検査スコア」を目的変数とする訓練データを生成し、分類２対応の第２の機械学習モデル２４を生成する。

【0073】

図２に戻り、第３訓練部４３は、各認知機能の検査スコアを説明変数、検査ツールの検査スコアを目的変数とする訓練データを用いて第３の機械学習モデル２５を訓練する処理部である。すなわち、第３訓練部４３は、各認知機能（各分類）に対して生成された各第２の機械学習モデル２４の出力結果を用いたアンサンブル学習により、検査ツールの全体的な検査スコアを推定する第３の機械学習モデル２５を生成する。

【0074】

図２２は、第３の機械学習モデルの機械学習を説明する図である。図２２に示すように、第３訓練部４３は、検査ツールのうち分類１に対応する認知機能の検査スコア１、分類２に対応する認知機能の検査スコア２などの各認知機能の検査スコア（検査スコア１から検査スコアｎ）を説明変数、検査ツール自体のスコアである全体の検査スコアを目的変数とする訓練データを用いた重回帰分析により、第３の機械学習モデル２５を訓練する。

【0075】

（運用処理部５０）
図２に戻り、運用処理部５０は、タスク実行部５１、映像取得部５２、ＡＵ検出部５３、第１推定部５４、第２推定部５５を有し、事前処理部４０により事前に準備された各モデルを用いて、映像データに写る人物（患者）の検査スコアを推定する処理部である。

【0076】

タスク実行部５１は、患者に対して特定のタスクを実行し、スコアを取得する処理部である。例えば、タスク実行部５１は、図１１から図２０に示した各タスクアプリを出力部１２に表示し、患者からの回答（入力）を受け付けることで、各タスクアプリを実行する。その後、タスク実行部５１は、各タスクアプリが終了すると各タスクアプリのスコアを取得し、推定部５４等に出力する。

【0077】

映像取得部５２は、複数のタスクアプリを含む特定のタスクを実施している患者の顔を含む映像データを取得する処理部である。例えば、映像取得部５２は、特定のタスクが開始されると、撮像部１３による撮像を開始し、特定のタスクが終了すると、撮像部１３による撮像を終了し、特定のタスクが実行されている間の映像データを、撮像部１３より取得する。

【0078】

そして、映像取得部５２は、取得した映像データを映像データＤＢ２２に格納し、ＡＵ検出部５３に出力する。なお、映像取得部５２は、各タスクアプリの実行時間を取得することで、映像データをタスクアプリごとに分割することもできる。

【0079】

ＡＵ検出部５３は、映像取得部５２により取得された映像データを第１の機械学習モデル２３に入力することで、患者の顔に含まれるＡＵ毎の発生強度を検出する処理部である。例えば、ＡＵ検出部５３は、分類（認知機能）ごとまたはタスクアプリごとに、対応する映像データ内の各フレームを第１の機械学習モデル２３に入力し、フレームごとにＡＵの発生強度と患者の顔の向きを検出する。そして、ＡＵ検出部５３は、検出されたフレームごとにＡＵの発生強度と患者の顔の向きを、第１推定部５４に出力する。

【0080】

このようにして、ＡＵ検出部５３は、タスクアプリごと、すなわち認知機能ごとに、ＡＵ毎の発生強度の時間変化および顔の向きの時間変化を検出することができる。なお、顔の向きは、ＡＵの発生強度から特定することもできる。

【0081】

第１推定部５４は、各認知機能（各分類）に対して生成された各第２の機械学習モデル２４に、各認知機能に含まれる各タスクアプリを実行している際のＡＵ毎の発生強度の時間的な変化を含む特徴量を入力することで、認知症に関する検査を実行する検査ツールに含まれる各認知機能の検査スコアを推定する処理部である。

【0082】

例えば、第１推定部５４は、タスク実行部５１からタスクアプリごとのスコアを取得し、ＡＵ検出部５３からタスクアプリごとにＡＵ毎の発生強度の時間変化および顔の向きの時間変化を取得する。そして、第１推定部５４は、認知機能（分類）ごとに生成された各第２の機械学習モデル２４に、当該認知機能のタスクアプリにより患者にテストが行われているときの「ＡＵ毎の発生強度の時間変化、顔の向きの時間変化、タスクアプリのスコア」を入力して、各第２の機械学習モデル２４の出力結果を取得する。すなわち、第１推定部５４は、各第２の機械学習モデル２４を用いて、認知機能ごとの検査スコアの推定結果を取得する。

【0083】

第２推定部５５は、各認知機能の検査スコアに基づき、検査ツールの検査スコアを推定する処理部である。例えば、第２推定部５５は、第１推定部５４から認知機能ごと（分類ごと）の検査スコアの推定結果を取得し、各検査スコアを第３の機械学習モデル２５に入力し、第３の機械学習モデル２５の出力結果を取得する。そして、第２推定部５５は、第３の機械学習モデル２５の出力結果に含まれる各検査スコアの値の確率値（信頼度）のうち、最も確率値が大きい値を検査スコアの推定結果として取得する。その後、第２推定部５５は、推定結果を出力部１２に表示出力し、記憶部２０に格納する。

【0084】

ここで、検査スコアの推定の詳細について説明する。図２３と図２４は、検査スコアの推定の詳細を説明する図である。図２３に示すように、運用処理部５０は、特定のタスクが開始されてから終了するまでに撮像された映像データを取得し、特定のタスクに含まれるタスクアプリを実行しているときの映像データを取得する。

【0085】

続いて、運用処理部５０は、タスクアプリごとの映像データを第１の機械学習モデル２３に入力して、タスクアプリごともしくは分類ごとに、各ＡＵの発生強度の時間変化および顔の向きの時間変化を取得する。

【0086】

例えば、運用処理部５０は、分類１のタスクアプリ（ＡＴＭＴ）を実行しているときの映像データを第１の機械学習モデル２３に入力して、分類１の認知機能のタスク（ＡＴＭＴ）を実行しているときの各ＡＵの発生強度の時間変化および顔の向きの時間変化を取得する。同様に、運用処理部５０は、タスクアプリ（物品呼称）などの各タスクアプリを実行しているときの映像データを第１の機械学習モデル２３に入力して、タスクアプリ（物品呼称）などの各タスクアプリを実行しているときの各ＡＵの発生強度の時間変化および顔の向きの時間変化を取得する。

【0087】

そして、運用処理部５０は、特定のタスクのスコアを取得し、認知機能（分類）ごとのスコアを特定する。続いて、運用処理部５０は、各認知機能の各ＡＵの発生強度の時間変化および顔の向きの時間変化と各認知機能のスコアとを、各認知機能に対応する各第２の機械学習モデル２４に入力して、各認知機能の検査ツールの検査スコアを推定する。

【0088】

例えば、運用処理部５０は、分類１のタスクアプリ（ＡＴＭＴ）の各ＡＵの発生強度の時間変化および顔の向きの時間変化と、タスクアプリ（ＡＴＭＴ）のスコアとを、タスクアプリ（ＡＴＭＴ）に対応する第２の機械学習モデル２４に入力して、分類１に対応する検査ツールの検査スコアを推定する。

【0089】

また、運用処理部５０は、分類２のタスクアプリ（物品呼称）およびタスクアプリ（類似課題）を実行しているときの各ＡＵの発生強度の時間変化および顔の向きの時間変化と、タスクアプリ（物品呼称）とタスクアプリ（類似課題）のスコアの合計値とを、分類２に対応する第２の機械学習モデル２４に入力して、分類２に対応する検査ツールの検査スコアを推定する。

【0090】

その後、図２４に示すように、運用処理部５０は、各分類の検査スコアの推定結果を第３の機械学習モデル２５に入力して、検査ツール全体の検査スコアの推定結果を取得する。例えば、運用処理部５０は、分類１から分類６それぞれの第２の機械学習モデル２４の出力結果を、第３の機械学習モデル２５に入力して検査スコアの推定結果を取得する。

【0091】

＜事前処理の流れ＞
図２５は、事前処理の流れを示すフローチャートである。図２５に示すように、事前処理部４０は、処理開始が指示されると（Ｓ１０１：Ｙｅｓ）、訓練データを用いて第１の機械学習モデル２３を生成する（Ｓ１０２）。

【0092】

続いて、事前処理部４０は、特定のタスクが開始されると（Ｓ１０３：Ｙｅｓ）、映像データを取得する（Ｓ１０４）。そして、事前処理部４０は、映像データをタスクアプリの実行間隔ごとに分類して第１の機械学習モデル２３に入力し、タスクアプリごとに、各ＡＵの発生強度と顔の向きとを取得する（Ｓ１０５）。

【0093】

その後、事前処理部４０は、特定のタスクが終了すると（Ｓ１０６：Ｙｅｓ）、タスクアプリごとにスコアを取得する（Ｓ１０７）。また、事前処理部４０は、タスクアプリごとに検査ツールの検査スコアを取得する（Ｓ１０８）。

【0094】

そして、事前処理部４０は、各認知機能（分類）について、分類に含まれるタスクアプリに基づき取得された「各ＡＵの発生強度の時間変化、顔の向きの時間変化、スコア」を含む訓練データを生成し（Ｓ１０９）、訓練データを用いて、認知機能（分類）ごとに各第２の機械学習モデル２４を生成する（Ｓ１１０）。

【0095】

＜推定処理の流れ＞
図２６は、推定処理の流れを示すフローチャートである。図２６に示すように、運用処理部５０は、処理開始が指示されると（Ｓ２０１：Ｙｅｓ）、患者に対して特定のタスクを実行し（Ｓ２０２）、映像データの取得を開始する（Ｓ２０３）。

【0096】

そして、運用処理部５０は、特定のタスクが終了すると（Ｓ２０４：Ｙｅｓ）、映像データの取得を終了し、タスクアプリごとにスコアを取得する（Ｓ２０５）。運用処理部５０は、タスクアプリごとの映像データを第１の機械学習モデル２３に入力し、タスクアプリごとに、各ＡＵの発生強度と顔の向きとを取得する（Ｓ２０６）。

【0097】

その後、運用処理部５０は、認知機能（分類）ごとに、分類に含まれるタスクアプリの各ＡＵの発生強度と顔の向きとに基づき分類に対応する各ＡＵの時間変化と顔の向きの時間変化とを特定し、分類ごとの「各ＡＵの時間変化、顔の向きの時間変化、スコア」を特徴量として生成する（Ｓ２０７）。

【0098】

そして、運用処理部５０は、認知機能（分類）ごとの各特徴量を、各第２の機械学習モデルに入力して認知機能（分類）ごとに検出スコアの推定結果を取得する（Ｓ２０８）。その後、運用処理部５０は、各第２の機械学習モデルの出力結果（検出スコア）を第３の機械学習モデルに入力して検査スコアの推定結果を取得し（Ｓ２０９）、推定結果を表示部１２等に出力する（Ｓ２１０）。

【0099】

＜効果＞
上述したように、実施例１の推定装置１０は、医師の専門的な知識がなくとも、認知機能の検査スコアを推定し、認知症や軽度認知機能障害のスクリーニングをすることができる。また、実施例１の推定装置１０は、数分程度の特定のタスクと表情情報とを組み合わせることで、検査ツールで診断する場合と比べて、短時間で認知症や軽度認知機能障害のスクリーニングをすることができる。

【0100】

また、推定装置１０は、認知機能ごとに検査スコアを推定することができるので、どの認知機能が低下しているかの情報を短時間で取得することができ、治療に役立てる情報の提供を実現することができる。

【0101】

また、推定装置１０は、簡単なタスクアプリで認知機能のスコアや検査ツールのスコアを推定することができるので、認知症判定にかかる処理時間の短縮化、細分化した認知症判定の高速化、医師などの人手による診療時間の短縮化などを実現することができる。

【実施例0102】

さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。

【0103】

（訓練データ）
上記実施例１では、第２の機械学習モデル２４の訓練データとして、各ＡＵの時間変化、顔の向きの時間変化、スコアを特徴量（説明変数）として利用する例を説明したが、これに限定されるものではない。

【0104】

推定装置１０は、例えば、各ＡＵの時間変化のみを説明変数としてもよく、各ＡＵの時間変化と顔の向きの時間変化を説明変数としてもよく、各ＡＵの時間変化とスコアを説明変数としてもよい。また、上記実施例では、目的変数として、検査スコアの値を用いる例を説明したが、これに限定されるものではない。例えば、目的変数として、「０点から１０点」、「１１点から２０点」、「２０点から３０点」などのように、検査スコアの範囲を用いることもできる。

【0105】

このように、推定装置１０は、精度やコストに応じて、訓練や検出に使用する特徴量を決定することができるので、簡易的なサービスを提供することができ、さらに医師の診断をサポートする詳細なサービスを提供することもできる。

【0106】

（ルールベース）
上記実施例では、第２の機械学習モデル２４を用いて、検査スコアを推定する例を説明したが、これに限定されるものではない。例えば、各ＡＵの時間変化のパターンと顔の向きの時間変化のパターンの組合せと検査スコアとを対応付けた検出ルールを用いて、検査スコアを推定することができる。

【0107】

（利用形態）
実施例１で説明した推定処理は、アプリケーションとして各個人にも提供することができる。図２７は、検査スコアの推定アプリケーションの利用形態の例を説明する図である。図２７に示すように、アプリケーションサーバ７０は、事前処理部４０により訓練された第１の機械学習モデル２３と第２の機械学習モデル２４と第３の機械学習モデル２５を含み、運用処理部５０と同様の処理を実行する推定アプリケーション（以下、アプリと記載する）７１を保持する。

【0108】

このような状況で、ユーザは、自宅などの任意の場所において、アプリ７１を購入して、アプリケーションサーバ７０からアプリ７１をダウンロードし、自信のスマホ６０などにインストールする。そして、ユーザは、自信のスマホ６０を用いて、実施例１で説明した運用処理部５０と同様の処理を実行し、検査スコアを取得する。

【0109】

この結果、ユーザが、アプリによる検査スコアの推定結果をもって病院に診察に行くことで、病院側では、簡易な検出結果を取得した状態で診察を行うことができるので、病名や症状の早期確定、治療の早期開始に役立てることができる。

【0110】

（数値等）
上記実施例で用いた数値例、訓練データ、説明変数、目的変数、装置数等は、あくまで一例であり、任意に変更することができる。また、各フローチャートで説明した処理の流れも矛盾のない範囲内で適宜変更することができる。

【0111】

（システム）
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

【0112】

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散や統合の具体的形態は図示のものに限られない。つまり、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、事前処理部４０と運用処理部５０とを別々の装置で実現することもできる。

【0113】

さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

【0114】

（ハードウェア）
図２８は、ハードウェア構成例を説明する図である。図２８に示すように、推定装置１０は、通信装置１０ａ、ＨＤＤ（Hard Disk Drive）１０ｂ、メモリ１０ｃ、プロセッサ１０ｄを有する。また、図２８に示した各部は、バス等で相互に接続される。なお、これら以外にもディスプレイやタッチパネルなどを有することができる。

【0115】

通信装置１０ａは、ネットワークインタフェースカードなどであり、他の装置との通信を行う。ＨＤＤ１０ｂは、図２に示した機能を動作させるプログラムやＤＢを記憶する。

【0116】

プロセッサ１０ｄは、図２に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１０ｂ等から読み出してメモリ１０ｃに展開することで、図２等で説明した各機能を実行するプロセスを動作させる。例えば、このプロセスは、推定装置１０が有する各処理部と同様の機能を実行する。具体的には、プロセッサ１０ｄは、事前処理部４０と運用処理部５０等と同様の機能を有するプログラムをＨＤＤ１０ｂ等から読み出す。そして、プロセッサ１０ｄは、事前処理部４０と運用処理部５０等と同様の処理を実行するプロセスを実行する。

【0117】

このように、推定装置１０は、プログラムを読み出して実行することで推定方法を実行する情報処理装置として動作する。また、推定装置１０は、媒体読取装置によって記録媒体から上記プログラムを読み出し、読み出された上記プログラムを実行することで上記した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、推定装置１０によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、上記実施例が同様に適用されてもよい。

【0118】

このプログラムは、インターネットなどのネットワークを介して配布されてもよい。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ（Magneto－Optical disk）、ＤＶＤ（Digital Versatile Disc）などのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行されてもよい。