ホーム > 特許ランキング > 国立大学法人大阪大学
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025016273
(43)【公開日】2025-01-31
(54)【発明の名称】認知機能評価システム
(51)【国際特許分類】
A61B 10/00 20060101AFI20250124BHJP
A61B 5/11 20060101ALI20250124BHJP
【ＦＩ】
A61B10/00 H
A61B5/11 120
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2023119437
(22)【出願日】2023-07-21
【国等の委託研究の成果に係る記載事項】（出願人による申告）令和４年度、国立研究開発法人日本医療研究開発機構、医工連携・人工知能実装研究事業「デュアルタスクによる認知機能障害の早期診断支援システムの研究」委託研究開発、産業技術力強化法第１７条の適用を受ける特許出願
(71)【出願人】
【識別番号】504176911
【氏名又は名称】国立大学法人大阪大学
(74)【代理人】
【識別番号】100109210
【弁理士】
【氏名又は名称】新居 広守
(74)【代理人】
【識別番号】100168583
【弁理士】
【氏名又は名称】前井 宏之
(72)【発明者】
【氏名】八木 康史
(72)【発明者】
【氏名】武 淑瓊
(72)【発明者】
【氏名】大倉 史生
(72)【発明者】
【氏名】槇原 靖
(72)【発明者】
【氏名】劉 家慶
【テーマコード（参考）】
4C038
【Ｆターム（参考）】
4C038VB31
4C038VB35
4C038VC05
(57)【要約】
【課題】評価対象者の認知機能を精度よく評価できる認知機能評価システムを提供する。
【解決手段】システム１００は、動作検出部２０、第１動作特徴抽出部２ａ、第２動作特徴抽出部２ｂ、及び出力部４を含む。動作検出部２０は、運動タスクとデュアルタスクとを遂行する評価対象者ＳＪを撮像し、撮像結果から取得される評価対象者ＳＪの複数の関節の三次元座標を示す複数のフレームを時系列に沿って生成する。第１動作特徴抽出部２ａは、運動タスクに対応するフレーム群に基づいて、撮像された複数の関節の空間的な位置関係の特徴と、撮像された複数の関節の時間的な変動の特徴とを示す第１動作特徴ｈｓを抽出する。同様に、第２動作特徴抽出部２ｂは、デュアルタスクに対応するフレーム群に基づいて、第２動作特徴ｈｄを抽出する。出力部４は、第１動作特徴ｈｓ及び第２動作特徴ｈｄに基づいて、評価対象者ＳＪの認知機能を示す評価データを出力する。
【選択図】図５
【解決手段】システム１００は、動作検出部２０、第１動作特徴抽出部２ａ、第２動作特徴抽出部２ｂ、及び出力部４を含む。動作検出部２０は、運動タスクとデュアルタスクとを遂行する評価対象者ＳＪを撮像し、撮像結果から取得される評価対象者ＳＪの複数の関節の三次元座標を示す複数のフレームを時系列に沿って生成する。第１動作特徴抽出部２ａは、運動タスクに対応するフレーム群に基づいて、撮像された複数の関節の空間的な位置関係の特徴と、撮像された複数の関節の時間的な変動の特徴とを示す第１動作特徴ｈｓを抽出する。同様に、第２動作特徴抽出部２ｂは、デュアルタスクに対応するフレーム群に基づいて、第２動作特徴ｈｄを抽出する。出力部４は、第１動作特徴ｈｓ及び第２動作特徴ｈｄに基づいて、評価対象者ＳＪの認知機能を示す評価データを出力する。
【選択図】図５
【特許請求の範囲】
【請求項1】
評価対象者の認知機能を評価する認知機能評価システムであって、
運動タスクとデュアルタスクとを遂行する前記評価対象者を撮像し、撮像結果から取得される前記評価対象者の複数の関節の三次元座標を示す複数のフレームを時系列に沿って生成する動作検出部と、
前記複数のフレームに基づいて前記評価対象者の認知機能を評価する評価部と
を備え、
前記評価部は、ニューラルネットワークを構築する機械学習モデルを有し、
前記ニューラルネットワークは、
前記複数のフレームのうち、前記運動タスクに対応する複数のフレームである運動タスクフレーム群に基づいて、前記複数の関節の空間的な位置関係の特徴と、前記複数の関節の時間的な変動の特徴とを示す第１動作特徴を抽出する第１動作特徴抽出部と、
前記複数のフレームのうち、前記デュアルタスクに対応する複数のフレームであるデュアルタスクフレーム群に基づいて、前記複数の関節の空間的な位置関係の特徴と、前記複数の関節の時間的な変動の特徴とを示す第２動作特徴を抽出する第２動作特徴抽出部と、
前記第１動作特徴及び前記第２動作特徴に基づいて、前記評価対象者の認知機能を示す評価データを出力する出力部と
を含み、
前記運動タスクは、第１運動を前記評価対象者に課すタスクを示し、
前記デュアルタスクは、第２運動と知能問題に対する回答とを同時に前記評価対象者に課すタスクを示す、認知機能評価システム。
運動タスクとデュアルタスクとを遂行する前記評価対象者を撮像し、撮像結果から取得される前記評価対象者の複数の関節の三次元座標を示す複数のフレームを時系列に沿って生成する動作検出部と、
前記複数のフレームに基づいて前記評価対象者の認知機能を評価する評価部と
を備え、
前記評価部は、ニューラルネットワークを構築する機械学習モデルを有し、
前記ニューラルネットワークは、
前記複数のフレームのうち、前記運動タスクに対応する複数のフレームである運動タスクフレーム群に基づいて、前記複数の関節の空間的な位置関係の特徴と、前記複数の関節の時間的な変動の特徴とを示す第１動作特徴を抽出する第１動作特徴抽出部と、
前記複数のフレームのうち、前記デュアルタスクに対応する複数のフレームであるデュアルタスクフレーム群に基づいて、前記複数の関節の空間的な位置関係の特徴と、前記複数の関節の時間的な変動の特徴とを示す第２動作特徴を抽出する第２動作特徴抽出部と、
前記第１動作特徴及び前記第２動作特徴に基づいて、前記評価対象者の認知機能を示す評価データを出力する出力部と
を含み、
前記運動タスクは、第１運動を前記評価対象者に課すタスクを示し、
前記デュアルタスクは、第２運動と知能問題に対する回答とを同時に前記評価対象者に課すタスクを示す、認知機能評価システム。
【請求項2】
前記出力部は、前記評価データとして、前記評価対象者を陽性又は陰性に分類するデータを出力する、請求項１に記載の認知機能評価システム。
【請求項3】
前記出力部は、前記評価データとして、前記評価対象者を、認知症のクラス、又は軽度認知障害と非認知症とを含むクラスに分類するデータを出力するか、あるいは、前記評価対象者を、認知症と軽度認知障害とを含むクラス、又は非認知症のクラスに分類するデータを出力する、請求項２に記載の認知機能評価システム。
【請求項4】
前記ニューラルネットワークのパラメータ値は、陽性を正しく認識できる割合を示す感度と、陰性を正しく認識できる割合を示す特異度との和を最適化する第１損失関数に基づいて決定されている、請求項２又は請求項３に記載の認知機能評価システム。
【請求項5】
前記出力部は、前記第１動作特徴と前記第２動作特徴との差を示す特徴差を取得する取得部を含み、前記第１動作特徴、前記第２動作特徴、及び前記特徴差に基づいて前記評価データを出力する、請求項１から請求項３のいずれか１項に記載の認知機能評価システム。
【請求項6】
前記出力部は、前記第１動作特徴と前記第２動作特徴との差を示す特徴差を取得する取得部を含み、前記第１動作特徴、前記第２動作特徴、及び前記特徴差に基づいて前記評価データを出力し、
前記ニューラルネットワークのパラメータ値は、前記第１損失関数と、前記特徴差を最大化する第２損失関数とに基づいて決定されている、請求項４に記載の認知機能評価システム。
前記ニューラルネットワークのパラメータ値は、前記第１損失関数と、前記特徴差を最大化する第２損失関数とに基づいて決定されている、請求項４に記載の認知機能評価システム。
【請求項7】
前記第１動作特徴抽出部は、前記複数の関節の空間的な位置関係を示す空間グラフを前記フレームごとに生成して、前記空間グラフを畳み込むとともに、隣り合う前記フレーム間における同一の前記関節の変動を示す時間グラフを生成して、前記時間グラフを畳み込むことにより、前記第１動作特徴を抽出し、
前記第２動作特徴抽出部は、前記複数の関節の空間的な位置関係を示す空間グラフを前記フレームごとに生成して、前記空間グラフを畳み込むとともに、隣り合う前記フレーム間における同一の前記関節の変動を示す時間グラフを生成して、前記時間グラフを畳み込むことにより、前記第２動作特徴を抽出する、請求項１から請求項３のいずれか１項に記載の認知機能評価システム。
前記第２動作特徴抽出部は、前記複数の関節の空間的な位置関係を示す空間グラフを前記フレームごとに生成して、前記空間グラフを畳み込むとともに、隣り合う前記フレーム間における同一の前記関節の変動を示す時間グラフを生成して、前記時間グラフを畳み込むことにより、前記第２動作特徴を抽出する、請求項１から請求項３のいずれか１項に記載の認知機能評価システム。
【請求項8】
前記第１運動と前記第２運動とは、互いに同じ運動を含む、請求項１から請求項３のいずれか１項に記載の認知機能評価システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、認知機能評価システムに関する。
【背景技術】
【0002】
認知機能の低下を早期に発見することは、認知症の進行を遅らせるために重要である。例えば、非特許文献１には、デュアルタスクを利用して認知機能の低下を早期に発見するシステムが開示されている。具体的には、非特許文献１のシステムは、シングルタスクとデュアルタスクとを被験者に遂行させて収集したデータから、認知症に関する１２種類の特徴を算出し、機械学習を用いてＭＭＳＥ（Ｍｉｎｉ－Ｍｅｎｔａｌ Ｓｔａｔｅ Ｅｘａｍｉｎａｔｉｏｎ）スコアを推定する。
【0003】
詳しくは、非特許文献１のシステムにおいて、シングルタスクは運動タスクであり、足踏みを被験者に課す。デュアルタスクは、運動タスクと認知タスクとを同時に遂行することを被験者に課すタスクである。デュアルタスクの運動タスクは、シングルタスクと同様に、足踏みを被験者に課す。デュアルタスクの認知タスクは、計算問題又は「じゃんけん」に対する回答を被験者に課す。非特許文献１のシステムは、シングルタスクデータ及びデュアルタスクデータのそれぞれから、以下の６種類の特徴を算出する（合計１２種類）。
（１）足踏み平均速度
（２）足踏み速度標準偏差
（３）膝角度平均
（４）膝角度標準偏差
（５）認知タスク正答率
（６）認知タスク解答回数平均
（１）足踏み平均速度
（２）足踏み速度標準偏差
（３）膝角度平均
（４）膝角度標準偏差
（５）認知タスク正答率
（６）認知タスク解答回数平均
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】松浦 拓 他６名、「デュアルタスク歩行解析に基づく高齢者の認知機能スコア推定」、電子情報通信学会、技術研究報告、川崎、Ｖｏｌ．１１９、Ｎｏ．ＨＣＳ２０１９－９９、ｐｐ．８３－８８、Ｍａｒ．２０２０
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、非特許文献１のシステムでは、限られた特徴に基づいて認知機能スコアを推定しているため、精度が低い。したがって、改善の余地がある。
【0006】
本発明は上記課題に鑑みてなされたものであり、その目的は、評価対象者の認知機能をより精度よく評価することができる認知機能評価システムを提供することにある。
【課題を解決するための手段】
【0007】
本発明に係る認知機能評価システムは、評価対象者の認知機能を評価する。当該認知機能評価システムは、動作検出部と、評価部とを備える。前記動作検出部は、運動タスクとデュアルタスクとを遂行する前記評価対象者を撮像し、撮像結果から取得される前記評価対象者の複数の関節の三次元座標を示す複数のフレームを時系列に沿って生成する。前記評価部は、前記複数のフレームに基づいて前記評価対象者の認知機能を評価する。前記評価部は、ニューラルネットワークを構築する機械学習モデルを有する。前記ニューラルネットワークは、第１動作特徴抽出部と、第２動作特徴抽出部と、出力部とを含む。前記第１動作特徴抽出部は、前記複数のフレームのうち、前記運動タスクに対応する複数のフレームである運動タスクフレーム群に基づいて、前記複数の関節の空間的な位置関係の特徴と、前記複数の関節の時間的な変動の特徴とを示す第１動作特徴を抽出する。前記第２動作特徴抽出部は、前記複数のフレームのうち、前記デュアルタスクに対応する複数のフレームであるデュアルタスクフレーム群に基づいて、前記複数の関節の空間的な位置関係の特徴と、前記複数の関節の時間的な変動の特徴とを示す第２動作特徴を抽出する。前記出力部は、前記第１動作特徴及び前記第２動作特徴に基づいて、前記評価対象者の認知機能を示す評価データを出力する。前記運動タスクは、第１運動を前記評価対象者に課すタスクを示す。前記デュアルタスクは、第２運動と知能問題（認知問題）に対する回答とを同時に前記評価対象者に課すタスクを示す。
【0008】
ある実施形態において、前記出力部は、前記評価データとして、前記評価対象者を陽性又は陰性に分類するデータを出力する。
【0009】
ある実施形態において、前記出力部は、前記評価データとして、前記評価対象者を、認知症のクラス、又は軽度認知障害と非認知症とを含むクラスに分類するデータを出力するか、あるいは、前記評価対象者を、認知症と軽度認知障害とを含むクラス、又は非認知症のクラスに分類するデータを出力する。
【0010】
ある実施形態において、前記ニューラルネットワークのパラメータ値は、陽性を正しく認識できる割合を示す感度と、陰性を正しく認識できる割合を示す特異度との和を最適化する第１損失関数に基づいて決定されている。
【0011】
ある実施形態において、前記出力部は、前記第１動作特徴と前記第２動作特徴との差を示す特徴差を取得する取得部を含む。前記出力部は、前記第１動作特徴、前記第２動作特徴、及び前記特徴差に基づいて前記評価データを出力する。
【0012】
ある実施形態において、前記出力部は、前記第１動作特徴と前記第２動作特徴との差を示す特徴差を取得する取得部を含む。前記出力部は、前記第１動作特徴、前記第２動作特徴、及び前記特徴差に基づいて前記評価データを出力する。前記ニューラルネットワークのパラメータ値は、前記第１損失関数と、前記特徴差を最大化する第２損失関数とに基づいて決定されている。
【0013】
ある実施形態において、前記第１動作特徴抽出部は、前記複数の関節の空間的な位置関係を示す空間グラフを前記フレームごとに生成して、前記空間グラフを畳み込むとともに、隣り合う前記フレーム間における同一の前記関節の変動を示す時間グラフを生成して、前記時間グラフを畳み込むことにより、前記第１動作特徴を抽出する。前記第２動作特徴抽出部は、前記複数の関節の空間的な位置関係を示す空間グラフを前記フレームごとに生成して、前記空間グラフを畳み込むとともに、隣り合う前記フレーム間における同一の前記関節の変動を示す時間グラフを生成して、前記時間グラフを畳み込むことにより、前記第２動作特徴を抽出する。
【0014】
ある実施形態において、前記第１運動と前記第２運動とは、互いに同じ運動を含む。
【発明の効果】
【0015】
本発明に係る認知機能評価システムによれば、評価対象者の認知機能をより精度よく評価することができる。
【図面の簡単な説明】
【0016】
【図1】本発明の実施形態１に係る認知機能評価システムを示す図である。
【図2】（ａ）～（ｄ）は、本発明の実施形態１に係る認知機能評価システムに含まれるタスク提示部が評価対象者に提示するタスクの一例を示す図である。
【図3】本発明の実施形態１に係る認知機能評価システムに含まれるタスク提示部が評価対象者に提示する知能問題の他例を示す図である。
【図4】本発明の実施形態１に係る認知機能評価システムの構成を示すブロック図である。
【図5】本発明の実施形態１に係る認知機能評価システムに含まれる機械学習モデルによって構築される第１ニューラルネットワークを示す図である。
【図6】機械学習モデルを生成するモデル生成システムを示す図である。
【図7】モデル生成システムの構成の一部を示すブロック図である。
【図8】本発明の実施形態１に係る認知機能評価システムに含まれる第１ニューラルネットワークの訓練時における評価部の構成を示すブロック図である。
【図9】本発明の実施形態２に係る認知機能評価システムに含まれる機械学習モデルによって構築される第２ニューラルネットワークを示す図である。
【図10】本発明の実施形態３に係る認知機能評価システムに含まれる第２ニューラルネットワークの訓練時における評価部の構成を示すブロック図である。
【図11】本発明の実施形態４に係る認知機能評価システムを示す図である。
【図12】本発明の実施形態４に係る認知機能評価システムの構成を示すブロック図である。
【図13】本発明の実施形態４に係る認知機能評価システムに含まれる機械学習モデルによって構築される第３ニューラルネットワークを示す図である。
【発明を実施するための形態】
【0017】
以下、図面（図１～図１３）を参照して本発明の認知機能評価システムに係る実施形態を説明する。但し、本発明は以下の実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々の態様において実施することが可能である。なお、説明が重複する箇所については、適宜説明を省略する場合がある。また、図中、同一又は相当部分については同一の参照符号を付して説明を繰り返さない。
【0018】
［実施形態１］
まず、図１を参照して、本実施形態の認知機能評価システム１００を説明する。図１は、本実施形態の認知機能評価システム１００を示す図である。本実施形態の認知機能評価システム１００は、評価対象者ＳＪの認知機能を評価する。より詳しくは、本実施形態の認知機能評価システム１００は、評価対象者ＳＪを、認知症（Ｃｏｇｎｉｔｉｖｅ Ｉｍｐａｉｒｍｅｎｔ）のクラス、又は軽度認知障害（Ｍｉｌｄ Ｃｏｇｎｉｔｉｖｅ Ｉｍｐａｉｒｍｅｎｔ；ＭＣＩ）と非認知症とを含むクラスに分類する。あるいは、本実施形態の認知機能評価システム１００は、評価対象者ＳＪを、認知症と軽度認知障害とを含むクラス、又は非認知症のクラスに分類する。
まず、図１を参照して、本実施形態の認知機能評価システム１００を説明する。図１は、本実施形態の認知機能評価システム１００を示す図である。本実施形態の認知機能評価システム１００は、評価対象者ＳＪの認知機能を評価する。より詳しくは、本実施形態の認知機能評価システム１００は、評価対象者ＳＪを、認知症（Ｃｏｇｎｉｔｉｖｅ Ｉｍｐａｉｒｍｅｎｔ）のクラス、又は軽度認知障害（Ｍｉｌｄ Ｃｏｇｎｉｔｉｖｅ Ｉｍｐａｉｒｍｅｎｔ；ＭＣＩ）と非認知症とを含むクラスに分類する。あるいは、本実施形態の認知機能評価システム１００は、評価対象者ＳＪを、認知症と軽度認知障害とを含むクラス、又は非認知症のクラスに分類する。
【0019】
なお、軽度認知障害は、認知症の前段階であり、正常な状態と認知症の状態との中間の状態を示す。具体的には、軽度認知障害は、記憶力や注意力などの認知機能に低下がみられるものの、日常生活に支障をきたすほどには認知機能が低下していない状態を示す。
【0020】
図１に示すように、本実施形態の認知機能評価システム１００は、タスク提示部１０を備える。タスク提示部１０は、評価対象者ＳＪに遂行させるタスクを提示する。本実施形態において、タスク提示部１０は、例えば液晶ディスプレイ又は有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイのようなディスプレイを有する。タスク提示部１０は、評価対象者ＳＪに遂行させるタスクを示す画面をディスプレイに表示させる。ディスプレイは、例えば、評価対象者ＳＪの正面に設置される。
【0021】
評価対象者ＳＪに遂行させるタスクは、運動タスク（シングルタスク）と、デュアルタスクとを含む。本実施形態では、評価対象者ＳＪは、運動タスクと、デュアルタスクとをこの順に連続して遂行する。
【0022】
運動タスクは、第１運動を評価対象者ＳＪに課すタスクを示す。デュアルタスクは、評価対象者ＳＪに運動タスクと知能タスク（又は認知タスク）とを同時に遂行させるタスクを示す。具体的には、デュアルタスクは、第２運動と、知能問題（又は認知問題）に対する回答とを同時に評価対象者ＳＪに課すタスクを示す。第１運動及び第２運動は、例えば、その場足踏み、歩行、走行、又はスキップを含む。第１運動及び第２運動は、互いに同じ運動であってもよく、互いに異なる運動であってもよい。知能問題（又は認知問題）は、例えば、計算問題、位置記憶問題、又はじゃんけん問題を含む。
【0023】
より詳しくは、評価対象者ＳＪは、所定の時間（例えば、２０秒）、運動タスク（シングルタスク）を遂行する。その後、評価対象者ＳＪは、所定の時間（例えば、３０秒）、デュアルタスクを遂行する。以下、評価対象者ＳＪに運動タスク（シングルタスク）を遂行させる時間を、「運動タスク遂行時間」と記載する場合がある。また、評価対象者ＳＪにデュアルタスクを遂行させる時間を、「デュアルタスク遂行時間」と記載する場合がある。なお、運動タスク遂行時間及びデュアルタスク遂行時間の長さは、任意である。
【0024】
本実施形態では、運動タスク（シングルタスク）によって評価対象者ＳＪに課される運動（第１運動）と、デュアルタスクの運動タスクによって評価対象者ＳＪに課される運動（第２運動）とは、互いに同じ運動を含む。
【0025】
【0026】
動作検出部２０は、運動タスクとデュアルタスクとを少なくとも１回遂行する評価対象者ＳＪを撮像し、撮像結果から取得される評価対象者ＳＪの複数の関節の三次元座標を示す複数のフレームを時系列に沿って生成する。詳しくは、動作検出部２０は、撮像部２１と、モーションキャプチャ部２２とを有する。なお、本実施形態では、評価対象者ＳＪは、運動タスク及びデュアルタスクを１回遂行する。以下、評価対象者ＳＪに運動タスクとデュアルタスクとを１回遂行させるタスクを、「タスクセット」と記載する場合がある。
【0027】
撮像部２１は、評価対象者ＳＪを撮像して撮像画像を生成する。具体的には、撮像部２１は、タスクセットを遂行している評価対象者ＳＪを撮像して、動画データ（又はビデオデータ）を生成する。撮像部２１は、例えばＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ、又は測域センサ（レンジセンサ）のようなセンサを有してもよい。撮像部２１は、例えば、評価対象者ＳＪの正面に配置される。撮像部２１を評価対象者ＳＪの正面に配置することにより、評価対象者ＳＪの全関節を捕捉することができる。
【0028】
モーションキャプチャ部２２は、撮像部２１の撮像結果（撮像画像）に基づいて、評価対象者ＳＪの全関節のうち、撮像された各関節の三次元座標を示す複数のフレームを時系列に沿って生成する。詳しくは、モーションキャプチャ部２２は、撮像画像（動画データ）に基づいて人体骨格モデルを生成する。各フレームは、評価対象者ＳＪの人体骨格モデルを含む。人体骨格モデルは、評価対象者ＳＪの全関節のうち、撮像された各関節（撮像画像に含まれる全関節）を含む。以下、動作検出部２０によって生成される複数のフレームを、「連続フレーム」と記載する場合がある。
【0029】
モーションキャプチャ部２２は、例えば、プロセッサと、記憶部とを有する。モーションキャプチャ部２２は、プロセッサとして、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、又はＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有してもよい。記憶部は、プロセッサによって実行されるコンピュータプログラムを記憶する。コンピュータプログラムは、撮像部２１の出力から連続フレームを生成するコンピュータプログラムを含む。記憶部は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のような半導体メモリを含む。
【0030】
評価部４０は、連続フレームに基づいて評価対象者ＳＪの認知機能を評価する。本実施形態では、評価部４０は、評価対象者ＳＪを、認知症のクラス、又は軽度認知障害と非認知症とを含むクラスに分類する。あるいは、評価部４０は、評価対象者ＳＪを、認知症と軽度認知障害とを含むクラス、又は非認知症のクラスに分類する。詳しくは、評価部４０は、機械学習モデルＭＬを有する。評価部４０は、連続フレームを機械学習モデルＭＬに入力する。機械学習モデルＭＬは、連続フレームに基づいて、評価対象者ＳＪを、認知症のクラス、又は軽度認知障害と非認知症とを含むクラスに分類する。あるいは、評価部４０は、連続フレームに基づいて、評価対象者ＳＪを、認知症と軽度認知障害とを含むクラス、又は非認知症のクラスに分類する。
【0031】
続いて、図２（ａ）～図２（ｄ）を参照して、タスク提示部１０が評価対象者ＳＪに提示するタスクの一例を説明する。図２（ａ）～図２（ｄ）は、本実施形態の認知機能評価システム１００に含まれるタスク提示部１０が評価対象者ＳＪに提示するタスクの一例を示す図である。図２（ａ）～図２（ｄ）に示す例において、評価対象者ＳＪに課す運動（第１運動及び第２運動）は「足踏み」であり、評価対象者ＳＪに課す知能問題（又は認知問題）は「計算問題」である。
【0032】
図２（ａ）に示すように、タスク提示部１０は、まず、評価対象者ＳＪにタスクの開始を知らせる第１通知画面１１を表示する。次に、図２（ｂ）に示すように、タスク提示部１０は、運動タスク（シングルタスク）を評価対象者ＳＪに提示する。具体的には、タスク提示部１０は、評価対象者ＳＪに課す運動（足踏み）を提示する運動提示画面１２を表示する。
【0033】
本実施形態では、デュアルタスクにおいて評価対象者ＳＪに課される運動（第２運動）が、運動タスク（シングルタスク）において評価対象者ＳＪに課される運動（第１運動）と同じである。したがって、タスク提示部１０は、所定の運動タスク遂行時間が経過した後、知能タスク（認知タスク）を評価対象者ＳＪに提示する画面を表示する。評価対象者ＳＪは、運動タスク（足踏み）を遂行しながら、タスク提示部１０が提示する知能タスク（認知タスク）を遂行する。
【0034】
具体的には、図２（ｃ）に示すように、タスク提示部１０は、計算問題を提示する問題提示画面１３ａを表示する。例えば、タスク提示部１０は、計算問題として、引き算問題をディスプレイに表示させる。
【0035】
タスク提示部１０は、所定のタイミングで計算問題の提示を終了する。具体的には、タスク提示部１０は、問題提示画面１３ａをディスプレイから消去する。タスク提示部１０は、問題提示画面１３ａをディスプレイから消去した後、２つの回答の候補を示す回答候補提示画面１３ｂを表示する。
【0036】
本実施形態の認知機能評価システム１００は、左手用の回答スイッチ（図示せず）と、右手用の回答スイッチ（図示せず）とを更に備える。評価対象者ＳＪは、右手用の回答スイッチ又は左手用の回答スイッチを押すことにより、タスク提示部１０によって提示される知能問題（又は認知問題）に回答する。具体的には、評価対象者ＳＪは、２つの回答スイッチの一方を押して、２つの回答の候補のうちの一方の回答を選択する。
【0037】
なお、左手用の回答スイッチは、評価対象者ＳＪの左手に持たせてもよいし、評価対象者ＳＪの左側に設置する手摺に固定してもよい。同様に、右手用の回答スイッチは、評価対象者ＳＪの右手に持たせてもよいし、評価対象者ＳＪの右側に設置する手摺に固定してもよい。
【0038】
評価対象者ＳＪが回答を選択すると、次の問題として、今回回答した計算問題とは異なる計算問題がタスク提示部１０によって提示される。以降、所定のデュアルタスク遂行時間が経過するまで、計算問題の提示が繰り返される。
【0039】
図２（ｄ）に示すように、タスク提示部１０は、所定のデュアルタスク遂行時間が経過した後、評価対象者ＳＪにタスクの終了を知らせる第２通知画面１４をディスプレイに表示する。
【0040】
なお、図２（ｃ）に示す例では、計算問題は引き算問題であるが、計算問題は、引き算問題に限定されない。計算問題は、足し算問題であってもよい。あるいは、計算問題は、引き算問題と足し算問題とを含んでもよい。
【0041】
また、タスク提示部１０が提示する知能問題（又は認知問題）は計算問題に限定されるものではない。例えば、知能問題（又は認知問題）は、位置記憶問題、又は、じゃんけん問題であってもよい。
【0042】
図３は、本実施形態の認知機能評価システム１００に含まれるタスク提示部１０が評価対象者ＳＪに提示する知能問題（又は認知問題）の他例を示す図である。図３に示す例において、知能問題（又は認知問題）は、「位置記憶問題」である。図３に示すように、知能問題（又は認知問題）が位置記憶問題である場合、タスク提示部１０は、図形を配置可能な４つの領域のうちの１つに図形を配置した問題提示画面１３ａを表示する。
【0043】
タスク提示部１０は、問題提示画面１３ａをディスプレイから消去した後、図形を配置可能な４つの領域のうちの１つに図形を配置した回答候補提示画面１３ｂを表示する。回答候補提示画面１３ｂには、問題文と共に、２つの回答候補として、「はい」及び「いいえ」が表示される。問題文は、「はい」又は「いいえ」で回答可能な問題を示す。ここでは、図形が配置されていた位置が問題提示画面１３ａと回答候補提示画面１３ｂとの間で同じであるか否かが評価対象者ＳＪに問われる。
【0044】
評価対象者ＳＪは、図形が配置されていた位置が問題提示画面１３ａと回答候補提示画面１３ｂとの間で同じであると判断した場合、左手用の回答スイッチを押して、「はい」を選択する。あるいは、評価対象者ＳＪは、図形が配置されていた位置が問題提示画面１３ａと回答候補提示画面１３ｂとの間で異なると判断した場合、右手用の回答スイッチを押して、「いいえ」を選択する。
【0045】
続いて、「じゃんけん問題」を説明する。知能問題（又は認知問題）が「じゃんけん問題」である場合、例えば、タスク提示部１０は、問題提示画面１３ａにおいて、「グー」、「チョキ」及び「パー」のうちの一つを表示する。そして、回答候補提示画面１３ｂにおいて、「グー」、「チョキ」及び「パー」のうちの一つと、問題文と、「はい」及び「いいえ」とが表示される。回答候補提示画面１３ｂでは、例えば、回答候補提示画面１３ｂに表示されている指のポーズによって、問題提示画面１３ａに表示されていた指のポーズに勝てるか否かが評価対象者ＳＪに問われる。
【0046】
評価対象者ＳＪは、回答候補提示画面１３ｂに表示されている指のポーズによって、問題提示画面１３ａに表示されていた指のポーズに勝てると判断した場合に、左手用の回答スイッチを押して、「はい」を選択する。あるい、評価対象者ＳＪは、回答候補提示画面１３ｂに表示されている指のポーズでは、問題提示画面１３ａに表示されていた指のポーズに負けると判断した場合に、右手用の回答スイッチを押して、「いいえ」を選択する。
【0047】
続いて、図４を参照して、本実施形態の認知機能評価システム１００を説明する。図４は、本実施形態の認知機能評価システム１００の構成を示すブロック図である。詳しくは、図４は、評価部４０の構成を示す。図４に示すように、認知機能評価システム１００は、識別情報取得部５０を更に備える。また、評価部４０は、記憶部４１と、処理部４２とを有する。
【0048】
認知機能評価システム１００を利用する評価対象者ＳＪにはそれぞれ、事前に固有の識別情報が割り当てられる。識別情報取得部５０は、各評価対象者ＳＪに割り当てられた識別情報を取得する。識別情報取得部５０は、例えば、カードリーダ、キーボード、又はタッチパネルを含む。識別情報取得部５０がカードリーダである場合、各評価対象者ＳＪは、カードに担持されている識別情報をカードリーダに読み取らせる。識別情報取得部５０が、キーボード又はタッチパネルである場合、各評価対象者ＳＪは、キーボード又はタッチパネルを操作して、自身に割り当てられた識別情報を入力する。
【0049】
記憶部４１は、各種コンピュータプログラム及び各種データを記憶する。具体的には、記憶部４１は、記憶装置を有する。記憶装置は、例えば、半導体メモリ（半導体記憶装置）を含む。記憶部４１は、半導体メモリとして、例えば、ＲＡＭ及びＲＯＭを含んでもよい。記憶部４１は、半導体メモリとして、ＶＲＡＭ（Ｖｉｄｅｏ ＲＡＭ）を更に含んでもよい。また、記憶部４１は、ストレージデバイスを有してもよい。記憶部４１は、ストレージデバイスとして、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）とＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）とのうちの少なくとも一方を含んでもよい。
【0050】
具体的には、記憶部４１は、機械学習モデルＭＬを記憶する。機械学習モデルＭＬは、動作検出部２０から出力される複数のフレーム（連続フレーム）に基づいて評価対象者ＳＪの認知機能を評価するためのコンピュータプログラムである。
【0051】
処理部４２は、記憶部４１に記憶された各種のコンピュータプログラムを実行することによって、数値計算や情報処理、機器制御のような様々な処理を行う。処理部４２は、プロセッサを有する。あるいは、処理部４２は、量子コンピュータを有してもよい。プロセッサは、例えば、ＣＰＵ又はＭＰＵを含む。プロセッサは、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含んでもよいし、ＮＰＵ（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含んでもよい。
【0052】
具体的には、処理部４２は、識別情報取得部５０により識別情報が取得されると、図２（ａ）～図２（ｄ）及び図３を参照して説明したように、タスク提示部１０に各種の画面を表示させる。また、処理部４２は、動作検出部２０から出力された複数のフレーム（連続フレーム）を機械学習モデルＭＬに入力する。
【0053】
より詳しくは、処理部４２は、動作検出部２０から出力された連続フレームから、運動タスク（シングルタスク）の遂行時に取得された連続フレームと、デュアルタスクの遂行時に取得された連続フレームとをそれぞれ抽出して、機械学習モデルＭＬに入力する。運動タスク（シングルタスク）に対応する連続フレームのフレーム数は、例えば、１６０フレームである。デュアルタスクに対応する連続フレームのフレーム数は、例えば、２６０フレームである。以下、動作検出部２０から出力された連続フレーム（複数のフレーム）のうち、運動タスク（シングルタスク）に対応する連続フレーム（複数のフレーム）を、「運動タスクフレーム群」と記載する場合がある。また、動作検出部２０から出力された連続フレーム（複数のフレーム）のうち、デュアルタスクに対応する連続フレーム（複数のフレーム）を、「デュアルタスクフレーム群」と記載する場合がある。
【0054】
処理部４２は、機械学習モデルＭＬの出力に基づいて、評価対象者ＳＪの認知機能の評価結果を取得する。本実施形態において、評価結果は、認知機能の分類結果を含む。分類結果は、評価対象者ＳＪの認知機能が分類されるクラスを示す。具体的には、評価対象者ＳＪの認知機能が分類されるクラスは、２つのクラスを含む。２つのクラスのうちの一方は、認知症のクラスを示す。２つのクラスのうちの他方は、軽度認知障害と非認知症とを含むクラスを示す。あるいは、２つのクラスのうちの一方は、認知症と軽度認知障害とを含むクラスを示す。２つのクラスのうちの他方は、非認知症のクラスを示す。
【0055】
処理部４２は、評価対象者ＳＪの認知機能の評価結果を取得すると、評価対象者ＳＪの認知機能の評価結果を、評価対象者ＳＪに割り当てられた識別情報に関連付けて記憶部４１に記憶させる。この結果、記憶部４１が、評価対象者ＳＪの認知機能の評価結果の履歴を識別情報に関連付けて記憶する。
【0056】
なお、認知機能評価システム１００は、認知機能の評価結果又は認知機能の評価結果の履歴を評価対象者ＳＪに提示する結果提示部を備えてもよい。結果提示部は、例えば、プリンタを含む。あるいは、結果提示部は、通信デバイスを含んでもよい。
【0057】
認知機能評価システム１００がプリンタを備える場合、処理部４２は、プリンタを制御して、認知機能の評価結果が印字されたシートをプリンタから出力させる。あるいは、処理部４２は、認知機能の評価結果の履歴を示す表又はグラフを作成して、認知機能の評価結果の履歴を示す表又はグラフが印字されたシートをプリンタから出力させる。認知機能評価システム１００が通信デバイスを備える場合、処理部４２は、通信デバイスを制御して、例えば、評価対象者ＳＪによって予め登録されたメールアドレスに、評価対象者ＳＪの認知機能の評価結果を示すメールを送信してもよい。あるいは、処理部４２は、認知機能の評価結果の履歴を示す表又はグラフを示すメールを送信してもよい。
【0058】
続いて、図５を参照して、機械学習モデルＭＬを説明する。図５は、本実施形態の認知機能評価システム１００に含まれる機械学習モデルＭＬによって構築される第１ニューラルネットワークＮＷ１を示す図である。第１ニューラルネットワークＮＷ１は、例えば、ディープラーニングを行うニューラルネットワークである。
【0059】
図５に示すように、機械学習モデルＭＬは第１ニューラルネットワークＮＷ１を構築する。したがって、評価部４０は、第１ニューラルネットワークＮＷ１を含む。第１ニューラルネットワークＮＷ１は、第１動作特徴抽出部２ａと、第２動作特徴抽出部２ｂと、第１変換部３ａと、第２変換部３ｂと、出力部４とを含む。
【0060】
既に説明したように、評価対象者ＳＪはタスクセットを１回遂行する。動作検出部２０は、評価対象者ＳＪがタスクセットを１回遂行している間、評価対象者ＳＪを撮像する。この結果、タスクセットを１回遂行している評価対象者ＳＪを示す連続フレームが取得される。処理部４２は、連続フレームから、運動タスクフレーム群とデュアルタスクフレーム群とを抽出する。そして、処理部４２は、運動タスクフレーム群を第１動作特徴抽出部２ａに入力し、デュアルタスクフレーム群を第２動作特徴抽出部２ｂに入力する。
【0061】
第１動作特徴抽出部２ａは、動作検出部２０により生成された複数のフレーム（連続フレーム）のうち、運動タスクに対応する複数のフレーム（運動タスクフレーム群）に基づいて、第１動作特徴を抽出する。第１動作特徴は、運動タスクを遂行している評価対象者ＳＪの動作の特徴を示す。詳しくは、第１動作特徴は、撮像された評価対象者ＳＪの各関節（人体骨格モデルの全関節）の空間的な位置関係の特徴と、撮像された評価対象者ＳＪの各関節（人体骨格モデルの全関節）の時間的な変動の特徴とを示す。
【0062】
第２動作特徴抽出部２ｂは、動作検出部２０により生成された複数のフレーム（連続フレーム）のうち、デュアルタスクに対応する複数のフレーム（デュアルタスクフレーム群）に基づいて、第２動作特徴を抽出する。第２動作特徴は、デュアルタスクを遂行している評価対象者ＳＪの動作の特徴を示す。詳しくは、第２動作特徴は、撮像された評価対象者ＳＪの各関節（人体骨格モデルの全関節）の空間的な位置関係の特徴と、撮像された評価対象者ＳＪの各関節（人体骨格モデルの全関節）の時間的な変動の特徴とを示す。
【0063】
具体的には、第１動作特徴抽出部２ａは、人体骨格モデルをグラフ構造として捉える。より具体的には、第１動作特徴抽出部２ａは、運動タスクフレーム群から、２つのグラフ構造を捉える。詳しくは、第１動作特徴抽出部２ａは、撮像された評価対象者ＳＪの各関節（人体骨格モデルの全関節）の空間的（３次元的）な位置関係を示す空間グラフをフレームごとに生成するとともに、隣り合うフレーム間における同一の関節の変動（つまり、関節の時間的な変動）を示す時間グラフを生成する。そして、第１動作特徴抽出部２ａは、空間グラフを畳み込むとともに、時間グラフを畳み込むことにより、第１動作特徴を抽出する。つまり、第１動作特徴抽出部２ａは、空間グラフを畳み込むことにより、人体骨格モデルの全関節の空間的な位置関係の特徴を抽出する。また、第１動作特徴抽出部２ａは、時間グラフを畳み込むことにより、人体骨格モデルの全関節の時間的な変動の特徴を抽出する。第１動作特徴抽出部２ａは、例えば、時空間グラフ畳み込みニューラルネットワーク（Ｓｐａｔｉｏ－ｔｅｍｐｏｒａｌ Ｇｒａｐｈ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ；ＳＴ－ＧＣＮ）のようなグラフ畳み込みニューラルネットワークを含む。
【0064】
第２動作特徴抽出部２ｂも、第１動作特徴抽出部２ａと同様に、デュアルタスクフレーム群から、２つのグラフ構造を捉える。詳しくは、第２動作特徴抽出部２ｂは、撮像された評価対象者ＳＪの各関節（人体骨格モデルの全関節）の空間的（３次元的）な位置関係を示す空間グラフをフレームごとに生成するとともに、隣り合うフレーム間における同一の関節の変動（つまり、関節の時間的な変動）を示す時間グラフを生成する。そして、第２動作特徴抽出部２ｂは、空間グラフを畳み込むとともに、時間グラフを畳み込むことにより、第２動作特徴を抽出する。つまり、第２動作特徴抽出部２ｂは、空間グラフを畳み込むことにより、人体骨格モデルの全関節の空間的な位置関係の特徴を抽出し、時間グラフを畳み込むことにより、人体骨格モデルの全関節の時間的な変動の特徴を抽出する。第２動作特徴抽出部２ｂは、例えば、時空間グラフ畳み込みニューラルネットワーク（ＳＴ－ＧＣＮ）のようなグラフ畳み込みニューラルネットワークを含む。
【0065】
例えば、評価対象者ＳＪに課される運動（第１運動及び第２運動）が足踏み（その場足踏み）である場合、第１動作特徴抽出部２ａは、３次元人体骨格モデルに含まれる全関節の空間的（３次元的）な位置関係及び時間的な変動から、運動タスクを遂行している評価対象者ＳＪによる足踏み（運動）の時空間的な特徴（第１動作特徴）を抽出する。同様に、第２動作特徴抽出部２ｂは、３次元人体骨格モデルに含まれる全関節の空間的（３次元的）な位置関係及び時間的な変動から、デュアルタスクを遂行している評価対象者ＳＪによる足踏み（運動）の時空間的な特徴（第２動作特徴）を抽出する。
【0066】
第１動作特徴抽出部２ａ及び第２動作特徴抽出部２ｂにより抽出される動作特徴（第１動作特徴及び第２動作特徴）は、高次元のベクトル空間で表される。第１変換部３ａは、第１動作特徴（高次元のベクトル空間）を低次元のベクトル空間へ変換する。同様に、第２変換部３ｂは、第２動作特徴（高次元のベクトル空間）を低次元のベクトル空間へ変換する。つまり、第１変換部３ａ及び第２変換部３ｂは、いわゆる埋込を行う。第１変換部３ａ及び第２変換部３ｂは、例えば、完全結合層（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ Ｌａｙｅｒ：ＦＣ）を含む。以下、低次元ベクトルへ変換された第１動作特徴を、「第１埋込特徴ｈｓ」と記載する場合ある。同様に、低次元ベクトルへ変換された第２動作特徴を、「第２埋込特徴ｈｄ」と記載する場合ある。
【0067】
詳しくは、ＳＴ－ＧＣＮは、ＧＣＮ（Ｇｒａｐｈ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ）と、ＴＣＮ（Ｔｅｍｐｏｒａｌ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ）とを含む。ＧＣＮにより空間的な特徴が抽出され、ＴＣＮにより時間的な特徴が抽出される。例えば、ｔ番目のフレームに対するＧＣＮの出力は、以下の式（１）で表すことができる。
【数1】
【0068】
式（１）において、Ａｋは隣接行列を示し、Ｄｋは隣接行列Ａｋの対角行列又は次数行列を示し、ｘt
inはｔ番目のフレームの特徴を示し、ｗkは学習可能な重み行列を示し、Ｍｋは隣接行列Ａｋの学習可能な注視領域を示す。
【0069】
ＴＣＮは、二次元畳み込みを実施する。ＴＣＮのカーネルサイズは、例えば、「７５」である。第１変換部３ａは、例えば、第１動作特徴（高次元のベクトル空間）を６４次元のベクトル空間へ線形変換する。同様に、第２変換部３ｂは、第２動作特徴（高次元のベクトル空間）を６４次元のベクトル空間へ線形変換する。
【0070】
出力部４は、第１動作特徴及び第２動作特徴に基づいて、評価対象者ＳＪの認知機能を示す評価データを出力する。本実施形態では、出力部４は、評価データとして、評価対象者ＳＪを陽性又は陰性に分類するデータを出力する。具体的には、出力部４は、評価データとして、評価対象者ＳＪを、認知症のクラス（陽性）、又は軽度認知障害と非認知症とを含むクラス（陰性）に分類するデータを出力する。あるいは、出力部４は、評価データとして、評価対象者ＳＪを、認知症と軽度認知障害とを含むクラス（陽性）、又は非認知症のクラス（陰性）に分類するデータを出力する。詳しくは、第１ニューラルネットワークＮＷ１の出力部４は、結合部４１１と、分類部４１２とを含む。
【0071】
結合部４１１は、第１埋込特徴ｈｓと第２埋込特徴ｈｄとを結合して、スカラー値ｓを出力する。結合部４１１は、例えば、完全結合層（ＦＣ）を含む。分類部４１２は、スカラー値ｓに基づいて、評価対象者ＳＪの認知機能を陽性又は陰性に分類する。例えば、スカラー値ｓは、以下の式（２）で表すことができる。
【数2】
【0072】
式（２）において、ｂはバイアス項を示し、Ｗは完全結合層（ＦＣ）の重み行列を示す。
【0073】
詳しくは、スカラー値ｓは、陽性のスカラー値ｓ１と、陰性のスカラー値ｓ２とを含む。陽性のスカラー値ｓ１は、陽性を正しく認識できている確率を示す。陰性のスカラー値ｓ２は、陰性を正しく認識できている確率を示す。分類部４１２は、陽性のスカラー値ｓ１が陰性のスカラー値ｓ２よりも大きい場合、陽性を示す評価データを出力する。一方、分類部４１２は、陰性のスカラー値ｓ２が陽性のスカラー値ｓ１よりも大きい場合、陰性を示す評価データを出力する。
【0074】
以上、図１～図５を参照して説明した実施形態によれば、撮像結果から取得される評価対象者ＳＪの複数の関節の空間的な位置関係の特徴及び時間的な変動の特徴に基づいて、評価対象者ＳＪの認知機能を評価することができる。したがって、限られた特徴に基づいて評価対象者ＳＪの認知機能を評価するシステムと比べて、評価対象者ＳＪの認知機能をより精度よく評価することができる。
【0075】
【0076】
モデル生成システム２００は、第１ニューラルネットワークＮＷ１の訓練に用いられる。具体的には、モデル生成システム２００は、訓練データ（学習用データセット）を作成して、第１ニューラルネットワークＮＷ１に訓練データ（学習用データセット）を学習させる。訓練データの作成のために、モデル生成システム２００は、各種のデータを収集する。
【0077】
詳しくは、モデル生成システム２００は、タスクセットを遂行する複数の被験者から複数の連続データ（説明変数）を収集する。また、モデル生成システム２００は、各被験者のラベルデータ（目的変数）を収集する。そして、モデル生成システム２００は、複数の連続データ（説明変数）と複数のラベルデータ（目的変数）とを組み合わせて、訓練データ（学習用データセット）を作成する。
【0078】
図６に示すように、モデル生成システム２００は、タスク提示部１０と、動作検出部２０と、評価部４０と、識別情報取得部５０と、データ収集部７０とを備える。
【0079】
タスク提示部１０は、図１～図５を参照して説明したように、被験者に運動タスク及びデュアルタスクを提示する。動作検出部２０は、図１～図５を参照して説明したように連続フレーム（運動タスクフレーム群及びデュアルタスクフレーム群）を出力する。識別情報取得部５０は、図１～図５を参照して説明したように、被験者の識別情報を取得する。
【0080】
データ収集部７０は、図１～図５を参照して説明したタスクセットを被験者が遂行することによって得られるデータを収集する。具体的には、データ収集部７０は、動作検出部２０の出力から連続フレーム（運動タスクフレーム群及びデュアルタスクフレーム群）を収集する。なお、データ収集部７０が収集するデータには、同一の被験者から得られる複数のデータが含まれていてもよい。
【0081】
続いて、図７を参照して、モデル生成システム２００を説明する。図７は、モデル生成システム２００の構成の一部を示すブロック図である。詳しくは、図７は、データ収集部７０の構成を示す。図７に示すように、データ収集部７０は、入力部７１と、記憶部７２と、処理部７３とを備える。データ収集部７０は、例えば、サーバである。
【0082】
入力部７１は、作業者によって操作されて、処理部７３に対して様々な情報を入力する。入力部７１は、例えば、キーボード、マウス、及びタッチパネルのような入力機器を含む。例えば、作業者は、入力部７１を操作して、教師あり学習又は半教師あり学習で用いるラベルデータ（目的変数）を入力する。この結果、データ収集部７０により複数のラベルデータが収集される。
【0083】
具体的には、評価対象者ＳＪを、認知症のクラス、又は軽度認知障害と非認知症とを含むクラスに分類する機械学習モデルＭＬ（第１ニューラルネットワークＮＷ１）を生成する場合、ラベルデータは、被験者が認知症のクラス（陽性）であるのか、軽度認知障害と非認知症とを含むクラス（陰性）であるのかを示す。同様に、評価対象者ＳＪを、認知症と軽度認知障害とを含むクラス、又は非認知症のクラスに分類する機械学習モデルＭＬ（第１ニューラルネットワークＮＷ１）を生成する場合、ラベルデータは、被験者が認知症と軽度認知障害とを含むクラス（陽性）であるのか、非認知症のクラス（陰性）であるのかを示す。
【0084】
例えば、作業者は、医師による各被験者の確定診断の結果を参照して複数のラベルデータを入力してもよい。具体的には、評価対象者ＳＪを、認知症のクラス、又は軽度認知障害と非認知症とを含むクラスに分類する機械学習モデルＭＬ（第１ニューラルネットワークＮＷ１）を生成する場合、確定診断の結果が認知症であった被験者に対して、陽性を示すラベルデータを入力し、確定診断の結果が軽度認知障害又は非認知症であった被験者に対して、陰性を示すラベルデータを入力する。評価対象者ＳＪを、認知症と軽度認知障害とを含むクラス、又は非認知症のクラスに分類する機械学習モデルＭＬ（第１ニューラルネットワークＮＷ１）を生成する場合も同様である。
【0085】
記憶部７２は、各種コンピュータプログラム及び各種データを記憶する。具体的には、記憶部７２は、記憶装置を有する。記憶装置は、例えば、半導体メモリ（半導体記憶装置）を含む。記憶部７２は、半導体メモリとして、例えば、ＲＡＭ及びＲＯＭを含んでもよい。記憶部７２は、半導体メモリとして、ＶＲＡＭを更に含んでもよい。また、記憶部７２は、ストレージデバイスを有してもよい。記憶部７２は、ストレージデバイスとして、例えば、ＨＤＤとＳＳＤとのうちの少なくとも一方を含んでもよい。
【0086】
本実施形態において、記憶部７２は、訓練データ（学習用データセット）を記憶する。具体的には、記憶部７２は、各被験者から取得された連続フレーム（運動タスクフレーム群及びデュアルタスクフレーム群）を、各被験者に割り当てられた識別情報に関連付けて記憶する。記憶部７２は更に、入力部７１から入力された各被験者のラベルデータを、各被験者の識別情報に関連付けて記憶する。記憶部７２は、例えば、訓練データのデータベースを記憶してもよい。なお、同一の被験者から得られる複数のデータは、異なるデータとして管理される。
【0087】
処理部７３は、記憶部７２に記憶された各種のコンピュータプログラムを実行することによって、数値計算や情報処理、機器制御のような様々な処理を行う。処理部７３は、プロセッサを有する。プロセッサは、例えば、ＣＰＵ又はＭＰＵを含む。
【0088】
具体的には、処理部７３は、入力部７１から入力されたラベルデータを被験者の識別情報に関連付けて記憶部７２に記憶させる。また、処理部７３は、図２及び図３を参照して説明したようにタスク提示部１０に各種画面を表示させて、動作検出部２０の出力から連続フレーム（運動タスクフレーム群及びデュアルタスクフレーム群）を取得し、取得した連続フレームを被験者の識別情報に関連付けて記憶部７２に記憶させる。この結果、訓練データが記憶部７２に記憶される。
【0089】
処理部７３は、記憶部７２に記憶された訓練データを評価部４０に出力する。本実施形態では、評価部４０は、ミニバッチ学習を行う。したがって、処理部７３は、ミニバッチ学習用の訓練データを生成して評価部４０に出力する。バッチサイズは、例えば「８」に設定される。
【0090】
続いて、図８を参照して、モデル生成システム２００を説明する。図８は、本実施形態の認知機能評価システム１００に含まれる第１ニューラルネットワークＮＷ１の訓練時における評価部４０の構成を示すブロック図である。図８に示すように、評価部４０は、入力部４３を更に備える。
【0091】
入力部４３は、作業者によって操作されて、処理部４２に対して様々な情報を入力する。入力部４３は、例えば、キーボード、マウス、及びタッチパネルのような入力機器を含む。例えば、作業者は、入力部４３を操作して、第１損失関数Ｌ１、及び学習率を入力する。例えば、エポック数（学習回数）を「５０」に設定する場合、初期の学習率を「０．０１」に設定して、エポック１３、エポック２５、及びエポック３７の各時点で学習率を０．１倍してもよい。
【0092】
訓練時（学習時）に、記憶部４１は、学習用プログラムＴＰを記憶する。学習用プログラムＴＰは、訓練データの中から一定の規則を見出し、その規則を表現するモデル（機械学習モデルＭＬ）を生成するためのアルゴリズムを実行するためのプログラムである。
【0093】
処理部４２は、第１損失関数Ｌ１及び学習率を学習用プログラムＴＰに与えた後、データ収集部７０から取得した訓練データ（ミニバッチ学習用の訓練データ）を用いて、学習用プログラムＴＰを実行する。訓練データには、各被験者の運動タスクフレーム群、デュアルタスクフレーム群、及びラベルデータが含まれる。この結果、学習用プログラムＴＰによって構築されるニューラルネットワークが訓練されて、機械学習モデルＭＬが生成される。具体的には、処理部４２は、第１ニューラルネットワークＮＷ１に含まれる複数のパラメータの値（パラメータ値）を、第１損失関数Ｌ１を最小値にする値に決定する。例えば、処理部４２は、誤差逆伝播学習法のアルゴリズムに基づいて、第１ニューラルネットワークＮＷ１のパラメータ値を決定してもよい。
【0094】
ここで、第１損失関数Ｌ１について説明する。第１損失関数Ｌ１は、陽性を正しく認識できる割合を示す感度Ｐ１と、陰性を正しく認識できる割合を示す特異度Ｐ２との和（Ｐ１＋Ｐ２）を最適化する損失関数を示す。処理部４２は、第１損失関数Ｌ１に基づいて、第１ニューラルネットワークＮＷ１のパラメータ値を決定する。換言すると、第１ニューラルネットワークＮＷ１のパラメータ値は、第１損失関数Ｌ１に基づいて決定されている。感度Ｐ１は、下記式（３）で表すことができる。特異度Ｐ２は、下記式（４）で表すことができる。
感度Ｐ１＝ＮTP／ＮP＝ＮTP／（ＮTP＋ＮFN）・・・（３）
特異度Ｐ２＝ＮTN／ＮN＝ＮTN／（ＮFP＋ＮTN）・・・（４）
感度Ｐ１＝ＮTP／ＮP＝ＮTP／（ＮTP＋ＮFN）・・・（３）
特異度Ｐ２＝ＮTN／ＮN＝ＮTN／（ＮFP＋ＮTN）・・・（４）
【0095】
上記の式（３）及び式（４）において、ＮPは陽性のサンプル数を示し、ＮNは陰性のサンプル数を示し、ＮTPは正しく分類された陽性のサンプル数を示し、ＮTNは正しく分類された陰性のサンプル数を示し、ＮFPは偽陽性のサンプル数を示し、ＮFNは偽陰性のサンプル数を示す。
【0096】
具体的には、処理部４２は、勾配法によって第１損失関数Ｌ１の最小値を探索する。すなわち、処理部４２は、第１損失関数Ｌ１を偏微分することにより、第１損失関数Ｌ１の最小値を探索する。本実施形態では、処理部４２は、下記式（５）～式（８）に基づいて勾配を算出する。式（５）は第１損失関数Ｌ１を示し、式（６）は、式（５）を偏微分した式である。式（７）は「重み」を示す。
【数3】
【数4】
【数5】
【数6】
【0097】
式（５）～式（７）において、ＮPは、ミニバッチに含まれる陽性のサンプル数を示し、ＮNは、ミニバッチに含まれる陰性のサンプル数を示す。したがって、重みｗ（ＮP、ＮN）は、ミニバッチに含まれる陽性及び陰性のそれぞれのサンプル数の調和平均を示す。また、ＳP及びＳNはそれぞれ、ミニバッチに含まれる陽性及び陰性の指数を示す。式（８）に示すように、ｆ（ｓi）は、スカラー値ｓを変数とするシグモイド関数である。なお、ｓiは、ｉ番目のサンプルであることを示す。式（５）及び式（６）において、「ｆ（ｓi）」は、ｉ番目のサンプルが陽性である確率を示し、「１－ｆ（ｓi）」は、ｉ番目のサンプルが陰性である確率を示す。「ｆ（ｓi）」には陽性のスカラー値ｓ１が代入される。「１－ｆ（ｓi）」には陰性のスカラー値ｓ２が代入される。
【0098】
なお、式（５）は、下記式（９）に示す損失関数Ｌを対数化して、重みｗ（ＮP、ＮN）を付与した式である。
【数7】
【0099】
式（９）は、下記式（１０）及び式（１１）を含む。式（１０）は、スカラー値ｓを変数とするシグモイド関数を用いて感度Ｐ１を緩和する式を示す。式（１１）は、スカラー値ｓを変数とするシグモイド関数を用いて特異度Ｐ２を緩和する式を示す。
【数8】
【数9】
【0100】
したがって、上記式（５）は、感度Ｐ１と特異度Ｐ２との和（Ｐ１＋Ｐ２）を含む損失関数を示し、上記式（６）に基づいて、上記式（５）に示す損失関数の最小値を探索することにより、感度Ｐ１と特異度Ｐ２との和（Ｐ１＋Ｐ２）を最適化するパラメータ値を決定することができる。更に、上記式（５）によれば、勾配が消失しないので、誤差逆伝播学習法を用いた学習を行うことができる。また、上記式（７）に示す重みを導入することにより、陽性のサンプル数と陰性のサンプル数とが不均衡であっても、その影響を緩和することができる。
【0101】
以上、図６～図８を参照して説明したように、第１ニューラルネットワークＮＷ１の訓練方法（学習方法）は、被験者が陽性であるか陰性であるかを示すラベルデータと、運動タスクフレーム群と、デュアルタスクフレーム群とを含む訓練データを第１ニューラルネットワークＮＷ１に入力し、第１損失関数Ｌ１に基づいて第１ニューラルネットワークＮＷ１のパラメータ値を調整するステップを含む。この訓練方法によれば、感度Ｐ１と特異度Ｐ２との和（Ｐ１＋Ｐ２）が最適化されるように第１ニューラルネットワークＮＷ１が訓練される。その結果、第１ニューラルネットワークＮＷ１により、評価対象者ＳＪの認知機能をより一層精度よく評価することが可能になる。
【0102】
なお、本実施形態において、認知機能評価システム１００は、評価対象者ＳＪにタスクセットを１回遂行させたが、認知機能評価システム１００は、評価対象者ＳＪにタスクセットを２回以上連続で遂行させてもよい。
【0103】
また、本実施形態において、認知機能評価システム１００は、評価対象者ＳＪに運動タスク（シングルタスク）とデュアルタスクとをこの順に遂行させたが、運動タスク（シングルタスク）とデュアルタスクとを評価対象者ＳＪに遂行させる順序は入れ替え可能である。
【0104】
また、本実施形態において、認知機能評価システム１００は、評価対象者ＳＪに運動タスク（シングルタスク）とデュアルタスクとを遂行させたが、認知機能評価システム１００は、評価対象者ＳＪに、知能タスク（シングルタスク）と、運動タスク（シングルタスク）と、デュアルタスクとを含むタスクセットを遂行させてもよい。知能タスク（シングルタスク）は、デュアルタスクの知能タスクと同じ知能問題（又は認知問題）を評価対象者ＳＪに課すタスクであってもよいし、デュアルタスクの知能タスクとは異なる知能問題（又は認知問題）を評価対象者ＳＪに課すタスクであってもよい。知能タスク（シングルタスク）と、運動タスク（シングルタスク）と、デュアルタスクとを評価対象者ＳＪに遂行させる順序は任意である。
【0105】
また、本実施形態の認知機能評価システム１００は、評価対象者ＳＪの認知機能を分類したが、認知機能評価システム１００は、評価対象者ＳＪの認知機能スコアを判定してもよい。認知機能スコアは、例えば、ＭＭＳＥ（Ｍｉｎｉ Ｍｅｎｔａｌ Ｓｔａｔｅ Ｅｘａｍｉｎａｔｉｏｎ）スコア又は長谷川式簡易知能評価スケールのような一般的な知能評価スケールである。ＭＭＳＥスコアを用いた診断では、ＭＭＳＥスコアが２３点以下の場合に認知症の疑いありと判断され、ＭＭＳＥスコアが２３点より高く２７点以下である場合に軽度認知障害の疑いありと判断される。また、ＭＭＳＥスコアが２７点より高い場合に非認知症と判断される。この場合、データ収集部７０は、ラベルデータとして、各被験者の認知機能スコアを収集する。認知機能スコアは、各被験者に事前にペーパーテスト（例えば、ＭＭＳＥのペーパーテスト）を実施してもらうことで取得することができる。
【0106】
また、本実施形態では、医師による確定診断の結果に基づいて、陽性を示すラベルデータと、陰性を示すラベルデータとを入力したが、認知機能スコアが閾値以下の被験者に対して、陽性を示すラベルデータを入力し、認知機能スコアが閾値より大きい被験者に対して、陰性を示すラベルデータを入力してもよい。具体的には、評価対象者ＳＪを、認知症のクラス、又は軽度認知障害と非認知症とを含むクラスに分類する機械学習モデルＭＬ（第１ニューラルネットワークＮＷ１）を生成する場合、ＭＭＳＥスコアが２３点以下の被験者に対して、陽性を示すラベルデータを入力し、ＭＭＳＥスコアが２３点より大きい被験者に対して、陰性を示すラベルデータを入力してもよい。評価対象者ＳＪを、認知症と軽度認知障害とを含むクラス、又は非認知症のクラスに分類する機械学習モデルＭＬ（第１ニューラルネットワークＮＷ１）を生成する場合、ＭＭＳＥスコアが２７点以下の被験者に対して、陽性を示すラベルデータを入力し、ＭＭＳＥスコアが２７点より大きい被験者に対して、陰性を示すラベルデータを入力してもよい。
【0107】
また、本実施形態では、式（５）～式（１１）を参照して説明した損失関数（第１損失関数Ｌ１）を用いて第１ニューラルネットワークＮＷ１のパラメータ値を決定したが、損失関数は第１損失関数Ｌ１に限定されない。損失関数は、平均二乗誤差（ＭＳＥ）、平均絶対誤差（ＭＡＥ）、平均二乗誤差の平方根（ＲＭＳＥ）、平均二乗対数誤差（ＭＳＬＥ）、Ｈｕｂｅｒ損失、ポアソン損失、ヒンジ損失、及びカルバック－ライブラー情報量（ＫＬＤ）等の公知の損失関数であってもよい。
【0108】
［実施形態２］
続いて図９を参照して本発明の実施形態２について説明する。但し、実施形態１と異なる事項を説明し、実施形態１と同じ事項についての説明は割愛する。実施形態２は、機械学習モデルＭＬが第２ニューラルネットワークＮＷ２を構築する点で実施形態１と異なる。
続いて図９を参照して本発明の実施形態２について説明する。但し、実施形態１と異なる事項を説明し、実施形態１と同じ事項についての説明は割愛する。実施形態２は、機械学習モデルＭＬが第２ニューラルネットワークＮＷ２を構築する点で実施形態１と異なる。
【0109】
図９は、本実施形態の認知機能評価システム１００に含まれる機械学習モデルＭＬによって構築される第２ニューラルネットワークＮＷ２を示す図である。第２ニューラルネットワークＮＷ２は、例えば、ディープラーニングを行うニューラルネットワークである。
【0110】
図９に示すように、機械学習モデルＭＬは第２ニューラルネットワークＮＷ２を構築する。したがって、評価部４０は、第２ニューラルネットワークＮＷ２を含む。第２ニューラルネットワークＮＷ２は、第１動作特徴抽出部２ａと、第２動作特徴抽出部２ｂと、第１変換部３ａと、第２変換部３ｂと、出力部４とを含む。第２ニューラルネットワークＮＷ２の出力部４は、結合部４１１と、分類部４１２と、取得部４１３とを含む。
【0111】
取得部４１３は、第１動作特徴抽出部２ａにより抽出された第１動作特徴と、第２動作特徴抽出部２ｂにより抽出された第２動作特徴との差を示す特徴差を演算して取得する。出力部４は、第１動作特徴、第２動作特徴、及び特徴差に基づいて評価データを出力する。第１動作特徴と第２動作特徴との差（特徴差）は、デュアルタスク遂行時の評価対象者ＳＪの動作特徴と、運動タスク遂行時の評価対象者ＳＪの動作特徴との差異を示す。
【0112】
具体的には、取得部４１３は、特徴差として、第１埋込特徴ｈｓと第２埋込特徴ｈｄとの差ｈｃを算出する。以下、第１埋込特徴ｈｓと第２埋込特徴ｈｄとの差ｈｃを、「デュアルタスクコストｈｃ」と記載する場合がある。例えば、取得部４１３は、以下の式（１２）に基づいて、デュアルタスクコストｈｃを算出してもよい。
ｈｃ＝第２埋込特徴ｈｄ－第１埋込特徴ｈｓ・・・（１２）
ｈｃ＝第２埋込特徴ｈｄ－第１埋込特徴ｈｓ・・・（１２）
【0113】
結合部４１１は、第１埋込特徴ｈｓと、第２埋込特徴ｈｄと、デュアルタスクコストｈｃとを結合して、スカラー値ｓを出力する。分類部４１２は、スカラー値ｓに基づいて、評価対象者ＳＪの認知機能を陽性又は陰性に分類する。例えば、スカラー値ｓは、以下の式（１３）で表すことができる。
【数10】
【0114】
式（１３）において、ｂはバイアス項を示し、Ｗは完全結合層（ＦＣ）の重み行列を示す。
【0115】
以上、図９を参照して本発明の実施形態２を説明した。実施形態２によれば、実施形態１と同様に、限られた特徴に基づいて評価対象者ＳＪの認知機能を評価するシステムと比べて、評価対象者ＳＪの認知機能をより精度よく評価することができる。
【0116】
更に、実施形態２によれば、認知機能評価システム１００は、第１動作特徴（第１埋込特徴ｈｓ）と第２動作特徴（第２埋込特徴ｈｄ）との差（デュアルタスクコストｈｃ）を用いて、評価対象者ＳＪの認知機能を評価することができる。つまり、運動タスク遂行時の評価対象者ＳＪの動作特徴（第１動作特徴）と、デュアルタスク遂行時の評価対象者ＳＪの動作特徴（第２動作特徴）との差異を識別要素として活用して、評価対象者ＳＪの認知機能を評価することができる。この結果、評価対象者ＳＪの認知機能をより一層精度よく評価することができる。
【0117】
具体的には、評価対象者ＳＪの認知機能が低いほど、特徴差（デュアルタスクコストｈｃ）が大きくなる。これは、デュアルタスク遂行時の脳の負担が運動タスク遂行時と比べて大きくなるためである。例えば、運動タスク（シングルタスク）及びデュアルタスクにおいて評価対象者ＳＪに課される運動（第１運動及び第２運動）が足踏みである場合、評価対象者ＳＪの認知機能が低いほど、デュアルタスク遂行時に、運動タスク遂行時と比べて足踏み速度が遅くなったり、身体のバランスが崩れたりする。したがって、運動タスク遂行時の評価対象者ＳＪの動作特徴（第１動作特徴）と、デュアルタスク遂行時の評価対象者ＳＪの動作特徴（第２動作特徴）との差異を識別要素として活用することにより、評価対象者ＳＪの認知機能をより一層精度よく評価することができる。
【0118】
また、運動タスク遂行時の評価対象者ＳＪの動作特徴（第１動作特徴）と、デュアルタスク遂行時の評価対象者ＳＪの動作特徴（第２動作特徴）との差異を識別要素として活用することにより、各評価対象者ＳＪの身体能力の差異（個人差）の影響を抑制して、評価対象者ＳＪの認知機能を評価することができる。
【0119】
［実施形態３］
続いて図９及び図１０を参照して本発明の実施形態３について説明する。但し、実施形態１、２と異なる事項を説明し、実施形態１、２と同じ事項についての説明は割愛する。実施形態３は、第２ニューラルネットワークＮＷ２のパラメータ値が実施形態１、２と異なる。具体的には、実施形態３は、第２ニューラルネットワークＮＷ２のパラメータ値の決定方法が実施形態１、２と異なる。つまり、実施形態３は、第２ニューラルネットワークＮＷ２の訓練方法（学習方法）が実施形態１、２と異なる。
続いて図９及び図１０を参照して本発明の実施形態３について説明する。但し、実施形態１、２と異なる事項を説明し、実施形態１、２と同じ事項についての説明は割愛する。実施形態３は、第２ニューラルネットワークＮＷ２のパラメータ値が実施形態１、２と異なる。具体的には、実施形態３は、第２ニューラルネットワークＮＷ２のパラメータ値の決定方法が実施形態１、２と異なる。つまり、実施形態３は、第２ニューラルネットワークＮＷ２の訓練方法（学習方法）が実施形態１、２と異なる。
【0120】
図１０は、本実施形態の認知機能評価システム１００に含まれる第２ニューラルネットワークＮＷ２の訓練時における評価部４０の構成を示すブロック図である。図１０に示すように、実施形態３では、損失関数として、第１損失関数Ｌ１と第２損失関数Ｌ２とが用いられる。したがって、第２ニューラルネットワークＮＷ２のパラメータ値は、第１損失関数Ｌ１と、第２損失関数Ｌ２とに基づいて決定される。より具体的には、損失関数として、第１損失関数Ｌ１と第２損失関数Ｌ２とを組み合わせた第３損失関数Ｌｔが用いられる。第２損失関数Ｌ２は、第１動作特徴抽出部２ａにより抽出された第１動作特徴と、第２動作特徴抽出部２ｂにより抽出された第２動作特徴との差（特徴差）を最大化する損失関数を示す。本実施形態では、第２損失関数Ｌ２は、デュアルタスクコストｈｃを最大化する。
【0121】
詳しくは、処理部４２は、第３損失関数Ｌｔ及び学習率を学習用プログラムＴＰに与えた後、データ収集部７０から取得した訓練データ（ミニバッチ学習用の訓練データ）を用いて、学習用プログラムＴＰを実行する。訓練データには、各被験者の運動タスクフレーム群、デュアルタスクフレーム群、及びラベルデータが含まれる。この結果、学習用プログラムＴＰによって構築されるニューラルネットワークが訓練されて、機械学習モデルＭＬが生成される。具体的には、処理部４２は、第２ニューラルネットワークＮＷ２に含まれる複数のパラメータの値（パラメータ値）を、第１損失関数Ｌ１を最小値にするとともに、第２損失関数Ｌ２を最小値にする値に決定する。例えば、処理部４２は、誤差逆伝播学習法のアルゴリズムに基づいて、第２ニューラルネットワークＮＷ２のパラメータ値を決定してもよい。
【0122】
ここで、第２損失関数Ｌ２について説明する。第２損失関数Ｌ２は、運動タスク遂行時の評価対象者ＳＪの動作特徴（第１動作特徴）と、デュアルタスク遂行時の評価対象者ＳＪの動作特徴（第２動作特徴）との差異を最大化する。本実施形態では、第２損失関数Ｌ２は、デュアルタスクコストｈｃを最大化する。第２損失関数Ｌ２は、例えば、以下の式（１４）で表される。
【数11】
【0123】
式（１４）において、転置行列式Ｈｓの複数の行は第１埋込特徴ｈｓを表し、行列式Ｈｄの複数の行は第２埋込特徴ｈｄを表す。式（１４）に示すように、第２ニューラルネットワークＮＷ２のパラメータ値を決定する際に、第２損失関数Ｌ２により、第１埋込特徴ｈｓ（ベクトル）及び第２埋込特徴ｈｄ（ベクトル）に対して直交化制約を課してもよい。つまり、第２損失関数Ｌ２により、第１埋込特徴ｈｓ（ベクトル）及び第２埋込特徴ｈｄ（ベクトル）に対し、それらの内積が「０」になるような制約を課してもよい。この結果、第２損失関数Ｌ２により、デュアルタスクコストｈｃを最大化するパラメータ値が決定される。
【0124】
続いて、第３損失関数Ｌｔを説明する。第３損失関数Ｌｔは、例えば、以下の式（１５）で表すことができる。
Ｌｔ＝Ｌ１＋αＬ２・・・（１５）
Ｌｔ＝Ｌ１＋αＬ２・・・（１５）
【0125】
式（１５）において、αはハイパーパラメータであり、第１損失関数Ｌ１と第２損失関数Ｌ２とを調和させるための係数である。係数αを適切な値に設定することにより、機械学習モデルＭＬ（第２ニューラルネットワークＮＷ２）を最適化することができる。
【0126】
以上、図９及び図１０を参照して説明したように、第２ニューラルネットワークＮＷ２の訓練方法（学習方法）は、被験者が陽性であるか陰性であるかを示すラベルデータと、運動タスクフレーム群と、デュアルタスクフレーム群とを含む訓練データを第２ニューラルネットワークＮＷ２に入力し、第１損失関数Ｌ１と第２損失関数Ｌ２とに基づいて第２ニューラルネットワークＮＷ２のパラメータ値を調整するステップを含む。この訓練方法によれば、感度Ｐ１と特異度Ｐ２との和（Ｐ１＋Ｐ２）が最適化されるとともに、運動タスク遂行時の評価対象者ＳＪの動作特徴（第１動作特徴）と、デュアルタスク遂行時の評価対象者ＳＪの動作特徴（第２動作特徴）との差異が最大化されるように第２ニューラルネットワークＮＷ２が訓練される。その結果、第２ニューラルネットワークＮＷ２により、評価対象者ＳＪの認知機能をより一層精度よく評価することが可能になる。
【0127】
具体的には、第２損失関数Ｌ２により、運動タスク遂行時の評価対象者ＳＪの動作特徴（第１動作特徴）と、デュアルタスク遂行時の評価対象者ＳＪの動作特徴（第２動作特徴）との差異が最大化される。換言すると、運動タスク遂行時の評価対象者ＳＪの動作特徴（第１動作特徴）と、デュアルタスク遂行時の評価対象者ＳＪの動作特徴（第２動作特徴）との差異が強調される。既に説明したように、運動タスク遂行時の評価対象者ＳＪの動作特徴（第１動作特徴）と、デュアルタスク遂行時の評価対象者ＳＪの動作特徴（第２動作特徴）との差異を識別要素として活用することにより、認知機能の評価精度を高めることができる。したがって、運動タスク遂行時の評価対象者ＳＪの動作特徴（第１動作特徴）と、デュアルタスク遂行時の評価対象者ＳＪの動作特徴（第２動作特徴）との差異を強調することで、認知機能の評価精度をより高めることができる。
【0128】
［実施形態４］
続いて図１１～図１３を参照して本発明の実施形態４について説明する。但し、実施形態１～３と異なる事項を説明し、実施形態１～３と同じ事項についての説明は割愛する。実施形態４は、知能問題（又は認知問題）に対する評価対象者ＳＪの回答の特徴が評価対象者ＳＪの認知機能の評価に用いられる点で実施形態１～３と異なる。
続いて図１１～図１３を参照して本発明の実施形態４について説明する。但し、実施形態１～３と異なる事項を説明し、実施形態１～３と同じ事項についての説明は割愛する。実施形態４は、知能問題（又は認知問題）に対する評価対象者ＳＪの回答の特徴が評価対象者ＳＪの認知機能の評価に用いられる点で実施形態１～３と異なる。
【0129】
図１１は、本実施形態の認知機能評価システム１００を示す図である。図１２は、本実施形態の認知機能評価システム１００の構成を示すブロック図である。詳しくは、図１２は、評価部４０の構成を示す。図１１及び図１２に示すように、本実施形態の認知機能評価システム１００は、回答検出部３０を更に備える。
【0130】
回答検出部３０は、タスクセットを遂行している評価対象者ＳＪによる知能問題（又は認知問題）に対する回答を検出する。回答検出部３０は、例えば、左手用の回答スイッチ（図示せず）と、右手用の回答スイッチ（図示せず）とを含む。
【0131】
本実施形態では、回答検出部３０は、デュアルタスクを遂行している評価対象者ＳＪによる知能問題（又は認知問題）に対する回答を検出する。処理部４２は、動作検出部２０から出力された複数のフレーム（連続フレーム）を機械学習モデルＭＬに入力する。更に、処理部４２は、回答検出部３０によって検出された回答から特徴を抽出して、抽出した回答の特徴を機械学習モデルＭＬに入力する。本実施形態において、機械学習モデルＭＬは、動作検出部２０から出力される複数のフレーム（連続フレーム）と、回答検出部３０によって検出される回答とに基づいて、評価対象者ＳＪの認知機能を評価する。
【0132】
詳しくは、処理部４２は、回答検出部３０によって検出された回答に基づき、回答の特徴として、回答速度及び正答率を算出する。回答速度は、評価対象者ＳＪが単位時間当たりに回答した回数を示す。単位時間は、例えば、１秒である。正答率は、回答数と正答数との比を示す。回答数は、評価対象者ＳＪが回答した回数を示す。正答数は、正解の回答数を示す。
【0133】
回答速度は、デュアルタスク遂行時間に対して算出される。すなわち、回答速度は、デュアルタスクの遂行時に評価対象者ＳＪが回答した回数をデュアルタスク遂行時間で除算することによって算出される。同様に、正答率は、デュアルタスクの遂行時に評価対象者ＳＪが回答した回数と、デュアルタスクの遂行時に提示された問題に対して評価対象者ＳＪが正解した回数との比を示す。
【0134】
なお、回答の特徴は、回答速度及び正答率に限定されない。例えば、回答の特徴は、回答速度及び正答率のうちの一方のみであってもよい。あるいは、回答の特徴は、回答速度及び正答率に替えて、又は、回答速度及び正答率に加えて、回答数、正答数、平均回答時間間隔、及び回答時間間隔の標準偏差のうちの少なくとも１つを含んでもよい。ここで、回答時間間隔は、図２（ｃ）及び図３を参照して説明した回答候補提示画面１３ｂがタスク提示部１０によって提示されてから評価対象者ＳＪが回答スイッチを押すまでに要した時間間隔を示す。以下、タスクセットを評価対象者ＳＪが遂行することによって取得される回答の特徴を「回答特徴データ」と記載する場合がある。
【0135】
続いて、図１３を参照して、機械学習モデルＭＬを説明する。図１３は、本実施形態の認知機能評価システム１００に含まれる機械学習モデルＭＬによって構築される第３ニューラルネットワークＮＷ３を示す図である。第３ニューラルネットワークＮＷ３は、例えば、ディープラーニングを行うニューラルネットワークである。
【0136】
図１３に示すように、機械学習モデルＭＬは第３ニューラルネットワークＮＷ３を構築する。したがって、評価部４０は、第３ニューラルネットワークＮＷ３を含む。第３ニューラルネットワークＮＷ３は、第１動作特徴抽出部２ａと、第２動作特徴抽出部２ｂと、第１変換部３ａと、第２変換部３ｂと、出力部４と、畳み込み部５とを含む。
【0137】
畳み込み部５は、回答特徴データを畳み込む。畳み込み部５は、例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を含む。出力部４は、第１動作特徴と、第２動作特徴と、知能問題（又は認知問題）に対する評価対象者ＳＪの回答の特徴とに基づいて評価データを出力する。本実施形態では、出力部４は、結合部４１１と、分類部４１２と、取得部４１３とを含む。結合部４１１は、第１埋込特徴ｈｓと、第２埋込特徴ｈｄと、デュアルタスクコストｈｃと、畳み込まれた回答特徴データとを結合して、スカラー値ｓを出力する。
【0138】
第３ニューラルネットワークＮＷ３を訓練する際には、図６及び図７を参照して説明したデータ収集部７０が、回答検出部３０の出力から回答の特徴を抽出して収集する。したがって、訓練データには、回答特徴データが更に含まれる。
【0139】
具体的には、データ収集部７０の処理部７３が、入力部７１から入力されたラベルデータと、動作検出部２０の出力から取得した連続フレーム（運動タスクフレーム群及びデュアルタスクフレーム群）と、回答検出部３０の出力から取得した回答特徴データとを被験者の識別情報に関連付けて記憶部７２に記憶させる。この結果、訓練データが記憶部７２に記憶される。
【0140】
以上、図１１～図１３を参照して本発明の実施形態４を説明した。実施形態４によれば、実施形態１～３と同様に、限られた特徴に基づいて評価対象者ＳＪの認知機能を評価するシステムと比べて、評価対象者ＳＪの認知機能をより精度よく評価することができる。また、実施形態４によれば、評価対象者ＳＪの動作の特徴に加えて、知能問題（又は認知問題）に対する評価対象者ＳＪの回答の特徴を用いて、評価対象者ＳＪの認知機能を評価することができる。したがって、認知機能の評価の精度をより高めることができる。
【0141】
なお、タスクセットに知能タスク（シングルタスク）が含まれる場合、回答検出部３０は、知能タスク（シングルタスク）を遂行している評価対象者ＳＪの回答を更に検出してもよい。この場合、回答速度は、知能タスク遂行時間とデュアルタスク遂行時間との合計時間に対して算出される。すなわち、回答速度は、知能タスク（シングルタスク）の遂行時に評価対象者ＳＪが回答した回数と、デュアルタスクの遂行時に評価対象者ＳＪが回答した回数との合計値を、知能タスク遂行時間とデュアルタスク遂行時間との合計時間で除算することによって算出される。知能タスク遂行時間は、評価対象者ＳＪに知能タスク（シングルタスク）を遂行させる時間を示す。知能タスク遂行時間の長さは、任意である。知能タスク遂行時間は、例えば、３０秒である。
【0142】
同様に、正答率は、知能タスク（シングルタスク）の遂行時に評価対象者ＳＪが回答した回数と、デュアルタスクの遂行時に評価対象者ＳＪが回答した回数との合計値と、知能タスク（シングルタスク）の遂行時に提示された問題に対して評価対象者ＳＪが正解した回数と、デュアルタスクの遂行時に提示された問題に対して評価対象者ＳＪが正解した回数との合計値との比を示す。
【0143】
また、本実施形態において、第３ニューラルネットワークＮＷ３の出力部４には取得部４１３が含まれたが、取得部４１３は省略されてもよい。
【0144】
以上、図面（図１～図１３）を参照して本発明の実施形態について説明した。ただし、本発明は、上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲で種々の態様において実施できる。また、上記の実施形態に開示される複数の構成要素は適宜改変可能である。例えば、ある実施形態に示される全構成要素のうちのある構成要素を別の実施形態の構成要素に追加してもよく、又は、ある実施形態に示される全構成要素のうちのいくつかの構成要素を実施形態から削除してもよい。
【0145】
図面は、発明の理解を容易にするために、それぞれの構成要素を主体に模式的に示しており、図示された各構成要素の厚さ、長さ、個数、間隔等は、図面作成の都合上から実際とは異なる場合もある。また、上記の実施形態で示す各構成要素の構成は一例であって、特に限定されるものではなく、本発明の効果から実質的に逸脱しない範囲で種々の変更が可能であることは言うまでもない。
【0146】
例えば、図１～図１３を参照して説明した実施形態では、出力部４が分類部４１２を含むが、分類部４１２は省略されてもよい。この場合、機械学習モデルＭＬ（第１ニューラルネットワークＮＷ１、第２ニューラルネットワークＮＷ２、又は第３ニューラルネットワークＮＷ３）からスカラー値ｓが出力される。評価部４０の処理部４２は、機械学習モデルＭＬから出力されたスカラー値ｓに基づいて、評価対象者ＳＪの認知機能を分類してもよい。
【0147】
また、図１～図１３を参照して説明した実施形態において、認知機能評価システム１００は、評価対象者ＳＪを、認知症のクラス、又は軽度認知障害と非認知症とを含むクラスに分類するか、評価対象者ＳＪを、認知症と軽度認知障害とを含むクラス、又は非認知症のクラスに分類したが、認知機能評価システム１００は、評価対象者ＳＪを、認知症のクラス、軽度認知障害のクラス、又は非認知症のクラスに分類してもよい。つまり、図１～図１３を参照して説明した実施形態において、認知機能評価システム１００は、各評価対象者ＳＪの認知機能を２つのクラスに分類したが、認知機能評価システム１００は、各評価対象者ＳＪの認知機能を３つのクラスに分類してもよい。
【0148】
また、本実施形態の認知機能評価システム１００は、各評価対象者ＳＪの認知機能を２つのクラスに分類したが、認知機能評価システム１００は、各評価対象者ＳＪの認知機能を４つ以上のクラスに分類してもよい。例えば、認知機能評価システム１００は、各評価対象者ＳＪを、認知症のタイプ別に分類してもよい。認知症のタイプには、アルツハイマー型認知症、血管性認知症、レビー小体型認知症、前頭側頭型認知症、及び正常圧水頭症等が含まれる。例えば、認知機能評価システム１００は、各評価対象者ＳＪの認知機能を、アルツハイマー型認知症のクラスと、レビー小体型認知症のクラスと、軽度認知障害のクラスと、非認知症のクラスとに分類してもよい。この場合、第１ニューラルネットワークＮＷ１、第２ニューラルネットワークＮＷ２、及び第３ニューラルネットワークＮＷ３の訓練時（学習時）に、ラベルデータ（目的関数）として、アルツハイマー型認知症を示すラベルデータと、レビー小体型認知症を示すラベルデータと、軽度認知障害を示すラベルデータと、非認知症を示すラベルデータとが処理部７３に入力される。
【0149】
【0150】
また、図１～図１３を参照して説明した実施形態において、認知機能評価システム１００は、タスクセットを遂行している評価対象者ＳＪ及び被験者による知能問題（又は認知問題）に対する回答を検出する機器（回答検出部３０）として、左手用の回答スイッチと、右手用の回答スイッチとを有したが、回答を検出する機器（回答検出部３０）は、回答スイッチに限定されない。例えば、認知機能評価システム１００は、回答を検出する機器（回答検出部３０）として、視線方向検出装置、又は集音器を有してもよい。
【0151】
視線方向検出装置を用いる場合、例えば、図２（ｃ）及び図３に示す回答候補提示画面１３ｂに対して評価対象者ＳＪ及び被験者が視線を向けた方向に基づいて、評価対象者ＳＪ及び被験者の回答を取得することができる。視線方向検出装置には、公知の視線方向検出技術を採用できる。例えば、視線方向検出装置は、近赤外ＬＥＤ及び撮像装置を含む。近赤外ＬＥＤは、評価対象者ＳＪ及び被験者の目に近赤外線を照射する。撮像装置は、評価対象者ＳＪ及び被験者の目を撮像する。処理部４２及び処理部７３は、撮像装置によって撮像された画像を解析して、評価対象者ＳＪ及び被験者の瞳孔の位置（視線の方向）を検出する。
【0152】
集音器を用いる場合、例えば、図２（ｃ）及び図３に示す回答候補提示画面１３ｂに対して評価対象者ＳＪ及び被験者が発生した音声に基づいて、評価対象者ＳＪ及び被験者の回答を取得することができる。例えば、処理部４２及び処理部７３は、評価対象者ＳＪ及び被験者が発生した音声を音声認識処理によってテキストデータに変換することにより、評価対象者ＳＪ及び被験者の回答を取得することができる。
【0153】
なお、集音器を用いる場合、認知問題は、２つの回答の候補のうちの一方を評価対象者ＳＪ及び被験者に選択させる問題に限定されない。例えば、評価対象者ＳＪ及び被験者に計算問題の回答を答えさせてもよい。また、集音器を用いる場合、認知問題は、言葉を回答する問題であってもよい。言葉を回答する問題は、例えば、「しりとり問題」、「五十音のうちから任意に選択された音（文字）から始まる言葉（例えば、単語）を挙げていく問題」、あるいは、「アルファベットのうちから任意に選択された文字から始まる言葉（例えば、単語）を挙げていく問題」であってもよい。
【0154】
【産業上の利用可能性】
【0155】
本発明は、認知症や軽度認知障害の診断に利用することができる。
【符号の説明】
【0156】
２ａ ：第１動作特徴抽出部
２ｂ ：第２動作特徴抽出部
４ ：出力部
２０ ：動作検出部
４０ ：評価部
１００ ：認知機能評価システム
４１３ ：取得部
Ｌ１ ：第１損失関数
Ｌ２ ：第２損失関数
ＭＬ ：機械学習モデル
ＮＷ１ ：第１ニューラルネットワーク
ＮＷ２ ：第２ニューラルネットワーク
ＮＷ３ ：第３ニューラルネットワーク
ＳＪ ：評価対象者
ｈｃ ：デュアルタスクコスト
ｈｄ ：第２埋込特徴
ｈｓ ：第１埋込特徴
２ｂ ：第２動作特徴抽出部
４ ：出力部
２０ ：動作検出部
４０ ：評価部
１００ ：認知機能評価システム
４１３ ：取得部
Ｌ１ ：第１損失関数
Ｌ２ ：第２損失関数
ＭＬ ：機械学習モデル
ＮＷ１ ：第１ニューラルネットワーク
ＮＷ２ ：第２ニューラルネットワーク
ＮＷ３ ：第３ニューラルネットワーク
ＳＪ ：評価対象者
ｈｃ ：デュアルタスクコスト
ｈｄ ：第２埋込特徴
ｈｓ ：第１埋込特徴
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】