▶ 地方独立行政法人東京都健康長寿医療センターの特許一覧 ▶ 飯塚 友道の特許一覧 ▶ 亀山 祐美の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023144244
(43)【公開日】2023-10-11
(54)【発明の名称】疾患該当性判定プログラム及び疾患該当性判定装置
(51)【国際特許分類】
A61B 10/00 20060101AFI20231003BHJP
G06T 7/00 20170101ALI20231003BHJP
【ＦＩ】
A61B10/00 H
G06T7/00 660A
【審査請求】未請求
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2022051137
(22)【出願日】2022-03-28
(71)【出願人】
【識別番号】509111744
【氏名又は名称】地方独立行政法人東京都健康長寿医療センター
(71)【出願人】
【識別番号】522123005
【氏名又は名称】飯塚 友道
(71)【出願人】
【識別番号】522123016
【氏名又は名称】亀山 祐美
(74)【代理人】
【識別番号】100150876
【弁理士】
【氏名又は名称】松山 裕一郎
(72)【発明者】
【氏名】亀山征史
(72)【発明者】
【氏名】飯塚友道
(72)【発明者】
【氏名】亀山祐美
(72)【発明者】
【氏名】秋下雅弘
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA06
5L096BA06
5L096BA18
5L096DA01
5L096DA02
5L096FA02
5L096FA09
5L096GA51
5L096HA11
5L096KA04
5L096KA15
(57)【要約】
【課題】非侵襲的で、安価で簡単に、しかも正確に認知症判定ができる認知症判定装置及び認知症判定プログラムを提供すること。
【解決手段】コンピュータに以下の各ステップを実行させて、被験者の疾患該当性を判定するプログラムであって、該ステップが、事前に取得したデフォルトの笑顔の顔写真データを用いて、疾患発症者における重み付けした特徴点のデータＸを取得する特徴点取得ステップ、被験者の顔写真データから、上記重み付けした特徴点に相当するデータＡを取得する判別用データ取得ステップ、及び上記データＡと上記データＸとを対比して、被験者の疾患該当性を判定する判定ステップ、である疾患該当性判定プログラム、及び当該疾患該当性判定プログラムが格納されてなるコンピュータを具備する疾患該当性判定装置。
【選択図】図２
【解決手段】コンピュータに以下の各ステップを実行させて、被験者の疾患該当性を判定するプログラムであって、該ステップが、事前に取得したデフォルトの笑顔の顔写真データを用いて、疾患発症者における重み付けした特徴点のデータＸを取得する特徴点取得ステップ、被験者の顔写真データから、上記重み付けした特徴点に相当するデータＡを取得する判別用データ取得ステップ、及び上記データＡと上記データＸとを対比して、被験者の疾患該当性を判定する判定ステップ、である疾患該当性判定プログラム、及び当該疾患該当性判定プログラムが格納されてなるコンピュータを具備する疾患該当性判定装置。
【選択図】図２
【特許請求の範囲】
【請求項1】
コンピュータに以下の各ステップを実行させて、被験者の疾患該当性を判定するプログラムであって、
該ステップが、
事前に取得したデフォルトの笑顔の顔写真データを用いて、疾患発症者における重み付けした特徴点のデータＸを取得する特徴点取得ステップ、
被験者の顔写真データから、上記重み付けした特徴点に相当するデータＡを取得する判別用データ取得ステップ、及び
上記データＡと上記データＸとを対比して、被験者の疾患該当性を判定する判定ステップ、
である疾患該当性判定プログラム。
該ステップが、
事前に取得したデフォルトの笑顔の顔写真データを用いて、疾患発症者における重み付けした特徴点のデータＸを取得する特徴点取得ステップ、
被験者の顔写真データから、上記重み付けした特徴点に相当するデータＡを取得する判別用データ取得ステップ、及び
上記データＡと上記データＸとを対比して、被験者の疾患該当性を判定する判定ステップ、
である疾患該当性判定プログラム。
【請求項2】
上記判定ステップは、上記データＡの特定値が０．５以上であるか否かで判定を行う請求項１記載のプログラム。
【請求項3】
上記特徴点は、目及び口の状態に関するものである請求項１記載のプログラム。
【請求項4】
笑顔の顔写真データにおいては目を重み付けした上記特徴点として用いる請求項１記載のプログラム。
【請求項5】
請求項１記載の疾患該当性判定プログラムが格納されてなる１又は複数のコンピュータと、
上記コンピュータに所定のデータを入力する入力手段と、
上記コンピュータによる判定結果を出力する出力機器と
を具備する疾患該当性判定装置。
上記コンピュータに所定のデータを入力する入力手段と、
上記コンピュータによる判定結果を出力する出力機器と
を具備する疾患該当性判定装置。
【請求項6】
上記判別用データ取得ステップを行う上記コンピュータは、
被験者に上記コンピュータとの会話を行わせるための質疑応答機能、又は被験者に映像を見せる映像表示機能を付加されている
請求項５記載の疾患該当性判定装置。
被験者に上記コンピュータとの会話を行わせるための質疑応答機能、又は被験者に映像を見せる映像表示機能を付加されている
請求項５記載の疾患該当性判定装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、非侵襲的で、安価で簡単に、しかも正確に認知症判定等の疾患該当性判定ができる疾患該当性判定装置及び疾患該当性判定プログラムに関するものである。
【背景技術】
【0002】
疾患該当性、例えば認知症の診断には様々な方法があり、アミロイドＰＥＴや脳脊髄液バイオマーカー等が提案されている。しかし、アミロイドＰＥＴは非常に高額であるし放射線被ばくという侵襲的なデメリットもある。脳脊髄液バイオマーカーは、脊髄腔に針を刺すため非常に侵襲的である。このため、非侵襲的で、安価で簡単な認知症診断補助方法が要望されており、種々提案がなされている。
例えば、特許文献１には、判定精度を向上した認知症検査システムが提案されている。具体的には、特許文献１に提案されている認知症検査システムは、被験者の視覚及び聴覚の少なくとも一方に働きかけて当該被験者に情報を伝達する情報伝達部と、情報が伝達された被験者の反応を測定する測定部と、測定部の測定結果に基づいて異なる複数の特徴量を算出するとともに当該特徴量に基づいて被験者が認知症であるか否かを判定する制御部と、を備える。測定部が、被験者が発する音声を集音する集音部を備えており、制御部が、少なくとも、被験者が発する音声の音響的な特徴量である少なくとも１つの音響特徴量と、被験者が発する音声の言語的な特徴量である少なくとも１つの言語特徴量と、に基づいて、被験者が認知症であるか否かを判定する。
特許文献２には、対象者の生理状態を容易に判定するための生理状態判定装置及び生理状態判定方法を提案されている。具体的には、特許文献２に提案されている生理状態判定装置は、顔面変化情報取得部と、顔面変化情報分解部と、生理状態判定部と、を備える。顔面変化情報取得部は、対象者の顔面データの時系列変化を示す顔面変化情報を取得する。顔面変化情報分解部は、顔面変化情報を、特異値分解、主成分分析或いは独立成分分析により複数の成分に分解する。生理状態判定部は、複数の成分から抽出された判定用成分に基づいて、対象者の精神又は身体の生理状態を判定する。
特許文献３には、患者自身に心理的な抵抗感を持たせることなく、高精度な認知症診断を実現し得る認知症診断装置が提案されている。具体的には、被検者と質問者の会話に係る音声データを取得する音声取得部と、前記音声データの音声解析を行って、前記質問者が発話する発話区間における質問内容の種別を特定すると共に、当該発話区間に続いて前記被検者が発話する発話区間における応答特徴を抽出する音声解析部と、学習済みの識別器に対して、前記被検者の前記応答特徴を前記質問内容の種別と関連付けて入力し、前記被検者の認知症レベルを算出する認知症レベル算出部と、を備え、前記識別器は、前記被検者の前記応答特徴が前記質問内容の種別と関連付けて入力された際に、所定の認知症レベル決定則に則した認知症レベルを出力するように、学習処理が施される装置が低庵されている。
例えば、特許文献１には、判定精度を向上した認知症検査システムが提案されている。具体的には、特許文献１に提案されている認知症検査システムは、被験者の視覚及び聴覚の少なくとも一方に働きかけて当該被験者に情報を伝達する情報伝達部と、情報が伝達された被験者の反応を測定する測定部と、測定部の測定結果に基づいて異なる複数の特徴量を算出するとともに当該特徴量に基づいて被験者が認知症であるか否かを判定する制御部と、を備える。測定部が、被験者が発する音声を集音する集音部を備えており、制御部が、少なくとも、被験者が発する音声の音響的な特徴量である少なくとも１つの音響特徴量と、被験者が発する音声の言語的な特徴量である少なくとも１つの言語特徴量と、に基づいて、被験者が認知症であるか否かを判定する。
特許文献２には、対象者の生理状態を容易に判定するための生理状態判定装置及び生理状態判定方法を提案されている。具体的には、特許文献２に提案されている生理状態判定装置は、顔面変化情報取得部と、顔面変化情報分解部と、生理状態判定部と、を備える。顔面変化情報取得部は、対象者の顔面データの時系列変化を示す顔面変化情報を取得する。顔面変化情報分解部は、顔面変化情報を、特異値分解、主成分分析或いは独立成分分析により複数の成分に分解する。生理状態判定部は、複数の成分から抽出された判定用成分に基づいて、対象者の精神又は身体の生理状態を判定する。
特許文献３には、患者自身に心理的な抵抗感を持たせることなく、高精度な認知症診断を実現し得る認知症診断装置が提案されている。具体的には、被検者と質問者の会話に係る音声データを取得する音声取得部と、前記音声データの音声解析を行って、前記質問者が発話する発話区間における質問内容の種別を特定すると共に、当該発話区間に続いて前記被検者が発話する発話区間における応答特徴を抽出する音声解析部と、学習済みの識別器に対して、前記被検者の前記応答特徴を前記質問内容の種別と関連付けて入力し、前記被検者の認知症レベルを算出する認知症レベル算出部と、を備え、前記識別器は、前記被検者の前記応答特徴が前記質問内容の種別と関連付けて入力された際に、所定の認知症レベル決定則に則した認知症レベルを出力するように、学習処理が施される装置が低庵されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2018－15139号公報
【特許文献2】特開2017－153938号公報
【特許文献3】特開2019－84249号公報
【非特許文献】
【0004】
【非特許文献1】日本認知症学会学術集会 利益相反開示 ２０１９年１１月８日、タイトル「DEEP LEARNING を用いた顔写真からの認知症早期発見の検討」
【非特許文献2】Umeda-Kameyama Y, Kameyama M, Tanaka T, Son BK, Kojima T, Fukasawa M, Iizuka T, Ogawa S, Iijima K, Akishita M. Screening of Alzheimer’s disease by facial complexion using artificial intelligence. Aging (Albany NY). 2021 Jan 25；13(2)：1765-1772. Doi: 10.18632/aging.202545. Epub 2021 Jan 25.
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上述の提案にかかる装置等では、未だ十分な正確性をもって認知症の判断ができていなかった。
本発明者らは、これらの提案の問題点を解消するために、非特許文献１及び２において、顔をＡＩで判断させることで簡易に認知症判定ができる方法を提案しているが、より正確に判定できる手法の開発が要望されていた。
したがって、本発明の目的は、非侵襲的で、安価で簡単に、しかも正確に認知症判定ができる疾患該当性判定装置及び疾患該当性判定プログラムを提供することにある。
本発明者らは、これらの提案の問題点を解消するために、非特許文献１及び２において、顔をＡＩで判断させることで簡易に認知症判定ができる方法を提案しているが、より正確に判定できる手法の開発が要望されていた。
したがって、本発明の目的は、非侵襲的で、安価で簡単に、しかも正確に認知症判定ができる疾患該当性判定装置及び疾患該当性判定プログラムを提供することにある。
【課題を解決するための手段】
【0006】
本発明者らは、上記課題を解消すべく鋭意検討した結果、単なる顔データだけではなく、顔データとして通常状態と笑顔の２つを利用することで上記目的を達成し得ることを知見し、本発明を完成するに至った。
すなわち、本発明は以下の各発明を提供するものである。
１．コンピュータに以下の各ステップを実行させて、被験者の疾患該当性を判定するプログラムであって、
該ステップが、
事前に取得したデフォルトの笑顔の顔写真データを用いて、疾患発症者における重み付けした特徴点のデータＸを取得する特徴点取得ステップ、
被験者の顔写真データから、上記重み付けした特徴点に相当するデータＡを取得する判別用データ取得ステップ、及び
上記データＡと上記データＸとを対比して、被験者の疾患該当性を判定する判定ステップ、
である疾患該当性判定プログラム。
２．上記判定ステップは、上記データＡの特定値が０．５以上であるか否かで判定を行う１記載のプログラム。
３．上記特徴点は、目及び口の状態に関するものである１記載のプログラム。
４．笑顔の顔写真データにおいては目を重み付けした上記特徴点として用いる１記載のプログラム。
５．１記載の疾患該当性判定プログラムが格納されてなる１又は複数のコンピュータと、
上記コンピュータに所定のデータを入力する入力手段と、
上記コンピュータによる判定結果を出力する出力機器と
を具備する疾患該当性判定装置。
６．上記判別用データ取得ステップを行う上記コンピュータは、
被験者に上記コンピュータとの会話を行わせるための質疑応答機能、又は被験者に映像を見せる映像表示機能を付加されている５記載の疾患該当性判定装置。
すなわち、本発明は以下の各発明を提供するものである。
１．コンピュータに以下の各ステップを実行させて、被験者の疾患該当性を判定するプログラムであって、
該ステップが、
事前に取得したデフォルトの笑顔の顔写真データを用いて、疾患発症者における重み付けした特徴点のデータＸを取得する特徴点取得ステップ、
被験者の顔写真データから、上記重み付けした特徴点に相当するデータＡを取得する判別用データ取得ステップ、及び
上記データＡと上記データＸとを対比して、被験者の疾患該当性を判定する判定ステップ、
である疾患該当性判定プログラム。
２．上記判定ステップは、上記データＡの特定値が０．５以上であるか否かで判定を行う１記載のプログラム。
３．上記特徴点は、目及び口の状態に関するものである１記載のプログラム。
４．笑顔の顔写真データにおいては目を重み付けした上記特徴点として用いる１記載のプログラム。
５．１記載の疾患該当性判定プログラムが格納されてなる１又は複数のコンピュータと、
上記コンピュータに所定のデータを入力する入力手段と、
上記コンピュータによる判定結果を出力する出力機器と
を具備する疾患該当性判定装置。
６．上記判別用データ取得ステップを行う上記コンピュータは、
被験者に上記コンピュータとの会話を行わせるための質疑応答機能、又は被験者に映像を見せる映像表示機能を付加されている５記載の疾患該当性判定装置。
【発明の効果】
【0007】
本発明の疾患該当性判定装置は、非侵襲的で、安価で簡単に、しかも正確に認知症判定等の疾患該当性が判定できるものである。また、本発明の疾患該当性判定プログラムは、本発明の疾患該当性判定装置を提供可能なものである。
【図面の簡単な説明】
【0008】
【符号の説明】
【0009】
１ 認知症判定装置、１０ コンピュータ、１１ メモリ、１３ ＣＰＵ、１５ 記憶媒体
【発明を実施するための形態】
【0010】
以下、図面を参照して本発明の好ましい実施形態を詳細に説明する。
なお、以下の説明においては、疾患として、認知症を例示して説明する。本発明において疾患は、認知症に限定されるものではなく、パーキンソン病、レビー、うつ病等種々顔面に影響の生じる疾患が挙げられる。
本実施形態の疾患該当性判定装置としての認知症判定装置１は、図１に示すように、後述する本実施形態の認知症判定プログラムが格納されてなる１又は複数のコンピュータ１０と、
コンピュータに所定のデータを入力する入力手段２０と、
コンピュータによる判定結果を出力する出力手段３０とを具備する。
なお、以下の説明においては、疾患として、認知症を例示して説明する。本発明において疾患は、認知症に限定されるものではなく、パーキンソン病、レビー、うつ病等種々顔面に影響の生じる疾患が挙げられる。
本実施形態の疾患該当性判定装置としての認知症判定装置１は、図１に示すように、後述する本実施形態の認知症判定プログラムが格納されてなる１又は複数のコンピュータ１０と、
コンピュータに所定のデータを入力する入力手段２０と、
コンピュータによる判定結果を出力する出力手段３０とを具備する。
【0011】
〔コンピュータ〕
本実施形態において用いられるコンピュータ１０は、具体的には、図１に示すように、中央演算処理装置（ＣＰＵ）１３、一時記憶領域としてのメモリ１１、及びハードディスクやソリッドステートデバイス等の不揮発性の記憶媒体１５を含む。本発明において、「コンピュータ」としては、通常のパーソナルコンピュータの他、サーバー、いわゆるスマートフォンやタブレット端末のような携帯端末も用いることができる。そして、後述するプログラムのうち、特徴点取得ステップを行うためのコンピュータと、それ以外のステップを行うコンピュータとを別のものにすることもできる。例えば、特徴点取得ステップを行うためのコンピュータをパーソナルコンピュータ又はサーバーとし、それ以外のステップを行うコンピュータをタブレットとする等である。もちろん、すべてのステップを行うことができるように、一つのコンピューターに後述する本発明のプログラムのすべてのステップを実行させるようにしてもよい。
本実施形態におけるコンピュータは、特に図示しないが、通信デバイスを有し、ネットワークを介しての通信が可能であるのが好ましい。通信を行うことでネットワーク上に置かれたデータベースを有するサーバーに接続し、データベースから随時更新されたデータを入手するように設定することもできる。
また、本実施形態のコンピュータ、特に特徴点取得ステップを行うためのコンピュータには、特に図示ないが、ＧＰＵ（グラフィックスプロセッシングユニット）も実装されているのが好ましい。
本実施形態においては、このコンピュータの記憶媒体１５に後述する本実施形態のプログラムが格納されて、当該コンピュータを、認知症の判定手段として機能させる。
〔入力手段〕
入力手段２０としては、特に図示しないが、キーボード、マウス、カメラなどの画像入力装置、マイクなどの音声入力装置、ブルートゥース（登録商標）等の通信機器による通信入力装置等が用いられる。これらにより適宜必要なデータ及び情報を入力することができる。
本実施形態においては、特にカメラが重要な入力手段であり、カメラで撮影した被験者の顔写真を用いて、データの蓄積及び判定を行う。
〔出力手段〕
出力手段３０としては、評価結果を表示するディスプレイ、または印刷するプリンター等が用いられる。かかる出力手段により、判定結果を所望の形態で出力して、被験者やデータを活用する医師等の利用者の利用に供する。
〔他の機能の付与〕
本実施形態の認知症判定装置１は、上記入力手段として、少なくとも音声入力装置及び画像入力装置を有し、且つ出力手段として、少なくともディスプレイ及び音声出力用のスピーカーを有するのが好ましい。そして、上記コンピュータは、後述するプログラムが、当該コンピュータに、被験者に上記コンピュータとの会話を行わせるための質疑応答機能、又は被験者に映像を見せる映像表示機能を付加する、笑顔創造ステップを実行させるように構成されているのが好ましい。この笑顔創造ステップについては、後述する。
ここで、質疑応答機能及び映像表示機能は、いずれも被験者に笑顔を作ってもらうためのものである。笑顔の定義については後述する。
質疑応答機能は、出力手段により、被験者への質問を提示して、被験者に回答してもらうことにより、被験者が笑顔になりやすい環境を作り、自然な笑顔を取得するものである。用意する質問としては、被験者ごとの個別具体的なものでも一般的なものでもよい。
また、映像表示機能は、出力手段により、リラックスできる映像や笑みが生じやすい映像を流すことにより、被験者の自然な笑顔を取得できるようにするものである。
＜他の部材（デバイス）＞
本実施形態の装置は、上述した各デバイス以外に必要に応じて種々デバイスを含むことができる。
本実施形態において用いられるコンピュータ１０は、具体的には、図１に示すように、中央演算処理装置（ＣＰＵ）１３、一時記憶領域としてのメモリ１１、及びハードディスクやソリッドステートデバイス等の不揮発性の記憶媒体１５を含む。本発明において、「コンピュータ」としては、通常のパーソナルコンピュータの他、サーバー、いわゆるスマートフォンやタブレット端末のような携帯端末も用いることができる。そして、後述するプログラムのうち、特徴点取得ステップを行うためのコンピュータと、それ以外のステップを行うコンピュータとを別のものにすることもできる。例えば、特徴点取得ステップを行うためのコンピュータをパーソナルコンピュータ又はサーバーとし、それ以外のステップを行うコンピュータをタブレットとする等である。もちろん、すべてのステップを行うことができるように、一つのコンピューターに後述する本発明のプログラムのすべてのステップを実行させるようにしてもよい。
本実施形態におけるコンピュータは、特に図示しないが、通信デバイスを有し、ネットワークを介しての通信が可能であるのが好ましい。通信を行うことでネットワーク上に置かれたデータベースを有するサーバーに接続し、データベースから随時更新されたデータを入手するように設定することもできる。
また、本実施形態のコンピュータ、特に特徴点取得ステップを行うためのコンピュータには、特に図示ないが、ＧＰＵ（グラフィックスプロセッシングユニット）も実装されているのが好ましい。
本実施形態においては、このコンピュータの記憶媒体１５に後述する本実施形態のプログラムが格納されて、当該コンピュータを、認知症の判定手段として機能させる。
〔入力手段〕
入力手段２０としては、特に図示しないが、キーボード、マウス、カメラなどの画像入力装置、マイクなどの音声入力装置、ブルートゥース（登録商標）等の通信機器による通信入力装置等が用いられる。これらにより適宜必要なデータ及び情報を入力することができる。
本実施形態においては、特にカメラが重要な入力手段であり、カメラで撮影した被験者の顔写真を用いて、データの蓄積及び判定を行う。
〔出力手段〕
出力手段３０としては、評価結果を表示するディスプレイ、または印刷するプリンター等が用いられる。かかる出力手段により、判定結果を所望の形態で出力して、被験者やデータを活用する医師等の利用者の利用に供する。
〔他の機能の付与〕
本実施形態の認知症判定装置１は、上記入力手段として、少なくとも音声入力装置及び画像入力装置を有し、且つ出力手段として、少なくともディスプレイ及び音声出力用のスピーカーを有するのが好ましい。そして、上記コンピュータは、後述するプログラムが、当該コンピュータに、被験者に上記コンピュータとの会話を行わせるための質疑応答機能、又は被験者に映像を見せる映像表示機能を付加する、笑顔創造ステップを実行させるように構成されているのが好ましい。この笑顔創造ステップについては、後述する。
ここで、質疑応答機能及び映像表示機能は、いずれも被験者に笑顔を作ってもらうためのものである。笑顔の定義については後述する。
質疑応答機能は、出力手段により、被験者への質問を提示して、被験者に回答してもらうことにより、被験者が笑顔になりやすい環境を作り、自然な笑顔を取得するものである。用意する質問としては、被験者ごとの個別具体的なものでも一般的なものでもよい。
また、映像表示機能は、出力手段により、リラックスできる映像や笑みが生じやすい映像を流すことにより、被験者の自然な笑顔を取得できるようにするものである。
＜他の部材（デバイス）＞
本実施形態の装置は、上述した各デバイス以外に必要に応じて種々デバイスを含むことができる。
【0012】
〔プログラム〕
本実施形態のプログラムは、コンピュータに格納されて、当該コンピュータに以下の各ステップを実行させて、被験者が認知症であるか否かを判定するプログラムである。
上記ステップは、図２に示すように、
事前に取得したデフォルトの顔写真データを用いて、認知症発症者における重み付けした特徴点のデータＸを取得する特徴点取得ステップ（Ｓ１）、
被験者の顔写真データから、上記重み付けした特徴点に相当するデータＡを取得する判別用データ取得ステップ（Ｓ２）、及び
上記データＡと上記データＸとを対比して、被験者が認知症に該当するか否かを判定する判定ステップ（Ｓ３）、である。
本実施形態のプログラムは、コンピュータに格納されて、当該コンピュータに以下の各ステップを実行させて、被験者が認知症であるか否かを判定するプログラムである。
上記ステップは、図２に示すように、
事前に取得したデフォルトの顔写真データを用いて、認知症発症者における重み付けした特徴点のデータＸを取得する特徴点取得ステップ（Ｓ１）、
被験者の顔写真データから、上記重み付けした特徴点に相当するデータＡを取得する判別用データ取得ステップ（Ｓ２）、及び
上記データＡと上記データＸとを対比して、被験者が認知症に該当するか否かを判定する判定ステップ（Ｓ３）、である。
【0013】
〔前処理ステップ（Ｓ０２）〕
本実施形態のプログラムにおいては、まずデフォルトの顔写真データを取得し、上記記憶媒体に格納する。
ここで、顔写真データとしては、通常時の顔写真と、笑顔の顔写真とを取得する。笑顔の顔写真とは、写真を撮るときに「笑って」と指示して撮ったものを意味し、通常時の顔写真とは、写真を撮るときに何も指示せず又は単に「撮影します」等特別な指示ではない通常の声がけにて撮影したものを意味する。なお、後述するように、「笑って」の指示の代わりに動画や音声を被験者に示して自然と笑顔になるように仕向けることで笑顔の顔写真を取得しても良い。また、顔写真データとしては、正面から及び斜め前方から撮影した、通常時の顔写真と笑顔の顔写真とを取得するのが好ましい。また、「特別な指示ではない通常の声がけ」としては、「ポーカーフェイスで」「笑わずに」「証明写真のように」等笑わっていない写真が撮影できるような声がけが含まれる。
なお、笑顔には、被験者に笑顔になるように指示して被験者自身で作った笑顔と、会話や映像を見ることで生じる自然な笑顔とがあるが、本発明においてはいずれ好適に用いることができる。人工的な笑顔を作りづらい被験者もいるので後述する笑顔創出ステップを用いて自然な笑顔を取得することもできる。
また、後述するディープラーニングにより学習モデルを得る場合には、顔写真データを学習データセットとして、認知症患者とそれ以外のタグを付けて格納するのが好ましい（図２参照）。
本実施形態のプログラムにおいては、まずデフォルトの顔写真データを取得し、上記記憶媒体に格納する。
ここで、顔写真データとしては、通常時の顔写真と、笑顔の顔写真とを取得する。笑顔の顔写真とは、写真を撮るときに「笑って」と指示して撮ったものを意味し、通常時の顔写真とは、写真を撮るときに何も指示せず又は単に「撮影します」等特別な指示ではない通常の声がけにて撮影したものを意味する。なお、後述するように、「笑って」の指示の代わりに動画や音声を被験者に示して自然と笑顔になるように仕向けることで笑顔の顔写真を取得しても良い。また、顔写真データとしては、正面から及び斜め前方から撮影した、通常時の顔写真と笑顔の顔写真とを取得するのが好ましい。また、「特別な指示ではない通常の声がけ」としては、「ポーカーフェイスで」「笑わずに」「証明写真のように」等笑わっていない写真が撮影できるような声がけが含まれる。
なお、笑顔には、被験者に笑顔になるように指示して被験者自身で作った笑顔と、会話や映像を見ることで生じる自然な笑顔とがあるが、本発明においてはいずれ好適に用いることができる。人工的な笑顔を作りづらい被験者もいるので後述する笑顔創出ステップを用いて自然な笑顔を取得することもできる。
また、後述するディープラーニングにより学習モデルを得る場合には、顔写真データを学習データセットとして、認知症患者とそれ以外のタグを付けて格納するのが好ましい（図２参照）。
【0014】
〔特徴点取得ステップ（Ｓ１）〕
特徴点取得ステップは、前処理ステップにて取得したデフォルトの顔写真データを用いて、認知症発症者における重み付けした特徴点のデータＸを取得するステップである。
ここで、上記特徴点は、目及び口の状態に関するものである、特に、笑顔の顔写真データにおいては目を重み付けした上記特徴点として用いる、更には、笑顔の顔写真データにおいては目を、通常時の顔写真データにおいては口をそれぞれ重み付けした上記特徴点として用いるのが好ましい。
すなわち、本実施形態においては、上記顔写真データから笑顔のデータと通常時のデータとを選別し、選別されたデータにおいて笑顔のデータにおいては目のデータを特徴点として把握し、通常時のデータにおいては口のデータを特徴点として把握する。
特徴点については、目や口の動きが認知症患者とそれ以外の人とでどのように差異があるかを判別して、認知症患者特有の顔の状態を把握（笑顔の検出）することで、上記特徴点を把握し、抽出する。
本実施形態においては、この把握・抽出作業をディープラーニングにより行うことができる。具体的には、ＴｅｎｓｏｒＦｌｏｗ（登録商標）（Ｇｏｏｇｌｅ社が開発したソフトウェアライブラリ。「ＴＥＮＳＯＲＦＬＯＷ」は、登録商標）をバックエンドにしたＫｅｒａｓを用うことができる。そして、顔画像の機械学習が可能なシステム（例えばＶＧＧ－Ｆａｃｅやエクセプション等）により学習させて行うことができる。また、この場合に、笑顔または通常時の写真を４つのデータセットにして学習させるのが好ましい。具体的には、認知症（以下「ＡＤ」）患者の笑顔の写真と通常時の写真、並びに正常認知（以下「ＮＣ」）患者の笑顔の写真と通常時の写真を用いて、ＮＣにおける笑顔と通常時の組み合わせ（データセット１）、ＡＤにおける笑顔と通常時の組み合わせ（データセット２）、ＡＤ及びＮＣ両方における笑顔（データセット３）、ＡＤ及びＮＣ両方における通常時（データセット４）の４つのデータセットを用いるのが好ましい。
本実施形態のディープラーニングにおいて用いられるニューラルネットワークの構成は、公知の技術と同様である。すなわち、ニューラルネットワークは、入力層に入力された情報が、中間層、出力層へと順に伝搬（演算）されることにより、出力層から認知症患者における顔の特徴点を出力する。例えば、中間層は、複数の中間ユニットにより構成されている。そして、入力層の入力ユニットに入力された情報が、夫々の結合係数（図示せず）で重みづけ（積算）されて、中間層の各中間ユニットに入力され、それらが加算されて各中間ユニットの値となる。中間層の各中間ユニットの値は、入出力関数（例えば、シグモイド関数）で非線形変換されて、夫々の結合係数（図示せず）で重みづけ（積算）されて、出力層の出力ユニットに入力され、それらが加算されて出力層の出力ユニットの値（顔における特徴点）となる。更に好ましくは、コンボリューショナルニューラルネットワーク（畳み込みネットワーク、「ＣＮＮ」ともいう）として、好ましくは畳み込み層、活性化またはReLU層、及びプーリング層等を有し、画像データから直接学習するニューラルネットワークを用いることもできる。
すなわち、入力層に顔写真（笑顔及び通常時）と認知症であるか否かのデータを入力手段により入力し、コンピュータに移送する。ついで、移送されたデータを中間層において複数の中間ユニットにより重み付け処理される。最終に出力層にて、重み付けされた値として、顔における特徴点である目と口の特徴点のデータ（学習済モデル）が算出される。
本実施形態においては、上記のディープラーニングにより、笑顔においては目、通常時は口に特徴点が存在することが判明した。すなわち、特徴点としては、認知症患者においては、そうでない人に比して、目における特徴的な差異は笑顔において顕著であり、口における特徴的な差異は通常時において顕著である。
特徴点取得ステップは、前処理ステップにて取得したデフォルトの顔写真データを用いて、認知症発症者における重み付けした特徴点のデータＸを取得するステップである。
ここで、上記特徴点は、目及び口の状態に関するものである、特に、笑顔の顔写真データにおいては目を重み付けした上記特徴点として用いる、更には、笑顔の顔写真データにおいては目を、通常時の顔写真データにおいては口をそれぞれ重み付けした上記特徴点として用いるのが好ましい。
すなわち、本実施形態においては、上記顔写真データから笑顔のデータと通常時のデータとを選別し、選別されたデータにおいて笑顔のデータにおいては目のデータを特徴点として把握し、通常時のデータにおいては口のデータを特徴点として把握する。
特徴点については、目や口の動きが認知症患者とそれ以外の人とでどのように差異があるかを判別して、認知症患者特有の顔の状態を把握（笑顔の検出）することで、上記特徴点を把握し、抽出する。
本実施形態においては、この把握・抽出作業をディープラーニングにより行うことができる。具体的には、ＴｅｎｓｏｒＦｌｏｗ（登録商標）（Ｇｏｏｇｌｅ社が開発したソフトウェアライブラリ。「ＴＥＮＳＯＲＦＬＯＷ」は、登録商標）をバックエンドにしたＫｅｒａｓを用うことができる。そして、顔画像の機械学習が可能なシステム（例えばＶＧＧ－Ｆａｃｅやエクセプション等）により学習させて行うことができる。また、この場合に、笑顔または通常時の写真を４つのデータセットにして学習させるのが好ましい。具体的には、認知症（以下「ＡＤ」）患者の笑顔の写真と通常時の写真、並びに正常認知（以下「ＮＣ」）患者の笑顔の写真と通常時の写真を用いて、ＮＣにおける笑顔と通常時の組み合わせ（データセット１）、ＡＤにおける笑顔と通常時の組み合わせ（データセット２）、ＡＤ及びＮＣ両方における笑顔（データセット３）、ＡＤ及びＮＣ両方における通常時（データセット４）の４つのデータセットを用いるのが好ましい。
本実施形態のディープラーニングにおいて用いられるニューラルネットワークの構成は、公知の技術と同様である。すなわち、ニューラルネットワークは、入力層に入力された情報が、中間層、出力層へと順に伝搬（演算）されることにより、出力層から認知症患者における顔の特徴点を出力する。例えば、中間層は、複数の中間ユニットにより構成されている。そして、入力層の入力ユニットに入力された情報が、夫々の結合係数（図示せず）で重みづけ（積算）されて、中間層の各中間ユニットに入力され、それらが加算されて各中間ユニットの値となる。中間層の各中間ユニットの値は、入出力関数（例えば、シグモイド関数）で非線形変換されて、夫々の結合係数（図示せず）で重みづけ（積算）されて、出力層の出力ユニットに入力され、それらが加算されて出力層の出力ユニットの値（顔における特徴点）となる。更に好ましくは、コンボリューショナルニューラルネットワーク（畳み込みネットワーク、「ＣＮＮ」ともいう）として、好ましくは畳み込み層、活性化またはReLU層、及びプーリング層等を有し、画像データから直接学習するニューラルネットワークを用いることもできる。
すなわち、入力層に顔写真（笑顔及び通常時）と認知症であるか否かのデータを入力手段により入力し、コンピュータに移送する。ついで、移送されたデータを中間層において複数の中間ユニットにより重み付け処理される。最終に出力層にて、重み付けされた値として、顔における特徴点である目と口の特徴点のデータ（学習済モデル）が算出される。
本実施形態においては、上記のディープラーニングにより、笑顔においては目、通常時は口に特徴点が存在することが判明した。すなわち、特徴点としては、認知症患者においては、そうでない人に比して、目における特徴的な差異は笑顔において顕著であり、口における特徴的な差異は通常時において顕著である。
【0015】
〔判定用データ取得ステップ（Ｓ２）〕
判定用データ取得ステップ（Ｓ２）は、被験者の顔写真データから、上記重み付けした特徴点に相当するデータＡを取得するステップである。
このステップは、単に被験者の顔写真データから、笑顔においては目のデータ、通常時においては口のデータを、上記特徴点取得ステップ（Ｓ１）で把握された特徴点データＸに対応させて処理することにより得ることができる。
本ステップも、上述のＶＧＧ－Ｆａｃｅ等の機械学習システムにより学習させて行うことができるが、すでに上記特徴点取得ステップ（Ｓ１）により特徴点が把握されているので、上記特徴点取得ステップ（Ｓ１）により得られた特徴点データに対応させて処理することで、本ステップにおいて所望のデータを得ることができる。
本実施形態においては、後述する判定ステップ（Ｓ３）と一体として行うことができる。
判定用データ取得ステップ（Ｓ２）は、被験者の顔写真データから、上記重み付けした特徴点に相当するデータＡを取得するステップである。
このステップは、単に被験者の顔写真データから、笑顔においては目のデータ、通常時においては口のデータを、上記特徴点取得ステップ（Ｓ１）で把握された特徴点データＸに対応させて処理することにより得ることができる。
本ステップも、上述のＶＧＧ－Ｆａｃｅ等の機械学習システムにより学習させて行うことができるが、すでに上記特徴点取得ステップ（Ｓ１）により特徴点が把握されているので、上記特徴点取得ステップ（Ｓ１）により得られた特徴点データに対応させて処理することで、本ステップにおいて所望のデータを得ることができる。
本実施形態においては、後述する判定ステップ（Ｓ３）と一体として行うことができる。
【0016】
〔判定ステップ（Ｓ３）〕
判定ステップは、上記データＡと上記データＸとを対比して、被験者が認知症に該当するか否かを判定するステップである。本実施形態においては、上記データＡの特定値が０．５以上であるか否かで判定を行う。
本実施形態においては、上記判定用データ所得ステップ（Ｓ２）と判定ステップ（Ｓ３）とを連続して行うのが好ましい。すなわち、ディープラーニングにより被験者の判定を行う場合、上記特徴点取得ステップ（Ｓ１）で得られた学習済モデルを用いて、被験者の顔写真データ（笑顔及び通常時）の特徴点を抽出・把握する。この際、被験者の顔写真データをディープラーニングにより出力する際に、シグモイド関数f(x)=1／1+e-xを用い、この際の特定値が０．５以上であるか否かで判定する。例えば、０．５未満の場合には認知症の可能性低い、０．５以上の場合には認知症の可能性が高い、と判定する。
例えば、上述の判定用データ取得ステップ（Ｓ２）をＶＧＧ－Ｆａｃｅを用いて行った場合、グループベースの１０重クロスバリデーションで判定を行うことができる。学習曲線は２００エポック分作成するなどして行うことができる。各モデルの精度／損失と安定性を考慮して最適なエポック数を決定し、適宜、ＣＮＮ（畳み込みニューラルネットワーク）モデルの診断・予測精度を算出した上で、上述のシグモイド関数により認知症の可能性の判定を行うことができる。
判定ステップは、上記データＡと上記データＸとを対比して、被験者が認知症に該当するか否かを判定するステップである。本実施形態においては、上記データＡの特定値が０．５以上であるか否かで判定を行う。
本実施形態においては、上記判定用データ所得ステップ（Ｓ２）と判定ステップ（Ｓ３）とを連続して行うのが好ましい。すなわち、ディープラーニングにより被験者の判定を行う場合、上記特徴点取得ステップ（Ｓ１）で得られた学習済モデルを用いて、被験者の顔写真データ（笑顔及び通常時）の特徴点を抽出・把握する。この際、被験者の顔写真データをディープラーニングにより出力する際に、シグモイド関数f(x)=1／1+e-xを用い、この際の特定値が０．５以上であるか否かで判定する。例えば、０．５未満の場合には認知症の可能性低い、０．５以上の場合には認知症の可能性が高い、と判定する。
例えば、上述の判定用データ取得ステップ（Ｓ２）をＶＧＧ－Ｆａｃｅを用いて行った場合、グループベースの１０重クロスバリデーションで判定を行うことができる。学習曲線は２００エポック分作成するなどして行うことができる。各モデルの精度／損失と安定性を考慮して最適なエポック数を決定し、適宜、ＣＮＮ（畳み込みニューラルネットワーク）モデルの診断・予測精度を算出した上で、上述のシグモイド関数により認知症の可能性の判定を行うことができる。
【0017】
〔他のステップ〕
また、本発明においては、上述の各ステップの他に以下のステップをコンピュータに実行させるようにプログラムが構成されていても良い。
（出力ステップ、図示せず）
判定結果を上述の出力手段３０に出力する出力ステップを含んでいても良い。
出力形態は特に制限されず、ディスプレイへの出力でもプリントアウトの形態でもよい。
（笑顔創出ステップ（Ｓ０１））
本実施形態の認知症判定装置１が、コンピュータ１０に、被験者に上記コンピュータとの会話を行わせるための質疑応答機能、又は被験者に映像を見せる映像表示機能を付加する、笑顔創造ステップを含んでいても良い。
笑顔創出ステップは、予め、質問事項、会話事項等の音声データ、各種写真や動画等の映像データを、記録媒体に格納しておき、これらをスピーカー又はディスプレイなどの出力手段にて表示させ、マイク、キーボード、タッチパネル等の入力手段にて被験者に入力をしてもらうことで、被験者に音声及び／又は映像に基づく体験をしてもらい、被験者に自然な笑顔を作ってもらう。この際の被験者の様子をカメラ（入力手段）により撮影しておき、笑顔の画像を取得する。
ここで、質問事項や映像は特に制限はなく、人が自然と笑顔になるようなものであればよい。
また、本発明においては、上述の各ステップの他に以下のステップをコンピュータに実行させるようにプログラムが構成されていても良い。
（出力ステップ、図示せず）
判定結果を上述の出力手段３０に出力する出力ステップを含んでいても良い。
出力形態は特に制限されず、ディスプレイへの出力でもプリントアウトの形態でもよい。
（笑顔創出ステップ（Ｓ０１））
本実施形態の認知症判定装置１が、コンピュータ１０に、被験者に上記コンピュータとの会話を行わせるための質疑応答機能、又は被験者に映像を見せる映像表示機能を付加する、笑顔創造ステップを含んでいても良い。
笑顔創出ステップは、予め、質問事項、会話事項等の音声データ、各種写真や動画等の映像データを、記録媒体に格納しておき、これらをスピーカー又はディスプレイなどの出力手段にて表示させ、マイク、キーボード、タッチパネル等の入力手段にて被験者に入力をしてもらうことで、被験者に音声及び／又は映像に基づく体験をしてもらい、被験者に自然な笑顔を作ってもらう。この際の被験者の様子をカメラ（入力手段）により撮影しておき、笑顔の画像を取得する。
ここで、質問事項や映像は特に制限はなく、人が自然と笑顔になるようなものであればよい。
【0018】
〔実施方法・効果〕
本発明の疾患該当性判定プログラム及び疾患該当性判定装置は、以下のようにして使用することができる。
すなわち、上記の認知症判定装置１を用い、上記の疾患該当性判定プログラムを実行させることにより、被験者の疾患該当性（認知症該当性）を判定することができる。
具体的には、事前に笑顔及び通常時の顔のデータを取得する工程、得られた顔のデータから疾患発症者における重み付けした特徴点のデータＸを取得する特徴点取得工程、被験者の顔写真のデータから判定用データであるデータＡを取得するデータ取得工程、データＸとデータＡとの対比を行い、被験者の疾患該当性を判定する判定工程を行うことにより、疾患該当性判定方法を実施して、被験者の疾患該当性を判定できる。
本実施形態の疾患該当性判定プログラム及び疾患該当性判定装置によれば、上述のような工程で被験者の疾患（認知症等）該当性を判定することができる。通常時と笑顔の２種の顔写真を用意又は取得するだけで疾患に該当するか否かを判別する事ができるので、簡易且つ簡便に疾患の判定ができる。また、特別な試験を必要としないので、被験者の負担が少なく、認知症などの被験者にとっても抵抗の強い疾患であっても被験者に嫌がられることなく判定を行うことができ、疾患の早期発見に有用である。
本発明の疾患該当性判定プログラム及び疾患該当性判定装置は、以下のようにして使用することができる。
すなわち、上記の認知症判定装置１を用い、上記の疾患該当性判定プログラムを実行させることにより、被験者の疾患該当性（認知症該当性）を判定することができる。
具体的には、事前に笑顔及び通常時の顔のデータを取得する工程、得られた顔のデータから疾患発症者における重み付けした特徴点のデータＸを取得する特徴点取得工程、被験者の顔写真のデータから判定用データであるデータＡを取得するデータ取得工程、データＸとデータＡとの対比を行い、被験者の疾患該当性を判定する判定工程を行うことにより、疾患該当性判定方法を実施して、被験者の疾患該当性を判定できる。
本実施形態の疾患該当性判定プログラム及び疾患該当性判定装置によれば、上述のような工程で被験者の疾患（認知症等）該当性を判定することができる。通常時と笑顔の２種の顔写真を用意又は取得するだけで疾患に該当するか否かを判別する事ができるので、簡易且つ簡便に疾患の判定ができる。また、特別な試験を必要としないので、被験者の負担が少なく、認知症などの被験者にとっても抵抗の強い疾患であっても被験者に嫌がられることなく判定を行うことができ、疾患の早期発見に有用である。
【0019】
なお、本発明は上述の実施形態に何ら制限されるものではなく、本発明の趣旨を逸脱しない範囲で種々変更可能である。
たとえば、認知症以外の感情・表情に影響がある疾患（例えば、パーキンソン病、レビー、うつ病等）にも適用可能である。
また、特徴点取得ステップから判定ステップまで全部通してディープラーニングにより行うのが好ましいが、特徴点取得ステップにおいて、判定のための閾値の抽出を行い、判定用データ取得ステップで取得したデータＡと、上記閾値とを判定ステップで比較して判定を行うように構成しても良い。
また、上述の実施形態においては、笑顔のデータから特徴点を取得するケースを例示して説明したが、笑顔ではない状態、すなわち通常の状態の顔から特徴点を取得し、これを笑顔のデータと組み合わせて、特徴点を取得し、判定用データを取得し、判定を行うこともできる。
たとえば、認知症以外の感情・表情に影響がある疾患（例えば、パーキンソン病、レビー、うつ病等）にも適用可能である。
また、特徴点取得ステップから判定ステップまで全部通してディープラーニングにより行うのが好ましいが、特徴点取得ステップにおいて、判定のための閾値の抽出を行い、判定用データ取得ステップで取得したデータＡと、上記閾値とを判定ステップで比較して判定を行うように構成しても良い。
また、上述の実施形態においては、笑顔のデータから特徴点を取得するケースを例示して説明したが、笑顔ではない状態、すなわち通常の状態の顔から特徴点を取得し、これを笑顔のデータと組み合わせて、特徴点を取得し、判定用データを取得し、判定を行うこともできる。
【0020】
以下、実施例により本発明を更に詳細に説明するが、本発明はこれらに何ら制限されるものではない。
〔実施例１〕
上述の実施形態に示すプログラムを格納したコンピュータを用い、複十字病院認知症疾患医療センターの認知症（以下「ＡＤ」）患者２８０人および正常認知（以下「ＮＣ」）患者１９０人を対象として、学習済モデルを作成した〔前処理ステップ（Ｓ０２）及び笑顔創出ステップ（Ｓ０１）〕。
ＡＤの該当性は、NINCDS-ADRDA(アメリカ国立神経障害脳卒中研究所、アルツハイマー病関連障害協会の基準)に基づいて診断した。ＡＤの各患者のＨａｃｈｉｎｓｋｉ虚血性スケールは≦４であった。対象者については、全員に正面から及び斜め前方から、通常時の顔写真を撮影するとともに、笑顔の顔写真を撮影した。
〔特徴点取得ステップ（Ｓ１）〕
バイナリー分化のために以下の４つのデータセットを作成した。
ＮＣにおける笑顔と通常時の組み合わせ（データセット１）、ＡＤにおける笑顔と通常時の組み合わせ（データセット２）、ＡＤ及びＮＣ両方における笑顔（データセット３）、ＡＤ及びＮＣ両方における通常時（データセット４）。
笑顔の検出には、転移学習に基づくアプローチを適用した。
ネットワークは、オープンソースのニューラルネットワークライブラリKerasと、シンボリックテンソル操作フレームワークTensorFlow（登録商標）（Google, Mountain View, CA, USA）をバックエンドに、Adam optimizerを使用して構築した。
検出は、ＶＧＧ－Ｆａｃｅにより学習させて行った。ＶＧＧ－Ｆａｃｅ（Visual Geometry Groupが開発したディープニューラルネットワークであり、顔画像に特化させて学習させたもの）により２６０万枚の顔画像で事前学習したＶＧＧ１６で、５つの畳み込み（Ｃｏｎｖ）ブロックからなり、それぞれが２～３層のＣｏｎｖ層とプーリング層で構成されている（以下、このＶＧＧ－Ｆａｃｅを「ＶＧＧ－ＦａｃｅＣＮＮ」という場合がある）。最初のＣｏｎｖブロックは、２つのＣｏｎｖ層とＭａｘＰｏｏｌｉｎｇ層をカスケード方式で有する。これらの層の出力が２番目のＣｏｎｖブロックの入力となっていた。例えば、最初のブロックの第１Ｃｏｎｖ層が２２４×２２４のカラー画像に対して、２２４×２２４×３の入力を受けるとする。異なるブロックでの連続した畳み込みとプーリング操作の後、ＶＧＧ－１６モデルの出力のサイズは７×７×５１２になる。これを更に７×７×５１２の線形ベクトルに変換し、２５，０８８の出力を線形演算により１，０００出力のベクトルとして出力し、１２８出力からなる最後層に入力される。これらの入出力により、７つの感情表現に対する最終の出力は７であった。オプティマイザとしてのＡｄａｍの設定とパラメータは、学習率０．００００１、β １＝０．９，β２＝０．９９９，＝Ｎｏｎｅ,ｄｅｃａｙ＝０．０;ａｍｓｇｒａｄ ＝Ｆａｌｓｅであった。トレーニング画像データは、以下の条件で補強した。回転範囲：１５、高さシフト範囲：０．０３、幅シフト範囲：０．０３、せん断範囲：５、ズーム範囲：０．１、水平反転：真、垂直反転：偽、輝度範囲：０．３～１．０、チャンネルシフト範囲：５、とした。
ＶＧＧ－Ｆａｃｅの最初の４つのＣｏｎｖブロックは微調整のために図３に示すように凍結した。次にＣｏｎｖブロック５を笑顔または通常時の写真の４つの上記データセットで学習させた。これにより、特徴点データであるデータＸを取得した。
〔判定用データ取得ステップ（Ｓ２）及び判定ステップ（Ｓ３）〕
ＶＧＧ－Ｆａｃｅによる判定用データであるデータＡの取得と判定とは、特別に被験者を用意せず、グループベースの１０重クロスバリデーションを行うことで、代替した。学習曲線は２００エポック分作成した。各モデルの精度/損失と安定性を考慮して最適なエポック数を決定し、グループベース１０重クロスバリデーションによりＣＮＮ（畳み込みニューラルネットワーク）モデルの診断・予測精度を算出した。
本実施例のように、４つのデータサブセットとＶＧＧ－ＦａｃｅＣＮＮとの組み合わせにより、出力予測値に逆シグモイド関数を適用して得られる情報量は以下の通りであった。
顔画像（データセット１）の笑顔と中立的な表情の２値微分を「笑顔・中立・NCスコア」、ＡＤとＮＣの顔画像（データセット３）の笑顔の微分を「笑顔・ＡＤ・ＮＣスコア」として記載する。また、ＡＤ顔画像とＮＣ顔画像におけるニュートラルな表情の２値微分（データセット４）を「ニュートラル－ＡＤ／ＮＣスコア」として表現する。これらのスコアは、出力予測値に逆シグモイド関数を適用することで得られた。１０重クロスバリデーションにより、上記スコアの感度、特異度、精度、および受信者動作特性（ＲＯＣ）曲線下面積（ＡＵＣ）を算出した。
笑顔の写真を笑顔と識別する割合は、ＮＣ（データセット１）で９１．６％、ＡＤ（データセット２）で６７．１％であり、ＡＤ群ではかなりの割合で笑顔を作ることが困難であることが示唆された。その後、笑顔のあるＡＤ群に笑顔／通常時－ＮＣスコアを適用したところ、４８．６％が陰性と分類された。この結果から、笑顔の画像データが笑顔であると認識するかを見ることで、高確率で認知症の判定が可能である事がわかる。
別に目視での判定を行ったところ、ＮＣ群の笑顔写真の６９．５％でDuchenneの笑顔を目視で判定した。これらの笑顔の平均笑顔・ニュートラル・ＮＣスコアは３．８９（ＳＤ,０．５９）と高い値であった。このグループの非デュシェンヌの笑顔は、平均ポジティブスマイル／ニュートラル－ＮＣスコアが２．１３（ＳＤ, 0.98）であった。このスコアの差は有意であった（ｐ＝０．０００３５）。
また、ＶＧＧ－ＦａｃｅＣＮＮが顔のどの部分を識別するのかを定義するために、Gradient weighted Class Activation Mapping (Ｇｒａｄ－ＣＡＭ)を適用した。ＶＧＧ－Ｆａｃｅは２６０万枚の顔写真で事前に学習させたＶＧＧ１６である。最初の４ブロックを凍結し、５ブロックを転移学習のために用意したデータセットで学習し、その過程をＧｒａｄ－ＣＡＭで可視化した。その結果を図３に示す。ＣＮＮは１ブロック目で顔の輪郭を大まかに捉え、２ブロック目以降で顔の構成要素に着目する。ＣＮＮは５ブロック目のＣｏｎｖ５－１で主に両目と口に着目し、Ｃｏｎｖ５－３で両目と口のどちらかを選択した。Ｇｒａｄ－ＣＡＭは、通常時のＡＤとＮＣにおいて、主に口と口角に着目していた。笑顔のＡＤとＮＣでは、特に笑顔・通常時・ＮＣのスコアが正のものでは、目、目尻、眉毛にヒートマップが頻繁に配置された。これらのことから、通常時の表情においては口元に、笑顔の表情においては目元に着目して判定していることがわかる。
以上の結果から、本発明のプログラムを適用することにより、顔写真を取得するだけで、高確率で認知症の判定が可能であることがわかる。
〔実施例１〕
上述の実施形態に示すプログラムを格納したコンピュータを用い、複十字病院認知症疾患医療センターの認知症（以下「ＡＤ」）患者２８０人および正常認知（以下「ＮＣ」）患者１９０人を対象として、学習済モデルを作成した〔前処理ステップ（Ｓ０２）及び笑顔創出ステップ（Ｓ０１）〕。
ＡＤの該当性は、NINCDS-ADRDA(アメリカ国立神経障害脳卒中研究所、アルツハイマー病関連障害協会の基準)に基づいて診断した。ＡＤの各患者のＨａｃｈｉｎｓｋｉ虚血性スケールは≦４であった。対象者については、全員に正面から及び斜め前方から、通常時の顔写真を撮影するとともに、笑顔の顔写真を撮影した。
〔特徴点取得ステップ（Ｓ１）〕
バイナリー分化のために以下の４つのデータセットを作成した。
ＮＣにおける笑顔と通常時の組み合わせ（データセット１）、ＡＤにおける笑顔と通常時の組み合わせ（データセット２）、ＡＤ及びＮＣ両方における笑顔（データセット３）、ＡＤ及びＮＣ両方における通常時（データセット４）。
笑顔の検出には、転移学習に基づくアプローチを適用した。
ネットワークは、オープンソースのニューラルネットワークライブラリKerasと、シンボリックテンソル操作フレームワークTensorFlow（登録商標）（Google, Mountain View, CA, USA）をバックエンドに、Adam optimizerを使用して構築した。
検出は、ＶＧＧ－Ｆａｃｅにより学習させて行った。ＶＧＧ－Ｆａｃｅ（Visual Geometry Groupが開発したディープニューラルネットワークであり、顔画像に特化させて学習させたもの）により２６０万枚の顔画像で事前学習したＶＧＧ１６で、５つの畳み込み（Ｃｏｎｖ）ブロックからなり、それぞれが２～３層のＣｏｎｖ層とプーリング層で構成されている（以下、このＶＧＧ－Ｆａｃｅを「ＶＧＧ－ＦａｃｅＣＮＮ」という場合がある）。最初のＣｏｎｖブロックは、２つのＣｏｎｖ層とＭａｘＰｏｏｌｉｎｇ層をカスケード方式で有する。これらの層の出力が２番目のＣｏｎｖブロックの入力となっていた。例えば、最初のブロックの第１Ｃｏｎｖ層が２２４×２２４のカラー画像に対して、２２４×２２４×３の入力を受けるとする。異なるブロックでの連続した畳み込みとプーリング操作の後、ＶＧＧ－１６モデルの出力のサイズは７×７×５１２になる。これを更に７×７×５１２の線形ベクトルに変換し、２５，０８８の出力を線形演算により１，０００出力のベクトルとして出力し、１２８出力からなる最後層に入力される。これらの入出力により、７つの感情表現に対する最終の出力は７であった。オプティマイザとしてのＡｄａｍの設定とパラメータは、学習率０．００００１、β １＝０．９，β２＝０．９９９，＝Ｎｏｎｅ,ｄｅｃａｙ＝０．０;ａｍｓｇｒａｄ ＝Ｆａｌｓｅであった。トレーニング画像データは、以下の条件で補強した。回転範囲：１５、高さシフト範囲：０．０３、幅シフト範囲：０．０３、せん断範囲：５、ズーム範囲：０．１、水平反転：真、垂直反転：偽、輝度範囲：０．３～１．０、チャンネルシフト範囲：５、とした。
ＶＧＧ－Ｆａｃｅの最初の４つのＣｏｎｖブロックは微調整のために図３に示すように凍結した。次にＣｏｎｖブロック５を笑顔または通常時の写真の４つの上記データセットで学習させた。これにより、特徴点データであるデータＸを取得した。
〔判定用データ取得ステップ（Ｓ２）及び判定ステップ（Ｓ３）〕
ＶＧＧ－Ｆａｃｅによる判定用データであるデータＡの取得と判定とは、特別に被験者を用意せず、グループベースの１０重クロスバリデーションを行うことで、代替した。学習曲線は２００エポック分作成した。各モデルの精度/損失と安定性を考慮して最適なエポック数を決定し、グループベース１０重クロスバリデーションによりＣＮＮ（畳み込みニューラルネットワーク）モデルの診断・予測精度を算出した。
本実施例のように、４つのデータサブセットとＶＧＧ－ＦａｃｅＣＮＮとの組み合わせにより、出力予測値に逆シグモイド関数を適用して得られる情報量は以下の通りであった。
顔画像（データセット１）の笑顔と中立的な表情の２値微分を「笑顔・中立・NCスコア」、ＡＤとＮＣの顔画像（データセット３）の笑顔の微分を「笑顔・ＡＤ・ＮＣスコア」として記載する。また、ＡＤ顔画像とＮＣ顔画像におけるニュートラルな表情の２値微分（データセット４）を「ニュートラル－ＡＤ／ＮＣスコア」として表現する。これらのスコアは、出力予測値に逆シグモイド関数を適用することで得られた。１０重クロスバリデーションにより、上記スコアの感度、特異度、精度、および受信者動作特性（ＲＯＣ）曲線下面積（ＡＵＣ）を算出した。
笑顔の写真を笑顔と識別する割合は、ＮＣ（データセット１）で９１．６％、ＡＤ（データセット２）で６７．１％であり、ＡＤ群ではかなりの割合で笑顔を作ることが困難であることが示唆された。その後、笑顔のあるＡＤ群に笑顔／通常時－ＮＣスコアを適用したところ、４８．６％が陰性と分類された。この結果から、笑顔の画像データが笑顔であると認識するかを見ることで、高確率で認知症の判定が可能である事がわかる。
別に目視での判定を行ったところ、ＮＣ群の笑顔写真の６９．５％でDuchenneの笑顔を目視で判定した。これらの笑顔の平均笑顔・ニュートラル・ＮＣスコアは３．８９（ＳＤ,０．５９）と高い値であった。このグループの非デュシェンヌの笑顔は、平均ポジティブスマイル／ニュートラル－ＮＣスコアが２．１３（ＳＤ, 0.98）であった。このスコアの差は有意であった（ｐ＝０．０００３５）。
また、ＶＧＧ－ＦａｃｅＣＮＮが顔のどの部分を識別するのかを定義するために、Gradient weighted Class Activation Mapping (Ｇｒａｄ－ＣＡＭ)を適用した。ＶＧＧ－Ｆａｃｅは２６０万枚の顔写真で事前に学習させたＶＧＧ１６である。最初の４ブロックを凍結し、５ブロックを転移学習のために用意したデータセットで学習し、その過程をＧｒａｄ－ＣＡＭで可視化した。その結果を図３に示す。ＣＮＮは１ブロック目で顔の輪郭を大まかに捉え、２ブロック目以降で顔の構成要素に着目する。ＣＮＮは５ブロック目のＣｏｎｖ５－１で主に両目と口に着目し、Ｃｏｎｖ５－３で両目と口のどちらかを選択した。Ｇｒａｄ－ＣＡＭは、通常時のＡＤとＮＣにおいて、主に口と口角に着目していた。笑顔のＡＤとＮＣでは、特に笑顔・通常時・ＮＣのスコアが正のものでは、目、目尻、眉毛にヒートマップが頻繁に配置された。これらのことから、通常時の表情においては口元に、笑顔の表情においては目元に着目して判定していることがわかる。
以上の結果から、本発明のプログラムを適用することにより、顔写真を取得するだけで、高確率で認知症の判定が可能であることがわかる。
【図1】
【図2】
【図3】
