IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社エフアンドエフの特許一覧

特開2024-86560認知症及び/又はうつ病推定AIシステム並びに教師データ作成方法
<>
  • 特開-認知症及び/又はうつ病推定AIシステム並びに教師データ作成方法 図1
  • 特開-認知症及び/又はうつ病推定AIシステム並びに教師データ作成方法 図2
  • 特開-認知症及び/又はうつ病推定AIシステム並びに教師データ作成方法 図3
  • 特開-認知症及び/又はうつ病推定AIシステム並びに教師データ作成方法 図4
  • 特開-認知症及び/又はうつ病推定AIシステム並びに教師データ作成方法 図5
  • 特開-認知症及び/又はうつ病推定AIシステム並びに教師データ作成方法 図6
  • 特開-認知症及び/又はうつ病推定AIシステム並びに教師データ作成方法 図7
  • 特開-認知症及び/又はうつ病推定AIシステム並びに教師データ作成方法 図8
  • 特開-認知症及び/又はうつ病推定AIシステム並びに教師データ作成方法 図9
  • 特開-認知症及び/又はうつ病推定AIシステム並びに教師データ作成方法 図10
  • 特開-認知症及び/又はうつ病推定AIシステム並びに教師データ作成方法 図11
  • 特開-認知症及び/又はうつ病推定AIシステム並びに教師データ作成方法 図12
  • 特開-認知症及び/又はうつ病推定AIシステム並びに教師データ作成方法 図13
  • 特開-認知症及び/又はうつ病推定AIシステム並びに教師データ作成方法 図14
  • 特開-認知症及び/又はうつ病推定AIシステム並びに教師データ作成方法 図15
  • 特開-認知症及び/又はうつ病推定AIシステム並びに教師データ作成方法 図16
  • 特開-認知症及び/又はうつ病推定AIシステム並びに教師データ作成方法 図17
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024086560
(43)【公開日】2024-06-27
(54)【発明の名称】認知症及び/又はうつ病推定AIシステム並びに教師データ作成方法
(51)【国際特許分類】
   G16H 50/00 20180101AFI20240620BHJP
【FI】
G16H50/00
【審査請求】有
【請求項の数】15
【出願形態】OL
(21)【出願番号】P 2023145755
(22)【出願日】2023-09-08
(31)【優先権主張番号】P 2022200901
(32)【優先日】2022-12-16
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】519294295
【氏名又は名称】株式会社エフアンドエフ
(74)【代理人】
【識別番号】100129056
【弁理士】
【氏名又は名称】福田 信雄
(72)【発明者】
【氏名】藤川 欣洋
【テーマコード(参考)】
5L099
【Fターム(参考)】
5L099AA04
(57)【要約】
【課題】病院以外の場所にて取得した情報に基づき、対象者の認知症及び/又はうつ病の程度を推定可能なAIを構築する。
【解決手段】認知症及び/又はうつ病の程度を推定するAIシステムにおける教師データ作成方法であって、AIの教師データとなる情報は、利用者が処方箋に応じた薬を受け取る場所、又は、利用者が使用する携帯端末のアプリケーションから取得可能であり、該教師データとして、少なくとも該利用者の顔写真と処方箋又は指示書又は、該利用者の認知症及び/又はうつ病を推定可能な情報と、を含む手段を採用する。
【選択図】図1

【特許請求の範囲】
【請求項1】
認知症及び/又はうつ病の程度を推定するシステムにおいて、
AIの教師データとなる情報は、利用者が処方箋に応じた薬を受け取る場所、又は、該利用者が使用する携帯端末のアプリケーションから取得可能であり、
該教師データとして、少なくとも該利用者の顔写真と、処方箋、指示書又は、該利用者の認知症及び/又はうつ病を推定可能な情報と、を含むことを特徴とする教師データ作成方法。
【請求項2】
前記利用者の認知症及び/又はうつ病を推定可能な情報は、前記利用者への質問により取得することを特徴とする請求項1に記載の教師データ作成方法。
【請求項3】
前記教師データの例題データとして、前記利用者の顔写真である無表情の顔写真と笑顔の顔写真の2つを用い、
前記教師データの正解データとして、前記処方箋又は指示書に記載された薬の種類と量から推定した認知症度及びうつ病度を用い、
機械学習を行うための前記教師データを作成することを特徴とする請求項1に記載の教師データ作成方法。
【請求項4】
前記教師データの例題データとして、前記利用者の顔写真である無表情の顔写真又は笑顔の顔写真のいずれか1つを用い、
前記教師データの正解データとして、前記処方箋又は指示書に記載された薬の種類と量から推定した認知症度及びうつ病度を用い、
機械学習を行うための前記教師データを作成することを特徴とする請求項1に記載の教師データ作成方法。
【請求項5】
前記教師データの前記例題データとして、さらに年齢、性別、病歴、家族の病歴を含むことを特徴とする請求項3に記載の教師データ作成方法。
【請求項6】
前記教師データの前記例題データとして、前記利用者の顔写真から抽出された特徴量を用いることを特徴とする請求項3に記載の教師データ作成方法。
【請求項7】
前記特徴量として、少なくとも口角の下がり度、まぶたの下がり度、ほほの下がり度、眉の下がり度、開口度のいずれかを持つことを特徴とする請求項6に記載の教師データ作成方法。
【請求項8】
特定の認知症度及びうつ病度時に予想される前記特徴量を推定し、
推定された前記特徴量を前記例題データとし、その際、予想される前記認知症度及びうつ病度を前記正解データとし、機械学習を行うことを特徴とする請求項6に記載の教師データ作成方法。
【請求項9】
請求項1から請求項8のいずれかに記載の教師データ作成方法により作成された教師データを用いたAIシステムであって、
対象者の顔写真によって、該対象者の前記認知症度及びうつ病度を推定することを特徴とする認知症及び/又はうつ病推定AIシステム。
【請求項10】
薬局にて、前記対象者の顔写真を撮影し、それに対する前記AIシステムの結果に応じて、アドバイスを通知することを特徴とする請求項9に記載の認知症及び/又はうつ病推定AIシステム。
【請求項11】
前記対象者の顔写真を撮影し、それに対する前記AIシステムの結果に応じて、動画コンテンツに誘導することを特徴とする請求項9に記載の認知症及び/又はうつ病推定AIシステム。
【請求項12】
前記対象者の顔写真を撮影し、それに対する前記AIシステムの結果に応じて、専門の医療機関を紹介することを特徴とする請求項9に記載の認知症及び/又はうつ病推定AIシステム。
【請求項13】
前記対象者の顔写真を撮影し、それに対する前記AIシステムの結果に応じて、家族にアドバイスを通知することを特徴とする請求項9に記載の認知症及び/又はうつ病推定AIシステム。
【請求項14】
OTC医療品販売店にて、前記対象者の顔写真を撮影し、それに対する前記AIシステムの結果に応じて、アドバイスを通知することを特徴とする請求項9に記載の認知症及び/又はうつ病推定AIシステム。
【請求項15】
前記対象者が使用する携帯端末で撮影した、前記対象者の顔写真を、ネットワークを介して取得可能であり、取得した該顔写真に対する前記AIシステムの結果に応じて、アドバイスを通知することを特徴とする請求項9に記載の認知症及び/又はうつ病推定AIシステム。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、病状判断のAIに関し、詳しくは、認知症及び/又はうつ病の推定を顔写真により行う技術に関するものである。
【背景技術】
【0002】
認知症及びうつ病については、早期発見、早期治療が重要である。症状を発見する方法の一つとして、対象者の顔写真をAIで判別し、認知症度、うつ病度を推定する方法がある。
しかし、一般的にこのようなシステムを構築するには、医療機関で管理する情報が必要であり、他の事業者が容易に行うことはできなかった。
そこで、病院以外の場所で得られる情報から、AIを用いて対象者の認知症やうつ病の程度を推定する方法が求められていた。
【0003】
このような問題に対して、従来からも様々な技術が提案されている。例えば、AIによる画像解析による医者の診断補助(特許文献1参照)が提案され、公知技術となっている。より詳しくは、被検体を撮像した画像データと、所見データと、被検体の生活習慣情報、食生活習慣情報とから成る教師データを用いて、画像データと被検体情報を入力し、所見データを出力するための機械学習を行い、このAIを用いて所見データを出力する装置である。
しかしながら、本先行技術のデータ取得は病院にて行われるため、他の事業者で対応できず、上記問題の解決には至っていない。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2021-108800号
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明は、上記問題点に鑑み、病院以外の場所にて取得した情報に基づき、対象者の認知症及び/又はうつ病の程度を推定可能なAIを構築することを課題とするものである。
【課題を解決するための手段】
【0006】
上記課題を解決するため、本発明は、認知症及び/又はうつ病の程度を推定するシステムにおける教師データ作成方法であって、AIの教師データとなる情報は、利用者が処方箋に応じた薬を受け取る場所、又は、利用者が使用する携帯端末のアプリケーションから取得可能であり、該教師データとして、少なくとも該利用者の顔写真と処方箋又は指示書又は、該利用者の認知症及び/又はうつ病を推定可能な情報と、を含む手段を採る。
【0007】
前記利用者の認知症及び/又はうつ病を推定可能な情報は、前記利用者への質問により取得する手段を採る。
【0008】
また、本発明は、前記教師データの例題データとして、前記利用者の顔写真である無表情の顔写真と笑顔の顔写真の2つを用い、前記教師データの正解データとして、前記処方箋又は指示書に記載された薬の種類と量から推定した認知症度及びうつ病度を用い、機械学習を行うための教師データを作成する手段を採る。
【0009】
さらに、本発明は、前記教師データの例題データとして、前記利用者の顔写真である無表情の顔写真又は笑顔の顔写真のいずれか1つを用い、前記教師データの正解データとして、前記処方箋又は指示書に記載された薬の種類と量から推定した認知症度及びうつ病度を用い、機械学習を行うための教師データを作成する手段を採る。
【0010】
またさらに、本発明は、前記教師データの前記例題データとして、年齢、性別、病歴、家族の病歴を含む手段を採る。
【0011】
さらにまた、本発明は、前記教師データの前記例題データとして、前記利用者の顔写真から抽出された特徴量を用いる手段を採る。
【0012】
またさらに、本発明は、前記特徴量として、少なくとも口角の下がり度、まぶたの下がり度、ほほの下がり度、眉の下がり度、開口度のいずれかを持つ手段を採る。
【0013】
さらにまた、本発明は、特定の認知症度及びうつ病度時に予想される前記特徴量を推定し、推定された前記特徴量を前記例題データとし、その際、予想される前記認知症度及びうつ病度を前記正解データとし、機械学習を行う手段を採る。
【0014】
またさらに、本発明は、前記いずれかの教師データを用いた認知症及び/又はうつ病推定AIシステムであって、対象者の顔写真によって、該対象者の前記認知症度及びうつ病度を推定する手段を採る。
【0015】
さらにまた、本発明は、薬局にて、利用者の顔写真を撮影し、それに対する前記AIシステムの結果に応じて、アドバイスを通知する手段を採る。
【0016】
またさらに、本発明は、対象者の顔写真を撮影し、それに対する前記AIシステムの結果に応じて、動画コンテンツに誘導する手段を採る。
【0017】
さらにまた、本発明は、対象者の顔写真を撮影し、それに対する前記AIシステムの結果に応じて、専門の医療機関を紹介する手段を採る。
【0018】
またさらに、本発明は、対象者の顔写真を撮影し、それに対する前記AIシステムの結果に応じて、家族にアドバイスを通知する手段を採る。
【0019】
そしてまた、本発明は、OTC医療品販売店にて、利用者の顔写真を撮影し、それに対する前記AIシステムの結果に応じて、アドバイスを通知する手段を採る。
【0020】
またさらに、本発明は、利用者が使用する携帯端末で撮影した、利用者の顔写真を、ネットワークを介して取得可能であり、取得した該顔写真に対する前記AIシステムの結果に応じて、アドバイスを通知する手段を採る。
【発明の効果】
【0021】
本発明に係る認知症及び/又はうつ病推定AIシステム並びに教師データ作成方法によれば、病院以外の場所で、対象者の認知症やうつ病の程度を推定するAIを構築するための情報を取得できるので、病院関係者に限らず、認知症及び/又はうつ病を推定するAIを構築できる。
また、利用者が使用する携帯端末のアプリケーションを活用することによって、認知症及び/又はうつ病を推定するAIを構築するための情報を容易に多く取得することができる。
【図面の簡単な説明】
【0022】
図1】本発明に係る教師データ作成方法の実施例を示すフロー図である。
図2】本発明に係る教師データ作成方法の実施例を示す模式図である。
図3】本発明に係る教師データ作成方法における正解データを生成する際の実施例を示す算出表である。
図4】本発明に係る教師データ作成方法における教師データの実施例を示す表図である。
図5】本発明に係る認知症及び/又はうつ病推定AIシステムにおけるAIの動作例を示す模式図である。
図6】本発明に係る教師データ作成方法の他の実施例を示すフロー図である。
図7】本発明に係る認知症及び/又はうつ病推定AIシステムにおける顔の特徴量を抽出する際の実施例を示す模式図である。
図8】本発明に係る教師データ作成方法における教師データの他の実施例を示す表図である。
図9】本発明に係る教師データ作成方法における教師データの実施例を示すフロー図である。
図10】本発明に係る教師データ作成方法における教師データの実施例を示す説明図である。
図11】本発明に係る認知症及び/又はうつ病推定AIシステムにおける薬局での実施例を示すフロー図である。
図12】本発明に係る認知症及び/又はうつ病推定AIシステムにおける見守りサポートでの実施例を示すフロー図である。
図13】本発明に係る他の実施例のシステム図である。
図14】本発明に係る他の実施例の携帯端末の画面の図である。
図15】本発明に係る他の実施例の教師データ生成のための情報を示す表である。
図16】本発明に係る他の実施例の教師データ取得手順を示すフロー図である。
図17】本発明に係る認知症及び/又はうつ病推定AIシステムにおける携帯端末での実施例を示すフロー図である。
【発明を実施するための形態】
【0023】
本発明に係る認知症及び/又はうつ病推定AIシステム並びに教師データ作成方法は、病院以外の場所で対象者の認知症やうつ病の程度を推定するための情報を取得でき、それにより病院関係者に限らず認知症及び/又はうつ病を推定するAIの構築が可能であることを最大の特徴とする。
以下、本発明に係る認知症及び/又はうつ病推定AIシステム並びに教師データ作成方法の実施形態を、図面に基づいて説明する。
【0024】
尚、以下に示される認知症及び/又はうつ病推定AIシステム並びに教師データ作成方法の全体構成及び各部の構成は、下記に述べる実施例に限定されるものではなく、本発明の技術的思想の範囲内、即ち、同一の作用効果を発揮できる構成等の範囲内で適宜変更することができるものである。
また、本発明は、認知症及び/又はうつ病推定AIシステム並びに教師データ作成方法であるので、当然に、認知症推定AIシステム、うつ病推定AIシステム、認知症及びうつ病推定AIシステムを含むが、実施例においては、認知症及びうつ病を推定する場合の例を重点的に説明する。
認知症推定AIシステムの場合は、他の要素であるうつ病の要素を除くことで、容易にシステムを構築できる。うつ病推定AIシステムの場合も同様である。
また、実施例において、利用者とは、教師データを提供に協力してもらう人であり、対象者とは、AIを用いて、病状の推定を受ける人をいう。
【実施例0025】
図1から図5に従って、本発明を説明する。
図1は、本発明に係る教師データ作成方法の実施例を示すフロー図である。図2は、本発明に係る教師データ作成方法の実施例を示す模式図であり、(a)は薬局内で行われるデータ取得作業の模式図、(b)は利用者の顔写真から例題データを作る作業の模式図、(c)は処方箋等から正解データを作る作業の模式図である。図3は、本発明に係る教師データ作成方法における正解データを生成する際の実施例を示す算出表であり、(a)は認知症度及びうつ病度を推定算出する表、(b)は実際に薬の種類と薬の量を入れて認知症度及びうつ病度を推定算出した算出表である。図4は、本発明に係る教師データ作成方法における教師データの実施例を示す表図であり、(a)は正解データが度数10%刻みになっている例、(b)は度数が1又は0の場合、(c)は例題データに年齢等を含める場合を示している。図5は、本発明に係る認知症及び/又はうつ病推定AIシステムにおけるAIの動作例を示す模式図であり、(a)はAIで認知症等を推定する例、(b)はAIで機械学習を行う過程を示している。
【0026】
認知症及び/又はうつ病推定AI1は、認知症、うつ病の程度を推定するAIであり、機械学習によって推定能力を向上させている。
認知症及び/又はうつ病推定AI1を構築する方法の1つとして、教師データを生成し、AIに対して大量に学習させることで、精度の高い推定を行う方法がある。
教師データとは、AIに機械学習させるためのデータである。教師データとしては、例題データと正解データを対にして生成することが多い。
例題データとは、AIに推定させたい事象を表すデータであり、正解データとは、AIに回答させたいデータである。
【0027】
AIに、病気であるか否かを推定させる場合には、例えば、例題データとして対象者の症状等とし、正解データとして対象者の病名とする。このような教師データを大量にAIに学習させることによって、病気を推定するAIが構築される。
【0028】
病気として、認知症やうつ病を対象とする場合、医師の診断時に、顔の表情等を見ることが診断の一環として行われている。
AIで認知症やうつ病を推定するシステムを検討する場合、対象者の顔の表情はカメラなどで撮影することで取得可能であるが、対象者の病名は、医師がカルテ等で管理しており、そのデータを病院外に持ち出すことは一般的に困難である。
【0029】
そこで本実施例では、薬局にて、処方箋等から対象者の病名や程度を推定し、教師データを取得することとした。
言い換えれば、利用者が処方箋に応じた薬を受け取る場所で、AIの教師データとなる情報を取得し、該教師データとして、少なくとも該利用者の顔写真と該処方箋又は指示書を含む教師データ作成方法である。
教師データとなる情報とは、教師データのもととなる情報と教師データとして用いられる情報とを含む。
処方箋等とは、少なくとも、処方箋、お薬手帳、指示書を含む。指示書とは、投薬指示書とも言い、医師が、投薬の時間や量を、保護者や施設等に指示する書面である。
図1図2に沿って、教師データを取得する手順を説明する。
図1は、教師データ40を生成するフローである。図2は、教師データ40を生成する手順を示す図である。
情報の収集は、薬局10で行われる。ここでの薬局とは、病院と独立した事業者としての薬局と病院内の設置された薬局の両方を含む。扱うデータはどちらも同じである。
まず、薬局10の利用者Pから処方箋31の内容を取得する。処方箋31と共に、お薬手帳30や指示書の内容を取得しても良い。利用者Pは、処方箋31、お薬手帳30に記載の薬を得るために薬局10に来ているのであるから、処方箋31の取得は容易にできる。
薬の調合とは別に、認知症及び/又はうつ病推定AI1を構築するために処方箋31やお薬手帳30、指示書の情報を活用する許可を取り、情報を取得する(S101、図2(a))。
次に、認知症及び/又はうつ病推定AI1を構築するために、利用者の顔写真12の取得の許可を取り、利用者Pを撮影装置11で撮影し、利用者の顔写真12を取得する(S102、図2(a))。
利用者の顔写真12として、利用者の無表情の顔写真13と利用者の笑顔の顔写真14を取得する。無表情の顔とは、自然な普通の顔ともいえる。
認知症やうつ病の場合、顔の表情を見ると、目に生気が無かったり、まぶたが下がったり、全体として、表情が乏しくなる傾向があると、言われている。また、笑顔も不自然であったり、笑顔が無表情と変わらなかったりする場合もある。
そこで、利用者の顔写真として、無表情の写真と笑顔の写真を用いることで、一般の人と認知症、うつ病の人との差を強調することができる。
無表情の写真の撮影時は、「無表情にしてください。」とは言いにくい場合、「自然な普通の顔写真を撮らせてください」等の表現を用いても良い。
S101、S102によって、利用者からの情報の取得は完了する。
【0030】
次に、処方箋31等に記載の薬の種類と量から認知症やうつ病の有無、程度を推定する(S103、図2(b))。薬剤師等であれば、ある程度推定可能であるが、ばらつきを軽減するため、算出表43を用いる。算出表の一例を図3(a)に示す。算出表43によって、正解データが生成させる。
次に、利用者の顔写真12から顔写真データ20を生成する。一般的に、スタジオ等以外で撮影された顔写真は、画角、解像度、背景等が異なるので、同様の画角、解像度、背景になるように、画像補正をおこなうことで、例題データ41として、適当な顔写真データ20とすることができる(S104、図2(c))。
顔写真データ20は、無表情の顔写真データ21と笑顔の顔写真データ22とから成る。
一連の作業によって、1つの教師データが完成する(S105)。
言い換えれば、一連の流れは、教師データの例題データとして、利用者の顔写真を用い、教師データの正解データとして、処方箋又は指示書に記載された薬の種類、量から推定した認知症度及びうつ病度を用い、機械学習を行うための教師データを生成することである。
教師データの数を増やすことで、機械学習の精度を高めることができる。
【0031】
処方箋31、お薬手帳30、指示書から認知症度及びうつ病度を推定するために、算出表43を用いる。
算出表43には、薬の種類と量を記載する欄があり、利用者の情報に沿って記入する。認知症及びうつ病の欄があり、それぞれ薬の種類に応じた係数が記載されている。それぞれの病気に関連の深い薬は係数が高く、関係性の低い薬は係数が低い。
薬の種類と量を記入することによって、評価点が決まる。評価点を合計することで、各病気の程度がわかる。正解データとするには、0から100%等の正規化が必要なので、所定の数で正規化する。正解データとしては、%で表す方法と、1か0で表す方法の2種類を算出する。
図3(b)に、具体的な数字による算出例を示す。本例では、認知症に関連する薬が多いため、認知症の評価点の合計は23点、うつ病の評価点の合計は4点となっている。一例として30で正規化し、認知症の評価が76.7%、うつ病の評価が13.3%である。正解データとしては、10段階とする正解データ1と1,0の2段階とする正解データ2を生成する。
正解データ1は、認知症度70%・うつ病度10%となり、正解データ2は、認知症度1・うつ病度0となる。
この作業によって、認知症度及びうつ病度の正解データを生成する。
【0032】
図4は、教師データの例を示す。図4(a)は、教師データの例題データとして顔写真データ20を用い、顔写真データ20として、無表情の顔写真21と笑顔の顔写真データ22を用いている。
正解データとして、認知症・うつ病とも10段階のデータとしている。正解データは、10段階×10段階で100個の正解の要素があるので、機械学習のための教師データの数も、それに応じて大量に必要となる。
図4(b)は、教師データの正解データとして、認知症・うつ病とも2段階のデータとした場合である。正解データは、2段階×2段階で4個の正解の要素となるので、機械学習のための教師データの数は、図4(a)の場合に比べれば少なくすむ場合もある。
図4(c)は、例題データとして、顔写真データ以外に利用者の年齢、性別、病歴を加えた場合である。家族の病歴を加えることもできる。多くのデータを用いることで、推定が容易になる場合もある。但し、AIを活用する際には、学習時の同様のデータを入力する必要があるので、この場合は、顔写真データ以外に利用者の年齢、性別、病歴を入力する必要があり、汎用性は低くなる。
【0033】
図5に沿って、AIの学習及び活用時の動作の概要を説明する。機械学習システム50は、ニューラルネットワークによる深層学習(ディープラーニング)の例を示している。
認知症及び/又はうつ病推定AI1は、入力部51と中間部52と出力部53から成る。機械学習中は、正解部54を加える。入力部51は、AIに入力する情報分の要素X1からXnを持つ。中間部52は、入力層から情報を受け継ぎ、さまざまな計算を行う部分である。中間部52の層が多いほど、複雑な分析ができる。計算結果は、出力部53に送られる。出力部53は、回答として出力する部分であり、回答分の要素Z1からZmを持つ。各要素の値は、例えば0から1の間の値であり、最も高い値の要素が、回答と推定されるものである(図5(a))。
正解部54は、機械学習の際、認知症及び/又はうつ病推定AI1に与えられる正解データ42を設定する部分であり、要素としてA1からAmを持つ。要素の数は、出力部53と同じである。A1からAmのうち、正解の要素の数値を1として、他の要素の数値を0と設定する。Z1からZmとA1からAmの数値の差をそれぞれ求め、合計した数値が誤差Dとなる。誤差Dを最小とすることが、AIの精度を高めることとなる(図5(b))。
【0034】
認知症及び/又はうつ病推定AI1の動作について、説明のため単純化し、認知症か否かを推定するAIの例を説明する。
出力部53について考えると、AIの回答は、認知症か、認知症で無いか、の2つである。したがって、出力部53の要素は、例えば、Z1が「認知症である」、Z2が「認知症でない」の2つとなる。
入力部51の要素Xの数は、顔写真データ20である無表情の顔写真データ21と笑顔の顔写真データ22を入力する場合、その解像度に沿った要素となる。
AIの入力部51に顔写真データ20を入力すると、出力部53の要素Z1、Z2には、それぞれ0から1の間の数値が出力される。数値の高いほうが、AIの推定した回答となる。数値の差が大きければ、推定の確度は高いし、数値の差が小さければ、推定の確度は低いと言える。
例えば、Z1が0.1、Z2が0.9となった場合、Z2の方が値が高いので、AIの回答は、Z2側である「認知症でない」となる。Z1とZ2の数値の差は大きいので、確度は高いと言える。
【0035】
図4(b)の教師データを用いた場合、認知症及び/又はうつ病推定AI1の出力部53は、認知症度0・うつ病度0、認知症度0・うつ病度1、認知症度1・うつ病度0、認知症度1・うつ病度1の4つとなる。よって、それぞれZ1からZ4を割り当てることができる。
AI構築後、認知症及び/又はうつ病推定AI1に、顔写真データ20である無表情の顔写真データ21と笑顔の顔写真データ22を入力し、ニューラルネットワークで構成される中間部52で処理し、結果は、出力部53のZ1からZ4について、それぞれ0から1の間の数として出力される。
例えば、Z1が0.1、Z2が0.6、Z3が0.2、Z4が0.1であった場合、最も値の高い、Z2が採用される。Z2は、認知症度0うつ病度1になるので、AIの回答は、「うつ病の可能性があります」となる。
また、最も高い値の数値を確度としても良い。この場合、Z2の数値は0.6であるので、「うつ病の可能性が60%あります」としても良い。
【0036】
図4(a)の教師データを用いた場合、認知症及び/又はうつ病推定AI1の出力部53を、「認知症度0%・うつ病度0%」から10%単位で分け、「認知症度90%・うつ病度90%」までの100個とすることもできる。この場合、出力部53は、Z1からZ100の100個の要素となる。
入力に対する出力部53のZ1からZ100を確認し、最も高いものが回答となる。Zのある要素が、最も高かった場合、それに対応する認知症度〇〇%うつ病度××%が回答となる。
【0037】
また、出力部53を単純化する方法として、認知症推定AIとうつ病推定AIに分ける方法もある。このようにすることで、入力部51、中間部52、出力部53ともデータ数を少なくすることができる。
この場合には、最終的に2つのAIの回答を合わせたものが認知症及び/又はうつ病推定AI1の出力となる。
【0038】
次に、認知症及び/又はうつ病推定AI1の機械学習の方法について、図5(b)に沿って説明する。認知症及び/又はうつ病推定AI1への入力部51には、顔写真データ20である無表情の顔写真データ21と笑顔の顔写真データ22が入力され、出力部53は、認知症度0%・うつ病度0%から認知症度90%・うつ病度90%までの100個の要素を持つ場合とする。
認知症及び/又はうつ病推定AI1に、まず、教師データ40の1つを用いる。例題データ41を入力部51に入力する。正解データ42を正解部に設定する。教師データ40の正解データ42が認知症度70%・うつ病度10%であったとすると、認知症度70%・うつ病度10%に対応するAj(jは認知症度70%・うつ病度10%に対応する要素番号)に1を設定し、Ajを除くA1からA100は0と設定する。
認知症及び/又はうつ病推定AI1に例題データ41を入力した結果、出力部53のZ1からZ100に推定値が0から1の間の数として出力される。Z1からZ100とそれに対応するA1からA100の差分の合計が、誤差値Dとなる。この誤差値Dを下げるように、中間部52のニューラルネットワークを調整する。
この作業を、大量の教師データ全てについて行うことで、誤差値Dが低減され、AIの精度が高まる。
【0039】
このように、本実施例によれば、病院以外の場所で、対象者の認知症及び/又はうつ病の程度を推定するAIを構築するための情報を取得できるので、病院関係者に限らず、認知症及び/又はうつ病を推定するためのAIの構築が可能となる。
また、診断を行う対象者の顔写真を用いることによって、当該対象者の認知症度及び/又はうつ病度を推定するAIを運用・活用することが可能となる。
【0040】
また、認知症及び/又はうつ病推定AI1は、薬局10にて、薬局の利用者に対して、認知症、うつ病についてのアドバイスに活用することができる。
AIアドバイスを希望する対象者の顔写真を撮影し、認知症及び/又はうつ病推定AI1によって、認知症・うつ病についてのアドバイスを行うものである。図11のフローに沿って説明する。
1)対象者の顔写真を撮影する(S401)。顔写真として、無表情のものと笑顔のものを撮影する。難しい場合は、いずれか1枚でも良い。認知症及び/又はうつ病推定AI1の精度向上のための教師データ40の取得と並行して行っても良い。
2)対象者の無表情の顔写真13と対象者の笑顔の顔写真14から、認知症及び/又はうつ病推定AI1に入力する顔写真データ20である無表情の顔写真データ21と笑顔の顔写真データ22となるように、画像加工をおこなう(S402)。
3)AIに入力する(S403)。1枚のみ取得の場合は、同じ写真を2枚入力する。
4)認知症及び/又はうつ病推定AI1の出力部53の値を確認し、認知症度並びにうつ病度の推定値を確定する(S404)。
5)対象者の処方箋31から認知症度とうつ病度を推定し、処方箋推定値とする(S405)。
6)AIで推定した認知症度・うつ病度が、処方箋推定値よりも悪かった場合に、対象者にアドバイスを通知する(S406)。
処方箋31に認知症やうつ病に関する処方がないにも関わらず、AIがある程度の認知症度・うつ病度を推定した場合も同様である。
また、皮膚科や外科等の、認知症・うつ病と関連しない病院の薬局の場合は、処方箋等を確認することなく、アドバイスを行ってもよい。
【0041】
このような作業を行うことによって、対象者の潜在的な認知症度並びにうつ病度を、対象者の負担なく確認できるので、認知症及びうつ病の早期発見に寄与することができる。
【0042】
また、認知症及び/又はうつ病推定AI1は、健康チェックシステムに利用することができる。健康診断時に、利用者の認知症度、うつ病度を推定するものである。
1)健康診断を受診している対象者の顔写真を撮影する。無表情のものと笑顔のものの2枚を撮影する。健康診断に用いると説明すれば容易と思われるが、難しい場合は、いずれか1枚でも良い。
2)AI用に顔写真データ20を生成する。
3)AIに入力する。1枚のみ取得の場合は、同じ写真を2枚入力する。
4)AIの出力結果から、認知症度並びにうつ病度の推定値を確定する。
5)対象者に対して、認知症度及びうつ病度の推定値に応じた動画コンテンツの視聴を促す案内を通知する。また、専門の医療機関を紹介する。
通知する方法は、健康診断結果と共に、QRコード(登録商標)付きの紙面で提供してもいいし、対象者にメールでURLを送付しても良い。
【0043】
このように、認知症及び/又はうつ病推定AI1を健康診断に付加することによって、対象者は、特別な負担なく、認知症及びうつ病についての診断結果を得ることができる。
【0044】
また、認知症及び/又はうつ病推定AI1は、見守りサポートシステムに利用することができる。見守りサポートシステム活用時に、見守り対象者の認知症度、うつ病度を推定するものである。図12のフローに沿って説明する。
見守りサポートシステムとは、遠方に住んでいる高齢の家族、親族等を、カメラやセンサ等によって様子を確認し、緊急性のある状態になった際に、サポートを行ったり家族への連絡を行ったりするシステムである。
1)見守りサポートシステムで、対象者の安否を確認する映像から、対象者の顔写真を取得する(S501)。見守りサポートシステムでは、対象者の状態を常時確認する必要があることから、カメラで常に対象者を撮影していることも多く、対象者の顔写真として無表情と笑顔の写真を取得することは容易である。例えば、対象者の挙動、音声等を基準に、利用者の無表情の顔写真13と利用者の笑顔の顔写真14を取得しても良い。
2)対象者の顔写真から、AI用の顔写真データ20を生成する(S502)。
3)AIに入力する(S503)。
4)AIの出力結果から、認知症度、うつ病度の推定値を確定する(S504)。
5)もし認知症度やうつ病度の推定値が予想される値よりも悪かった場合には、親族や家族に対し、対象者の認知症度、うつ病度のAI推定値とそれに応じたアドバイスを通知する(S505)。
具体的には、認知症とされていない対象者に高い認知症度が推定された場合に、システムは、予め登録された親族や家族に対して、お知らせ等で対象者の認知症の可能性について連絡する。また、その際、認知症の確認のための医療機関の紹介や、対象者への対応のアドバイス等も行う。
【0045】
このように、認知症及び/又はうつ病推定AI1を見守りサポートシステムに付加することによって、対象者に特別な負担をかけることなく、対象者の認知症及びうつ病の可能性を推定し、親族や家族に連絡することで、早めの対応を行うことが可能となる。
【0046】
また、認知症及び/又はうつ病推定AI1は、OTCに利用することができる。OTC医療品販売店で、販売店を訪れた利用者に対応する際、対象者として認知症度、うつ病度を推定するものである。
1)OTCにて、対象者の顔写真を撮影する。対象者には、認知症及びうつ病の簡易的な確認ができるとして、撮影を勧めることができる。利用者の無表情の顔写真13と対象者の笑顔の顔写真14を取得する。難しい場合は、いずれか1枚でも良い。
2)対象者の顔写真12から認知症及び/又はうつ病推定AI1に入力する顔写真データとなるように、画像加工をおこなう。
3)AIに入力する。1枚のみ取得の場合は、同じ写真を2枚入力する。
4)認知症及び/又はうつ病推定AI1の出力部53の値を確認し、認知症度、うつ病度の推定値を確定する。
5)対象者に対しては、あくまで推定であることを説明し、認知症度並びにうつ病度の推定値と、その推定値に応じたアドバイスを通知する。
具体的には、認知症やうつ病の認識が無い対象者に、高い認知症度、やうつ病度が推定された場合には、認知症、うつ病の確認のための医療機関の紹介や、対応の手引きのようなアドバイスを行う。
【0047】
このように、認知症及び/又はうつ病推定AI1をOTCで活用することによって、対象者は、特別な負担なく、認知症及びうつ病についての簡易診断やアドバイスを得ることができる。
【0048】
また、免許更新時に活用することもできる。
免許更新時に、認知症等の発症、程度の確認のため、質問形式による認知テストを行うことがある。しかし、ある程度の時間を要するので、対象者からは迂遠とされることも多い。
認知テストの代わりに又は補完的に、認知症及び/又はうつ病推定AI1を用いることによって、認知テストの精度を向上させたり、量的削減あるいは廃止したりすることができる。
具体的には、以下の様に行う。
1)免許更新会場にて、免許証用の写真を撮影する際、その写真データを対象者の顔写真12として取得する。従来通り、免許証用写真のみを撮影してもいいし、認知症確認のためと説明し、笑顔の顔写真14を取得しても良い。
2)対象者の顔写真12から認知症及び/又はうつ病推定AI1に入力する顔写真データ20となるように、画像加工をおこなう。
3)AIに入力する。免許証用の写真のみであれば、その写真データを2枚入力する。
4)認知症及び/又はうつ病推定AI1の出力部53の値を確認し、認知症度、うつ病度の推定値を確定する。
5)対象者に対しては、質問形式による認知テストを補完するものとして、AIによる認知症度、うつ病度の推定値を含めた検査結果を通知する。
【0049】
このように、認知テストを補完する手段として用いることで,検査の精度向上等に資する。また、認知テストに代えてAIを用いることで、利用者の負担軽減になる。
【0050】
例題データとして、無表情の顔写真13と笑顔の顔写真14を用いる例を説明したが、いずれか、一方のみの写真から教師データを生成することもできる。
一般的に、免許証等の証明用写真は、無表情のものが多く、このような写真から、認知症、うつ病の推定を行う場合として、無表情の写真のみを用いることが考えられる。
教師データの構築については、写真が、無表情と笑顔の2枚の顔写真から無表情の顔写真13が1枚となるのみで、他のデータは同様である。無表情の顔写真13のみとする利点として、利用者に「笑ってください」等の要求をすることなく、容易に取得できることが挙げられる。
【0051】
また、笑顔の顔写真14の1枚のみを用いる場合も考えられる。すでに、対象者を撮影した写真を用いる場合、笑顔のものが多い場合があるからである。
認知症、うつ病は、笑顔で特有の特徴が出る場合もあり、笑顔のみの写真も有効である。笑顔のみの教師データを作り、機械学習を行うことにより、笑顔の顔写真14のみからも病気を推定することができる。
【0052】
取得したデータの活用方法に関し、利用者の顔写真12として、利用者の無表情の顔写真13と利用者の笑顔の顔写真14を取得し、顔写真データ20として、無表情の顔写真データ21と笑顔の顔写真データ22を生成したのち、敢えて一方の写真データのみを用いて、AIを構築することもできる。
その場合、1つのデータ群から、AIとして、無表情と笑顔から判別するAIと、無表情から判別するAIと、笑顔から判別するAIと、を構築することができる。活用時に、利用者の無表情、笑顔の写真を取得できた場合は、無表情と笑顔から判別するAIを用い、無表情などの1枚の写真しか取得できなかった場合は、無表情から判別するAIなどを用いることによって、その場面に応じたAI活用を行うことができる。
【実施例0053】
他の実施例について、図6から図8を用いて説明する。実施例1と同様の部分は省略する。
図6は、本実施例に係る認知症及び/又はうつ病診断AIの教師データ作成方法を示すフロー図である。図7は、認知症及び/又はうつ病診断AIの顔の特徴量を抽出する模式図であり、(a)は顔の特徴量を抽出する部分を示す模式図、(b)は口角の上がり・下がりを説明する図である。図8は、本実施例に係る認知症及び/又はうつ病診断AIの教師データ作成方法における教師データの例を示す表である。
【0054】
実施例1によって、医療機関から情報を得ることなく、認知症及び/又はうつ病についてのAIを構築することができる。
しかしながら、対象者の顔写真データからAIを構築するためには、比較的多くのサンプル、教師データが必要である。
そこで、顔写真データから得られる認知症並びにうつ病に大きく関連する特徴を用いることで、AI構築の作業量を低減する方法が求められるところである。
【0055】
認知症やうつ病の患者の表情等については、特有の特徴があることが専門医によって指摘されている。図7に、利用者の顔60の模式図を示す。
認知症並びにうつ病の患者を判別する一例として、口角の下り度61、まぶたの下り度62、ほほの下り度63、眉の下り度64、開口度65等が考えられる。
各特徴について数値化することで、AIの入力データとすることができる。
例えば、口角の下り度61について、図7(b)のように、口角が最も上がった状態を口角の下り度0とする。図7(d)のように、口角が最も下がった場合で、口角の下り度9とする。図7(c)のように、口角がある程度下がった状態は、口角の下り度5とする。
このように、各特徴量70について、下がり度を定義し、数値化することで、認知症及び/又はうつ病推定AI1への入力が可能となる。
また、無表情時のデータと笑顔時のデータを数値化することによって、より精度の高いAIを構築することができる。
【0056】
本実施例での教師データの例を、図8の表に沿って説明する。
実施例1では、顔写真データ20である無表情の顔写真データ21と笑顔の顔写真データ22が例題データであり、認知度・うつ度が正解データであった。正解データは、実施例1と同じであるが、例題データは、利用者の顔写真から抽出された特徴量70となる。顔写真データ20から抽出し、口角の下り度61、まぶたの下り度62、ほほの下り度63、眉の下り度64、開口度65を数値として決定する。この例では、0から9の10段階である。
特徴量70としては、無表情の特徴量71の群と、笑顔の特徴量72の群を用いることになる。
特徴量70は、顔写真データ20のみから抽出するので、利用者Pへの負担が増えることは無い。
【0057】
図6のフローに沿って、本実施例を説明する。
利用者から処方箋31等の内容を取得し(S201)、利用者の顔写真12を取得し(S202)、処方箋31の記載の薬の種類、量から認知症度及びうつ病度を推定する(S203)部分は、実施例1と同じである。
顔写真から顔の特徴量70を抽出し、例題データとして生成する(S204)。この部分で、実施例1と同様に、利用者の顔写真12から、顔写真データ20を生成する。その後、顔写真データ20である無表情の顔写真データ21と笑顔の顔写真データ22から、顔の特徴量70を抽出し、例題データとして生成する。
例えば、図8の特徴量70を用いた教師データの例では、番号1の場合、先ず例題データの元となる無表情の顔写真データ21を画像処理することで、口角の下り度が8、まぶたの下り度5、ほほの下り度3、眉の下り度5、開口度2を得る。次に、笑顔の顔写真データ22を画像処理することで、口角の下り度が7、まぶたの下り度5、ほほの下り度2、眉の下り度5、開口度2を得る。正解データの生成方法は、実施例1と同じである。
このようにして、1つの教師データ40が完成する(S205)。他のデータについても、同様の処理を行い、教師データ40を生成する。
【0058】
このように、例題データとして、顔の特徴量70を用いることによって、例題データが、認知症及び/又はうつ病に特化したものとなり、且つ、入力データ数が減るので、少ない教師データ数でAIの精度を向上させることができる。
【0059】
また、例題データを、顔の特徴量70とすることによって、教師データ40の生成を一部簡略化することができる。
認知症・うつ病の専門家は、顔の特徴量70と認知症・うつ病の程度について、豊富な知識と経験を持っている。そこで、専門家の支援を受けることで、利用者の写真や処方箋31を用いずに、ある程度の教師データを作ることができる。
言い換えれば、特定の認知症度並びにうつ病度時に予想される特徴量70を推定し、推定された特徴量70を例題データとし、その際、予想される認知症度並びにうつ病度を正解データとし、機械学習を行うことで、データ確保を容易にすることができる。
【0060】
すなわち、専門家に、無表情の場合に認知症・うつ病に現れやすい特徴を列挙してもらうことで、写真を集めることなく、ある程度のデータを構築することができる。
同様に、笑顔の場合、無表情と笑顔の差についても特徴を列挙してもらうことで、ある程度のデータを構築することができる。
【0061】
AIの機械学習において、学習の初期は、AIの出力と正解との乖離が大きい場合がある。予め、専門家による支援により作成された教師データによる機械学習を行うことで、利用者のデータによる機械学習を行った際、AIの出力と正解との乖離を小さくすることができ、AIの収束を早くすることができる。
【0062】
図9のフローに沿って説明する。
顔の特徴量70と、認知症・うつ病の程度について、専門家により数値化してもらう。(S301)。顔の特徴量70として、例えば、無表情時の口角の下り度61、まぶたの下り度62、ほほの下り度63、眉の下り度64、開口度65と、笑顔時の口角の下り度61、まぶたの下り度62、ほほの下り度63、眉の下り度64、開口度65との組み合わせについて、認知症・うつ病の程度を0から100%の間で数値化する。
一例を図10(a)に示す。この例は、無表情時のほほの下り度5、眉の下り度4、開口度2、まぶたの下り度4、口角の下り度5の場合の、無表情から笑顔での口角の下り度の変化、まぶたの下り度の変化をそれぞれ10段階で変化させた場合、推定される認知症度を示す表である。
口角の下り度の変化量の幅は、無表情時の口角の下り度は5であるので、変化幅は-5から4である。まぶたの下り度の変化量の幅は、無表情時のまぶたの下り度は4であるので、-4から5である。
例えば、笑顔になった際、まぶたの下り度の変化量が0であり、口角の下り度の変化量が-3であれば、笑顔を適切に表現できているので、認知度は低いと考えられる。一例としては、変化量の最大値、最小値を推定し、そこから比例計算し、推定値は34%とする。
また同様に、笑顔になった際の口角の下り度の変化量が+2であれば、笑顔であるにも関わらず、口角が、より下がったことになり、笑顔を適切に表現できていないと考えられるので、認知度は高いと考えられる。一例としては、変化量の最大値、最小値を推定し、そこから比例計算し、推定値は59%とする。
【0063】
このような表を全ての特徴量70について行う。
それらを用いて、特徴のレベルを例題データ、推定される認知症度及びうつ病度を正解データとする(S302)。図10(b)に、教師データ群の例を示す。顔の特徴量70を全て0から9で変化させた際の正解データとして、認知症度〇〇%・うつ病度××%が列挙される。図10(b)の例は、1つの特徴量群の場合の例である。無表情の特徴量71と笑顔の特徴量72を用いる場合は、より多くの場合分けになる。
専門家指導による教師データが完成する(S303)。
次に、実際に存在しそうな特徴量70の組み合わせについて、重点的に認知症度・うつ病度を専門家に生成してもらう(S304)。この作業により、実際に近い教師データを増やすことができる。以上によって、初期の機械学習用の教師データが完成する(S305)。
【0064】
このように、教師データを生成することによって、収集するデータ数を少なくすることができ、また、AIの機械学習による収束を早めることができる。
【実施例0065】
他の実施例について、図13から図17を用いて説明する。実施例1と同様の部分は省略する。
図13は、本発明に係る実施例3のシステム図である。図14は、本発明に係る実施例3の携帯端末の画面の図であり、(a)は、質問により、元気度の程度を確認する質問の画面であり、(b)は、教師データの取得の許可を求める画面であり、(c)は、携帯端末により、利用者の顔写真を取得するガイダンスを表示する画面であり、(d)は、携帯端末により、利用者の服用する薬を確認するガイダンスを表示する画面である。
図15は、本発明に係る実施例3の教師データ生成のための情報を示す表である。図16は、本発明に係る実施例3の教師データ取得手順を示すフロー図である。図17は、本発明に係る認知症及び/又はうつ病推定AIシステムにおける携帯端末での実施例を示すフロー図である。
【0066】
実施例1によって、医療機関から情報を得ることなく、薬局での情報から教師データを生成することによって、認知症及び/又はうつ病についてのAIを構築することができる。
しかしながら、対象者の顔写真データからAIを構築するためには、比較的多くのサンプル、教師データが必要である。
そこで、薬局に限らず、認知症及びうつ病についての教師データを取得する方法が求められるところである。
【0067】
近年、スマートフォン等の携帯端末のアプリで、認知症の予防のために、食生活や運動についてアドバイスを行うものも開発されている。
そこで、本実施例では、AIの教師データとなる情報を利用者が使用する携帯端末のアプリケーションから取得可能とすることとした。
また、教師データとして、少なくとも該利用者の顔写真と、処方箋、指示書又は、該利用者の認知症及び/又はうつ病を推定可能な情報と、を含むこととした。また、利用者の認知症及び/又はうつ病を推定可能な情報は、利用者への質問により取得することとした。
このように携帯端末のアプリから教師データに関わる情報を取得することによって、薬局に限らず、多くの人のサンプルデータを取得することができる。
【0068】
図13に、本実施例のシステム図を示す。
本実施例における認知症及び/又はうつ病推定AI1は、ネットワークを介した利用者の携帯端末から、教師データを得るシステムである。
認知症及び/又はうつ病推定AI1は、機械学習システム50と、管理部80と、サーバ81と、携帯端末90から成る。
【0069】
機械学習システム50は、実施例1と同様に、AIのコア部分である。
教師データで学習する学習時と、学習によって構築された中間部を用いて、AIの回答を出す活用時とを持つ。
学習時は、管理部80から送られる教師データを用いて、学習を行い、中間部の調整を行い、AIの精度を高める。
活用時は、管理部80から送られる写真データから、認知度、うつ度を推定し、推定値を管理部80に返す。
管理部80は、携帯端末90と機械学習システム50との間を橋渡しする部分である。管理部80は、サーバ81に対して、教師データ生成に関連するデータを書き込んだり、読み出したりする。
携帯端末90から、インターネットNを介して送られる、教師データ生成に必要な情報を受け取り、一部は、加工、調整して、更に、教師データの形としたものを含めて、サーバ81に記憶する。
加工する情報としては、例えば、利用者が撮影した薬写真がある。管理部80は、受信した薬写真が、お薬手帳の場合は、手帳に記載された薬名を読み取り、薬内容とする。受信した薬写真が、薬袋や、薬そのものであった場合は、薬袋の表面の薬名や、薬のシートの薬名から薬名を特定する。
そのあとは、実施例1と同様に、図3のような薬名と推定される認知度、うつ度算出表によって、認知度、うつ度を推定し、算出する。算出した値は、サーバ81に記憶する。
顔写真についても同様に加工、調整する。利用者が撮影した顔写真は、撮影の環境や利用者の撮影の仕方によって、教師データとして適当でない場合もあるので、管理部80にて、実施例1と同様に、顔の大きさや背景の単純化等を行う。加工した写真は、サーバ81に記憶する。
管理部80は、サーバ81に記憶された教師データである、顔写真、認知度、うつ度の値を読み出し、学習時となっている機械学習システム50に、教師データを送る。
【0070】
サーバ81は、主に、利用者情報83と、利用者から取得した情報84と、教師データに関連する情報を加工し、教師データの例題データ41とした情報と正解データ42とした情報を保持する。これらをまとめて、サーバ管理データ82とする。
サーバ管理データ82について図15に沿って説明する。
利用者ごとに、ユーザーIDが設定されており、情報は、ユーザーIDによって管理される。例えば、ユーザーIDが1001の利用者は山田太郎であり、ユーザーIDが1056の利用者は鈴木花子である。
それぞれ、生年月日、性別、病歴が記録されている。このデータは、基本的に、登録後変更されない。
利用者から取得した情報84のひとまとめごとに、データNo、データ取得日が管理部80によって付与される。データNoは、一意的であり、重複は無い。年齢、無表情の顔写真、笑顔の顔写真、薬に関する写真、アプリから出された質問から推定される認知度、うつ度が、管理部80に送信され、サーバ81に記録される。
薬に関する写真は、お薬手帳の場合もあるし、薬袋や薬のシートの場合もある。
管理部80が、携帯端末90からの情報を調整・加工したデータとして、調整した顔写真を例題データ41として、薬の内容と、薬から推定した認知度、うつ度値が、正解データとして、サーバ81に記録される。
一つのデータNoで管理される情報は、一つの教師データに対応する。教師データに関する情報として、1ユーザーに対して、複数のデータNoを持っても良い。取得の時期によって、利用者の状態が変わる可能性があるからである。
【0071】
サーバ管理データ82には、薬情報から生成された認知度、うつ度情報と、アプリから出された質問から推定される認知度、うつ度が記録されている。
薬情報から生成された認知度、うつ度情報を正解データ42としてもいいし、アプリから出された質問から推定される認知度、うつ度を正解データとしても良い。
また、薬情報から生成されたものと、アプリから出された質問から推定されたものとの平均等をとったものを正解データとしても良い。
また、利用者が撮影した薬写真が不鮮明であった場合に、代替として、アプリから出された質問から推定される認知度、うつ度を用いても良い。
【0072】
携帯端末90は、各利用者と管理部80を繋ぐものである。
携帯端末90は、主に、表示部91と、図示しない制御部と記憶部と操作部と通信部とカメラ部とから成る。
制御部は、携帯端末90全体を制御する部分である。アプリケーション92の起動中は、アプリケーションの内容に従っての制御も行う。
制御部は、操作部から、利用者の操作内容を取得し、表示部91に、文字、記号、画像等を表示し、カメラで撮影し、通信部に、ネットワークとの送受信を指示する。また、記憶部に一時的な記憶の書き込み、読み出しを行ったり、アプリケーション92の読み出しを行う。
記憶部には、制御部を動作されるためのプログラムが書き込まれ、制御に用いる変数、データ等を一時的に記憶される。実施例のアプリケーション92も、プログラムの一つとして、記憶されている。
【0073】
カメラは、携帯端末90の周囲を撮影するカメラである。本実施例では、利用者の顔写真を撮影したり、お薬手帳を撮影したりする。
通信部は、インターネットNと通信する通信部である。WiFiや4G等の移動通信システムを用いて、インターネットNに接続する。
操作部は、利用者が端末を操作するための機構である。ボタンやタッチパネルを用いて、操作する。
表示部91は、ガイダンス、メッセージ等の文字や画像を表示する部分である。アプリの画面表示となったり、撮影する映像のモニタとなったりする。
【0074】
本実施例では、アプリケーション92として、高齢者の認知症予防のための運動推奨アプリや、健康度チェックアプリを想定している。
そして、それらのアプリの一部に、教師データに関する情報を取得する部分を持つ構成としている。
認知症予防のためのアプリをインストールしている利用者は、認知症にかかるリスクを気にしている人々である。言い換えれば、認知症、うつ病になる可能性の高い人々といえる。
従って、このようなアプリをインストールした携帯端末から取得した教師データは、認知症、うつ病の初期の状態を示す教師データとなる可能性が高く、AI学習用に用いることで、認知症、うつ病推定のAIの精度を向上させることができる。
【0075】
教師データに関連する情報の取得の流れを図16のフローに沿って説明する。
本実施例は、携帯端末90内のアプリケーション92の一部として機能する例としている。
アプリケーション92としては、例えば、高齢者の認知症予防のための運動推奨アプリや、健康度チェックアプリなどが考えられる。
ユーザーがアプリケーション92を起動した際、このアプリを初めて起動したか、又は、前回の教師データ関連情報取得依頼から3か月経過したかを、アプリ内データ等によって確認する(S601)。
該当しなければ、NOとして、通常のアプリ動作へ向かう(S608)。
該当した場合は、S602のAIの学習への協力のお願いとして、AI学習のための情報提供依頼画面94を、画面に表示する(図14(b))。
【0076】
S603において、ユーザーが、「はい」を選択した場合は、情報取得を進める。「いいえ」を選択した場合は、通常のアプリ動作へ向かう(S608)。
【0077】
顔写真の撮影ガイダンスとして、表示部91に、顔写真ガイダンス画面95を表示し、無表情の写真と笑顔の写真を撮影する(S604、図14(c))。無表情と指定しにくい場合は、自然な普通の顔の写真と指定しても良い。
薬についての情報取得のガイダンスとして、薬情報撮影ガイダンス画面96を画面に表示し、お薬手帳の薬情報のわかる頁や、薬袋等を撮影する(S605、図14(d))。
【0078】
認知症、うつ病に関連する質問(図14(a))を行い、利用者からの回答から推定される認知度・うつ度を、質問によるに認知度・うつ度として、取得する(S606)。認知度・うつ度の推定は、携帯端末内のアプリで簡易的に推定する。
また、ネットを介して、管理部80に質問内容を通知し、管理部80から、適切な推定結果を得ても良い。
利用者のIDNoと、1つのデータNoで管理される、顔写真、薬に関する写真、質問への回答から推定される認知度、うつ度と、をインターネットNを介して、管理部80に送信する。(S607)。
情報の取得、送信が完了したので、通常のアプリ動作に移る(S608)。
このような一連の動作によって、携帯端末90を介して、極めて容易に、教師データに関連する情報を入手することができる。
【0079】
また、認知症及び/又はうつ病推定AI1は、携帯端末90にて、診断の対象者へのアドバイスに活用することができる。
構成としては、対象者が使用する携帯端末で撮影した、対象者の顔写真を、ネットワークを介して取得可能とし、取得した顔写真に対するAIシステムの結果に応じて、アドバイスを通知するもととした。
例えば、携帯端末90のアプリケーション92から呼びかけで、対象者の顔写真を撮影し、AIによる認知症・うつ病の推定値によって、認知症・うつ病についてのアドバイスを行うものである。図17のフローに沿って説明する。
【0080】
1)対象者に対して、携帯端末90であるスマホ内のアプリケーション92が、認知症、うつ病についての簡易診断の提案を行う(S701)。
高齢者の認知症予防のための運動推奨アプリや、健康度チェックアプリからの提案となるので、対象者は、違和感なく、簡易診断を受けることができる。
【0081】
2)対象者は、アプリケーション92のガイダンスに従い、自身の顔写真を撮影する(S702)。顔写真として、無表情の写真と笑顔の写真の2つの写真を撮影すると好適である。認知症、うつ病の推定精度を高めることができるからである。
携帯端末90で、自身の映像を見ながら、撮影することによって、利用者は、自身の無表情、笑顔の様子を意識しながら撮影できるので、より適切な顔写真が撮影できる。
【0082】
3)アプリケーション92は、インターネットNを介して、管理部80に顔写真を送信する。
管理部80は、対象者の顔写真について、背景の除去、顔のサイズの調整等の加工を行い、例題データと同様の顔写真データとなるようにする。(S703)。
【0083】
4)管理部80は、AIのコアである機械学習システム50の入力部51に、写真データを入力する(S704)。
5)機械学習システム50の出力部53の値を確認し、認知症度並びにうつ病度の推定値を確定する(S705)。
6)推定値は、インターネットNを介して、携帯端末90に送信される。(S706)。
【0084】
7)AIで推定した認知症度・うつ病度を、対象者に通知し、AI推定値に応じたアドバイスを画面に表示する。例えば、「認知症度は70%と推定されました。早めに、医療機関での診断をお勧めします。」とアドバイスする。
アドバイスの内容は、管理部80で生成してもいいし、携帯端末90で、予め、推定値に応じて設定された内容を表示してもよい。
また、2回目以降の簡易診断の場合は、過去の推定値も表示し、値の増減に応じて、アドバイスを行ってもよい(S707)。例えば、「認知症度は30%と推定されました。前回の推定値40%よりも良くなりました。引き続き、認知症予防のための運動に励んでください。」とアドバイスする。
【0085】
このような提案を行うことによって、対象者の潜在的な認知症度並びにうつ病度を、対象者の負担なく確認できるので、認知症及び/又はうつ病の早期発見に寄与することができる。
【産業上の利用可能性】
【0086】
本発明に係る認知症及び/又はうつ病推定AIシステム並びに教師データ作成方法は、病院以外での認知症及び/又はうつ病推定AIを構築する技術として利用されるのはもちろんのこと、病症が顔の特徴的表情として現れるその他の症例にも応用可能である。したがって、本発明の産業上の利用可能性は大きいと思料する。
【符号の説明】
【0087】
1 認知症及び/又はうつ病推定AI
10 薬局
11 撮影機材
12 利用者の顔写真
13 無表情の顔写真
14 笑顔の顔写真
20 顔写真データ
21 無表情の顔写真データ
22 笑顔の顔写真データ
30 お薬手帳
31 処方箋
32 薬データ
40 教師データ
41 例題データ
42 正解データ
43 算出表
50 機械学習システム
51 入力部
52 中間部
53 出力部
54 正解部
60 利用者の顔
61 口角の下り度
62 まぶたの下り度
63 ほほの下り度
64 眉の下り度
65 開口度
70 特徴量
71 無表情の特徴量
72 笑顔の特徴量
80 管理部
81 サーバ
82 サーバ管理データ
83 利用者情報
84 利用者から取得した情報
90 携帯端末
91 表示部
92 アプリケーション
93 元気度チェック質問欄
94 AI学習のための情報提供依頼画面
95 顔写真ガイダンス画面
96 薬情報撮影ガイダンス画面
P 利用者
D 誤差
N インターネット

図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17