(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-10-22
(45)【発行日】2024-10-30
(54)【発明の名称】対象者評価システム、対象者評価装置、及び対象者評価プログラム
(51)【国際特許分類】
G06Q 50/22 20240101AFI20241023BHJP
G16H 50/00 20180101ALI20241023BHJP
【FI】
G06Q50/22
G16H50/00
(21)【出願番号】P 2024102171
(22)【出願日】2024-06-25
【審査請求日】2024-08-05
【早期審査対象出願】
(73)【特許権者】
【識別番号】510050557
【氏名又は名称】株式会社 情報システムエンジニアリング
(74)【代理人】
【識別番号】100120868
【氏名又は名称】安彦 元
(72)【発明者】
【氏名】黒田 聡
【審査官】鹿谷 真紀
(56)【参考文献】
【文献】特開2018-185729(JP,A)
【文献】特開2019-160228(JP,A)
【文献】特開2023-001531(JP,A)
【文献】特開2020-190871(JP,A)
【文献】特開2023-030965(JP,A)
【文献】特開2021-162927(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06Q 50/22
G16H 10/00-80/00
(57)【特許請求の範囲】
【請求項1】
対象者の状態を評価する対象者評価システムであって、
前記対象者の状態を測定する1以上のセンサーと、
前記センサーを介して前記対象者の体調、及び行動の少なくとも何れかを示す対象者情報と、前記センサーの特徴を示す特徴情報とを取得する取得手段と、
取得した前記対象者情報を、前記センサーの前記特徴情報に基づいて二次元平面上の評価対象画像に画像変換する変換手段と、
予め画像変換された過去の評価対象画像と、前記過去の評価対象画像に紐づく参照情報との間における連関性が記憶された参照データベースと、
前記参照データベースを参照し、前記評価対象画像に対する評価結果を生成する評価手段と、
過去の評価結果と、前記評価結果に応じた支援者の行動を指示する指示情報と、が記憶された指示情報データベースと、
前記指示情報データベースを参照し、生成された前記評価結果に応じた前記指示情報を取得する指示情報取得手段と
前記指示情報を出力する出力手段と、
を備えることを特徴とする対象者評価システム。
【請求項2】
前記連関性は、前記過去の評価対象画像と、前記参照情報とを学習データとして用いた機械学習により構築されること
を特徴とする請求項1記載の対象者評価システム。
【請求項3】
前記過去の評価対象画像と、前記参照情報との間の関係を新たに取得した場合には、前記関係を前記連関性に反映させる更新手段を更に備えること
を特徴とする請求項1又は2記載の対象者評価システム。
【請求項4】
前記指示情報は、前記指示情報を投影する投影先情報を含み、
前記出力手段は、前記投影先情報に基づいて前記指示情報を出力すること、
を特徴とする請求項1記載の対象者評価システム。
【請求項5】
前記指示情報は、前記対象者の支援を行う支援者情報を含み、
前記出力手段は、前記支援者情報に基づいて前記指示情報を出力すること、
を特徴とする請求項1記載の対象者評価システム。
【請求項6】
前記指示情報は、前記支援者に行動を示唆する示唆情報を含み、
前記出力手段は、前記示唆情報に基づいて前記指示情報を出力すること、
を特徴とする請求項1記載の対象者評価システム。
【請求項7】
前記支援者の行動を評価する行動評価手段をさらに備え、
前記行動評価手段は、
出力された前記指示情報に対する前記支援者の行動の有無を示す行動情報を取得し、前記行動情報に基づいて前記指示情報に起因する行動を評価すること、
を特徴とする請求項1記載の対象者評価システム。
【請求項8】
対象者の状態を評価する対象者評価装置であって、
前記対象者の状態を測定する1以上のセンサーと、
前記センサーを介して前記対象者の体調、及び行動の少なくとも何れかを示す対象者情報と、前記センサーの特徴を示す特徴情報とを取得する取得部と、
取得した前記対象者情報を、前記センサーの前記特徴情報に基づいて二次元平面上の評価対象画像に画像変換する変換部と、
予め画像変換された過去の評価対象画像と、前記過去の評価対象画像に紐づく参照情報との間における連関性が記憶された参照データベースと、
前記参照データベースを参照し、前記評価対象画像に対する評価結果を生成する評価部と、
過去の評価結果と、前記評価結果に応じた支援者の行動を指示する指示情報と、が記憶された指示情報データベースと、
前記指示情報データベースを参照し、生成された前記評価結果に応じた前記指示情報を取得する指示情報取得部と、
前記指示情報を出力する出力部と、
を備えることを特徴とする対象者評価装置。
【請求項9】
対象者の状態を評価する対象者評価プログラムであって、
前記対象者の状態を1以上のセンサーで測定する測定ステップと、
前記センサーを介して前記対象者の体調、及び行動の少なくとも何れかを示す対象者情報と、前記センサーの特徴を示す特徴情報とを取得する取得ステップと、
取得した前記対象者情報を、前記センサーの前記特徴情報に基づいて二次元平面上の評価対象画像に画像変換する変換ステップと、
予め画像変換された過去の評価対象画像と、前記過去の評価対象画像に紐づく参照情報との間における連関性を参照データベースに記憶する第1記憶ステップと、
前記参照データベースを参照し、前記評価対象画像に対する評価結果を生成する評価ステップと、
過去の評価結果と、前記評価結果に応じた支援者の行動を指示する指示情報と、を指示情報データベースに記憶する第二記憶ステップと、
前記指示情報データベースを参照し、生成された前記評価結果に応じた前記指示情報を取得する指示情報取得ステップと、
前記指示情報を出力する出力ステップと、
をコンピュータに実行させることを特徴とする対象者評価プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、対象者の状態を評価する対象者評価システム、対象者評価装置、及び対象者評価プログラムに関する。
【背景技術】
【0002】
従来、対象者の行動に対する評価を支援する装置として、例えば特許文献1の判定装置が提案されている。
【0003】
特許文献1に開示された動画処理装置は、居室の対象者が撮影された動画データを取得する取得部と、取得部で取得された動画データを解析し、対象者を含む人に関する第1情報と、居室にある物に関する第2情報とを抽出する解析部と、対象者が行った所定の動作に対する評価を支援するために、解析部で抽出された第1情報と、第2情報とに関する複数のタグを動画データに関連付けて付与するタグ付け処理部とを備え、評価対象者の所定の動作に対する評価を効率的に支援する。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
ここで、例えば特許文献1のような動画処理装置では、居室を近赤外カメラで得られた動画データの解析のみを前提としている。このため、近赤外カメラのほか、現場のニーズにより様々な場所で、複数の種類のセンサーに適した処理を行うことが難しい。
【0006】
そこで本発明は、上述した問題点に鑑みて案出されたものであり、その目的とするところは、現場のニーズにより様々な場所で、複数の種類のセンサーに適した処理を行うことができる対象者評価システム、対象者評価装置、及び対象者評価プログラムを提供することにある。
【課題を解決するための手段】
【0007】
第1発明に係る対象者評価システムは、対象者の状態を評価する対象者評価システムであって、前記対象者の状態を測定する1以上のセンサーと、前記センサーを介して前記対象者の体調、及び行動の少なくとも何れかを示す対象者情報と、前記センサーの特徴を示す特徴情報とを取得する取得手段と、取得した前記対象者情報を、前記センサーの前記特徴情報に基づいて二次元平面上の評価対象画像に画像変換する変換手段と、予め画像変換された過去の評価対象画像と、前記過去の評価対象画像に紐づく参照情報との間における連関性が記憶された参照データベースと、前記参照データベースを参照し、前記評価対象画像に対する評価結果を生成する評価手段と、過去の評価結果と、前記評価結果に応じた支援者の行動を指示する指示情報と、が記憶された指示情報データベースと、前記指示情報データベースを参照し、生成された前記評価結果に応じた前記指示情報を取得する指示情報取得手段と前記指示情報を出力する出力手段と、を備えることを特徴とする。
【0008】
第2発明に係る対象者評価システムは、第1発明において、前記連関性は、前記過去の評価対象画像と、前記参照情報とを学習データとして用いた機械学習により構築されることを特徴とする。
【0009】
第3発明に係る対象者評価システムは、第1発明又は第2発明において、前記過去の評価対象画像と、前記参照情報との間の関係を新たに取得した場合には、前記関係を前記連関性に反映させる更新手段を更に備えることを特徴とする。
【0010】
第4発明に係る対象者評価システムは、第1発明において、前記指示情報は、前記指示情報を投影する投影先情報を含み、前記出力手段は、前記投影先情報に基づいて前記指示情報を出力することを特徴とする。
【0011】
第5発明に係る対象者評価システムは、第1発明において、前記指示情報は、前記対象者の支援を行う支援者情報を含み、前記出力手段は、前記支援者情報に基づいて前記指示情報を出力することを特徴とする。
【0012】
第6発明に係る対象者評価システムは、第1発明において、前記指示情報は、前記支援者に行動を示唆する示唆情報を含み、前記出力手段は、前記示唆情報に基づいて前記指示情報を出力することを特徴とする。
【0013】
第7発明に係る対象者評価システムは、第1発明において、前記支援者の行動を評価する行動評価手段をさらに備え、前記行動評価手段は、出力された前記指示情報に対する前記支援者の行動の有無を示す行動情報を取得し、前記行動情報に基づいて前記指示情報に起因する行動を評価することを特徴とする。
【0014】
第8発明に係る対象者評価装置は、対象者の状態を評価する対象者評価装置であって、前記対象者の状態を測定する1以上のセンサーと、前記センサーを介して前記対象者の体調、及び行動の少なくとも何れかを示す対象者情報と、前記センサーの特徴を示す特徴情報を取得する取得部と、取得した前記対象者情報を、前記センサーの前記特徴情報に基づいて二次元平面上の評価対象画像に画像変換する変換部と、予め画像変換された過去の評価対象画像と、前記過去の評価対象画像に紐づく参照情報との間における連関性が記憶された参照データベースと、前記参照データベースを参照し、前記評価対象画像に対する評価結果を生成する評価部と、過去の評価結果と、前記評価結果に応じた支援者の行動を指示する指示情報と、が記憶された指示情報データベースと、前記指示情報データベースを参照し、生成された前記評価結果に応じた前記指示情報を取得する指示情報取得部と、前記指示情報を出力する出力部と、を備えることを特徴とする。
【0015】
第9発明に係る対象者評価プログラムは、対象者の状態を評価する対象者評価プログラムであって、前記対象者の状態を1以上のセンサーで測定する測定ステップと、前記センサーを介して前記対象者の体調、及び行動の少なくとも何れかを示す対象者情報と、前記センサーの特徴を示す特徴情報とを取得する取得ステップと、取得した前記対象者情報を、前記センサーの前記特徴情報に基づいて二次元平面上の評価対象画像に画像変換する変換ステップと、予め画像変換された過去の評価対象画像と、前記過去の評価対象画像に紐づく参照情報との間における連関性を参照データベースに記憶する第1記憶ステップと、前記参照データベースを参照し、前記評価対象画像に対する評価結果を生成する評価ステップと、過去の評価結果と、前記評価結果に応じた支援者の行動を指示する指示情報と、を指示情報データベースに記憶する第二記憶ステップと、前記指示情報データベースを参照し、生成された前記評価結果に応じた前記指示情報を取得する指示情報取得ステップと前記指示情報を出力する出力ステップと、をコンピュータに実行させることを特徴とする。
【発明の効果】
【0016】
第1発明~第7発明によれば、取得手段は、対象者の状態を測定する1以上のセンサーから対象者情報と特徴情報を取得する。このため、複数のセンサーを介して対象者の体調、及び行動の少なくとも何れかを示す対象者情報と、センサーの特徴を示す特徴情報とを取得することができる。これにより、現場のニーズにより様々な場所で、複数の種類のセンサーに適した処理を行うことが可能となる。
【0017】
また、第1発明~第7発明によれば、変換手段は、取得した対象者情報を、センサーの特徴情報に基づいて二次元平面上の評価対象画像に画像変換する。このため、参照データベースを参照し、評価対象画像に対する評価結果を生成することができる。これにより、現場のニーズにより様々な場所で、複数の種類のセンサーに適した処理を行うことが可能となる。
【0018】
特に、第1発明によれば、指示情報データベースは、過去の評価結果と、評価結果に応じた支援者の行動を指示する指示情報とを記憶する。このため、指示情報取得手段は、指示情報データベースを参照し、生成された評価結果に応じた指示情報を取得することができる。これにより、現場のニーズにより様々な場所で、投影先や支援者に適した指示を行うことが可能となる。
【0019】
特に、第2発明によれば、連関性は、過去の評価対象画像と、参照情報とを学習データとして用いた機械学習により構築される。このため、過去の評価対象画像とは異なる未知の評価対象画像を評価する場合においても、定量的な評価を実施することができる。これにより、現場のニーズにより様々な場所で、複数の種類のセンサーに適した処理を行うことが可能となる。
【0020】
特に、第3発明によれば、更新手段は、評価対象画像と、参照情報との間の関係を新たに取得した場合には、関係を前記連関性に反映させる。このため、新たな評価対象画像を評価する場合においても、定量的な評価を実施することができる。これにより、評価精度の更なる向上を図ることが可能となり、現場のニーズにより様々な場所で、複数の種類のセンサーに適した処理を行うことが可能となる。
【0021】
特に、第4発明によれば、指示情報は、指示情報を投影する投影先情報を含む。このため、投影先情報に基づいて指示情報を出力することができる。これにより、投影先情報に基づいて指示情報を投影することが可能となり、現場のニーズにより様々な場所で、複数の種類のセンサーに適した処理を行うことが可能となる。
【0022】
特に、第5発明によれば、指示情報は、対象者の支援を行う支援者情報を含む。このため、出力手段は、支援者情報に基づいて指示情報を出力することができる。これにより、支援者情報に基づいて指示情報を投影することが可能となり、現場のニーズにより様々な場所で、複数の種類のセンサーに適した処理を行うことが可能となる。
【0023】
特に第6発明によれば、指示情報は、支援者に行動を示唆する示唆情報を含む。このため、出力手段は、示唆情報に基づいて指示情報を出力することができる。これにより、示唆情報に基づいて指示情報を投影することが可能となり、現場のニーズにより様々な場所で、複数の種類のセンサーに適した処理を行うことが可能となる。
【0024】
特に、第7発明によれば、行動評価手段は、出力された指示情報に対する支援者の行動の有無を示す行動情報を取得する。このため、行動情報に基づいて前記指示情報に起因する行動を評価することができる。これにより、支援者の行動を評価する精度の向上を図ることが可能となり、現場のニーズにより様々な場所で、複数の種類のセンサーに適した処理を行うことが可能となる。
【0025】
第8発明によれば、評価部は、参照データベースを参照し、評価対象画像に対する評価結果を生成する。参照情報は、身体情報を含む。このため、過去に対象者の状態を評価した結果を踏まえた評価結果を生成することができる。これにより、対象者の状態を評価する精度の向上を図ることが可能となり、現場のニーズにより様々な場所で、複数の種類のセンサーに適した処理を行うことが可能となる。
【0026】
第9発明によれば、評価ステップは、参照データベースを参照し、評価対象画像に対する評価結果を生成する。参照情報は、身体情報を含む。このため、過去に対象者の状態を評価した結果を踏まえた評価結果を生成することができる。これにより、対象者の状態を評価する精度の向上を図ることが可能となり、現場のニーズにより様々な場所で、複数の種類のセンサーに適した処理を行うことが可能となる。
【図面の簡単な説明】
【0027】
【
図1】
図1は、本実施形態における対象者評価システムの一例を示す模式図である。
【
図2】
図2(a)は、本実施形態における対象者評価装置の場所Aにおける動作の一例を示す模式図である。
図2(b)は、本実施形態における対象者評価装置の場所Bにおける動作の一例を示す模式図である。
【
図3】
図3(a)は、本実施形態における対象者評価システムのセンサーデータの一例を示す模式図である。
図3(b)は、本実施形態における対象者評価システムの評価対象画像の一例を示す模式図である。
【
図4】
図4(a)は、本実施形態における対象者評価装置の構成の一例を示す模式図であり、
図4(b)は、本実施形態における対象者評価装置の機能の一例を示す模式図である。
【
図5】
図5は、本実施形態における参照データベースの一例を示す模式図である。
【
図6】
図6は、本実施形態における対象者評価システムの動作の一例を示すフローチャートである。
【発明を実施するための形態】
【0028】
以下、本発明を適用した実施形態における対象者評価システム100、及び対象者評価装置1の一例について、図面を参照しながら説明する。
【0029】
図1を参照して、本実施形態における対象者評価システム100、及び対象者評価装置1の一例について説明する。
【0030】
(対象者評価システム100)
本実施形態における対象者評価システム100は、例えば
図1に示すように、対象者評価装置1を有する。対象者評価装置1は、例えばセンサー2(2a~2f)と接続するほか、例えば通信網4を介して他の端末5やサーバ6に接続されてもよい。
【0031】
対象者評価システム100は、場所A、または場所Bにおける対象者3の状態を評価し、評価結果を生成し、評価結果に基づいてサーバ6のデータベースを参照し、指示情報を取得する。対象者評価システム100は、取得した指示情報を場所A、または場所Bにおける適切な投影先、支援者7に提示する。対象者評価システム100は、例えば場所A、または場所Bにおける対象者3の観察後に行われる評価(例えば介護施設や在宅介護で介護者等が行う観察)の他、例えば対象者3を介護、支援する支援者7への指示などに用いることができる。
【0032】
また対象者評価システム100は、例えば対象者3の移乗、食事、入浴、投薬、トイレ、リハビリ、バイタルチェック、痰吸引、呼吸支援、点滴、輸血等の他、さらには物流現場における配送作業、製造現場における組み立て作業、販売現場における営業作業など、様々な現場の場面における対象者3の作業時の状態に対して行われた評価に対する支援者7への指示にも用いることができる。
【0033】
さらに対象者評価システム100は、現在の対象者3の状態から、傾向を評価するようにしてもよい。対象者評価システム100は、例えば介護施設での対象者3の観察後に行われる評価から『状態に回復傾向がみられる』、または在宅介護での対象者3の観察後に行われる評価から『現状のままでは介護度が上がりやすい傾向になっている』、等の評価にも用いることができる。
【0034】
さらに対象者評価システム100は、例えば投影する投影先(例えば部屋A、または部屋Bの壁や天井の材質や状態、部屋の明るさ、窓の位置、カーテンや投影スクリーンの有無、材質など)や支援者7の属性(例えば家族、非家族など)、経験やスキル(例えば支援、介護の経験の有無、年数など)、作業の状態(例えば作業中、作業予定など)に応じて、適した指示情報をサーバ6のデータベースから取得するようにしてもよい。
【0035】
対象者評価システム100は、例えば生成された対象者3の評価結果が『仰向け姿勢:○時間経過』である場合は、指示情報データベースを参照し、支援者7に対する指示情報として紐づけられる指示情報として、例えば『体位の変更』を取得する。また、対象者評価システム100は、例えば生成された対象者3の評価結果が『血液・リンパの流れ:低下』の場合は、支援者7に対する指示情報として紐づけられる指示情報として、例えば『マッサージの実行』を取得する。
【0036】
対象者評価システム100は、取得した指示情報を出力する。指示情報の出力は、例えば部屋に備わるモニター、プロジェクター、またはレーザー照射器などの投影デバイスの他、例えば支援者7が備える公知の各種デバイス(例えばスマートフォン、タブレット、ヘッドマウントディスプレイ、スマートグラスなど)であってもよい。
【0037】
対象者評価システム100は、例えば部屋(場所A、または場所Bなど)に設置されるセンサー2(2a~2f)を介して、例えば部屋の状態や投影先に関する情報、対象者3の支援を行う支援者7に関する情報や支援者7の姿勢などに関する情報をさらに取得するようにしてもよい。対象者評価システム100は、例えば部屋の状態や支援者7の姿勢情報を判別し、取得した指示情報を部屋の状態や支援者7の姿勢に対して適切に表示されるように調整する等して出力するようにしてもよい。
【0038】
また対象者評価システム100は、例えば部屋(場所A、または場所Bなど)に設置されるセンサー2(2a~2f)を介して、さらに支援者7の行動に関する行動情報を取得する。対象者評価システム100は、例えば支援者7の指示情報の出力に起因する支援者7の確認行動の有無を評価する。対象者評価システム100は、例えば指示情報の出力に対する確認として、支援者7に対して特定の行動(例えばジェスチャー、ポーズ、姿勢、しぐさ、あるいは発呼など)を要求し、センサー2(2a~2f)を介して要求の結果を評価(「指示情報を理解」、「指示情報を完了」、「指示情報の再表示」、あるいは「指示情報の実行不可」など)するようにしてもよい。
【0039】
ここで、
図2を参照して、対象者評価システム100における場所Aにおける動作の一例を説明する。まず
図2(a)に、例えば場所A(寝室)を対象とした対象者評価システム100の動作の一例を示す。
図2(a)に示すように、対象者評価システム100は、例えば対象者3の就寝時の状態を測定する1以上のセンサー2(2a~2f)を用いて対象者3の就寝時の状態に関するデータ測定する。
【0040】
センサー2は、例えばセンサー2aは、対象者3、または支援者7の動きを測定するモーションセンサーで、測定した対象者3、または支援者7の動きを測定し、数値化する。センサー2bは、例えば対象者3の体温やバイタルを測定する近赤外や非接触のバイタルセンサーで、測定した対象者3の体温やバイタルを測定し、数値化する。また、センサー2cは、例えば対象者3の姿勢や重心等を測定する測定する近赤外や非接触のバイタルセンサーで、測定した対象者3の体温やバイタルを測定し、数値化する。また、センサー2cは、例えばベッドの脚などに装着され、対象者3の身体の向きや姿勢、身体の重心を測定するセンサーで、測定した対象者3の身体の向きや姿勢、身体の重心を測定し、数値化する。センサー2a~2eは、例えば支援者7の行動を示す動きを測定数量にしてもよい。
【0041】
対象者評価システム100は、各センサー2(2a~2c)によって測定された各種の測定データを取得する。対象者評価システム100は、例えば各センサー2(2a~2c)により測定された各種の測定データを取得する際に、各センサーの特徴を示す特徴情報(例えばセンサーID、測定データID、測定データ特性、測定日時、測定場所など)を合わせて取得する。対象者評価システム100は、例えば各センサー2(2a~2c)に対象者評価システム100への送信日時、送信する測定データ等の取得条件を予め設定しておき、各センサー2は設定された取得条件に基づいて、対象者評価システム100に送信するようにしてもよい。
【0042】
次に
図2(b)に、例えば場所B(居間)を対象とした対象者評価システム100の動作の一例を示す。
図2(b)に示すように、対象者評価システム100は、例えば対象者3が起床し、場所Aからの移動における行動の状態を1以上のセンサー2(2e~2f)を用いて対象者3の行動状態に関するデータ、および対象者3の支援を行う支援者7の行動状態に関するデータを測定する。
【0043】
センサー2は、例えばセンサー2eは、対象者3、支援者7の姿勢や動きなどを測定するモーションセンサーで、例えば測定した対象者3、支援者7の姿勢や動きを測定し、数値化する。また、例えばセンサー2fは、対象者3、支援者7が身に着けるウェアラブルセンサーで、例えば対象者3の歩数や手足の動き、心拍や呼吸数等を測定し、数値化する。
【0044】
図2(a)及び(b)に示すセンサー2(2a~2f)は、例えば施設内や家庭内に複数が設置されてもよい。設置個所は、例えば天井や壁面、テーブル、ベッド、椅子、車いす、自動車等に設置されたり、あるいは評価者や支援者が身につけるようにしてもよい。設置場所が、例えば浴室の場合は、対象者3の身体の状態は画像データの取得は行わず、近赤外カメラ等によりセンサーデータを取得するようにしてもよい。これにより、現場や、現場のニーズにより様々な場所等で、複数の種類のセンサーにより対象者3の状態を取得することが可能となる。
【0045】
対象者評価システム100は、各センサー2(2e~2f)によって測定された各種の測定データを取得する。対象者評価システム100は、例えば各センサー2(2e~2f)により測定された各種の測定データを取得する際に、各センサーの特徴を示す特徴情報(例えばセンサーID、測定データID、測定データ特性、測定日時、測定場所など)を合わせて取得する。対象者評価システム100は、例えば各センサー2(2e~2f)に対象者評価システム100への送信日時、送信する測定データ等の取得条件を予め設定しておき、各センサー2は設定された取得条件に基づいて、対象者評価システム100に送信するようにしてもよい。
【0046】
対象者評価システム100は、センサー2を介して対象者3の体調、及び行動の少なくとも何れかを示す対象者情報と、センサー2の特徴を示す特徴情報とを取得し、取得した対象者情報を、センサーの特徴情報に基づいて二次元平面上の評価対象画像に画像変換する。
【0047】
対象者評価システム100は、例えば予め画像変換された過去の評価対象画像と、過去の評価対象画像に紐づく参照情報との間における連関性が記憶された参照データベースを参照し、評価対象画像に対する評価結果を生成する。これにより、現在の対象者3の評価対象画像を用いて、対象者3の状態を評価することが可能となる。評価対象画像は、例えば複数を組み合わせて評価するようにしてもよい。複数の評価対象画像の中から、例えば特徴ある評価対象画像の組合せに応じて、対象者3の各種の状態を確認したり、あるいは今後の発生を予測することが可能となる。
【0048】
対象者評価システム100は、測定データを含む評価対象情報を取得したあと、後述する参照データベースを参照し、評価対象画像に対する評価結果を生成する。対象者評価システム100は、生成した評価結果に応じた指示情報をデータベース(指示情報データベス)から取得し、表示部109等に出力する。
【0049】
評価結果は、対象者3の状態を評価対象とした現状の確認されている状態の他に、将来発生、発症する可能性のある未確認の状態の予測結果等を示す。評価結果は、例えば「正常」、「異常」、「要観察」等のような対象者3の身体や行動に関する状態の評価結果を示すほか、例えば「○○症状の傾向あり」や、「○○症状である可能性 60%」等のような対象者3に起こりうる症例や容態、必要な介護等の傾向や、将来発症する可能性ある病状や容態、必要な介護等を確率により示してもよい。これにより、例えば対象者3の介護者は、これら評価結果を確認することにより、今後の対象者3の介護やケアの準備等を、前もってすることが可能となる。
【0050】
対象者評価システム100を構成する機器として、例えばパーソナルコンピュータ(PC)等の電子機器が用いられるほか、例えばスマートフォン、タブレット型端末、ウェアラブル端末、IoT(Internet of Things)デバイス等の電子機器、Raspberry Pi(登録商標)等のシングルボードコンピュータが用いられてもよく、例えばセンサー2が内蔵されてもよい。例えば対象者評価システム100(対象者評価装置1)として、センサー2が内蔵されたHMD(Head Mounted Display)が用いられる場合、評価者等は、ディスプレイ越しに対象者3を視認することで、対象者3の評価結果を認識することができる。このため、対象者3に対するの身体評価作業の難易度を低下させることができる上、評価作業時間を短縮することが可能となる。
【0051】
ここで、
図3を参照して、本実施形態における対象者評価システム100のセンサーデータの一例を説明する。
図3(a)は、本実施形態における対象者評価システム100のセンサーデータの一例であり、複数のセンサー2で計測された各種のセンサーデータが対象者評価システム100により取得される。
【0052】
各種のセンサー2に測定されるセンサーデータとして、例えばセンサー2aは、対象者3の状態(例えば就寝中の行動情報など)を測定し、センサーデータ200aとして記録する。センサーデータ200aとして、例えば対象者3の頭の位置(XX.XX)、右肩の位置(XX.XX)、左肩の位置(XX.XX)、右上腕の位置(XX.XX)、左上腕の位置(XX.XX)などのそれぞれの位置や動きの座標や動作を示す数値が時系列で測定され、測定された複数のセンサーデータ200aが記録される。
【0053】
センサー2aは、例えば公知のモーションセンサー等で、対象者3、支援者7の動きを測定し、数値化する。センサーデータ200aの測定は、例えば公知のモーションセンサーのほか、近赤外センサー、画像センサーなど(図示せず)を用いてもよく、公知の測定技術を用いて取得されるものとする。
【0054】
センサー2aにより測定されたセンサーデータ200aは、例えば対象者評価システム100により取得され、センサーデータ200aとして対象者評価システム100内に複数が記録されるほか、例えば他の端末5、またはサーバ6などに記録されるようにしてもよい。
【0055】
また、例えばセンサー2bは、対象者3の状態(例えば就寝中のバイタル情報など)、支援者7の行動(例えば指示情報の指示に対するジェスチャーなど)を測定し、センサーデータ201aとして記録する。センサーデータ200bとして、例えば対象者3の状態を測定する場合は、対象者3の体温(35.50)、呼吸数(18.00)、血圧値High(130.00)、血圧値Low(85.00)、脈拍数(70.00)などのそれぞれのバイタル情報を示す数値が時系列で測定され、測定された複数のセンサーデータ200bが記録される。
【0056】
センサー2bは、例えば公知の近赤外や非接触のバイタルセンサー等で、対象者3のバイタル情報を測定し、数値化する。センサーデータ201aの測定は、例えば公知のバイタルセンサーのほか、各種の画像センサーなど(図示せず)を用いてもよく、公知の測定技術を用いて取得されるものとする。
【0057】
センサー2bにより測定されたセンサーデータ201aは、例えば対象者評価システム100により取得され、センサーデータ201aとして対象者評価システム100内に複数が記録されるほか、例えば他の端末5、またはサーバ6などに記録されるようにしてもよい。
【0058】
センサー2aによるセンサーデータ200a、センサー2bによるセンサーデータ201aの他、他のセンサー2c~2fについても同様に、それぞれのセンサーデータが測定され、各々のセンサーデータとして対象者評価システム100内に複数が記録されるほか、例えば他の端末5、またはサーバ6などに記録される。
【0059】
また、
図3(b)は、本実施形態における対象者評価システム100の評価対象画像の一例であり、センサー2で測定された各種のセンサーデータが各センサー2の特徴情報(機種、モデル、変換パラメータ、性能・特性、可視化特性、フォーマットなど)に基づいて、二次元平面上の評価対象画像200b~202bに画像変換されたものである。
【0060】
評価対象画像200bは、例えばセンサーデータ200aがセンサー2aの特徴情報に基づいて、二次元平面上の評価対象画像200bに画像変換されたものである。画像変換は、例えば既知のグラフ化処理などであり、時系列で測定されたセンサーデータが、ある特定のパラメータなどに基づいてグラフ化された状態を示す。
【0061】
評価対象画像200bは、センサー2aで測定された数値をレーダーチャートで二次元平面上の評価対象画像200bとして画像変換したものであるが、他の特徴を出すのであれば、レーダーチャート以外のグラフに画像変換されてもよい。
【0062】
同様に、評価対象画像201bは、例えばセンサーデータ200bがセンサー2bの特徴情報に基づいて、二次元平面上の評価対象画像201bに画像変換されたものであり、例えば時系列での各々のバイタル情報の変化を二次元平面上の評価対象画像201bとして画像変換したものである。
【0063】
また、評価対象画像202bは、例えば他のセンサー2によって測定されたセンサーデータがセンサー2の特徴情報に基づいて、二次元平面上の評価対象画像202bに画像変換されたものであってもよい。または、複数のセンサー2で測定された各々の数値をとりまとめ、その割合などを二次元平面上の評価対象画像201bとして画像変換するようにしてもよい。
【0064】
図3(b)に示す評価対象画像は、各センサー2a~2fで複数あってもよく、さらに時系列で計測されている場合は、時系列の推移や、ある期間で合計された数値が割合として画像変換されてもよい。
【0065】
対象者評価システム100は、評価対象画像200b~202b、その他の画像変換された複数の二次元平面上の評価対象画像を表示部109に表示する。例えば1つのセンサー2で、複数のセンサーデータが測定された場合、対象者評価システム100は、対象者3に対する評価結果を別々に生成することができ、表示部109には、対象者3に対する評価結果を表示することができる。なお、例えば1つの対象者3に対する評価結果を生成する際、複数のセンサーデータに基づいてもよい。また、例えば複数の評価対象画像を組み合わせて表示する種別、個数は、任意である。
【0066】
センサーデータは、例えばRGBカメラ等を用いて生成されてもよい。センサーデータは、例えば任意の波長を選択したマルチスペクトルカメラを用いて生成されてもよく、例えば偏光フィルタを介した撮像に基づき生成されてもよい。センサーデータは、例えば動画の一部から抽出され、評価対象画像として画像変換されてもよい。
【0067】
対象者情報は、例えば対象者評価システム100の取得したセンサーデータに紐づくように、評価者等が直接に対象者評価システム100に入力するほか、例えば予め複数の対象者情報を対象者評価システム100に記憶させ、評価対象画像に基づき対象者評価システム100によって選択されてもよい。対象者評価システム100が対象者情報を選択する場合、例えば予め対象者評価システム100に記憶された学習モデルを用いて、取得された評価対象画像に対して対象者やセンサー2を選択できるようにしてもよい。この場合、学習モデルは、予め準備された評価対象画像及び対象者情報報を学習データとした公知の機械学習により生成される。
【0068】
対象者情報は、センサーデータとして測定された対象者3を観察したときの日時、姿勢、及び動作、及び観察者、並びに、対象者3を観察する予定の日時の少なくとも何れかに関する情報を有する。対象者情報は、例えば対象者3の体力やトレーニング、食事等の普段の生活に関する情報を有してもよい。
【0069】
対象者情報は、例えば対象者評価システム100の取得したセンサーデータに紐づくように、評価者等が直接に対象者評価システム100に入力するほか、例えば他の端末5等から送信されてもよい。
【0070】
対象者評価システム100(対象者評価装置1)は、例えば生成した評価結果(対象者3の現状、または将来の容態、発症、または変化する可能性が予測等)に応じて、対象者3を支援する支援者7への指示情報を取得する。指示情報は、例えば指示情報を投影する部屋の投影先情報、対象者3の支援を行う支援者7に適した行動を指示する情報、あるいは支援者7に行動を示唆する示唆情報であってもよい。
【0071】
指示情報は、例えば指示情報を投影する部屋の天井や壁、投影装置等に関する各種の投影先情報、対象者3の支援を行う支援者7の属性、スキル等に関する各種の支援者情報、さらに支援者7に行動を起こさせる、喚起するような情報に関する示唆情報を含んでもよい。これにより対象者評価システム100は、例えば対象者3の部屋や支援者7に対して適切な表示や指示を行うことができ、現場のニーズにより様々な場所で、投影先や支援者に適した指示を行うことが可能となる。
【0072】
(対象者評価装置1)
次に、
図4を参照して、本実施形態における対象者評価装置1の一例を説明する。
図4(a)は、本実施形態における対象者評価装置1の構成の一例を示す模式図であり、
図4(b)は、本実施形態における対象者評価装置1の機能の一例を示す模式図である。
【0073】
対象者評価装置1は、例えば
図4(a)に示すように、筐体10と、CPU(Central Processing Unit)101と、ROM(Read Only Memory)102と、RAM(Random Access Memory)103と、保存部104と、I/F105~107とを備える。各構成101~107は、内部バス110により接続される。
【0074】
CPU101は、対象者評価装置1全体を制御する。ROM102は、CPU101の動作コードを格納する。RAM103は、CPU101の動作時に使用される作業領域である。保存部104は、評価対象画像や参照データベース等の各種情報が保存される。保存部104として、例えばHDD(Hard Disk Drive)の他、SSD(Solid State Drive)等のデータ保存装置が用いられる。なお、例えば対象者評価装置1は、図示しないGPU(Graphics Processing Unit)を有してもよい。GPUを有することで、通常よりも高速演算処理が可能となる。
【0075】
I/F105は、センサー2との各種情報の送受信を行うためのインターフェースであるほか、例えばインターネット等の通信網4を介して、他の端末5やサーバ6等との各種情報の送受信を行うためのインターフェースでもよい。
【0076】
I/F106は、入力部108との情報の送受信を行うためのインターフェースである。入力部108として、例えばキーボードが用いられ、対象者評価装置1を利用する評価者等は、入力部108を介して、各種情報又は対象者評価装置1の制御コマンド等を入力する。
【0077】
I/F107は、表示部109との各種情報の送受信を行うためのインターフェースである。表示部109は、保存部104に保存された評価結果等の各種情報、又は対象者評価装置1の処理状況等を出力する。表示部109として、ディスプレイが用いられ、例えばタッチパネル式でもよい。
【0078】
<参照データベース>
保存部104に保存された参照データベースには、予め取得された過去の評価対象画像と、過去の評価対象画像に紐づく参照情報との間における連関性が記憶され、例えば連関性を有する学習モデルが記憶される。参照データベースには、例えば過去の評価対象画像、及び参照情報が記憶されてもよい。連関性は、例えば過去の評価対象画像、及び参照情報を一組の学習データとして、複数の学習データを用いた機械学習により構築される。学習方法として、例えば畳み込みニューラルネットワーク等の深層学習が用いられる。
【0079】
この場合、例えば連関性は、多対多の情報(過去の評価対象画像に含まれる複数のデータ、対、参照情報に含まれる複数のデータ)の間における繋がりの度合いを示す。連関性は、機械学習の過程で適宜更新される。即ち、連関性は、例えば過去の評価対象画像(二次元平面上の画像データ)、及び参照情報に基づいて最適化された関数を示す。このため、過去に対象者3の状態を評価した結果を全て踏まえて構築された連関性を用いて、評価対象画像に対する評価結果が生成される。これにより、対象者3の体調や行動が様々な状態の場合であっても、最適な評価結果を生成することができる。
【0080】
また、評価対象画像が、過去の評価対象画像と同一又は類似である場合のほか、非類似である場合においても、最適な評価結果を定量的に生成することができる。なお、機械学習を行う際に汎化能力を高めることで、未知の評価対象画像に対する評価精度の向上を図ることができる。
【0081】
なお、連関性は、例えば過去の評価対象画像に含まれる複数のデータと、参照情報に含まれる複数のデータとの間における繋がりの度合いを示す複数の連関度を有してもよい。連関度は、例えば学習モデルがニューラルネットワークで構築される場合、重み変数に対応させることができる。
【0082】
過去の評価対象画像は、上述した評価対象画像と同種の情報を示す。過去の評価対象画像は、例えば過去に対象者3を評価した際に取得された評価対象画像を複数含む。
【0083】
参照情報は、過去の評価対象画像に紐づき、対象者3の状態に関する情報を示す。参照情報は、対象者3の状態を踏まえた評価(例えば「正常」、「異常」、「要観察」、「○○症状の傾向あり」、「○○症状である可能性 60%」等)を示すほか、対象者3の状態の要因に関する身体情報、対応情報、準備情報、予測情報等を含んでもよい。
【0084】
参照情報は、例えば対象者3に起こりうる症例や容態、必要な介護等の傾向や、将来発症する可能性ある病状や容態、必要な介護等を確率により示してもよい。なお、参照情報に含まれる具体的な内容は、任意に設定することができる。
【0085】
身体情報は、高齢者であれば、例えば認知症、脱水症状、歩行障害、精神心理的障害、移動能力障害、排泄機能障害、感覚障害、栄養摂取障等の具体的な状態の要因の名称を示す。各種要因は、一般的に対象者3の体調や行動に対して、少なくとも一部に関連する。
【0086】
連関性は、例えば
図5に示すように、過去の評価対象画像と参照情報との間における繋がりの度合いを示してもよい。この場合、連関性を用いることで、過去の評価対象画像に含まれる複数のデータ(
図5では「画像データA」~「画像データC」)のそれぞれに対し、参照情報に含まれる複数のデータ(
図5では「参照A」~「参照C」)の関係の度合いを紐づけて記憶させることができる。このため、例えば連関性を介して、過去の評価対象画像に含まれる1つのデータに対して、参照情報に含まれる複数のデータを紐づけることができ、多角的な評価結果の生成を実現することができる。
【0087】
また連関性は、例えば過去の評価対象画像に含まれる複数のデータと、参照情報に含まれる複数のデータとをそれぞれ紐づける複数の連関度を有する。連関度は、例えば百分率、10段階、又は5段階等の3段階以上で示され、例えば線の特徴(例えば太さ等)で示される。例えば、過去の評価対象画像に含まれる「画像データA」は、参照情報に含まれる「参照A」との間の連関度AA「85%」を示し、参照情報に含まれる「参照B」との間の連関度AB「55%」を示す。すなわち、「連関度」は、各画像データ間における繋がりの度合いを示しており、例えば連関度が高いほど、各データの繋がりが強いことを示す。なお、上述した機械学習により連関性を構築する際、連関性が3段階以上の連関度を有するように設定してもよい。
【0088】
過去の評価対象画像は、例えば過去の画像データA~Cと、過去の体調情報、または行動情報とを分割して、参照データベースに記憶されてもよい。この場合、過去の画像データ及び過去の体調情報、または行動情報の組み合わせと、参照情報との間の関係に基づいて、連関度が算出される。なお、過去の評価対象画像は、例えば上記に加え、過去の観察情報(各種のセンサーデータ等)を分割して、参照データベースに記憶されてもよい。
【0089】
また過去の評価対象画像は、例えば合成データと、類似度とを含んでもよい。合成データは、過去の画像データ、又は過去の体調情報、または行動情報との間における3段階以上の類似度により示される。合成データは、数値、行列、又はヒストグラム等の形式で参照データベースに記憶されるほか、例えば画像や文字列等の形式で記憶されてもよい。
【0090】
図4(b)は、対象者評価装置1の機能の一例を示す模式図である。対象者評価装置1は、取得部11と、変換部12と、評価部13と、指示情報取得部14と、出力部15と、記憶部16(データベース)とを備え、例えば更新部17、行動評価部18を有してもよい。なお、
図4(b)に示した各機能は、CPU101が、RAM103を作業領域として、保存部104等に保存されたプログラムを実行することにより実現され、例えば人工知能により制御されてもよい。
【0091】
<指示情報データベース>
保存部104に保存された指示情報データベース(図示せず)には、例えば過去の評価結果と、評価結果に応じた支援者7の行動を指示する指示情報が記憶される。過去の評価結果と指示情報は、例えばユニークなIDが各々に付与され、それらの連関性を示す割合などが付与されてもよい。対象者評価システム100は、指示情報データベースを参照し、生成された評価結果に応じた指示情報を取得する際に、例えば評価結果IDなどに付与された割合等に基づいて、適切な指示情報IDを取得するようにしてもよい。
【0092】
指示情報は、例えば指示情報を出力(投影)する投影先の各種の情報を含む投影先情報が紐づけられ、指示情報データベースに記憶されてもよい。また投影先情報は、例えば部屋A、または部屋Bの壁や天井の材質や状態、部屋の明るさ、窓の位置、カーテンや投影スクリーンの有無、材質などを示す情報を含んでもよく、各々がユニークなID(投影先情報ID)で識別され、指示情報データベースに記憶されてもよい。投影先情報IDは、例えば指示情報IDと紐づけられ、評価結果に対する連関性を示す割合等が付与され記憶されてもよい。
【0093】
また指示情報は、例えば対象者3の支援を行う支援者7に関する各種の情報(支援者情報)を紐づけて記憶されてもよい。支援者情報は、例えば支援者7の属性(例えば家族、非家族など)、経験やスキル(例えば支援、介護の経験の有無、年数など)、作業の状態(例えば作業中、作業予定など)などの情報を含んでもよく、各々がユニークなID(支援者情報ID)で識別され、指示情報データベースに記憶されてもよい。各種の支援者情報IDは、例えば指示情報IDと紐づけられ、評価結果に対する連関性を示す割合等が付与され記憶されてもよい。
【0094】
また指示情報は、例えば対象者3の支援を支援者7に行動させる示唆を示す各種の示唆情報を紐づけられ、指示情報データベースに記憶されてもい。示唆情報は、例えば支援者7の行動を示唆する情報であり、例えば簡潔、短文に表現されたメッセージであってもよい。示唆情報は、例えば指示情報IDの他、投影先情報ID、支援者情報IDなどの情報と紐づけられて、記憶されてもよい。
【0095】
また示唆情報は、例えば示唆を示すテキスト、文字情報の他に、例えばアイコンやイラスト、モチーフ等を示す画像情報、音声やアラーム、メロディなどの音声データ、または固有の振動パターンであってもよい。各種の示唆情報にはユニークなIDが付与され、例えば指示情報IDと紐づけられ、評価結果に対する連関性を示す割合等が付与され記憶されてもよい。
【0096】
指示情報取得部14は、評価部13により生成された評価結果(評価結果ID)が、例えば『仰向け姿勢:○時間経過』である場合は、指示情報データベースを参照し、評価結果IDに紐づく指示情報IDを取得する。指示情報取得部14は、例えば取得した指示情報IDのレコードに格納される指示情報(例えば『体位の変更』)を取得する。出力部15は、例えば取得された指示情報(『体位の変更』)を、部屋内や支援者7に対して出力する。
【0097】
また指示情報取得部14は、例えば評価部13において生成された評価結果が『血液・リンパの流れ:低下』である場合は、指示情報データベースを参照し、評価結果IDに紐づく指示情報IDを取得する。指示情報取得部14は、例えば取得した指示情報IDのレコードに格納される指示情報(例えば『マッサージの実行』)を取得する。出力部15は、例えば取得された指示情報(例えば『マッサージの実行』)を、部屋内や支援者7に対して出力する。
【0098】
なお指示情報データベースには、例えば複数の指示情報IDが記憶される。指示情報IDは、例えば特定の数値、ある数値の範囲、評価対象画像の画像パターン、複数の数値や数値範囲、画像パターンの組み合わせ等であってもよく、それらが各々、あるいは対となって記憶されるように構成されてもよい。指示情報データベースは、例えば参照データベースと同様の構成であってもよく、例えば予め生成された評価対象画像と、過去の評価対象画像に紐づく指示情報との間における連関性が、学習データとして用いた機械学習により構築されてもよい。
【0099】
<取得部11>
取得部11は、対象者3の状態を測定する1以上のセンサーを介して、対象者3の体調、及び行動の少なくとも何れかを示す対象者情報と、センサー2の特徴を示す特徴情報とを取得する。取得部11は、センサー2等から対象者3の対象者情報を示すセンサーデータを取得するほか、例えばカメラが内蔵される場合は、センサー2から対象者3の画像データ、場所の空間画像データ等を取得するようにしてもよい。取得部11は、予め評価者等から入力された対象者3の体調情報、行動情報を取得するほか、例えばセンサー2等から、センサー2を識別する特徴情報を取得する。
【0100】
取得部11は、例えばセンサーデータを取得した場合、センサーデータと共にセンサー2の特徴情報を取得する。なお、取得部11が対象者情報、特徴情報を取得する頻度及び周期は、任意である。
【0101】
取得部11は、センサー2によって測定された評価者のセンサーデータ、特徴情報を含む各種情報を受信する。取得部11は、例えば通信網4及びI/F105を介して、他の端末5等の外部端末から送信された対象者3の体調情報や行動情報、観察情報、場所に関する環境情報等の各種情報を受信してもよい。
【0102】
取得部11は、例えば保存部104に保存された学習モデルを参照し、センサー2、センサーデータ、特徴情報に対応する体調情報、行動情報を選択し、評価対象画像として取得してもよい。
【0103】
<変換部12>
変換部12は、取得部11により取得された対象者情報を、センサー2の特徴情報に基づいて二次元平面上の評価対象画像に画像変換する。変換部12は、
図3に示す通り、例えば各種のセンサー2aで測定されたセンサーデータ200aを、評価対象画像200bに画像変換する。変換部12は、例えばセンサー2aのセンサー特性情報、またはセンサーデータの特性情報である各種の情報(例えば機種、モデル、変換パラメータ、性能・特性、可視化特性、フォーマットなど)に基づいて、
図3(b)に示すようなグラフ(例えばレーダーチャート)に画像変換する。
【0104】
変換部12は、例えばセンサー2aで取得される対象者3の状態を示す項目として、頭の位置(XX.XX)、右肩の位置(XX.XX)、左肩の位置(XX.XX)、右上腕の位置(XX.XX)、左上腕の位置(XX.XX)と、それぞれの項目ごとの数値に基づいて、グラフ化により画像変換を行う。変換部12は、例えばグラフ化を行う対応表(図示せず)を参照し、センサー2aで測定されたセンサーデータ200aをグラフ化し、画像変換するようにしてもよい。
【0105】
変換部12は、例えば測定したセンサーデータ200aに部分的に特徴があれば、その部分的な特徴の範囲、数値のみをグラフ化するようにしてもよい。変換部12は、例えば他の端末5からの指示に基づいて、対象のセンサー2のセンサーデータをグラフ化し、画像変換するようにしてもよい。変換部12は、例えばセンサー2b、その他のセンサー2についても同様の画像変換を行う。変換部12は、例えば複数のセンサー2で測定された数値データを、組み合わせて新たなグラフを生成し、組み合わされたグラフを評価対象画像としてもよい。
【0106】
また、変換部12は、例えば複数のセンサー2で測定された各々の数値をとりまとめ、その割合や推移などをグラフ化し、画像変換するようにしてもよい。変換部12は、例えばセンサーデータが時系列で測定されており、ある期間に顕著な増減の傾向がある場合は、その傾向をグラフ化し、グラフ化した際の期間、数値などの条件やパラメータ、グラフ化する際の各種の設定情報等を合わせて記憶するようにしてもよい。これにより、グラフ化された期間に遡って評価対象画像を確認することが可能となり、現場のニーズにより様々な場所で、複数の種類のセンサーに適した画像変換処理を行うことができる。
【0107】
<評価部13>
評価部13は、参照データベースを参照し、評価対象画像に対する評価結果を生成する。評価部13は、例えば評価対象画像を入力データとし、連関性に基づき算出された解に紐づく最適な参照情報を選択し、最適な参照情報に基づく評価結果を生成する。
【0108】
評価部13は、例えば
図5に示した参照データベースを参照した場合、評価対象画像に含まれるデータと同一又は類似するデータ(例えば「画像データA」:第1データとする)を選択する。第1データとして、評価対象画像と一部一致又は完全一致する画像データが選択されるほか、例えば類似する画像データが選択される。評価対象画像が行列等の数値で表される場合、選択される第1データに含まれる数値範囲を、予め設定してもよい。
【0109】
評価部13は、選択した第1データに紐づく参照情報、及び選択した第1データと参照情報との間における連関度(第1連関度)を選択し、選択した参照情報及び第1連関度に基づき評価結果を生成する。なお、第1連関度は、予め構築された連関性から選択されるほか、評価部13によって算出されてもよい。
【0110】
例えば評価部13は、第1データ「画像データA」に紐づく参照情報に含まれるデータ「参照A」、及び「画像データA」と「参照A」との間における第1連関度(連関度AA)「85%」を選択する。なお、参照情報及び第1連関度は、複数のデータを含んでもよい。この場合、上述した「参照A」及び「85%」に加えて、第1データ「画像データA」に紐づく参照情報「参照B」、及び「画像データA」と「参照B」との間における第1連関度(連関度AB)「55%」を選択し、「参照A」及び「85%」、並びに、「参照B」及び「55%」に基づき評価結果を生成してもよい。
【0111】
評価結果は、評価対象画像を含んでもよい。評価結果は、例えば参照情報及び連関度を用いて、確率で表された対象者3の状態(体調、または行動)の要因を示してもよい。
【0112】
評価部13は、例えば予め保存部104等に記憶された出力用フォーマット等の形式データを用いて、上述選択した参照情報及び第1連関度等を、評価者等が理解できる形式(例えば文字列)を示す評価結果を生成する。なお、評価結果を生成する際における形式の設定等は、例えば公知の技術を用いてもよい。
【0113】
評価部13は、例えば選択した第1連関度に基づいて、評価結果の内容を決定する。例えば評価部13は、「50%」以上の第1連関度に紐づく参照情報に基づいて、評価結果を生成し、「50%」未満の第1連関度に紐づく参照情報を評価結果に反映しないように設定されてもよい。なお、第1連関度に基づく判定基準は、例えば評価者等が予め閾値等を設定してもよく、閾値の範囲等は任意に設定できる。また、評価部13は、例えば2以上の第1連関度を演算した結果や、2以上の第1連関度の比較に基づいて、評価結果の内容を決定してもよい。
【0114】
評価部13は、例えば予め保存部104等に記憶された出力用フォーマット等の形式データを用いて、評価者等が理解できる形式(例えば文字列)として、例えば『仰向け姿勢:○時間経過』などのような評価結果を生成する。評価結果は、変換部12において、例えば
図3(a)に示すような各種の複数のセンサー2で測定された各々の数値が取りまとめられ、例えば
図3(b)に示すようなグラフや図形などに画像変換され、評価対象画像が生成される。評価部13は、参照データベースを参照し、変換部12において生成された評価対象画像に基づいて、評価結果を生成する。
【0115】
評価部13は、前述の通り参照データベースを参照し、例えば生成された評価対象画像から、予め画像変換された過去の評価対象画像と、過去の評価対象画像に紐づく参照情報との間における連関性に基づいて、例えば対象者3の評価を『血液・リンパの流れ:低下』などとする評価結果を生成する。また評価部13は、例えば別の評価対象画像から、例えば対象者3の評価を『仰向け姿勢:○時間経過』であるとする評価結果を生成する。
【0116】
<指示情報取得部14>
指示情報取得部14は、例えば指示情報データベースを参照し、評価部13により生成された評価結果に応じて指示情報を取得する。指示情報取得部14は、評価部13によって生成された評価対象画像に対する評価結果が、例えば『仰向け姿勢:○時間経過』である場合は、指示情報データベースを参照し、評価結果に紐づく指示情報を取得する。
【0117】
指示情報取得部14は、指示情報取得データベースを参照し、評価部13により生成された評価結果(評価結果ID)に紐づく指示情報IDを、1つ、または複数を取得し、取得した指示情報IDのレコードに記録される指示情報を取得する。指示情報取得部14は、例えば評価結果(評価結果ID)が『仰向け姿勢:○時間経過(A001)』である場合は、指示情報データベースを参照し、評価結果ID(A001)に紐づく指示情報ID(B001)を取得する。指示情報取得部14は、例えば取得した指示情報ID(B001)のレコードに格納される指示情報(例えば『体位の変更』)を取得する。
【0118】
指示情報取得部14は、例えば評価結果(評価結果ID)が『血液・リンパの流れ:低下(A010)』である場合は、指示情報データベースを参照し、評価結果ID(A010)に紐づく指示情報ID(B010)を取得する。指示情報取得部14は、例えば取得した指示情報ID(B010)のレコードに格納される指示情報(例えば『マッサージの実行』)を取得する。
【0119】
<出力部15>
出力部15は、指示情報を出力する。出力部15は、I/F107を介して表示部109に評価結果を送信するほか、例えばI/F105を介して、他の端末5等に評価結果を送信する。出力部15は、例えば
図3に示した対象者3の評価対象画像や、対象者3の体調や行動に対応する最適な評価結果、レコメンド等を示すデータを、表示部109等に出力する。
【0120】
出力部は、例えば対象者3の状態を踏まえた評価(例えば「正常」、「異常」、「要観察」、「○○症状の傾向あり」、「○○症状である可能性 60%」等)の結果のほか、例えば対象者3の現在、または将来の状態の要因に関する身体情報、対応情報、準備情報、予測情報等を表示するようにしてもよい。
【0121】
また出力部15は、取得された指示情報を出力する。出力部15は、例えば部屋に備わるモニター、プロジェクター、またはレーザー照射器などの投影デバイスの他、例えば支援者7が備える公知の各種デバイス(例えばスマートフォン、タブレット、ヘッドマウントディスプレイ、スマートグラスなど)に対して指示情報を出力するようにしてもよい。
【0122】
対象者評価システム100は、例えば部屋(場所A、または場所Bなど)に設置されるセンサー2(2a~2f)を介して、部屋の状態や投影先に関する情報、対象者3の支援を行う支援者7に関する情報や支援者7の姿勢などに関する情報を取得するようにしてもよい。対象者評価システム100は、例えば部屋の状態や支援者7の姿勢情報を判別し、指示情報取得部14が取得した指示情報に対して、部屋の状態や支援者7の姿勢に対して適切な指示情報に補正等の調整を行い、出力部15は、調整された指示情報を出力するようにしてもよい。
【0123】
<記憶部16>
記憶部16は、保存部104に保存された参照データベース等の各種情報を必要に応じて取出す。記憶部16は、各構成11、13~15により取得又は生成された各種情報を、保存部104に保存する。
【0124】
<更新部17>
更新部17は、例えば参照データベースを更新する。更新部17は、例えば過去の評価対象画像と、参照情報との間の関係を新たに取得した場合には、関係を連関性に反映する。更新部17は、例えば評価部13により生成された評価結果を踏まえ、評価者等が評価結果の精度を判定した判定結果を対象者評価システム100が取得した場合、判定結果に基づき参照データベースに記憶された連関性を更新する。
【0125】
<行動評価部18>
行動評価部18は、支援者7の行動を評価する。行動評価部18は、例えば部屋(場所A、または場所Bなど)に設置されるセンサー2(2a~2f)を介して、支援者7の行動に関する行動情報を取得する。行動評価部18は、例えば出力部15により出力された指示情報に起因する支援者7の行動として、例えば作業対象、作業手順、注視箇所などの各種の確認行動の実行の有無を評価する。
【0126】
行動評価部18は、支援者7の確認行動として、例えば支援者7が行う特定の行動(例えばジェスチャー、ポーズ、姿勢、しぐさ、あるいは発呼など)の動きを、センサー2を介して取得し、取得したセンサーデータに基づいて、支援者7の行動を評価する。行動評価部18が評価する支援者7の行動は、例えば「指示情報の理解」、「指示情報の完了」、「指示情報の再表示」、または「指示情報の実行不可」など、対象者3に対して行う各種の指示情報の実行に関するものであればよい。
【0127】
<表示部109>
表示部109は、評価結果を表示する。表示部109は、例えば
図3に示すように、評価対象画像200b~202bと、評価結果とを表示する。評価対象画像200b~202bは、取得部11がセンサー2を介して取得した対象者情報と、センサー2の特徴を示す特徴情報とにより、対象者情報がセンサー2の特徴情報に基づいて二次元平面上の評価対象画像に画像変換された評価対象画像と評価結果を表示する。
【0128】
なお、表示部109は、例えばリストや文字列のみを用いて、評価結果を表示してもよい。上記表示方法には、公知の技術を用いることができる。なお、例えば対象者評価装置1としてHMDが用いられる場合、表示部109として、透過型のディスプレイが用いられる。このとき、表示部109は、例えば評価者等が表示部109越しに視認する対象者3に対して、評価対象画像、及び評価結果を表示することができる。
【0129】
<センサー2>
センサー2は、対象者3の体調、及び行動の状態を測定し、センサーデータを生成する公知の各種のセンサーである。センサー2として、例えばモーションセンサー、近赤外カメラ、RGBカメラ、超音波センサー、判別部位センサー等の各種のセンサーが用いられ、複数が同時に、あるいは異なる場所で連携して用いられてもよい。センサー2は、例えば対象者評価装置1に内蔵されてもよく、対象者3が保持、身に着けてもよい。
【0130】
<通信網4>
通信網4は、例えば対象者評価システム100(対象者評価装置1)、複数のセンサー2等が通信回路を介して接続されるインターネット網等である。通信網4は、いわゆる光ファイバ通信網で構成されてもよい。また、通信網4は、有線通信網のほか、無線通信網等の公知の通信網で実現してもよい。
【0131】
<他の端末5>
他の端末5として、例えば対象者評価装置1と同様に電子機器で具現化されたものが用いられる。他の端末5は、例えば複数の対象者評価装置1と通信可能な中央制御装置等を示す。他の端末5は、例えば複数の対象者評価システム100(対象者評価装置1)と接続可能であり、対象者評価システム100、及び各対象者評価装置1により生成された評価結果を取得することができる。これにより、例えば複数個所で測定された対象者3の評価結果を分析することができ、対象者3の身体の状態改善等を図ることが可能となる。
【0132】
<サーバ6>
サーバ6には、例えば上述した各種情報が記憶される。サーバ6には、例えば通信網4を介して送られてきた各種センサーデータや複数のセンサー2に関する各種の情報が蓄積される。サーバ6には、例えば保存部104と同様の情報が保存され、通信網4を介して1つ以上の対象者評価システム100(対象者評価装置1)と各種センサーデータや複数のセンサー2に関する各種の情報、画像データ、評価結果等の送受信が行われてもよい。即ち、対象者評価装置1は、保存部104の代わりにサーバ6を用いてもよい。
【0133】
(対象者評価システム100の動作の一例)
次に、本実施形態における対象者評価システム100の動作の一例について説明する。
図6は、本実施形態における対象者評価システム100の動作の一例を示すフローチャー
トである。
【0134】
<取得手段S110>
図6に示すように、対象者画像と特徴情報を取得する(取得手段S110)。取得部11は、例えば対象者3の状態を測定する1以上のセンサー2から、センサー2を介して対象者3の体調、及び行動の少なくとも何れかを示す対象者情報と、センサー2の特徴を示す特徴情報とを取得する。取得部11は、例えば記憶部16を介して、評価対象情報と特徴情報を保存部104に保存する。
【0135】
取得部11は、例えば対象者3の体調、及び行動の少なくとも何れかを示す対象者情報と、センサー2の特徴を示す特徴情報とを取得する。取得部11は、例えば複数のセンサー2であってもよい。対象者情報と特徴情報は、画像データ等に紐づくように、評価者等によって対象者評価システム100に入力されるほか、例えば画像データに基づき、取得部11が画像データに適した各情報を選択するようにしてもよい。この場合、取得部11は、予め保存部104に保存された複数の対象者3を観察した情報(センサーデータ等)から、画像データに適した各情報を選択する。
【0136】
例えば複数のセンサー2を用いて1つの対象者3を撮像した場合、取得部11は、複数のセンサー2によって測定された複数のセンサーデータ(対象者情報)と特徴情報を、画像変換する1つの評価対象画像の変換元データとして取得する。取得部11は、評価者の体調や行動のパターンに応じて対象者3の状態を示すセンサーデータ(対象者情報と特徴情報)を取得するほか、例えば対象者3の生活や行動のパターンに応じて、センサーデータを取得するようにしてもよい。
【0137】
取得部11は、例えば任意の期間に測定されたセンサー2のセンサーデータを一度に受信するように、取得した二次元平面上の評価対象画像に画像変換してもよい。なお、各センサー2の特徴情報は、例えば予め対象者評価装置1が取得済みで、変更がない場合は、センサー2から対象者情報のセンサーデータのみを取得するようにしてもよい。この場合、対象者評価システム100は、センサー2から取得したセンサーデータを判別し、センサーデータに紐づけられるセンサー2の特徴情報を別途に取得するようにしてもよい。
【0138】
<変換手段S120>
次に、変換部12は、二次元平面上の評価対象画像に画像変換する(変換手段S120)。変換部12は、例えば取得部11によりセンサー2を介して取得した対象者3の対象者情報(センサーデータ)を、対応するセンサー2の特徴情報に基づいて二次元平面上のグラフとして可視化された評価対象画像に画像変換する。変換部12は、例えば取得部11により取得された対象者情報を、複数のセンサー2の特徴情報に基づいて二次元平面上の評価対象画像として、グラフなどに画像変換する。
【0139】
なお変換部12は、二次元平面上の対象画像としてグラフに画像変換するが、例えばグラフ以外のイメージ、に画像変換してもよい。変換部12が画像変換する評価対象画像は、対象者3の状態が二次元平面化された画像であればよく、グラフの種類、スケール、グラフの個数、表現等は任意である。
【0140】
<評価手段S130>
次に、評価部13は、参照データベースを参照し、二次元平面上の評価対象画像に画像変換する(評価手段S130)。評価部13は、取得部11により取得された評価対象画像を取得し、例えば保存部104に保存された参照データベースから評価対象画像を取得する。評価部13は、例えば評価対象画像を入力データとし、関数等で示された連関性に基づき算出された解に紐づく最適な参照情報を選択し、最適な参照情報に基づく評価結果を生成する。このとき、例えば評価部13は、1つの評価対象画像に対して複数の参照情報を選択してもよい。
【0141】
評価部13は、1つの評価対象画像に対して1つの評価結果を生成するほか、例えば複数の評価対象画像に対して1つの評価結果を生成してもよい。評価部13は、例えば保存部104に保存された出力用フォーマット等の形式データを用いて、評価結果を生成する。評価部13は、例えば記憶部16を介して、評価結果を保存部104に保存する。
【0142】
<指示情報取得手段S140>
次に、指示情報取得部14は、評価結果に応じた指示情報を取得する(指示情報取得手段S140)。指示情報取得手段14は、例えば指示情報データベースを参照し、生成された前記評価結果に応じた前記指示情報を取得する。
【0143】
指示情報取得部14は、例えば評価部13により生成された評価結果(評価結果ID)が、例えば『仰向け姿勢:○時間経過』である場合は、指示情報データベースを参照し、評価結果IDに紐づく指示情報IDを取得し、指示情報IDのレコードに格納される指示情報(例えば『体位の変更』)を取得する。
【0144】
また指示情報取得部14は、例えば評価部13において生成された評価結果が『血液・リンパの流れ:低下』である場合は、指示情報データベースを参照し、評価結果IDに紐づく指示情報IDを取得し、指示情報IDのレコードに格納される指示情報(例えば『マッサージの実行』)を取得する。
【0145】
<出力手段S150>
次に、出力部15は、指示情報を出力する(出力手段S150)。出力部15は、評価結果を表示部109等に出力する。出力部15は、例えば通信網4を介して他の端末5又はサーバ6に出力してもよい。
【0146】
出力部15は、例えば画像データに基づく対象者3と、対象者3の対象者情報を測定することができるセンサー2と、センサー2により測定されるセンサーデータ、センサー2のセンシングの状況、及びセンシングの結果、さらに複数の評価対象画像、評価対象画像の組み合わせによる対象者3の評価結果、評価結果に基づくレコメンド情報等を映した表示画像と、表示画像のうち、評価対象となる対象者3を指定する指定部(図示せず)と、指定部を介して、評価対象となる対象者3に対する評価結果とを、表示部109に表示させるための情報を、表示部109に出力するようにしてもよい。これにより、表示部109には、表示画像、指定部、及び評価結果が表示される。
【0147】
<行動評価手段S160>
次に、行動評価部18は、指示情報に起因する行動を評価する(行動評価手段S160)。行動評価部18は、例えば指示情報の出力後の支援者7の行動を評価する。行動評価部18は、出力された指示情報に対する支援者7の行動の有無を示す行動情報を取得し、取得した行動情報に基づいて指示情報に起因する行動が確実に、適切に、間違いなく行われたかなどを評価する。
【0148】
また行動評価部18は、例えば対象者3と支援者7の位置関係を示すデータを、部屋内のセンサー2で取得する他、例えば対象者3、支援者7が保持するデバイス等を介して取得するようにしてもよい。行動評価部18は、例えば指示情報が出力された時間と、出力された指示情報に対する支援者7の行動開始時間とに基づいて支援者7の行動を評価するようにしてもよい。また行動評価部18は、例えば対象者3を支援する部屋内に複数の支援者7が存在する場合は、例えば複数の各々の支援者7と、各支援者7に対する指示情報の違いなどから、支援者7ごとに個別の行動評価を行うようにしてもよい。
【0149】
これにより、本実施形態における対象者評価システム100の動作が終了する。なお、更新部17が、更新を実施する場合のタイミングは、任意である。
【0150】
本実施形態によれば、評価部13は、参照データベースを参照し、評価対象画像に対する評価結果を生成する。参照情報は、対象者3の各種の身体情報と行動情報とを含む。このため、過去に対象者3の状態を評価した結果を踏まえた評価結果を生成することができる。これにより、対象者3の状態を評価する精度の向上を図ることができ、現場のニーズにより様々な場所で、複数の種類のセンサーに適した処理を行うことが可能となる。
【0151】
また、本実施形態によれば、評価対象画像は、体調情報を含む。このため、センサー2や対象者3の体調毎に異なる状態の要因の特徴等を踏まえた評価を実現することができる。これにより、対象者3の状態を評価する精度をさらに向上させることができ、現場のニーズにより様々な場所で、複数の種類のセンサーに適した処理を行うことが可能となる。
【0152】
また、本実施形態によれば、評価対象画像は、行動情報を含む。このため、センサー2や対象者3の測定の条件によって異なる対象者3の表面姿勢を踏まえた評価を実現することができる。これにより、対象者3の状態を評価する精度をさらに向上されることができ、現場のニーズにより様々な場所で、複数の種類のセンサーに適した処理を行うことが可能となる。
【0153】
また、本実施形態によれば、対象者3のセンサー2の種類やセンサー2のスペック、配置の条件に紐づく評価結果が得られるため、対象者3の身体異常化の要因となる条件の特定や、観察の条件の変更に伴う身体の変化等を把握することができる。これにより、対象者3の身体改善や介護負荷軽減等に繋げることが可能となる。
【0154】
また、本実施形態によれば、評価対象画像は、特徴情報を含む。このため、センサー2の種別や特性、個数や配置毎に異なる測定の要因の特徴等を踏まえた評価を実現することができる。これにより、対象者3の状態を評価する精度をさらに向上させることができ、現場のニーズにより様々な場所で、複数の種類のセンサーに適した処理を行うことが可能となる。
【0155】
また、本実施形態によれば、連関性は、過去の評価対象画像と、参照情報とを学習データとして用いた機械学習により構築される。このため、過去の評価対象画像とは異なる未知の評価対象画像を評価する場合においても、定量的な評価を実施することができる。これにより、評価精度の更なる向上を図ることが可能となる。
【0156】
また、本実施形態によれば、更新部17は、過去の評価対象画像と、参照情報との間の関係を新たに取得した場合には、関係を連関性に反映させる。このため、連関性を容易に更新することができ、継続した評価精度の向上を図ることが可能となる。
【0157】
また、本実施形態によれば、評価手段S130は、参照データベースを参照し、評価対象画像に対する評価結果を生成する。参照情報は、身体に関する情報を含む。このため、過去に対象者3の状態を評価した結果を踏まえた評価結果を生成することができる。これにより、対象者3の状態を評価する精度の向上を図ることが可能となる。
【0158】
また、本実施形態によれば、対象者の状態を評価する対象者評価プログラムは、取得手段S110を行う取得ステップと、二次元平面上の評価対象画像に画像変換する変換手段S120を行う変換ステップと、評価対象画像に対する評価結果を生成する評価手段S130を行う評価ステップと、評価結果に応じた指示情報を取得する指示情報取得手段S140を行う指示情報取得ステップと、指示情報を出力する出力手段S150を行う出力ステップと、指示情報に起因する行動を評価する行動評価手段S160を行う行動評価ステップと、をコンピュータに実行させることができる。
【0159】
本発明の実施形態を説明したが、この実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0160】
1 :対象者評価装置
2 :センサー
2a~2f:センサー
3 :対象者
4 :通信網
5 :他の端末
6 :サーバ
7 :支援者
10 :筐体
11 :取得部
12 :変換部
13 :評価部
14 :指示情報取得部
15 :出力部
16 :記憶部
17 :更新部
18 :行動評価部
100 :対象者評価システム
101 :CPU
102 :ROM
103 :RAM
104 :保存部
105 :I/F
106 :I/F
107 :I/F
108 :入力部
109 :表示部
110 :内部バス
200a :センターデータ
201a :センサーデータ
200b :評価対象画像
201b :評価対象画像
202b :評価対象画像
A :場所
B :場所
S110 :取得手段
S120 :変換手段
S130 :評価手段
S140 :指示情報取得手段
S150 :出力手段
S160 :行動評価手段
【要約】
【課題】現場のニーズにより様々な場所で、複数の種類のセンサーに適した処理を行うことができる対象者評価システム、対象者評価装置、及び対象者評価プログラムを提供する。
【解決手段】対象者3の状態を評価する対象者評価システム100であって、対象者3の状態を測定する1以上のセンサー2と、センサー2を介して対象者3の対象者情報と、特徴情報とを取得する取得部11と、二次元平面上の評価対象画像に画像変換する変換部12と、予め画像変換された過去の評価対象画像と、参照データベースを参照し、評価対象画像に対する評価結果を生成する評価部13と、指示情報データベースを参照し、生成された評価結果に応じた前記指示情報を取得する指示情報取得部14と、指示情報を出力する出力部15と、を備えることを特徴とする。
【選択図】
図1