(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024101459
(43)【公開日】2024-07-29
(54)【発明の名称】認知機能推定装置及び認知機能推定方法
(51)【国際特許分類】
G16H 50/20 20180101AFI20240722BHJP
A61B 10/00 20060101ALI20240722BHJP
G06T 7/20 20170101ALI20240722BHJP
G06V 40/16 20220101ALI20240722BHJP
G06V 40/20 20220101ALI20240722BHJP
【FI】
G16H50/20
A61B10/00 H
G06T7/20 300A
G06T7/20 300B
G06V40/16 B
G06V40/20
G06V40/16
【審査請求】未請求
【請求項の数】5
【出願形態】OL
(21)【出願番号】P 2023005462
(22)【出願日】2023-01-17
(71)【出願人】
【識別番号】308036402
【氏名又は名称】株式会社JVCケンウッド
(74)【代理人】
【識別番号】100103894
【弁理士】
【氏名又は名称】家入 健
(72)【発明者】
【氏名】鴇田 成俊
(72)【発明者】
【氏名】河村 健
(72)【発明者】
【氏名】大段 翔平
(72)【発明者】
【氏名】小野 雅之
(72)【発明者】
【氏名】堀切 一輝
【テーマコード(参考)】
5B043
5L096
5L099
【Fターム(参考)】
5B043AA09
5B043BA04
5B043CA10
5B043DA05
5B043FA03
5B043GA01
5B043HA01
5B043HA05
5L096AA02
5L096AA06
5L096BA08
5L096BA18
5L096CA04
5L096DA02
5L096EA02
5L096FA69
5L096HA02
5L099AA04
(57)【要約】
【課題】人物に意識させずに当該人物の認知機能の低下を推定できる認知機能推定装置及び認知機能推定方法を提供すること。
【解決手段】本開示の認知機能推定装置1は、撮像部12、表示部13、表示制御部112、人物検出部113、画像変更部114、反応検出部115及び推定部116を備える。撮像部12は、人物を撮像するように配置され、画像を撮像する。表示部13は、人物に向けた方向に配置され、撮像された画像を表示する。人物検出部113は、撮像された画像から人物を検出する。画像変更部114は、人物が検出された場合、画像における人物に対応する領域に変更を加える。表示制御部112は、変更が加えられた画像を表示部13に表示させる。反応検出部115は、変更が加えられた画像の表示に対する人物の反応を検出する。推定部116は、人物の反応の履歴に基づいて、人物の認知機能の低下を推定する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
人物を撮像するように配置され、画像を撮像する撮像部と、
前記人物に向けた方向に配置され、前記撮像部によって撮像された画像を表示する表示部と、
前記撮像部によって撮像された画像から前記人物を検出する人物検出部と、
前記人物が検出された場合、前記画像における前記人物に対応する領域に変更を加える画像変更部と、
前記変更が加えられた画像を前記表示部に表示させる表示制御部と、
前記変更が加えられた画像の表示に対する前記人物の反応を検出する反応検出部と、
前記人物の反応の履歴に基づいて、前記人物の認知機能の低下を推定する推定部と、を備える
認知機能推定装置。
【請求項2】
前記画像変更部は、
前記画像における人物に対応する領域の一部分または全体的に変更を加える
請求項1に記載の認知機能推定装置。
【請求項3】
前記反応検出部は、
前記人物の動作または前記人物の表情に基づいて、前記変更が加えられた画像の表示に対する前記人物の反応を検出する
請求項1に記載の認知機能推定装置。
【請求項4】
前記画像変更部は、
前記人物の反応の履歴に基づいて、次回に前記人物が検出された場合、前記画像における前記人物に対応する領域に加える変更の度合いを変化させる
請求項1に記載の認知機能推定装置。
【請求項5】
人物を撮像するように配置された撮像部によって画像を撮像し、
前記撮像部によって撮像された画像から前記人物を検出し、
前記人物が検出された場合、前記画像における前記人物に対応する領域に変更を加え、
前記変更が加えられた画像を、前記人物に向けた方向に配置された表示部に表示させ、
前記変更が加えられた画像の表示に対する前記人物の反応を検出し、
前記人物の反応の履歴に基づいて、前記人物の認知機能の低下を推定する、
認知機能推定装置が実行する認知機能推定方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、認知機能推定装置及び認知機能推定方法に関する。
【背景技術】
【0002】
認知症などの早期発見と早期対策が望まれている。しかし、症状は本人や周囲の人物が気づかない程度に徐々に進むため、気づかない場合もある。また、本人が検査等を受けたがらないこともある。このため、日常生活の中で意識せずに認知症などの初期段階の可能性を検知することが望まれている。特許文献1には、日常生活で使用する洗面所または化粧台などを使用するときに、対象者の身体を撮影し、手などのふるえを検出する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1に係る技術は、人物に意識させずに、人物の身体の動きに現れる症状を推定することに有用であるが、認知症の初期症状など身体の動きに現れない人物の認知機能の低下を推定することは困難である。
【0005】
本開示は、人物に意識させずに当該人物の認知機能の低下を推定できる認知機能推定装置及び認知機能推定方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示の認知機能推定装置は、
人物を撮像するように配置され、画像を撮像する撮像部と、
前記人物に向けた方向に配置され、前記撮像部によって撮像された画像を表示する表示部と、
前記撮像部によって撮像された画像から前記人物を検出する人物検出部と、
前記人物が検出された場合、前記画像における前記人物に対応する領域に変更を加える画像変更部と、
前記変更が加えられた画像を前記表示部に表示させる表示制御部と、
前記変更が加えられた画像の表示に対する前記人物の反応を検出する反応検出部と、
前記人物の反応の履歴に基づいて、前記人物の認知機能の低下を推定する推定部と、を備える。
【0007】
本開示の認知機能推定方法は、
人物を撮像するように配置された撮像部によって画像を撮像し、
前記撮像部によって撮像された画像から前記人物を検出し、
前記人物が検出された場合、前記画像における前記人物に対応する領域に変更を加え、
前記変更が加えられた画像を、前記人物に向けた方向に配置された表示部に表示させ、
前記変更が加えられた画像の表示に対する前記人物の反応を検出し、
前記人物の反応の履歴に基づいて、前記人物の認知機能の低下を推定する。
【発明の効果】
【0008】
本開示によって、人物に意識させずに当該人物の認知機能の低下を推定できる認知機能推定装置及び認知機能推定方法を提供することができる。
【図面の簡単な説明】
【0009】
【
図1】第1の実施形態に係る認知機能推定装置の構成の一例を示すブロック図である。
【
図2】第1の実施形態に係る認知機能推定装置の具体的な構成の一例を示す図である。
【
図3】第1の実施形態に係る認知機能推定装置の人物の認知機能推定方法の一例を示す図である。
【
図4】第1の実施形態に係る認知機能推定装置の人物の反応検出動作の一例を示すフローチャートである。
【
図5】第1の実施形態に係る認知機能推定装置の人物の認知機能推定動作の一例を示すフローチャートである。
【発明を実施するための形態】
【0010】
以下では、本開示の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。
【0011】
(第1の実施形態)
まず、
図1及び
図2を用いて、第1の実施形態に係る認知機能推定装置1の構成を説明する。
図1は、第1の実施形態に係る認知機能推定装置1の構成の一例を示すブロック図である。
図2は、第1の実施形態に係る認知機能推定装置1の具体的な構成の一例を示す図である。
【0012】
図1に示すように、認知機能推定装置1は、制御部11、撮像部12及び表示部13を備える。制御部11は、撮像部12及び表示部13を制御する。撮像部12は、人物を撮像するように配置され、画像を撮像する。表示部13は、人物に向けた方向に配置され、撮像部12によって撮像された画像(以下、撮像画像)及び制御部11によって撮像画像に変更が加えられた画像(以下、変更画像)を表示する。
【0013】
図2に示すように、認知機能推定装置1は、例えば洗面台鏡として用いられる電子的鏡である。なお、認知機能推定装置1は、固定配置されていてもよく、手鏡のように携帯可能な鏡であってもよい。表示部13は、例えばディスプレイであり、電子的鏡の鏡部分に配置される。なお、表示部13は、自発光やバックライトがオフのときは、光学式の鏡となるようなハーフミラーを備えるデュアルモードミラーであってもよい。撮像部12は、例えばカメラであり、表示部13の中心付近など、人物が利用する際に顔が正面に来る位置に、表示部13に設けられたピンホール部や、部分的に透過する表示部13の透過部の後方に配置される。制御部11は、電子的鏡の内部や電子的鏡の表示部13とは反対側に配置される。なお、制御部11は、認知機能推定装置1の遠隔に配置され、撮像部12及び表示部13と通信してもよい。
【0014】
図1に示すように、制御部11は、撮像制御部111、表示制御部112、人物検出部113、画像変更部114、反応検出部115、推定部116、記憶部117及び通知部118を備える。
【0015】
撮像制御部111は、撮像部12を制御し、撮像部12に撮像を行わせ、撮像画像を取得する。
表示制御部112は、表示部13を制御し、表示部13に撮像画像および変更画像を表示させる。
【0016】
人物検出部113は、撮像画像から人物を検出する。なお、人物検出部113は、撮像画像から予め登録された人物が撮像されていることを判断した場合、撮像画像から人物を検出したとしてもよい。また、人物検出部113は、撮像画像から人物が正面を向いていると判断した場合、撮像画像から人物を検出したとしてもよい。また、人物検出部113は、撮像画像から人物の顔が撮像画像に対して所定以上の大きさであることを判断した場合、撮像画像から人物を検出したとしてもよい。言い換えると、人物検出部113は、人物が、電子的鏡としての表示部13を利用するために、正面を向いて近接した人物を検出する。
【0017】
画像変更部114は、撮像画像から人物が検出された場合、撮像画像における人物に対応する領域に変更を加える。具体的には、画像変更部114は、撮像画像における人物に対応する領域の一部分または全体的変更を加える。部分的な変更例としては、画像変更部114は、撮像画像における人物の顔にほくろやシミをつける。また、画像変更部114は、撮像画像における例えば髪、目、鼻、口、耳などの人物の顔や身体の一部の形状や色調を変更する。また、画像変更部114は、撮像画像における人物の顔や身体に汚れを付着させる。全体的な変更例としては、画像変更部114は、撮像画像における人物の顔の年齢を所定度合い(例えば±10歳ほど)変更する。また、画像変更部114は、撮像画像における人物の顔を所定度合い(例えば10%ほど)別人の要素を加える。また、画像変更部114は、撮像画像における人物の顔をぼやけさせる。
そして、表示制御部112は、変更が加えられた変更画像を表示部13に表示させる。
【0018】
反応検出部115は、変更画像の表示に対する人物の反応を検出する。具体的には、反応検出部115は、人物の動作と人物の表情との少なくとも1方に基づいて、変更画像の表示に対する人物の反応を検出する。ここで、反応検出部115は、人物の動作として、撮像部12によって撮像された撮像画像又はタッチパネルからの信号の入力部(不図示)に基づいて、変更画像の表示に対する人物の反応を検出する。例えば、反応検出部115は、撮像画像において、変更画像における人物の耳などの変更箇所に人物の手が移動したことを検出した場合、反応を検出したとする。また、反応検出部115は、変更画像における変更箇所が人物によってタッチされた場合、反応を検出したとする。また、反応検出部115は、人物の表情として、撮像部12によって撮像された撮像画像に基づいて、変更画像の表示に対する人物の反応を検出する。例えば、反応検出部115は、人物が変更画像の変更箇所を見ている場合、人物が怪訝な表情など凝視をした場合及び人物が変更画像の変更箇所を二度見した場合、人物の反応を検出したとする。
【0019】
反応検出部115は、変更画像の表示に対する人物の反応履歴を記憶部117に記憶する。反応履歴とは、反応が検出された場合に加えて、反応が検出されないことも含む。具体的には、反応検出部115は、撮像画像における人物に対応する領域にどのような変更を加えたかに関する変更の大きさ、言い換えると、変更レベルに関する情報、および変更に対応する反応の有無や反応までの時間を示す情報を、反応履歴として記憶部117に記憶する。
【0020】
推定部116は、記憶部117に記憶された人物の反応履歴に基づいて、人物の認知機能の低下を推定する。認知機能の低下の推定は、言い換えると、認知症の可能性である。具体的には、推定部116は、変更画像における変更の大きさ、変更画像における変更に対する人物の反応の有無に基づいて、人物の認知機能の低下を推定する。認知機能の低下の推定には、変更画像に対する反応が検出されるまでの時間を考慮してもよい。
【0021】
画像変更部114は、反応履歴に基づいて、変更画像の変更の大きさを変化させてもよい。例えば、変更画像の変更の大きさが比較的小さい変更の変更画像の表示に対して、連続して2回、人物の反応が検出されない場合、次回における変更画像の変更の大きさを、一段階大きい変更とする。また、例えば、変更画像の変更の大きさが比較的大きい変更の変更画像の表示に対して、連続して2回、人物の反応が検出された場合、次回における変更画像の変更の大きさを、一段階小さい変更とする。
【0022】
続いて、
図3を用いて、第1の実施形態に係る認知機能推定装置1における認知機能推定方法の一例を説明する。
図3は、第1の実施形態に係る認知機能推定装置1における認知機能の低下を推定するための基準例である。
図3に示すように、推定部116は、変更画像の変更の大きさ(変更レベル)と気づき率とに基づいて、人物の認知機能が正常範囲、低下可能性中又は低下可能性大であるかを推定する。ここで、気づき率は、例えば、1週間など所定期間における、変更画像の変更に人物が気づいた割合であり、変更画像に対する人物の反応が検出されるまでにかかった時間に基づいて重み付けを行ってもよい。
【0023】
図3に示す正常範囲、可能性中、可能性大の各々について説明する。理解を容易にするために、変更画像における変更の大きさを、小さい変更から大きい変更まで、変更レベル1、変更レベル2、変更レベル3の3段階と仮定する。例えば、変更レベル1および変更レベル2は、部分的な変更であり、変更箇所の大きさや色調の差異などの違いによってレベルの差異としている。また、変更レベル3は、全体的な変更としてもよい。実際には、さらに細かい区分や、反応検出時間による重み付けが加えられていてもよい。
【0024】
例えば、正常範囲とは、認知機能が低下していないことが推定される範囲であり、変更レベル1の変更に対して反応が検出された率が、例えば50%以上の場合である。例えば、認知機能の低下可能性が中とは、認知機能が低下している可能性があるが、日常に支障のないような範囲であり、変更レベル2の変更に対して反応が検出された率が、例えば80%以上、変更レベル1の変更に対して反応が検出された率が、例えば50%未満の場合である。例えば、認知機能の低下可能性が大とは、認知機能が低下している可能性があり、検査等を推奨するような範囲であり、変更レベル3の変更に対して反応が検出された率が、例えば80%以上、変更レベル2の変更に対して反応が検出された率が、例えば20%未満、の場合である。
【0025】
記憶部117は、人物毎の反応履歴を記憶する。
通知部118は、推定部116によって人物の認知機能の低下が推定された場合、認知機能の低下の推定結果を通知する。例えば、通知部118は、人物の認知機能の低下の推定結果を表示部13に表示することによって人物に対して通知する。また、通知部118は、人物の用いる携帯端末または人物の家族の用いる携帯端末に人物の認知機能の低下の推定結果を通知する。
【0026】
続いて、
図4及び
図5を用いて、第1の実施形態に係る認知機能推定装置1の動作を説明する。
図4は、第1の実施形態に係る認知機能推定装置1の人物の反応検出動作を示すフローチャートである。認知機能推定装置1は、後述するステップS101の処理からステップS110の処理を所定期間ごとに実行する。所定期間とは例えば1日である。また、例えば、1日毎の所定の時間帯に実行されてもよい。例えば、朝7時から9時の間などである。なお、認知機能推定装置1は、後述するステップS101の処理からステップS110の処理を実行しない場合、単に撮像画像を表示部13に表示させる電子的鏡としての役割を担ってもよい。この場合は、
図4に示すステップS101とステップS102の処理が行われる。
【0027】
図4に示すように、まず、制御部11の撮像制御部111は、撮像部12に撮像を開始させ、撮像部12から撮像画像を取得する(ステップS101)。次に、表示制御部112は、表示部13の表示を開始させ、撮像画像を表示部13に表示する(ステップS102)。この際、認知機能推定装置1は、単に撮像画像を表示部13に表示させる電子的鏡としての役割を担う。つまり、ステップS101およびステップS102の処理は、
図4に示す処理が終了するまで継続される。
【0028】
次に、人物検出部113は、撮像画像から人物を検出する(ステップS103)。そして、撮像画像から人物が検出された場合(ステップS103のYES)、処理はステップS104に進む。一方、撮像画像から人物が検出されない場合(ステップS103のNO)、ステップS110に進む。
【0029】
ステップS104の処理では、画像変更部114は、変更画像を表示するタイミングであるか否かを判定する。例えば、特定の人物に対する変更画像の表示が、午前7時から午前9時までの間における1日に1回行われるような、予め設定された条件を満たすか否かを判定する。変更画像を表示するタイミングであると判定された場合(ステップS104のYES)、ステップS105に進む。変更画像を表示するタイミングであると判定されない場合(ステップS104のNO)、ステップS110に進む。
【0030】
ステップS105の処理では、画像変更部114は、撮像画像における人物に対応する領域に変更を加える。具体的には、画像変更部114は、撮像画像における人物に対応する領域の一部分の変更または全体的な変更など、対象となる人物に適切な変更を加える。例えば、所定の変更の大きさである変更画像を、1週間連続して表示することで、1週間の気づき率を得る場合は、1週間連続して変更の大きさが同一レベルの変更を加える。また、例えば、前日まで数日間連続して表示していた変更の大きさにおける気づき率が低い傾向にある場合、前日より変更の大きさが大きくなる変更を加える。また、例えば、前日まで数日間連続して表示していた変更の大きさにおける気づき率が高い傾向にある場合、前日より変更の大きさが小さくなる変更を加える。次に、表示制御部112は、変更が加えられた変更画像を表示部13に表示させる(ステップS106)。
【0031】
次に、反応検出部115は、人物が表示部13を、例えば5秒間など所定時間以上見ているか否かを判定する(ステップS107)。人物が表示部13を所定時間以上見ていると判定された場合(ステップS107のYES)、処理はステップS108に進む。一方、人物が表示部13を所定時間以上見ていないと判定された場合(ステップS107のNO)、ステップS110に進む。
【0032】
ステップS108の処理では、反応検出部115は、変更画像の表示に対する人物の反応を検出する。具体的には、反応検出部115は、人物の動作や、人物の表情などに基づいて、変更画像の表示に対する人物の反応を検出する。そして、変更画像の表示に対する人物の反応が検出された場合(ステップS108のYES)、反応検出部115は、人物の反応履歴を記憶部117に記憶する(ステップS109)。また、変更画像の表示に対する人物の反応が検出されなかった場合(ステップS108のNO)も同様に、反応検出部115は、検出された人物の反応履歴を記憶部117に記憶する(ステップS109)。
【0033】
ステップS110の処理では、制御部11は、処理を終了するか否かを判定する。具体的には、認知機能推定装置1における電子的鏡としての機能を終了するか否かを判定する。認知機能推定装置1における電子的鏡としての機能は、常時行われていてもよく、所定の時間帯に行われるように設定されていてもよい。または、ユーザによる終了操作が行われることで、処理が終了されてもよい。
【0034】
図5は、第1の実施形態に係る認知機能推定装置1の認知機能推定動作を示すフローチャートである。認知機能推定装置1は、ステップS201からステップS203の処理を例えば、
図4に示すステップS104のYESからステップS109までの処理が、所定回数以上実行された場合に開始する。所定回数以上とは、例えば、1週間分の履歴による認知機能の低下の推定を行う場合は、反応履歴が1週間分、追加して記憶された場合に実行される。また、ユーザ操作によって、任意の時点で、任意の期間分の履歴に基づいた、認知機能の低下の推定が開始されてもよい。
【0035】
図5に示すように、推定部116は、記憶部117に記憶された人物の反応履歴に基づいて、人物の認知機能の低下を推定する(ステップS201)。次に、推定部116は、人物の認知機能が正常範囲内か否かを判定する(ステップS202)。人物の認知機能が正常範囲内でないと判定された場合、つまり人物の認知機能が低下していることが推定された場合(ステップS202のNO)、通知部118は、人物に対して認知機能が低下していることを示す推定結果を通知する(ステップS203)。一方、人物の認知機能が正常範囲内であると判定された場合(ステップS202のYES)、処理は終了する。ステップS202でYESの場合、認知機能の低下がみられないことを通知してもよい。
【0036】
上述したように、第1の実施形態に係る認知機能推定装置1は、撮像部12によって撮像された撮像画像を表示部13に表示させ、鏡のように機能する。また、認知機能推定装置1は、撮像画像から人物が検出された場合、撮像画像における人物に対応する領域に変更を加え、変更が加えられた画像を表示部13に表示させる。認知機能推定装置1は、変更が加えられた変更画像の表示に対する人物の反応を検出し、人物の反応の履歴に基づいて、人物の認知機能の低下を推定する。したがって、認知機能推定装置1は、人物に意識させずに当該人物の認知機能の低下を推定できる。
【0037】
(変形例)
認知機能推定装置1の画像変更部114は、認知機能の低下の推定結果の履歴や人物の反応の履歴に基づいて、次回に撮像画像における人物に対応する領域に加える変更の度合いを変えても良い。具体的には、画像変更部114は、今回に変更画像の表示に対する人物の反応が検出されない場合、次回に同一人物が検出された場合に撮像画像における人物に対応する領域に加える変更の度合いを、今回に撮像画像における人物に対応する領域に加える変更の度合いよりも大きくする。例えば、画像変更部114は、今回に撮像画像に小さい変更を加え、今回に2回連続で人物の反応が検出されなかった場合は、同一人物に対して次回から変更画像における変更を大きくしていく。また、画像変更部114は、今回に変更画像の変更に対して反応が検出された場合、同一人物に対して、次の1回目から2回目においては撮像画像の変更を行わず、次の3回目に、撮像画像に今回よりも小さい変更を加える。
【0038】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
【0039】
<ハードウェア構成>
上述の実施形態における各構成は、ハードウェア又はソフトウェア、もしくはその両方によって構成され、1つのハードウェア又はソフトウェアから構成してもよいし、複数のハードウェア又はソフトウェアから構成してもよい。各装置及び各機能(処理)を、CPU(Central Processing Unit)等のプロセッサ及び記憶装置であるメモリを有するコンピュータにより実現してもよい。例えば、メモリに実施形態における方法を行うためのプログラムを格納し、各機能を、メモリに格納されたプログラムをプロセッサで実行することにより実現してもよい。
【0040】
これらのプログラムは、コンピュータに読み込まれた場合に、実施形態で説明された1又はそれ以上の機能をコンピュータに行わせるための命令群(又はソフトウェアコード)を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory(RAM)、read-only memory(ROM)、フラッシュメモリ、solid-state drive(SSD)又はその他のメモリや各種ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。
【符号の説明】
【0041】
1 認知機能推定装置
11 制御部
12 撮像部
13 表示部
111 撮像制御部
112 表示制御部
113 人物検出部
114 画像変更部
115 反応検出部
116 推定部
117 記憶部
118 通知部