特開 2024-93174 自傷行為検出装置、自傷行為検出システム、自傷行為検出プログラム、および自傷行為検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024093174

(43)【公開日】2024-07-09

(54)【発明の名称】自傷行為検出装置、自傷行為検出システム、自傷行為検出プログラム、および自傷行為検出方法

(51)【国際特許分類】

   G08B 25/04 20060101AFI20240702BHJP

   G08B 25/00 20060101ALI20240702BHJP

   G08B 25/08 20060101ALI20240702BHJP

【ＦＩ】

G08B25/04 K

G08B25/00 510M

G08B25/08 A

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2022209374

(22)【出願日】2022-12-27

(71)【出願人】

【識別番号】000001270

【氏名又は名称】コニカミノルタ株式会社

(74)【代理人】

【識別番号】110000671

【氏名又は名称】ＩＢＣ一番町弁理士法人

(72)【発明者】

【氏名】新田 和馬

(72)【発明者】

【氏名】一谷 修司

【テーマコード（参考）】

5C087

【Ｆターム（参考）】

5C087AA02

5C087AA03

5C087AA09

5C087AA37

5C087BB20

5C087BB74

5C087DD03

5C087DD29

5C087DD30

5C087EE18

5C087GG02

5C087GG08

(57)【要約】      （修正有）

【課題】看介護施設での対象者の自傷行為時の状況確認を容易にする自傷行為検出装置、自傷行為検出システム、自傷行為検出プログラム及び自傷行為検出方法を提供する。
【解決手段】検知部が、通信ネットワークにより自傷行為検出装置及び看介護施設内でスタッフ等が携帯する携帯端末と相互に通信可能に接続される自傷行為検出システムにおいて、自傷行為検出装置の制御部２１０は、看介護施設内に設置された撮像部によって撮像された画像に関する画像情報と、看介護施設内に設置されたセンサーによって検知された被検知対象に関する非画像情報との少なくとも一方を取得する取得部２１１と、取得した画像情報及び非画像情報の少なくとも一方に基づいて、対象者の自傷行為を検出する自傷検出部２１３と、画像情報および非画像情報の少なくとも一方から、対象者の自傷行為に対応する部分を抽出する抽出部２１４と、を含む。
【選択図】図５

【特許請求の範囲】

【請求項1】

看介護施設内に設置された撮像部によって撮像された画像に関する画像情報と、前記看介護施設内に設置されたセンサーによって検知された被検知対象に関する非画像情報との少なくとも一方を取得する取得部と、
取得された前記画像情報および前記非画像情報の少なくとも一方に基づいて、対象者の自傷行為を検出する自傷検出部と、
前記画像情報および前記非画像情報の少なくとも一方から、前記対象者の自傷行為に対応する部分を抽出する抽出部と
を備える自傷行為検出装置。

【請求項2】

前記抽出部は、前記対象者の自傷行為時およびその前後に対応する部分を抽出する請求項１に記載の自傷行為検出装置。

【請求項3】

前記被検知対象は振動を含む請求項１に記載の自傷行為検出装置。

【請求項4】

前記被検知対象は音を含む請求項１に記載の自傷行為検出装置。

【請求項5】

取得された前記画像情報に基づいて、前記画像に含まれる人物に関する人物情報を検出する情報検出部をさらに有し、
前記自傷検出部は、少なくとも、検出された前記人物情報に基づいて、前記対象者の自傷行為を検出する請求項１に記載の自傷行為検出装置。

【請求項6】

前記情報検出部は、さらに、前記画像に含まれる物体に関する物体情報を検出し、
前記自傷検出部は、少なくとも、検出された前記人物情報および前記物体情報に基づいて、前記対象者の自傷行為を検出する請求項５に記載の自傷行為検出装置。

【請求項7】

前記看介護施設内の物体の指定を受け付ける第１受付部をさらに有し、
前記自傷検出部は、指定された前記物体に関する前記物体情報を用いて、前記対象者の自傷行為を検出する請求項６に記載の自傷行為検出装置。

【請求項8】

前記第１受付部は、予め前記物体の指定を受け付ける請求項７に記載の自傷行為検出装置。

【請求項9】

前記対象者の自傷行為の検出レベルの設定を受け付ける第２受付部をさらに有し、
前記自傷検出部は、設定された前記検出レベルに基づいて、前記対象者の自傷行為を検出する請求項１に記載の自傷行為検出装置。

【請求項10】

前記第２受付部は、前記撮像部の撮像時間帯毎または前記センサーの検知時間帯毎に、異なる検出レベルの設定を受け付け可能に構成されている請求項９に記載の自傷行為検出装置。

【請求項11】

抽出された前記対象者の自傷行為に対応する部分を保存部に保存する保存制御部をさらに有する請求項１に記載の自傷行為検出装置。

【請求項12】

請求項１～１１のいずれかに記載の自傷行為検出装置と、
前記撮像部および前記センサーの少なくとも一方とを備える自傷行為検出システム。

【請求項13】

前記センサーは集音部を含む請求項１２に記載の自傷行為検出システム。

【請求項14】

看介護施設内に設置された撮像部によって撮像された画像に関する画像情報と、前記看介護施設内に設置されたセンサーによって検知された被検知対象に関する非画像情報との少なくとも一方を取得することと、
取得された前記画像情報および前記非画像情報の少なくとも一方に基づいて、前記看介護施設内における対象者の自傷行為を検出することと、
前記画像情報および前記非画像情報の少なくとも一方から、前記対象者の自傷行為に対応する部分を抽出することと
を含む処理をコンピューターに実行させるための自傷行為検出プログラム。

【請求項15】

自傷行為検出システムに実行させる方法であって、
看介護施設内に設置された撮像部によって撮像された画像に関する画像情報と、前記看介護施設内に設置されたセンサーによって検知された被検知対象に関する非画像情報との少なくとも一方を取得することと、
取得された前記画像情報および前記非画像情報の少なくとも一方に基づいて、前記看介護施設内における対象者の自傷行為を検出することと、
前記画像情報および前記非画像情報の少なくとも一方から、前記対象者の自傷行為に対応する部分を抽出することと
を含む自傷行為検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、自傷行為検出装置、自傷行為検出システム、自傷行為検出プログラム、および自傷行為検出方法に関する。

【背景技術】

【0002】

我が国は、戦後の高度経済成長に伴う生活水準の向上、衛生環境の改善、および医療水準の向上等により、長寿命化が顕著となっている。このため、出生率の低下と相まって、高齢化率が高い高齢化社会になっている。このような高齢化社会では、病気、怪我、および加齢などにより、介護等の対応を必要とする要介護者の増加が想定される。

【0003】

要介護者は、病院や老人福祉施設などの看介護施設において、歩行中に転倒したり、ベッドから転落して怪我をするおそれがある。そのため、要介護者がこのような状態になったときに介護士や看護師等のスタッフがすぐに駆けつけられるようにするためのシステムの開発が進められている（たとえば、特許文献１）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１０－４００１７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

このような看介護施設で要介護者が自傷行為を行ったとき、スタッフおよび要介護者の家族等が、自傷行為時の状況を容易に確認できることが望ましい。これにより、スタッフ等は、たとえば、要介護者に痣等が確認されたとき、この痣等が自傷行為に起因するものなのか、他の原因に起因するものかを判断しやすくなる。

【0006】

本発明は、このような事情に鑑みてなされたものであり、看介護施設での対象者の自傷行為時の状況確認を容易にする自傷行為検出装置、自傷行為検出システム、自傷行為検出プログラム、および自傷行為検出方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の上記課題は、以下の手段によって解決される。

【0008】

（１）看介護施設内に設置された撮像部によって撮像された画像に関する画像情報と、前記看介護施設内に設置されたセンサーによって検知された被検知対象に関する非画像情報との少なくとも一方を取得する取得部と、取得された前記画像情報および前記非画像情報の少なくとも一方に基づいて、対象者の自傷行為を検出する自傷検出部と、前記画像情報および前記非画像情報の少なくとも一方から、前記対象者の自傷行為に対応する部分を抽出する抽出部と
を備える自傷行為検出装置。

【0009】

（２）前記抽出部は、前記対象者の自傷行為時およびその前後に対応する部分を抽出する上記（１）に記載の自傷行為検出装置。

【0010】

（３）前記被検知対象は振動を含む上記（１）に記載の自傷行為検出装置。

【0011】

（４）前記被検知対象は音を含む上記（１）に記載の自傷行為検出装置。

【0012】

（５）取得された前記画像情報に基づいて、前記画像に含まれる人物に関する人物情報を検出する情報検出部をさらに有し、前記自傷検出部は、少なくとも、検出された前記人物情報に基づいて、前記対象者の自傷行為を検出する上記（１）に記載の自傷行為検出装置。

【0013】

（６）前記情報検出部は、さらに、前記画像に含まれる物体に関する物体情報を検出し、前記自傷検出部は、少なくとも、検出された前記人物情報および前記物体情報に基づいて、前記対象者の自傷行為を検出する上記（５）に記載の自傷行為検出装置。

【0014】

（７）前記看介護施設内の物体の指定を受け付ける第１受付部をさらに有し、前記自傷検出部は、指定された前記物体に関する前記物体情報を用いて、前記対象者の自傷行為を検出する上記（６）に記載の自傷行為検出装置。

【0015】

（８）前記第１受付部は、予め前記物体の指定を受け付ける上記（７）に記載の自傷行為検出装置。

【0016】

（９）前記対象者の自傷行為の検出レベルの設定を受け付ける第２受付部をさらに有し、前記自傷検出部は、設定された前記検出レベルに基づいて、前記対象者の自傷行為を検出する上記（１）に記載の自傷行為検出装置。

【0017】

（１０）前記第２受付部は、前記撮像部の撮像時間帯毎または前記センサーの検知時間帯毎に、異なる検出レベルの設定を受け付け可能に構成されている上記（９）に記載の自傷行為検出装置。

【0018】

（１１）抽出された前記対象者の自傷行為に対応する部分を保存部に保存する保存制御部をさらに有する上記（１）に記載の自傷行為検出装置。

【0019】

（１２）上記（１）～（１１）のいずれかに記載の自傷行為検出装置と、前記撮像部および前記センサーの少なくとも一方とを備える自傷行為検出システム。

【0020】

（１３）前記センサーは集音部を含む上記（１２）に記載の自傷行為検出システム。

【0021】

（１４）看介護施設内に設置された撮像部によって撮像された画像に関する画像情報と、前記看介護施設内に設置されたセンサーによって検知された被検知対象に関する非画像情報との少なくとも一方を取得することと、取得された前記画像情報および前記非画像情報の少なくとも一方に基づいて、前記看介護施設内における対象者の自傷行為を検出することと、前記画像情報および前記非画像情報の少なくとも一方から、前記対象者の自傷行為に対応する部分を抽出することと
を含む処理をコンピューターに実行させるための自傷行為検出プログラム。

【0022】

（１５）自傷行為検出システムに実行させる方法であって、看介護施設内に設置された撮像部によって撮像された画像に関する画像情報と、前記看介護施設内に設置されたセンサーによって検知された被検知対象に関する非画像情報との少なくとも一方を取得することと、取得された前記画像情報および前記非画像情報の少なくとも一方に基づいて、前記看介護施設内における対象者の自傷行為を検出することと、前記画像情報および前記非画像情報の少なくとも一方から、前記対象者の自傷行為に対応する部分を抽出することとを含む自傷行為検出方法。

【発明の効果】

【0023】

本願発明に係る自傷行為検出装置、自傷行為検出システム、自傷行為検出プログラム、および自傷行為検出方法では、対象者の自傷行為が検出され、画像情報および非画像情報の少なくとも一方から対象者の自傷行為に対応する部分が抽出される。よって、スタッフ等は、対象者の自傷行為時の状況を容易に確認することが可能となる。

【図面の簡単な説明】

【0024】

【図1】一実施形態に係る自傷行為検出システムの概略構成を示す図である。

【図2】図１に示した検知部の構成を示すブロック図である。

【図3】図１に示した自傷行為検出装置の構成を示すブロック図である。

【図4】図１に示したカメラによって撮像された画像において検出された人物矩形の一例を示す図である。

【図5】図１に示した自傷行為検出装置の機能ブロック図である。

【図6】図１に示した携帯端末の構成を示すブロック図である。

【図7】図１に示した自傷行為検出システムによる処理の一例を示すフローチャートである。

【図8】変形例１に係る制御部による処理の一例を示すフローチャートである。

【図9】図１に示したカメラによって撮像された画像において検出された人物矩形および物体矩形の一例を示す図である。

【図10】変形例２に係る自傷行為検出装置の機能ブロック図である。

【図11】図１０に示した自傷行為検出装置による処理の一例を示すフローチャートである。

【図12】変形例３に係る自傷行為検出装置の機能ブロック図である。

【図13】図１２に示した自傷行為検出装置による処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0025】

以下、図面を参照して、本発明の実施形態に係る、自傷行為検出システム、自傷行為検出プログラム、および自傷行為検出方法について説明する。なお、図面において、同一の要素には同一の符号を付し、重複する説明を省略する。図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。

【0026】

＜実施形態＞
［自傷行為検出システム１０の構成］
図１は、一実施形態に係る自傷行為検出システム１０の概略構成を示す図である。自傷行為検出システム１０は、たとえば、病院および老人福祉施設などの看介護施設で用いられる。自傷行為検出システム１０は、検知部１００、自傷行為検出装置２００、通信ネットワーク３００、および携帯端末４００を有する。検知部１００は、通信ネットワーク３００により自傷行為検出装置２００および携帯端末４００と相互に通信可能に接続される。携帯端末４００はアクセスポイント３１０を介して通信ネットワーク３００と接続され得る。

【0027】

（検知部１００）
図２は、検知部１００の構成を示すブロック図である。図２の例に示すように、検知部１００は、制御部１１０、通信部１２０、カメラ１３０、マイク１４０（集音部）および体動センサー１５０を備え、これらはバスによって相互に接続されている。ここでは、カメラ１３０が本発明の撮像部の一具体例に対応し、マイク１４０が本発明のセンサーの一具体例に対応する。検知部１００は、１つの一体化された装置でも、分離配置される複数の装置でもあり得る。

【0028】

制御部１１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のメモリにより構成され、プログラムに従って検知部１００の各部の制御および演算処理を行う。

【0029】

通信部１２０は、通信ネットワーク３００を介して、自傷行為検出装置２００および携帯端末４００等と通信するためのインターフェース回路（例えばＬＡＮカード等）である。

【0030】

カメラ１３０は、例えば広角カメラである。カメラ１３０は、看介護施設内に設置されている。カメラ１３０は、たとえば、対象者５００の居室の天井等の、所定の領域を俯瞰する位置に設置される。カメラ１３０は、当該所定の領域を含む画像（たとえば、後述の図４の画像６００）を撮像する。対象者５００は、例えばスタッフ等により介護または看護を必要とする者である。所定の領域は、たとえば、対象者５００の居室の床面全体を含む３次元の領域であり得る。カメラ１３０は、広角カメラより画角が狭い標準カメラであってもよい。以下、説明を簡単にするために、カメラ１３０は、広角カメラであるものとして説明する。画像６００には、たとえば、対象者５００が画像として含まれ得る。画像６００には、静止画および動画が含まれる。カメラ１３０は近赤外線カメラであり、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｅｖｉｃｅ）により近赤外線を撮像領域に向けて照射し、撮像領域内の物体により反射される近赤外線の反射光をＣＭＯＳ（Ｃｏｍｐｌｅｍｅｍｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサーにより受光することで所定の領域を撮像し得る。画像６００は近赤外線の反射率を各画素とするモノクロ画像であり得る。カメラ１３０は、近赤外線カメラに代替して可視光カメラを用いてもよく、これらを併用してもよい。カメラ１３０は、マイク付きのカメラであってもよい。

【0031】

マイク１４０は、たとえば、カメラ１３０の近傍に設置され、カメラ１３０によって撮像される領域周辺を集音する。たとえば、マイク１４０は対象者５００の居室を集音する。マイク１４０は、カメラ１３０に一体化されていてもよい。

【0032】

体動センサー１５０は、ベッド７００に対してマイクロ波を送受信して対象者５００の体動（例えば呼吸動）によって生じたマイクロ波のドップラシフトを検出するドップラシフト方式のセンサーである。

【0033】

検知部１００は、カメラ１３０によって撮像した画像に関する画像情報と、マイク１４０によって検知した音に関する音情報とを、通信ネットワーク３００を介して、自傷行為検出装置２００に送信する。検知部１００は、体動センサー１５０によって検出された対象者５００のドップラシフトを、通信ネットワーク３００を介して、自傷行為検出装置２００等に送信してもよい。ここでは、音情報が、本発明の非画像情報の一具体例に対応する。

【0034】

（自傷行為検出装置２００）
図３は、自傷行為検出装置２００の構成を示すブロック図である。自傷行為検出装置２００は、たとえばサーバーまたはＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等のコンピューターである。自傷行為検出装置２００は、複数の装置から構成されてもよく、たとえば多数のサーバーによってクラウドサーバーとして仮想的に構成されてもよい。自傷行為検出装置２００は、制御部２１０、通信部２２０、記憶部２３０、表示部２４０、入力部２５０および音出力部２６０を有している。各構成要素は、バスによって、相互に接続されている。

【0035】

制御部２１０および通信部２２０の基本構成は、上記検知部１００の制御部１１０および通信部１２０と同様であるため、重複する説明は省略する。制御部２１０の具体的な機能については、後述する。

【0036】

記憶部２３０は、たとえば、ＲＡＭ、ＲＯＭ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等により構成される。記憶部２３０には、たとえば、オペレーティングシステムを含む各種プログラムおよび各種データが格納されている。記憶部２３０には、たとえば、検知部１００から送信された画像情報および音情報が記憶される。記憶部２３０には、他の装置との間で各種情報を送受信したり、他の装置から取得する各種情報に基づいて出力する結果を決定したりするためのアプリケーションがインストールされている。また、記憶部２３０には、画像情報および音情報の少なくとも一方から、後述の自傷行為に対応する部分を抽出するために必要となる情報が記憶されている。

【0037】

表示部２４０および入力部２５０は、タッチパネルであり、液晶などで構成される表示部２４０の表示面に、入力部２５０としてのタッチセンサーが設けられる。表示部２４０は、たとえば、検知部１００から受信した動画を表示する。

【0038】

音出力部２６０は、例えばスピーカーを含んでいる。音出力部２６０は、たとえば、表示部２４０に表示される動画と同期させて、検知部１００から受信した音を出力する。

【0039】

次に、図４および図５を用いて自傷行為検出装置２００、具体的には制御部２１０の機能について説明する。制御部２１０は、カメラ１３０によって撮像された動画に関する画像情報と、マイク１４０によって検知された音に関する音情報とに基づいて、対象者５００の自傷行為を検出し、画像情報および音情報の少なくとも一方から、この自傷行為に対応する部分を抽出する。

【0040】

ここで、自傷行為は、自らを傷つける行為をいう。自傷行為は、物体を用いずに自らを傷つける行為および物体を用いて自らを傷つける行為のどちらも含む。物体を用いずに自らを傷つける行為には、たとえば、首等をかきむしる行為、および、腹等を拳で強く叩く行為等が含まれる。物体を用いて自らを傷つける行為には、たとえば、壁に強くぶつかる行為、および、手を何度も机等に強く打ちつける行為等が含まれる。

【0041】

図４は、カメラ１３０により撮像された対象者５００の居室の画像６００の一例を表している。この画像６００は、たとえば、居室に設けられたベッド７００等の物体と、ベッド７００に腰かける対象者５００とを含んでいる。

【0042】

図５は、制御部２１０の機能ブロック図である。制御部２１０は、たとえば、取得部２１１、情報検出部２１２、自傷検出部２１３、抽出部２１４および保存制御部２１５として機能する。

【0043】

取得部２１１は、カメラ１３０によって撮像された画像（たとえば、画像６００）に関する画像情報と、マイク１４０によって検知された音（被検知対象）に関する音情報との少なくとも一方を取得する。取得部２１１は、たとえば、検知部１００から画像情報および音情報をともに取得する。取得部２１１は、さらに、体動センサー１５０によって検知された対象者５００の体動に関する情報を取得してもよい。

【0044】

情報検出部２１２は、取得部２１１により取得された画像情報に基づいて、各画像に含まれる人物に関する人物情報を検出する。人物情報は、たとえば、対象者５００の位置、対象者５００の大きさおよび対象者５００の種類等に関する情報を含む。対象者５００の位置は、たとえば、画像６００における人物矩形６１０の座標を用いて表すことができる。人物情報は、たとえば、立位および座位等の人物の姿勢に関する情報を含んでいてもよい。

【0045】

人物矩形６１０は、画像６００における対象者５００を含む領域である。人物矩形６１０は、たとえば、対象者５００の大きさを反映する。人物矩形６１０は、画像６００における対象者５００の姿勢を反映してもよい。情報検出部２１２は、たとえば、ディープラーニング等のニューラルネットワークを用いて人物矩形６１０を検出する。ニューラルネットワークによる人物矩形６１０の検出方法としては、例えば、Ｆａｓｔｅｒ Ｒ－ＣＮＮ、Ｆａｓｔ Ｒ－ＣＮＮ、およびＲ－ＣＮＮといった公知の方法が挙げられる。情報検出部２１２は、対象者５００の関節点を検出してもよい。

【0046】

自傷検出部２１３は、取得部２１１により取得された画像情報および音情報の少なくとも一方に基づいて、対象者５００の自傷行為を検出する。具体的には、自傷検出部２１３は、音情報と、情報検出部２１２により検出された人物情報とを用いて、対象者５００の自傷行為を検出する。

【0047】

自傷検出部２１３は、たとえば、人物矩形６１０の一部または全部が動いている状態で、所定の音に対応する音情報が取得されたとき、対象者５００の自傷行為を検出する。人物矩形６１０の動きは、たとえば、各フレームにおける人物矩形６１０の座標を用いて検出することができる。所定の音は、たとえば、所定の大きさ以上の音量を有する音または、所定の周波数範囲を有する音である。所定の周波数範囲は、たとえば、基準の音の周波数との差を用いて決定されてもよい。所定の音は、機械学習モデルを用いて決定されてもよい。所定の音は、たとえば、予めスタッフ等により入力部２５０を介して、設定されていてもよい。

【0048】

自傷検出部２１３は、たとえば、人物矩形６１０が所定の動作を行っている状態で、所定の音に対応する音情報が取得されたとき、対象者５００の自傷行為を検出してもよい。所定の動作は、機械学習モデルを用いて決定されてもよい。所定の動作は、たとえば、予めスタッフ等により入力部２５０を介して、設定されていてもよい。

【0049】

自傷検出部２１３は、さらに、カメラ１３０による撮像時間に基づいて、対象者５００の自傷行為を検出してもよい。自傷検出部２１３は、たとえば、所定の撮像時間帯に、人物矩形６１０の一部または全部が動いている状態で、所定の音に対応する音情報が取得されたとき、対象者５００の自傷行為を検出する。所定の撮像時間帯は、たとえば、予めスタッフ等により入力部２５０を介して、設定される。

【0050】

抽出部２１４は、画像情報および音情報の少なくとも一方から、自傷検出部２１３により検出された自傷行為に対応する部分を抽出する。抽出部２１４は、たとえば、自傷行為に対応する画像情報および音情報の両方を抽出する。抽出部２１４は、たとえば、自傷行為時およびその前後に対応する画像情報および音情報を抽出する。抽出部２１４は、たとえば、自傷行為の発生時刻に対応する画像情報および音情報と、この時刻の前後１分間の画像情報および音情報とを抽出する。抽出部２１４は、たとえば、取得部２１１により取得された画像情報および音情報から、自傷行為に対応する部分を抽出する。抽出部２１４は、画像情報に基づいて検出された人物情報から、自傷行為に対応する部分を抽出してもよい。

【0051】

保存制御部２１５は、抽出部２１４により抽出された自傷行為に対応する部分を保存部に保存する。保存制御部２１５は、たとえば、自傷行為に対応する画像情報および音情報を保存部に保存する。保存制御部２１５は、たとえば、この自傷行為を行った人物（たとえば、対象者５００）に関連付けて、画像情報および音情報を保存する。保存制御部２１５は、スタッフ等による対象者に関する記録と関連つけて、画像および音情報を保存してもよい。保存部は、たとえば、記憶部２３０に設けられている。保存部は、外部のサーバー等に設けられていてもよい。たとえば、スタッフ等が入力部２５０に指示を入力することにより、保存部に保存された画像情報および音情報が表示部２４０および音出力部２６０に出力される。

【0052】

上記制御部２１０の機能の一部または全部は、検知部１００により実行されてもよい。

【0053】

（携帯端末４００）
図６は、携帯端末４００の構成を示すブロック図である。携帯端末４００は、たとえば、看介護施設内でスタッフ等に携帯される。携帯端末４００は、制御部４１０、無線通信部４２０、表示部４３０、入力部４４０、および音声入出力部４５０を備える。各構成要素は、バスにより相互に接続されている。携帯端末４００は、例えば、タブレット型コンピューター、スマートフォン、または携帯電話等の通信端末機器によって構成され得る。

【0054】

制御部４１０は、検知部１００の制御部１１０の構成と同様に、ＣＰＵ、ＲＡＭ、ＲＯＭなどの基本構成を備える。

【0055】

無線通信部４２０は、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの規格による無線通信を行う機能を有し、アクセスポイント３１０を経由して、または直接に各装置と無線通信する。無線通信部４２０は、イベント通知を自傷行為検出装置２００から受信する。

【0056】

表示部４３０および入力部４４０は、自傷行為検出装置２００の表示部２４０および入力部２５０と同様に、たとえば、タッチパネルにより構成されている。表示部４３０および入力部４４０は、たとえば、スタッフ等に対象者５００に関するイベント通知を表示する。そして、表示部４３０および入力部４４０は、イベント通知に関する対象者５００への対応を促す入力画面を表示するとともに、当該入力画面に入力された、スタッフによるイベント通知への対応の意思を受け付ける。

【0057】

音声入出力部４５０は、例えばスピーカーとマイクであり、無線通信部４２０を介して他の携帯端末４００との間でスタッフ相互間の音声通話を可能にする。また、音声入出力部４５０は、無線通信部４２０を介して検知部１００との間で音声通話を可能にする機能を備え得る。

【0058】

［自傷行為検出システム１０の処理］
次に、図７を用いて自傷行為検出システム１０により実行される処理、即ち、本発明の自傷行為検出方法の一具体例について説明する。図７は、制御部２１０により実行される処理を示すフローチャートである。なお、図７に示す機能の一部または全部が検知部１００により実行される場合は、本フローチャートは、プログラムに従い、検知部１００の制御部１１０により実行されてもよい。

【0059】

制御部２１０は、まず、カメラ１３０によって撮像された画像（たとえば、画像６００）に関する画像情報と、マイク１４０によって検知された音に関する音情報とを取得する（Ｓ１０１）。制御部２１０は、たとえば、画像情報および音情報をリアルタイムで取得する。

【0060】

次に、制御部２１０は、ステップＳ１０１で取得した画像情報に基づいて、各画像の人物情報を検出する（Ｓ１０２）。たとえば、制御部２１０は、画像６００から人物矩形６１０を検出する。

【0061】

続いて、制御部２１０は、ステップＳ１０１で取得した音情報と、ステップＳ１０２で検出した人物情報とに基づいて、対象者（たとえば、対象者５００）の自傷行為を検出する（Ｓ１０３）。

【0062】

次に、制御部２１０は、ステップＳ１０１で取得した画像情報および音情報の少なくとも一方から、ステップＳ１０３で検出した対象者の自傷行為時およびその前後に対応する部分を抽出する（Ｓ１０４）。制御部２１０は、ステップＳ１０１で取得した画像情報に代えて、ステップＳ１０２で検出した人物情報から、対象者の自傷行為時およびその前後に対応する部分を抽出してもよい。

【0063】

この後、制御部２１０はステップＳ１０４で抽出した部分を保存部に保存して（Ｓ１０５）処理を終了する。

【0064】

［自傷行為検出システム１０の作用効果］
本実施形態に係る自傷行為検出システム１０では、対象者の自傷行為が検出され、画像情報および音情報の少なくとも一方から、この自傷行為に対応する部分が抽出される。よって、スタッフ等は、対象者の自傷行為時の状況を容易に確認することが可能となる。以下、この作用効果について説明する。

【0065】

看介護施設では、要介護者の転倒等に伴って要介護者が怪我を負うことがある。たとえば、カメラにより撮像された画像から要介護者の転倒を検出する技術を用いると、スタッフ等は要介護者の転倒時の状況を画像で確認することが可能となる。痣等が確認された要介護者について、転倒時の画像が撮像されている場合には、スタッフ等は、この痣が要介護者の転倒に起因するものであることを確認することができる。

【0066】

一方、要介護者の転倒が検出されていないにも関わらず、要介護者に痣が確認される場合、スタッフ等は、要介護者が怪我等を負った状況を確認することが困難となる。たとえば、実際には要介護者が転倒して怪我を負ったものの、システムが要介護者の転倒を検出できなかった、要介護者の自傷行為により怪我を負った、あるいは、他の原因で怪我を負った等の様々な状況が考え得る。特に、認知症等を患っている要介護者では、自傷行為によって怪我を負う場合が比較的多いものの、スタッフ等は、要介護者の家族に確証をもって怪我の原因を説明できないため、スタッフ等による虐待が疑われるおそれもある。

【0067】

これに対し、自傷行為検出装置２００および自傷行為検出システム１０では、対象者の自傷行為が検出され、画像情報および音情報の少なくとも一方から、この自傷行為に対応する部分が抽出される。これにより、スタッフ等は、自傷行為時の画像および音の少なくとも一方を容易に確認することができるので、たとえば、対象者５００に痣が確認されるとき、この痣が自傷行為に起因するものなのか、他の原因に起因するものかを判断しやすくなる。また、抽出された画像情報および音情報の少なくとも一方は保存部に保存されるので、エビデンスとして、要介護者の家族および医師等の第三者への説明あるいは、怪我の防止策の検討等の様々な場面で使用することができる。

【0068】

以下、上記実施形態で説明した制御部２１０の変形例を説明する。なお、以下では、説明の重複を避けるため、上記実施形態で説明した制御部２１０の各構成と同様の構成については詳細な説明を省略する。

【0069】

＜変形例１＞
図８は、変形例１に係る制御部２１０により実行される処理を示すフローチャートである。この制御部２１０は、取得された画像情報から人物情報に加えて物体情報を検出する（後述のステップＳ２０２）。物体情報は、画像に含まれる物体に関する情報である。この点において、変形例１に係る制御部２１０は、上記実施形態で説明した制御部２１０と異なる。

【0070】

この制御部２１０は、まず、上記実施形態で説明したステップＳ１０１と同様にして、画像情報および音情報を取得する（Ｓ２０１）。次いで、制御部２１０は、ステップＳ２０１で取得した画像情報に基づいて、人物情報および物体情報を検出する（Ｓ２０２）。

【0071】

図９を用いて、制御部２１０が検出する物体情報について説明する。図９は、カメラ１３０によって撮像された対象者５００の居室の画像６００の一例を表している。この画像６００は、たとえば、居室に設けられたベッド７００等の物体を含んでいる。物体情報は、たとえば、ベッド７００の位置、ベッド７００の大きさ、ベッド７００の種類およびベッド７００の形状等に関する情報を含む。ベッド７００の位置は、たとえば、画像６００における物体矩形６２０の座標を用いて表すことができる。

【0072】

物体矩形６２０は、画像６００におけるベッド７００を含む領域である。物体矩形６２０は、たとえば、ベッド７００の大きさを反映する。物体矩形６２０は画像６００におけるベッド７００の形状を反映してもよい。情報検出部２１２は、たとえば、ディープラーニング等のニューラルネットワークを用いて物体矩形６２０を検出する。ニューラルネットワークによる物体矩形６２０の検出方法としては、例えば、Ｆａｓｔｅｒ Ｒ－ＣＮＮ、Ｆａｓｔ Ｒ－ＣＮＮ、およびＲ－ＣＮＮといった公知の方法が挙げられる。制御部２１０は、距離画像等を用いて、対象者５００の居室の壁等に関する物体情報を検出してもよい。制御部２１０は、上記実施形態で説明したのと同様にして、人物情報を検出する。

【0073】

人物情報および物体情報を検出した後、制御部２１０は、ステップＳ２０１で取得した音情報と、ステップＳ２０２で検出した人物情報および物体情報とに基づいて、対象者５００の自傷行為を検出する（Ｓ２０３）。

【0074】

制御部２１０は、たとえば、人物矩形６１０の所定の割合以上の部分が物体矩形６２０に重なっていている状態で、所定条件の音に関する音情報が取得されたとき、対象者５００の自傷行為を検出する。制御部２１０は、人物矩形６１０と物体矩形６２０との距離が所定の値以下にある状態で、所定条件の音に関する音情報が取得されたとき、対象者５００の自傷行為を検出してもよい。所定条件の音は、上記実施形態で説明したのと同様である。制御部２１０は、上記実施形態で説明したのと同様の方法で、対象者５００の自傷行為を検出してもよい。

【0075】

この後、制御部２１０は、上記実施形態で説明したＳ１０４およびＳ１０５と同様の処理を行って（Ｓ２０４、Ｓ２０５）、処理を終了する。

【0076】

変形例１に係る制御部２１０を有する自傷行為検出システム１０も、上記実施形態の自傷行為検出システム１０と同様に、対象者の自傷行為が検出され、画像情報および音情報の少なくとも一方から、この自傷行為に対応する部分が抽出される。これにより、スタッフ等は、自傷行為時の画像および音の少なくとも一方を容易に確認することが可能となる。また、制御部２１０は、画像情報に基づいて、人物情報とともに物体情報を検出するので、物体を用いて自らを傷つける自傷行為が検出されやすくなる。これにより、自傷行為の検出範囲が広くなり、検出漏れの発生を抑えることが可能となる。

【0077】

＜変形例２＞
図１０は、変形例２に係る制御部２１０を示す機能ブロック図である。この制御部２１０は、取得部２１１、情報検出部２１２、自傷検出部２１３、抽出部２１４および保存制御部２１５に加えて、第１受付部２１６として機能する。この制御部２１０は、第１受付部２１６の機能を有している点において、上記実施形態で説明した制御部２１０と異なる。

【0078】

第１受付部２１６は、たとえば、看介護施設内の物体の指定を受け付ける。たとえば、看介護施設のスタッフ等が入力部２５０を介して、ベッド（たとえば、図９のベッド７００）等の看介護施設内の物体を指定する。これにより、第１受付部２１６は、看介護施設内の物体の指定を受け付ける。スタッフ等は、たとえば、対象者が自傷行為を行ったときに怪我を負いやすい物体を予め指定する。スタッフ等は、対象者の居室に存在する複数の物体を予め指定してもよい。

【0079】

図１１は、この制御部２１０により実行される処理を示すフローチャートである。制御部２１０は、まず、看介護施設内の物体の指定を受け付ける（Ｓ３０１）。物体は、たとえば、入力部２５０を介して、スタッフ等により指定される。看介護施設内の物体に関する情報は、たとえば、記憶部２３０等に記憶されている。制御部２１０は、たとえば、対象者５００の居室に設けられたベッドの指定を受け付ける。

【0080】

次に、制御部２１０は、上記実施形態で説明したステップＳ１０１と同様にして、画像情報および音情報を取得する（Ｓ３０２）。次いで、制御部２１０は、上記変形例１で説明したステップＳ２０２と同様にして、人物情報および物体情報を検出する（Ｓ３０３）。

【0081】

次に、制御部２１０は、ステップＳ３０２で取得した画像情報および音情報とともに、ステップＳ３０１で指定された物体に関する物体情報を用いて、対象者の自傷行為を検出する（Ｓ３０４）。制御部２１０は、たとえば、人物矩形の所定の割合以上の部分がベッドの物体矩形に重なっていている状態で、所定条件の音に関する音情報が取得されたとき、対象者の自傷行為を検出する。制御部２１０は、人物矩形とベッドの物体矩形との距離が所定の値以下にある状態で、所定条件の音に関する音情報が取得されたとき、対象者の自傷行為を検出してもよい。所定条件の音は、上記実施形態で説明したのと同様である。

【0082】

この後、制御部２１０は、上記変形例１で説明したＳ２０４およびＳ２０５と同様の処理を行って（Ｓ３０５およびＳ３０６）、処理を終了する。

【0083】

変形例２に係る制御部２１０を有する自傷行為検出システム１０も、上記実施形態の自傷行為検出システム１０と同様に、対象者の自傷行為が検出され、画像情報および音情報の少なくとも一方から、この自傷行為に対応する部分が抽出される。これにより、スタッフ等は、自傷行為時の画像および音の少なくとも一方を容易に確認することが可能となる。また、制御部２１０は、看介護施設内の物体の指定を受け付ける第１受付部２１６の機能を有しているので、スタッフ等により予め指定された物体を用いた自傷行為を高い精度で検出することが可能となる。たとえば、対象者毎または施設毎に、物体を指定することができるので、より状況に応じた対応が行いやすくなる。

【0084】

＜変形例３＞
図１２は、変形例３に係る制御部２１０を示す機能ブロック図である。この制御部２１０は、取得部２１１、情報検出部２１２、自傷検出部２１３、抽出部２１４および保存制御部２１５に加えて、第１受付部２１６および第２受付部２１７として機能する。この制御部２１０は、第２受付部２１７の機能を有している点において、上記変形例２で説明した制御部２１０と異なる。

【0085】

第２受付部２１７は、対象者の自傷行為の検出レベルの設定を受け付ける。第２受付部２１７は、たとえば、カメラ１３０の撮像時間帯毎、または、マイク１４０の検知時間毎に、異なる検出レベルの設定を受け付け可能に構成されている。第２受付部２１８は、たとえば、低レベル、中レベルおよび高レベルの３つの検出レベルの設定を受け付け可能に構成されている。たとえば、看介護施設のスタッフ等が、入力部２５０を介して、検出レベルを設定する。これにより、第２受付部２１７は、検出レベルの設定を受け付ける。

【0086】

スタッフ等は、たとえば、撮像時間が夜２２時～朝６時の検出レベルを高レベル、撮像時間が朝６時～朝８時および夜２０時～朝２２時までの検出レベルを中レベル、撮像時間が朝８時～夜２０時までの検出レベルを低レベルに設定する。

【0087】

第２受付部２１７は、対象者のＡＤＬ（Ａｃｔｉｖｉｔｉｅｓ ｏｆ Ｄａｉｌｙ Ｌｉｖｉｎｇ）および要介護度などの対象者に関する情報に応じて、異なる検出レベルの設定を受け付け可能に構成されていてもよい。第２受付部２１７は、看介護施設内のエリア毎に、異なる検出レベルの設定を受け付け可能に構成されていてもよい。第２受付部２１７は、２つの検出レベル、あるいは、４つ以上の検出レベルの設定を受け付け可能に構成されていてもよい。

【0088】

自傷検出部２１３は、第２受付部２１７により設定された検出レベルに基づいて、対象者の自傷行為を検出する。たとえば、高レベルおよび中レベルでは、物体を用いずになされる自傷行為および、看介護施設内の全ての物品を用いてなされる自傷行為を検出する。具体的には、上記実施形態および変形例１で説明したのと同様にして、対象者の自傷行為を検出する。高レベルでは、たとえば、中レベルの設定よりも閾値を低くして、人物矩形の動きおよび所定の音等を判断する。

【0089】

たとえば、低レベルでは、第１受付部２１６により指定された物品を用いてなされる自傷行為を検出する。具体的には、上記変形例２で説明したのと同様にして自傷行為を検出する。

【0090】

図１３は、この制御部２１０により実行される処理を示すフローチャートである。この制御部２１０は、まず、対象者の自傷行為の検出レベルの設定を受け付ける（Ｓ４０１）。検出レベルの設定は、たとえば、入力部２５０を介して、スタッフ等により指定される。各検出レベルに関する情報は、たとえば、記憶部２３０等に記憶されている。

【0091】

この後、制御部２１０は、上記変形例２で説明したステップＳ３０１～Ｓ３０６と同様の処理を行って（Ｓ４０２～Ｓ４０７）、処理を終了する。

【0092】

変形例３に係る制御部２１０を有する自傷行為検出システム１０も、上記実施形態の自傷行為検出システム１０と同様に、対象者の自傷行為が検出され、画像情報および音情報の少なくとも一方から、この自傷行為に対応する部分が抽出される。これにより、スタッフ等は、自傷行為時の画像および音の少なくとも一方を容易に確認することが可能となる。また、制御部２１０は、対象者の自傷行為の検出レベルの設定を受け付ける第２受付部２１７の機能を有しているので、時間帯および対象者の状態などに起因する自傷行為の発生頻度等に応じて、自在に検出レベルを設定することが可能となる。これにより、たとえば、自傷行為の検出漏れおよび誤検出等の発生を抑えられることが可能となる。

【0093】

＜その他の変形例＞
上記実施形態では、自傷検出部２１３が、画像情報および音情報に基づいて、対象者の自傷行為を検出する例を説明したが、自傷検出部２１３は、画像情報と、体動センサー１５０によって検知された対象者の体動に関する情報を用いて、対象者の自傷行為を検出してもよい。

【0094】

また、検知部１００は、マイク（マイク１４０）に代えて、あるいは、マイクとともに、他のセンサーを有していてもよい。たとえば、検知部１００は、看介護施設内の気体を検知するセンサーを有していてもよい。このセンサーは、たとえば、気体の成分または各成分の濃度等を検知する。このとき、自傷検出部２１３は、たとえば、人物矩形の一部または全部が動いている状態で、所定の気体成分に対応する情報が取得されたとき、対象者の自傷行為を検出する。所定の気体成分は、たとえば、人体の血の匂い成分等である。検知部１００は、上記音および体動以外の振動を検知するセンサーを有していてもよい。

【0095】

また、上記実施形態では、自傷検出部２１３が、画像情報および音情報の両方に基づいて、対象者の自傷行為を検出する例を説明したが、自傷検出部２１３は、画像情報および音情報の少なくとも一方を用いて、対象者の自傷行為を検出してもよい。検知部１００は、カメラ１３０およびマイク１４０の少なくとも一方を含んでいればよい。

【0096】

このような検知部１００を有する自傷行為検出システム１０も、上記実施形態の自傷行為検出システム１０と同様に、対象者の自傷行為が検出され、画像情報および音情報の少なくとも一方から、この自傷行為に対応する部分が抽出される。これにより、スタッフ等は、自傷行為時の画像および音の少なくとも一方を容易に確認することが可能となる。

【0097】

以上に説明した自傷行為検出システム１０の構成は、上述の実施形態の特徴を説明するにあたって主要構成を説明したのであって、上述の構成に限られず、特許請求の範囲内において、種々改変することができる。また、一般的な自傷行為検出システムが備える構成を排除するものではない。

【0098】

たとえば、上記実施形態では、自傷行為検出システムが、検知部１００、自傷行為検出装置２００、および携帯端末４００を含む例を説明したが、自傷行為検出システムは、携帯端末４００を有していなくてもよい。自傷行為検出システムは、看介護施設の管理者等が使用する管理者端末を含んでいてもよい。

【0099】

また、検知部１００、自傷行為検出装置２００、および携帯端末４００は、それぞれ複数の装置により構成されてもよく、いずれか複数の装置が単一の装置として構成されてもよい。

【0100】

また、上記変形例３では、制御部２１０が、第１受付部２１６および第２受付部２１７の両方の機能を有する例を説明したが、制御部２１０は、第１受付部２１６および第２受付部２１７のうち、第２受付部２１７の機能のみを有していてもよい。即ち、変形例３に係る制御部２１０は、取得部２１１、情報検出部２１２、自傷検出部２１３、抽出部２１４および保存制御部２１５および第２受付部２１７として機能してもよい。

【0101】

また、上述したフローチャートは、一部のステップを省略してもよく、他のステップが追加されてもよい。また各ステップの一部は同時に実行されてもよく、一つのステップが複数のステップに分割されて実行されてもよい。各ステップの順序は、一例であり、適宜変更されてもよい。

【0102】

また、上述した自傷行為検出システム１０における各種処理を行う手段および方法は、専用のハードウェア回路、またはプログラムされたコンピューターのいずれによっても実現することが可能である。上記プログラムは、例えば、ＵＳＢメモリやＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）－ＲＯＭ等のコンピューター読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピューター読み取り可能な記録媒体に記録されたプログラムは、通常、ハードディスク等の記憶部に転送され記憶される。また、上記プログラムは、単独のアプリケーションソフトとして提供されてもよいし、一機能としてその検出部等の装置のソフトウエアに組み込まれてもよい。

【符号の説明】

【0103】

１０ 自傷行為検出システム、
１００ 検知部、
１１０ 制御部、
１２０ 通信部、
１３０ カメラ、
１４０ マイク、
１５０ 体動センサー、
２００ 自傷行為検出装置、
２１０ 制御部、
２１１ 取得部、
２１２ 情報検出部、
２１３ 自傷検出部、
２１４ 抽出部、
２１５ 保存制御部、
２１６ 第１受付部、
２１７ 第２受付部、
２２０ 通信部、
２３０ 記憶部、
２４０ 表示部、
２５０ 入力部、
３００ 通信ネットワーク、
３１０ アクセスポイント、
４００ 携帯端末、
５００ 対象者、
６００ 画像、
６１０ 人物矩形、
６２０ 物体矩形。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】