特許 7552081 介助度合い推定方法、プログラム、および情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-09

(45)【発行日】2024-09-18

(54)【発明の名称】介助度合い推定方法、プログラム、および情報処理装置

(51)【国際特許分類】

   G06Q 50/22 20240101AFI20240910BHJP

   A61G 12/00 20060101ALI20240910BHJP

   G16H 20/00 20180101ALI20240910BHJP

【ＦＩ】

G06Q50/22

A61G12/00 Z

G16H20/00

【請求項の数】 8

(21)【出願番号】P 2020101564

(22)【出願日】2020-06-11

(65)【公開番号】P2021196739

(43)【公開日】2021-12-27

【審査請求日】2023-05-19

(73)【特許権者】

【識別番号】000001270

【氏名又は名称】コニカミノルタ株式会社

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】福井 匠

【審査官】鹿谷 真紀

(56)【参考文献】

【文献】特開２０１５－１５９９３５（ＪＰ，Ａ）

【文献】特開２００７－２１３２１９（ＪＰ，Ａ）

【文献】特開２０１９－１７５０５２（ＪＰ，Ａ）

【文献】国際公開第２０１６／１９９７４８（ＷＯ，Ａ１）

【文献】特開２０１４－２３２２５８（ＪＰ，Ａ）

【文献】国際公開第２０２０／０２７８３３（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

Ａ６１Ｇ １２／００

Ｇ１６Ｈ １０／００－８０／００

(57)【特許請求の範囲】

【請求項1】

情報処理装置によって実行される、被介護者に対して所与の判定期間に提供された介助の度合いを判定する方法であって、
被介護者の居室の画像を取得するステップと、
前記判定期間の前記画像における被介護者と介護者との距離を特定するステップと、
前記判定期間の時間の長さに対する、前記画像における前記距離が第１の値以下であった時間の長さの割合に従って、前記判定期間において提供された介助の度合いを特定するステップと、
前記画像における被介護者と介護者との距離が前記第１の値より大きい第２の値を以下となった時点を前記判定期間の開始として特定するステップと、を備える、介助度合い推定方法。

【請求項2】

前記割合と前記度合いとの関係は、提供される介助の種類に従う、請求項１に記載の介助度合い推定方法。

【請求項3】

前記画像において特定される被介護者の状態に基づいて、前記提供される介助の種類を特定するステップをさらに備える、請求項２に記載の介助度合い推定方法。

【請求項4】

前記画像における被介護者と介護者との距離が前記第２の値を超えた時点を前記判定期間の終了として特定するステップをさらに備える、請求項１～請求項３のいずれか１項に記載の介助度合い推定方法。

【請求項5】

前記居室から取得された音声の内容に基づいて、前記提供される介助の種類を特定するステップをさらに備える、請求項２に記載の介助度合い推定方法。

【請求項6】

前記居室から所与の種類の音声を取得したことに応じて前記判定期間の終了を特定するステップをさらに備える、請求項１～請求項５のいずれか１項に記載の介助度合い推定方法。

【請求項7】

情報処理装置のプロセッサーに実行されることにより、前記情報処理装置に請求項１～請求項６のいずれか１項に記載の方法を実施させる、プログラム。

【請求項8】

プロセッサーと、
請求項７に記載のプログラムを格納した記憶装置と、を備える情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、被介護者が必要とする介助の度合いの推定に関する。

【背景技術】

【0002】

市民が、介護を必要とするようになっても、住み慣れた地域や住まいで尊厳ある自立した生活を送ることができるよう、福祉事業として介護が提供されている。提供される介護の度合いを決定するために、被介護者が必要とする介助の度合いを評価する必要がある。介助の度合いの評価には、認定調査員などの人による判断が含まれる。

【0003】

評価の基準の客観性を保つため、「認定調査員テキスト」（非特許文献１）としてその基準が公開されている。特開２０１９－２０４４１９号公報（特許文献１）には、主治医が作成した電子カルテとユーザの生活機能状態とに基づきユーザの要介護度認定を行う技術が開示されている。生活機能状態は、ユーザを撮影した画像の解析結果とガス機器の使用量と、使用種類に基づくユーザの行動の解析結果との、少なくとも一方に基づく、ユーザの傷病や心身の状態である。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１９－２０４４１９号公報

【非特許文献】

【0005】

【文献】"認定調査員テキスト2009改訂版"、［online］、平成３０年４月、厚生労働省、［令和２年６月１日検索］、インターネット＜https://www.mhlw.go.jp/file/06-Seisakujouhou-12300000-Roukenkyoku/0000077237.pdf＞

【発明の概要】

【発明が解決しようとする課題】

【0006】

被介護者には当該被介護者が必要とする介助の度合いに応じた介護が提供されるべきであるため、介助の度合いの評価は均質化されるべきである。一方で、非特許文献１に記載されているように、介助の度合いの評価が人によってなされる場合、その評価には均質化が難しい局面が存在し得る。特許文献１では、要介護度認定において、被介護者の状態は検討されているものの、被介護者が必要とする介助の度合いについての具体的な検討はなされていない。

【0007】

本開示は、係る実情に鑑み考え出されたものであり、その目的は、被介護者が必要とする介助の度合いの評価の均質化のための技術を提供することである。

【課題を解決するための手段】

【0008】

本開示のある局面に従うと、被介護者に対して所与の判定期間に提供された介助の度合いを判定する方法であって、被介護者の居室の画像を取得するステップと、判定期間の画像における被介護者と介護者との距離を特定するステップと、判定期間において、画像における距離が第１の値以下であった時間の長さに従って、提供された介助の度合いを特定するステップと、を備える、介助度合い推定方法が提供される。

【0009】

割合と度合いとの関係は、提供される介助の種類に従ってもよい。
上記方法は、画像において特定される被介護者の状態に基づいて、提供される介助の種類を特定するステップをさらに備えていてもよい。

【0010】

上記方法は、画像における被介護者と介護者との距離が第１の値より大きい第２の値を以下となった時点を判定期間の開始として特定するステップをさらに備えていてもよい。

【0011】

上記方法は、画像における被介護者と介護者との距離が第２の値を超えた時点を判定期間の終了として特定するステップをさらに備えていてもよい。

【0012】

上記方法は、居室から取得された音声の内容に基づいて、提供される介助の種類を特定するステップをさらに備えていてもよい。

【0013】

上記方法は、居室から第１の種類の音声を取得したことに応じて判定期間の開始を特定するステップをさらに備えていてもよい。

【0014】

上記方法は、居室から第２の種類の音声を取得したことに応じて判定期間の終了を特定するステップをさらに備えていてもよい。

【0015】

本開示の他の局面に従うと、情報処理装置のプロセッサーに実行されることにより、情報処理装置に上記方法を実施させる、プログラムが提供される。

【0016】

本開示のさらに他の局面に従うと、プロセッサーと、上記プログラムを格納した記憶装置と、を備える情報処理装置が提供される。

【発明の効果】

【0017】

本開示によれば、所与の判定期間において、被介護者と介護者との間の距離に基づいて被介護者に提供された介助の度合いが推定される。これにより、判定期間において提供された介助の度合いの評価が均質化され、これにより、被介護者が必要とする介助の度合いの評価の均質化を図ることができる。

【図面の簡単な説明】

【0018】

【図1】見守りシステムの構成の一例を示す図である。

【図2】居室９００におけるセンサーの検出範囲の一例を説明するための図である。

【図3】見守りシステムのセンサーボックス１００、管理サーバー２００、および、携帯端末３００のハードウェア構成を示す図である。

【図4】クラウドサーバー４００のハードウェア構成を示す図である。

【図5】各被介護者の介助の度合いの推定結果として格納される情報のデータ構造例を示す図である。

【図6】介助度合いの推定基準を特定する情報のデータ構成例を示す図である。

【図7】被介護者（入居者）と介護者（スタッフ）との間の距離の特定方法の一例を説明するための図である。

【図8】被介護者（入居者）と介護者（スタッフ）との間の距離の特定方法の他の例を説明するための図である。

【図9】介助を提供された度合いを特定するために実行される処理の一例のフローチャートである。

【図10】割合ＲＡの算出を説明するための図である。

【図11】介助を提供された度合いを特定するために実行される処理の他の例のフローチャートである。

【図12】歩行に関する介助が行われている判定期間においてカメラ１０５が生成した画像の一例を示す図である。

【図13】介助を提供された度合いを特定するために実行される処理のさらに他の例のフローチャートである。

【図14】介助を提供された度合いを特定するために実行される処理のさらに他の例のフローチャートである。

【発明を実施するための形態】

【0019】

以下に、図面を参照しつつ、見守りシステムにおいて実施される介助度合い推定方法の一実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがって、これらの説明は繰り返さない。

【0020】

［見守りシステムの構成］
図１は、見守りシステムの構成の一例を示す図である。見守り対象の一例として、施設の居室領域ＲＭに設けられた各居室内の入居者が採用される。図１の見守りシステムでは、居室領域ＲＭに、居室９００Ａ，９００Ｂが設けられている。居室９００Ａは、入居者８００Ａに割当てられている。居室９００Ｂは、入居者８００Ｂに割当てられている。図１の例では、見守りシステムに含まれる居室の数は２であるが、当該数はこれに限定されない。

【0021】

見守りシステムでは、居室９００Ａに設置されたセンサーボックス１００Ａと、居室９００Ｂに設置されたセンサーボックス１００Ｂと、管理センターＳＴに設置された管理サーバー２００と、アクセスポイントＡＰとが、ネットワークＮＴを介して接続される。

【0022】

見守りシステムでは、スタッフＮＡが携帯する携帯端末３００Ａ、および、スタッフＮＢが携帯する携帯端末３００Ｂは、アクセスポイントＡＰを介してネットワークＮＴに接続される。さらに、センサーボックス１００Ａ，１００Ｂ、管理サーバー２００、および、アクセスポイントＡＰは、ネットワークＮＴを介して、クラウドサーバー４００と通信可能である。

【0023】

居室９００Ａは、設備として、ベッド９０１Ａ、トイレ９０２Ａ、および、家具９０３Ａを含む。居室９００Ａのドアには、当該ドアの開閉を検出するドアセンサー５１０Ａが設置されている。トイレ９０２Ａのドアには、トイレ９０２Ａの開閉を検出するトイレセンサー５２０Ａが設置されている。ベッド９０１Ａには、入居者８００Ａの排泄情報を取得する臭いセンサー５３０Ａが設置されている。入居者８００Ａは、当該入居者８００Ａのバイタル情報を検出するバイタルセンサー５４０Ａを装着している。検出されるバイタル情報の一例は、入居者の体温である。他の例は、入居者の呼吸である。さらに他の例は、入居者の心拍数である。さらに他の例は、これらの情報の中の２以上の種類の情報である。居室９００Ａでは、入居者８００Ａはケアコール子機５００Ａを操作することができる。

【0024】

本明細書では、複数のセンサーボックス１００Ａ，１００Ｂに共通する事項を言及する場合には、センサーボックス１００Ａ，１００Ｂを総称する用語「センサーボックス１００」が利用される。同様に、入居者８００Ａ，８００Ｂ、居室９００Ａ，９００Ｂ、ベッド９０１Ａ，９０１Ｂ、トイレ９０２Ａ，９０２Ｂ、家具９０３Ａ，９０３Ｂ、ケアコール子機５００Ａ，５００Ｂ、ドアセンサー５１０Ａ，５１０Ｂ、トイレセンサー５２０Ａ，５２０Ｂ、臭いセンサー５３０Ａ，５３０Ｂ、バイタルセンサー５４０Ａ，５４０Ｂのそれぞれについても同様に、用語「入居者８００」、「居室９００」、「トイレ９０２」、「家具９０３」、「ケアコール子機５００」、「ドアセンサー５１０」、「トイレセンサー５２０」、「臭いセンサー５３０」、「バイタルセンサー５４０」が利用される。

【0025】

さらに、各居室には、各居室の音声情報を管理サーバー２００などの外部へ出力するためのマイク（図３のマイク５５０）が設置されていてもよい。

【0026】

センサーボックス１００Ａは、居室９００Ａ内の物体の挙動を検出するためのセンサーを内蔵する。センサーの一例は、物体の動作を検出するためのドップラーセンサーである。他の例は、カメラである。さらに他の例は、ケアコール子機５００、ドアセンサー５１０、トイレセンサー５２０、臭いセンサー５３０、または、バイタルセンサー５４０である。センサーボックス１００Ａは、センサーとして、これらのセンサー中の少なくとも一つを含む。

【0027】

図２は、居室９００におけるセンサーの検出範囲の一例を説明するための図である。図２の例では、センサーボックス１００は、居室９００の天井ＣＬに設置される。

【0028】

範囲ＡＲは、センサーの検出範囲を概略的に表わす。センサーがドップラーセンサーである場合、当該ドップラーセンサーは、範囲ＡＲ内で生じた挙動を検出する。センサーがカメラである場合、当該カメラは、範囲ＡＲ内の画像を撮影する。

【0029】

図１に戻って、管理センターＳＴに設置された管理サーバー２００は、ディスプレイ２０６および入力デバイス２０９に接続される。入力デバイス２０９は、たとえばキーボードである。

【0030】

図１の見守りシステムでは、アクセスポイントＡＰを介してネットワークＮＴに接続する携帯端末の数は２（携帯端末３００Ａ，３００Ｂ）とされているが、当該数はこれに限定されない。本明細書では、携帯端末３００Ａ，３００Ｂに共通する事項を言及する場合には、携帯端末３００Ａ，３００Ｂを総称する用語「携帯端末３００」が利用される。

【0031】

図１の見守りシステムにおける各要素間の通信は、有線であってもよいし、無線であってもよい。

【0032】

なお、センサーボックス１００は、カメラ１０５および／またはドップラーセンサー１０６を必ずしも備えていなくてもよい。カメラ１０５および／またはドップラーセンサー１０６は、ドアゲートセンサー５１０等と同様に、センサーボックス１００外に設けられてもよい。制御装置１０１は、センサーボックス１００外に設けられたカメラ１０５および／またはドップラーセンサー１０６の検出出力を、所与のインターフェイスを介して取得してもよい。

【0033】

バイタルセンサー５４０は、必ずしも入居者に装着されていなくてもよい。一例では、バイタルセンサー５４０は、入居者から離間して設置された赤外線センサー等によって実現され、入居者の温度を検出することによってバイタル情報（体温）を出力する。他の例では、バイタルセンサー５４０は、ドップラーセンサー１０６によって実現される。ドップラーセンサー１０６は、入居者に向けてマイクロ波を照射する。当該マイクロ波は、入居者の心臓の拍動による胸部の僅かな変位によってドップラー効果を起こし、その周波数を変動させる。ドップラーセンサー１０６は、当該周波数の変動に基づいて、入居者の心拍を検出する。さらに他の例では、ドップラーセンサー１０６は、入居者の呼吸を検出する。

【0034】

［見守りシステムの各要素の構成］
図３は、見守りシステムのセンサーボックス１００、管理サーバー２００、および、携帯端末３００のハードウェア構成を示す図である。図４は、クラウドサーバー４００のハードウェア構成を示す図である。以下、図３および図４を参照して、見守りシステムにおける各装置の構成の一例を説明する。

【0035】

（センサーボックス１００）
センサーボックス１００は、制御装置１０１と、ＲＯＭ（Read Only Memory）１０２と、ＲＡＭ（Random Access Memory）１０３と、通信インターフェイス１０４と、カメラ１０５と、ドップラーセンサー１０６と、無線通信装置１０７と、記憶装置１２０とを備える。

【0036】

制御装置１０１は、センサーボックス１００を制御する。制御装置１０１は、たとえば、少なくとも１つの集積回路によって構成される。集積回路は、たとえば、少なくとも１つのＣＰＵ（Central Processing Unit）、少なくとも１つのＡＳＩＣ（Application Specific Integrated Circuit）、少なくとも１つのＦＰＧＡ（Field Programmable Gate Array）、またはこれらの組み合わせなどによって構成される。

【0037】

通信インターフェイス１０４には、アンテナ（図示しない）などが接続される。センサーボックス１００は、当該アンテナを介して、外部の通信機器との間でデータをやり取りする。外部の通信機器は、たとえば、管理サーバー２００、携帯端末３００、アクセスポイントＡＰ、クラウドサーバー４００、その他の通信端末などを含む。

【0038】

カメラ１０５は、一実現例では、近赤外カメラである。近赤外カメラは、近赤外光を投光するＩＲ（Infrared）投光器を含む。近赤外カメラが用いられることにより、夜間でも居室９００の内部を表わす画像が撮影され得る。他の実現例では、カメラ１０５は、可視光のみを受光する監視カメラである。さらに他の実現例では、カメラ１０５として、３Ｄセンサやサーモグラフィーカメラが用いられてもよい。センサーボックス１００およびカメラ１０５は、一体的に構成されてもよいし、別体で構成されてもよい。

【0039】

ドップラーセンサー１０６は、たとえばマイクロ波ドップラーセンサーであり、電波を放射及び受信して、居室９００内の物体の挙動（動作）を検出する。これにより、居室９００内の入居者８００の生体情報が検出され得る。一例では、ドップラーセンサー１０６は、２４ＧＨｚ帯のマイクロ波を各居室９００のベッド９０１に向けて放射し、入居者８００で反射した反射波を受信する。反射波は、入居者８００の動作により、ドップラーシフトしている。ドップラーセンサー１０６は、当該反射波から、入居者８００の呼吸状態や心拍数を検出し得る。

【0040】

無線通信装置１０７は、ケアコール子機５００、ドアセンサー５１０、トイレセンサー５２０、臭いセンサー５３０、バイタルセンサー５４０、およびマイク５５０からの信号を受信し、当該信号を制御装置１０１へ送信する。たとえば、ケアコール子機５００は、ケアコールボタン５０１を備え、当該ケアコールボタン５０１を操作されると、当該操作があったことを示す信号を無線通信装置１０７へ送信する。ドアセンサー５１０、トイレセンサー５２０、臭いセンサー５３０、および、バイタルセンサー５４０のそれぞれは、それぞれの検出出力を無線通信装置１０７へ送信する。

【0041】

記憶装置１２０は、たとえば、ハードディスクや外付けの記憶装置などの記憶媒体である。記憶装置１２０は、制御装置１０１によって実行されるプログラム、および、当該プログラムの実行に利用される各種のデータを格納する。各種のデータは、入居者８００の行動情報を含んでいてもよい。

【0042】

上記のプログラムおよびデータのうち少なくとも一方は、制御装置１０１がアクセス可能な記憶装置であれば、記憶装置１２０以外の記憶装置（たとえば、制御装置１０１の記憶領域（たとえば、キャッシュメモリーなど）、ＲＯＭ１０２、ＲＡＭ１０３、外部機器（たとえば、管理サーバー２００や携帯端末３００、など）に格納されていてもよい。

【0043】

（行動情報）
上記の行動情報について、説明する。行動情報は、たとえば入居者８００が所定の行動を実行したことを表わす情報である。一例では、所定の行動は、入居者８００が起きたことを表わす「起床」、入居者８００が寝具から離れたことを表わす「離床」、入居者８００が寝具から落ちたことを表わす「転落」、および、入居者８００が倒れたことを表わす「転倒」の４つの行動を含む。

【0044】

一実施の形態では、制御装置１０１が、各居室９００に設置されたカメラ１０５が撮像した画像に基づいて、各居室９００に関連付けられた入居者８００の行動情報を生成する。制御装置１０１は、たとえば、上記画像から入居者８００の頭部を検出し、この検出した入居者８００の頭部における大きさの時間変化に基づいて、入居者８００の「起床」、「離床」、「転倒」および「転落」を検出する。以下、行動情報の生成の一具体例を、より詳細に説明する。

【0045】

まず、記憶装置１２０に、居室９００におけるベッド９０１の所在領域、第１閾値Ｔｈ１、第２閾値Ｔｈ２、および、第３閾値Ｔｈ３が格納される。第１閾値Ｔｈ１は、ベッド９０１の所在領域内において、横臥姿勢にあるときと座位姿勢にあるときとの間で入居者の頭部の大きさを識別する。第２閾値Ｔｈ２は、ベッド９０１の所在領域を除く居室９００内において、入居者の頭部の大きさに基づいて、当該入居者が立位姿勢にあるか否かを識別する。第３閾値Ｔｈ３は、ベッド９０１の所在領域を除く居室ＲＭ内において、入居者の頭部の大きさに基づいて、当該入居者が横臥姿勢にあるか否かを識別する。

【0046】

制御装置１０１は、対象画像から、例えば背景差分法やフレーム差分法によって、入居者８００の人物の領域として、動体領域を抽出する。制御装置１０１は、さらに、当該抽出した動体領域から、例えば円形や楕円形のハフ変換によって、予め用意された頭部のモデルを用いたパターンマッチングによって、頭部検出用に学習したニューラルネットワークによって導出された閾値を用いて、入居者８００の頭部領域を抽出する。制御装置１０１は、当該抽出された頭部の位置および大きさから、「起床」、「離床」、「転倒」および「転落」を検出する。

【0047】

制御装置１０１は、上記のように抽出された頭部の位置がベッド９０１の所在領域内にあり、かつ、上記のように抽出された頭部の大きさが第１閾値Ｔｈ１を用いることによって横臥姿勢の大きさから座位姿勢の大きさへと変化したことを検出した場合に、行動「起床」が発生したことを決定してもよい。

【0048】

制御装置１０１は、上記のように抽出された頭部の位置がベッド９０１の所在領域内からベッド９０１の所在領域外へ移動した場合であって、上記のように抽出された頭部の大きさが第２閾値Ｔｈ２を用いることによって或る大きさから立位姿勢の大きさへと変化したことを検出した場合に、行動「離床」が発生したことを決定してもよい。

【0049】

制御装置１０１は、上記のように抽出された頭部の位置がベッド９０１の所在領域内からベッド９０１の所在領域外へ移動した場合であって、上記のように抽出された頭部の大きさが第３閾値Ｔｈ３を用いることによって或る大きさから横臥姿勢の大きさへ時間変化した場合には、行動「転落」が発生したと決定してもよい。

【0050】

制御装置１０１は、上記のように抽出された頭部の位置がベッド９０１の所在領域を除く居室９００内に位置し、かつ、抽出された頭部の大きさが第３閾値Ｔｈ３を用いることによって或る大きさから横臥姿勢の大きさへと変化したことを検出した場合には、行動「転倒」が発生したと決定してもよい。

【0051】

以上説明されたように、一具体例では、センサーボックス１００の制御装置１０１が、入居者８００の行動情報を生成する。なお、見守りシステムでは、居室９００内の画像を用いて、他の要素が入居者８００の行動情報を生成してもよい。

【0052】

（管理サーバー２００）
管理サーバー２００は、制御装置２０１と、ＲＯＭ２０２と、ＲＡＭ２０３と、通信インターフェイス２０４と、表示インターフェイス２０５と、操作インターフェイス２０７と、記憶装置２２０とを含む。

【0053】

制御装置２０１は、管理サーバー２００を制御する。制御装置２０１は、たとえば、少なくとも１つの集積回路によって構成される。集積回路は、たとえば、少なくとも１つのＣＰＵ、少なくとも１つのＡＳＩＣ、少なくとも１つのＦＰＧＡ、またはこれらの組み合わせなどによって構成される。

【0054】

通信インターフェイス２０４には、アンテナ（図示しない）などが接続される。管理サーバー２００は、当該アンテナを介して、外部の通信機器との間でデータをやり取りする。外部の通信機器は、たとえば、センサーボックス１００を含む。

【0055】

表示インターフェイス２０５は、ディスプレイ２０６と接続され、制御装置２０１などからの指令に従って、ディスプレイ２０６に対して、画像を表示するための画像信号を送出する。

【0056】

操作インターフェイス２０７は、たとえば、ＵＳＢ（Universal Serial Bus）端子であり、入力デバイス２０９に接続される。操作インターフェイス２０７は、入力デバイス２０９からのユーザー操作を示す信号を受ける。入力デバイス２０９、たとえば、マウス、キーボード、タッチパネル、またはユーザーの入力操作を受け付けることが可能なその他の装置である。

【0057】

記憶装置２２０は、たとえば、ハードディスクや外付けの記憶装置などの記憶媒体である。一実現例では、記憶装置２２０は、制御装置２０１によって実行されるプログラムを格納するが、当該プログラムは、制御装置２０１がアクセス可能な他の記憶装置に格納されていてもよい。

【0058】

（携帯端末３００）
携帯端末３００は、制御装置３０１と、ＲＡＭ３０３と、通信インターフェイス３０４と、ディスプレイ３０５と、入力デバイス３０６と、内蔵メモリー３２０とを含む。

【0059】

制御装置３０１は、携帯端末３００を制御する。制御装置３０１は、たとえば、少なくとも１つの集積回路によって構成される。集積回路は、たとえば、少なくとも１つのＣＰＵ、少なくとも１つのＡＳＩＣ、少なくとも１つのＦＰＧＡ、またはそれらの組み合わせなどによって構成される。

【0060】

通信インターフェイス３０４には、アンテナ（図示しない）などが接続される。携帯端末３００は、当該アンテナおよびアクセスポイントＡＰ（図１）を介して、外部の通信機器との間でデータをやり取りする。外部の通信機器は、たとえば、センサーボックス１００、管理サーバー２００などを含む。

【0061】

ディスプレイ３０５は、たとえば有機ＥＬ（Electro Luminescence）ディスプレイによって実現される。入力デバイス３０６は、たとえばディスプレイ３０５に重ねられたタッチセンサーによって実現される。当該タッチセンサーは、携帯端末３００に対する各種操作をタッチ操作で受け付け、当該操作の内容を制御装置３０１へ出力する。

【0062】

内蔵メモリー３２０は、たとえば、ｅＭＭＣ（Embedded MultiMediaCard）などの記憶媒体である。一例として、内蔵メモリー３２０は、制御装置３０１によって実行されるプログラムを格納するが、当該プログラムは、制御装置３０１がアクセス可能な記憶装置であれば、内蔵メモリー３２０以外の記憶装置に格納されていてもよい。

【0063】

（クラウドサーバー４００）
クラウドサーバー４００は、制御装置４０１と、ＲＯＭ４０２と、ＲＡＭ４０３と、通信インターフェイス４０４と、記憶装置４２０とを含む。

【0064】

制御装置４０１は、クラウドサーバー４００を制御する。制御装置４０１は、たとえば、少なくとも１つの集積回路によって構成される。集積回路は、たとえば、少なくとも１つのＣＰＵ、少なくとも１つのＡＳＩＣ、少なくとも１つのＦＰＧＡ、またはこれらの組み合わせなどによって構成される。

【0065】

通信インターフェイス４０４には、アンテナ（図示しない）などが接続される。クラウドサーバー４００は、当該アンテナを介して、外部の通信機器との間でデータをやり取りする。外部の通信機器は、たとえば、センサーボックス１００、管理サーバー２００を含む。

【0066】

記憶装置４２０は、たとえば、ハードディスクや外付けの記憶装置などの記憶媒体である。一実現例では、記憶装置４２０は、制御装置４０１によって実行されるプログラムを格納するが、当該プログラムは、制御装置４０１がアクセス可能な他の記憶装置に格納あされていてもよい。

【0067】

（本明細書における「プログラム」という用語の意義）
見守りシステムにおいて、各種の「プログラム」は、単体のプログラムとしてではなく、任意のプログラムの一部に組み込まれて提供される場合があり得る。各種の「プログラム」は、任意の複数のプログラムが協働することによって実現され得る。一例では、センサーボックス１００の制御装置１０１が第１のプログラムを実行することによって本明細書において説明される機能を実現する際に、当該第１のプログラムは、第２のプログラムの一部のモジュールを利用していてもよい。第１のプログラムは、当該機能の実現のための一部のモジュールを含まない場合であっても、当該機能の実現に主に貢献する場合、当該機能を実現するためのプログラムとしての趣旨から逸脱するものではない。また、本明細書において説明される機能は、その一部または全部が専用のハードウェアによって実現されてもよい。さらに、本明細書において説明される機能を提供する装置は、その機能の一部または全部を外部装置から所謂クラウドサービスとして提供される場合もあり得る。

【0068】

［介助度合い推定結果のデータ構造例］
本実施の形態では、入居者８００Ａ，８００Ｂは被介護者の一例であり、スタッフＮＡ，ＮＢ（スタッフ８１０Ａ，８１０Ｂ）は介護者の一例である。見守りシステムは、たとえば介護施設において実現される。見守りシステムでは、管理サーバー２００が、被介護者の介助を必要とする度合いの推定に利用される。

【0069】

図５は、各入居者の介助の度合いの推定結果として格納される情報のデータ構造例を示す図である。図５に示される情報（介助度合い推定結果）は、たとえば記憶装置２２０に格納される。

【0070】

見守りシステムでは、介助度合いの推定結果は、各項目についての介助を必要とされる度合いが三段階（たとえば、「介助無し」「一部介助」「全介助」）で表される。なお、介助度合いの推定結果の表現は、これらに限定されない。

【0071】

図５に示されるように、介助度合い推定結果は、被介護者ごとの、１４の項目（「寝返り」「起き上がり」「座位保持」「両足での立位保持」「歩行」「立ち上がり」「移乗」「移動」「洗顔」「整髪」「上衣の着脱」「ズボンなどの脱着」「外出」「徘徊」）のそれぞれの推定結果を含む。たとえば、ＩＤ「０００１」で特定される入居者について、１４の項目の推定結果として、Ｌ１（０１）～Ｌ１（１４）で表されるデータが含まれる。「Ｌ１（０１）」等のデータは、「介助無し」「一部介助」「全介助」のいずれかを表していても良い。「介助無し」「一部介助」「全介助」のうち、「介助無し」が最も介助の度合いが低く、「全介助」が最も介助の度合いが高い。「一部介助」の介助の度合いは、「介助無し」の介助の度合いと「全介助」の介助の度合いの間にある。

【0072】

［介助度合い推定基準のデータ構造例］
図６は、介助度合いの推定基準を特定する情報のデータ構成例を示す図である。図６に示される情報（介助度合い推定基準）は、各項目について、被介護者に関する行動が各度合いに分類されるための基準を含む。

【0073】

介助度合い推定基準は、たとえば、項目「寝返り」について、度合い「介助無し」のための基準「Ｒ（０１１）未満」、度合い「一部介助」のための基準「Ｒ（０１１）～Ｒ（０１２）」（値「Ｒ（０１１）以上、Ｒ（０１２）未満）、および、度合い「全介助」のための基準「Ｒ（０１２）以上」を含む。

【0074】

Ｒ（０１１）およびＲ（０１２）などの値は、判定期間における、特定状態が発生した時間の割合を表す。図６の例では、項目「寝返り」について、特定状態が発生した時間の割合がＲ（０１１）未満であれば、被介護者の度合いの推定結果として「介助無し」が出力される。特定状態が発生した時間の割合がＲ（０１１）以上であってＲ（０１２）未満であれば、被介護者の度合いの推定結果として「一部介助」が出力される。特定状態が発生した時間の割合がＲ（０１２）を以上であれば、被介護者の度合いの推定結果として「全介助」が出力される。

【0075】

特定状態は、たとえば、被介護者と介護者との間の距離に基づき、より具体的には、被介護者と介護者との間の距離が第１の距離以下となっている状態である。

【0076】

［被介護者と介護者との間の距離の特定］
図７は、被介護者（入居者）と介護者（スタッフ）との間の距離の特定方法の一例を説明するための図である。図７の画像６００は、入居者の居室内の画像の一例である。画像６００には、入居者およびスタッフのそれぞれの関節座標が重畳される。

【0077】

枠６１１は、入居者の頭部の関節座標によって構成される多角形を表し、点Ｐ１は、当該多角形の重心を表す。枠６１２は、入居者の頭部以外の関節座標によって構成される形状を表す。

【0078】

枠６２１は、スタッフの頭部の関節座標によって構成される多角形を表し、点Ｐ２は、当該多角形の重心を表す。枠６２２は、スタッフの頭部以外の関節座標によって構成される形状を表す。

【0079】

管理サーバー２００は、カメラ１０５によって生成された画像に公知の画像処理を施すことにより、図６に示されたような関節座標を生成してもよく、カメラ１０５によって生成された画像に上記のように生成された関節座標を重畳させてもよい。管理サーバー２００は、たとえば各人物の衣服の色などに基づいて、画像の中の人物が入居者であるかまたはスタッフであるかを認識してもよい。

【0080】

そして、管理サーバー２００は、点Ｐ１と点Ｐ２の距離を、入居者とスタッフとの間の距離として特定してもよい。点Ｐ１と点Ｐ２の距離は、入居者とスタッフの、水平面における頭部の重心の距離に相当する。図７では、入居者とスタッフとの間の距離が、距離Ｄで示されている。

【0081】

なお、管理サーバー２００は、「（行動情報）」において上述したように、入居者およびスタッフの頭部の位置（領域）を、円形や楕円形のハフ変換によって特定してもよいし、予め定められた用意された頭部のモデルを用いたパターンマッチングによって特定してもよいし、頭部検出用に学習したニューラルネットワークによって導出された閾値を用いて特定してもよい。

【0082】

図８は、被介護者（入居者）と介護者（スタッフ）との間の距離の特定方法の他の例を説明するための図である。図８において、外郭ＯＬ１は、入居者の関節座標の外郭を表し、点Ｐ１１は、外郭ＯＬ１の重心を表す。外郭ＯＬ２は、スタッフの関節座標の外郭を表し、点Ｐ１２は、外郭ＯＬ２の重心を表す。管理サーバー２００は、点Ｐ１１と点Ｐ１２の距離を、入居者とスタッフとの距離として特定してもよい。点Ｐ１１と点Ｐ１２の距離は、入居者とスタッフの、水平面における重心に相当する。

【0083】

［処理（１）の流れ］
見守りシステムでは、各入居者の、２以上の項目のそれぞれについて、所定期間において介助を提供された度合いが特定される。特定された度合いは、たとえば、各入居者について介護度を設定する検査員に提供される。検査員は、各入居者について特定された度合いを参照して、入居者の介護度（入居者に提供されるべき介助の度合いに関する指標）を設定することができる。

【0084】

図９は、介助を提供された度合いを特定するために実行される処理の一例のフローチャートである。管理サーバー２００は、制御装置２０１のプロセッサーに所与のプログラムを実行させることにより、図９の処理を実現してもよい。図９の処理は、制御装置２０１を構成するＡＳＩＣ（application specific integrated circuit）またはＦＰＧＡ（field-programmable gate array）などの専用回路によって実現されてもよい。

【0085】

ステップＳ１００にて、管理サーバー２００は、入居者とスタッフとの間の距離が長さＤ２以下になったか否かを判断する。長さＤ２は、判定期間の開始および終了の特定に関する閾値の一例であり、「第２の値」の一例である。

【0086】

管理サーバー２００は、カメラ１０５からの画像を参照し、入居者とスタッフとの間の距離が長さＤ２以下になったと判断するまでステップＳ２００に制御を留め（ステップＳ１００にてＮＯ）、入居者とスタッフとの間の距離が長さＤ２以下になったと判断すると（ステップＳ１００にてＹＥＳ）、ステップＳ１０２へ制御を進める。

【0087】

ステップＳ１０２にて、管理サーバー２００は、居室の映像の記録を開始する。記録される映像のデータは、たとえば記憶装置２０２に格納される。

【0088】

ステップＳ１０４にて、管理サーバー２００は、入居者とスタッフとの間の距離が長さＤ２を超えたか否かを判断する。管理サーバー２００は、カメラ１０５からの画像を参照し、入居者とスタッフとの間の距離が長さＤ２を超えていないと判断すると（ステップＳ１０４にてＮＯ）、ステップＳ１０２へ制御を戻し、入居者とスタッフとの間の距離が長さＤ２を超えたと判断すると（ステップＳ１０４にてＹＥＳ）、ステップＳ１０６へ制御を進める。

【0089】

ステップＳ１０５にて、管理サーバー２００は、記憶装置２２０への居室の映像の記録を終了する。

【0090】

ステップＳ１０６にて、管理サーバー２００は、ステップＳ１０２からステップＳ１０５において記録された映像を参照し、入居者とスタッフとの間の距離が長さＤ１以下となた時間ＴＡの長さを特定する。長さＤ１は、スタッフが入居者に介助を提供しているか否かを特定するための距離の閾値の一例であり、「第１の値」の一例である。

【0091】

ステップＳ１０８にて、管理サーバー２００は、図９の処理が対象としている評価項目を読み出す。一実現例では、見守りシステムの管理者は、管理サーバー２００に図９の処理を開始させるときに、評価項目として、図５に示された項目のいずれかを入力する。これにより、当該項目を特定する情報が記憶装置２２０に格納される。ステップＳ１０８では、管理サーバー２００は記憶装置２２０を参照することにより、評価項目を取得する。

【0092】

ステップＳ１１０にて、管理サーバー２００は、ステップＳ１０８において読み出した評価項目について、介助の度合いの推定結果を特定する。

【0093】

一実現例では、管理サーバー２００は、映像を記録された期間（ステップＳ１０２からステップＳ１０５まで）ＴＸに対する時間ＴＡ（ステップＳ１０６）の割合に基づいて、推定結果を特定する。

【0094】

より具体的には、管理サーバー２００は、ステップＳ１０８において読み出された評価項目の基準値（評価項目が「寝返り」であれば、Ｒ（０１１）およびＲ（０１２））を介助度合い推定基準（図６）から取得し、期間ＴＸに対する時間ＴＡの割合ＲＡを算出し、当該割合ＲＡと基準値とを比較することにより、入居者に提供された介助の度合いの推定結果を導出する。

【0095】

図１０は、割合ＲＡの算出を説明するための図である。図１０のグラフでは、縦軸は入居者とスタッフとの間の距離を表し、横軸は所与の時点（期間ＴＸの開始前）からの経過時間を表す。縦軸の距離は、所与の単位で表され、数値が大きくなるほど入居者とスタッフとの間の距離が長くなることを意味する。

【0096】

図１０の例において、長さＤ２の一例を「３．５」とし、長さＤ１の一例を「２．５」とする。この場合、入居者とスタッフとの間の距離が３．５以下になってから３．５以上となるまでの期間が判定期間として特定される。当該判定期間の長さに対する、入居者とスタッフとの間の距離が２．５以下となった時間の長さの割合に従って、判定期間において入居者に提供された介助の度合いの推定結果が生成される。

【0097】

入居者とスタッフとの間の距離は、点ＰＸ１で表されるタイミングから点ＰＸ２で表されるタイミングまでの１１秒間（期間ＴＸ）、長さＤ２以下にある。また、入居者とスタッフとの間の距離は、点ＰＹ１で表されるタイミングから点ＰＹ２で表されるまでの４秒間（時間ＴＡ）、長さＤ１以下にある。したがって、割合ＲＡは、０．３６（４／１１）と算出される。そして、管理サーバー２００は、割合ＲＡと介助度合い推定基準に格納された基準値とを比較することによって、期間ＴＸにおいて入居者に提供された介助の度合いの推定結果を取得する。

【0098】

たとえば、評価項目が「寝返り」であれば、割合ＲＡが値Ｒ（０１１）未満であれば推定結果は「介助無し」であり、割合ＲＡが値Ｒ（０１１）以上でありかつ値Ｒ（０１２）未満であれば推定結果は「一部介助」であり、割合ＲＡが値Ｒ（０１２）以上であれば推定結果は「全介助」である。

【0099】

図９に戻って、ステップＳ１１２にて、管理サーバー２００は、ステップＳ１１０において特定した推定結果を介助度合い推定結果（図５）として記憶装置２０２に格納して、図９の処理を終了させる。

【0100】

以上説明された本実施の形態では、判定期間（期間ＴＸ）における、入居者とスタッフとの間の距離が長さＤ１以下にある時間の長さ（時間ＴＡ）に従って、当該判定期間において入居者に提供された介助の度合いの推定結果が特定される。

【0101】

期間ＴＸに対する時間ＴＡの割合ＲＡと度合い（図５の「介助無し」「一部介助」「全介助」）との関係は、図６を参照して説明されたように、提供される介助の種類（評価項目）に従って設定されてもよい。

【0102】

［処理（２）の流れ］
提供される介助の種類（評価項目）は、判定期間の画像において特定される入居者の状態（向き、位置、など）に基づいて特定されてもよい。

【0103】

図１１は、介助を提供された度合いを特定するために実行される処理の他の例のフローチャートである。管理サーバー２００は、制御装置２０１のプロセッサーに所与のプログラムを実行させることにより、図１１の処理を実現してもよい。図１１の処理は、制御装置２０１を構成する専用回路によって実現されてもよい。

【0104】

図１１の処理は、図９の処理と比較して、ステップＳ１０８の代わりにステップＳ１０９を含む。ステップＳ１０９において、管理サーバー２００は、判定期間（ステップＳ１０２における映像の記録が開始されてからステップＳ１０５において映像の記録が終了されるまで）における入居者の状態を特定し、当該状態に基づいて評価項目を特定する。

【0105】

より具体的には、管理サーバー２００は、判定期間に記録された映像が、各評価項目に関連付けられた状態の条件を満たすか否かを判断する。

【0106】

たとえば、項目「歩行」には、判定期間の開始時および終了時の入居者がベッドおよび車椅子から離れた場所に位置する、という条件が設定される。

【0107】

図１２は、歩行に関する介助が行われている判定期間においてカメラ１０５が生成した画像の一例を示す図である。図１２の画像７００において、管理サーバー２００は、予め定められた設定されたパターンを用いて画像認識を実行することにより、ベッドに対応する要素７０１および車椅子に対応する要素７０２を特定する。管理サーバー２００は、画像７００において、入居者およびスタッフに対応する要素を認識する。図１２では、入居者およびスタッフの関節位置が重畳され、また、入居者の頭部の中心が点Ｐ１として示され、スタッフの頭部の中心が点Ｐ２として示されている。

【0108】

管理サーバー２００は、図１２の画像７００を含む、判定期間の全てのフレームにおいて、入居者の頭部の中心と要素７０１，７０２との位置関係を特定し、入居者がベッドおよび車椅子から離れているか否かを判断してもよい。

【0109】

項目「寝返り」には、判定期間の開始と終了の双方において入居者はベッドの上に位置し、判定期間の開始時には入居者の向きが「仰向け」および「うつ伏せ」のいずれか一方であり、かつ、判定期間の終了時には入居者の向きが「仰向け」および「うつ伏せ」のいずれか他方である、という条件が設定される。

【0110】

項目「移乗」には、判定期間の開始時には入居者が車椅子から離れた場所に位置し、かつ、判定期間の終了時には入居者が車椅子の上に位置する、という条件が設定される。

【0111】

［処理（３）の流れ］
管理サーバー２００は、カメラ１０５からの画像を処理する代わりに、マイク５５０から入力される音声を処理することによって、判定期間の開始および／または終了を特定しても良い。

【0112】

図１３は、介助を提供された度合いを特定するために実行される処理のさらに他の例のフローチャートである。管理サーバー２００は、制御装置２０１のプロセッサーに所与のプログラムを実行させることにより、図１３の処理を実現してもよい。図１３の処理は、制御装置２０１を構成する専用回路によって実現されてもよい。

【0113】

ステップＳ２００にて、管理サーバー２００は、マイク５５０から入力される音声を認識することにより、当該音声から特定の評価開始用ワードを取得したか否かを判断する。評価開始用ワードは、第１の種類の音声の一例である。評価開始用ワードの一例は、「はじめますよ。」である。

【0114】

たとえば、スタッフが、居室において、入居者に、「山田さん、これから寝返りをはじめますよ。」と声をかけたとする。この場合、居室の音声「山田さん、これから寝返りをはじめますよ。」が、マイク５５０を介して管理サーバー２００に送られる。管理サーバー２００は、当該音声から「はじめますよ。」を取得する。これにより、管理サーバー２００は、マイク５５０から入力される音声から評価開始用ワードを取得したと判断する。

【0115】

管理サーバー２００は、評価開始用ワードを取得したと判断するまでステップＳ２００へ制御を留め（ステップＳ２００にてＮＯ）、評価開始用ワードを取得したと判断すると（ステップＳ２００にてＹＥＳ）、ステップＳ２０２へ制御を進める。

【0116】

ステップＳ１０２にて、管理サーバー２００は、図９を参照して説明されたのと同様に、居室の映像の記録を開始する。

【0117】

ステップＳ２０４にて、管理サーバー２００は、マイク５５０から入力される音声を認識することにより、当該音声から評価終了用ワードを取得したか否かを判断する。評価終了用ワードは、第２の種類の音声の一例である。評価終了用ワードの一例は、「終わりました。」である。

【0118】

たとえば、スタッフが、居室において、入居者に、「はい。山田さん、寝返り終わりました。」と声をかけたとする。この場合、居室の音声「はい。山田さん、寝返り終わりました。」が、マイク５５０を介して管理サーバー２００に送られる。管理サーバー２００は、当該音声から「終わりました。」を取得する。これにより、管理サーバー２００は、マイク５５０から入力される音声から評価終了用ワードを取得したと判断する。

【0119】

管理サーバー２００は、評価終了用ワードを取得したと判断するまでステップＳ２０２へ制御を戻し（ステップＳ２０４にてＮＯ）、評価終了用ワードを取得したと判断すると（ステップＳ２０４にてＹＥＳ）、ステップＳ１０５へ制御を進める。

【0120】

その後、管理サーバー２００は、図９を参照して説明されたのと同様に、ステップＳ１０５～ステップＳ１１２の制御を実行する。

【0121】

図１３の処理では、居室からの音声を用いて、判定期間の開始タイミングおよび終了タイミングが特定される。より具体的には、判定期間の開始タイミングとして、評価開始用ワードが検出されたタイミングが特定され、判定期間の終了タイミングとして、評価終了用ワードが検出されたタイミングが特定される。

【0122】

なお、判定期間の開始タイミングは音声を用いて特定され、終了タイミングは画像を用いて特定されてもよい。また、判定期間の開始タイミングは画像を用いて特定され、終了タイミングは音声を用いて特定されてもよい。

【0123】

判定期間の開始タイミングおよび終了タイミングの少なくとも一方は、スタッフなどによるボタン操作がなされたタイミングとして特定されてもよい。

【0124】

［処理（４）の流れ］
提供される介助の種類（評価項目）は、スタッフなどの音声を認識することによって特定されてもよい。

【0125】

図１４は、介助を提供された度合いを特定するために実行される処理のさらに他の例のフローチャートである。管理サーバー２００は、制御装置２０１のプロセッサーに所与のプログラムを実行させることにより、図１４の処理を実現してもよい。図１４の処理は、制御装置２０１を構成する専用回路によって実現されてもよい。

【0126】

図１３の処理と比較して、図１４の処理は、ステップＳ１０８の代わりに、ステップＳ２０９を含む。

【0127】

ステップＳ２０９にて、管理サーバー２００は、ステップＳ２００において取得した音声から評価項目を特定する。管理サーバー２００は、マイク５５０から居室の音声「山田さん、これから寝返りをはじめますよ。」を取得したとする。この音声は、評価項目「寝返り」を含む。したがって、管理サーバー２００は、評価項目として「寝返り」を特定する。ステップＳ２０９にて、管理サーバー２００は、ステップＳ２００において取得した音声ではなく、ステップＳ２０４において取得した音声から評価項目を特定してもよい。

【0128】

今回開示された各実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。また、実施の形態および各変形例において説明された発明は、可能な限り、単独でも、組合わせても、実施することが意図される。

【符号の説明】

【0129】

１００，１００Ａ，１００Ｂ センサーボックス、１０１，２０１，３０１，４０１ 制御装置、１０５ カメラ、１０６ ドップラーセンサー、２００ 管理サーバー、３００，３００Ａ，３００Ｂ 携帯端末、４００ クラウドサーバー、５００，５００Ａ，５００Ｂ ケアコール子機、５０１ ケアコールボタン、５１０，５１０Ａ，５１０Ｂ ドアセンサー、５２０，５２０Ａ，５２０Ｂ トイレセンサー、５３０，５３０Ａ，５３０Ｂ センサー、５４０，５４０Ａ，５４０Ｂ バイタルセンサー、５５０ マイク、６００，７００ 画像、９００，９００Ａ，９００Ｂ 居室、９０１，９０１Ａ，９０１Ｂ ベッド、９０２，９０２Ａ，９０２Ｂ トイレ、９０３，９０３Ａ，９０３Ｂ 家具。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】