特開 2022-188457 介護情報記録装置及び介護情報記録方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022188457

(43)【公開日】2022-12-21

(54)【発明の名称】介護情報記録装置及び介護情報記録方法

(51)【国際特許分類】

   G06Q 50/22 20180101AFI20221214BHJP

【ＦＩ】

G06Q50/22

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2021096498

(22)【出願日】2021-06-09

(71)【出願人】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】110001379

【氏名又は名称】特許業務法人 大島特許事務所

(72)【発明者】

【氏名】里 雄二

【テーマコード（参考）】

5L099

【Ｆターム（参考）】

5L099AA11

5L099AA21

(57)【要約】

【課題】介護施設において利用者に提供されるサービスの実施状況に関する記録を自動化し、職員の負担を軽減できるようにする。
【解決手段】管理サーバ２が、介護施設において利用者に提供されるサービスの実施状況を記録して管理する。特に、管理サーバが、対象人物を撮影したカメラ画像に基づいて、利用者としての対象人物を特定し、カメラ画像に基づいて、対象人物の身体の所定部位の動きを表す動き情報を取得し、連続する複数のカメラ画像に基づいて、対象人物の動作を認識し、動き情報と動作の認識結果とに基づいて、対象人物に提供されたサービスと、その実施期間とを特定し、利用者の識別情報、サービスの識別情報、およびサービスの実施期間に関する情報を含むサービス実施情報を生成する。
【選択図】図２

【特許請求の範囲】

【請求項1】

介護施設において利用者に提供されるサービスの実施状況を記録して管理する処理をプロセッサにより実行する介護情報記録装置であって、
前記プロセッサは、
対象人物を撮影したカメラ画像に基づいて、利用者としての対象人物を特定し、
前記カメラ画像に基づいて、対象人物の身体の所定部位の動きを表す動き情報を取得し、
連続する複数の前記カメラ画像に基づいて、対象人物の動作を認識し、
前記動き情報と前記動作の認識結果とに基づいて、対象人物に提供されたサービスとその実施期間とを特定し、
利用者の識別情報、サービスの識別情報、およびサービスの実施期間に関する情報を含むサービス実施情報を生成することを特徴とする介護情報記録装置。

【請求項2】

前記プロセッサは、
前記カメラ画像から検出された対象人物と予め登録された利用者との間の顔照合により、対象人物を特定することを特徴とする請求項１に記載の介護情報記録装置。

【請求項3】

前記プロセッサは、
前記カメラ画像に基づいて、対象人物の関節の位置を推定して、その推定結果としての関節の位置情報を含む前記動き情報を取得することを特徴とする請求項１に記載の介護情報記録装置。

【請求項4】

前記プロセッサは、
利用者にサービスを提供するスケジュールに関するサービス計画情報と、前記サービス実施情報とを対応付けて出力することを特徴とする請求項１に記載の介護情報記録装置。

【請求項5】

前記プロセッサは、
前記サービス実施情報に含まれる実施期間と前記サービス計画情報に含まれる計画期間とのずれの程度を表す指標をサービスごとに所定のしきい値と比較し、前記指標が前記しきい値以上であるサービスを識別可能に表示することを特徴とする請求項４に記載の介護情報記録装置。

【請求項6】

前記プロセッサは、
管理者が選択した人物およびサービスに該当する前記カメラ画像を管理者装置に表示させるためのリンク情報として、前記カメラ画像の識別情報を前記サービス実施情報に付加することを特徴とする請求項１に記載の介護情報記録装置。

【請求項7】

介護施設において利用者に提供されるサービスの実施状況を記録して管理する処理を情報処理装置に行わせる介護情報記録方法であって、
対象人物を撮影したカメラ画像に基づいて、利用者としての対象人物を特定し、
前記カメラ画像に基づいて、対象人物の身体の所定部位の動きを表す動き情報を取得し、
連続する複数の前記カメラ画像に基づいて、対象人物の動作を認識し、
前記動き情報と前記動作の認識結果とに基づいて、対象人物に提供されたサービスとその実施期間とを特定し、
利用者の識別情報、サービスの識別情報、およびサービスの実施期間に関する情報を含むサービス実施情報を生成することを特徴とする介護情報記録方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、介護施設において利用者に提供されるサービスの実施状況を記録して管理する介護情報記録装置及び介護情報記録方法に関するものである。

【背景技術】

【0002】

介護施設では、利用者に対して、機能訓練や食事などの種々のサービスが提供される。このサービスの提供は、予め作成されたスケジュールにしたがって実施されるが、必ずしもスケジュール通りに実施されるとは限らない。このため、利用者に提供されるサービスの実施状況を記録することが望まれる。

【0003】

このような介護施設におけるサービスの実施状況の記録に関連する技術として、従来、利用者を撮影したカメラ画像に対する画像解析により、利用者の動作（起床、入眠、トイレヘの移動など）を認識することで、利用者に提供されるサービスの実施状況に関する情報を収集する技術が知られている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】国際公開第２０１８／１４２４５１号

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来の技術では、画像解析により認識できる利用者の動作が、介護施設において利用者に提供されるサービスの一部に関するものである。このため、残りのサービスの実施状況に関する情報は、タブレット端末などを利用して職員の手入力により収集する。したがって、職員の負担を十分に軽減できないという問題があった。

【0006】

そこで、本発明は、介護施設において利用者に提供されるサービスの実施状況に関する記録を自動化し、職員の負担を軽減することができる介護情報記録装置及び介護情報記録方法を提供することを主な目的とする。

【課題を解決するための手段】

【0007】

本発明の介護情報記録装置は、介護施設において利用者に提供されるサービスの実施状況を記録して管理する処理をプロセッサにより実行する介護情報記録装置であって、前記プロセッサは、対象人物を撮影したカメラ画像に基づいて、利用者としての対象人物を特定し、前記カメラ画像に基づいて、対象人物の身体の所定部位の動きを表す動き情報を取得し、連続する複数の前記カメラ画像に基づいて、対象人物の動作を認識し、前記動き情報と前記動作の認識結果とに基づいて、対象人物に提供されたサービスとその実施期間とを特定し、利用者の識別情報、サービスの識別情報、およびサービスの実施期間に関する情報を含むサービス実施情報を生成する構成とする。

【0008】

また、本発明の介護情報記録方法は、介護施設において利用者に提供されるサービスの実施状況を記録して管理する処理を情報処理装置に行わせる介護情報記録方法であって、対象人物を撮影したカメラ画像に基づいて、利用者としての対象人物を特定し、前記カメラ画像に基づいて、対象人物の身体の所定部位の動きを表す動き情報を取得し、連続する複数の前記カメラ画像に基づいて、対象人物の動作を認識し、前記動き情報と前記動作の認識結果とに基づいて、対象人物に提供されたサービスとその実施期間とを特定し、利用者の識別情報、サービスの識別情報、およびサービスの実施期間に関する情報を含むサービス実施情報を生成する構成とする。

【発明の効果】

【0009】

本発明によれば、介護施設において提供される多様なサービスに関して、利用者に実際に提供されたサービスとその実施期間とを精度よく特定することができる。これにより、介護施設において利用者に提供されるサービスの実施状況に関する記録を自動化し、職員の負担を軽減することができる。

【図面の簡単な説明】

【0010】

【図1】本実施形態に係る介護サービス管理システムの全体構成図

【図2】管理サーバの概略構成を示すブロック図

【図3】管理サーバで行われる人物情報取得処理の手順を示すフロー図

【図4】管理サーバで行われる動き情報取得処理の手順を示すフロー図

【図5】管理サーバで行われる動作認識処理の概要を示す説明図

【図6】管理サーバで行われる動作認識処理の手順を示すフロー図

【図7】管理サーバで行われる統合判定処理の概要を示す説明図

【図8】管理サーバで行われる統合判定処理の手順を示すフロー図

【図9】管理サーバで管理されるサービス実施情報の内容を示す説明図

【図10】管理端末に表示されるサービス実施状況確認画面を示す説明図

【発明を実施するための形態】

【0011】

前記課題を解決するためになされた第１の発明は、介護施設において利用者に提供されるサービスの実施状況を記録して管理する処理をプロセッサにより実行する介護情報記録装置であって、前記プロセッサは、対象人物を撮影したカメラ画像に基づいて、利用者としての対象人物を特定し、前記カメラ画像に基づいて、対象人物の身体の所定部位の動きを表す動き情報を取得し、連続する複数の前記カメラ画像に基づいて、対象人物の動作を認識し、前記動き情報と前記動作の認識結果とに基づいて、対象人物に提供されたサービスとその実施期間とを特定し、利用者の識別情報、サービスの識別情報、およびサービスの実施期間に関する情報を含むサービス実施情報を生成する構成とする。

【0012】

これによると、介護施設において提供される多様なサービスに関して、利用者に実際に提供されたサービスとその実施期間とを精度よく特定することができる。これにより、介護施設において利用者に提供されるサービスの実施状況に関する記録を自動化し、職員の負担を軽減することができる。

【0013】

また、第２の発明は、前記プロセッサは、前記カメラ画像から検出された対象人物と予め登録された利用者との間の顔照合により、対象人物を特定する構成とする。

【0014】

これによると、カメラ画像から検出された対象人物を利用者として精度よく特定することができる。

【0015】

また、第３の発明は、前記プロセッサは、前記カメラ画像に基づいて、対象人物の関節の位置を推定して、その推定結果としての関節の位置情報を含む前記動き情報を取得する構成とする。

【0016】

これによると、対象人物の身体の所定部位の動きを表す動き情報を精度よく取得することができる。

【0017】

また、第４の発明は、前記プロセッサは、利用者にサービスを提供するスケジュールに関するサービス計画情報と、前記サービス実施情報とを対応付けて出力する構成とする。

【0018】

これによると、管理者が、利用者に対して計画通りにサービスが提供されているかを容易に確認することができる。

【0019】

また、第５の発明は、前記プロセッサは、前記サービス実施情報に含まれる実施期間と前記サービス計画情報に含まれる計画期間とのずれの程度を表す指標をサービスごとに所定のしきい値と比較し、前記指標が前記しきい値以上であるサービスを識別可能に表示する構成とする。

【0020】

これによると、管理者が、実施期間と計画期間とのずれが顕著であるサービスを容易に把握することができる。

【0021】

また、第６の発明は、前記プロセッサは、管理者が選択した人物およびサービスに該当する前記カメラ画像を管理者装置に表示させるためのリンク情報として、前記カメラ画像の識別情報を前記サービス実施情報に付加する構成とする。

【0022】

これによると、管理者が、サービスが利用者に実際に提供されている状況を詳細に確認することができる。この場合、実施期間に含まれるカメラ画像が動画で再生されるものとしてもよい。

【0023】

また、第７の発明は、介護施設において利用者に提供されるサービスの実施状況を記録して管理する処理を情報処理装置に行わせる介護情報記録方法であって、対象人物を撮影したカメラ画像に基づいて、利用者としての対象人物を特定し、前記カメラ画像に基づいて、対象人物の身体の所定部位の動きを表す動き情報を取得し、連続する複数の前記カメラ画像に基づいて、対象人物の動作を認識し、前記動き情報と前記動作の認識結果とに基づいて、対象人物に提供されたサービスとその実施期間とを特定し、利用者の識別情報、サービスの識別情報、およびサービスの実施期間に関する情報を含むサービス実施情報を生成する構成とする。

【0024】

これによると、第１の発明と同様に、介護施設において利用者に提供されるサービスの実施状況に関する記録を自動化し、職員の負担を軽減することができる。

【0025】

以下、本発明の実施の形態を、図面を参照しながら説明する。

【0026】

図１は、本実施形態に係る介護サービス管理システムの全体構成図である。

【0027】

介護サービス管理システム（介護情報記録システム）は、介護施設において利用者に提供されるサービスの実施状況を記録して管理するものである。介護サービス管理システムは、カメラ１と、管理サーバ２（介護情報記録装置、情報処理装置）と、管理端末３（管理者装置）と、を備えている。カメラ１、管理サーバ２、および管理端末３は、ネットワークを介して接続されている。

【0028】

カメラ１は、介護施設内の適所に設置される。カメラ１は、介護施設においてサービスを受ける利用者を撮影する。

【0029】

管理サーバ２は、利用者を撮影したカメラ画像をカメラ１から取得し、そのカメラ画像に基づいて、人物検出および動作認識などの処理を実行することで、介護施設において利用者に提供されるサービスの実施状況に関する情報を生成して管理する。管理サーバ２は、ＰＣなどで構成される。なお、管理サーバ２は、介護施設内に設置される他に、クラウドコンピュータであってもよい。

【0030】

管理端末３は、介護施設の管理者が、管理サーバ２で管理される情報を閲覧し、また、所要の情報を入力するものである。管理端末３は、ＰＣやタブレット端末などで構成される。

【0031】

なお、介護施設において利用者に提供されるサービスは、例えば、機能訓練（歩行訓練、上半身運動、全身運動など）、食事、リクレーション（カラオケ、生け花、ゲームなど）などである。

【0032】

次に、管理サーバ２の概略構成について説明する。図２は、管理サーバ２の概略構成を示すブロック図である。

【0033】

管理サーバ２は、通信部１１と、記憶部１２と、プロセッサ１３と、を備えている。

【0034】

通信部１１は、カメラ１および管理端末３との間で通信を行う。

【0035】

記憶部１２は、プロセッサ１３で実行されるプログラムなどを記憶する。また、記憶部１２は、プロセッサ１３で生成した利用者ごとの人物情報、動き情報、動作クラス情報、およびサービス実施情報を記憶する。

【0036】

プロセッサ１３は、記憶部１２に記憶されたプログラムを実行することで各種の処理を行う。本実施形態では、プロセッサ１３が、画像取得処理、人物情報取得処理、動き情報取得処理、動作認識処理、統合判定処理、および情報管理処理などを行う。

【0037】

画像取得処理では、プロセッサ１３が、通信部１１によりカメラ１から受信した各時刻のカメラ画像（フレーム）を取得する。カメラ画像には、画像ＩＤ（ファイル名）、撮影元のカメラＩＤと、撮影時刻（タイムスタンプ）などの情報が付加される。なお、タイムスタンプをファイル名に設定するようにしてもよい。

【0038】

人物情報取得処理では、プロセッサ１３が、カメラ画像から人物を検出して、その人物に関する情報を取得する。具体的には、まず、カメラ画像から人物を検出する（人物検出処理）。このとき、検出された人物に対して人物ＩＤを付与すると共に、カメラ画像に対して、人物を取り囲む矩形の人物枠（人物領域）を設定して、カメラ画像上での人物枠の位置情報（座標）を取得する。

【0039】

また、人物情報取得処理では、プロセッサ１３が、カメラ画像から人物の特徴情報を抽出して、その人物の特徴情報に基づいて、カメラ画像から検出された人物を追跡する（人物追跡処理）。具体的には、カメラ画像から検出された人物が、以前に検出された人物と同一人物である場合に、その人物に同一の人物ＩＤを付与して人物を対応付ける。

【0040】

また、人物情報取得処理では、プロセッサ１３が、カメラ画像から人物を最初に検出した際に顔照合を行って利用者としての人物を特定する（顔照合処理）。このとき、今回のカメラ画像から対象人物の顔画像を切り出して、その顔画像から対象人物の顔特徴情報を抽出する。そして、その対象人物の顔特徴情報と、予め登録された利用者の顔特徴情報とを照合して、今回のカメラ画像から検出された対象人物である利用者を特定する。

【0041】

また、人物情報取得処理では、プロセッサ１３が、人物情報を生成して出力する。人物情報には、人物ＩＤと、利用者ＩＤと、カメラ画像上での人物枠の位置情報（座標）とが含まれる。

【0042】

ここで、顔照合処理は、新規に人物追跡処理が開始された際に行われ、以降は、人物追跡処理で行われる人物照合による再照合により、顔照合の結果（利用者ＩＤ）が引き継がれる。また、人物追跡処理では、人物の全身（主に服装）の特徴情報に基づく人物照合により、同一人物であるか否かの判定が行われる。これにより、人物の顔を正面から撮影できない状況でも人物追跡を行うことができる。

【0043】

なお、介護施設において利用者がサービスを受けている最中には、利用者の近傍に介護施設の職員が付き添っている場合が多いが、この職員は、顔照合により利用者と判定されないため、処理対象から除外される。

【0044】

また、本実施形態では、顔照合により利用者となる人物を特定するが、この人物特定は顔照合に限定されない。例えば、人物が着用する名札の画像をカメラ画像から抽出して、その名札の画像から画像認識により名前などの人物特定情報を取得するものとしてもよい。また、予め利用者と対応付けた無線タグ（ＲＦＩＤタグ）等を携行させることにより、利用者の位置を特定できるようにしてもよい。

【0045】

動き情報取得処理では、プロセッサ１３が、カメラ画像から検出された人物の身体の各部位の動きを表す動き情報を生成する。このとき、人物情報取得処理で取得した人物枠の位置情報に基づいて、カメラ画像から矩形の人物枠の領域を切り出して人物画像を取得する。次に、人物画像に基づいて、人物の関節の位置を推定して、推定結果として、関節の位置情報（座標）を取得する（関節推定処理）。次に、動き情報を生成する。動き情報には、人物ＩＤと、各関節の位置情報（座標）とが含まれる。

【0046】

動作認識処理では、プロセッサ１３が、カメラ画像（フレーム）に基づいて、人物の動作を認識する。このとき、まず、連続する複数のカメラ画像（フレーム）を統合して所定時間（例えば１秒間や２秒間など）のクリップ映像を生成する（クリップ映像生成処理）。次に、動作認識用の画像認識モデル（機械学習モデル）にクリップ映像を入力して、認識結果として画像認識モデルから出力される動作クラスを取得する。

【0047】

また、動作認識処理では、プロセッサ１３が、対象とする人物に関する各時刻の動作クラス情報を生成する。この動作クラス情報には、カメラ画像上での人物枠の位置情報と、動作クラスの名称（クラスＩＤ）と、動作クラスの認識スコア（認識結果の確からしさを表す数値）とが含まれる。

【0048】

統合判定処理では、プロセッサ１３が、動き情報生成処理で取得した動き情報と、動作認識処理で取得した動作クラス情報とを組み合わせて統合的な判定を行うことで、利用者に提供されたサービスを特定する。

【0049】

このとき、まず、動き情報生成処理で取得した動き情報に基づいて、人物の身体に何らかの動きが現れている期間（動き期間）を推定する（動き期間取得処理）。次に、記憶部１２に蓄積された対象人物の動作クラス情報の中から、動き期間に含まれる各時刻の動作クラス情報を抽出する（動作クラス情報抽出処理）。次に、抽出された動作クラス情報、すなわち、動き期間に含まれる各時刻の動作クラス情報に基づいて、対象人物に提供されたサービスの種類を特定すると共に、サービスの実施期間（開始時刻および終了時刻）を特定する（サービス特定処理）。

【0050】

また、統合判定処理では、プロセッサ１３が、サービス実施情報を生成する。このサービス実施情報には、利用者ＩＤと、サービスＩＤと、サービスの実施期間（開始時刻および終了時刻）に関する情報とが含まれる。

【0051】

情報管理処理では、プロセッサ１３が、管理端末３を用いた職員の入力操作に応じて、利用者ごとのサービス計画情報を生成する。サービス計画情報は、利用者にサービスを提供するスケジュールに関するものである。また、情報管理処理では、プロセッサ１３が、人物ごとのサービス計画情報およびサービス実施情報や、それらの情報を統計処理した情報を管理者に提示する画面を、管理者が操作する管理端末３からの要求に応じて管理端末３に表示させる。また、情報管理処理では、プロセッサ１３が、人物ごとのサービス計画情報およびサービス実施情報や、それらの情報を統計処理した情報を、各種の報告書類を作成する際に利用される所定のフォーマットのデータとして出力する。

【0052】

次に、管理サーバ２で行われる人物情報取得処理について説明する。図３は、人物情報取得処理の手順を示すフロー図である。

【0053】

管理サーバ２では、カメラ１から受信したカメラ画像に基づいて、人物に関する情報を取得する処理（人物情報取得処理）が行われる。この人物情報取得処理は、図３に示すフローが、カメラ１から定期的に送信される各時刻のカメラ画像（フレーム）を受信する度に実行される。

【0054】

人物情報取得処理では、図３に示すように、まず、プロセッサ１３が、通信部１１によりカメラ１から受信した今回のカメラ画像を取得する（画像取得処理）（ＳＴ１０１）。

【0055】

次に、プロセッサ１３が、今回のカメラ画像から人物を検出する（人物検出処理）（ＳＴ１０２）。このとき、カメラ画像に矩形の人物枠を設定して、カメラ画像上での人物枠の位置情報（座標）を取得する。

【0056】

次に、プロセッサ１３が、今回のカメラ画像から人物の特徴情報を抽出して、その人物の特徴情報に基づいて、カメラ画像から検出された人物を追跡する（人物追跡処理）（ＳＴ１０３）。

【0057】

次に、プロセッサ１３が、人物検出処理により今回のカメラ画像から人物が検出されたか否かを判定する（ＳＴ１０４）。なお、今回のカメラ画像から人物が検出されない場合でも、追跡中の人物が存在する場合があるため、処理が継続される。

【0058】

ここで、今回のカメラ画像から人物が検出された場合には（ＳＴ１０４でＹｅｓ）、次に、プロセッサ１３が、今回のカメラ画像から検出された対象人物が、既に追跡中の人物か否かを判定する（ＳＴ１０５）。

【0059】

ここで、今回のカメラ画像から検出された対象人物が、既に追跡中の人物でない、すなわち、今回初めて検出されて新規に人物追跡処理が開始された人物である場合には（ＳＴ１０５でＮｏ）、プロセッサ１３が、対象人物に関して顔照合を行い、対象人物を利用者として特定する（ＳＴ１０６）。このとき、今回のカメラ画像から対象人物の顔特徴情報を抽出して、その対象人物の顔特徴情報と、予め登録された利用者の顔特徴情報とを照合して、対象人物がどの利用者であるかを特定する。

【0060】

次に、プロセッサ１３が、人物情報を生成して出力する（ＳＴ１０７）。人物情報には、人物ＩＤと、利用者ＩＤと、カメラ画像上での人物枠の位置情報（座標）とが含まれる。

【0061】

一方、今回のカメラ画像から検出された人物が既に追跡中の人物である場合には（ＳＴ１０５でＹｅｓ）、ＳＴ１０６の顔照合処理が省略される。このとき、新規に人物追跡処理が開始された際に行われた顔照合処理の結果（利用者ＩＤ）が引き継がれる。

【0062】

なお、人物情報として、人物ＩＤと、利用者ＩＤと、カメラ画像上での人物枠の位置情報（座標）を生成するものとしたが、人物画像から取得したバイタルデータ（脈拍、心拍、ストレス等）を含めることができる。また、カメラ以外のバイタルセンサーを用いて、利用者の各種ヘルスケアデータ（体温、血圧等）を取得し、利用者の人物情報として管理するようにしてもよい。

【0063】

次に、管理サーバ２で行われる動き情報取得処理について説明する。図４は、動き情報取得処理の手順を示すフロー図である。

【0064】

管理サーバ２では、カメラ画像から検出された人物の身体の各部位の動きを表す動き情報を生成する（動き情報生成処理）。この動き情報生成処理は、図４に示すフローが、各時刻のカメラ画像（フレーム）を受信して人物情報取得処理が実行される度に実行される。

【0065】

ここで、人物がサービスを受けている最中には、人物の身体に何らかの動きが現れる。したがって、人物の身体に何らかの動きが現れている期間（動き期間）を取得すると、人物がサービスを受けている期間を大まかに把握することができる。これにより、動作認識処理の認識結果に基づいてサービスの実施期間を特定する際に、処理の対象となる期間を動き期間に絞り込むことで、処理の負荷を軽減すると共に処理の精度を高めることができる。

【0066】

本実施形態では、まず、人物情報取得処理で取得した人物枠の位置情報に基づいて、カメラ画像から矩形の人物枠の領域を切り出して人物画像を取得する。次に、人物画像に基づいて、人物の関節の位置を推定して、推定結果として、各関節の位置情報（座標）を取得する（関節推定処理）。特にここでは、人物の全身を対象にして各関節の位置を推定する全身関節推定が行われる。この場合、例えば、全身で１７個程度の関節（左右の手首、肘、肩、膝、足首）や、関節以外の適当な部位（頭、目、耳など）が推定対象に設定される。

【0067】

関節推定処理は、ディープラーニングなどの機械学習により構築される画像認識モデル（機械学習モデル）を用いて行うことができる。人物画像を画像認識モデルに入力して、画像認識モデルから出力される推定結果、すなわち、各関節の位置情報（座標）を取得する。

【0068】

動き情報取得処理では、図４に示すように、まず、プロセッサ１３が、カメラ画像と、人物情報取得処理で取得した人物情報とを取得する（ＳＴ２０１）。なお、人物情報には、人物ＩＤと、利用者ＩＤと、カメラ画像上での人物枠の位置情報（座標）とが含まれる。

【0069】

次に、プロセッサ１３が、人物枠の位置情報に基づいて、カメラ画像から矩形の人物枠の領域を切り出して人物画像を取得する（ＳＴ２０２）。

【0070】

次に、プロセッサ１３が、人物画像に基づいて、人物の身体の各部位の動きを検出する（ＳＴ２０３）。このとき、人物画像に基づいて、人物の関節の位置を推定して、検出結果として、関節の位置情報（座標）を取得する（関節推定処理）。

【0071】

次に、プロセッサ１３が、動き情報を生成して出力する（ＳＴ２０４）。動き情報には、人物ＩＤと、各関節の位置情報（座標）とが含まれる。

【0072】

なお、本実施形態では、動き情報生成処理として、全身を対象にした関節推定を行って、検出結果として、全身の各関節の位置情報を取得するものとしたが、動き情報生成処理はこれに限定されない。ただし、利用者が受けるサービスの内容によっては、利用者が身体の一部しか動かさない場合もあるため、身体全体の動きではなくて、身体の一部の動きを検出できるものとするとよい。

【0073】

例えば、動き情報生成処理として、手指を対象にした関節推定を行って、検出結果として、手指の各関節の位置情報（座標）を取得するものとしてもよい。この場合、各指の３つの関節などの所定数（例えば片手で２１）の関節（各指の先端も含む）を対象にして、左右の手指の各関節の位置情報を取得するものとしてもよい。

【0074】

また、動き情報生成処理として、人物の手を検出して、その手を取り囲む矩形の枠（手領域）を設定して、検出結果として、カメラ画像上での手領域の位置情報（座標）を取得するものとしてもよい。さらに、手以外の人物の所定の部位（腕や脚）を検出して、その対象とする部位のカメラ画像上での位置情報を取得するものとしてもよい。

【0075】

次に、管理サーバ２で行われる動作認識処理について説明する。図５は、動作認識処理の概要を示す説明図である。

【0076】

管理サーバ２では、カメラ１から受信したカメラ画像（フレーム）に基づいて、人物の動作を認識する処理（動作認識処理）が行われる。

【0077】

このとき、まず、連続する複数のカメラ画像（フレーム）を統合して、所定時間（例えば１秒間や２秒間など）のクリップ映像を生成する（クリップ映像生成処理）。本実施形態では、カメラ１から定期的に送信される各時刻のカメラ画像（フレーム）を１枚ずつずらしながら統合することで、各時刻のカメラ画像を受信する度に、所定時間のクリップ映像が生成される。図５に示す例では、クリップ映像が３０枚のカメラ画像（フレーム）で構成される。ここで、フレームレートが３０ｆｐｓであれば、カメラ画像を３０枚統合することで１秒間のクリップ映像が生成され、また、カメラ画像を６０枚統合することで２秒間のクリップ映像が生成される。

【0078】

また、動作認識処理では、ディープラーニングなどの機械学習により構築される動作認識用の画像認識モデル（機械学習モデル）が用いられる。ここでは、動作認識用の画像認識モデルを用いて、利用者に提供するサービスに対応する動作クラスに分類する処理（クラス分類処理）が行われる。具体的には、クリップ映像生成処理で取得したクリップ映像が画像認識モデルに入力され、認識結果として、画像認識モデルから動作クラスが出力される。なお、動作認識用の画像認識モデルには、例えば３ＤＣＮＮ（3D Convolutional Neural Network）が採用されてもよい。

【0079】

また、動作認識処理では、対象人物に関する各時刻の動作クラス情報が生成される。この動作クラス情報には、カメラ画像上での人物枠の位置情報と、動作クラスの名称（クラスＩＤ）と、動作クラスの認識スコアとが含まれる。

【0080】

次に、管理サーバ２で行われる動作認識処理について説明する。図６は、動作認識処理の手順を示すフロー図である。

【0081】

管理サーバ２では、カメラ１から受信したカメラ画像に基づいて、対象人物の動作を認識する処理（動作認識処理）が行われる。この動作認識処理は、図６に示すフローが、カメラ１から定期的に送信される各時刻のカメラ画像（フレーム）を受信する度に実行される。

【0082】

まず、プロセッサ１３が、通信部１１によりカメラ１から受信したカメラ画像（フレーム）を取得する（画像取得処理）（ＳＴ３０１）。

【0083】

次に、プロセッサ１３が、取得した各時刻のカメラ画像が所定枚数に達したか否かを判定する（ＳＴ３０２）。なお、カメラ画像が一旦所定枚数に達すると、以降は全て、カメラ画像が所定枚数に達したものと判定される。

【0084】

ここで、取得したカメラ画像が所定枚数（例えば３０枚）に達した場合には（ＳＴ３０２でＹｅｓ）、次に、プロセッサ１３が、所定枚数のカメラ画像を統合したクリップ映像を生成する（ＳＴ３０３）。このとき、今回のカメラ画像を含む直近の所定枚数のカメラ画像が統合される。したがって、今回のクリップ映像は、前回のクリップ映像に対してカメラ画像が１枚ずれた状態となる。

【0085】

次に、プロセッサ１３が、クリップ映像を、動作認識用の画像認識モデルに入力して、画像認識モデルから出力される動作クラスを取得する（ＳＴ３０４）。この動作クラスは、利用者に提供するサービスの種類（機能訓練、食事など）を表す。

【0086】

次に、プロセッサ１３が、動作認識処理の認識結果として、動作クラス情報を出力する（ＳＴ３０５）。この動作クラス情報には、カメラ画像上での人物枠の位置情報と、動作クラスの名称（クラスＩＤ）と、動作クラスの認識スコアとが含まれる。

【0087】

次に、管理サーバ２で行われる統合判定処理の概要について説明する。図７は、統合判定処理の概要を示す説明図である。

【0088】

管理サーバ２では、動き情報生成処理で取得した動き情報と、動作認識処理で取得した動作クラス情報とを組み合わせて統合的な判定を行うことで、利用者に提供されたサービスを特定する処理（統合判定処理）が行われる。

【0089】

統合判定処理では、まず、動き情報生成処理で取得した動き情報に基づいて、人物の身体に何らかの動きが現れている期間（動き期間）を取得する（動き期間取得処理）。

【0090】

動き期間取得処理では、まず、各関節の位置情報（座標）に基づいて、各関節の変化量（例えば移動距離）を算出する。次に、各関節の変化量を所定のしきい値と比較して、各関節の変化量がしきい値以上あるか否かにより、動きがある関節を検知する。次に、動きがある関節の個数を所定のしきい値（例えば関節の総数の半分）と比較して、動きがある関節の個数がしきい値以上であるか否かを判定する。そして、動きがある関節がしきい値以上ある場合に、対象人物の身体に何らかの動きが現れているものと判定する。

【0091】

統合判定処理では、次に、記憶部１２に蓄積された対象人物の動作クラス情報の中から、動き期間に含まれる各時刻の動作クラス情報を抽出する（動作クラス情報抽出処理）。

【0092】

統合判定処理では、次に、抽出された動作クラス情報、すなわち、動き期間に含まれる各時刻の動作クラス情報に基づいて、対象人物に提供されたサービスの種類を特定すると共に、サービスの実施期間（開始時刻および終了時刻）を特定する（サービス特定処理）。

【0093】

サービス特定処理では、各時刻の動作クラス情報に含まれる動作クラスの認識スコアを所定のしきい値と比較して、認識スコアがしきい値以上となる場合に、動作クラスに対応するサービスが実施されているものと判定する。そして、動作クラスが同一で、且つ、認識スコアがしきい値以上となる判定結果が連続する範囲を、サービスの実施期間に設定する。すなわち、最初に認識スコアがしきい値以上となった時刻を開始時刻に設定し、最後に認識スコアがしきい値以上となった時刻を終了時刻に設定する。また、サービスの実施期間に含まれる各時刻の動作クラス情報で共通する動作クラスに基づいて、対象人物に提供されたサービスの種類を特定する。

【0094】

統合判定処理では、最後に、判定結果として、サービス実施情報を生成して記憶部１２に蓄積する。サービス実施情報には、利用者ＩＤと、サービスＩＤと、サービスの実施期間（開始時刻および終了時刻）に関する情報とが含まれる。なお、サービスＩＤは、利用者に提供したサービスの種類（機能訓練、食事など）を識別する情報である。

【0095】

なお、本実施形態では、カメラ画像から対象人物の関節を推定して、その関節の動きに基づいて、対象人物の身体に動きがあるか否かを判定するものとしたが、カメラ画像から対象人物の手を検出して、その手の動きに基づいて、対象人物の身体に動きがあるか否かを判定するものとしてもよい。この場合、手の検出結果に基づいてカメラ画像上に設定された矩形の手領域の変化量（例えば移動距離）を取得して、その手領域の変化量がしきい値以上あるか否かを判定するものとしてもよい。

【0096】

次に、管理サーバ２で行われる統合判定処理の手順について説明する。図８は、統合判定処理の手順を示すフロー図である。

【0097】

管理サーバ２では、今まで利用者に提供していたサービスが終了した時点（サービス終了点）であることをトリガーにして、統合判定処理（動き期間取得処理、動作クラス情報抽出処理、およびサービス特定処理）が行われる。この統合判定処理は、図８に示すフローが、各時刻のカメラ画像（フレーム）を受信して人物情報取得処理、動き情報生成処理、および動作認識処理が実行される度に実行される。

【0098】

ここで、利用者に対して新たなサービスが開始される場合、その直前に、別の場所から新たなサービスが行われる場所に人物が移動する。また、人物に今まで提供されていたサービスが終了した場合、その直後に、別のサービスが行われる場所に人物が移動する。そこで、本実施形態では、人物の移動が検知されると、現時点がサービス開始点とサービス終了点とのいずれであるかを判別し、現時点がサービス終了点である場合に、統合判定処理が開始される。

【0099】

なお、統合判定処理の開始トリガーとなる人物の移動には、カメラ１の撮影エリア内での人物の移動の他に、人物が別のエリアに移動するために、人物がカメラ１の撮影エリアから退出して、その人物がカメラ画像から消失した場合も含まれる。

【0100】

統合判定処理では、図８に示すように、まず、プロセッサ１３が、人物情報取得処理で取得した人物情報と、動き情報取得処理で取得した動き情報と、動作認識処理で取得した動作クラス情報とを取得する（ＳＴ４０１）。なお、人物情報には、人物ＩＤと、利用者ＩＤと、カメラ画像上での人物枠の位置情報（座標）とが含まれる。動き情報には、人物ＩＤと、各関節の位置情報（座標）とが含まれる。動作クラス情報には、カメラ画像上での人物枠の位置情報と、動作クラスの名称（クラスＩＤ）と、動作クラスの認識スコアとが含まれる。

【0101】

次に、プロセッサ１３が、人物枠の位置情報に基づいて、人物の移動を検知する（ＳＴ４０２）。このとき、今回のカメラ画像で検出された人物枠の位置と、前回のカメラ画像で検出された人物枠の位置とを比較して、人物枠の変化量（移動距離）が所定のしきい値以上となる場合に、人物が移動したものと判定する。

【0102】

次に、プロセッサ１３が、サービス開始点とサービス終了点とを判別する（ＳＴ４０３）。ここで、サービス開始点は、利用者に対して新たなサービスが開始された時点を表し、サービス終了点は、今まで利用者に提供していたサービスが終了した時点を表す。このとき、最初に人物の移動が検知された場合には、今回の時刻をサービス開始点に設定する。また、直近で人物の移動を検知した際にサービス開始点が設定された場合には、今回の時刻をサービス終了点に設定する。また、直近で人物の移動を検知した際にサービス終了点が設定された場合には、今回の時刻をサービス開始点に設定する。

【0103】

次に、プロセッサ１３が、今回がサービス終了点に該当するか否かを判定する（ＳＴ４０４）。

【0104】

ここで、今回がサービス終了点に該当しない場合には（ＳＴ４０４でＮｏ）、ＳＴ４０１に戻り、次の時刻の処理に進む。

【0105】

一方、今回がサービス終了点に該当する場合、すなわち、今まで利用者に提供していたサービスが終了した場合には（ＳＴ４０４でＹｅｓ）、次に、プロセッサ１３が、動き情報に基づいて、人物の身体に何らかの動きが現れている期間（動き期間）を推定する（動き期間取得処理）（ＳＴ４０５）。

【0106】

次に、プロセッサ１３が、記憶部１２に蓄積された対象人物の動作クラス情報の中から、動き期間に含まれる各時刻の動作クラス情報を抽出する（動作クラス情報抽出処理）（ＳＴ４０６）。

【0107】

次に、プロセッサ１３が、抽出された動作クラス情報に基づいて、対象人物に提供されたサービスの種類を特定すると共に、サービスの実施期間（開始時刻および終了時刻）を特定する（サービス特定処理）（ＳＴ４０７）。このとき、動作クラス情報に含まれる動作クラスの認識スコアを所定のしきい値と比較して、認識スコアがしきい値以上となる場合に、動作クラスに対応するサービスが実施されているものと判定する。

【0108】

次に、プロセッサ１３が、サービス実施情報を生成して出力する（ＳＴ４０８）。このサービス実施情報には、利用者ＩＤと、サービスＩＤと、サービスの実施期間（開始時刻および終了時刻）に関する情報とが含まれる。

【0109】

次に、管理サーバ２で管理されるサービス実施情報について説明する。図９は、サービス実施情報の内容を示す説明図である。

【0110】

管理サーバ２では、人物情報取得処理、動き情報取得処理、動作認識処理、および統合判定処理などにより、利用者に提供されるサービスの実施状況に関するサービス実施情報が利用者ごとに生成される。この利用者ごとのサービス実施情報は記憶部１２に蓄積される。サービス実施情報には、利用者ＩＤ（利用者の識別情報）と、サービスＩＤ（サービスの識別情報）と、サービスの実施期間（開始時刻および終了時刻）に関する情報と、カメラ画像のファイル名（カメラ画像の識別情報）とが含まれる。

【0111】

次に、管理端末３に表示されるサービス実施状況確認画面２１について説明する。図１０は、サービス実施状況確認画面２１を示す説明図である。

【0112】

サービス実施状況確認画面２１には、利用者に提供するサービスごとの情報表示欄２２が設けられている。情報表示欄２２には、該当するサービスの実施期間および計画期間が表示される。介護施設の管理者は、情報表示欄２２の実施期間および計画期間を目視することで、実施期間と計画期間とのずれの状況を即座に把握することができる。

【0113】

このとき、管理サーバ２では、該当する利用者のサービス計画情報およびサービス実施情報を記憶部１２から読み出して、サービス計画情報に含まれる計画期間と、サービス実施情報に含まれる実施期間とを取得して、サービス実施状況確認画面２１の表示情報を生成して、その表示情報を管理端末３に配信する。

【0114】

このように本実施形態では、サービス計画情報とサービス実施情報とが対応付けて出力されるため、管理者が、利用者に対するサービスの提供が計画通りに実施されているか否かを容易に確認することができる。

【0115】

また、サービス実施状況確認画面２１では、実施期間と計画期間とのずれが顕著であるサービスに関する情報表示欄２２が強調表示（ハイライト表示）される。図１０に示す例では、「食事」のサービスで、実施期間と計画期間とのずれが顕著であり、「食事」の情報表示欄２２が他の情報表示欄２２と異なる色で強調表示されている。これにより、管理者が、実施期間と計画期間とのずれが顕著であるサービスを容易に把握することができる。

【0116】

また、サービスごとの情報表示欄２２には、サービスごとのＩｏＵ（Intersection over Union）が表示される。ＩｏＵは、実施期間と計画期間とがどの程度重なっているかを表す指標であり、次式により求められる。
ＩｏＵ＝（実施期間と計画期間との重複する期間）／（実施期間と計画期間とを統合した期間）

【0117】

このとき、管理サーバ２では、サービス計画情報およびサービス実施情報に基づいて、サービスごとにＩｏＵを算出する。次に、サービスごとのＩｏＵを所定のしきい値と比較して、ＩｏＵがしきい値より小さい場合に、実施期間と計画期間とのずれが顕著であると判定する。次に、実施期間と計画期間とのずれが顕著であると判定されたサービスがある場合には、そのサービスの情報表示欄２２が強調表示されたサービス実施状況確認画面２１の表示情報を生成して、その表示情報を管理端末３に配信する。

【0118】

なお、本実施形態では、実施期間と計画期間とのずれが顕著であるサービスがあることを管理者に通知するため、該当するサービスの情報表示欄２２が強調表示（ハイライト表示）されるものとしたが、これに限定されない。例えば、アラート画面を表示したりアラート音声を出力したりしてもよい。

【0119】

また、サービス実施状況確認画面２１には、カメラ画像２３が表示される。管理者が、注目するサービスの情報表示欄２２を操作すると、そのサービスに対応するカメラ画像２３が表示される。これにより、管理者が、利用者に提供されるサービスの実際の状況を容易に確認することができる。

【0120】

また、サービス実施状況確認画面２１には、再生操作部２４が設けられている。管理者が、再生操作部２４を操作することで、カメラ画像２３を動画で再生させることができる。これにより、管理者が、任意の時刻のカメラ画像を閲覧することができる。

【0121】

ここで、管理サーバ２で管理されるサービス実施情報（図９参照）には、管理者が選択した人物およびサービスに該当するカメラ画像２３を管理端末３に表示させるためのリンク情報として、カメラ画像のファイル名が含まれる。

【0122】

管理サーバ２では、管理者が選択した人物およびサービスに該当するサービス実施情報を記憶部１２から読み出し、そのサービス実施情報に含まれるカメラ画像のファイル名に基づいて、対象とする利用者に対するサービスの実施状況が写るカメラ画像を記憶部１２から読み出して、そのカメラ画像を管理端末３に配信する。

【0123】

なお、カメラ画像のファイルは、サービスの実施期間に対応するものである。また、カメラ画像の識別情報として、カメラ画像のファイル名の代わりにカメラＩＤがサービス実施情報に含まれるものとしてもよい。この場合、サービス実施情報に含まれる実施期間（開始時刻および終了時刻）に基づいて、サービスの実施期間に対応するカメラ画像を抽出することができる。

【0124】

以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。

【産業上の利用可能性】

【0125】

本発明に係る介護情報記録装置及び介護情報記録方法は、介護施設において利用者に提供されるサービスの実施状況に関する記録を自動化し、職員の負担を軽減することができる効果を有し、介護施設において利用者に提供されるサービスの実施状況を記録して管理する介護情報記録装置及び介護情報記録方法などとして有用である。

【符号の説明】

【0126】

１ カメラ
２ 管理サーバ（介護情報記録装置、情報処理装置）
３ 管理端末（管理者装置）
１１ 通信部
１２ 記憶部
１３ プロセッサ
２１ サービス実施状況確認画面
２２ 情報表示欄
２３ カメラ画像
２４ 再生操作部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】