特開 2024-20821 看護師行動推定システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024020821

(43)【公開日】2024-02-15

(54)【発明の名称】看護師行動推定システム

(51)【国際特許分類】

   G06Q 10/06 20230101AFI20240207BHJP

【ＦＩ】

G06Q10/06

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2022123288

(22)【出願日】2022-08-02

(71)【出願人】

【識別番号】000002299

【氏名又は名称】清水建設株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】▲高▼瀬 大樹

(72)【発明者】

【氏名】上田 嘉之

【テーマコード（参考）】

5L049

【Ｆターム（参考）】

5L049AA06

5L049BB09

(57)【要約】

【課題】看護師の行動を手間をかけずに精度よく推定することができる看護師行動推定システムを提供する。
【解決手段】病棟内の看護師の行動を推定するシステム１０であって、前記病棟内の看護師を撮像可能な位置に設置され、看護師を含む画像を取得する画像取得手段１２と、前記看護師に装着された端末装置により受信したビーコンの受信情報と、取得した前記画像に基づいて、前記画像に含まれる前記看護師が所在する場所の情報を抽出するとともに、取得した前記画像を解析して、前記看護師の姿勢の情報と、前記看護師が保持する物品の情報をそれぞれ抽出する情報抽出手段２４と、抽出した前記場所の情報と、前記姿勢の情報と、前記物品の情報とに基づいて、前記看護師の行動を推定する推定手段２６とを備えるようにする。
【選択図】図１

【特許請求の範囲】

【請求項1】

病棟内の看護師の行動を推定するシステムであって、
前記病棟内の看護師を撮像可能な位置に設置され、看護師を含む画像を取得する画像取得手段と、
前記看護師に装着された端末装置により受信したビーコンの受信情報と、取得した前記画像に基づいて、前記画像に含まれる前記看護師が所在する場所の情報を抽出するとともに、取得した前記画像を解析して、前記看護師の姿勢の情報と、前記看護師が保持する物品の情報をそれぞれ抽出する情報抽出手段と、抽出した前記場所の情報と、前記姿勢の情報と、前記物品の情報とに基づいて、前記看護師の行動を推定する推定手段とを備えることを特徴とする看護師行動推定システム。

【請求項2】

前記推定手段は、前記姿勢の情報の時系列の情報から、前記場所の情報と前記物品の情報の組み合わせを絞り込むことによって、前記看護師の行動を推定することを特徴とする請求項１に記載の看護師行動推定システム。

【請求項3】

前記情報抽出手段は、前記ビーコンの受信情報に対応して場所の情報が判定されている画像を教師データとして学習した学習モデルを用いて、前記画像に含まれる前記看護師が所在する場所の情報を抽出する場所抽出部と、物品の情報が判定されている画像を教師データとして学習した学習モデルを用いて、前記画像に含まれる前記看護師が保持する物品の情報を抽出する物品抽出部の少なくとも一方を有することを特徴とする請求項１または２に記載の看護師行動推定システム。

【請求項4】

前記推定手段は、前記姿勢の情報の時系列の情報に対して、前記看護師の行動を示すアノテーションを付与したものを教師データとして学習した学習モデルを用いて、前記看護師の行動を推定することを特徴とする請求項１または２に記載の看護師行動推定システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、看護師行動推定システムに関するものである。

【背景技術】

【0002】

従来、病棟計画を評価するための看護師行動調査が知られている。この調査は、一般的に調査者が病棟に入り、対象の看護師を追跡しながら記録を取る非参加型観察法により行われてきた。この方法では、詳細な情報の取得が可能であるが、被験者・調査者ともに負担が大きく、また、長期間や全スタッフの調査は不可能であった。

【0003】

調査したデータ（詳細な看護行為データ）は、調査後に分析のための看護分類に再度分類する必要がある。しかし、この分類作業には、一定の手間とスキルを要していた。

【0004】

一方、看護師行動調査に関する従来の技術として、看護師の位置情報を自動的に取得するビーコンや無線ＩＣタグなどを用いた調査方法が知られている（例えば、特許文献１を参照）。しかし、この方法では、看護師が留まった場所で何を行っているかなどの判別はできない。特にスタッフステーション（以下、ＳＳということがある。）内では、ミーティングや記録作成、看護の準備作業等多様な行為が行われるため、位置情報だけから行為を推定することは難しい。

【0005】

また、カメラ画像から人物を抽出する技術や、骨格の抽出とその時系列連続画像の解析から、姿勢や動作を推定する技術が知られている。しかし、人物の骨格画像のみを解析対象とするため、看護師が立っている、座っている等の単純な行為の推定は可能であるが、看護師の行為を推定することは難しい。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０２０－６０８３３号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

看護師が常駐する病棟のＳＳは、病棟内の諸室では大きい面積を占めており、図４に示すように、ＳＳ内の場所ごとに看護師の行為がある程度限定されている。例えば、中央のテーブルで記録やミーティングを行い、作業台で混注を行う。これ以外にもＳＳ内にはカウンター・デスク・流し・手洗い・ごみ箱スペースなどがある。また、従来はパソコン用の作業スペースがあったが、最近は専らノート型パソコン（ＰＣ）をカートに乗せて使用する例が多い。

【0008】

これまでの調査実積によれば、看護師の業務分析や病棟の使われ方評価のためには、ＳＳ内での看護師の行動（上記の看護分類）を、（１）カルテ記録・書類閲覧、（２）準備・片付け、（３）スタッフ間の連絡（ミーティングと会話）、（４）物品管理、（５）家族対応のおおよそ５つに分類すればよいことがわかっている。このうち、（１）と（２）は特定の物品とのつながりが大きい。（２）はＳＳ内で行う場所がほぼ決まっている。（３）は誰かと会話している場合がほとんどである（まれに電話の可能性もある）。このように行為ごとの特性がある。

【0009】

したがって、「場所と作業の結びつき」、「物品との結びつき（聴診器、ノート型パソコン、血圧計、点滴の袋など）」、「有効な姿勢の特徴」の３点の組み合わせで、カメラ画像の解析から、看護師の行為分類を自動的に行うことが可能と考えられる。

【0010】

本発明は、上記に鑑みてなされたものであって、看護師の行動を手間をかけずに精度よく推定することができる看護師行動推定システムを提供することを目的とする。

【課題を解決するための手段】

【0011】

上記した課題を解決し、目的を達成するために、本発明に係る看護師行動推定システムは、病棟内の看護師の行動を推定するシステムであって、前記病棟内の看護師を撮像可能な位置に設置され、看護師を含む画像を取得する画像取得手段と、前記看護師に装着された端末装置により受信したビーコンの受信情報と、取得した前記画像に基づいて、前記画像に含まれる前記看護師が所在する場所の情報を抽出するとともに、取得した前記画像を解析して、前記看護師の姿勢の情報と、前記看護師が保持する物品の情報をそれぞれ抽出する情報抽出手段と、抽出した前記場所の情報と、前記姿勢の情報と、前記物品の情報とに基づいて、前記看護師の行動を推定する推定手段とを備えることを特徴とする。

【0012】

また、本発明に係る他の看護師行動推定システムは、上述した発明において、前記推定手段は、前記姿勢の情報の時系列の情報から、前記場所の情報と前記物品の情報の組み合わせを絞り込むことによって、前記看護師の行動を推定することを特徴とする。

【0013】

また、本発明に係る他の看護師行動推定システムは、上述した発明において、前記情報抽出手段は、前記ビーコンの受信情報に対応して場所の情報が判定されている画像を教師データとして学習した学習モデルを用いて、前記画像に含まれる前記看護師が所在する場所の情報を抽出する場所抽出部と、物品の情報が判定されている画像を教師データとして学習した学習モデルを用いて、前記画像に含まれる前記看護師が保持する物品の情報を抽出する物品抽出部の少なくとも一方を有することを特徴とする。

【0014】

また、本発明に係る他の看護師行動推定システムは、上述した発明において、前記推定手段は、前記姿勢の情報の時系列の情報に対して、前記看護師の行動を示すアノテーションを付与したものを教師データとして学習した学習モデルを用いて、前記看護師の行動を推定することを特徴とする。

【発明の効果】

【0015】

本発明に係る看護師行動推定システムによれば、病棟内の看護師の行動を推定するシステムであって、前記病棟内の看護師を撮像可能な位置に設置され、看護師を含む画像を取得する画像取得手段と、前記看護師に装着された端末装置により受信したビーコンの受信情報と、取得した前記画像に基づいて、前記画像に含まれる前記看護師が所在する場所の情報を抽出するとともに、取得した前記画像を解析して、前記看護師の姿勢の情報と、前記看護師が保持する物品の情報をそれぞれ抽出する情報抽出手段と、抽出した前記場所の情報と、前記姿勢の情報と、前記物品の情報とに基づいて、前記看護師の行動を推定する推定手段とを備えるので、看護師の行動を手間をかけずに精度よく推定することができるという効果を奏する。

【0016】

また、本発明に係る他の看護師行動推定システムによれば、前記推定手段は、前記姿勢の情報の時系列の情報から、前記場所の情報と前記物品の情報の組み合わせを絞り込むことによって、前記看護師の行動を推定するので、看護師の行動を迅速に推定することができるという効果を奏する。

【0017】

また、本発明に係る他の看護師行動推定システムによれば、前記情報抽出手段は、前記ビーコンの受信情報に対応して場所の情報が判定されている画像を教師データとして学習した学習モデルを用いて、前記画像に含まれる前記看護師が所在する場所の情報を抽出する場所抽出部と、物品の情報が判定されている画像を教師データとして学習した学習モデルを用いて、前記画像に含まれる前記看護師が保持する物品の情報を抽出する物品抽出部の少なくとも一方を有するので、画像から場所や物品の情報を精度よく抽出することができるという効果を奏する。

【0018】

また、本発明に係る他の看護師行動推定システムによれば、前記推定手段は、前記姿勢の情報の時系列の情報に対して、前記看護師の行動を示すアノテーションを付与したものを教師データとして学習した学習モデルを用いて、前記看護師の行動を推定するので、推定精度を向上することができるという効果を奏する。

【図面の簡単な説明】

【0019】

【図1】図１は、本発明に係る看護師行動推定システムの実施の形態を示す概略構成図である。

【図2】図２は、本実施の形態の行為分類に関するテーブル図である。

【図3】図３は、本実施の形態の出力例を示す図である。

【図4】図４は、スタッフステーションのレイアウト例を示す概略平面図である。

【発明を実施するための形態】

【0020】

以下に、本発明に係る看護師行動推定システムの実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。

【0021】

図１に示すように、本発明の実施の形態に係る看護師行動推定システムは、病棟内の看護師の行動を推定するシステムであって、複数台のカメラ１２－１、・・・・、１２－ｎ（総称する場合はカメラ１２と呼ぶ。）と、ネットワークビデオレコーダ１４（以下、ＮＶＲ１４と称す。）と、ＰｏＥ（Power over Ethernet（Ethernetは登録商標））ハブ１６と、電源バッテリ１８と、処理装置２０などを備えている。カメラ１２、ＮＶＲ１４、処理装置２０は、外部ネットワーク（例えばインターネットなど）に接続されない内部ネットワーク（ＬＡＮ）に接続されている。

【0022】

カメラ１２は、看護師を含む画像を取得する画像取得手段であり、静止画像および映像（動画）を撮影する機能を備えている。カメラ１２は、図４に示したＳＳ内（病棟内）の看護師を撮像可能な位置に設置されるものであり、例えば、ＳＳ内の壁、天井または専用の器具などに分散配置して取り付けられる。カメラ１２の設置高さは、例えば床面から２～３ｍ程度の高さである。なお、カメラ１２には、専用カメラではなく、通常の監視カメラを活用してもよい。また、低フレームレートのカメラを用いてもよい。パン、チルトおよびズームを実行する機能を備えたＰＴＺカメラでもよい。

【0023】

ＮＶＲ１４は、カメラ１２によって撮影される画像（静止画像や映像（動画））のデータを記憶する。
ＰｏＥハブ１６は、通信回線が接続可能な複数のポートを有している。各ポートには、カメラ１２とＮＶＲ１４がＬＡＮ（Local Area Network）ケーブルで接続されている。ＰｏＥハブ１６は、Ethernet通信で利用するＬＡＮケーブルを通じて電力を供給する。ＰｏＥハブ１６にカメラ１２を接続することで、ＡＣアダプタ等の外部電力が不要になり、データ通信を行うＬＡＮケーブルのみで電力供給ができる。このため、天井等の電力供給が困難な場所でもカメラ１２を設置できる。
電源バッテリ１８は、ＮＶＲ１４、ＰｏＥハブ１６、処理装置２０などに電力を供給するものである。

【0024】

処理装置２０は、画像解析手段２２と、情報抽出手段２４と、推定手段２６と、出力手段２８を備えており、図示しないインターフェースを介して、ＮＶＲ１４から画像のデータを読み込み可能である。

【0025】

画像解析手段２２は、ＮＶＲ１４から読み込まれたデータの画像を解析するものである。この画像解析には周知の画像処理方法を適用することが可能である。情報抽出手段２４は、画像解析を利用して、画像から所定の情報を抽出するものであり、場所抽出部２４Ａと、姿勢抽出部２４Ｂと、物品抽出部２４Ｃとを有する。

【0026】

場所抽出部２４Ａは、画像に含まれる看護師が所在するＳＳ内の特定の場所の情報を抽出するものである。これには、公知のビーコンによる位置取得技術と画像解析技術を併用する。具体的には、ＳＳ内の複数箇所にビーコン送信機を設置するとともに、看護師にビーコン受信機（端末装置）を装着する。各所のビーコン送信機から送信されるビーコンの電波は、看護師のビーコン受信機により受信され、ビーコンの受信情報（ビーコンの識別子と電波強度）として処理装置２０に送られる。識別子は、看護師の情報、ビーコン送信機の設置場所の情報と関連付けられている。場所抽出部２４Ａは、ビーコンの受信情報を参照し、ビーコン受信機の位置を推定することで、看護師が所在する位置を取得することができる。これにより、特定の場所を抽出することが可能である。本実施の形態では、場所抽出の精度を高めるため、上記のビーコンによる位置取得技術に加えて、画像解析を用いた情報抽出技術を適用する。画像からＳＳ内の特定の場所の情報を抽出するには、場所の判別が重要であるが、この判別には、事前に画像データベース等を作成し、それに従った学習を行っておくことが好ましい。この場合、ビーコンの受信情報に対応して場所の情報が判定されている画像を教師データとして学習した学習モデルを用いて、画像に含まれる看護師が所在する場所の情報を抽出してもよい。このようにすれば、画像から場所の情報を精度よく抽出することができる。

【0027】

姿勢抽出部２４Ｂは、画像に含まれる看護師の姿勢の情報を抽出するものである。この姿勢抽出には、例えばGoogle社が開発したPoseNetといったソフトウェアで一般的に利用されている技術を用いることができる。PoseNetでは、画像や映像（動画）の中から人間の身体の主要な関節の位置を推定することにより、骨格を抽出して、関節等をポイントデータ（姿勢の情報）として取得できる。取得したポイントデータの特徴と看護師個人とを対応付けることによって看護師を特定し、区別する機能を有してもよい。

【0028】

物品抽出部２４Ｃは、画像に含まれる看護師が保持する物品の情報を抽出するものである。画像から物品の情報を抽出するには、物品の判別が重要であるが、この判別には、事前に画像データベース等を作成し、それに従った学習を行っておくことが好ましい。この場合、物品抽出部２４Ｃが、物品の情報が判定されている画像を教師データとして学習した学習モデルを用いて、画像に含まれる看護師が保持する物品の情報を抽出してもよい。このようにすれば、画像から物品の情報を精度よく抽出することができる。

【0029】

推定手段２６は、場所抽出部２４Ａで抽出した場所の情報と、姿勢抽出部２４Ｂによって得られる看護師の身体のポイントデータ（姿勢の情報）と、物品抽出部２４Ｃで抽出した物品の情報の組み合わせから、看護師の行為（行動）を推定するものである。具体的には、この推定手段２６は、ポイントデータの時系列の情報から、場所の情報と物品の情報の組み合わせで絞り込まれた行為分類を推定する。このようにすれば、看護師の行為分類を迅速に推定することができる。

【0030】

この行為分類の推定は、例えば以下の手順により所定の時間間隔で行うことができる。
まず、ステップ１において、画像や映像（動画）から得られる場所ごとに、行われる行為分類を絞り込む。
次のステップ２において、保持している物品（使用器具）の有無と、種類の特定から行われる行為分類を絞り込む。
次のステップ３において、相対する人物（相手）の有無、身体の動きの有無、上半身の姿勢、腕の動きの有無等の連続状況により、行為分類を推定する。

【0031】

行為分類の推定には、事前に人の手によるアノテーション作業を行い、学習用のデータベースを作成しておくことが好ましい。図２のテーブルは、図４のＳＳ内をＳＳ１とＳＳ２の左右二つの区域に分けて、各区域における行為分類と、姿勢の特徴と、場所の特徴とを対応付けたアノテーションの例である。このようなテーブルを事前にデータベースなどに登録しておき、推定手段２６がテーブルを参照することで行為分類を推定してもよい。

【0032】

例えば、場所抽出部２４Ａで抽出した場所の特徴が「手洗い」または「流し」、物品抽出部２４Ｃで抽出した物品（使用器具）が「なし」、ポイントデータの時系列の情報から得られる姿勢の特徴が「前かがみ」の場合には、このテーブルを参照すると、看護師の行動は「手洗い」であり、行為分類として「（２）準備・片付け」を推定することができる。

【0033】

なお、推定手段２６が、ポイントデータの時系列の情報に対して、看護師の行為分類を示すアノテーションを付与したものを教師データとして学習した学習モデルを用いて、看護師の行為分類を推定してもよい。このようにすれば、推定精度を向上することができる。また、学習モデルは他の病院調査にも利用が可能であり、調査を実施するたびに学習が強化されるため、より精度の高い推定機能を期待できる。

【0034】

出力手段２８は、推定手段２６で経時的に推定した結果を出力するものであり、例えばディスプレイやプリンタなどにより構成される。出力例を図３に示す。この図では、複数人の看護師（Ａさん～Ｆさん）の１日の行動を「準備・片付け」、「コミュニケーション（スタッフ間の連絡）」、「記録・閲覧（カルテ記録・書類閲覧）」の３つの作業行為に分類した場合のタイムテーブルを示している。このようなテーブルにより、看護師の作業行為を把握することができる。推定結果は、看護師の業務分析や病棟の使われ方評価に利用可能である。

【0035】

このように、本実施の形態によれば、看護師の作業行為（行動）を手間をかけずに精度よく推定することができる。また、人手による追跡調査によらないので、調査の省力化につながる。特に、これまで難しかった、日勤・夜勤を通した長期間の調査、多人数を対象とした調査が可能となる。また、本実施の形態では、看護行為分類を事前に決めて調査・解析を行うため、調査後の分類作業等が不要となる。

【0036】

なお、本実施の形態を、ビーコンによる看護師の位置情報調査と組み合わせて使用してもよい。ビーコンで取得した看護師の位置情報を記録装置に記録することにより、病棟内や病院内の看護師の行動記録が可能となる。

【0037】

以上説明したように、本発明に係る看護師行動推定システムによれば、病棟内の看護師の行動を推定するシステムであって、前記病棟内の看護師を撮像可能な位置に設置され、看護師を含む画像を取得する画像取得手段と、前記看護師に装着された端末装置により受信したビーコンの受信情報と、取得した前記画像に基づいて、前記画像に含まれる前記看護師が所在する場所の情報を抽出するとともに、取得した前記画像を解析して、前記看護師の姿勢の情報と、前記看護師が保持する物品の情報をそれぞれ抽出する情報抽出手段と、抽出した前記場所の情報と、前記姿勢の情報と、前記物品の情報とに基づいて、前記看護師の行動を推定する推定手段とを備えるので、看護師の行動を手間をかけずに精度よく推定することができる。

【0038】

また、本発明に係る他の看護師行動推定システムによれば、前記推定手段は、前記姿勢の情報の時系列の情報から、前記場所の情報と前記物品の情報の組み合わせを絞り込むことによって、前記看護師の行動を推定するので、看護師の行動を迅速に推定することができる。

【0039】

また、本発明に係る他の看護師行動推定システムによれば、前記情報抽出手段は、前記ビーコンの受信情報に対応して場所の情報が判定されている画像を教師データとして学習した学習モデルを用いて、前記画像に含まれる前記看護師が所在する場所の情報を抽出する場所抽出部と、物品の情報が判定されている画像を教師データとして学習した学習モデルを用いて、前記画像に含まれる前記看護師が保持する物品の情報を抽出する物品抽出部の少なくとも一方を有するので、画像から場所や物品の情報を精度よく抽出することができる。

【0040】

また、本発明に係る他の看護師行動推定システムによれば、前記推定手段は、前記姿勢の情報の時系列の情報に対して、前記看護師の行動を示すアノテーションを付与したものを教師データとして学習した学習モデルを用いて、前記看護師の行動を推定するので、推定精度を向上することができる。

【産業上の利用可能性】

【0041】

以上のように、本発明に係る看護師行動推定システムは、病棟計画を評価するための看護師行動調査に有用であり、特に、看護師の行動を手間をかけずに精度よく推定するのに適している。

【符号の説明】

【0042】

１０ 看護師行動推定システム
１２ カメラ（画像取得手段）
１４ ＮＶＲ
１６ ＰｏＥハブ
１８ 電源バッテリ
２０ 処理装置
２２ 画像解析手段
２４ 情報抽出手段
２６ 推定手段
２８ 出力手段

【図1】

【図2】

【図3】

【図4】