特表 2024-546011 医療施設におけるエンティティのモニタリング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-12-17

(54)【発明の名称】医療施設におけるエンティティのモニタリング

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241210BHJP

   G06V 10/82 20220101ALI20241210BHJP

   G06T 7/60 20170101ALI20241210BHJP

   G16H 40/20 20180101ALN20241210BHJP

【ＦＩ】

G06T7/00 660Z

G06V10/82

G06T7/60 180A

G06T7/00 350C

G16H40/20

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024527293

(86)(22)【出願日】2022-11-09

(85)【翻訳文提出日】2024-05-09

(86)【国際出願番号】 EP2022081211

(87)【国際公開番号】W WO2023088740

(87)【国際公開日】2023-05-25

(31)【優先権主張番号】21208378.6

(32)【優先日】2021-11-16

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＱＲコード

(71)【出願人】

【識別番号】590000248

【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ

【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．

【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ

(74)【代理人】

【識別番号】100122769

【弁理士】

【氏名又は名称】笛田 秀仙

(74)【代理人】

【識別番号】100163809

【弁理士】

【氏名又は名称】五十嵐 貴裕

(74)【代理人】

【識別番号】100145654

【弁理士】

【氏名又は名称】矢ヶ部 喜行

(72)【発明者】

【氏名】ブレッシュ エリック

(72)【発明者】

【氏名】ボウツ マーク ヤコブス ロザリー ヨセフ

(72)【発明者】

【氏名】ズオ フェイ

(72)【発明者】

【氏名】ファン デル ハイデ エステル マルヤン

【テーマコード（参考）】

5L096

5L099

【Ｆターム（参考）】

5L096AA06

5L096BA06

5L096CA02

5L096FA10

5L096FA12

5L096FA66

5L096FA67

5L096FA69

5L096FA73

5L096HA11

5L096JA11

5L096KA04

5L099AA21

(57)【要約】

医療施設における第１のエンティティをモニタリングする際に使用するためのコンピュータ実装方法は、ｉ）医療施設の画像を取得するステップ、並びにｉｉ）機械学習プロセスを使用して、画像における第１のエンティティに第１の関節モデルをフィッティングさせるステップであって、第１の関節モデルは、関節に対応するキーポイントと、前記キーポイント間のリンクを示す関連性場とを有する、ステップを有する。前記方法は、ｉｉｉ）画像における第１の関節モデルのフィッティングしたキーポイントの相対位置から、医療施設における第１のエンティティの位置又は姿勢を決定するステップをさら有するコンピュータ実装方法。

【特許請求の範囲】

【請求項1】

医療施設における第１のエンティティをモニタリングする際に使用するためのコンピュータ実装方法であって、前記方法は、
前記医療施設の画像を取得するステップ、
機械学習プロセスを使用して、前記画像における前記第１のエンティティに第１の関節モデルをフィッティングさせるステップであって、前記第１の関節モデルは、関節に対応するキーポイントと、前記キーポイント間のリンクを示す関連性場とを有する、ステップ、及び
前記画像における前記第１の関節モデルのフィッティングしたキーポイントの相対位置から、前記医療施設における前記第１のエンティティの位置又は姿勢を決定するステップ
を有する、コンピュータ実装方法。

【請求項2】

前記キーポイントは、位置座標に対応し、前記関連性場は、関連する前記キーポイントの座標を連結するベクトルに対応する、請求項１に記載の方法。

【請求項3】

前記第１の関節モデルは、
座標のタプルであって、前記座標のタプルにおける各座標は、キーポイントに対応している、座標のタプル、及び
前記座標のタプルにおける座標の異なる対の間のベクトルのタプルであって、各ベクトルは、関連性場に対応している、ベクトルのタプル
として表される、請求項１又は２に記載の方法。

【請求項4】

前記機械学習プロセスは、ニューラルネットワークの使用を有する、請求項１乃至３の何れか一項に記載の方法。

【請求項5】

前記画像は、ビデオのフレームであり、
前記方法は、
前記ビデオのフレームのシーケンスに対して、ステップｉ）、ｉｉ）及びｉｉｉ）を繰り返すステップ、並びに
前記フレームのシーケンスにわたって、前記第１のエンティティの姿勢の変化又は位置の変化を決定するステップ
をさらに有する、請求項１乃至４の何れか一項に記載の方法。

【請求項6】

前記位置又は姿勢は、前記第１のエンティティに対して事象が発生したかどうかを決定するために使用される、請求項１乃至５の何れか一項に記載の方法。

【請求項7】

前記第１のエンティティは、人であり、前記事象は、
前記人がベッドを出ている、
前記人が発作を起こしている、或いは
前記人が所定の時間しきい値よりも長い間１つの位置に留まっている、
ことである、又は
前記第１のエンティティは、医療機器であり、前記事象は、
前記医療機器が第１の場所から第２の場所に移動している、
前記医療機器が患者に取り付けられている、或いは
前記医療機器が患者に医療処置を行うために使用されている、
ことである、請求項６に記載の方法。

【請求項8】

前記機械学習プロセスを使用して、前記画像における第２のエンティティに第２の関節モデルをフィッティングさせるステップであって、前記第２の関節モデルは、関節に対応するキーポイントと、前記キーポイント間のリンクを示す関連性場とを有する、ステップ、及び
前記第１の関節モデルのフィッティングしたキーポイントと、前記第２の関節モデルのフィッティングしたキーポイントとの相対位置から、前記画像における前記第１のエンティティと前記第２のエンティティとの間の相互作用を決定するステップ
をさらに有する、請求項１乃至７の何れか一項に記載の方法。

【請求項9】

前記第１の関節モデルのフィッティングしたキーポイント、及び前記第２の関節モデルのフィッティングしたキーポイントに関連する深度情報を決定するステップをさらに有し、前記画像における前記第１のエンティティと前記第２のエンティティとの間の相互作用を決定するステップは、さらに、前記深度情報に基づいている、請求項８に記載の方法。

【請求項10】

前記第１のエンティティは臨床医であり、前記第２のエンティティは患者であり、前記第１の相互作用は、
前記臨床医と前記患者との間の接触、又は
前記臨床医が患者に行っている医療処置
である、請求項８又は９に記載の方法。

【請求項11】

機械学習プロセスを使用して、前記画像における第１のエンティティに第１の関節モデルをフィッティングさせるステップは、
第１のディープニューラルネットワークを使用して、前記第１の関節モデルの前記キーポイントに対応する、前記画像における位置の第１の組を決定するステップ、並びに
前記画像における前記第１のエンティティに前記第１の関節モデルをフィッティングさせるために、前記第１の関節モデルの前記関連性場及び前記キーポイントに対応する、前記画像における前記位置を入力として取得する第１のグラフフィッティングプロセスを使用するステップ
を有する、請求項１乃至１０の何れか一項に記載の方法。

【請求項12】

前記第１のディープニューラルネットワークを使用して、前記第２の関節モデルの前記キーポイントに対応する、前記画像における位置の第２の組を決定するステップ、並びに
前記画像における前記第２のエンティティに前記第２の関節モデルをフィッティングさせるために、前記第２の関節モデルの前記関連性場及び前記キーポイントに対応する、前記画像における前記位置を入力として取得する第２のグラフフィッティングプロセスを使用するステップ
をさらに有する、請求項８、９又は１０を引用する請求項１１に記載の方法。

【請求項13】

第２のディープニューラルネットワークを使用して、前記第２の関節モデルの前記キーポイントに対応する、前記画像における位置の第２の組を決定するステップ、並びに
前記画像における前記第２のエンティティに前記第２の関節モデルをフィッティングさせるために、前記第２の関節モデルの前記関連性場及び前記キーポイントに対応する、前記画像における前記位置を入力として取得する第２のグラフフィッティングプロセスを使用するステップ
をさらに有する、請求項８、９又は１０を引用する請求項１１に記載の方法。

【請求項14】

前記第１のエンティティの位置又は姿勢は、臨床ワークフローにある項目が行われたかどうかを決定する、及び前記決定の結果を用いて前記ワークフローを更新するために使用される請求項１乃至１３の何れか一項に記載の方法。

【請求項15】

前記方法は、臨床ワークフローにある項目によってトリガされ、前記第１のエンティティの前記位置又は姿勢は、前記項目が行われたかどうかを決定する、及び前記決定の結果を用いて前記ワークフローを更新するために使用される、請求項１乃至１４の何れか一項に記載の方法。

【請求項16】

その中に具現化されるコンピュータ可読コードを持つコンピュータ可読媒体を有するコンピュータプログラム製品であって、前記コンピュータ可読コードは、適切なコンピュータ又はプロセッサによる命令実行時に、前記コンピュータ又はプロセッサに、請求項１乃至１５の何れか一項に記載の方法を行わせるように構成される、コンピュータプログラム製品。

【請求項17】

医療施設における第１のエンティティをモニタリングする際に使用するための装置であって、前記装置は、
命令の組を表す命令データを有するメモリ、及び
前記メモリと通信し、前記命令の組を実行するように構成されるプロセッサ
を有し、前記命令の組は、前記プロセッサによって実行されると、前記プロセッサに、
前記医療施設の画像を取得する、
機械学習プロセスを使用して、前記画像における前記第１のエンティティに第１の関節モデルをフィッティングさせ、ここで、前記第１の関節モデルは、関節に対応するキーポイントと、前記キーポイント間のリンクを示す関連性場とを有し、及び
前記画像における前記第１の関節モデルのフィッティングしたキーポイントの相対位置から、前記医療施設における前記第１のエンティティの位置又は姿勢を決定する、
ことを行わせる装置。

【請求項18】

前記画像を取得するための画像取得ユニット、及び／又は
前記画像における前記第１のエンティティの前記フィッティングしたキーポイントに対する画像深度情報を取得するためのＴｏＦカメラ
をさらに有する、請求項１７に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、医療施設におけるエンティティ（例えば、人、臨床医、機器）をモニタリングすることに関する。

【背景技術】

【0002】

ワークフロー（別名、臨床ワークフローとして知られている）は、医療施設（病院、診療所など）で使用され、患者ごとに適切な処置が、標準化された方法で行われるようにする。これは、医療施設における最良の方法（ベストプラクティス）及び臨床ガイドラインの遵守を保証するのに役立つ。ワークフローはしばしば、患者に対して行われるべき特定の組のタスク又はチェック（ワークフローにある項目）を指定している。ワークフローは、患者の治療の全てのステージで使用されることができ、例えば、患者を医療施設に入院させることに関連するワークフロー、患者のトリアージに関連する別のワークフロー、及び患者のための識別される特定の問題又は治療経路に依存して使用される後続するワークフローがある。

【0003】

ワークフロー管理（例えば、ワークフローにおける行為がいつ行われたかを記録すること）は、医療施設において有意の、さらに重要なオーバーヘッドである。従って、臨床ワークフローの自動的な分析、最適化及び制御は、盛んに研究が行われる現在進行中の分野である。

【発明の概要】

【発明が解決しようとする課題】

【0004】

ワークフロー管理の他に、医療施設には、例えば、機器及び／又は患者のトラッキングを自動化することが望ましいという別のタスクがある。

【0005】

本開示は、これらの問題及び他の問題に対処することを目的とする。

【課題を解決するための手段】

【0006】

様々なプロジェクトは、ワークフロー管理の様々な局面を自動化することを目的としている。この分野におけるこれまでの研究は、例えば、救急科において、リソースの配分を改善する、及び供給のボトルネックを回避することを目的として、赤外線センサのタグを使用して、病院において患者、医療スタッフ及び機器をトラッキングしてきた。しかしながら、そのようなデータはしばしば、時間的及び空間的に比較的粗い分解能であり、その後の臨床プロセスの意味論的理解は決して容易ではない。

【0007】

別のプロジェクトは、院内ビデオ（赤外線及び／又は深度）データの使用を提案し、このデータは、より豊富な情報を提供する、つまり、例えば、医療介護提供者及び患者のような複数の人々の存在、位置及び活動、並びに医療機器の使用を空間的及び時間的に極めて詳細に取り込むことを可能にする。部屋の装備及びデバイスは、画像内の人々に関する情報と組み合わせて、その状況の全体像を与えることができる。ビデオモニタは、例えば、注入ポンプを交換している看護師、モニターを操作している看護師、しばらくの間椅子に座っている患者などの事象を直接取り込んでいる。しかしながら、重要な課題は、コンピュータアルゴリズムを用いて、そのようなビデオ分析を自動化することである。

【0008】

特に、臨床環境はしばしば、雑然として、非常に複雑な場面(scene)であり、この場面におけるオブジェクトの検出及びトラッキングのための従来のよく知られた画像処理技術は、苦労をするか又は完全に失敗する傾向がある。

【0009】

人工知能（ＡＩ）技術、及び特に大規模ニューラルネットワークの深層学習（ＤＬ）方法は、リアルタイムでのビデオ分析の機会を提供する。例えば、J. Redmon, S. Divvala, R. Girshick and A. Farhadiによる論文("You Only Look Once: Unified, Real-Time Object Detection," 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016, pp. 779-788, doi: 10.1109/CVPR.2016.91)に記載されるYORO(You Only Look Once)アルゴリズムは、ビデオストリームにおけるオブジェクトのリアルタイムの識別及びトラッキングを可能にする。YOLOは、所望するオブジェクトの位置を識別するバウンディング(境界)ボックス(bounding box)を生成するが、YOLOのみを用いてビデオ画像からさらなる意味論的意味を推論することは困難であるという欠点を持つ。

【0010】

別のディープニューラルネットワークソリューション、すなわち”OpenPose”アルゴリズム(Hidalgo他著、” Single-Network Whole-Body Pose Estimation”, 2019)は、画像及びビデオデータにおいて人間を検出することが可能である。OpenPoseは、画像において人の頭部、肩、股関節、肘の位置（使用される精密モデルによって異なる）を含むキーポイントの位置を含むので、YOLOよりも多くの情報を提供する。

【0011】

例えば、OpenPoseのようなアルゴリズムが、医療施設において、ビデオ画像から意味情報を抽出するために有利に適用され、病院で起きている事象をより深く理解することを可能にすることが、本願の発明者によって実現されている。以下により詳細に説明されるように、そのような意味情報を使用して、臨床ワークフローを信頼できる及び自動化される方法で更新することができる。

【0012】

従って、本明細書の第１の態様によれば、医療施設における第１のエンティティをモニタリングする際に使用するための方法を提供し、この方法は、
ｉ）医療施設の画像を取得するステップ、
ｉｉ）機械学習プロセスを使用して、前記画像における第１のエンティティに第１の関節モデルをフィッティングさせるステップであって、前記第１の関節モデルは、関節に対応するキーポイントと、これらキーポイント間のリンクを示す関連性場(affinity fields)とを有する、ステップ、及び
ｉｉｉ）前記画像における第１の関節モデルのフィッティングしたキーポイントの相対位置から、前記医療施設における第１のエンティティの位置又は姿勢を決定するステップ
を有する。

【0013】

幾つかの実施形態において、前記キーポイントは、位置座標に対応し、前記関連性場は、関連するキーポイントの座標を連結するベクトルに対応する。

【0014】

幾つかの実施形態において、前記第１の関節モデルは、座標のタプル(tuple)であって、この座標のタプルにおける各座標はキーポイントに対応している、座標のタプル、及び座標のタプルにおける座標の異なる対の間のベクトルのタプルであって、各ベクトルは関連性場に対応している、ベクトルのタプルとして表される。

【0015】

幾つかの実施形態において、機械学習プロセスは、ニューラルネットワーク（すなわち、人工ニューラルネットワーク）の使用を有する。

【0016】

第２の態様によれば、その中に具現化されるコンピュータ可読コードを持つコンピュータ可読媒体を有するコンピュータプログラム製品であって、前記コンピュータ可読コードは、適切なコンピュータ又はプロセッサによる命令実行時に、前記コンピュータ又はプロセッサに、第１の態様の方法を行わせるように構成される、コンピュータプログラム製品が存在する。

【0017】

第３の態様によれば、医療施設における第１のエンティティをモニタリングする際に使用するための装置が存在する。この装置は、命令の組を表す命令データを有するメモリと、前記メモリと通信し、前記命令の組を実行するように構成されるプロセッサとを有する。前記命令の組は、プロセッサによって実行されると、このプロセッサに、
ｉ）医療施設の画像を取得する、
ｉｉ）機械学習プロセスを使用して、画像における第１のエンティティに第１の関節モデルをフィッティングさせ、ここで、第１の関節モデルは、関節に対応するキーポイントと、これらキーポイント間のリンクを示す関連性場とを有する、及び
ｉｉｉ）前記画像における第１の関節モデルのフィッティングしたキーポイントの相対位置から、前記医療施設における第１のエンティティの位置又は姿勢を決定する、
ことを行わせる。

【0018】

従って、本明細書の実施形態において、病院におけるエンティティは、キーポイント及び関連性場を有する関節モデルを使用して、関節方式でモデル化される。関節モデルの柔軟性は、医療施設における複雑で、しばしば雑然とした場面によく適していることが認識されている。さらに、多くの医療機器（人工呼吸器など）が、関節モデルを使用して有利にフィッティングされることが認識されている。フィッティングしたキーポイントと関連性場との間の相対位置は、エンティティの位置及び／又は姿勢がより良好に決定されることを可能にする。これは、例えば、病院におけるワークフローの自動化のために、ワークフローにリンクされる病院のビデオ画像の意味論的理解を提供するために、様々なシナリオで使用される。

【0019】

これらの態様及び他の態様は、以下に記載される実施形態から明らかであり、それらを参照して説明されるであろう。

【0020】

【図面の簡単な説明】

【0021】

例示的な実施形態が、単なる例として、以下の図面を参照して説明される。

【図1】図１は、本明細書の幾つかの実施形態による医療施設をモニタリングするための例示的な装置である。

【図2】図２は、本明細書の幾つかの実施形態による医療施設をモニタリングするための例示的な方法である。

【図3a】図３ａは、ベッドの例示的な関節モデルを示す。

【図3b】図３ｂは、人工呼吸器の例示的な関節モデルを示す。

【図3c】図３ｃは、人の関節モデルを使用して発作を検出する例を示す。

【図4a】図４ａは、画像における患者及び画像におけるモニターにフィッティングした２つの関節モデルを重ねた例示的な画像（線画として表される写真）を示す。

【図4b】図４ｂは、図４ａに示される患者のフィッティングした関節モデルと、モニターのフィッティングした関節モデルとの間の相互作用を示す。

【図5】図５は、第１の関節モデルがベッドにフィッティングされ、第２の関節モデルがモニターにフィッティングされる、ベッド及びモニターの例示的な画像（線画として表される写真）を示す。

【図6】図６は、２つの患者ベッドが並べられ、各々の患者ベッドは、患者が夫々の臨床医と相互作用している例示的な画像（線画として表される写真）を示す。

【図7】図７は、本明細書の幾つかの実施形態による方法を示す。

【発明を実施するための形態】

【0022】

上述したように、本明細書に記載される実施形態の目的は、医療環境（病院、診療所、医師の診察室、歯科医院等）において、ビデオストリームの意味的理解の改善を提供することであるが、特に、非排他的ではないが、自動化されるワークフロー分析に使用するためである。

【0023】

ここで図１を参照すると、幾つかの実施形態において、本明細書の幾つかの実施形態による、医療施設における第１のエンティティをモニタリングする際に使用するための装置１００がある。一般に、この装置は、例えば、ラップトップ、デスクトップコンピュータ又は他のコンピューターデバイスのようなコンピュータ装置又はシステムの一部を形成する。幾つかの実施形態において、装置１００は、分散コンピューティング構成又はクラウドの一部を形成してもよい。

【0024】

前記装置は、命令の組１０６を表す命令データを有するメモリ１０４、及びメモリと通信し、この命令の組を実行するように構成されるプロセッサ１０２（例えば、処理回路又は論理回路）を有する。一般に、命令の組は、プロセッサによって実行されると、前記プロセッサに以下に説明されるような方法２００の実施形態の何れかを実行させる。

【0025】

装置１００の実施形態は、医療施設における第１のエンティティをモニタリングする際に使用するための装置とすることができる。より具体的には、前記命令の組は、プロセッサによって実行されると、このプロセッサに、ｉ）医療施設の画像を取得する、ｉｉ）機械学習プロセスを使用して、前記画像における第１のエンティティに第１の関節モデルをフィッティングさせ、ここで、第１の関節モデルは、関節に対応するキーポイントと、これらキーポイント間のリンクを示す関連性場とを有する、及びｉｉｉ）前記画像における第１の関節モデルのフィッティングしたキーポイントの相対位置から、医療施設における第１のエンティティの位置又は姿勢を決定する、ことを行わせる。

【0026】

プロセッサ１０２は、本明細書に説明される方法で装置１００を制御するように構成又はプログラムされる１つ以上のプロセッサ、処理ユニット、マルチコアプロセッサ又はモジュールを有することができる。特定の実現形態において、プロセッサ１０２は、各々が本明細書に説明される方法の個々の又は複数のステップを行うように構成される又は行うための複数のソフトウェア及び／又はハードウェアモジュールを有することができる。プロセッサ１０２は、本明細書に説明される方法で装置１００を制御するように構成又はプログラムされる１つ以上のプロセッサ、処理ユニット、マルチコアプロセッサ及び／又はモジュールを有することができる。幾つか実施形態において、例えば、プロセッサ１０２は、分散処理のために構成される複数の（例えば、同時に使用される）プロセッサ、処理ユニット、マルチコアプロセッサ及び／又はモジュールを有してもよい。そのようなプロセッサ、処理ユニット、マルチコアプロセッサ及び／又はモジュールが、異なる位置に配され、本明細書に説明される方法の異なるステップ及び／又は単一ステップの異なる部分を行ってよいことは、当業者によって理解されるであろう。

【0027】

メモリ１０４は、本明細書に説明される方法を行うためにプロセッサ１０２によって実行されるプログラムコードを記憶するように構成される。代替的に又は追加的に、１つ以上のメモリ１０４は、装置１００の外部にあってもよい（すなわち、この装置とは別個である又は装置から離れていてもよい）。例えば、１つ以上のメモリ１０４は、別の装置の一部とすることができる。メモリ１０４は、画像、第１の関節モデル、第１のエンティティの決定された位置若しくは姿勢、及び／又は装置１００のプロセッサ１０２によって、或いは装置１００の外部にある任意のインターフェース、メモリ若しくはデバイスから、受信される、計算される又は決定される他の任意の情報を記憶するために使用される。プロセッサ１０２は、前記画像、前記第１の関節モデル、前記第１のエンティティの決定された位置又は姿勢を記憶するようメモリ１０４を制御するように構成される。

【0028】

幾つかの実施形態において、メモリ１０４は、複数のサブメモリを有することができ、各々のサブメモリは、命令データを記憶することが可能である。例えば、少なくとも１つのサブメモリは、前記命令の組の少なくとも１つの命令を表す命令データを記憶することができるのに対し、少なくとも１つの他のサブメモリは、前記命令の組の少なくとも１つの他の命令を表す命令データを記憶することができる。

【0029】

図１は、本開示のこの態様を例示するのに必要とされる構成要素のみを示し、実際の実施形態において、装置１００は、示される構成要素に対し追加の構成要素を有することができることが理解されよう。例えば、前記装置は、医療施設における画像を取得するために用いられる画像取得ユニットを有しもよい。画像取得ユニットは、画像又はビデオを撮影することができる任意のオーディオビジュアル機器、例えば、カメラ、赤外線カメラなどを含むことができる。この画像取得ユニットは、例えば、有線又は無線接続を介して前記装置に接続されてもよい。

【0030】

別の例において、前記装置は、装置１００とは別個である画像取得ユニットから画像を（例えば、有線又は無線接続を介して）受信するように構成されてもよい。

【0031】

幾つかの例において、以下により詳細に説明されるように、装置１００は、ＴｏＦ(time-of-flight)カメラをさらに有してもよい。ＴｏＦカメラは、画像マトリクスを生成し、ここで、各ピクセルの値は、カメラからオブジェクトまでの距離／深度である。ＴｏＦカメラは、一般に、赤外線イメージセンサを使用する。そのようなデバイスは、“深度画像”及び従来の赤外線強度画像の両方を同時に生成することができる。

【0032】

他の例において、装置１００は、この装置１００とは別個であるＴｏＦカメラから画像及び／又は画像マトリクスを（例えば、有線又は無線接続を介して）受信するように構成されてもよい。

【0033】

より一般的には、装置１００は、ディスプレイをさらに有することができる。ディスプレイは、例えば、前記画像及び／又はフィッティングしたモデルをユーザに表示するための、例えば、コンピュータスクリーン、及び／又は携帯電話或いはタブレット上のスクリーンを有することができる。この装置は、例えば、本明細書に記載される方法で使用される初期入力パラメータ（例えば、モデルの選択）を提供するために、ユーザがこの装置と対話することを可能にするユーザ入力デバイス、例えば、キーボード、マウス又は他の入力デバイスをさらに有する。装置１００は、この装置１００に電力を供給するためのバッテリ或いは他の電源、又はこの装置１００を主電源に接続するための手段を有することができる。

【0034】

この装置は、医療施設において使用されてもよい。医療施設の例は、これらに限定されないが、病院、診療所、医師の診察室、歯科医院及び動物病院を含む。上述したように、医療施設は、この施設において起きている活動をモニタリングするために、ワークフロー（別名、臨床ワークフローとして知られている）を使用することができる。

【0035】

前記装置は、医療施設における第１のエンティティをモニタリングするためのものである。この意味で、第１のエンティティは、医療施設における任意のオブジェクト、人又は動物とすることができる。例えば、第１のエンティティは、医療施設にいる人、例えば、患者、介護提供者、医師、看護師、外科医又は清掃人とすることができる。別の例として、第１のエンティティは、医療施設における機器、例えば、人工呼吸器、モニター、ＳｐＯ_２デバイス又はバイタルサインモニタとすることができる。さらに別の例として、第１のエンティティは、医療施設における他の任意の無生物とすることができる。例えば、病院のベッド、椅子、車椅子又は歩行装置である。

【0036】

上述したように、装置１００は、画像取得ユニットを有するか、又は画像取得ユニットから画像を受信する。この画像は、医療施設（例えば、その内部）の任意の画像でもよい。この画像は写真画像でもよい。この画像は、カラー（例えば、ＲＧＢ画像）でも又は白黒でもよい。この画像は、赤外線画像又は他の任意の種類の画像モダリティでもよい。

【0037】

以下に説明されるように、この画像は、単一のフレームでもよいし、又は、例えば、ビデオフレームのシーケンスの一部として、ビデオに含まれてもよい。

【0038】

画像取得ユニットは、オーディオビジュアル機器の一部、例えば、ビデオカメラを形成してもよい。２つ以上のカメラ／ビデオカメラが医療施設に実装されてもよい。そのようなカメラ／ビデオカメラは、医療施設の内部の一部を連続的にカバーするように配されることができる。一例として、前記画像又はビデオストリームは、ＣＣＴＶ(integrated closed-circuit television)システムに似たシステムから取得されることができる。

【0039】

図２を参照すると、医療施設における第１のエンティティをモニタリングする際に使用するためのコンピュータ実装方法２００がある。
この方法２００の実施形態は、例えば、上述した装置１００のような装置によって行われる。

【0040】

簡潔に言うと、第１のステップ２０２において、方法２００は、ｉ）医療施設の画像を取得するステップを有する。第２のステップ２０４において、前記方法２００は、ｉｉ）機械学習プロセスを使用して、画像における第１のエンティティに第１の関節モデルをフィッティングさせるステップを有し、ここで、第１の関節モデルは、関節に対応するキーポイントと、これらキーポイント間のリンクを示す関連性場とを有する。第３のステップ２０６において、前記方法は、ｉｉｉ）前記画像における前記第１の関節モデルのフィッティングしたキーポイントの相対位置から、この医療施設における第１のエンティティの位置又は姿勢を決定するステップを有する。上述したように、“ｉ）医療施設の画像を取得するステップを有する”ステップ２０２は、異なる方法で行われてもよい。例えば、前記画像は、画像取得ユニットから（例えば、リアルタイム又は略リアルタイムで）受信されてもよい。他の例において、前記画像は、サーバ、画像及びビデオのデータベース、又は同様のものから検索されてもよい。

【0041】

前記画像は、医療施設の一部、例えば、医療施設の内部又は外部の一部を示してもよい。前記画像は、例えば、病棟、診療所又は測定室の画像でもよい。

【0042】

ステップ２０４において、前記方法２００は、ｉｉ）機械学習プロセスを使用して、画像における第１のエンティティに第１の関節モデルをフィッティングさせるステップを有し、ここで第１の関節モデルは、関節に対応するキーポイントと、これらキーポイント間のリンクを示す関連性場とを有する。

【0043】

言い換えると、関節モデルは、画像における第１のエンティティにフィッティングする。“骨格モデル”又は関節骨格としても知られる関節モデルは、このモデルにおいて関節に対応するキーポイントを有する。キーポイントは、第１のエンティティ上のランドマークに対応する。一般に、各々のキーポイントは、第１のエンティティ上のポイント、すなわち特定の位置に対応する。

【0044】

これらキーポイントは、例えば、キーポイントの両側の関連性場によって表される構造体の回転又は移動を可能にする柔軟関節のような（外側）関節に対応する。関節は、例えば、第１のエンティティ上の旋回点でもよい。例えば、第１のエンティティが人（例えば、患者、臨床医等）である場合、１つ以上のキーポイントは、その人の１つ以上の解剖学的関節に対応する第１の関節モデルにおいて規定される。例えば、股関節、肩関節、膝、肘又は人の身体上の他の任意の関節に対応する１つ以上のキーポイントが規定される。第１のエンティティが機器である場合、その機器における接合部又は関節に対応する１つ以上のキーポイントが、第１の関節モデルにおいて規定される。例えば、第１のエンティティが人工呼吸器である場合、マスクが人工呼吸器のホースに取り付けられている箇所に対応するキーポイントが規定される。

【0045】

第１の関節モデルは、関節に加えて、第１のエンティティ上のランドマークに対応するキーポイントをさらに有する。例えば、第１のエンティティが人である場合、第１の関節モデルは、この人の他のランドマーク、例えば、この人の目、鼻又は肩のような特定の解剖学的特徴に対するキーポイントをさらに有することができる。第１のエンティティが機器である場合、キーポイントは、例えば、機器、すなわち、例えばマスクの外側端（例えば、縁又は角）のような機器の特定のランドマークに対応することができる。

【0046】

第１の関節モデルは、例えば、キーポイントの種類の混合であるような、関節に対応する１つ以上のキーポイントと、ランドマークに対応する１つ以上のキーポイントとを有することができる。一般に、関節モデルを設計するとき、キーポイントは、例えば、人の目又は病院のベッドの車輪のような、オブジェクトの目立った特徴的な画像特徴から選択されるべきである。さらに、関節モデルの場合、キーポイントは、オブジェクトの関節又はヒンジ部と一致すべきである。これらは単なる例であること、及びモデル化される第１のエンティティの性質に応じて、この第１のエンティティ上の多数の異なる位置にキーポイントが規定され得ることが理解されよう。

【0047】

第１の関節モデルは、関連性場をさらに有する。関連性場は、キーポイント間のリンクを示す又はそれに対応する。

【0048】

第１の関節モデルにおける１つ以上の関連性場は、物理的リンクに対応する。例えば、第１のエンティティが人である場合、物理的リンクの例は、それらに限定されないが、（股関節に対応するキーポイントと膝に対応するキーポイントとの間に置かれる関連性場によって表される）大腿部、及び（手に対応するキーポイントと、肘に対応するキーポイントとの間に置かれる関連性場によって表される）前腕を含む。第１のエンティティが人工呼吸器である場合、物理的リンクは、（マスク及びベースユニットに対応する２つのキーポイント間に置かれる）ホースに対応する。

【0049】

１つ以上の関連性場は、論理的リンクも有する。論理的リンクは、たとえ２つのキーポイントが（例えば、単一の対応する機器又は解剖学的構造によって）直接的に結合されていなくても、これら２つのキーポイント間（例えば、キーポイントが対応する第１のエンティティ上の位置間）の位置関係を有する又は表すことができる。例えば、第１のエンティティが人である例において、たとえ、その人の顎と、鎖骨とは直接的につながっていなくても、顎と鎖骨との間に位置関係が存在しているので、顎と鎖骨との間に論理的リンクが存在する。従って、人の関節モデルにおいて、顎骨及び鎖骨に対応する２つのキーポイント間に関連性場が規定されることができる。

【0050】

第１の関節モデルは、例えば、関連性場の種類の混合であるような、物理的リンクに対応する１つ以上の関連性場と、論理的リンクに対応する１つ以上の関連性場とを有することができる。

【0051】

ステップ２０４は、第１の関節モデルを取得するステップを有する。このモデルは、関節モデルのデータベースから取得されてもよいし、又は、例えば、ヒューマンエンジニアによって規定されてもよい。

【0052】

第１の関節モデルは、（例えば、正規化された座標系において）座標のタプルとして、及びこの座標のタプルにおける座標の異なる対の間のベクトルのタプルとして表されることができ、ここで、座標のタプルにおける各座標は、上述したようなキーポイントに対応し、各ベクトルは、上述たような関連性場に対応する。しかしながら、これは単なる例であり、当業者であれば、第１のモデルは、上述した方法とは異なる方法で表されてもよいことを理解するであろう。

【0053】

一例として、第１のエンティティが人（例えば、患者、医師、看護師など）である場合、適切な第１の関節モデルは、Hidalgo(2019)によるOpenPose paperにおいて規定される。

【0054】

別の例として、第１のエンティティがベッド３０２である場合、第１の関節モデルは、図３ａに示されるように規定される。図３ａは、ベッドの関節モデルを有向グラフの形態で示す。その頂点は、キーポイント、すなわち、［“１-右前輪”、“２-左前輪”、・・・、“１２-ヘッドボード右上”］である。このグラフの縁は、キーポイントのつながり(connectedness)、つまり[[“３５”→“３１”］、［“３６”→“３２”］、・・・、［“４２”→“４１”］を表す。

【0055】

別の例として、第１のエンティティが人工呼吸器３０４である場合、第１の関節モデルは、図３ｂに示されるように規定される。図３ｂにおいて、テーブル（４７．．．５０）を備えたロールスタンド（４３．．．４６）上に人工呼吸器（キーポイント５１．．．５８のボックス）がある。関節化した人工呼吸器のチューブが５２-５９-６０で与えられる。

【0056】

エンティティを関節モデル（又は骨格）としてモデル化する利点は、関節モデルが、オブジェクト固有の姿勢の変化／変形に適応することが本質的にできることである。例えば、これらモデルは、例えば、腕が上がっているかどうかのような、特定の姿勢が何であろうとも、人間の体の骨格を等しく正確に画定することができる。同様に、背もたれは、ベッドの関節モデルの関節コンポーネントであるため、この背もたれが持ち上げられているかどうかにかかわらず、関節モデルを使用して病院のベッドを検出することができる。

【0057】

第１の関節モデルは、機械学習プロセスを使用して、画像における第１のエンティティにフィッティングされる。適切な機械学習プロセスの例は、Hidalgo(2019)に記載されるようなOpenPose法である。Hidalgoにおいて、第１のディープニューラルネットワークは、画像データを骨格のキーポイントのヒートマップ及び部位関連性場(ＰＡＦ
(part-affinity fields)）に変換するように訓練される。ヒートマップは、画像における各ピクセルがキーポイントである可能性を示す。関節モデルの各キーポイントに対して、１つのヒートマップが生成される。

【0058】

ＰＡＦは、（２つの平面からなり、１つはｘ成分用であり、１つはｙ成分用である）画像であり、各ピクセルは、２次元ベクトル（ｘ成分及びｙ成分）に対応する。従って、ＰＡＦは、２次元ベクトル場である。

【0059】

さらに、ＰＡＦは、常に、キーポイントの対、例えば、“右肘”及び“右肩”に属する。

【0060】

ＰＡＦ内の特定のピクセル位置における（ｘ，ｙ）ベクトルは、以下の２つの情報を符号化する。
（１）ベクトルの大きさ（ｘ^２＋ｙ^２）^１／２は、そのピクセルが、２つのキーポイントのインスタンス（つまり、本実施形態では“右上腕”）間の接続（“肢”）に属する可能性を示す。
（２）そのピクセルにおける（ｘ，ｙ）ベクトルの方向は、その肢の方向、すなわち、どこが肘で、どこが肩であるかを符号化する。

【0061】

このベクトル場の情報は、（ヒートマップで検出される）キーポイントの多くの候補から、どの対が最も高く、肢を形成しているかを決定するために使用される。これは、１つのキーポイントの候補の位置から、別のキーポイントの候補の位置までの部位関連性ベクトル場の経路積分を計算することによって行われる。

【0062】

また、この符号化の原理は、３つ以上の次元、例えば、体積データの場合には３つの空間次元、及び／又は、例えば、ビデオデータの場合には時間次元に適用することができることに留意されたい。

【0063】

次いで、ヒートマップ及びＰＡＦは、（２部）グラフマッチング段階（別名、骨格パーサー）に供給され、この段階は、画像のオブジェクト-コンテンツの骨格モデルベースの記述を生成する。これは、Hidalgo他著(2019)に記載される方法を用いて行われる。

【0064】

従って、言い換えると、機械学習プロセスは、２つのステップで行われる。最初に、第１のディープニューラルネットワークを使用して、第１の関節モデルにおけるキーポイントに対応する、画像における位置の第１の組を決定する。これは、ニューラルネットワークを使用して、画像におけるランドマークを識別することに類似している。例えば、第１のディープニューラルネットワークは、教師あり学習プロセスを使用して、画像におけるキーポイントを識別するために、トレーニング画像のコーパス(corpus)で訓練される。第１のニューラルネットワークは、上述したようにヒートマップ及び／又は関連性場を出力することができる。

【0065】

次に、第１の関節モデルにおけるキーポイント及び関連性場に対応している、画像における位置を入力として取得して、その画像の第１のエンティティに第１の関節モデルをフィッティングすることができる第１のグラフフィッティングプロセス（又は“骨格パーサー”）が使用される。

【0066】

機械学習プロセスの出力（例えば、グラフフィッティングプロセスの出力）は、例えば、画像における各々の検出されるオブジェクトに対する、キーポイント位置の画像における座標のリストとすることができる。従って、この出力は、２Ｄ位置(2D-location)のリストからなるリストとすることができる。例えば、人を人＝［頭、左肩、右肩］としてモデル化し、画像内に２人の人間が存在する場合、出力は以下の形式、
［人１、人２］＝［［［頭Ｘ、頭Ｙ］、［左肩Ｘ、左肩Ｙ］、［右肩Ｘ、右肩Ｙ］］、［［頭Ｘ、頭Ｙ］、［左肩Ｘ、左肩Ｙ］、［右肩Ｘ、右肩Ｙ］］］
とすることができる。オブジェクトのインスタンスが検出されない場合、この例では、出力は空のリストである。

【0067】

これは単なる一例であり、第１の関節モデルの入力及び出力が、上記の例において説明した入力及び出力とは異なる場合があることが理解されよう。

【0068】

ステップ２０６に戻ると、前記方法は、ｉｉｉ）画像における第１の関節モデルのフィッティングしたキーポイントの相対位置から、医療施設における第１のエンティティの位置又は姿勢を決定するステップを有する。これら異なるキーポイントの位置が前記画像におけるフィッティングしたモデルから取得されると、これらキーポイントの位置を使用して、前記画像における第１のエンティティの位置及び／又は姿勢を決定することができる。

【0069】

姿勢は、フィッティングしたキーポイントから様々な方法で決定されてもよく、例えば、これらフィッティングしたキーポイントの位置が特定の姿勢と一致しているかどうかを決定するために、一連のif-then文が使用されてもよい。例えば、第１のエンティティが人である場合、画像において手に対応するキーポイントの位置が、その手が取り付けられる肩に対応するキーポイントの位置よりも高い場合、その人は自分の腕を上げた（すなわち、腕を上げた姿勢である）と決定される。別の例として、第１のエンティティがベッドである場合、ベッドの姿勢は、このベッドの頭部及びこのベッドの本体又は主要部分に対応するキーポイントによって作られる角度に応じて、“リクライニングしている(reclined)”又は“直立している(upright)”としてラベル付けされる。

【0070】

他の実施形態では、ステップ２０６において、フィッティングしたキーポイントに基づいて姿勢ラベルを提供するために、別の機械学習モデルが訓練及び使用される。例えば、畳み込みニューラルネットワークは、フィッティングしたキーポイント及び／又は画像を入力として取得し、姿勢を説明するラベルを出力するように訓練される。訓練は、フィッティングしたキーポイント位置、及び対応するグランドトゥルースの姿勢ラベルの例を有する訓練データセットを使用して、教師ありの方法で行われる。

【0071】

決定される第１のエンティティの位置及び／又は姿勢は、様々なタスクを行うために使用される。幾つかの例は以下の通りである。

【0072】

機器のトラッキング
しばしば、カート、（ＥＭＲ）コンピュータは、部門の至るところに点在し、それらを見つけるにはかなりの時間を要する。この手法を使用する場合、自動化された方法で、特定のカートが識別され、位置特定されることができる。

【0073】

オブジェクトの位置チェック
特定の患者は、安全かつ迅速な回復を保証するために、特定の体位（例えば、脚の持ち上げ）を必要とする場合がある。一例として、関節モデルをベッドにフィッティングし、フィッティングしたキーポイントからベッドの角度が決定され、患者は直立位置であることを確認することができる。角度が所定の範囲外である場合、角度は指定された範囲にないという信号が提供される。

【0074】

別の例として、関節モデルを患者にフィッティングさせることができ、フィッティングしたキーポイントを使用して、患者の脚を上げたかどうかを決定することができる。これは、例えば、以下の擬似コード(pseudocode)に例示されるように実装される。
ビデオストリームの各画像に対し：
画像における人（骨格）を検出する
足首／膝／股関節が検出される骨格の可視の部分である場合は、（設置されるカメラの位置座標及び視点を使用して）患者の脚の位置を計算する
位置が許容範囲外である場合は、介護提供者に、“患者の位置が間違っている！”との警告を発する
そうでなければ、介護提供者に、“患者の位置がモニタリングできない”との警告を発する
ことを行う。

【0075】

特定の姿勢又は患者の位置が、医療ワークフローの一部として要求される場合、これは、その特定の患者及び特定の位置／姿勢に対して方法２００を行うためのトリガとして使用される。これは、このワークフローの態様を自動化するために使用される。

【0076】

ここで他の実施形態を参照すると、上述したように、幾つかの実施形態において、画像は、ビデオのフレームであり、前記方法は、ビデオのフレームのシーケンスにステップｉ）、ｉｉ）、及びｉｉｉ）を繰り返すステップ、並びにこれらフレームのシーケンスにわたり、第１のエンティティの姿勢の変化又は位置の変化を決定するステップをさらに有することができる。従って、ビデオデータを処理し、医療施設におけるエンティティを経時的にモニタリングするために、方法２００が繰り返されることができる。

【0077】

ビデオデータの分析を使用して、第１のエンティティの位置又は姿勢の経時的な変化を決定する。例えば、位置の変化は、ビデオのあるフレームから別のフレームまで、第１の関節モデルにおけるフィッティングしたキーポイントの位置を比較することによって決定される。同様に、姿勢の変化は、ビデオの第１の画像の姿勢を決定し、ビデオの第２の画像の姿勢を決定し、第１の画像の姿勢と第２の画像の姿勢との相違として、前記姿勢の変化を決定することによって決定される。

【0078】

幾つかの実施形態において、位置又は姿勢（若しくは位置又は姿勢の変化）は、第１のエンティティに対して事象が発生したかどうかを決定するために使用される。例えば、第１のエンティティが医用機器である場合、医用機器の位置又は姿勢の変化は、この医用機器が第１の位置から第２の位置に移動したかどうかを決定するために使用される。別の例として、第１のエンティティが人である場合、事象は、人がベッドから出る、人が発作を起こしている、又は人が所定の時間しきい値よりも長い間、１つの位置に留まっていることを有する。

【0079】

例えば、発作の検出は、身体部分の位置を経時的にトラッキングし、例えば、大規模な振動が起きるとき、警報を発することを行ってもよい。

【0080】

このことは、人３０６と、この人３０６にフィッティングしたフィッティング済み関節モデル３０８とを示す図３ｃに示されている。キーポイントの位置は、時間に対してプロットすることができる。発作が発生する場合、キーポイントの位置における、円３１０によって示される振動は、左肩の位置の時間に対するグラフに示されるように検出される。

【0081】

例えば、発作のような医学的状態の検出は、患者の医療記録（例えば、発作の時間、日付、場所及び／又は持続時間などの詳細と共に）の自動更新を動作させるために使用されてもよい。医学的状態（例えば、発作）の検出は、患者に対する実施されるべき新しいワークフローをさらに動作させてもよい。さらに、顔認識を用いて、正しい医療記録が確実に更新されるように使用される。このようにして、方法２００は、自動記録管理及びワークフロー管理に使用することができる。

【0082】

ここで他の実施形態を参照すると、方法２００は、異なる関節モデルを、ビデオの画像における異なるエンティティにフィッティングするステップ、及びこれら異なるエンティティ間の相互作用を、これらモデルの夫々のフィッティングしたキーポイントの相対位置から決定するステップをさらに有することができる。例えば、上記ステップｉ）～ｉｉｉ）は、画像又は画像のシーケンスにおける各エンティティに対し繰り返されてもよい。

【0083】

言い換えると、方法２００は、機械学習プロセスを使用して、画像における第２のエンティティに第２の関節モデルをフィッティングさせるステップをさらに有することができる。第２の関節モデルは、（第２の組の）キーポイントと、これら（第２の組の）キーポイント間のリンクを示す（第２の組の）関連性場とを有する。前記方法は、次いで、第１の関節モデルのフィッティングしたキーポイントと、第２の関節モデルのフィッティングしたキーポイントとの相対位置から、画像における第１のエンティティと第２のエンティティとの間の相互作用を決定するステップを有する。前記方法は、画像における第３のエンティティ及び／又は後続するエンティティにまで、さらに拡張され得ることが理解されよう。

【0084】

関節モデルは、第１の関節モデルに関して上述されたが、その詳細は、第２の関節モデルにも等しく適用されることが理解される。例えば、第２の関節モデルも、関節に対応するキーポイントと、これらキーポイント間のリンクを示す関連性場とを有する。

【0085】

第１及び第２の関節モデルは、モニタリングされる相互作用の種類に応じて、同じ種類のモデル、又は異なる種類のモデルとすることができる。例えば、患者と医師との間の相互作用において、第１及び第２の関節モデルは、共に人間の関節モデルである。

【0086】

第１の及び第２のエンティティへの前記方法２００の拡張は、様々な方法で達成されることができる。例えば、ステップ２０４において、（Hidalgo(2019)に記載されるような）OpenPoseが使用される場合、ここで提案されるものは、検出されなければならない（１つ又は複数の）エンティティに特有の（新しい）キーポイントの種類の検出を含むために、ネットワーク段階の拡張を必要とする。当然ながら、ニューラルネットワークアーキテクチャ自身を拡張するのと共に、訓練データセットがオブジェクトの適切なインスタンス化、及び自然に発生する様々な姿勢の十分な有効範囲を含むように、訓練データセットも拡張されなければならない。

【0087】

さらに、骨格パーサーは、この骨格パーサーがヒートマップ及び部位関連性場から特有の（新しい）オブジェクトの骨格モデルを解析(parse)する、すなわち、調整したモデル記述を必要とするように作成されなければならない。これを達成するための異なるオプションが存在する。
１）異なる種類の骨格モデルに対し、並行して使用される複数の特製のOpenPoseシステムを使用する。例えば、複数の異なる専用システムに同じビデオデータが供給される。言い換えると、（第１のディープニューラルネットワークとは異なる）第２のディープニューラルネットワークは、第２の関節モデルにおけるキーポイントに対応する、画像における第２の組の位置を決定するために訓練及び使用され、画像における第２のエンティティに第２の関節モデルをフィッティングさせるために、第２のモデルにおけるキーポイント及び関連性場に対応する画像における位置を入力として取得する第２のグラフフィッティングプロセスが使用される。
２）複数のOpenPoseシステムは、ニューラルネットワーク処理のトランク(trunk)を共有し、異なる骨格モデルパーサーのみを使用する。言い換えると、第１のディープニューラルネットワークは、第２の関節モデルにおけるキーポイントに対応する、画像における第２の組の位置を決定するためにさらに訓練及び使用される（例えば、同じディープニューラルネットワークは、画像における第１の関節モデルのキーポイント、及び画像における第２の関節モデルのキーポイントの位置を決定するために訓練及び使用される）。次いで、画像における第２のエンティティに第２の関節モデルをフィッティングさせるために、第２のモデルにおける関連性場及びキーポイントに対応する、画像における位置を入力として取得する第２の（例えば、異なる）グラフフィッティングプロセスが第２のエンティティに使用される。

【0088】

第１のエンティティと第２のエンティティとの間の相互作用を決定することは、例えば、第１の関節モデルのフィッティングしたキーポイントと、第２の関節モデルのフィッティングしたキーポイントとの間の重複を検出することによって行われる。

【0089】

幾つかの実施形態において、深度情報は、画像における第１のエンティティと第２のエンティティとの間の相互作用の理解を高めるため、及び、例えば、相互作用は、（例えば、カメラのアングルが原因による）画像における２つのエンティティ間の重複が単なる偶発的ではなく、実際の相互作用であることを確認するために使用されてもよい。深度画像を、オブジェクト／人の骨格を位置特定するために使用する場合、これらオブジェクト／人の３Ｄ座標を導出することができる。時間が経つにつれて、３Ｄ座標は、オブジェクト／人の軌道流れを形成する。これは、その場面の意味論に関するより多くの洞察を与える。例えば、患者の手／腕の骨格が上がっている場合、それは、患者が助けを求めようとしているか、又は注意を集めようとしていることを示す可能性がある。深度情報は、曖昧さを解決し、咬合（オクルージョン）と相互作用とを区別するためにも有益である。

【0090】

従って、方法２００は、第１の関節モデルにおけるフィッティングしたキーポイント、及び第２の関節モデルにおけるフィッティングしたキーポイントに関連する深度情報を決定するステップをさらに有する。次いで、画像における第１のエンティティと第２のエンティティとの間の相互作用を決定するステップは、深度情報にさらに基づくことができる。

【0091】

深度情報は、例えば、ＴｏＦカメラを使用して決定される。ＴｏＦカメラは、画像マトリクスを生成し、ここで、各々のピクセルの値は、カメラからオブジェクトまでの距離／深度である。ＴｏＦカメラは、一般に、特定の赤外線撮像センサを使用するので、そのようなデバイスは、深度画像と従来の赤外線強度画像の両方を同時に生成することができる。

【0092】

一般に、深度情報は、以下の擬似コードに従って、フィッティングしたキーポイントにマッチングされる。
ビデオストリームの各画像に対し、
２Ｄ画像（例えば、赤外線又はＲＧＢ画像）における全てのオブジェクト（骨格）を検出する
深度画像において検出される骨格のキーポイントを検索
２Ｄ及び深度情報から、骨格のキーポイントの３Ｄデータの位置データを構成する
（２Ｄよりもロバストである）３Ｄスケルトンデータでさらに処理する
ことを行う。

【0093】

上記の例における“さらに処理する”ステップの一例として、第１のエンティティ（ベッド）と第２のエンティティ（患者）との間の相互作用を使用して、患者がベッドを出たかどうかを決定することができる。（患者に対する）第１の関節モデルのキーポイントと、（ベッドに対する）第２の関節モデルのフィッティングしたキーポイントとの間の２Ｄ又は３Ｄ距離が、所定のしきい値距離を超える場合、ベッドを出たと決定される。これは、例えば、以下の擬似コードに従って達成することができる。
ビデオストリームの各画像に対し、
画像における人間（骨格）を検出する
画像におけるベッド（骨格）を検出する
（骨格からベッドまでの)３Ｄ距離＞しきい値 である場合、
介護提供者に、“患者はベッドから出た！”との警報を発する
ことを行う。

【0094】

別の例として、深度情報を使用して、写真／ビデオにおける従来のオブジェクト検出の結果のように、例えば、単に人工呼吸器が部屋に存在しているではなく、人工呼吸器が（関節化した）チューブによって患者に接続されていると決定することができる。

【0095】

これは、医療施設の画像の線画を示す図４ａに例示されている。この線画は、医療施設の写真を表す。現実的には、前記画像は写真であり、例えばカラーでよいことが理解されるであろう。前記画像は、ベッド４０４にいる患者４０２を示す。患者４０２は、人工呼吸器４０６によって換気されている。人の第１の関節モデル４０８は、患者４０２にフィッティングしている。人工呼吸器の第２の関節モデル４１０は、人工呼吸器４０６にフィッティングしている。図４ｂは、図４ａに示したのと同じフィッティングした関節モデル４０８及び４１０を示す。図４ｂにおいて、人工呼吸器の換気チューブは、関連性場４１２によって表され、人工呼吸器に関連するスタンドは、関連性場４１６によって表される。これら２つの関連性場の間の接合点は、キーポイント４１４によって表される。人工呼吸器上の他のキーポイントは、例えば、スタンド４１６と、スクリーン（スタンドの上にある正方形の構造体）との間にあるポイントを表すポイント４１８を含む。スクリーンの角は、例えば４２０のようなキーポイントによって表され、縁は、関連性場（例えば、４２２）によって表される。この例において、骨格４０８と４１０との間の重複を使用して、人工呼吸器４０６は患者４０２に接続されていると決定することができる。（例えば、ＴｏＦカメラを介して）３Ｄ座標が取得される場合、これら３Ｄ座標を使用して、患者が人工呼吸器に接続されていることを確認し、例えば、偶発的な重複を除外することができる。図５は、医療施設の画像の別の線図を示す。この線画は、医療施設の写真を表す。現実的には、前記画像は写真であり、例えばカラーでよいことが理解されるであろう。この例は、ベッド５０２及び医療機器５０６に夫々フィッティングする関節モデル５０４及び５０８を示す。

【0096】

一般に、人のフィッティングした関節モデルと、オブジェクトのフィッティングした関節モデルと間の相互作用は、臨床ワークフローを更新するために使用されることができる洞察を提供することができる。例えば、２つの骨格の交差／重複は、相互作用が起きていると解釈することができる。例として、方法２００は、看護師（第１のエンティティ）が、例えば移動式の患者モニターのような機器（第２のエンティティ）を操作する頻度、看護師（第１のエンティティ）が注入ポンプ（第２のエンティティ）と相互作用する場合、又は患者のベッドが座位又は睡眠位置に調整されるかどうかのような事象又はデータを登録するために使用される。

【0097】

第１のエンティティが医療機器であり、第２のエンティティが患者である実施形態において、方法２００は、この機器と患者との間において事象が発生したと決定するために使用される。例としては、これらに限定されないが、患者に取り付けられている機器の検出、又は患者に医療処置を行うために使用されている機器の検出を含む。この場合も、この情報を使用して、患者に関連する１つ以上のワークフロー又は医療記録を更新することができる。

【0098】

第１のエンティティが臨床医であり、第２のエンティティが患者である実施形態において、方法２００は、臨床医と患者との間の第１の相互作用を決定するために使用される。例としては、これらに限定されないが、臨床医と患者との間の接触又は臨床医が患者に行う医療処置である、第１の相互作用を含む。顔認識はさらに、患者と医療専門家との間の相互作用を、正しい患者及び医療専門家に結び付けるために使用される。

【0099】

以下の擬似コードは、上述した各々の患者（第１のエンティティ）、臨床医（第２のエンティティ）及び／又は医療機器（第３のエンティティ）間の相互作用がカウントされ、ワークフロー効率の分析及び最適化に使用するための統計データを提供するために使用される例を示す。
ビデオストリームの各画像に対し、
画像における全てのオブジェクト（骨格）（例えば、医療機器、ベッドなど）を検出する
画像における全ての人間（骨格）を検出する
オプション、
（１）人間の衣服に取り付けたマーカー（ＱＲコードなど）
（２）画像における各々検出された人間の領域の顔認識
を使用して、人間を“看護師”、“患者”、“訪問者”に分類する
人間から検出されるオブジェクトまでの幾何学的距離（例えば、ベッドにいる人間→患者、医療機器の近くにいる人間→看護師）を計算する
人とオブジェクト（例えば、患者、ベッド又は医療機器と相互作用している看護師）との間の相互作用をカウントする
相互作用の頻度統計を計算し、ワークフロー効率の分析及び最適化に使用する
ことを行う。

【0100】

この処理の出力が、医療施設の画像の線画を示す図６に示されている。この線画は、医療施設の写真を表す。現実的には、画像はピクセル化した写真であり、例えばカラーでよいことが理解されるであろう。この画像は、第１のベッド６０２、及び第１の人６１０と相互作用している第１のベッドにいる第１の患者６０６を示す。この画像はさらに、第２の患者６１８がいる第２のベッド６１４を示す。第２の人６２２は、第２の患者６１８と相互作用している。この例において、“画像における全てのオブジェクト（骨格）（例えば、医療機器、ベッドなど）を検出する”ステップの結果は、ベッド６０２に関節モデル６０４をフィッティングし、ベッド６１４に関節モデル６１６をフィッティングすることである。“画像における全ての人間（骨格）を検出する”ステップの結果は、第１の患者６０６に関節モデル６０８をフィッティングし、第１の人６１０に関節モデル６１２をフィッティングし、第２の患者６１８に関節モデル６２０をフィッティングし、及び第２の人間６２２に関節モデル６２４をフィッティングすることである。

【0101】

ここで図７を参照すると、図７は、方法２００を使用して、医療施設におけるワークフローメトリックを決定するための方法のフローチャートを示す。この方法は、例えば、上述した装置１００のような装置によって行われる。この例では、ステップ７０２において、上述した方法２００のステップ２０２に従って、（例えば、図６に例示されるような）画像が取得される。次いで、画像７０２は、画像における１つ以上のエンティティ（例えば、患者、モニタリング機器）に１つ以上の関節モデルをフィッティングするために使用される機械学習プロセス７０４に供給される。この実施形態において、方法２００のステップ２０４に関して上述したように、OpenPoseの機械学習プロセスが使用される。この実施形態において、OpenPose法は、（上述したように）病院の機器、ベッド及び機械に対応する新しい関節モデルを用いて拡張される。ステップ７０６において、医療施設における１つ以上のエンティティの位置及び／又は姿勢が、（上記のステップ２０６に関して上述したように）画像の第１の関節モデルのフィッティングしたキーポイントの相対位置から決定される。次いで、ステップ７０８において、前記位置及び姿勢は、上述した方法に従って分析され、活動、事象及び場面状況を決定する。ステップ７１０において、メトリクス（例えば、患者と介護者との間の接触メトリクス、又は定位置に座っている持続時間など）が導出され、これらメトリクスを使用して、患者のワークフローにおけるアイテムを更新する。

【0102】

ここで他の実施形態を参照すると、上述したように、方法２００は、ワークフローを更新及び管理するために使用される。より一般的には、方法２００は、第１のエンティティの位置又は姿勢を用いて、臨床ワークフローにある項目が行われたかどうかを決定し、この決定の結果を用いてワークフローを更新することをさらに有する。例えば、第１のエンティティ（患者）に関する位置、姿勢又は事象、或いは第１のエンティティ（患者）と、第２のエンティティ（医療専門家、医療機器又は医療施設にある他のオブジェクト）との間の相互作用が、ワークフローにある項目と照合される、及び／又は前記項目に対する更新をトリガさせる。

【0103】

上述したように、他の実施形態において、方法２００を使用して患者の医学的事象又は病状（例えば、発作検出、転倒検知など）が検出される場合、これは、例えば、検出された事象又は病状に関するデータを用いて、患者の医療記録を更新するようにトリガさせることができる。

【0104】

他の例において、臨床ワークフローにある項目が、方法２００の実行をトリガさせてもよい。例えば、上述したように、臨床ワークフローにある項目が、患者が特定の姿勢（脚が持ち上げられる、リクライニングされる、直立しているなど）でなければならないことを表している場合、これは、方法２００の実行をトリガさせて、患者が前記特定の姿勢であるかどうかを決定することができる。

【0105】

同様に、臨床ワークフローにある項目が、医療処置を患者に行うべきであることを表している場合、方法２００は、臨床医（第１のエンティティ）と、患者（第２のエンティティ）との間の相互作用が、行われた医療処置と一致するかどうかを識別するために使用される。従って、それに応じて、臨床ワークフローが更新される。

【0106】

ここで他の実施形態を参照すると、その中に具現化されるコンピュータ可読コードを持つコンピュータ可読媒体を有するコンピュータプログラム製品が提供され、このコンピュータ可読コードは、適切なコンピュータ又はプロセッサによる命令実行時、このコンピュータ又はプロセッサに、本明細書に記載の方法を行わせるように構成される。

【0107】

従って、本開示は、実施形態を実施するように適合したコンピュータプログラム、特にキャリア上又はキャリア内のコンピュータプログラムに適用されることも理解されよう。このプログラムは、ソースコード、オブジェクトコード、コードインターメディエイトソース、及び例えば、部分的にコンパイルされた形成のようなオブジェクトコード、又は本明細書に説明される実施形態による方法の実施において使用するのに適した他の任意の形態とすることができる。

【0108】

そのようなプログラムは、多くの異なるアーキテクチャ設計を持つことができることも理解されよう。例えば、前記方法又はシステムの機能を実装するプログラムコードは、１つ以上のサブルーチンに細分化されてもよい。前記機能をこれらのサブルーチン間で分配する多くの異なる方法が、当業者には明らかであろう。サブルーチンは、自己完結型プログラムを形成するために、１つの実行可能ファイルに一緒に記憶される。そのような実行可能なファイルは、例えば、プロセッサ命令及び／又はインタプリタ命令（例えば、Java（登録商標）インタプリタ命令）のようなコンピュータ実行可能命令を有する。代替的に、サブルーチンの１つ以上又は全ては、少なくとも１つの外部ライブラリファイルに記憶され、メインプログラムと静的に又は動的に、例えば実行時にリンクされる。メインプログラムは、前記サブルーチンの少なくとも１つに対する少なくとも１つの呼び出し(call)を含む。サブルーチンは、互いの関数呼び出しも有する。

【0109】

コンピュータプログラムのキャリアは、プログラムを担持することができる任意のエンティティ又はデバイスである。例えば、前記キャリアは、例えば、ＣＤ-ＲＯＭ或いは半導体ＲＯＭのようなＲＯＭ、又は例えば、ハードディスクのような磁気記録媒体である、データ記憶装置を含む。さらに、前記キャリアは、電気或いは光ケーブルを介して、又は無線或いは他の手段によって搬送される伝送可能なキャリア、例えば、電気信号又は光信号とすることができる。プログラムがそのような信号において具現化されるとき、前記キャリアは、上記ケーブル又は他のデバイス或いは手段によって構成されることができる。代替的に、前記キャリアは、プログラムが組み込まれた集積回路でもよく、この集積回路は、関連する方法を行うように適応する、又は関連する方法の実行に使用される。

【0110】

開示される実施形態に対する変形は、図面、本開示及び添付の特許請求の範囲の検討から、本明細書に記載される原理及び技術を実施する際に当業者によって理解され、実施されることができる。請求項において、“有する”という言葉は、他の要素又はステップを排除するものではなく、それらが複数あることを述べていなくても、それらが複数あることを排除するものではない。単一のプロセッサ又は他のユニットが、特許請求の範囲に列挙される幾つかの項目の機能を果たすことができる。特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、これらの手段の組み合わせが有利に使用されることができないことを示すものではない。コンピュータプログラムは、他のハードウェアと一緒に又はその一部として供給される適切な媒体、例えば、光記憶媒体又はソリッドステート媒体に記憶又は配布されることができるが、他の形態で、例えば、インターネット又は他の有線若しくは無線電気通信システムを介して配布されることもできる。請求項における如何なる参照符号も、範囲を限定するものとして解釈されるべきではない。

【図1】

【図2】

【図3a】

【図3b】

【図3c】

【図4a】

【図4b】

【図5】

【図6】

【図7】

【国際調査報告】