IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社CROSS SYNCの特許一覧

<>
  • 特許-重症化推定システム 図1
  • 特許-重症化推定システム 図2
  • 特許-重症化推定システム 図3
  • 特許-重症化推定システム 図4
  • 特許-重症化推定システム 図5
  • 特許-重症化推定システム 図6
  • 特許-重症化推定システム 図7
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-24
(45)【発行日】2024-10-02
(54)【発明の名称】重症化推定システム
(51)【国際特許分類】
   A61B 5/00 20060101AFI20240925BHJP
   A61B 5/01 20060101ALI20240925BHJP
   A61B 5/0205 20060101ALI20240925BHJP
   A61B 5/1455 20060101ALI20240925BHJP
   A61B 5/16 20060101ALI20240925BHJP
【FI】
A61B5/00 102A
A61B5/01 100
A61B5/0205
A61B5/1455
A61B5/16
【請求項の数】 5
(21)【出願番号】P 2021511286
(86)(22)【出願日】2020-03-05
(86)【国際出願番号】 JP2020009424
(87)【国際公開番号】W WO2020203015
(87)【国際公開日】2020-10-08
【審査請求日】2023-02-27
(31)【優先権主張番号】P 2019070524
(32)【優先日】2019-04-02
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】521313359
【氏名又は名称】株式会社CROSS SYNC
(74)【代理人】
【識別番号】100137589
【弁理士】
【氏名又は名称】右田 俊介
(72)【発明者】
【氏名】高木 俊介
【審査官】北島 拓馬
(56)【参考文献】
【文献】特表2019-502418(JP,A)
【文献】特表2012-509155(JP,A)
【文献】国際公開第2019/009377(WO,A1)
【文献】国際公開第2019/013094(WO,A1)
【文献】特開2019-023790(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/00 - 5/398
(57)【特許請求の範囲】
【請求項1】
患者について経時的に取得される患者情報に基づいて、心拍数、収縮期血圧、呼吸数、酸素飽和度、体温、酸素投与、及び意識状態からなる7つの指標についてスコアリングして前記患者の重症化を推定する重症化推定システムであって、
前記患者の病床を含む撮影領域を経時的に撮影した病床画像データを、前記患者情報として取得する画像取得手段と、
取得された前記病床画像データに撮影されている前記患者又は前記患者の身体部位を第一解析対象とし、複数の前記病床画像データに対する画像解析処理によって前記第一解析対象の動作を解析する画像解析手段と、
解析された前記第一解析対象の動作に基づいて、前記7つの指標に含まれる酸素投与及び意識状態についてスコアリングして前記患者の重症化を推定する重症化推定手段と、
を備える重症化推定システム。
【請求項2】
前記画像解析手段は、複数の前記病床画像データに対する画像解析処理に基づいて、前記患者の顔又は前記患者に装着されている酸素投与機器のうち少なくとも一方を抽出し、抽出した前記患者の顔又は前記酸素投与機器に対する前記第一解析対象の動作を解析し、
前記重症化推定手段は、前記患者の顔又は前記酸素投与機器に対する前記第一解析対象の動作に関する解析結果に基づいて酸素投与についてスコアリングする、
請求項1に記載の重症化推定システム。
【請求項3】
前記画像解析手段は、取得された前記病床画像データに撮影されている被写体の中から前記患者の目を第二解析対象とし、複数の前記病床画像データに対する画像解析処理によって前記第二解析対象を解析することによって前記患者の開眼状態を解析し、
前記重症化推定手段は、解析された前記患者の開眼状態に関する解析結果に基づいて意識状態についてスコアリングする、
請求項1又は2に記載の重症化推定システム。
【請求項4】
前記7つの指標に係るスコアの合計値が所定値より高くなった場合、警報を出力する第一警報出力手段と、
前記画像解析手段によって解析された前記第一解析対象の動作に基づいて、前記重症化推定手段が酸素投与に係るスコアを第一の値から前記第一の値より低い第二の値に変化させた場合、警報を出力する第二警報出力手段と、
を備える請求項1から3のいずれか一項に記載の重症化推定システム。
【請求項5】
前記画像解析手段は、取得された前記病床画像データに撮影されている医療従事者又は前記医療従事者の身体部位を第三解析対象とし、複数の前記病床画像データに対する画像解析処理によって前記第三解析対象の動作を解析し、
前記病床画像データから解析された前記第一解析対象の動作に基づいて酸素投与に係るスコアが前記第一の値から前記第二の値に変化した場合であっても、当該病床画像データから前記第三解析対象の動作が解析された場合には、前記第二警報出力手段は、警報の出力を制限する、
請求項4に記載の重症化推定システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、重症化推定システムに関する。
【背景技術】
【0002】
近年、医療分野において、或る患者から計測された生体情報をその患者の治療や診断等に活用するだけではなく、他の患者の治療や診断等にも活用するための研究・開発が行われている。
この種の技術として、本発明者は、患者に関する種々の情報に基づいて、その患者の重症化を高精度に推定する装置等を発明し、既に特許出願している(以下の特許文献1を参照)。
【0003】
特許文献1に係る発明は、患者情報に基づく2つの変数(第1変数及び第2変数)が縦軸及び横軸のそれぞれに対応している二次元モデルを生成し、順次取得した患者情報から第1変数と第2変数を導出して静的スコアリングモデルにプロットし、静的スコアリングモデルの特定領域にプロットされた時点を、患者が重症化したタイミングとして推定するものである。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2019-17998号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1には、心拍数、収縮期血圧、呼吸数、酸素飽和度及び体温の5項目の患者情報を用いて導出される修正型早期警告スコア(modified early warning scores:MEWS)に基づいてスコアリングすることによって、特許文献1に係る発明を実現した形態が同文献に開示されている。
【0006】
一方、英国標準の早期警告スコア(National Early Warning Score:NEWS)が広く知られており、この早期警告スコアでは、上記の5項目に加えて酸素投与及び意識状態の2項目が考慮される。
特許文献1に係る発明は、患者の重症化の推定について、酸素投与及び意識状態の2項目が十分に考慮されていない点において未だ改善の余地を残していた。
【0007】
本発明は、上記の課題に鑑みなされたものであり、患者の重症化を高精度に推定する重症化推定システムを提供するものである。
【課題を解決するための手段】
【0008】
本発明によれば、患者について経時的に取得される患者情報に基づいて、心拍数、収縮期血圧、呼吸数、酸素飽和度、体温、酸素投与、及び意識状態からなる7つの指標についてスコアリングして前記患者の重症化を推定する重症化推定システムであって、前記患者の病床を含む撮影領域を経時的に撮影した病床画像データを、前記患者情報として取得する画像取得手段と、取得された前記病床画像データに撮影されている前記患者又は前記患者の身体部位を第一解析対象とし、複数の前記病床画像データに対する画像解析処理によって前記第一解析対象の動作を解析する画像解析手段と、解析された前記第一解析対象の動作に基づいて、前記7つの指標に含まれる酸素投与及び意識状態についてスコアリングして前記患者の重症化を推定する重症化推定手段と、を備える重症化推定システムが提供される。
【0009】
本発明は、従来の発明では十分に考慮されていなかった早期警告スコアの指標である酸素投与又は意識状態のスコアをコンピュータ処理によってスコアリングすることができ、そのスコアに基づいて患者の重症化を推定する。従って、本発明は、早期警告スコアを用いた重症化推定について推測精度の向上を図ることができると共に、重症化推測をする際に生じていた医療従事者の作業コストを軽減することができる。
【発明の効果】
【0010】
本発明によれば、患者の重症化を高精度に推定する重症化推定システムが提供される。
【図面の簡単な説明】
【0011】
図1】重症化推定システムの構成図である。
図2】カメラの設置状況を模式的に示す図である。
図3】早期警告スコアのスコアリングに関する概念図である。
図4】コンピュータ端末の表示画面の一具体例を示す図である。
図5】(a)は、背景差分によって前景領域と判定されたピクセル数を示す図であり、(b)は、患者の腕又は看護師の動作として判断できるピクセル数の変化部分を特定する図である。
図6】一点鎖線に含まれる時間帯における実際の病床画像データを示す図である。
図7】一点鎖線に含まれる時間帯における実際の病床画像データを示す図である。
【発明を実施するための形態】
【0012】
以下、本発明の実施形態について、図面を用いて説明する。なお、すべての図面において、同様の構成要素には同一の符号を付し、適宜に説明を省略する。
【0013】
<本発明に係る重症化推定システム100について>
まず、本発明に係る重症化推定システム100について説明する。
【0014】
図1は、重症化推定システム100の構成図である。
重症化推定システム100は、患者について経時的に取得される患者情報に基づいて、複数種類の指標についてスコアリングして患者の重症化を推定することができる。
重症化推定システム100は、図1に示すように、コンピュータ端末10と、計測器20と、カメラ30と、データベース40と、警報装置50と、を含む。
【0015】
図2は、カメラ30の設置状況を模式的に示す図である。
図2に示すように、カメラ30は、撮影範囲(画角内)に患者PAの病床BEが少なくとも収まるように配置されており、病床BEを含む撮影領域を経時的に撮影する。なお、図1図2ではカメラ30が一つであるかのように図示しているが、一つの病床BEに対して設置されるカメラ30の数は複数であってもよく、特にその数は制限されない。
カメラ30が撮影した病床BEを撮影領域に含む画像データ(以下、病床画像データと称する)は、データベース40に格納される。
【0016】
計測器20は、患者PAの生体情報(バイタルサイン)を経時的に計測する。ここで患者PAの生体情報には、例えば、体温、心拍数、呼吸数、酸素飽和度、血圧(収縮期血圧、拡張期血圧、平均血圧のいずれであってもよい)等が該当する。なお、図1では計測器20が一つであるかのように図示しているが、一人の患者PAに対して設置される計測器20の数は複数であってもよく、特にその数は制限されない。
計測器20が計測した生体情報は、データベース40に格納される。
【0017】
データベース40は、患者PAについて経時的に取得された患者情報を蓄積している。データベース40は、本発明の導入を目的として設けられた専用のデータベースであってもよいし、本発明とは別に導入されているシステム(例えば、電子カルテシステム)のために設けられた一般的なデータベースであってもよい。
データベース40に蓄積されている患者情報には、上記の病床画像データ及び生体情報の他に、患者の個人的属性に係る情報(例えば、患者の氏名、性別、年齢、疾患名、患者の識別番号等)が含まれてもよい。
【0018】
コンピュータ端末10は、患者PAの重症化を推定する装置であり、以下の処理を実行することができる。
先ず、コンピュータ端末10は、データベース40に蓄積されている患者PAに係る過去の患者情報に基づいてショックインデックスに関する変数と早期警告スコア(NEWS)に関する変数を導出し、一方の変数を横軸とし他方の変数を縦軸とする二次元モデルを生成する。
次に、コンピュータ端末10は、患者PAに関する患者情報を単位時間ごとに取得し、取得した患者情報に基づいて上記の二次元モデルに順次プロットしていく。
更に、コンピュータ端末10は、上記の二次元モデルに対して設定されている特定領域(例えば、後述する末期ゾーンTZ)にプロットが行われた時点のうち少なくとも一部を、患者PAが重症化したタイミングとして推定する。
【0019】
なお、上記のショックインデックスは心拍数を収縮期血圧で除して求められるものであり、上記の早期警告スコアは以下の方法で求められるものである。
【0020】
図3は、早期警告スコアのスコアリングに関する概念図である。
早期警告スコアは、呼吸数、酸素飽和度、酸素投与、体温、収縮期血圧、心拍数、及び意識状態の各項目を、単位時間ごとにスコアリングし、各スコアを合算することによって求められる。
呼吸数については、8回以下ならば3ポイント、9回以上11回以下ならば1ポイント、12回以上20回以下ならば0ポイント、21回以上24回以下ならば2ポイント、25回以上ならば3ポイント、をスコアリングする。
酸素飽和度については、91%以下ならば3ポイント、92%以上93%以下ならば2ポイント、94%以上95%以下ならば1ポイント、96%以上ならば0ポイント、をスコアリングする。
酸素投与については、酸素投与ありならば2ポイント、酸素投与なしならば0ポイント、をスコアリングする。
体温については、35.0℃以下ならば3ポイント、35.1℃以上36.0℃以下ならば1ポイント、36.1℃以上38.0℃以下ならば0ポイント、38.1℃以上39.0℃以下ならば1ポイント、39.1℃以上ならば2ポイント、をスコアリングする。
収縮期血圧については、90以下ならば3ポイント、91以上100以下ならば2ポイント、101以上110以下ならば1ポイント、111以上219以下ならば0ポイント、220以上ならば3ポイント、をスコアリングする。
心拍数については、40回以下ならば3ポイント、41回以上50回以下ならば1ポイント、51回以上90回以下ならば0ポイント、91回以上110回以下ならば1ポイント、111回以上130回以下ならば2ポイント、131回以上ならば3ポイント、をスコアリングする。
意識状態については、意識清明(Alert)ならば0ポイント、その他の状態(Voice、Pain、Unresponsive)ならば3ポイント、をスコアリングする。
上記のように導出されるため、早期警告スコアは0(零)以上の整数として求められる。
【0021】
図4は、コンピュータ端末10の表示画面の一具体例を示す図である。
図4に示すように、コンピュータ端末10の表示画面は、主に四つの部分に大別することができる。図4において、これらの四つの部分を破線で囲って示す。なお、これらの破線は実際に表示されるものではない。
【0022】
最上段に位置する患者属性表示部DR1は、患者PAの個人的属性に係る情報を表示する領域である。本実施形態においては、患者の識別番号、氏名、入室時年齢、性別、転入した診療科、入室分類番号又は手術分類番号、滞在日数、及び診断された疾患名が、患者属性表示部DR1に表示される。
なお、診断された疾患名は、複数表示することが可能に構成されており、図4においては二種類が表示されている状態を図示しているが、その数は適宜変更可能である。
【0023】
中段右側に位置する指標推移表示部DR2は、早期警告スコア及びショックインデックスの時間的変化を表示する領域である。本実施形態における指標推移表示部DR2の表示は、縦軸が早期警告スコア又はショックインデックスであり、横軸が時間である。早期警告スコア及びショックインデックスの推移は実線で示し、各々に+1σを載せた値の推移は一点鎖線で示し、各々に-1σを載せた値の推移は二点鎖線で示す。ここでσは、早期警告スコア又はショックインデックスの標準偏差である。
上記の早期警告スコア及びショックインデックスが経時的に変化する様を観察することにより、患者の容態が現状より悪化するか改善するかは予測が可能である。さらに、各々に±1σを載せた値も参照して早期警告スコア及びショックインデックスのバラツキを解析することにより、更に高い精度で患者の容態を予測することができる。
【0024】
中段左側に位置するモデル表示部DR3は、上記の二次元モデルを表示する領域である。本実施形態における二次元モデルは、状態安定ゾーンNZ、要注意ゾーンWZ、及び末期ゾーンTZの3つの領域の区分されている。状態安定ゾーンNZが患者PAの容態が最も安定していることを示す領域であり、末期ゾーンTZが患者PAの容態が最も危険な状態であることを示す領域である。コンピュータ端末10は末期ゾーンTZへのプロット時を被験者が重症化したタイミングとして推定する。即ち、末期ゾーンTZが、上記の特定領域に相当する。
末期ゾーンTZへのプロットが行われたとしても直ちに重症化したものと推定せずともよい。患者PAの容態が一時的に変化して末期ゾーンTZにプロットがなされたとしても、直ぐに持ち直すのであれば、重症化している可能性は低いと考えられるからである。従って、一定時間にわたって末期ゾーンTZにプロットがされた場合(一定数のプロットが末期ゾーンTZに継続して行われた場合)、患者PAの重症化を推定してもよい。
なお、本実施形態では説明の便宜上、これらの3つの領域を識別可能に図示したが、コンピュータ端末10は必ずしも各領域を識別可能に表示しなくてもよい。
【0025】
最下段に位置する時間帯表示部DR4は、その時点で指標推移表示部DR2に表示される時間帯が、全体時間のいずれの部分に該当するかを表示する領域である。より詳細には、全体時間のうち選択領域SR(時間帯表示部DR4中の網掛け部分)が指標推移表示部DR2に表示される時間帯に該当する。
【0026】
上記のようなコンピュータ端末10の表示画面に表示される各種情報は、データベース40に蓄積されている患者PAの患者情報に基づき生成される。これにより、患者PAの全身状態(容態)の「見える化」を図ることができる。
【0027】
警報装置50は、コンピュータ端末10が患者PAの重症化を推定した場合、即ち末期ゾーンTZの下限として設定されている閾値を、早期警告スコア及びショックインデックスのいずれかが超えた場合、患者PAの重症化を医療従事者に伝えるための警報を出す。
【0028】
以上に説明した患者PAの重症化推定に用いられる早期警告スコアの指標のうち、呼吸数、酸素飽和度、体温、収縮期血圧、及び心拍数については、計測器20によって計測可能な指標である為、コンピュータ端末10は、計測器20の計測値を用いてスコアリングすることができる。
一方、早期警告スコアに係る酸素投与及び意識状態については、計測器20によって計測不能な指標である為、コンピュータ端末10は、以下の処理を実行する。
【0029】
<酸素投与のスコアリングについて>
酸素投与のスコアリングの為に、コンピュータ端末10は、データベース40に蓄積されている患者PAの病床画像データに対して画像解析処理を実行し、患者PAが酸素投与中であるか(患者PAに装着した酸素マスクが取り外されていないか)を判定する。
【0030】
具体的には、背景差分という手法を用いて、患者PAの動作検出を行い、患者PAの腕が顔範囲に向かう動きを検出している。ここで背景差分とは、背景としての元画像Bと、検出対象となる物体(ここでは患者PAの腕)を前景領域として背景領域を含む対象画像Iと、を比較することで、背景には存在しない検出対象の物体を抽出する方法のことである。
元画像Bの画素値B(p)と、対象画像Iの画素値I(p)と、を比較して背景差分を行う。なお、グレイスケール変換した画像での背景差分の場合は輝度値が画素値となる。
画素値は、背景として静止している場合においてもノイズが現れるため、背景領域においても画素値B(p)と画素値I(p)はほとんどの場合、完全には一致しない。従って、コンピュータ端末10は、画素値の相違度Diff(B(p),I(p))が閾値θ以下である領域を背景領域と判定し、画素値の相違度Diff(B(p),I(p))が閾値θ以上の領域を前景領域と判定している。
【0031】
図5(a)は、背景差分によって前景領域と判定されたピクセル数を示す図である。なお、破線で示すピクセル数については患者PAの腕として認識された前景領域のピクセル数であり、実線で示すピクセル数については看護師NUとして認識された前景領域のピクセル数である。
ここで横軸は、画像解析処理の対象となった各病床画像データのフレーム数、即ち最初の病床画像データを基準(フレーム数=0)とした場合における対象の病床画像データのフレーム数を表している。
【0032】
図5(b)は、図5(a)において患者PAの腕又は看護師NUの動作として判断できるピクセル数の変化部分を特定する図である。なお、一点鎖線B1~一点鎖線B4に囲われている部分が、特定しているピクセル数の変化部分である。
【0033】
一点鎖線B1に囲われている部分は、患者PAの腕として認識された前景領域についても看護師NUとして認識された前景領域についても、ピクセル数の変化が大きい。
即ち、この部分の解析の元となった病床画像データが撮影された時間帯においては、看護師NUも患者PAの腕も共に大きく動いているものと推定される。
【0034】
図6は、一点鎖線B1に含まれる時間帯における実際の病床画像データを示す図である。なお、時系列としては図6(a)、図6(b)の順に撮影されたものである。
なお、図6において看護師NUが撮影されている領域の一部が白抜きになっているが、これはピクセル数の変化が大きい前景領域として判定された領域を示すものである。また、図6に示す白丸は、上記の白抜き領域の重心(以下、重心NUCと称す)を表している。
図6(a)と図6(b)を参照すれば、一点鎖線B1に含まれる時間帯において、患者PAの右腕も看護師NUも動いていること(位置が経時的に移動していること)が明らかである。特に、重心NUCに着目すれば、重心NUCの位置も移動していることが見て取れる。
即ち、患者PAの腕として認識された前景領域についても看護師NUとして認識された前景領域についても、ピクセル数の変化が大きい病床画像データが撮影された時間帯は、看護師NUも患者PAの腕も共に動いているとの推定が、このケースでは正しかったものと言える。
【0035】
図6に示す病床画像データは、実際には看護師NUが患者PAを見回りしている状況を撮影したものである。図6から明らかであるように、患者PAは酸素マスクを装着したままである。従って、一点鎖線B1に含まれる時間帯のようなピクセル数の変化が検出されたとしても、コンピュータ端末10は、酸素投与のスコアを「酸素投与あり」に対応する2ポイントにしてもよい。
【0036】
一点鎖線B2に囲われている部分は、看護師NUとして認識された前景領域について大きなピクセル数の変化が見られないが、患者PAの腕として認識された前景領域についてはピクセル数の変化が大きい。
即ち、この部分の解析の元となった病床画像データが撮影された時間帯においては、患者PAの腕が大きく動いているものの、看護師NUが撮影されていないものと推定される。
【0037】
図7は、一点鎖線B1に含まれる時間帯における実際の病床画像データを示す図である。なお、時系列としては図7(a)、図7(b)、図7(c)の順に撮影されたものである。
なお、図7において患者PAの右腕が撮影されている領域の一部が黒塗りになっているが、これはピクセル数の変化が大きい前景領域として判定された領域を示すものである。また、図7に示す黒丸は、上記の黒塗り領域の重心(以下、重心ARCと称す)を表している。
図7(a)~図7(c)を参照すれば、一点鎖線B2に含まれる時間帯において、患者PAの右腕が動いていること(位置が経時的に移動していること)が明らかである。特に、重心ARCに着目すれば、重心ARCの位置も移動していることが見て取れる。更に、この時間帯において、看護師NUが撮影されていないことも明らかである。
即ち、患者PAの腕として認識された前景領域について、ピクセル数の変化が大きい病床画像データが撮影された時間帯は、患者PAの腕が動いているとの推定が、このケースでは正しかったものと言える。また、看護師NUとして認識された前景領域について、ピクセル数の変化が小さい病床画像データが撮影された時間帯は、看護師NUが撮影されていないとの推定が、このケースでは正しかったものと言える。
【0038】
図7に示す病床画像データは、実際には患者PAの右手が酸素マスクに触れた行為を撮影したものである。このような行為は、酸素マスクを取り外す可能性があるものである。
従って、一点鎖線B2に含まれる時間帯のようなピクセル数の変化が検出された場合、コンピュータ端末10は、酸素投与のスコアを「酸素投与なし」に対応する0ポイントにしてもよい。
【0039】
一点鎖線B3に囲われている部分は、看護師NUとして認識された前景領域について大きなピクセル数の変化が見られないが、患者PAの腕として認識された前景領域についてはピクセル数の変化が見られる。しかしながら、一点鎖線B3に囲われている部分のピクセル数の変化は、一点鎖線B2に囲われている部分のピクセル数の変化に比べて小さいものである。
従って、この部分の解析の元となった病床画像データが撮影された時間帯においては、患者PAの腕の動きが比較的小さいものと推定され、看護師NUについては撮影されていないものと推定される。
【0040】
図示省略するが、当該時間帯の病床画像データに撮影されている患者PAについては酸素マスクの装着を維持しており、看護師NUについては撮影されていないので、上記の推定は正しいものと言える。
従って、一点鎖線B3に含まれる時間帯のようなピクセル数の変化が検出された場合、コンピュータ端末10は、酸素投与のスコアを「酸素投与あり」に対応する2ポイントにしてもよい。
【0041】
一点鎖線B4に囲われている部分は、患者PAの腕として認識された前景領域について大きなピクセル数の変化が見られないが、看護師NUとして認識された前景領域についてはピクセル数の変化が見られる。
即ち、この部分の解析の元となった病床画像データが撮影された時間帯においては、看護師NUが動いているものの、患者PAの腕の動きが小さいものと推定される。
【0042】
図示省略するが、当該時間帯の病床画像データに撮影されている患者PAは酸素マスクを装着したまま就寝しているので患者PAの動きは小さく、看護師NUは見回りのために動いているので、上記の推定は正しいものと言える。
従って、一点鎖線B4に含まれる時間帯のようなピクセル数の変化が検出された場合、コンピュータ端末10は、酸素投与のスコアを「酸素投与あり」に対応する2ポイントにしてもよい。
【0043】
なお、酸素投与のスコアリングの為に行う画像解析処理は、本発明の実施について例示するものであって、本発明の目的を達成する範囲内において適宜変更(例えば、酸素マスクの有無を直接検出する方法などに)してもよい。
また、当該画像解析処理は、機械学習に用いる手法(例えば、患者が自分の手を顔付近まで動かした後、酸素マスクを外す行為の有無が撮影されている画像を教師データとする畳み込みニューラルネットワーク等)を適用してもよい。
【0044】
上記の画像解析処理の説明では、病床画像データから抽出される前景領域のピクセル数の変化に着目して患者PAの腕の動きを解析する旨を説明したが、他の要素を考慮してもよい。
例えば、患者PAの腕の動きを画像解析するにあたって、患者PAの顔又は患者PAに装着されている酸素マスクを抽出し、抽出した患者PAの顔又は酸素マスクと、患者PAの腕との間の距離や、患者PAの腕の動く向きが顔や酸素マスクに向かっているか否かについても考慮して、酸素投与についてスコアリングしてもよい。これにより、コンピュータ端末10は、酸素投与の有無(実際に酸素マスクを外したか否か)を、より高精度に推定することができる。
なお、患者PAの腕の動きと、酸素マスクの装着の有無と、をそれぞれ画像解析可能である前提において、患者PAの腕が大きく動いた場合であっても酸素マスクの装着が維持されている場合には、コンピュータ端末10は、酸素投与のスコアを「酸素投与あり」に対応する2ポイントにしてもよい。また、患者PAの腕の大きな動きと酸素マスクが外れた旨が抽出された場合には、コンピュータ端末10は、酸素投与のスコアを「酸素投与なし」に対応する0ポイントにしてもよい。即ち、患者PAの腕の動きのみでは酸素投与のスコアが変動せず、酸素マスクの装着の有無を酸素投与のスコアに反映させてもよい。
【0045】
上記の画像解析処理の説明では、患者PAが自ら酸素マスクを取り外すリスクを鑑みて、患者PAの腕の動きや看護師NUの動きを解析する旨を説明したが、他のリスクを考慮した解析をしてもよい。
例えば、不審者等の第三者(患者でも医療従事者でもない人物)が患者PAの酸素マスクを取り外すリスクを鑑みて、第三者の動きを解析してもよい。
【0046】
<意識状態のスコアリングについて>
意識状態のスコアリングの為に、コンピュータ端末10は、データベース40に蓄積されている患者PAの病床画像データに対して画像解析処理を実行し、患者PAの目が開眼しているか否かを判定する。
具体的には、コンピュータ端末10は、先ず患者PAの顔領域を認識し、認識した顔領域の中から患者PAの目の領域を認識し、目が開いているか閉じているかを判定する。
【0047】
コンピュータ端末10は、患者PAの目が開いている旨を判定した場合には、意識状態のスコアを「意識清明(Alert)」に対応する0ポイントにしてもよい。
但し、患者PAの目が開いていたとしても、患者PAの意識が混濁している場合も考えられるため、コンピュータ端末10は、患者PAの目の領域から瞳孔や虹彩の動きを抽出する画像解析処理を更に行い、抽出した瞳孔や虹彩の動きを加味することによって意識状態のスコアを定めてもよい。
【0048】
なお、患者PAの目が閉じている旨を判定した場合であっても、患者PAが就寝している場合があるので、直ちに意識状態のスコアを3ポイントにすることはできない。
従って、コンピュータ端末10は、上述した背景差分を用いた画像解析処理によって患者PAの動きや病床の周辺領域における医療従事者の動きを抽出し、抽出した動きを加味することによって意識状態のスコアリングをしてもよい。
【0049】
なお、上述した意識状態のスコアリングの為に行う画像解析処理は、本発明の実施について例示するものであって、本発明の目的を達成する範囲内において適宜変更してもよい。
また、当該画像解析処理は、機械学習に用いる手法(例えば、患者が撮影されている画像を教師データとする畳み込みニューラルネットワーク等)を適用してもよい。
【0050】
ここで、目が開いているか閉じているかを判定する画像解析処理を実現するモデル生成に、17人の患者を撮影して得られた136枚を教師データとする機会学習を行った結果を示す。
【表1】
【0051】
上記の表において、Percision(適合率)とは、正と予測したデータのうち,実際に正であるものの割合である。
Recall(再現率)とは、実際に正であるもののうち,正であると予測されたものの割合である。
F-mesureとは、PercisionとRecallの調和平均であり、以下の式で算出することができる。
【数1】
【0052】
<警報装置50による警報の出力について>
上述したように、警報装置50は、早期警告スコア(各指標に係るスコアの合算値)が予め設定されている閾値(患者PAの重症化が推定される値)を超えた場合に、患者PAの重症化を医療従事者に伝えるための警報を出すものである。
即ち、警報装置50は、原則として、早期警告スコアが高くなったときに、警報を出力する。
【0053】
一方、コンピュータ端末10による重症化推定を前提としたとき、早期警告スコアに係る指標のうち酸素投与のスコアの変動だけに着目すると、スコアが高い場合(2ポイントである場合)の方が、スコアが低い(0ポイントである場合)に比べて危険であるとは、必ずしも言えない。
例えば、患者PAが医師から酸素投与を指示されている場合において、患者PAが装着している酸素マスクを取り外した旨が、画像解析処理によって解析された場合、望ましい状況ではないにも関わらず、酸素投与のスコアが2ポイントから0ポイントに低下する。
【0054】
早期警告スコアは、酸素投与のみならず、酸素飽和度についてもスコアリングしているので、仮に患者PAが装着している酸素マスクを取り外したときであっても、酸素飽和度の変動をスコアに反映させることによって、整合性を担保している。従って、早期警告スコアに基づく警報出力の有効性は損なわれない。
しかしながら、上記のように必ずしも望ましいとは言えない状況が生じていることが解析された場合には、患者PAへの酸素マスクの装着を医療従事者に促す目的において、警報装置50が警報出力をすることも有用である。
当該目的を前提とすると、画像解析処理に用いた病床画像データに医療従事者(例えば、看護師NU)が撮影されている場合、警報出力する必然性がないので、警報装置50は警報を出力しなくてもよい。
【0055】
なお、警報装置50が出力する警報の態様は特に制限されないが、早期警告スコアに基づく警報と、酸素マスクの取り外しに基づく警報と、は意味合いが異なるため、識別可能に異なる態様で出力されることが好ましい。
例えば、早期警告スコアに基づく警報は、比較的広い領域に認識可能に出力され(例えば、ナースステーションに加えて担当医師の携帯電話等に通知され)、酸素マスクの取り外しに基づく警報は、比較的狭い領域に認識可能に出力され(例えば、ナースステーションにのみに通知され)てもよい。
或いは、音声出力される警報に係る音量の大小や表示出力される警報の表示態様の差異によって、早期警告スコアに基づく警報と酸素マスクの取り外しに基づく警報を区別してもよい。
【0056】
<本発明に関するまとめ>
本発明に係る重症化推定システム100について、以下に整理する。
【0057】
コンピュータ端末10は、患者PAの病床BEを含む撮影領域を経時的に撮影した病床画像データを、データベース40から患者情報として取得する。
コンピュータ端末10は、取得された病床画像データに撮影されている患者PA又は患者PAの身体部位(例えば、患者PAの腕)を第一解析対象とし、複数の病床画像データに対する画像解析処理によって第一解析対象の動作を解析する。
【0058】
なお、コンピュータ端末10は第一解析対象に係る解析結果を、早期警告スコアに関する指標のうち酸素投与及び意識状態の双方のスコアリングに用いる旨を上述したが、少なくとも一方のスコアリングに用いられれば本発明の実施については足りる。
言い換えれば、コンピュータ端末10は、解析された第一解析対象の動作に基づいて、複数種類の指標に含まれる酸素投与又は意識状態の少なくとも一方についてスコアリングして患者PAの重症化を推定する。
【0059】
従って、コンピュータ端末10は、本発明に係る画像取得手段、画像解析手段、及び重症化推定手段を実現するものと言える。
本発明に係る重症化推定システム100は、上記のような構成を備えるので、従来の発明では十分に考慮されていなかった、早期警告スコアの指標である酸素投与又は意識状態のスコアをコンピュータ処理によってスコアリングすることができ、そのスコアに基づいて患者PAの重症化を推定する。
従って、本発明に係る重症化推定システム100は、早期警告スコアを用いた重症化推定について推測精度の向上を図ることができると共に、重症化推測をする際に生じていた医療従事者の作業コストを軽減することができる。
【0060】
また、コンピュータ端末10は、複数の病床画像データに対する画像解析処理に基づいて、患者PAの顔又は患者PAに装着されている酸素投与機器(酸素マスク)のうち少なくとも一方を抽出し、抽出した患者PAの顔又は酸素投与機器に対する第一解析対象の動作を解析し、患者PAの顔又は酸素投与機器に対する第一解析対象の動作に関する解析結果に基づいて酸素投与についてスコアリングするものと言える。
これにより、酸素投与のスコアをより実態に即してスコアリングすることができ、コンピュータ端末10による患者PAの重症化推定の精度を向上することができる。
【0061】
コンピュータ端末10は、取得した病床画像データに撮影されている患者PAの目を第二解析対象とし、複数の病床画像データに対する画像解析処理によって第二解析対象を解析することによって患者PAの開眼状態(目が開いているか否か)を解析する。
コンピュータ端末10は、解析した患者PAの開眼状態に基づいて意識状態についてスコアリングする。
【0062】
本発明に係る重症化推定システム100は、上記のような構成を備えるので、早期警告スコアの指標である意識状態のスコアをコンピュータ処理によってスコアリングすることができる。
従って、本発明に係る重症化推定システム100は、意識状態のスコアを反映させることによって重症化推定の精度を向上させることができると共に、それをスコアリングする際に生じていた医療従事者の作業コストを軽減することができる。
【0063】
言い換えれば、警報装置50は、以下の2パターンの警報出力をすることができる。
(1)警報装置50は、早期警告スコアに含まれる複数種類の指標に係るスコアの合計値が所定値より高くなった場合、警報を出力する。
(2)警報装置50は、解析した第一解析対象(例えば、患者PA)の動作に基づいて、酸素投与に係るスコアを第一の値(2ポイント)から第一の値より低い第二の値(0ポイント)に変化させた場合、警報を出力する。
従って、警報装置50は、本発明に係る第一警報出力手段及び第二警報出力手段を実現することができる。
【0064】
また、コンピュータ端末10は、取得された病床画像データに撮影されている医療従事者又は医療従事者の身体部位を第三解析対象(例えば、看護師NU)とし、複数の病床画像データに対する画像解析処理によって第三解析対象の動作を解析するものと言える。
そして、病床画像データから解析された第一解析対象(例えば、患者PA)の動作に基づいて酸素投与に係るスコアが第一の値(2ポイント)から第二の値(0ポイント)に変化した場合であっても、当該病床画像データから第三解析対象の動作が解析された場合には、警報装置50は、警報の出力を制限するものと言える。
これにより、医師から酸素投与を指示されている患者PAが自ら酸素マスクを取り外すような場合であっても、患者PAへの酸素マスクの装着を適切に医療従事者に促すことができる。
【0065】
<本発明の変形例について>
ここまで実施形態に即して本発明を説明したが、本発明は上述の実施形態に限定されるものではなく、本発明の目的が達成される限りにおける種々の変形、改良等の態様も含む。
【0066】
上記の実施形態では、単独のコンピュータ端末10によって画像取得手段、画像解析手段、重症化推定手段、及び酸素飽和度取得手段を実現するように説明したが、それぞれの構成を複数の装置に分けて実現してもよい。
【0067】
上記の実施形態では、コンピュータ端末10による画像解析処理の対象として、本発明に係る第一解析対象が患者の身体部位(患者の腕)、第三解析対象が看護師自体である旨を説明したが、本発明の実施はこれに限られない。
例えば、第一解析対象が患者自体、第三解析対象が看護師以外の医療従事者やその身体部位であってもよい。
また、コンピュータ端末10による画像解析処理の対象として、本発明に係る第二解析対象が患者の目である旨を説明したが、この説明は第一解析対象として患者の目を解析することを否定するものではなく、本発明の実施において第一解析対象が患者の目であることは許容される。
【0068】
上記の実施形態では、酸素投与のために患者に装着させる酸素投与機器が酸素マスクである事例について説明したが、これに代えて鼻腔に挿入する鼻カヌレ又はリザーババッグ付マスク(貯留バッグが付属する酸素マスク)等の着脱を画像解析処理によって判断することをもって、酸素投与についてスコアリングしてもよい。
この変形例において、鼻カヌレ又はリザーババッグ付マスクは、酸素投与機器の一種として取り扱える。
【0069】
上記の実施形態に挙げたコンピュータ端末10による解析処理の対象は例示であり、例示していない他の要素を対象として解析処理が行われてもよい。
例えば、病床画像データに撮影されている他の要素(医療従事者が掲げた文字を画像解析した結果等)を解析処理に用いてもよいし、病床画像データと同期して録音した音声データを解析処理に用いてもよいし、計測器20によって計測された計測データやデータベース40に蓄積されている他のデータを解析処理に用いてもよい。
【0070】
上記の実施形態では、患者の重症化を推定する装置(コンピュータ端末10)と、警報を出力する装置(警報装置50)と、が別々である態様を例示したが、これらの装置は一体であってもよい。
また、上記の実施形態では、単一の装置が2パターンの警報を出力する旨を説明したが、別々の装置がそれぞれの態様の警報を出力してもよい。
【0071】
本実施形態は以下の技術思想を包含する。
(1)患者について経時的に取得される患者情報に基づいて、複数種類の指標についてスコアリングして前記患者の重症化を推定する重症化推定システムであって、前記患者の病床を含む撮影領域を経時的に撮影した病床画像データを、前記患者情報として取得する画像取得手段と、取得された前記病床画像データに撮影されている前記患者又は前記患者の身体部位を第一解析対象とし、複数の前記病床画像データに対する画像解析処理によって前記第一解析対象の動作を解析する画像解析手段と、解析された前記第一解析対象の動作に基づいて、前記複数種類の指標に含まれる酸素投与又は意識状態の少なくとも一方についてスコアリングして前記患者の重症化を推定する重症化推定手段と、を備える重症化推定システム。
(2)前記画像解析手段は、複数の前記病床画像データに対する画像解析処理に基づいて、前記患者の顔又は前記患者に装着されている酸素投与機器のうち少なくとも一方を抽出し、抽出した前記患者の顔又は前記酸素投与機器に対する前記第一解析対象の動作を解析し、前記重症化推定手段は、前記患者の顔又は前記酸素投与機器に対する前記第一解析対象の動作に関する解析結果に基づいて酸素投与についてスコアリングする、(1)に記載の重症化推定システム。
(3)前記画像解析手段は、取得された前記病床画像データに撮影されている被写体の中から前記患者の目を第二解析対象とし、複数の前記病床画像データに対する画像解析処理によって前記第二解析対象を解析することによって前記患者の開眼状態を解析し、前記重症化推定手段は、解析された前記患者の開眼状態に関する解析結果に基づいて意識状態についてスコアリングする、(1)又は(2)に記載の重症化推定システム。
(4)前記複数種類の指標に係るスコアの合計値が所定値より高くなった場合、警報を出力する第一警報出力手段と、前記画像解析手段によって解析された前記第一解析対象の動作に基づいて、前記重症化推定手段が酸素投与に係るスコアを第一の値から前記第一の値より低い第二の値に変化させた場合、警報を出力する第二警報出力手段と、を備える(1)から(3)のいずれか一つに記載の重症化推定システム。
(5)前記画像解析手段は、取得された前記病床画像データに撮影されている医療従事者又は前記医療従事者の身体部位を第三解析対象とし、複数の前記病床画像データに対する画像解析処理によって前記第三解析対象の動作を解析し、前記病床画像データから解析された前記第一解析対象の動作に基づいて酸素投与に係るスコアが前記第一の値から前記第二の値に変化した場合であっても、当該病床画像データから前記第三解析対象の動作が解析された場合には、前記第二警報出力手段は、警報の出力を制限する、(4)に記載の重症化推定システム。
【0072】
この出願は、2019年4月2日に出願された日本出願特願2019-70524を基礎とする優先権を主張し、その開示のすべてをここに取り込む。
【符号の説明】
【0073】
100 重症化推定システム
10 コンピュータ端末
20 計測器
30 カメラ
40 データベース
50 警報装置
BE 病床
NU 看護師
PA 患者
図1
図2
図3
図4
図5
図6
図7