特許 7323902 生体情報モニタの画像認識処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2023-08-01

(45)【発行日】2023-08-09

(54)【発明の名称】生体情報モニタの画像認識処理装置

(51)【国際特許分類】

   A61B 5/346 20210101AFI20230802BHJP

   A61B 5/00 20060101ALI20230802BHJP

【ＦＩ】

A61B5/346

A61B5/00 G

【請求項の数】 3

(21)【出願番号】P 2023027988

(22)【出願日】2023-02-27

【審査請求日】2023-02-27

【早期審査対象出願】

(73)【特許権者】

【識別番号】513158081

【氏名又は名称】島崎 拓則

(73)【特許権者】

【識別番号】522451470

【氏名又は名称】安在 大祐

(73)【特許権者】

【識別番号】519177769

【氏名又は名称】川久保 芳文

(73)【特許権者】

【識別番号】504426953

【氏名又は名称】株式会社 ＳＩＳＭ

(74)【代理人】

【識別番号】100134050

【弁理士】

【氏名又は名称】岩崎 博孝

(72)【発明者】

【氏名】島崎 拓則

【審査官】佐藤 秀樹

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ５／００

Ａ６１Ｂ ５／０５－５／０５３８

５／２４－５／３９８

(57)【特許請求の範囲】

【請求項1】

生体の状態に基づいて経時的に変化する心拍数を示す数字及び当該心拍数を示す数字に関連して周期的に変動する心電図を少なくとも含む生体情報モニタ画面の全部又は一部を画像として取得する画像取得手段と、
当該画像から、前記心拍数を示す数字をデータに置き換えて認識する画像処理手段を備え、
更に当該画像処理手段は、前記心拍数を示す数字を置き換えたデータに基づいて前記心電図を標本化するための時間的単位量を得て、且つ、当該時間的単位量毎に前記心電図の変動幅をデータに置き換えて認識する
ことを特徴とする生体情報モニタの画像認識処理装置。

【請求項2】

請求項１において、
前記心拍数を示す数字及び前記心電図におけるＲＲ間隔に基づいて前記時間的単位量を得る
ことを特徴とする生体情報モニタの画像認識処理装置。

【請求項3】

請求項１または２において、
画像として取得した前記心拍数を示す数字のサイズ、若しくは、画像として取得した前記モニタ画面に表示されていて且つ表示サイズが一定している他の要素のサイズに基づいて、前記心電図を量子化する
ことを特徴とする生体情報モニタの画像認識処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、医療機関等に設置され患者の状態を把握するための生体情報モニタに関する。

【背景技術】

【0002】

従来から、医療機関等において、患者の状態を経時的にモニタリングするための生体情報モニタは広く普及しているところである（特許文献１）。例えば、心電図の波形や心拍数、経皮的動脈血酸素飽和度、血圧等をモニタリングしその結果を生体情報モニタの画面に表示するといったものである。なお、生体情報モニタは、１人の患者に対して「１対１」の関係で設けられるタイプもあれば、複数の患者を集中して「多対１」の関係で設けられるタイプ（所謂セントラルモニタ）、更にはそれらを組み合わせたものも含まれる概念である。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２１－１２１３６８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

生体情報モニタには、モニタリングしている患者に何らかの異常が発生したと判断された場合にその異常を知らせるための「アラーム機能」が設けられているが、このアラームが原因となり、医療従事者の疲弊、更には医療ミスが発生するという事態も生じている。

【0005】

生体情報モニタのアラームには，大きく分けて４つの種類があると言われており、第１が不整脈の発生に伴い心電図波形の異常を知らせるアラーム（医学的対処が必要なものと不要なものがある）、第２が脈拍数や血圧などの患者自身の測定値を数値の異常として知らせるアラーム（医学的対処が必要なものと不要なものがある）、第３が患者と機器の接続状態などを知らせるテクニカルアラーム（医学的対処は不要）、第４が生体情報モニタの誤認識によるアラーム（所謂ミスアラームであり医学的対処は不要）である。

【0006】

アラームが鳴れば看護師など医療従事者は現在行っている業務を中断してアラーム内容を確認するべくアラームを止め、心電図などの波形を観察する必要がある。しかし、その行為によって業務中断が増え、更に業務中断により集中力が途切れることにもなる。

【0007】

加えて、医学的対処が不要なアラーム（特にミスアラーム）の割合が多い状況が日常的に続けば、アラーム自体への信用度が低下して「またミスアラームだろう」といった誤った認識を生み、その結果対応が遅れて大きな事故を発生することにもなりかねない。

【0008】

こういったミスアラームの発生を防ぐべく、近年大きく進化しているＡＩ技術を取り入れ多くの患者データを駆使してミスアラームの発生回数そのものを減らしたいという要望はあるものの、実際には容易ではない。

【0009】

特に既存の生体情報モニタの仕様の多様性が障害となる。生体情報モニタには様々なメーカーの更には様々な年代に作られた多種多様な機器が存在しており、画面上に計測値が画像として表示されているに過ぎない（アナログデータ）。特に計測したデータをデジタルデータとして外部にアウトプットすることを前提に設計されていない。即ち、生体情報モニタでモニタリングした過去のデータをデジタルデータとして吸い上げてビッグデータとして活用する前提がそもそも整っていないのである。かといって、全ての生体情報モニタをそういったデータ活用が可能なものに作り変えて切り替えるというのは、時間的にもコスト的にも現実的ではない。

【0010】

そこで本発明は、こういった問題点を解決するべくなされたものであって、現在使用している生体情報モニタをそのまま利用でき、且つ、その生体情報モニタの画面に表示されている情報を、ＡＩ等がそのまま取り扱うことができる形式に置換できる画像認識処理装置を提供する事をその課題としている。

【課題を解決するための手段】

【0011】

上記課題を解決するべく、本願発明は、生体の状態に基づいて経時的に変化する第１の数字及び当該第１の数字に関連して周期的に変動する第１のグラフを少なくとも含む生体情報モニタ画面の全部又は一部を画像として取得する画像取得手段と、当該画像から、前記第１の数字をデータに置き換えて認識する画像処理手段を備え、更に当該画像処理手段は、前記数値データに基づいて前記第１のグラフを標本化するための時間的単位量を得て、且つ、当該時間的単位量毎に前記第１のグラフの変動幅をデータに置き換えて認識することを特徴とする。

【0012】

このように構成したことによって、既存の生体情報モニタの種類・仕様に関わらず、ビックデータとしても利用できる患者のデータを、しかも軽量なデータとして取り出すことが可能となる。

【0013】

具体的には、例えば、前記第１の数字は心拍数を示す数字であり、前記第１のグラフは心電図とし、前記心拍数及び前記心電図におけるＲＲ間隔に基づいて前記時間的単位量を得るのである。加えて、画像として取得した前記第１の数字のサイズ、若しくは、画像として取得した前記モニタ画面に表示されていて且つ表示サイズが一定している他の要素のサイズに基づいて、前記第１のグラフを量子化するのである。

【0014】

このように構成したことによって、生体情報モニタの仕様や画面表示に関わらず、画像として画面に表示されている心電図を所定のタイミング（サンプリング周波数）毎の数値データや記号データとして取得できるのである。

【発明の効果】

【0015】

本発明を適用することで、現在使用している生体情報モニタをそのまま利用でき、且つ、その生体情報モニタの画面に表示されている情報を、ＡＩ等がそのまま取り扱うことができる形式に置換できる画像認識処理装置を提供することができる。

【図面の簡単な説明】

【0016】

【図1】本発明の実施形態の一例である画像認識処理装置を含む生体情報モニタの上位監視システムの概略全体構成図である。

【図2】生体情報モニタの画面の一例であり、本発明に係る画像認識処理装置の画像処理を説明するための図である。

【発明を実施するための形態】

【0017】

以下、添付図面を参照しつつ、本発明の実施形態の一例である画像認識処理装置を含む生体情報モニタの上位監視システム１００について説明を加える。なお、図面理解容易の為、各部の大きさや寸法を誇張して表現している部分があり、実際の製品と必ずしも一致しない部分があることを付記しておく。また各図面は符号の向きに見るものとし、当該向きを基本に上下左右、手前、奥と表現する。

【0018】

〈生体情報モニタの上位監視システムの構成〉
図１に示すように、本発明の実施形態の一例として示す生体情報モニタの上位監視システム１００は、特定の病院１内に設置されている生体情報モニタの画面１０の全部又は一部を撮影するカメラ（撮影手段）１１０と、当該カメラ１１０に接続されるマイコン１２０と、当該マイコン１２０とインターネットを介して病院１の外部に設置されるサーバー１３０と、看護師等の医療従事者が携帯する携帯情報端末（報告手段）１６０を主たる構成要素とする。カメラ（撮影手段）１１０と、当該カメラ１１０に接続されるマイコン１２０とが、画像認識処理装置を構成する。

【0019】

カメラ１１０は、生体情報モニタの画面１０を画像として適切な解像度で撮影できる限りにおいて特に制限はなく、設置の仕方も特に限定されない。例えば画面１０のフレームに魚眼レンズを備えたカメラを貼り付けて画像を取得し、事後的に画像を補正するようなものであっても構わない。

【0020】

マイコン１２０には、カメラ１１０から取得された画像を認識して処理する画像処理手段と、当該マイコン１２０外部と通信する通信手段が備わっている（画像の認識及び処理については後述する）。なお、このマイコン１２０の中に、データを記憶する記憶手段やデータを演算処理して所定の条件に該当した場合にフラグを立てる判定手段を備えていてもよい。なお、マイコン１２０の中にＡＩのプログラムが含まれていてもよい。

【0021】

マイコン１２０は、インターネットを介して病院１の外部に設置されたサーバー１３０に接続される。このサーバー１３０には、マイコン１２０から出力されたデータを記憶する記憶手段１５０と、データを演算処理して所定の条件に該当した場合にフラグを立てる判定手段１４０が備わっている。なお、判定手段１４０にはＡＩのプログラムが含まれている。

【0022】

また、符号１６０は、判定手段１４０（マイコン１２０の中に判定手段が設けられる場合は当該判定手段も含む）からのフラグを受けて警報音等を鳴らす携帯情報端末（報告手段）である。当該携帯情報端末１６０は、病院１内の看護師等の医療従事者が身に付けて使用する。なお当該携帯情報端末１６０は、専用の機器であってもよいし、既存のスマートフォンやスマートウォッチに専用のアプリをインストールして構成するものであってもよい。医療従事者が携帯し易い構成であればよく、図面で示したような腕時計型である必要はない。

【0023】

なお、病院２～４においても、病医１と同じようにカメラ１１０やマイコン１２０等（画像認識処理装置）が設置され、インターネットを介してサーバー１３０に接続されている。

【0024】

また、図面理解容易のため、画面１０は特定の１人の患者のモニタリング結果を示すものとなっているが、所謂セントラルモニタのように複数の患者のモニタリング結果を示すものであってもよい。

【0025】

〈生体情報モニタの上位監視システムの作用・機能〉
続いて、生体情報モニタの上位監視システム１００の動作について説明する。

【0026】

カメラ１１０によって撮影された生体情報モニタの画面１０の画像は、マイコン１２０によって例えば次のように処理される。

【0027】

マイコン１２０はＡＩを利用した画像認識処理が可能であり、画像の中から心拍数を示す数字１２を探して特定する。この特定は、例えば心拍数を示す数字の周りの領域αに表示されている特有の文字や記号（例えば「心拍数」「vital」など）を目印としてもよいし、平常時の心拍数として一般的な数字（例えば５０～８０あたりを変動する数字）を目印として特定してもよい。また、合わせて画像として把握している心拍数を示す数字を、数値データに置き換える。

【0028】

次に、マイコン１２０によって心電図の波形が画像の中から特定される。この心電図の波形の特定についても、例えば心電図の周りの領域βに表示されている特有の文字や記号を目印としてもよいし、心電図特有のグラフ形状（Ｐ波、ＱＲＳ波、Ｔ波、Ｕ波）を目印として特定してもよい。

【0029】

図２に示しているように、あるタイミングの心拍数が「７８」であったとすると、心電図１４のＲ－Ｒ間隔Ｗ１は０．７６９２３０・・・秒分の時間軸方向（Ｘ方向）の長さを示していることが計算上把握できる。その長さを使えば、予め設定した心電図を標本化するための基準とする心電図上のＸ方向長さ（時間的単位量、例えば０．０１秒）を特定することができる。所謂サンプリング周波数に相当するものである。

【0030】

時間的単位量が確定すれば、今度はその時間的単位量毎に、心電図の上下方向（Ｙ方向）の振幅を割り出して数値や記号のデータに置き換える。これは例えば、上で把握した心拍数を示す数字の高さＨ１であったり、サイズが一定で変化しない画面上のその他の要素の高さを基準として、心電図の上下方向（Ｙ方向）の変動をデータ変換する。このデータへの置き換えは連続的に行われる。

【0031】

マイコン１２０によって変換されたデータは、必要により前処理（個人情報を削除する等の処理）を行った上で、インターネットを介してサーバー１３０に送信される。サーバー１３０は、そのデータを必要に応じて記憶手段１５０に追加的に記憶する。また、サーバー１３０に備わる判定手段１４０は、記憶手段１５０に記憶されている過去のデータに基づいて、受信した心電図に関するデータ（心電図の変化）に何からの異常があると判定された場合にはフラグを立て、インターネットを介して携帯情報端末１６０に送信し、警報音等を鳴らす。

【0032】

なお、本発明に係る生体情報モニタの上位監視システム１００は、既存の生体情報モニタに追加する形で取り付けて使用するため、当該システム１００における判定手段１４０が異常フラグを立てない場合でも、既存の生体情報モニタのアラーム機能が鳴る場合は当然ながら想定される。よって、生体情報モニタのアラームが鳴った場合の結果（ミスアラームであったか否か）に関する情報を都度入力する手段を別途備え、それをサーバー１３０に送信するような構成とすれば、判定手段１４０が判定する基礎となるデータが更に充実したものとなり、より精度の高い判定を行えるようになる。

【0033】

また、本発明に係る生体情報モニタの上位監視システム１００は、必ずしも特定の病院１の外にサーバー１３０をおいて且つ複数の他の病院２～４からもデータを受けて構成されるものばかりでなく、特定の病院１内で完結するシステムとして捉えて構築することも可能である。具体的には、マイコン１２０の中に、記憶手段や判定手段が備わっていれば、特定の病院１内のイントラネットを利用して同様の機能を実現できる。

【0034】

上記構成でも説明した通り、本願発明は、生体の状態に基づいて経時的に変化する第１の数字（心拍数１２）及び当該第１の数字（心拍数１２）に関連して周期的に変動する第１のグラフ（心電図１４）を少なくとも含む生体情報モニタ画面１０の全部又は一部を画像として取得する画像取得手段（カメラ１１０）と、当該画像から、前記第１の数字（心拍数１２）をデータに置き換えて認識する画像処理手段（マイコン１２０）を備え、更に当該画像処理手段（マイコン１２０）は、前記数値データに基づいて前記第１のグラフ（心電図１４）を標本化するための時間的単位量（サンプリング周波数）を得て、且つ、当該時間的単位量毎に前記第１のグラフ（心電図１４）の変動幅をデータに置き換えて認識することを特徴とする。

【0035】

このような方法によって、既存の生体情報モニタの種類・仕様に関わらず、ビックデータとしても利用できる患者のデータを、しかも軽量なデータとして取り出すことが可能となる。

【0036】

具体的には、例えば、前記心拍数１２及び前記心電図１４におけるＲＲ間隔Ｗ１に基づいて前記時間的単位量（サンプリング周波数）を得るのである。加えて、画像として取得した前記第１の数字（心拍数１２）のサイズ、若しくは、画像として取得した前記モニタ画面１０に表示されていて且つ表示サイズが一定している他の要素のサイズに基づいて、前記第１のグラフ（心電図１４）を量子化するのである。

【0037】

このように構成したことによって、生体情報モニタの仕様や画面表示に関わらず、画像として画面に表示されている心電図を所定のタイミング（サンプリング周波数）毎の数値データや記号データとして取得できるのである。

【0038】

〈その他の構成例〉
上記では、心拍数と心電図と例に説明しているが、この組み合わせだけに限るものではない。例えば、心拍数と心電図のＲＲ間隔とから得られた時間的単位量を利用して、その他の経時的要素があるグラフ（例えば脈波、呼吸リズムなどの時系列グラフ）についてもデータ化して利用することが可能である。

【0039】

また、上記では、人間を前提に説明しているが、モニタリング対象が動物の場合も適用可能である。

【符号の説明】

【0040】

１０・・・生体情報モニタの画面
１２・・・心拍数
１４・・・心電図
１００・・・生体情報モニタの上位監視システム
１１０・・・カメラ（画像取得手段）
１２０・・・マイコン
１３０・・・サーバー
１４０・・・演算処理装置
１５０・・・記憶手段
１６０・・・携帯情報端末

【要約】

【課題】
現在使用している生体情報モニタをそのまま利用でき、且つ、その生体情報モニタの画面に表示されている情報を、ＡＩ等がそのまま取り扱うことができる形式に置換できる画像認識処理装置を提供する。
【解決手段】
生体の状態に基づいて経時的に変化する心拍数１２及び心電図１４を少なくとも含む生体情報モニタ画面１０の全部又は一部を画像として取得するカメラ１１０と、画像から、心拍数１２をデータに置き換えて認識するマイコン１２０を備え、更にマイコン１２０は、数値データに基づいて心電図１４を標本化すると共に画面内の特定の要素の大きさに基づいて心電図１４を量子化する。
【選択図】図１

【図1】

【図2】