(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-02-24
(54)【発明の名称】画像認識に基づく排出監視システム及び方法
(51)【国際特許分類】
A61B 5/00 20060101AFI20220216BHJP
A61G 7/02 20060101ALI20220216BHJP
【ＦＩ】
A61B5/00 102A
A61G7/02
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021538480
(86)(22)【出願日】2019-12-19
(85)【翻訳文提出日】2021-08-25
(86)【国際出願番号】 CN2019126662
(87)【国際公開番号】W WO2020135226
(87)【国際公開日】2020-07-02
(31)【優先権主張番号】201811652811.4
(32)【優先日】2018-12-29
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】521286488
【氏名又は名称】劉 鉄楠
(74)【代理人】
【識別番号】100070024
【弁理士】
【氏名又は名称】松永 宣行
(74)【代理人】
【識別番号】100195257
【弁理士】
【氏名又は名称】大渕 一志
(72)【発明者】
【氏名】劉 鉄楠
(72)【発明者】
【氏名】呉 春涛
(72)【発明者】
【氏名】艾 梦池
【テーマコード（参考）】
4C040
4C117
【Ｆターム（参考）】
4C040AA11
4C040AA18
4C040FF20
4C040GG20
4C117XB01
4C117XB04
4C117XE04
4C117XE33
4C117XE43
4C117XE57
4C117XH12
4C117XJ01
4C117XJ13
4C117XJ16
4C117XJ45
4C117XQ20
(57)【要約】
画像認識に基づく排出監視システム及び方法が開示される。例示的な実施形態によれば、排出監視システムは、排出液のビデオストリームデータを取得するための少なくとも１つのビデオ取得装置と、少なくとも１つのビデオ取得装置に接続され、ビデオストリームデータを受信して、ビデオストリームデータを処理して排出液の排出データを取得するために使用される画像処理モジュールと、画像処理モジュールに接続され、排出データを受信及び監視するために使用される監視モジュールとを備える。さらに、監視システムは、複数の監視モジュールの監視データをリアルタイムで監視する中央監視モジュールをさらに備えてもよい。排出監視システムは、排出液の排出体積、色、濁度等の複数の排出データを集中的に監視し、関連データを監視して警報を発生させることができるため、医療スタッフの作業負担を効果的に軽減し、医療リスクを低減し得る。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
画像認識に基づく排出監視システムであって、排出液のビデオストリームデータを取得するための少なくとも１つのビデオ取得装置と、
前記少なくとも１つのビデオ取得装置に接続される画像処理モジュールであって、前記ビデオストリームデータを受信し、かつ前記ビデオストリームデータを処理して前記排出液の排出データを取得するために使用される画像処理モジュールと、
前記画像処理モジュールに接続され、かつ前記排出データを受信及び監視するために使用される監視モジュールと
を備える、排出監視システム。
【請求項2】
前記ビデオ取得装置は、排出容器に向けられた第１のビデオ取得装置を含み、排出管に向けられた第２のビデオ取得装置を選択的に含む、請求項１に記載の排出監視システム。
【請求項3】
前記排出データは、前記排出液の色、濁度、及び排出体積を含む、請求項１に記載の排出監視システム。
【請求項4】
前記監視モジュールは、前記排出液の排出体積に基づいて、排出管を通過する前記排出液の流量を計算するようにさらに構成される、請求項３に記載の排出監視システム。
【請求項5】
前記監視モジュールは、前記色及び濁度の変化に基づいて、前記排出液の特性変化を決定するようにさらに構成される、請求項３に記載の排出監視システム。
【請求項6】
前記画像処理モジュールは、前記ビデオストリームデータからクリティカル画像フレームを抽出するための画像サンプリングモジュールと、
前記クリティカル画像フレームに対して画像認識を実行し、かつ前記クリティカル画像フレームの色情報を抽出するための色抽出モジュールと、
前記排出液の濁度情報を決定するために前記クリティカル画像フレームを処理するための濁度検出モジュールと、
前記クリティカル画像フレームに対して画像認識及び強調を実行し、かつ前記クリティカル画像フレームのスケール値情報を読み取るための排出体積読み取りモジュールと
を含む、請求項１に記載の排出監視システム。
【請求項7】
前記画像サンプリングモジュールは、前記色情報の変化に基づいて、サンプリングレートを調整するように構成される、請求項６に記載の排出監視システム。
【請求項8】
前記濁度検出モジュールは、前記クリティカル画像フレームから画像の輝度値を抽出するように構成された輝度抽出モジュールと、
前記輝度値に基づいて前記濁度情報を表すように構成された濁度決定モジュールと
を含む、請求項６に記載の排出監視システム。
【請求項9】
前記画像処理モジュールは、前記ビデオストリームデータからクリティカル画像フレームを抽出するための画像サンプリングモジュールと、
前記クリティカル画像フレームから色特性及び濁度特性を抽出する画像特徴抽出モジュールと
を含み、前記画像特徴抽出モジュールは、ニューラルネットワークトレーニングによって取得されるモデルである、請求項１に記載の排出監視システム。
【請求項10】
前記画像サンプリングモジュールは、前記色特性の変化に基づいて、サンプリングレートを調整するように構成される、請求項９に記載の排出監視システム。
【請求項11】
前記監視モジュールは、前記排出液の排出データの色、濁度、排出体積を受信するための第１のデータ受信ユニットと、
前記排出体積に基づいて、排出管を通過する前記排出液の流量を計算し、前記色及び濁度の変化に基づいて、前記排出液の特性変化を決定するためのデータ処理ユニットと、
前記色、濁度、排出体積、流量、及び特性変化のうちの少なくとも１つをリアルタイムで表示するための第１の表示ユニットと、
前記色、濁度、排出体積、流量及び特性変化のうちの少なくとも１つがプリセット閾値を超えたときに、警報信号を生成するための第１の警報ユニットと
を含む、請求項３に記載の排出監視システム。
【請求項12】
複数の監視モジュールの監視データをリアルタイムで監視するための中央監視モジュールをさらに備える、請求項１１に記載の排出監視システム。
【請求項13】
前記中央監視モジュールは、複数の監視モジュールから有線又は無線で送信される監視データを受信するための第２のデータ受信ユニットであって、前記監視データは、前記色、濁度、排出体積、流量、及び特性変化のうちの少なくとも１つを含む第２のデータ受信ユニットと、
前記監視データを記憶するための記憶ユニットと、
前記複数の監視モジュールの監視データを同時に表示するための第２の表示ユニットと
を含む、請求項１２に記載の排出監視システム。
【請求項14】
前記中央監視モジュールは、前記複数の監視モジュールのいずれかの監視データが閾値を超えたときに、警報信号を生成するための第２の警報ユニットと、
各監視モジュールの監視データに対してプリセット閾値を設定するための閾値設定ユニットと
をさらに含む、請求項１３に記載の排出監視システム。
【請求項15】
画像認識に基づく排出監視方法であって、排出液のビデオストリームデータを取得するステップと、
前記ビデオストリームデータを処理して前記排出液の排出データを取得するステップと、
前記排出データを受信及び監視するステップと
を含み、前記排出データは、前記排出液の色、濁度、排出体積を含む、方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、一般に、医療機器に関し、特に、画像認識に基づく排出監視システム及び方法に関する。
【背景技術】
【0002】
体液を排出するための装置は、医療分野で最も一般的な医療機器の１つであり、様々な臨床部門に広く応用されている。現在、体液を排出するために最も一般的に使用される装置は、排出ボトル又はバッグである。臨床診断及び治療の適用過程では、排出装置は通常病床の底に設置され、重力又は陰圧によって体液を排出するために使用される。
【0003】
排出過程中の疾病の状態の変化は、排出液の排出体積、色、濁度等の様々な指標によって特徴付けられる。特に、排出液の体積は、患者の体腔内における滲出液、血液、膿及び他の液体の蓄積の程度を反映する。排出液の色と濁度は、排出領域の組織の状態をある程度反映する。現在、医療用排出装置は手動検査で監視されているが、排出装置内の液体の自動監視は実現できない。一般に、排出処置の監視過程は、長い時間、例えば、いくつかの場合には数日又は数週間を必要とする。このため、多くの人手が必要となり、特に夜間又は看護者が不足している場合には、排出液の体積、色、濁度又は他の情報を観察及び監視することが困難となる。また、大量出血を起こすような血管破裂、又は異常物質が排出液に注入されて透明な状態から液体が濁った状態になる等、患者の病状が悪化すると、排出液の流量が短時間で急激に増加し、又は排出液の特性が変化する等、緊急事態が発生することがあり、これらは全て看護者が適時に見出して適切な処置を行う必要がある。しかしながら、手動観察又は監視の従来のモードを用いて、このような変化を適時に見出することは困難であるため、救助が遅れて、その結果、深刻な結果が引き起こされ、患者の生命を危険にさえする。
【0004】
これらを鑑みて、排出液の排出体積、流量、色を含む排出データを同時に集中監視することが可能であり、排出異常の適時の発見、記録、警報、処置計画の作成を行うことが可能であり、それによって、看護者の負担を軽減し、断続的な手動監視に起因する医療リスクを最大限低減し得る排出監視装置を提供することが望ましい。
【発明の概要】
【0005】
本発明は、上記の技術的課題を解決するために、排出液の排出体積、流量、排出液の色及び濁度等の排出過程における重要な情報及びデータの一元的な監視を実現し、関連するデータを効果的に収集して記録し、異常発生時に警報を発する医療用排出監視システム及び方法を提供する。
【0006】
本開示の一態様によれば、画像認識に基づく排出監視システムが提供され、このシステムは、排出液のビデオストリームデータを取得するための少なくとも１つのビデオ取得装置と、前記少なくとも１つのビデオ取得装置に接続される画像処理モジュールであって、前記ビデオストリームデータを受信し、かつ前記ビデオストリームデータを処理して前記排出液の排出データを取得するために使用される画像処理モジュールと、前記画像処理モジュールに接続され、前記排出データを受信及び監視するために使用される監視モジュールとを備える。
【0007】
一実施形態によると、前記ビデオ取得装置は、排出容器に向けられた第１のビデオ取得装置を含み、排出管に向けられた第２のビデオ取得装置を選択的に含む。
【0008】
一実施形態では、前記排出データは、前記排出液の色、濁度、及び排出体積を含む。
【0009】
一実施形態では、前記監視モジュールは、前記排出液の排出体積に基づいて、排出管を通過する前記排出液の流量を計算するようにさらに構成される。
【0010】
一実施形態では、前記監視モジュールは、前記色及び濁度の変化に基づいて、前記排出液の特性変化を決定するようにさらに構成される。
【0011】
一実施形態では、前記画像処理モジュールは、前記ビデオストリームデータからクリティカル画像フレームを抽出するための画像サンプリングモジュールと、前記クリティカル画像フレームに対して画像認識を実行し、かつ前記クリティカル画像フレームの色情報を抽出するための色抽出モジュールと、前記排出液の濁度情報を決定するために前記クリティカル画像フレームを処理するための濁度検出モジュールと、前記クリティカル画像フレームに対して画像認識及び強調を実行し、かつ前記クリティカル画像フレームのスケール値情報を読み取るための排出体積読み取りモジュールとを含む。
【0012】
一実施形態では、前記画像サンプリングモジュールは、前記色情報の変化に基づいて、サンプリングレートを調整するように構成される。
【0013】
一実施形態では、前記濁度検出モジュールは前記クリティカル画像フレームから画像の輝度値を抽出するように構成された輝度抽出モジュールと、前記輝度値に基づいて前記濁度情報を表すように構成された濁度決定モジュールとを含む。
【0014】
一実施形態では、前記画像処理モジュールは、前記ビデオストリームデータからクリティカル画像フレームを抽出するための画像サンプリングモジュールと、前記クリティカル画像フレームから色特性及び濁度特性を抽出するための画像特徴抽出モジュールとを含み、前記画像特徴抽出モジュールは、ニューラルネットワークトレーニングによって取得されるモデルである。
【0015】
一実施形態では、前記画像サンプリングモジュールは、前記色特性の変化に基づいて、サンプリングレートを調整するように構成される。
【0016】
一実施形態では、前記監視モジュールは、前記排出液の排出データの色、濁度、排出体積を受信するための第１のデータ受信ユニットと、前記排出体積に基づいて、排出管を通過する排出液の流量を計算し、前記色及び濁度の変化に基づいて、前記排出液の特性変化を決定するためのデータ処理ユニットと、前記色、濁度、排出体積、流量、及び特性変化のうちの少なくとも１つをリアルタイムで表示するための第１の表示ユニットと、前記色、濁度、排出体積、流量及び特性変化のうちの少なくとも１つがプリセット閾値を超えたときに、警報信号を生成するための第１の警報ユニットとを含む。
【0017】
一実施形態では、複数の監視モジュールの監視データをリアルタイムで監視するための中央監視モジュールをさらに備える。
【0018】
一実施形態では、前記中央監視モジュールは、複数の監視モジュールから有線又は無線で送信される監視データを受信するための第２のデータ受信ユニットであって、前記監視データは、前記色、濁度、排出体積、流量、及び特性変化のうちの少なくとも１つを含む第２のデータ受信ユニットと、前記監視データを記憶するための記憶ユニットと、前記複数の監視モジュールの監視データを同時に表示するための第２の表示ユニットとを含む。
【0019】
一実施形態では、前記中央監視モジュールは、前記複数の監視モジュールのいずれかの監視データが閾値を超えたときに、警報信号を生成するための第２の警報ユニットとをさらに含む。
【0020】
一実施形態では、中央監視モジュールは、各監視モジュールの監視データに対してプリセット閾値を設定するための閾値設定ユニットをさらに含む。
【0021】
本開示の別の態様によれば、画像認識に基づく排出監視方法が提供され、この方法は、排出液のビデオストリームデータを取得するステップと、前記ビデオストリームデータを処理して前記排出液の排出データを取得するステップと、前記排出データを受信及び監視するステップとを含み、前記排出データは、前記排出液の色、濁度、排出体積を含む。
【0022】
本発明の実施形態に係る排出監視システムは、従来技術に比べて、排出液の色及びその変化を正確に監視することが可能であり、画像処理に基づいて、排出液の流量、排出体積、濁度等の様々な排出データの監視を実現することが可能である。この排出監視システムは、上記の排出データを処理及び記録すると共に、異常時に警報を発することが可能であり、医療リスクを大幅に低減し得る。この監視システムは、排出液の液体特性に関する要件がなく、高精度で全ての体液に十分に応答することが可能である。さらに、この監視システムは構造が単純であり、設置及び展開に便利であり、従って様々な臨床場面に適用可能である。
【0023】
添付の図面に関連した本開示の実施形態のより詳細な説明により、本開示の実施形態の上記及び他の目的、特徴及び利点がより明らかになる。図面は、本開示の実施形態のさらなる理解を提供するために含まれており、本開示の実施形態と共に本開示を説明するために明細書に組み込まれかつその一部を構成するが、本開示の限界を定義する役割をすることを意図するものではない。なお、同一符号は同一構成要素を示している。
【図面の簡単な説明】
【0024】
【図1】本開示の一実施形態による排出監視システムの概略ブロック図である。
【0025】
【図2】本発明の一実施形態による画像処理モジュールの概略ブロック図である。
【0026】
【図3】本開示の別の実施形態による画像処理モジュールの概略ブロック図である。
【0027】
【図4】本開示の一実施形態による監視モジュールの構造ブロック図である。
【0028】
【図5】本開示の一実施形態による中央監視モジュールの構造ブロック図である。
【0029】
【図6】本開示の一実施形態による排出監視方法のフローチャートである。
【発明を実施するための形態】
【0030】
以下、本発明の実施形態について図面を参照しながら詳細に説明する。本明細書に記載される特定の実施形態は、関連する開示を説明するためにのみ使用され、本開示を制限することを意図しないことを理解されたい。
【0031】
本開示の監視システムは、体液の排出を含む様々な医療処置に適している。排出過程では、腹水及び胸水等の種々の体液が、一般に排出体腔から医療用排出管を介して流出し、最終的に排出容器内に収容される。排出容器は、体液を排出するために液圧差を生じるように一般に体腔の下に配置される排出ボトル、排出バッグ、陰圧排出装置、外科手術で使用される吸引装置等の医療処置におけるあらゆる種類の排出容器とし得る。
【0032】
上述したように、従来の排出装置では、排出液の排出体積及び色等の他のデータを手動で監視することが一般的であり、そのため適時監視ができないことによるリスクが生じやすい。したがって、本開示は、排出処理における排出データを検出及び監視することが可能な装置を提供する。「排出装置」という用語が本開示において使用されているが、その意味は、排出液を受け入れるために使用される排出容器だけでなく、排出容器及び患者の排出部位に接続される排出管、及び排出容器に接続される陰圧装置も含む。また、排出液の色の監視を実現するために、排出管及び排出容器は、好ましくは、ガラス又は透明シリカゲル等の透明材料から作られる。
【0033】
図１は、本発明の第１の実施形態による排出監視システムの概略図である。図１に示されるように、排出監視装置は、排出液を撮影して、排出液のビデオストリーミングデータを取得し得るビデオ取得装置１０と、ビデオ取得装置１０に接続され、ビデオストリーミングデータを受信し、ビデオストリーミングデータを処理して排出液の排出データを取得し得る画像処理モジュール２０と、画像処理モジュール２０に接続され、排出データの受信及び監視に使用される監視モジュール３０とを備える。
【0034】
ビデオ取得装置１０は、カメラ等の光センサ装置を用いてもよい。カメラは、連続的に画像データシーケンスを取得してビデオストリーミングデータを形成する。純粋な画像データと比較して、本開示は、排出過程の動的リアルタイム監視を実装するためにビデオデータを使用する。
【0035】
図１に示すように、ビデオ取得装置１０は、排出処理を撮影するために排出装置４０に向けられる。少なくとも１つのビデオ収集装置を設けることができる。一実施形態では、排出容器内の排出液を監視するために、排出容器に向けられた第１のカメラのみが設けられてもよい。排出容器の側面には、１つ以上の体積スケールを設けることができる。例えば、識別を容易にするために、排出容器の各側面に体積スケール線を印刷し得る。体積スケール線は、耐摩耗性と耐食性に優れたブラックで印刷される。そのため、取得されたビデオデータには、排出体積及び色等の情報が含まれている。別の実施形態では、排出管に向けられた第２のカメラを追加して、排出管を通って流れる排出液の色情報を取得し得る。術後の排出時に血管破裂等の危険な状況が生じた場合には、排出管内の排出液の色変化よりも、排出容器内の排出液の色変化の方が目立ちにくい。したがって、このような危険は、第２のカメラで取得した取得データによって、より敏感に監視し得る。
【0036】
ビデオ取得装置１０は、排出容器又は陰圧装置に取り外し可能に取り付けられてもよい。代替的に、それは排出容器と共にＩＶフレームに取り付けることができ、これにより、排出容器が患者の排出体腔の下に確実に配置される。一方、ビデオ取得装置と排出容器の位置は相対的に互いに固定されており、これにより、ビデオ取得データのフォーマット整合性が確保される。いくつかの実装では、光源は、夜間の排出処理中にキャプチャされたデータの鮮明さを確保するように設定し得る。代替的に、特定の状況に応じて光源を使用しなくてもよい。
【0037】
画像処理モジュール２０は、カメラで撮影されたビデオデータを受信し、画像処理により、排出液の色、濁度、排出体積等の排出データを取得する。一実施形態では、図２に示すように、画像処理モジュールは、画像サンプリングモジュール２１と、色抽出モジュール２２と、濁度検出モジュール２３と、排出体積読み取りモジュール２４とを含む。
【0038】
ビデオストリームデータは、所定の順序に並べられた画像のシーケンスと見なすことができる。画像サンプリングモジュール２１は、カメラによって取得されたビデオストリームデータからクリティカル画像フレームを抽出するために使用される。本明細書で使用される「クリティカル画像フレーム」とは、排出データが取得され得る画像を意味する。画像取得モジュール２１は、固定サンプリングレートで、例えば、毎秒１画像フレームを抽出することによって、ビデオストリームデータ内のクリティカル画像フレームを抽出し得る。また、後述するように、所定期間中の排出処理の動的かつ正確な監視を実現するために、排出データの変化に応じてクリティカル画像フレームのサンプリングレートを調整することも可能である。
【0039】
色抽出モジュール２２は、クリティカル画像フレームに対して画像認識を実行し、クリティカル画像フレームの色情報を抽出するために使用される。一実施形態では、画像認識は、色情報を抽出するために、第１のカメラ又は第２のカメラによって取得されたクリティカル画像フレームに対してのみ実行されてもよい。他の実施形態では、画像認識は、色情報を抽出するために、第１のカメラと第２のカメラの両方で同時に取得されたクリティカルフレーム画像に対して実行されてもよい。比較分析により患者の排出状況が取得されてもよい。排出管に向けられた第２のカメラの画像の色情報は、排出液のリアルタイムの色をより良く表すことができるので、色抽出モジュール２２は、好ましくは、第２のカメラのクリティカル画像フレーム内の色情報を抽出する。
【0040】
一実施形態では、色抽出モジュール２２は、プリセットサンプリング規則に従ってクリティカル画像フレームの複数のサンプリング点のＲＧＢ値を取得し、次いで、複数のサンプリング点の色値に基づいてクリティカル画像フレームの色情報を推定し得る。なお、同一のクリティカル画像フレームの排出液の色は、実質的に、排出領域において均一であると推定され得る。したがって、この領域内の数画素の色値は、画像内のほとんどの画素を表し得る。この領域の色情報を抽出し得るように、複数のサンプリング点を選択し、そのサンプリング点の色値を取得するサンプリングエリアとして排出ボトル又は排出管を取り込むことができる。
【0041】
クリティカル画像フレームの色は、光又は排出容器の透過率等の様々な要因の影響によって干渉され得る。この影響に対抗するために、一実施形態では、取得した色情報を補正し得る。例えば、標準色カードの画像をカメラで撮影し、標準色カードの色を抽出し、次いで、標準色と比較して２つの色値のずれ値を補正係数として求める。この補正係数を用いて、クリティカル画像フレームから抽出された排出液の色を補正し得る。
【0042】
一実施形態では、画像サンプリングモジュール２１は、色情報の変化に基づいてサンプリングレートを調整するように構成される。色情報の変化は、３チャンネルのＲＧＢ値に基づいて、経時的な廃液の色の変化値を計算することにより決定されてもよい。変化は、排出液全体の色の変化値であってもよく、又は単一チャンネルの色値の変化量であってもよい。排出液の色変化が激しい場合には、例えば、画像のＲ値が閾値を超えて変化するときは、患者の排出が異常であることを示してもよい。この場合、例えば、毎秒１画像フレームから毎秒５画像フレームにサンプリングレートを調整することにより、ビデオストリームデータから抽出されるクリティカル画像フレームのサンプリングレートを増加させるべきであり、それによって排出処理の監視がより正確になる。
【0043】
濁度検出モジュール２３は、クリティカル画像フレームを処理し、排出液の濁度情報を決定するために使用される。本開示において、画像の輝度情報は、排出液の濁度を特徴付けるために使用される。一実施形態では、濁度検出モジュールは、クリティカル画像フレームから画像の輝度値を抽出するように構成された輝度抽出モジュールと、輝度値に基づいて濁度情報を表すように構成された濁度決定モジュールとを含む。
【0044】
クリティカル画像フレームの輝度値を抽出するために、様々な方法を使用し得る。例えば、クリティカル画像フレームは、ＲＧＢ空間からＹＵＶフォーマットに変換されてもよく、Ｙ値は、変換式Ｙ＝０．２９９＊Ｒ＋０．５８７＊Ｇ＋０．１１４＊Ｂとして表され得る排出液の濁度として使用され得る。一実施形態では、クリティカル画像フレームをＲＧＢ空間から他の色空間に変換することもできる。例えば、ＬＡＢ空間のＬ成分又はＨＳＩ空間のＩ成分を画像の画素の輝度値として用いることもできる。
【0045】
画像中の排出管領域の全画素の輝度値を抽出した後で、全輝度値の平均値又は平均二乗値を計算することにより、排出液の濁度情報を表すことができる。その値が閾値より大きい場合には、排出液が正常な透明状態であることを示すが、その値が閾値より小さい場合には、血栓が排出液中に存在している可能性があり、それによって排出液が濁った状態にあることを示す。
【0046】
排出体積読み取りモジュール２４は、クリティカル画像フレームに対して画像認識及び強調処理を行い、排出容器に収容された排出体積を表すクリティカルフレーム画像のスケール値情報を特定する。一実施形態では、スケール値情報は、排出液の液面レベルに基づいて決定し得る。具体的には、第１に、フレーム画像をグレースケールモードに変換した後で、画像フレームに対してメジアンフィルタリング処理を行って、画像内の液面情報を強調する。そして、処理された画像に対してエッジ強調処理を行い、それによって排出液の液面線を抽出してもよい。例えば、液面線の画素の座標値に基づいて排出体積を計算してもよい。一例では、第１のカメラは、クリティカル画像フレーム内に２つの液面線が存在するように、排出容器の２つの側面上の体積スケール線に向けられ得る方向に配置される。この場合、２つの液面線の平均画素座標値に基づいて排出体積を計算し得るので、カメラと液面線との間で可能な角度差の影響を相殺し得る。
【0047】
別の実施形態では、本開示は、機械学習法を使用して、排出データにおける色特性及び濁度特性を抽出することもできる。図３に示すように、画像処理モジュールは、画像サンプリングモジュール２１’と、画像特徴抽出モジュール２２’と、排出体積読み取りモジュール２４’とを含み、画像取得モジュール２１’及び排出体積読み取りモジュール２４’の機能及び構成は、上述したように、画像取得モジュール２１及び排出体積読み取りモジュール２４と同じであり、ここでは繰り返さない。
【0048】
画像特徴抽出モジュール２２’は、ニューラルネットワークトレーニングに基づいて取得されるモデルであり、クリティカル画像フレームから色特徴及び濁度特徴を抽出するために使用される。一実施形態では、ニューラルネットワークは畳み込みニューラルネットワーク（ＣＮＮ）モデルを使用してもよく、ＹＵＶ空間における色情報は、画像の輝度及びクロミナンス情報を独立して反映するモデルの入力特徴として使用される。検出モデルはニューラルネットワークをトレーニングして取得され、モデル中の所定の層の出力は色特性と濁度特性の記述子として用いられる。モデルには、実際に撮影された任意の画像を入力することができ、画像に含まれる排出データの記述を取得し得る。具体的には、排出管の識別すべき領域の所定数の画素を抽出し、画素の色値をＹＵＶ空間の色値に変換した後で、そのデータをトレーニングされたＣＮＮモデルに入力して色及び濁度情報を識別する。
【0049】
一実施形態では、画像サンプリングモジュール２１’は、色特性の変化に基づいてサンプリングレートを調整するように構成されてもよい。その機能及び原理は、以前の画像取得モジュール２１と同じであり、ここでは繰り返さない。
【0050】
図１に戻ると、画像処理モジュール２０は、データ回線を介して監視モジュール３０に接続されており、これは、排出液の色、濁度、排出体積等の排出データを受信する。なお、後述するように、監視モジュール３０は、受信した排出データと設定値とを比較して排出データを監視してもよい。
【0051】
一実施形態では、監視モジュール３０は、排出液の排出体積データに基づいて排出管を流れる排出液の流量を計算し得る。具体的には、画像サンプリングモジュールは、例えば、毎秒１フレームの画像を抽出し、排出体積読み取りモジュールは、第１のフレーム画像のスケール値情報Ｌ１及び第３０のフレーム画像のスケール値情報Ｌ２をそれぞれ読み出す。３０秒以内の排出体積はＬ２－Ｌ１である。したがって、直径Ｄの排出管を流れる流量は、ｖ＝４＊（Ｌ２－Ｌ１）／（３０＊πＤ２）と計算され得る。
【0052】
さらに、監視モジュール３０は、色及び濁度の変化に基づいて、排出液の特性変化を決定するように構成することもできる。特徴的な変化としては、排出液中に異常物質が含まれていること、例えば、排出液中に血栓又はガスが出現し、これによって排出液の色又は濁度が変化することが挙げられる。上述したように、色の変化は、３つのチャンネルのＲＧＢ値に基づいて計算可能な経時的な排出液の色変化値であってもよい。このような変化値は、排出液全体の色の変化に基づいてもよく、所定のチャンネルの色値の変化に基づいてもよい。濁度の変化は、画像の輝度値に基づいて監視し得る。排出液の特性変化がプリセット閾値を超える場合、監視モジュール３０は、警報を開始して、患者の家族又は医療スタッフにそれをチェックし又は対処するように迅速に警告し得る。
【0053】
一例として、図４に示すように、監視モジュール３０は、第１のデータ受信ユニット３１と、データ処理ユニット３２と、第１の表示ユニット３３とを含む。第１のデータ受信ユニット３１は、画像処理モジュール２０とデータ回線を介して接続され、排出液の色、濁度、排出体積等のデータを受信して、受信したデータをデータ処理ユニット３２に送信するために使用される。データ処理ユニット３２は、例えば、排出体積データに基づいて、排出管を通過する排出液の流量を計算し、色及び濁度の変化に基づいて、排出液の特徴的な変化を決定するように、関連データに対して演算を行ってもよい。一例では、データ処理ユニット３２は、排出ボトルの流量及び現在の体積に基づいて、現在の排出ボトルが完全に充填される推定時間を計算してもよい。排出データの少なくとも１つは、第１表示ユニット３３を介してリアルタイムに表示し得る。排出ボトル又は排出バッグが病床の底に置かれるか又はカバーされる通常の実施と比較して、排出データのリアルタイム表示は、排出体積、排出色又は濁度等の排出データの観察をより便利にし得る。
【0054】
第１の表示ユニット３３が表示するコンテンツは、特定の必要に応じて選択し得る。１つ以上の表示ユニットが設定され得るので、その数は実際の必要に応じて調整され得る。例えば、表示ユニットは、ベッドサイド及びナースステーションにそれぞれ設定し得る。第１の表示ユニット３３は、例えば、液晶ディスプレイ、ライトコラム、デジタルディスプレイ調節可能器具等のような種々の形態の表示ユニットであってもよく、一体化又は分割されていてもよい。排出液の色は、色情報を介して直接表示してもよいし、ＲＧＢ成分の値を介して表示してもよい。一実施形態では、第１の表示ユニット３３は、ハンドヘルドＰＤＡ等の操作装置であってもよく、医療従事者がいつでも観察できるように、排出データはこの装置に無線で送信され得る。第１の表示ユニット３３とデータ処理ユニット３２とは有線又は無線で接続されている。例えば、排出データは、遠隔リアルタイム監視の目的を達成するためにブルートゥース（登録商標）を介して第１の表示ユニット３３に送信されてもよい。
【0055】
例えば、データ処理ユニット３２は、データの演算処理が可能なシングルチップマイクロコンピュータ、プロセッサ等を用いて排出データの演算処理を実装してもよい。データ処理ユニットはまた、プロセッサに接続された入力システム、出力システム、及び無線通信モジュールを含んでもよい。一例では、データ処理ユニット３２は、有線又は無線方式で陰圧治療装置に接続される。例えば、排出液の特性が変化し、排出液中にガスが存在すると決定された場合、陰圧を増加させてガスを吸引するように制御信号を陰圧治療装置に送ることができる。
【0056】
一例では、監視モジュール３０は、第１の警報ユニット３４をさらに含み、これは、排出体積、流量、色、濁度、及び特性変化のうちの少なくとも１つがプリセット閾値を超えたときに警報信号を生成するために使用される。例えば、データ処理ユニット３２は、濁度とプリセット閾値とを比較して、排出液中に血栓等の異常が生じているか否かを決定し得る。そうである場合、第１の警報ユニット３４は、警報信号を生成するようにトリガされる。なお、プリセット閾値は、データ処理ユニット３２に固定的に設定してもよく、又は閾値設定ユニット３６等の制御パネルの入力システムを介して設定してもよく、それによって異なる排出の種類及び患者の徴候及び症状に応じて異なる閾値を設定してもよい。例えば、患者及びその家族又は医療スタッフの注意を喚起し、排出状態に注意することを思い出させ、それによって医療スタッフの作業負荷を軽減するように、警報信号は音響信号又は光学信号であってもよい。他の例では、診療所で血管が破裂したために短時間に排出液の特性が急変することがあり、適時に発見できなければ最良の治療期間を逸することになる。このような異常事態は、本開示の監視装置を介して適時に発見することができ、医療スタッフの不足又は監視過程の不注意により引き起こされる医療リスクを回避し得る。
【0057】
図４及び図５に示すように、監視システムはまた、複数の監視モジュール５０の監視データをリアルタイムで監視するために、ナースステーションの監視センターとして、又は病院の監視管理センターの一部として使用し得る中央監視モジュール３０を含む。各監視モジュールのデータ処理ユニット３２は、対応する患者の識別情報（名前、ベッド番号、年齢等）と排出データを関連付け、通信ユニット３５を介して有線又は無線で中央監視モジュール５０に対応するデータを送信し得る。通信ユニット３５は、複数の監視モジュールから送信される監視データを受信する第２のデータ受信ユニット５１と、監視データを記録及び記憶する記憶ユニット５２と、複数の監視モジュールの監視データを同時に表示する第２表示ユニット５３とを含む。例えば、第２表示ユニットは、患者識別情報、排出データ、排出容器が完全に充填される推定時間等の各種のコンテンツを表示してもよい。さらに、排出体積、流量、色及び／又は濁度のような経時的に変化する様々なデータを図の形で表示し得る。以上のような機能に基づいて、中央監視モジュール５０は、一定のフロアの患者又は病棟の全病床の患者の関連データを集中監視することができ、一元化されたスケジューリング及び管理を容易にし得る。
【0058】
一例では、中央監視モジュール５０は、さらに、受信した識別情報及び排出データを処理するように構成された情報処理ユニット５６を含むことができる。患者識別情報及び排出データは、情報処理ユニット５６及び記憶ユニット５２を介して編集及び処理し得るので、医療スタッフが各患者の過去の排出データを集中的に記憶及び照会するのに便利である。また、中央監視モジュール５０は、各監視モジュールの監視データに対してプリセット閾値を設定し、複数の監視モジュールのいずれかの監視データが閾値を超えた場合に警報信号を生成するために使用される閾値設定ユニット５２及び第２の警報ユニット５４を含んでもよい。第１の警報ユニット３４及び第２の警報ユニット５４は、それぞれ患者／家族及び看護師／医師に排出状況が異常であることを警告し、医療スタッフに必要な措置を取ることを思い出させることができ、それによって医療リスクを最大限に低減し得ることが理解できる。
【0059】
図６は、本開示の一実施形態による排出監視方法のフローチャートである。この方法には、次のステップが含まれる。
【0060】
ステップＳ１１０では、排出液のビデオストリームデータを取得する。
【0061】
本開示の排出監視方法は、種々の医療処置、例えば、外科手術中の体腔液の排出、又は外科手術後の尿の排出等に適用し得る。一実施形態では、２億画素の解像度を有するカメラのようなビデオ取得装置を使用して、排出処理を撮影するために排出装置に向けて、ビデオストリームデータを取得し得る。排出データは、ＡＶＩ、ＭＰＧ等の共通フォーマットとして記憶し得る。本開示は、画像キャプチャと比較して、ビデオストリームデータを取得し、排出処理を動的に監視するので、より正確な排出監視が可能になる。
【0062】
ステップＳ１２０では、ビデオストリームデータを処理して、排出液の排出データを取得する。
【0063】
ビデオデータの処理は、マイクロコントローラチップ又はＤＳＰプロセッサのような画像処理能力を有するデータプロセッサで実装し得る。取得された排出データには、排出体積、色、濁度等が含まれる。したがって、ビデオストリームデータの処理には、画像サンプリング、色抽出、濁度検出、及び排出体積読み取りが含まれ、ここでは、特定の処理が上述したような画像処理モジュールを用いて実装されてもよく、ここでは繰り返さない。ビデオストリームデータの処理により、排出液の排出体積、色、濁度等の各種排出データを集中的に取得することができ、それによって患者の排出に関する総合的な情報を取得し得る。
【0064】
ステップＳ１３０では、排出データが受信及び監視される。
【0065】
排出データは、データ操作と処理能力を持つシングルチップマイクロコンピュータ、プロセッサ等を用いて計算処理と監視ができる。また、排出体積、色、濁度に基づいて、排出速度、排出液の特性変化を計算することができ、これらのデータをオンラインで画面又は携帯端末に表示し得る。例えば、排出データの表示により、医師は手術中の患者の身体的徴候を監視することができ、看護スタッフは手術後のリハビリテーション状況を監視し得る。監視機能及び警報機能により、患者の家族及び看護者の負担を軽減し、医療リスクを最大限に低減する。システムのコストが低いので、経済的にも有益である。
【0066】
上記の説明は、図示及び説明の目的で提示されている。さらに、この説明は、本開示の実施形態を本明細書に開示された形態に限定することを意図していない。当業者は、本開示の範囲及び精神から離れることなく、形態及び詳細に様々な変更及び修正を行うことができる。すなわち、本開示の範囲は、添付の特許請求の範囲及びそれらの均等物によって定義される。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【手続補正書】
【提出日】2021-08-25
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
画像認識に基づく排出監視システムであって、排出液を受け入れるための排出容器、及び前記排出容器と接続される排出管を含む排出装置と、
前記排出容器内の前記排出液のビデオストリームデータを取得するために前記排出容器に向けられた第１のビデオ取得装置と、
前記第１のビデオ取得装置に接続される画像処理モジュールであって、前記ビデオストリームデータを受信し、かつ前記ビデオストリームデータを処理して前記排出液の第１の排出データを取得するために使用される画像処理モジュールと、
前記画像処理モジュールに接続され、かつ前記第１の排出データを受信及び監視するために使用される監視モジュールと
を備える、排出監視システム。
【請求項2】
前記排出管内の排出液のビデオストリームデータを取得するために前記排出管に向けられた第２のビデオ取得装置をさらに備え、
前記画像処理モジュールは、前記第２のビデオ取得装置からの前記ビデオストリームデータを処理して前記排出液の第２の排出データを取得するようにさらに構成される、請求項１に記載の排出監視システム。
【請求項3】
前記第１の排出データは、前記排出液の色、濁度、及び排出体積を含み、前記第２の排出データは、前記排出液の色及び濁度を含む、請求項２に記載の排出監視システム。
【請求項4】
前記画像処理モジュールは、前記ビデオストリームデータから画像フレームをサンプリングするための画像サンプリングモジュールと、
サンプリングされた画像フレームに対して画像認識を実行し、かつ前記サンプリングされた画像フレームの色情報を抽出するための色抽出モジュールと、
前記排出液の濁度情報を決定するために前記サンプリングされた画像フレームを処理するための濁度検出モジュールと、
前記サンプリングされた画像フレームに対して画像認識及び強調を実行し、かつ前記サンプリングされた画像フレームのスケール値情報を読み取るための排出体積読み取りモジュールと
を含む、請求項１に記載の排出監視システム。
【請求項5】
前記画像サンプリングモジュールは、前記色情報の変化に基づいて、サンプリングレートを調整するように構成される、請求項４に記載の排出監視システム。
【請求項6】
前記濁度検出モジュールは、前記サンプリングされた画像フレームから画像の輝度値を抽出するように構成された輝度抽出モジュールと、
前記輝度値に基づいて前記濁度情報を表すように構成された濁度決定モジュールと
を含む、請求項４に記載の排出監視システム。
【請求項7】
前記画像処理モジュールは、前記ビデオストリームデータから画像フレームをサンプリングするための画像サンプリングモジュールと、
前記サンプリングされた画像フレームから色特性及び濁度特性を抽出する画像特徴抽出モジュールと
を含み、前記画像特徴抽出モジュールは、ニューラルネットワークトレーニングによって取得されるモデルである、請求項１に記載の排出監視システム。
【請求項8】
前記画像サンプリングモジュールは、前記色特性の変化に基づいて、サンプリングレートを調整するように構成される、請求項７に記載の排出監視システム。
【請求項9】
前記監視モジュールは、前記第１の排出データ及び前記第２の排出データを受信するための第１のデータ受信ユニットと、
前記排出体積に基づいて、前記排出管を通過する前記排出液の流量を計算し、前記色及び濁度の変化に基づいて、前記排出液の特性変化を決定するためのデータ処理ユニットと、
前記色、濁度、排出体積、流量、及び特性変化のうちの少なくとも１つをリアルタイムで表示するための第１の表示ユニットと、
前記色、濁度、排出体積、流量及び特性変化のうちの少なくとも１つがプリセット閾値を超えたときに、警報信号を生成するための第１の警報ユニットと
を含む、請求項３に記載の排出監視システム。
【請求項10】
複数の監視モジュールと接続される中央監視モジュールをさらに備え、
前記中央監視モジュールは、
前記複数の監視モジュールから有線又は無線で送信される監視データを受信するための第２のデータ受信ユニットであって、前記監視データは、前記色、濁度、排出体積、流量、及び特性変化のうちの少なくとも１つを含む第２のデータ受信ユニットと、
前記監視データを記憶するための記憶ユニットと、
前記複数の監視モジュールの監視データを同時に表示するための第２の表示ユニットと、
前記複数の監視モジュールのいずれかの監視データが閾値を超えたときに、警報信号を生成するための第２の警報ユニットと、
各監視モジュールの監視データに対してプリセット閾値を設定するための閾値設定ユニットと
を含む、請求項９に記載の排出監視システム。
【国際調査報告】