特許第6356773号(P6356773)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ガウス サージカル,インコーポレイテッドの特許一覧

特許6356773流体キャニスタ中の血液成分量を測定するシステム及び方法
<>
  • 特許6356773-流体キャニスタ中の血液成分量を測定するシステム及び方法 図000002
  • 特許6356773-流体キャニスタ中の血液成分量を測定するシステム及び方法 図000003
  • 特許6356773-流体キャニスタ中の血液成分量を測定するシステム及び方法 図000004
  • 特許6356773-流体キャニスタ中の血液成分量を測定するシステム及び方法 図000005
  • 特許6356773-流体キャニスタ中の血液成分量を測定するシステム及び方法 図000006
  • 特許6356773-流体キャニスタ中の血液成分量を測定するシステム及び方法 図000007
  • 特許6356773-流体キャニスタ中の血液成分量を測定するシステム及び方法 図000008
  • 特許6356773-流体キャニスタ中の血液成分量を測定するシステム及び方法 図000009
  • 特許6356773-流体キャニスタ中の血液成分量を測定するシステム及び方法 図000010
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6356773
(24)【登録日】2018年6月22日
(45)【発行日】2018年7月11日
(54)【発明の名称】流体キャニスタ中の血液成分量を測定するシステム及び方法
(51)【国際特許分類】
   G01N 21/27 20060101AFI20180702BHJP
【FI】
   G01N21/27 A
【請求項の数】22
【全頁数】23
(21)【出願番号】特願2016-246268(P2016-246268)
(22)【出願日】2016年12月20日
(62)【分割の表示】特願2015-512621(P2015-512621)の分割
【原出願日】2013年1月10日
(65)【公開番号】特開2017-106924(P2017-106924A)
(43)【公開日】2017年6月15日
【審査請求日】2017年1月17日
(31)【優先権主張番号】61/646,822
(32)【優先日】2012年5月14日
(33)【優先権主張国】US
(31)【優先権主張番号】61/703,179
(32)【優先日】2012年9月19日
(33)【優先権主張国】US
(31)【優先権主張番号】61/722,780
(32)【優先日】2012年11月5日
(33)【優先権主張国】US
(73)【特許権者】
【識別番号】516307404
【氏名又は名称】ガウス サージカル,インコーポレイテッド
【氏名又は名称原語表記】Gauss Surgical,Inc.
(74)【代理人】
【識別番号】110001302
【氏名又は名称】特許業務法人北青山インターナショナル
(72)【発明者】
【氏名】サティシュ,シッダルタ
(72)【発明者】
【氏名】ザンディファル,アリ
(72)【発明者】
【氏名】ミラー,ケヴィン,ジェー.
【審査官】 横尾 雅一
(56)【参考文献】
【文献】 特表平06−510210(JP,A)
【文献】 国際公開第2011/019576(WO,A1)
【文献】 特開昭61−176357(JP,A)
【文献】 特開2011−252804(JP,A)
【文献】 特表2008−519604(JP,A)
【文献】 特開2000−227390(JP,A)
【文献】 特表2010−516429(JP,A)
【文献】 国際公開第2011/145351(WO,A1)
【文献】 特開平07−308312(JP,A)
【文献】 米国特許第05369713(US,A)
【文献】 米国特許第04681571(US,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01N 21/00−21/61
G01N 33/48−33/98
G01N 35/00−37/00
A61B 19/00−19/08
A61M 1/00− 1/36
(57)【特許請求の範囲】
【請求項1】
流体キャニスタの画像を取得するように構成された光学センサと;
前記光学センサと連結したプロセッサであって、
記画像の選択した領域から赤値を抽出し、
前記赤値を、前記キャニスタ内のヘモグロビン濃度と相関させて、
推定した前記流体キャニスタ内の流体の容積と前記キャニスタ内のヘモグロビン濃度とに基づいて、前記キャニスタ内の血液成分の量を推定するように構成されたプロセッサと;
を具えるシステム。
【請求項2】
請求項1に記載のシステムにおいて、前記血液成分が赤血球を含むことを特徴とするシステム。
【請求項3】
請求項1に記載のシステムにおいて、前記血液成分がヘモグロビンを含むことを特徴とするシステム。
【請求項4】
請求項1に記載のシステムにおいて、前記プロセッサが、さらに前記画像内のキャニスタを識別し、前記画像から前記キャニスタに隣接するバックグラウンドを除去するように構成されていることを特徴とするシステム。
【請求項5】
請求項1に記載のシステムにおいて、前記赤値が、カラー強度を含むことを特徴とするシステム。
【請求項6】
請求項1に記載のシステムにおいて、前記プロセッサが、前記赤値を既知のヘモグロビン濃度のテンプレート画像における赤値と比較することによって、前記赤値をヘモグロビン濃度と相関させるように構成されていることを特徴とするシステム。
【請求項7】
請求項1に記載のシステムにおいて、前記プロセッサが、前記赤値をパラメトリックモデルに応じたヘモグロビン濃度に変換することによって、前記赤値をヘモグロビン濃度と相関させるように構成されていることを特徴とするシステム。
【請求項8】
請求項1に記載のシステムにおいて、前記プロセッサが、さらに、選択した前記領域から特徴を抽出し、当該特徴を前記キャニスタ内の非血液成分の濃度と相関させ、推定した前記流体の容積と前記キャニスタ内の非血液成分の濃度とに基づいて、前記キャニスタ内の非血液成分の量を推定するように構成され、前記特徴が、色、カラー強度、明度、色相、飽和値、輝度、および光沢度のうちの少なくとも1つを含むことを特徴とするシステム。
【請求項9】
請求項に記載のシステムにおいて、前記プロセッサが、前記キャニスタ内の塩分量を推定するように構成されていることを特徴とするシステム。
【請求項10】
請求項1に記載のシステムが、さらにユーザインターフェースを具え、当該ユーザインターフェースが、モバイル電子デバイス内に統合されたタッチスクリーンにおけるセンサ要素を有することを特徴とするシステム。
【請求項11】
請求項1に記載のシステムが、さらに、前記キャニスタ内の血液成分の量を表示するように構成されたディスプレイを具えることを特徴とするシステム。
【請求項12】
請求項11に記載のシステムにおいて、前記ディスプレイが、前記キャニスタ内の赤血球の推定量、推定した前記キャニスタ内の血液の容積、推定した前記キャニスタ内のヘマトクリット量、およびほぼリアルタイムで提供される前記キャニスタのビデオストリーム上のオーバーレイのうちの少なくとも1つを表示するように構成されていることを特徴とするシステム。
【請求項13】
請求項11に記載のシステムが、さらに、前記光学センサと、前記プロセッサと、前記ディスプレイとを含むように構成されたハンドヘルドハウジングを具えることを特徴とするシステム。
【請求項14】
請求項13に記載のシステムにおいて、前記光学センサが、前記キャニスタのカラー画像を取得するように構成されたカメラを具えることを特徴とするシステム。
【請求項15】
請求項1に記載のシステムにおいて、前記プロセッサが、前記キャニスタ内の流体の容積を推定するように構成されていることを特徴とするシステム。
【請求項16】
請求項15に記載のシステムにおいて、前記プロセッサが、さらに前記キャニスタ上の基準マーカに基づいて前記画像の領域を選択し、選択した前記領域の一部を前記キャニスタ内の流体レベルと相関させて、前記キャニスタ内の流体レベルに基づいて、前記キャニスタ内の流体の容積を推定するように構成されていることを特徴とするシステム。
【請求項17】
請求項16に記載のシステムにおいて、前記プロセッサが、さらに機械視野を実装することにより前記基準マーカを識別し、前記キャニスタ上の標準位置に配置された基準マーカを識別するように構成されていることを特徴とするシステム。
【請求項18】
請求項17に記載のシステムにおいて、前記プロセッサが、前記基準マーカと前記キャニスタの対象となる範囲との間の標準化された距離に応じて、前記画像の領域を選択するように構成されており、前記画像の選択した領域が、前記キャニスタの対象となる範囲に相当することを特徴とするシステム。
【請求項19】
請求項15に記載のシステムにおいて、前記プロセッサが、前記キャニスタ上の容積マーカを識別して、前記画像内の流体メニスカスを識別すること、および当該流体メニスカスと前記容積マーカとを比較することによって、前記画像の選択した領域の部分を流体レベルと相関させるように構成されていることを特徴とするシステム。
【請求項20】
請求項15に記載のシステムにおいて、前記プロセッサが、前記キャニスタ内の血液の容積を推定し、推定した当該キャニスタ内の血液の容積に基づいて、患者の総失血量を推定するように構成されていることを特徴とするシステム。
【請求項21】
請求項15に記載のシステムにおいて、前記プロセッサが、テンプレートマッチングに基づいてキャニスタのタイプを特定するように構成され、前記プロセッサが、前記キャニスタのタイプに基づいて流体の容積を推定するように構成されていることを特徴とするシステム。
【請求項22】
請求項1に記載のシステムにおいて、前記プロセッサが、マニュアル入力した前記流体キャニスタ内の流体の推定容積を受け取るように構成されていることを特徴とするシステム。
【発明の詳細な説明】
【背景技術】
【0001】
[関連出願のクロスリファレンス]
本出願は、2012年9月19日に出願した米国暫定特許出願第61/703,179号の利益を主張する。この出願は、引用により全体が組み込まれている。本出願はまた、2012年5月12日に出願した米国暫定特許出願第61/646,822号、及び2012年11月5日に出願した米国暫定特許出願第61/722,780号の利益を主張する。両出願とも、引用により全体が組み込まれている。
【0002】
本出願は、2012年7月9日に出願された米国特許出願第13/544,646号に関連するものであり、これは引用により全体が組み込まれている。
【技術分野】
【0003】
本出願は、一般的に手術野に関するものであり、特に、外科診療で使用するキャニスタ中の体外血液量を測定する新規かつ有益なシステム及び方法に関する。
【0004】
患者の失血の過大評価及び過小評価は、病院、クリニック、及びその他の医療施設の高額な手術料に大きく寄与している。特に、患者の失血量の過大評価は、医療機関にとって輸血グレード血液の無駄と手術費用の高額化を招き、血液不足につながることがある。患者の失血の過小評価は、出血事象における蘇生と輸血の遅れの重要な寄与因子であり、防止可能な患者の感染症、再入院および訴訟において毎年数十億ドルに上っている。
【0005】
したがって、外科の分野において、流体キャニスタ中の血液成分の量を測定する新規かつ有益な方法が、求められている。本発明は、このような新規かつ有益なシステム及び方法を提供する。
【図面の簡単な説明】
【0006】
図1図1は、一実施例の方法を示すフローチャートである。
図2図2は、この方法の一変形例を示すフローチャートである。
図3図3は、この方法の一変形例を示すフローチャートである。
図4図4A及び4Bは、この方法の一実施例をグラフで表した図である。
図5図5A、5B、5C及び5Dは、この方法の変形例をグラフで表した図である。
図6図6A及び6Bは、この方法の一変形例をグラフで表した図である。
図7図7A及び7Bは、この方法の一変形例をグラフで表した図である。
図8図8は、この方法の一変形例をグラフで表した図である。
図9図9は、一実施例のシステムの概略図である。
【発明を実施するための形態】
【0007】
本発明の好ましい実施例についての以下の説明は、本発明をこれらの好ましい実施例に限定することを意図したものではなく、当業者が本発明を製造し使用できるようにするものである。
【0008】
1.方法
図1及び2に示すように、流体キャニスタ中の血液成分量を推定する方法S100は:キャニスタの画像内において、ブロックS110でキャニスタ上の基準マーカを認識するステップと;ブロックS120でこの基準マーカに基づいて画像の領域を選択するステップと;ブロックS130で選択した領域の一部をキャニスタ内の流体レベルに相関させるステップと;ブロックS140でこの流体レベルに基づいてキャニスタ内の流体容積を推定するステップと;ブロックS150で選択した領域から特徴を抽出するステップと;ブロックS160で抽出した特徴をキャニスタ内の血液成分濃度と比較するステップと;ブロックS170で推定した容積とキャニスタ内の血液成分濃度とに基づいてキャニスタ内の血液成分量を推定するステップと;を具える。
【0009】
図3に示すように、方法S100の一変形例は:ブロックS112でキャニスタの画像からバックグラウンドを除去するステップと;ブロックS120でこの画像のセグメントとキャニスタが含有する流体の一部を相関させるステップと;ブロックS140でこのセグメントに基づいてキャニスタ内の流体容積を推定するステップと;ブロックS150でセグメント内のピクセルからカラー特徴を抽出するステップと;ブロックS160でこのカラー特徴をキャニスタ−内の血液成分濃度と比較するステップと;ブロックS170で推定した流体容積と流体キャニスタ内の血液成分濃度に基づいてキャニスタ内の血液成分含有量を推定するステップと;を具える。
【0010】
方法S100は、流体キャニスタ内の血液成分含有量を推定する機械視覚を実装するよう機能する。一般的に、方法S100は、ブロックS140で流体キャニスタの画像を分析してキャニスタ内の流体容積を測定し、ブロックS160で血液成分の濃度を測定し、ブロックS170で組み合わせ可能なデータを分析してキャニスタ内の血液成分含有量を得る。従って、方法S100はここに引用により組み込まれている米国特許出願第13/544,646号の変形例及び/又はこの出願の実装技術を記載している。
【0011】
血液成分は、全血、赤血球、ヘモグロビン、血小板、血漿、あるいは白血球のいずれでもよい。しかしながら、方法S100は、キャニスタ内の非血液成分の推定容積と濃度に基づいて、キャニスタ内の非血液成分量を推定することを記載しているブロックS180を実装することもできる。非血液成分は、生理食塩水、腹水、胆汁、洗浄唾液、胃液、粘液、胸膜液、尿、糞便物質、又はその他の患者の体液であってもよい。
【0012】
流体キャニスタは、血液やその他の体液を回収する外科的設定、あるいはその他の医療、臨床、又は病院の設定に実装された吸引キャニスタであってもよく、ここで、流体キャニスタは、方法S100でキャニスタ内に含まれる流体を同定し分析することができるように半透明又はほぼ透明であってもよい。キャニスタは、代替的に、自己血液回収キャニスタ、静脈内輸血バッグ、又は、術後廃液回収用又は生体液回収用のその他の適切な血液又は流体担持コンテナであってもよい。例えば、キャニスタは、外科用流体キャニスタであってもよく、これは、流体を保持するように構成された半透明コンテナであって、壁面と、当該壁面に沿って設けられコンテナの外から見ることができる一連の水平流体容積表示マークを具えるキャニスタ;及び、壁の外側面に設けたアンチグレアストリップを具える。アンチグレアストリップは、ブロックS120でキャニスタ画像から選択された領域が、少なくともアンチグレアストリップの一部を含むようにキャニスタ上に配置することができる。アンチグレアストリップは、従って、画像の選択された領域に対応するコンテナ部分上でグレアを低減するようにキャニスタ上に配置して、グレアによって生じるキャニスタ内の血液成分の推定含有量のエラーを少なくすることができる。アンチグレアストリップは、3M社によるスコッチテープなどの接着性ストリップであってもよく、外科用流体キャニスタの外側表面に印刷したマーキングでもよい。このアンチグレアストリップは、鈍い、マット、サテン、あるいはその他の好適なアンチグレア表面仕上げを具えている。アンチグレアストリップは、外科用流体キャニスタの底近傍から外科用流体キャニスタの上部近傍まで延在する幅の狭いストリップであってもよいが、その他の形、ジオメトリ、材質、あるいは表面仕上げであってもよく、どのような方法で外科用流体キャニスタに適用したものでもよい。しかしながら、流体キャニスタは、その他の適宜の特徴を有するその他の適宜のタイプのキャニスタであってもよい。
【0013】
上述の血液及び非血液流体は、手術中又はその他の医療事象中にどのような量及び濃度であっても流体キャニスタで回収することができ、流体含有量と濃度はキャニスタの容積メモリ単独では実質的にリアルタイムで推定できないので、方法S100を血液成分(例えばヘモグロビン)及び/又はその他の流体(例えば生理食塩水)の量及び/又は濃度の定量に使用することができる。更に、このようにして得たデータから、流体キャニスタ内の体外血液の容積を推定することができるため、特に、本出願に引用により組み込まれており、外科用スポンジ、外科用タオル及び/又はその他の表面における体外血液容積を推定する米国特許出願第13/544,646号に記載されているいずれかの方法S100と共に実装した場合に、実質的な総合的失血モニタリングが可能である。
【0014】
方法S100は、コンピュータシステムによって、流体キャニスタアナライザとして実装して、写真画像を分析して、流体キャニスタ−の内容物を推定することができる。コンピュータシステムは、クラウドベースのシステム(例えば、アマゾンEC2又はEC3)、メインフレームコンピュータシステム、グリッドコンピュータシステム、あるいはその他の適宜のコンピュータシステム、であってもよい。方法S100は、したがって、図1及び4Aに示すスマートホンや、デジタルミュージックプレーヤ、タブレットコンピュータなどのハンドヘルド(例えば、モバイル)コンピュータ装置によって実装して、図1及び4Aに示すようにネィティブ血液成分分析アプリケーションを実行することができる。例えば、コンピュータ装置に一体化したカメラで、流体キャニスタの画像を取得して、コンピュータ装置に一体化したプロセッサに、ブロックS110、S120、S130、その他を実装することができる。追加的に又は代替的に、コンピュータ装置がワイヤレス接続されたインターネットを介するなどして遠隔サーバと通信してもよく、この場合、サーバが方法S100の少なくともいくつかのブロックを実行し、方法S100の出力のうちの少なくともいくつかの出力で、更なる分析及び/又は続くユーザへのリリースようのコンピュータ装置に戻す送信がなされる。コンピュータ装置は、また、デジタルディスプレイを具えるかあるいはこれに接続されており、方法S100でこのディスプレイで通じてユーザ(例えば、看護師又は麻酔専門医)に情報を表示できるようにしてもよい。
【0015】
代替的に、方法S100を、流体キャニスタ、流体キャニスタスタンド、カメラ、流体キャニスタ近傍にカメラを支持するように構成したカメラスタンド、デジタルディスプレイ、方法S100の少なくとも一部を実行するように構成したプロセッサ、及び/又は、方法S100の少なくとも一部を実行する遠隔サーバと通信するように構成した通信モジュールを具える、独立型血液容積推定システムとして実装することができる。この実装において、カメラは流体キャニスタスタンドに対して実質的に固定位置に配置して、実質的にカメラが手術あるいはその他の医療事象を行っている間中、及び/又は、キャニスタが一杯になるまで、キャニスタの画像を取得するのに適した位置に維持されるようにすることができる。これによって、カメラが流体キャニスタの画像を、30秒毎あるいは2分毎というように、定期的に取得して分析することができることになる。方法S100を実装しているこのシステムは、更に、米国特許出願第13/544,646号の一またはそれ以上の方法を実装している別の一またはそれ以上のシステムと通信して(例えば、ブルーツースで)、体外血液容積の実質的な総合推定が可能となり、これによって患者の総失血量を推定することができる。しかしながら、方法S100は、その他のコンピュータシステム、コンピュータ装置、あるいはこれらを組み合わせたものに、あるいはこれによって実装することもできる。
【0016】
図3に示すように、方法S100の一変形例は、キャニスタの画像を取得することを記載したブロックS102を具える。ブロックS102は、カメラあるいはその他の適宜の光学センサとインターフェースを取って、カメラ又は光学センサの視野の画像を取得できる。ここでは、キャニスタがカメラ又は光学センサの視野にある。図5Aに示すように、ブロックS102は、流体キャニスタの少なくとも一部を含む静止シングルフレーム画像を取得できる。代替的に、ブロックS102は、流体キャニスタの複数の静止画像を含むマルチフレームビデオ画像を取得することができる。この画像はカラー画像、白黒画像、グレースケール画像、赤外線画像、光学センサの視野、光学センサの視野のフィンガープリント、曇り点、又はその他の適当な画像であってもよい。
【0017】
一の実装例においては、ブロックS102は、手術中に、30秒毎、又は2分毎といったタイムスケジュールに応じてキャニスタの画像を取得する。代替的に、ブロックS102は、機械視覚及び/又は機械認識技術を実装して、光学センサの視野内のキャニスタを認識し、キャニスタ(又はその他の血液収容アイテム)が検出されると画像取得をトリガするようにしてもよい。例えば、ブロックS102は、ユーザが流体キャニスタに向けてカメラ(例えば、カメラを組み込んだコンピュータ装置)を掴むたびに、キャニスタの視野の画像を取得することができる。同様に、ブロックS102はブロックS140と共働して、キャニスタ流体容積のスレッシュホールドの上昇が検出されたら、キャニスタの画像を取得することができる。従って、ブロックS112は、たいまー、キャニスタ中の流体容積の変化、又はキャニスタの撮像アベイラビリティに基づくなどで、キャニスタの画像を自動的に取得することができ、図7A及び7Bに示すように、時間が経つとキャニスタ中の流体回収を追跡できる。このことは、患者の流体損失における傾向をマッピングする、及び/又は、患者の流体ロス(例えば、失血)の特徴を予測するのに使用できる。代替的に、ブロックS102は、看護師や麻酔医などからといった、手動入力によってキャニスタ画像を取得してもよい
【0018】
上述の実装例では、ブロックS102でさらに、流体キャニスタの画像取得にユーザを案内することができる。例えば、図4A及び4Bに示すように、ブロックS102では、コンピュータ装置のディスプレイ上のアラインメントグラフィックを表示することができ、このディスプレイは、コンピュータ装置内に組み込んだカメラのビューファインダとしても機能する。本例では、ブロックS102が、図4Aに示すように、ディスプレイ上に表示したアラインメントグラフィックと、カメラの視野内でキャニスタのエッジをそろえるようにユーザに促すことができる。アラインメントグラフィックは、流体キャニスタの側部、外観、デカール、及び基準マーカに整列させる点、線、及び/又は形状(たとえば、キャニスタの外郭)を具えていてもよい。従って、ブロックS102では、ユーザを導いて撮像準備を行うに当たり、カメラ(又はその他の光学センサ)に対してキャニスタを正確に位置決めするよう案内できる。このアラインメントグラフィックは、更に又は代替的に、流体キャニスタの斜視図を示唆する曲線を具える。これは、ユーザがキャニスタを、カメラに対して及び/又はカメラからの距離に対して、好ましい方向(例えば、垂直及び/又は水平ピッチ)に位置決めするよう案内する。ブロックS102はまた、光源又はフラッシュシステムとインターフェースを取って、キャニスタの画像取得中のキャニスタの照明を制御する。ブロックS102は、追加で又は代替的にキャニスタの血液含有量の流体成分を正確に推定するのに、キャニスタの照明が不十分だったり、あまりに少ない場合、可聴又は可視アラーム等でユーザに警告できる。ブロックS102は、従って、非常に高精度で、予測可能なキャニスタの配置の再現可能性、照明補充、等をもって流体キャニスタの画像取得が可能になる。これらは、ブロックS170において、更に、非常に正確で再現可能な血液成分含有量の推定を可能にする。
【0019】
ブロックS102は、キャニスタが一杯の時、交換した時、及び/又はからの時のキャニスタの各画像をタイムスタンプすることができ、これによって、方法S100でキャニスタ内の流体レベルの変化を追跡し、患者の血液(及び流体)ロスの傾向、その他を更に追跡することができる。しかしながら、ブロックS102は、その他の方法でキャニスタの画像を取得するよう機能することができる。
【0020】
方法S100のブロックS110は、キャニスタの画像内のキャニスタの基準マーカを認識するステップを記載している。一般的に、ブロックS110は、画像内のキャニスタに関連するマーカを認識するよう機能する。このマーカを認識することによって、ブロックS110で、連続するブロック中の画像の特定部分の分析が可能となる。ブロックS110は、好適な機械視野技術及び/又は機会学習技術を実装して基準マーカを認識することができる。例えば、ブロックS120は、物体位置確認、セグメンテーション(例えば、エッジ検出法、バックグラウンド除去法、グラブカットベースのアルゴリズム、その他)、現物合わせ、クラスタリング、パターン認識、テンプレートマッチング、特徴抽出、記述子抽出(例えば、textonマップの抽出、カラーヒストグラム、HOG、SIFT、MSER(選択した領域からブロブ特徴を除去するための最大安定極値領域)、その他)、特徴次元削減(例えば、PCA、K−Means、線形判別分析、その他)、特徴選択、閾値化、位置決め、カラー分析、パラメトリック回帰、ノンパラメトリック回帰、無監視パラメトリック又はノンパラメトリック回帰、又はその他のタイプの機会学習又は機械視野を実装して、キャニスタの物理的寸法を推定することができる。ブロックS110は更に、変化するキャニスタの照明条件、キャニスタの流体成分の変化(例えば、大きく変化する色、透明度、屈折率)、画像中のレンズベースあるいはソフトウエアベースの光学歪、あるいは使用するシナリオにおけるその他の不一致又は様々な流行を補完することができる。
【0021】
一実装例では、ブロックS110でキャニスタとバックグラウンドの境界である基準マーカを認識して、ブロックS110でバックグラウンドに対応する画像部分を除去することができる。別の実装例では、図5Bに示すように、ブロックS110でキャニスタに設けたシンボルである基準マーカを認識する。例えば、このシンボルは、キャニスタに印刷した製造者のラベルであってもよく、キャニスタに印刷した流体容積の目盛、キャニスタの外側に貼付した色つきドット(例えば、スティッカ)、様々な製造者のマークから外科用キャニスタに印刷した共通の(例えば、標準化した)マーク、あるいはその他の適宜の基準マーカであってもよい。更なる実装例では、ブロックS110で、キャニスタの表面仕上げをベースにしたマーカを認識する。例えば、ブロックS110は、マット仕上げ、又はその他の実質的にグレアがない仕上げを含むキャニスタの部分であるマーカを認識することができる。
【0022】
ブロックS110は、更に又は代替的に、機械視野技術を実装して、流体キャニスタのタイプを認識することができる。例えば、ブロックS110は、基準マーカのテンプレートライブラリにアクセスするなどによって、テンプレートマッチングを実装して各基準マーカを検出することができる。各基準マーカは、特定の製造者からの特定タイプ、特定サイズの、及び/又は、特定形状をしたキャニスタに関連している。この実装例では、方法S100のより多くの続く一連のブロックを特定のタイプの流体キャニスタに合わせることができ、この場合、ブロックS110は、その特定のキャニスタタイプに応じて、連続するブロック用の特定の実装パスを設定するよう機能する。
【0023】
方法S100のブロックS112は、キャニスタの画像からバックグラウンドを除去するステップを記載している。バックグラウンドは、流体キャニスタ内の流体容積及び/又は量に関連する有益な情報を含んでいそうもないため、ブロックS112で画像の実質的に不要な部分を排除して、続く方法S100のブロックで、図5B及び5Cに示すように、キャニスタ内の流体の質及び量に関連する情報を含んでいそうな画像の部分の分析に焦点を当てることができる。一の実装例では、ブロックS112で、エッジ検出、グラブカット、フォアグラウンド検出、あるいはその他の好適な技術といった機械視覚を適用して、物理的なキャニスタに関連する画像の部分を切り取り、検出した境界の外側にあるキャニスタの残りの画像を切り捨てることができる。
【0024】
別の実装例では、ブロックS112で認識した基準マーカを用いて、予め規定したキャニスタの周辺を画像に固定するようにしている。ブロックS112は、次いで、その予め規定したキャニスタ周辺外側にある画像領域を切り捨てることができる。例えば、ブロックS112は、ブロックS110において画像中で認識したキャニスタのサイズ及び/又はジオメトリに応じて、特定の予め規定したキャニスタの形状をした境界を選択することができる。代替的に、ブロックS112は、流体キャニスタのタイプを認識しているユーザから入力を受け、次いで、入力したキャニスタのタイプに応じて予め規定した境界フィルタに掛けることができる。しかしながら、ブロックS112は別の方法で、流体キャニスタの画像からバックグラウンド部分を除去するよう機能することができる。
【0025】
方法S100のブロックS120は、図5Dに示すように、基準マーカに基づいて画像の領域を選択することを記載している。一般的に、ブロックS120では、キャニスタ表面の対象となる特定領域に対応する画像の特定領域を選択する。対象となる領域は、実質的にグレアが低い領域(例えば、マットコーティングあるいは非グレアスティッカ又はテープを含む)、カメラの表示面に最も近い領域、認識されているキャニスタの側部間のほぼ中央にある領域、及び/又は、追加のマーキング、ラベルなどが実質的にないキャニスタ領域など、キャニスタの内容物の特定の特徴であってもよい。選択された領域は、更にキャニスタ内の流体表面を二つに分けて、ブロックS130で、選択した領域の分析に基づいてキャニスタ内の流体レベルを認識することができる。従って、この選択された領域は、画像内の一またはそれ以上の隣接する及び/又は隣接しないピクセルであってもよく、キャニスタの内容物の実質的な特徴情報を含むものであってもよい。更に、選択された領域は、バックグラウンドノイズを除去するが流体表面近傍の実質的に急な色変遷が現れるのに十分な不透明キャニスタ表面(たとえば、縦の白いストライプ)に対応するものでもよく、これによってブロックB130でキャニスタの流体高さを推定することが可能となる。
【0026】
一の例示的実装例では、図5C及び5Dに示すように、ブロックS110で機械視野を実装してキャニスタの標準位置に配置された基準マーカを認識し、ブロックS120で基準マーカとキャニスタの対象となる領域との間の標準化した距離に応じて画像の面積を選択し、この選択された画像領域がキャニスタ上の対象となる領域に対応している。例えば、ブロックS120では、20個のピクセル幅と、百個のピクセル高さであり、ジオメトリック中心が基準マーカから(例えば、基準マーカの所定の中央ピクセルから)画像のx軸に沿って50ピクセル、y軸に沿って70ピクセル分ずれた、画像領域を選択する。
【0027】
別の例示的実装例では、ブロックS110でキャニスタ上の容積マーカである基準マーカを認識し、ブロックS120で、容積マーカに対応する画像の一部近傍のピクセルセットである画像の領域を選択する。この例示的実施例では、ブロックS130では、このピクセルセット内の流体メニスカスを認識して、この流体メニスカスを容積マーカと比較して、キャニスタ中の流体レベルを推定する。例えば、ブロックS120は、幅20ピクセル、高さ100ピクセルで、領域の上右側コーナが容積マーカの左側エッジから画像のx軸に沿って10ピクセル及びy軸に沿って20ピクセル分オフセットしている、画像の矩形部分を選択する。
【0028】
さらに別の例示的実装例では、ブロックS110で、流体キャニスタ上の水平容積表示マークを認識し、ブロックS120で選択した領域の第1の水平終点と、容積表示マークの共通の水平終点を規定する。ブロックS120は更に、選択した領域の第2水平終点を、水平容積表示マークに関連するピクセルの中央水平座標として規定し、選択した領域の第1垂直終点を流体キャニスタの流体含有部分の底部分境界として認識し、流体キャニスタの流体の認識した表面上の選択した領域の第2垂直終点を認識する。これらの4つの終点から、ブロックS120で、画像の直線領域を選択して固定する。この選択された領域は、流体キャニスタの流体の全垂直高さに沿って、また、流体キャニスタの流体含有部分の分離した画像内の水平方向においてほぼ中央における、画像のカラー情報を取得することができる。
【0029】
更なる例示的実装例では、ブロックS120において、ブロックS110で認識した基準マーカとほぼ完全に重複する選択した領域を規定することができる。例えば、ブロックS110は、キャニスタ上のアンチグレア表面(例えば、アンチグレアテープ)である基準マーカを認識し、ブロックS120で、基準マーカとほぼ完全に重複する選択した領域を規定することができる。
【0030】
ブロックS120は、同様に、図5Dに示すような流体を含むキャニスタの一部と画像のセグメントの相関を記載している。例えば、ブロックS120は、画像内のキャニスタの周辺を認識し、ブロック130と共働して、キャニスタ内の流体の表面を認識する。ブロックS130は、次いで、キャニスタの周辺と流体表面に隣接する画像の流体を含むキャニスタの部分に相関しているセグメント(画像の領域)を選択する。ブロックS120は、キャニスタに関連する画像の部分内の様々なピクセルの色を特徴づけて、ほぼ赤(例えば、血液を含む)と特徴づけられたピクセルを含むセグメントを選択する。しかしながら、ブロックS120は、別の方法で、基準マーカに基づく画像領域を選択し、及び/又は、画像のセグメントを、流体を含むキャニスタの一部に相関させるよう機能するようにしてもよい。
【0031】
方法S100のブロックS130は、選択した領域の一部をキャニスタ内の流体レベルと相関させることを記載している。一般的に、ブロックS130は、キャニスタ内の流体の表面と、キャニスタのベース(例えば、キャニスタ内の流体の最も低い部分)を認識して、図6Aに示すように、このデータからキャニスタ内の流体レベルを推定することができる。上述したように、選択した領域は、流体表面を二分して、ブロックS130で選択した領域を分析して、流体の表面を認識することができる。一の例示的実装例では、ブロックS120は、キャニスタ上のアンチグレアストリップに対応する選択した領域の強度プロファイルにパラメータ機能(例えば、S字)を付けて、流体高さを推測することができる。別の例示的実装例では、ブロックS130は、選択された領域内のピクセルを流体(例えば、実質的に赤いピクセル)に関連づけて、相関するピクセルのy座標の分布に基づいてキャニスタ中の流体の上側境界と下側境界を計算することができる。この例では、ブロックS130ではy座標の第95番目のパーセンタイルから、あるいは、ブロックS130は、関連するピクセルのy座標の第99番目のパーセンタイルから始まって、二つの隣接するピクセルの赤さが、あらかじめ決められた閾値を超えて変化しなくなるまでこのパーセンタイルを減らしてゆくことができる。しかし、ブロックS130はその他の方法で、キャニスタ中の流体に対応していない「誤検出」の赤いピクセルを認識する及び/又は無視するよう機能してもよい。
【0032】
一の例示的実装例では、ブロックS130で、選択された領域内のピクセルの縦のラインに沿って各ピクセルの色(例えば、各ピクセルの赤値)を特徴づける。ピクセルラインの底側(すなわち、キャニスタのベース近傍から)から上に向けてピクセルラインをスキャンすることで、ブロックS130で、ピクセルの色における第1の急激なシフトを認識することができ、これは流体表面の下側境界と相関させることができる。ピクセルラインの上から(すなわち、キャニスタの上側近傍から)下に向けてピクセルラインを更にスキャンすることによって、ブロックS130でピクセルの色の第2の急激なシフトを認識することができ、これは流体表面の上側境界と相関させることができる。ブロックS130では、流体表面の上側又は下側境界を平均して、キャニスタ内の流体のレベルを推定することができる。代替的に、ブロックS130では、上側境界と下側境界間のピクセルの短縮ラインについて、ピクセルの短縮ラインを上へ及び/又は下へスキャンして、このラインに沿ったピクセルのカラーのより微妙な変化を認識するなどして、更なる分析に焦点を当てることができる。例えば、ブロックS130では、より高画素のピクセルカラーの微妙な照明を流体メニスカスに関連付けることができる。別の例では、ブロックS130は連続する短縮ピクセルライン内のピクセルを再度分析することによって、流体の推定表面の解像度を改良することができる。
【0033】
同様に、ブロックS130では、選択された領域内の2又はそれ以上の隣接するピクセルラインを分析して、各ピクセルラインの分析結果を比較(例えば、アベレージ)して、流体表面位置の推定精度を上げることができる。例えば、ブロックS130では、選択された領域内の各ピクセルラインセットのうちの一のボーダーピクセルの位置を比較して、キャニスタの流体が満たされている部分とキャニスタの空の部分との間の曲線ボーダーを抽出し、ブロックS130で、この曲線ボーダーを流体メニスカスに相関させることができる。代替的に、ブロックS130で流体メニスカスを推定してもよい。例えば、ブロックS130では、メニスカスサイズとジオメトリのルックアップテーブルを実装することができ、このルックアップテーブルからキャニスタの型、流体の特性(例えば、血液に相関する赤値や、キャニスタ中の水分)、カメラとキャニスタ間の角度、カメラとキャニスタ間の距離、円錐形のキャニスタ中の流体レベル、及び/又は、その他の適当な変数がわかる。
【0034】
ブロックS130は、追加で又は代替的に、ピクセル領域内の4−ピクセルワイドラインピクセルにおける4−ピクセル×4−ピクセルクラスタなどのピクセルのクラスタを分析することができる。ブロックS130は、個別のクラスタ、又はピクセル又は重複するクラスタ又はピクセルを分析し、各クラスタ中のピクセルの、赤値やカラー特性などの特徴を平均化することができる。しかしながら、ブロックS130は、他の方法でキャニスタ中の流体表面を認識するよう機能することもできる。
【0035】
ブロックS130では、ピクセルの特徴を比較する同様の方法を実装することによって、キャニスタ中の流体の下側境界を測定することができる。代替的に、ブロックS130は、流体の下側境界が、測定したキャニスタの下側境界にあるいはこの境界近傍にあると推定することができる。しかしながら、ブロックS130は、他の方法でキャニスタ中の流体の下側境界を認識するよう機能することもできる。
【0036】
ブロックS130でキャニスタ内の流体の上側及び下側境界を認識すると、ブロックS130は、キャニスタに相関する画像部分のほぼ中心における下側及び上側境界間のピクセル数を計数するなどにより、流体キャニスタ内の流体のピクセルベースの高さを計算する。ブロックS130では、次いで、ピクセルベースの距離測定値を、キャニスタの型及び/又はカメラとキャニスタ間の実際のあるいは推定した角度、カメラとキャニスタ間の距離、キャニスタのジオメトリ(例えば、キャニスタベースにおける及び流体表面における直径)、及び/又はキャニスタとカメラのあるいはこれらの間のその他の相関する計量に応じて、ピクセル値を物理的距離測定値(例えば、インチ、ミリメートル)に換算する。代替的に、ブロックS140では、ピクセルベースの流体レベル測定値を、キャニスタ内の推定流体容積に直接変換するようにしてもよい。
【0037】
ブロックS120は、追加であるいは代替的に、基準マーカを選択するあるいは認識するマニュアル入力を受け取り、ブロックS130でも追加であるいは代替的に、キャニスタ中の流体の表面又は流体高さを選択する又は認識することができる。例えば、方法S100は、マニュアルチェックを実装して、基準マーカの自動選択及び/又はキャニスタの流体レベルの推定を教示する又は訂正することができる。ブロックS120とブロックS130は、このようにして、監視されたあるいは半監視された機械学習を実装して、基準マーカの選択及び/又は連続するサンプル(すなわち、一またはそれ以上のキャニスタの画像)を用いてキャニスタ流体レベルの推定を改良することができる。しかしながら、ブロックS120とS130は、別の方法で基準マーカを選択する及び/又はキャニスタの流体レベルを推定するよう機能することもできる。
【0038】
方法S100のブロックS140は、流体レベルに基づくキャニスタ内の流体容積の推定を記載している。一般的に、ブロックS140は、図1及び7Aに示すように、ブロックS130で推定スタ流体レベルをキャニスタの型及び/又はジオメトリに基づいて流体容積推定値に変換するよう機能する。例えば、キャニスタは、手術室及び/又は臨床設備で患者の体液を回収するのに使用する様々なジオメトリを持つ様々なタイプの円錐台形流体キャニスタの一つであってもよい。従って、キャニスタの型及び/又はジオメトリをユーザが入力し、機械視野技術を介して決定され、及び/又はキャニスタの型及び/又はジオメトリのデータベースからアクセスがあると、ブロックS140で流体レベル推定値を流体容積推定値に変換できる。更に、ブロックS140がピクセルベースの流体レベル測定値を実際の流体容積測定値に変換する実装例では、ブロックS140で更に、カメラとキャニスタ間の実際の又は推定した角度、カメラとキャニスタ間の実際の又は推定した距離(例えば、キャニスタのベース及び流体表面における直径)、及び/又は、キャニスタとカメラとの又はこれらの間のその他の関連する計量が得られる。
【0039】
一の例示的実装例では、ブロックS110で、画像中に特定の型のキャニスタを測定する対象認識を実装し、ブロックS130は、流体の推定表面と流体キャニスタの推定底面間の最大ピクセル数を認識し、ブロックS140で特定の型のキャニスタのルックアップテーブルにアクセスする。このルックアップテーブルは、キャニスタ底面と流体表面間の最大ピクセル数をキャニスタ流体容積に相関させて、ブロックS140でブロックS130で計算した最大ピクセル数を入力し、キャニスタ内の流体容積に戻す。
【0040】
別の例示的実装例では、ブロックS120で機械視野技術(例えばエッジ検出)を実装して、流体キャニスタの形状及び/又はジオメトリを測定し、ブロックS130で流体の表面と流体キャニスタの底との間の最大ピクセル数を認識し、このピクセル数をRキャニスタ内の流体レベルの物理的寸法(例えば、インチ、ミリメートル)に変換する。次いで、ブロックS140で、ブロックS130から流体キャニスタの測定した形状及び/又はジオメトリに基づくキャニスタの推定した物理的断面に応じて推定した流体レベルをキャニスタ内の推定層流体容積に変換する。
【0041】
更なる別の例示的実装例では、ブロックS110で機械視野技術を実装して、流体キャニスタ上に印刷した(又はエンボス、接着、など)流体レベルマークを認識し、ブロックS130でキャニスタ内の流体表面を認識する。ブロックS140は、次いで、流体容積と、流体表面近傍の一またはそれ以上の流体レベルマークに基づいてキャニスタ内の流体容積を推定する。
【0042】
代替的に、ブロックS140で、流体キャニスタに連結した(例えば、キャニスタ内に配置した)流体レベルセンサから直接流体レベル測定にアクセスすることができる。ブロックS140は、キャニスタ内の流体レベルのマニュアルの読みのマニュアル入力を受け取るようにしてもよい。例えば、方法S100は、自動流体容積測定値を教示又は訂正するマニュアルチェックを実装することができる。ブロックS140は、このように、監視又は半監視機械学習を実装して、経時的にキャニスタの流体容積推定値を改善することができる。しかしながら、ブロックS140は、他の方法でキャニスタ内の流体容積の測定値を推定又はこれにアクセスするように機能することもできる。
【0043】
方法S100のブロックS150は、選択した領域から特徴を抽出することを記載している。一般的に、ブロックS150は、キャニスタの画像の選択した領域において、キャニスタ内の流体の品質を表示する特性を認識するよう機能する。パラメータ技術を実装して、抽出した特徴をキャニスタ内の血液成分の濃度に関連させるブロックS160について、ブロックS150でこの特徴を、選択した領域内の一またはそれ以上のピクセルから抽出する。この特徴は、一またはそれ以上の成分スペース内の、色(赤)、色の強度(例えば、赤値)、明度、色相、飽和値、輝度、光沢度、例えば、赤、青、緑、シアン、マジェンタ、黄色、キー成分、及び/又はLab成分スペースといった、その他の色関連値である。ブロックS150は、追加で又は代替的に、選択した領域中のピクセルセットにおける様々な色値又は色関連値のヒストグラムである一またはそれ以上の特徴を抽出できる。図6Bに示す通り、抽出した特徴をパラメータ技術を実装してキャニスタ内の血液成分濃度と相関させるブロックS160については、ブロックS150で、選択した領域内のピクセルクラスタであり、流体を含有するキャニスタの部分と相関している特徴を抽出できる。このクラスタは、既知の血液成分濃度のテンプレート画像ライブラリ中のテンプレート画像に比較できるクラスタなどである。しかしながら、ブロックS150は,選択された領域内の位置またはそれ以上のピクセルから適宜のその他の特徴を抽出することができる。
【0044】
したがって、図6A及び6Bに示すように、ブロックS150では、選択した領域内の複数ピクセルから特徴を抽出して、流体を含む流体キャニスタの一部に関連する選択した領域の(全)高さ、幅、及び/又は面積に関する流体の品質を表示する特徴セットを集めることができる。例えば、ブロックS150は、選択した領域をmピクセル×nピクセルのピクセルクラスタにセグメント化することができ、ピクセルクラスタのo×pアレイがほぼ選択した領域を満たしている。ブロックS150は、次いで、各ピクセルクラスタを分析して、ピクセルクラスタごとに一特徴を抽出する。ブロックS150は更に、ピクセルクラスタから特徴を平均化あるいは組み合わせて、選択された領域から流体の品質を表す単一の特徴を抽出する。別の例では、ブロックS150で選択した領域を、選択した領域の全幅に直交する方向に延在する、非重複単一ピクセル厚さ(水平)列にセグメント化することができる。この例では、ブロックS150では各列におけるピクセル特徴を平均化して、各ピクセル列から単一の特徴を抽出することができる。同様に、ブロックS150では、選択した領域を、選択した領域の全幅に直交する方向に延在する3つのピクセル厚さ列セットにセグメント化することができる。ここで、各列セットのうちの外側の単列(最も下側の列セットと最も上側の列セットを除く)は、隣接する列セットを共有しており、また、各列セットのピクセルを平均して、ピクセルセットから単一の特徴を抽出する。ブロックS150では、追加で又は代替的に、選択した領域を非重複三角形ピクセルクラスタ、重複する十字の5つのピクセルアレイ(図6A及び6Bに示す)、重複する円形ピクセルクラスタ、あるいはその他の適当な形状と数の重複する及び/又は個別のピクセルクラスタにセグメント化することができる。また、これらのピクセルクラスタから、ピクセルセットからの一またはそれ以上のタイプが同じ又は異なる特徴を抽出できる。ブロックS150は、代替的に、選択された領域中の個々のピクセルから一の特徴を、あるいは選択された領域と境界をなす画像のピクセルに保存された上方から別の方法で、他の数の特徴を抽出することができる。
【0045】
ブロックS150では、追加で又は代替的に、ここに引用により全体が組み込まれている米国特許出願第13/544,646号に記載されているように、選択した領域から一またはそれ以上の特徴を抽出することができる。しかしながら、ブロックS150は、別の方法で選択された領域から特徴を抽出するよう機能することができる。
【0046】
米国特許出願第13/544,646号に記載されているように、ブロックS150は、更に、実際のあるいは推定した患者の現在の血管内ヘマトクリット、患者の推定した血管内ヘマトクリット、患者の以前の血管内ヘマトクリット、流体キャニスタの重量又はキャニスタ流体容積の直接測定値、医師が推定したキャニスタ流体容積、以前の流体キャニスタの流体容積及び/又は品質、流体キャニスタの以前の流体容積及び/又は品質、周辺照明条件、流体容積の型又はその他の識別子、流体キャニスタ内の直接測定した流体特性、患者の生体サイン、患者の医療歴、手術のアイデンティティ、現在処理中の手術のタイプ、あるいはその他の適宜の非画像特徴といった、非画像特徴にアクセスできる。例えば、米国特許出願第13/544,646号に記載されているように、ブロックS160及び/又は方法S100のその他のブロックは、次いで、これらの非画像特徴のいずれかを実装して、選択された領域内のピクセルクラスタと比較するためのテンプレート画像を選択し、パラメトリックモデル又は機能を選択して抽出した特徴を血液成分推定値に変換し、過剰流体又は失血のアラームトリガを規定し、一またはそれ以上の抽出した特徴を流体キャニスタ内のその他の流体又は固体の量又は質に変換することができる。しかしながら、方法S100は、これらの非画像特徴のいずれかを実装して、方法S100のその他の機能を変形し、可能にし、あるいは通知するようにしてもよい。
【0047】
図2に示すように、方法S100のブロックS160は抽出した特徴をキャニスタ内の血液成分濃度に相関させる旨を記載している。図3に示すように、ブロックS160は同様に、カラー特徴をキャニスタ内の血液成分濃度に相関させる旨を記載している。一般的に、ブロックS160は、ブロックS150の画像から抽出した一またはそれ以上の特徴(例えば、カラー特徴)を、キャニスタ中の流体内の血液成分の推定濃度に変換するよう機能する。上述した通り、血液成分は、全血、赤血球、ヘモグロビン、血小板、血漿、白血球、あるいはその他の血液成分のいずれでもよい。例えば、ブロックS160では米国特許出願第13/544.646号に記載されているようなパラメータ分析技術及び/又は非パラメータ分析技術を実装して、キャニスタ内の流体の血液成分濃度を推定することができる。
【0048】
一の実装例では、ブロックS150で画像の選択された領域内のピクセルクラスタから特徴を抽出し、ブロックS160で各ピクセルクラスタに、既知の血液成分濃度のテンプレート画像ライブラリ中のテンプレート画像を用いて各ピクセルクラスタの非パラメータ相関に基づいて血液容積表示を伴うタグを付ける。例えば、図6Aに示すように、ブロックS150は、ピクセルクラスタセットから赤成分スペースにおける色強度を抽出し、ブロックS160で、K近傍法を実装して、抽出した各特徴をテンプレート画像の赤強度値と比較することができる。この例では、各テンプレート画像が、ヘモグロビン容積又は流体の単位容積当たりの質量、又は単位ピクセル(例えば、ヘモグロビン濃度)といった、既知の流体量でタグを付けたピクセルクラスタを含んでいる。各テンプレート画像は追加であるいは代替的に、キャニスタ中の流体の単位容積当たりあるいはその他の液体または固体の単位ピクセル当たりの容積、質量、密度、などでタグを付けたピクセルクラスタを含んでいてもよい。ブロックS160が特定のピクセルクラスタと特定のテンプレート画像との間に適切なマッチングを認識したら、ブロックS160は、特定のテンプレート画像から既知の流体量情報を特定のピクセルクラスタ上に反映することができる。ブロックS160は、次いで、ピクセルクラスタタグを合計する、平均する、及び/又は組み合わせて、キャニスタ内の流体の総血液成分濃度を推定出力する。しかしながら、ブロックS160は、抽出した特徴を、その他の適当な非パラメータ法又は技術を介してキャニスタ内の血液成分濃度に相関させることができる。
【0049】
別の実装例では、ブロックS150で画像の選択された領域内のピクセルクラスタから特徴を抽出して、ブロックS160でパラメトリックモデル又は機能を実装して、血液成分濃度で各ピクセルクラスタにタグを付ける。米国特許出願第13/544,646号に記載されているように、一のピクセルクラスタから抽出した一またはそれ以上の特徴をパラメータ機能に挿入して、直接的に、ピクセルクラスタから抽出した特徴を血液成分濃度に代えることができる。ブロックS160では、次いで、選択された領域内の他の各ピクセルクラスタについてこのステップを繰り返す。一実施例では、抽出された特徴は、赤成分スペース内のカラー強度、青成分スペース内のカラー強度、及び/又は緑成分スペース内のカラー強度、の一またはそれ以上を含むものでもよい。本例では、パラメータ機能が、このカラー強度を単位流体容積当たりのヘモグロビン質量に相関させる数学的演算又はアルゴリズムであってもよい。米国特許出願第13/544,646号に記載されているように、ある光波長における酸化ヘモグロビン(HbO2)の反射率は、流体の単位容積当たりのヘモグロビン濃度を表している。従って、別の実施例では、ブロックS150が選択された領域内の各ピクセルクラスタセットについて特定の波長における反射率値を抽出でき、ブロックS160ではパラメトリックモデルを実装することにより、各反射率の値をヘモグロビン濃度値に変換できる。ブロックS160では次いで、ヘモグロビン濃度値を組み合わせて、キャニスタ中の総(すなわち、平均)ヘモグロビン濃度を推定する。更に、湿(水和した)赤血球のヘモグロビン含有量は、通常35%であるので、赤血球濃度は、静的推定ヘモグロビン含有量(例えば、35%)に基づくヘモグロビン濃度から推定することができる。更に、ブロックS150では、新たに測定したヘマトクリット値にアクセスする、あるいは、患者の現在のヘマトクリット値を推定することができ(米国暫定特許出願第61/646,822号に記載されているように)、ブロックS160では、測定したあるいは推定したヘマトクリット値を実装して、推定した赤血球濃度を推定体外血液濃度に代えることができる。しかしながら、ブロックS160は、選択された領域内の単一ピクセル又はピクセルクラスタについてのその他のパラメトリック及び/又は非パラメトリック分析を実装して、キャニスタ内の流体中の一またはそれ以上の血液成分の濃度を推定することができる。
【0050】
方法S100のブロックS170は、キャニスタ内の血液成分の推定容積と濃度に基づいてキャニスタ内の成分の量を推定する方法を記載している。一般的に、図7A及び7Bに示すように、ブロックS170では、キャニスタ中の流体の推定容積に、キャニスタ中の流体の血液成分の推定濃度を乗算することによって、血液成分の質(例えば、質量、重量、容積、細胞数、その他)計算するよう機能している。例えば、ブロックS170は、キャニスタ内の赤血球数、又は、流体キャニスタ中の総体外血液容積を推定する。ブロックS170は、更に、米国特許出願第13/544,646号に記載されている方法とインターフェースを取って、キャニスタ中の推定血液容積を、手術用ガーゼスポンジ、手術用タオル、手術用ドレープ、及び/又は手術用包帯中の推定血液容積と組み合わせて、以下にブロックS190で述べるように患者の総失血量を推定する。しかしながら、ブロックS170は、別の方法でキャニスタ内の血液成分の量を推定するよう機能することもできる。
【0051】
図3に示すように、方法S100の一変形例は、ブロックS180を具え、これは、選択された領域から第2の特徴を抽出し、この抽出した第2の特徴をキャニスタ内の非血液成分濃度に相関させて、キャニスタ内の非血液成分の推定容積と濃度に基づいて非血液成分の量を推定する方法を記載している。一般的に、ブロックS180は、ブロックS150,S160,及び/又はS170と同様の方法を実装して、キャニスタ内の非血液成分含有量(例えば、量)を推定する。上述したように、非血液成分は、生理食塩水、腹水、胆汁、洗浄唾液、胃液、粘液、胸膜液、尿、糞便物質、又はその他の患者の体液、手術用液体、粒子状物質、あるいはキャニスタ中の物質であってもよい。
【0052】
一の実装例では、流体キャニスタ中の流体のカラー特徴(例えば、「赤み」)に基づいて流体キャニスタ中の血液成分含有量を推定するブロックS150、S160、及びS170と同様に、ブロックS180は流体のその他のカラー特徴を分析して、キャニスタ中のその他の物質の含有量を推定する。例えば、ブロックS180では、キャニスタ内の流体の透明度を分析して、推定した流体の透明度を、流体キャニスタ中の水又は生理食塩水の濃度又は含有量と相関させることができる。別の例では、ブロックS180は、流体の「黄色み」(例えば、黄色成分スペース中のカラー強度)を抽出して、この黄色みを流体キャニスタ内の血漿及び/又は尿の濃度又は含有量と相関させることができる。同様に、ブロックS150は流体の「緑」(例えば、緑及び黄色成分スペース中のカラー強度)抽出して、この緑を流体キャニスタ中の胆汁の濃度又は含有量と相関させることができる。しかしながら、ブロックS180は、流体キャニスタ中のその他の流体、粒子、あるいは物質の量及び/又は濃度を推定することもできる。
【0053】
図3に示すように、方法S100の一変形例は、ブロックS190を具えており、これは、キャニスタ中の推定した血液容積に基づいて患者の総失血量を推定する方法を記載している。例えば、ブロックS190では、図8に示すように、推定した血液容積を、一またはそれ以上の以前のキャニスタの推定した血液容積と加算することができる。更に、上述した通り、ブロックS190は、ブロックS170のこのキャニスタのインターフェースを、米国特許出願第13/544,646号に記載されているような手術用ガーゼスポンジ、手術用タオル、手術用ドレープ、及び/又は手術用ドレッシング中の推定血液容積と比較することができる。更に、ブロックS190では、流体キャニスタ血液容積データを患者の医療記録に加え、閾値体外血液量推定値に達したら警告をトリガする、あるいは、米国特許出願第13/544,646号に記載されているように、初期の患者のヘマトクリット、流体IVs、輸血、及び総推定失血量に基づいて現在の患者のヘマクリットを推定することができる。ブロックS190は、また、患者の循環内(intracirculatory)の血液容積、循環内ヘマトクリット、循環内血液粘度、及び/又は、循環内赤血球含有量などが、許容可能なウインド外になる、後の時間を推定することができる。例えば、ブロックS190では、現在の患者の総失血量と患者の循環内ヘマトクリットは許容可能な境界内にあるが、失血率の上昇に伴って、後の特定の時間(例えば、約5分後)に過剰な失血となるであろうことを推測することができる。ブロックS160では、従って、患者の血液に関するパラメータにおける傾向に基づいて後の自己血輸血、同種輸血、生理食塩水点滴、などの必要性を患者が決めることができる。ブロックS190は、したがって、推定した失血量に基づいて患者のリスクを推定し、輸血投与のトリガを行い、及び/又は、推定した失血量の傾向に基づいた後の患者に必要なことあるいはリスクを推定することができる。しかしながら、ブロックS190は、別の方法で、手術又はその他の医療事象の間などに、患者の総失血(流体)量の包括的な推定を維持するようにしてもよい。
【0054】
図3に示すように、方法S100の一変形例は、ブロックS192を具える。これは、流体キャニスタ内の、総流体容積、推定ヘモグロビン含有量、赤血球含有量、体外血液容積、その他といった、キャニスタの分析結果を表示することを記載している。図1、7A及び7Bに示すように、ブロックS192では、静止画像の上の拡張現実オーバーレイ又は、これもディスプレイ上に表示する流体キャニスタの生ビデオ送りを制御できる。例えば、方法 S100のブロックがモバイル取得装置(スマートホン、タブレットなど)によって実装されている一実装例では、コンピュータ装置と一体化しているディスプレイに、推定した現在の血液容積及び/又はキャニスタ中のヘマトクリット量を表示することができる。このディスプレイはまた、所定期間経過後の、流体キャニスタ中及びスキャンした手術用スポンジの推定血液容積及び/又はヘマトクリット量、及び/又は、流体キャニスタ中及びスキャンした手術用スポンジ中の、過去の、現在の、及び予測した将来の、総推定血液量を表示することができる。ブロックS192は、追加で、単一の以前の流体の質及び/又は容積、複数の以前の流体の質及び/又は容積、及び/又は、時間と共に変わる流体の質及び/又は容積の傾向をユーザに通知することができる。しかしながら、ブロックS192は、別の方法で関連する流体キャニスタ(及びスポンジ)含有量情報を表示するよう機能してもよい。
【0055】
2.システム
図9に示すように、流体キャニスタ中の血液成分量を推定するシステム100は:光学センサ110;光学センサ110に接続されたプロセッサ120;プロセッサ120で実行され光学センサにキャニスタの画像を取得するように指示を出すソフトウエアモジュール122であって、更に、プロセッサ120に流体を含有するキャニスタの一部に相関する画像の領域を選択するように指示して、選択された領域に基づいてキャニスタ内の流体容積を推定し、選択された領域から特徴を抽出し、抽出した特徴に基づいてキャニスタ内の血液成分量を推定するソフトウエアモジュールと;プロセッサ120に接続され、ソフトウエアモジュール122から指示を受けてキャニスタ内の血液成分量を表示するディスプレイ130とを具える。
【0056】
システム100は、上述した方法S100を実装するよう機能し、ここで、光学センサ(例えば、カメラ)はブロックS102を実装して、キャニスタの画像を取得し、プロセッサは、上述したブロックS110、S120、S130,S140、S150、S160,S170、他を実装して、外科用吸引キャニスタ中の流体の量と質を推定する。システム100、光学センサ、プロセッサ、及びディスプレイは、米国特許出願第13/544,646号に記載の一またはそれ以上の構成要素を具える及び/又は構成要素として機能する。外科医、看護師、麻酔医、婦人科医、医師、兵士、あるいはその他のユーザは、システム100を用いて、手術、出産、あるいはその他の医療事象などの間に、流体キャニスタに回収した流体の量及び/又は質を推定する。システム100は、キャニスタ中の血液の存在を検出して、患者の失血率を計算し、患者のリスクレベル(例えば、血液量減少性ショック)を推定し、及び/又は、患者の出血の分類を決定することができる。しかしながら、システム100は、その他の適宜の機能を実行することができる。
【0057】
システム100は、画像ベースの血液推定アプリケーションを稼働し、光学センサ110、プロセッサ120、及びディスプレイ130を具えるスマートホン又はタブレットなどの、ハンドヘルド(例えば、モバイル)電子装置として構成することができる。代替的に、システム100の構成要素は、実質的にめだたない独立型(すなわち、単一ハウジング内に含まれない)であってもよい。例えば、光学センサ110は、手術室にほぼ永久的に配置されたカメラであってもよく、このカメラがキャニスタの画像を分析する(例えば、方法S100に従って)ローカルネットワーク又は遠隔サーバ(プロセッサ120を含む)と通信し、コンピュータのモニタ、テレビジョン、又はハンドヘルド(モバイル)電子装置であるディスプレイ130がこれにアクセスして、プロセッサ120の出力を表示する。しかしながら、システム100は、その他の形式のものであってもよく、その他の要素を含むものでもよい。
【0058】
システム100は、手術室内などの病院の設備、分娩室などの臨床設備、戦場などの軍事用設備、又は月経過多(重篤な月経による出血)又は鼻出血(華字)による失血を消費者がモニタするのを助けるといった自宅での設備、など様々な設備に使用することができる。しかしながら、システム100は、その他の設備で使用するものであってもよい。
【0059】
システム100の光学センサ110は、キャニスタの画像を取得するよう機能する。光学センサ110は、方法S100のブロックS102を実装するように機能し、ソフトウエアモジュール122によって制御することができる。一の例示的実装例では、光学センサ110は、キャニスタのカラー画像を取得するデジタルカメラまたは、赤、緑、及び青のフィールドで個別に画像成分を取得するRGBカメラである。しかしながら、光学センサ110は、複数の及び又はその他のタイプのカメラ、電荷結合素子(CCD)センサ、相補型MOS(CMOS)能動ピクセルセンサ、又はその他のタイプの光学センサであってもよい。しかしながら、光学センサ110は、適当な形式の、あるいは、適当な可視又は不可視スペクトルにわたる、別の方法でキャニスタの画像を取得するように機能してもよい。
【0060】
一の実装例では、光学センサ110は、ハンドヘルド電子装置内に設けたカメラである。別の実装例では、光学センサ110は、手術室に配置したペデスタルに装着するように構成した、手術台の上の天井に装着するように構成した、戦場看護師の野戦ヘルメットに取り付けるように構成した、プロセッサ120、ディスプレイ130、及び撮像用にキャニスタを支持するステージトレイを含む独立型血液容積推定システムに装着するように構成した、あるいは、その他の対象物又は構造体内に配置する又はそれに取り付けるように構成した、カメラ又はその他のセンサである。
【0061】
ソフトウエアモジュール122は、光学センサ110を自動フォーカス又は自動露出にするなどによって、光学センサを制御することもできる。追加で、又は代替的に、ソフトウエアモジュール122は、キャニスタの低品質の画像をフィルタに掛けて、選択的高品質又は品質が十分な画像をプロセッサ120に通過させて分析することができる。
【0062】
ソフトウエアモジュール122からの指示に従って、システム100のプロセッサ120は、キャニスタの画像を受信し、キャニスタ内の流体容積を推定し、流体容積に相関する画像の領域から特徴を抽出し、抽出した特徴をキャニスタ内の血液成分濃度に相関させ、推定した容積とキャニスタ内の血液成分濃度に基づいてキャニスタ内の血液成分量を推定する。プロセッサ120は、従って、上述した方法S100のブロックを、ソフトウエアモジュール122からの指示に従って実装することができる。プロセッサ120は、タイプが異なる画像(例えば、静止画像、ストリーミング画像、.MPEG、.JPG、.TIFF)及び/又は一またそれ以上の個別カメラ又は光学センサからの画像を分析することもできる。
【0063】
プロセッサ120は、有線接続(例えば、共用PCBのトレース)あるいは無線接続(例えば、Wi−Fi又はブルーツース接続)を介して、光学センサに接続して、光学センサ110で取得した画像又は光学センサの視野内で見ることができる画像にアクセスすることができる。一の変形例では、プロセッサ120は、光学センサ110とディスプレイ130を具えるハンドヘルド電子装置内に配置されている。別の変形例では、プロセッサ120が、遠隔サーバの一部である、あるいは遠隔サーバに関係しており、光学センサ110からの画像データを遠隔プロセッサ120に送信し(例えば、インターネット又はローカルネットワーク接続を介して)し、プロセッサ120がキャニスタの画像を分析することによって少なくともキャニスタの部分内の体外血液容積を推定し、この血液成分容積の推定が、ディスプレイ130に送信される。
【0064】
一の実装例では、上述した通り、プロセッサ120がキャニスタの画像の部分を、テンプレートマッチングを介してテンプレート画像と対にすることができる。このテンプレート画像はテンプレート画像ライブラリ中の一のテンプレート画像である。例えば、このシステムは更に、血液成分の既知の濃度のテンプレート画像ライブラリを保存するように構成されたデータストレージモジュール160を具える。この実装例では、上述したとおり、抽出した特徴をテンプレート画像ライブラリのテンプレート画像と比較することによって、プロセッサが抽出した特徴を、血液成分濃度に相関させることができる。代替的に、上述した通り、プロセッサ120は、パラメータモデルを実装して、画像から抽出した特徴に基づいてキャニスタ内の血液成分の量を推定する。
【0065】
システム100のソフトウエアモジュール122は、光学センサ110、プロセッサ120、及びディスプレイ130を制御して、カメラの画像を取得し、その画像を分析し、分析結果を表示するよう機能する。ソフトウエアモジュール122は、アプレット、ネィティブアプリケーション、ファームウエア、ソフトウエア、あるいはその他の好適なコード形式をプロセッサ上で実行して、システム100のプロセスを制御することができる。一般的に、ソフトウエアモジュールは、上述の方法S100のブロックのアプリケーションを制御するが、ソフトウエアモジュール122は、システム100のあるいはシステム100内のその他の好適なプロセス又は方法を制御及び/又は実装することができる。
【0066】
一の例示的アプリケーションでは、ソフトウエアモジュール122が、スマートホン又はタブレットなどのハンドヘルド電子装置であるシステム100にインストールされたネィティブアプリケーションである。このコンピュータ装置を実行するオペレーティングシステム内のメニューから選択されると、ソフトウエアモジュール122が開き、ユーザとインターフェースを取って新規ケースを初期化し、コンピュータ装置に一体化されている光学センサ110を制御して画像を取得し、機械視野を実装してプロセッサで数学アルゴリズムを実行し、血液成分の量を推定し、推定した血液成分の量を表示するようディスプレイ130を制御する。しかしながら、ソフトウエアモジュール122は、その他の形式又はタイプのものであってもよく、その他の方法で実装することができる。
【0067】
システム100のディスプレイ130は、キャニスタ内の血液成分の推定量を示す。ディスプレイ130は、やはり光学センサ110とプロセッサ120を具えるハンドヘルド電子装置(例えば、スマートホン、タブレット、パーソナルデータアシスタント)内に配置されていてもよい。代替的に、ディスプレイは、コンピュータモニタ、テレビジョンスクリーン、又はその他の装置に物理的に接続できる適当なディスプレイであってもよい。ディスプレイ130は、LED、OLED、プラズマ、ドットマトリックス、セグメント、e−インク、又は網膜操作ディスプレイ、血液成分の推定量に対応する一連の警告灯、あるいはその他の好適なタイプのディスプレイの何れかであってもよい。最後に、ディスプレイ130は、有線及び無線接続のいずれかを介してプロセッサ120と通信できる。
【0068】
ディスプレイ130は、キャニスタ及び/又は複数キャニスタ中の血液成分の推定量を表示することによって、方法S100の少なくともブロックS192を実行することができる。この血液容積の推定は、「ccs(立法センチメートル)」といった、一般的な形式で表示できる。上述したように、このデータは、キャニスタのライブビデオストリームのトップ上の動的拡張現実オーバーレイの形で表すことができ、これもディスプレイ130に表示される。光学センサ110からの画像は、プロセッサ120を介してディスプレイ130へほぼリアルタイムで伝送される。データは、代替的に、経時的に分析した複数サンプルに亘る血液成分の累積経過時間推定量、及び各キャニスタについての個々の血液容積推定のうちの少なくとも一つを示すテーブル、チャート、又はグラフで示すことができる。ディスプレイ130は、キャニスタの以前の画像、患者のリスクレベル(多量出血性ショック)、あるいは患者の出血分類などの警告、あるいは、輸血開始に関する提案のいずれも表示することができる。これらのデータ、警告、及び/又は、提案のいずれも、複数スクリーンに表示することができ、あるいは、一またはそれ以上のディスプレイ上でアクセス可能にすることができる。
【0069】
システム100の一変形例は更に、光学センサ110と、プロセッサ120と、ディスプレイ130を含むように構成されたハンドヘルドハウジング140を具える。この光学センサ110、プロセッサ120、及びディスプレイ130を具えるハンドヘルドハウジング140は、手術室や分娩室など、あらゆる好適な環境において一またはそれ以上のキャニスタ中の血液容積を推定できるハンドヘルド(モバイル)電子装置を規定できる。ハウジング140は、医療グレード材料でできており、ハンドヘルド電子装置であるシステム100を、手術室あるいはその他の利用又は診療設備内で使用するのに適している。例えば、ハウジングは316Lステンレススチールなどの医療グレードのステンレススチール、高密度ポリエチレン(HDPE)などの医療グレードポリマ、あるいは医療グレードのシリコンゴムであってもよい。しかしながら、このハウジングは、その他の材料又は材料の組み合わせでできていてもよい。
【0070】
システム100の一変形例では、システム100が更に、キャニスタ中の血液成分の推定量を、患者の電子医療記録を保存するように構成された遠隔サーバへ通信する無線通信モジュール150を具える。このシステムは、また、経時に伴う推定失血、患者のリスクレベル、出血分類、及び/又はその他の血液に関する基準により医療記録を更新できる。患者の医療記録は、従って、外科手術や出産などの医療事象の間にほぼ自動的に更新できる。
【0071】
好ましい実施例のシステムと方法は、コンピュータで読み取り可能な支持を保存するコンピュータで読み取り可能な媒体を受け取るように構成した機械として少なくとも部分的に実施及び/又は実装できる。この指示は、システム、光学センサ、プロセッサ、ディスプレイ、システム又はコンピュータ装置のハードウエア/ファームウエア/ソフトウエア要素、あるいはこれらの好適な組み合わせと一体化された、コンピュータで実行可能な要素によって実行される。好ましい実施例のその他のシステムと方法は、コンピュータで読み取り可能な支持を保存するコンピュータで読み取り可能な媒体を受け取るように構成した機械として少なくとも部分的に実施及び/又は実装できる。この指示は、上述のタイプの装置及びネットワークと一体化したコンピュータで実行可能な構成要素によって一体化されたコンピュータで実行可能な構成要素によって実行される。コンピュータで読み取り可能な媒体は、RAMs、ROMs、フラッシュメモリ、EEPROMs、光学デバイス(CD又はDVD)、ハードドライブ、フロッピィディスク、又は適宜のデバイスといった、好適なコンピュータで読み取り可能な媒体に保存することができる。コンピュータで実行可能な構成要素は、プロセッサであるが、あらゆる好適な専用ハードウエアデバイス(代替的に又は追加で)もこの指示を実行できる。
【0072】
キャニスタ中の体外血液容積を推定する当業者は、上記詳細な説明及び図面及び特許請求の範囲から認識できるので、本発明の好ましい実施例を特許請求の範囲で規定した本発明の範囲から外れることなく、変形及び変更することができる。
図1
図2
図3
図4
図5
図6
図7
図8
図9