特許 7210061 外科織物内の血液構成要素の量の評価方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-01-13

(45)【発行日】2023-01-23

(54)【発明の名称】外科織物内の血液構成要素の量の評価方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230116BHJP

   A61B 5/00 20060101ALI20230116BHJP

   G06T 7/62 20170101ALI20230116BHJP

【ＦＩ】

G06T7/00 614

A61B5/00

G06T7/62

【請求項の数】 10

【外国語出願】

(21)【出願番号】P 2021132162

(22)【出願日】2021-08-16

(62)【分割の表示】P 2018532650の分割

【原出願日】2016-12-23

(65)【公開番号】P2022000147

(43)【公開日】2022-01-04

【審査請求日】2021-09-06

(31)【優先権主張番号】62/387,222

(32)【優先日】2015-12-23

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】516307404

【氏名又は名称】ガウス サージカル，インコーポレイテッド

【氏名又は名称原語表記】Ｇａｕｓｓ Ｓｕｒｇｉｃａｌ，Ｉｎｃ．

(74)【代理人】

【識別番号】100099623

【弁理士】

【氏名又は名称】奥山 尚一

(74)【代理人】

【識別番号】100125380

【弁理士】

【氏名又は名称】中村 綾子

(74)【代理人】

【識別番号】100142996

【弁理士】

【氏名又は名称】森本 聡二

(74)【代理人】

【識別番号】100166268

【弁理士】

【氏名又は名称】田中 祐

(74)【代理人】

【識別番号】100169018

【弁理士】

【氏名又は名称】網屋 美湖

(74)【代理人】

【識別番号】100096769

【氏名又は名称】有原 幸一

(72)【発明者】

【氏名】サティシュ，シッダルタ

(72)【発明者】

【氏名】ミラー，ケヴィン，ジェイ．

(72)【発明者】

【氏名】ホスフォード，アンドリュー，ティー．

【審査官】合田 幸裕

(56)【参考文献】

【文献】国際公開第２０１３／００９７０９（ＷＯ，Ａ２）

【文献】米国特許出願公開第２０１４／０２９４２３７（ＵＳ，Ａ１）

【文献】米国特許第０６６４０１３０（ＵＳ，Ｂ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ａ６１Ｂ ５／００

Ｇ０６Ｔ ７／６２

ＩＥＥＥ Ｘｐｌｏｒｅ

ＪＳＴＰｌｕｓ（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

システムであって、
視野内の外科織物を示すカラー画像を取得するように構成された撮像部品と、
前記視野から深度情報を取得するように構成された深度検出部品と、
１又はそれ以上のプロセッサと、
前記１又はそれ以上のプロセッサによって実行されたときに、
前記深度情報に基づいて前記カラー画像の部分を判定することであって、当該判定された部分が前記外科織物を示す、判定すること、及び
前記カラー画像の前記部分に基づいて血液の情報を判定すること、
を備える動作を実行するように前記システムを構成する指示を貯蔵するメモリと、
を備える、システム。

【請求項2】

前記血液の情報を判定することは、前記カラー画像の前記部分に基づいて血液成分の量を評価することを含む、請求項１に記載のシステム。

【請求項3】

前記深度検出部品は、非赤外線深度カメラを含み、
前記深度情報は、非赤外線深度画像を含み、
前記動作は、さらに、前記非赤外線深度画像を前記カラー画像の座標系に変換することを備える、請求項１に記載のシステム。

【請求項4】

前記深度検出部品は、赤外線深度カメラを含み、
前記深度情報は、赤外線深度画像を含み、
前記動作は、さらに、前記赤外線深度画像を前記カラー画像の座標系に変換することを備える、請求項１に記載のシステム。

【請求項5】

前記カラー画像の部分を判定することは、前記深度情報に基づいて平坦なピクセルのセットを識別することを含む、請求項１に記載のシステム。

【請求項6】

１またはそれ以上のプロセッサによって、視野内の外科織物を示すカラー画像にアクセスすることと、
前記１またはそれ以上のプロセッサによって、前記視野から取得した深度情報にアクセスすることと、
前記１またはそれ以上のプロセッサによって、且つ、前記深度情報に基づいて、前記カラー画像の部分を判定することであって、当該判定された部分が前記外科織物を示す、判定すること、
前記１またはそれ以上のプロセッサによって、前記カラー画像の前記部分に基づいて血液の情報を判定することと、
を備える、方法。

【請求項7】

前記深度情報は、非赤外線深度画像を含み、
前記方法は、さらに、前記非赤外線深度画像を前記カラー画像の座標系に変換することを備える、請求項６に記載の方法。

【請求項8】

前記深度情報は、赤外線深度画像を含み、
前記方法は、さらに、前記赤外線深度画像を前記カラー画像の座標系に変換することを備える、請求項６に記載の方法。

【請求項9】

さらに、前記深度情報のダウンサンプリングをすることと、
ダウンサンプリングされた前記深度情報に基づいてマスク画像を生成することと、
生成された前記マスク画像のアップサンプリングをすることと、
を備え、
前記カラー画像の部分を判定することは、アップサンプリングされた前記マスク画像に基づいている、請求項６に記載の方法。

【請求項10】

マシンの１又はそれ以上のプロセッサによって実行されたときに、
視野内の外科織物を示すカラー画像にアクセスすることと、
前記視野から取得した深度情報にアクセスすることと、
前記深度情報に基づいて、前記カラー画像の部分を判定することであって、当該判定された部分が前記外科織物を示す、判定すること、
前記カラー画像の前記部分に基づいて血液の情報を判定することと、
を備える動作を実行するように前記マシンを構成する指示を備えるコンピュータ読込可能な媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０１５年１２月２３日に出願された米国仮特許出願第６２／３８７，２２２号の優先権を主張する。本出願は、２０１２年７月９日に出願された、米国特許出願第１３／５４４，６６４号にも関する。この文献は、その全体がこの参照により、その全体が組み込まれる。

【0002】

本発明は概して、失血の管理の分野に関し、より具体的には、新規で有用である、失血の管理の分野における外科織物内の血液構成要素の量の評価方法に関する。

【発明の概要】

【0003】

本発明は概して、失血の管理の分野に関し、より具体的には、新規で有用である、失血の管理の分野における外科織物内の血液構成要素の量の評価方法に関する。外科織物の血液の内容物の検出、カウント、及び分析のためのシステム及び方法が提供され、カラー画像に関して、赤外カメラまたは深度カメラを利用する。

【0004】

一実施例では、血液の内容物を測定するためのシステムが提供され、カラー画像を取得するように構成されたカラー撮像システムと、赤外画像を取得するように構成された赤外撮像システムと、プロセッサであって、赤外画像を使用して外科織物の形状を識別し、赤外画像から形状情報を生成し、形状情報を使用して、カラー画像内の外科織物ピクセルを識別し、外科織物ピクセルから血液の情報を抽出するように構成された、プロセッサと、を備えている。プロセッサは、赤外画像を、カラー画像に対応する座標系に変換し、赤外画像の１つから、深度画像を生成し、深度画像内の平坦なピクセルのセットを識別し、及び／または、深度画像内の外科織物の画像の外周を検出するように、さらに構成されている場合がある。外科織物の画像の外周の検出は、深度画像内の、急激な垂直な深度の下降を探すことによって実施される場合がある。プロセッサは、深度画像または赤外画像を低解像度処理し、低解像度処理された深度画像からマスク画像を生成し、マスク画像を高解像度処理し、赤外画像内の欠けている赤外ピクセル領域の充填を実施し、検出された外周を使用してマスク画像を生成し、及び／または、マスク画像を、カラー画像の座標系に変換するように、さらに構成されている場合がある。検出された外周は、外科織物の画像の頂縁部及び底縁部である場合があるか、外科織物の画像の両側の縁部、及び／または、外科織物の画像の角である場合がある。

【0005】

別の実施例では、血液構成要素を含む対象の分析方法が提供され、血液構成要素を含む対象の深度画像及びカラー画像を取得することと、深度画像を使用して、視野内の対象の存在を判定することと、カラー画像を使用して、血液構成要素の特性を評価することと、を含んでいる。本方法は、深度画像を使用して画像マスクを生成することと、画像マスクをカラー画像に適用して、背景のピクセルを除去することと、をさらに含む場合がある。本方法は、深度画像に、浸食及び拡大の画像処理の少なくとも１つを適用することをさらに含む場合がある。

【0006】

さらに別の実施例では、外科織物内の流体構成要素の量の評価方法が提供され、第１の時間において、視野の第１の赤外画像を取得することと、第１の赤外画像内の外科織物の形状または表面特性を検出することと、第１の赤外画像内の形状または表面特性が検出されると、フレームカウンタに指数を付すことと、第１の時間に続く第２の時間おいて、視野の第２の赤外画像を取得することと、第２の赤外画像内の外科織物の表面特性を検出することと、第２の赤外画像内の形状または表面特性が検出されると、フレームカウンタに指数を付すことと、第２の赤外画像内の外科織物の形状または表面特性を検出しなかった際に、非検出カウンタに指数を付すことと、を含んでいる。本方法は、予め特定された値に達すると、フレームカウンタ及び非検出カウンタをクリアすることをさらに含む場合がある。本方法は、フレームカウンタを閾値と比較することと、フレームカウンタが閾値以上であり得る場合に、視野のカラー画像を取得することと、外科織物に対応するカラー画像の領域を血液構成要素の量の評価に変換することと、フレームカウンタをクリアすることと、をさらに含む場合がある。本方法は、第２の赤外画像を使用して画像マスクを生成することと、カラー画像に画像マスクを使用して、外科織物に対応するカラー画像の領域を識別することと、をさらに含む場合がある。

【0007】

別の実施例では、流体の監視を実施する方法が提供され、視野の赤外画像を取得することと、視野のカラー画像を取得することと、赤外画像を使用して画像マスクを生成することと、カラー画像に画像マスクを使用して、外科織物に対応するカラー画像の領域を識別することと、を含んでいる。本方法は、赤外画像をカラー画像の幾何学的斜視図に変換することをさらに含む場合がある。本方法は、画像マスクを生成する前に、赤外画像を低解像度処理することをさらに含む場合がある。本方法は、画像マスクを使用してカラー画像の領域を識別する前に、画像マスクを高解像度処理することをもさらに含む場合がある。

【図面の簡単な説明】

【0008】

【図1】外科織物を分析するための方法のフローチャートの表示である。

【図2】特定の特性に関する外科織物を識別及びカウントするための方法の１つの変形形態のフローチャートの表示である。

【図3】例示的な深度撮像システムの概略的表示である。

【図4】外科織物をハイライトする、例示的なコンピュータデバイス及びユーザディスプレイを示す。

【図5】視界から外科織物が離れたことを検出する方法のフローチャートの表示である。

【図6】画像の歪みを取り、再評価するための方法のフローチャートの表示である。

【図7】画像マスクを生成するための方法のフローチャートの表示である。

【図8】浸食及び拡大プロセスを使用した、画像マスクを生成するための方法の別のフローチャートの表示である。

【発明を実施するための形態】

【0009】

患者の失血の過大評価及び過小評価は、病院、診療所、及び他の医療施設の手術及び外科医療のコストを高くする大きな要因である。具体的には、患者の失血の過大評価は、輸血グレードの血液を浪費し、医療機関の手術コストを高騰させる結果となり、また、血液の不足に繋がり得る。患者の失血の過小評価は、多量の出血が生じている際の蘇生及び輸血の遅れの重要な要因であり、大多数の回避可能であった患者の感染、再入院、及び毎年の訴訟に関連している。このため、外科の分野では、物理サンプル内の、体外の血液量を評価するための新規で有用なシステム及び方法が必要である。

【0010】

本明細書に記載のシステム及び方法は、外科織物または他の手術室表面の画像を取得し、各画像内の血液の内容物を評価するために、カラー・カメラ・システムを利用する。さらに、本システムは、手術の間に使用された複数の外科織物を追跡して、外科または手術スタッフが、外科的に閉じる前に、すべての外科織物があり、患者内に残されていないことを確認することを補助することもできる。外科織物は、吸収性の外科用ガーゼスポンジ、外科用衣服、外科用タオル、外科用ガウン、スクラブもしくは他の衣類、テーブル、ベッドもしくはベッドシート、壁、フロア表面、外部の皮膚表面、外科用グローブ、外科用器具、または任意の他の表面、材料、基板、もしくは対象などのアイテムを含み得る。

【0011】

分析及び／またはカウントのために、カラー・カメラ・システムへの対象の表示を促進するために、深度情報を提供するように構成された、赤外または他のタイプのカメラが、分析のための対象の表示を検出するために使用され得る。そのようなシステムからの深度情報は、最前面に位置する対象を、分析することが意図されておらず、背景に位置することになる他の対象から、より容易に区別し得る。深度情報を提供することができる光学システムの実施例には、レンジゲートの飛行時間（ＴｏＦ）カメラ、ＲＦ変調ＴｏＦカメラ、パルス光ＴｏＦ、及び投影光ステレオカメラなどが含まれる。

【0012】

検出プロセスの正確さを向上させるために、対象の他の特徴も、偽陽性の結果のリスクを低減させるために検出され得る。検出プロセスの信頼性は、対象を分析し、結果を与える前に、複数の連続したフレーム内に対象の存在を識別することによって向上させることもできる。

【0013】

１．用途
概して、図１に示すように、本明細書に記載の様々な方法が、コンピュータデバイス１００によって実行されて、光学センサシステム１０４を使用して１つまたは複数の画像１０２を取得して、Ｓ１１０に示される、視界１０８内の外科用ガーゼ、外科用スポンジ、または外科用タオルなどの外科織物１０６ａを検出する場合がある。Ｓ１１１では、画像１０２は、Ｓ１１１において、光学センサシステムによって出力されたフレームのシークエンスにわたって、外科織物（画像）１０６ｂの存在を確認するために分析され、その存在が確認されると、Ｓ１２５において、外科織物１０６ｂのカラー画像１１０を自動的に取得するか、画像１０２で現在確保されている最後のカラー画像を利用する。コンピュータデバイス１００は、次いで、Ｓ１５０において、局所的外科織物カウンタ１１２に指数を付し、Ｓ１４０において、カラー画像１１０のピクセルの色値を外科織物１０６ｂ内の血液構成要素の量（たとえば、ヘモグロビンの質量、血液全体の体積）の評価に局所的に変換するか、そのような処理のために、カラー画像１１０を遠位のコンピュータシステムに渡すことができる。

【0014】

特に、コンピュータデバイス１００は、第１のフレーム（たとえば、赤外画像）内の、可能性のある外科織物の画像１０６を検出し、ブロックＳ１１２に関してフレームカウンタ１１４に指数を付し、可能性のある外科織物１０６が次のフレームでふたたび検出された場合に、フレームカウンタ１１４にふたたび指数を付すか、外科織物画像１０６ｂが次のフレームで検出されなかった場合、ブロックＳ１３０でフレームカウンタ１１４をクリアするように構成され得る。可能性のある外科織物１０６ｂが次のフレームで検出される限り、かつ、フレームカウンタ１１４がある閾値１１６に等しい値を含むまで、このプロセスは繰り返され、フレームカウンタ１１４に指数が付される。フレームカウンタが、閾値１１６に等しい値を含むと、コンピュータデバイスは、外科織物１０６のカラー画像１１０を記録し、カラー画像１１０を処理して、ブロックＳ１４０で、その血液構成要素（たとえば、ヘモグロビン）の内容物を判定し、及び／または、ブロックＳ１５０で、検出された外科織物１０６に関し、織物カウンタ１１２をアップデートすることができる。たとえば、コンピュータデバイス１００は、外科織物１０６に対応すると思われるものと判定された領域を含む、７の連続したフレームに相関する「７」の閾値１１６を満たすことができる。また、コンピュータデバイス１００は、フレームカウンタ１１４が「７」の値を含むと、外科織物１０６ｂのデジタルカラー写真画像１１０を取得し、この画像１１０を処理して、外科織物１０６内のヘモグロビンまたは血液構成要素全体の質量または容量を判定することができる。他の実施例では、閾値は、約３から約１００、または約５から約７０、または約３０から約５０、または約８から約２０のレンジに設定され得る。フレームのシークエンスを通して外科織物１０６を追跡し、外科織物１０６ｂが最小の数の連続したフレーム内で検出された場合に、外科織物１０６ｂの存在のみを確認することにより、コンピュータデバイス１００は、外科織物１０６ｂの偽陽性の確認を最小にするか除去する場合があり、それにより、誤った織物カウンタの事象、ならびに、外科織物を含まない画像の自動化された収集及び処理を最小にするか除去する。この追跡プロセスにより、すべてのカラー画像の、血液の内容物の判定を実施する必要性を低減することで、計算効率の向上もし得る。

【0015】

さらなる実施形態では、コンピュータデバイス１００は、その視野１０８内（すなわち、コンピュータデバイス１００に組み込まれ及び／または接続された光学センサシステム１０４の１つまたは複数の光学センサの視野内）の外科織物１０６ａを自動的に検出するようにも構成され得、それにより、血液を含む外科織物の取得をユーザが、フットペダルの押込み、タッチコントロール、ジェスチャコントロール、またはボイスコントロールなど、手動で引き起こす必要性を低減するか除去している。さらに、コンピュータシステム１００は、組み込まれているか接続されたディスプレイ１１８を通して、外科織物１０６ａがコンピュータデバイス１００の視野１０８内に検出されたこと、外科織物の画像が取得されたことの可視インジケータ、及び／または、外科織物１０６ａを操作して、十分であるか高品質の画像を与えることのプロンプトなどの、リアルタイムの視覚フィードバックを提供するように構成され得る。

【0016】

本明細書に記載の方法は、手術室、搬送室、救急車、または任意の他の医療用もしくは救急用対応スペースもしくはユニット内に設置されるか配置されたコンピュータデバイス１００によって局所的に実行され得る。しかし、本方法は、遠位のサーバなどにより、局所的及び／または遠位で実行もされ得る。本方法のブロックは、外科用スポンジの検出、ならびに、外科用スポンジの画像の取得及び処理として、本明細書に記載されている。しかし、本方法のブロックは、追加的または代替的に、外科用ガーゼ、外科用タオル、または任意の他の織物を検出し、そのような織物の画像を取得及び処理するように実施され得る。

【0017】

２．例示的方法
図１に示すように、外科織物内の血液構成要素の量を評価するための概略的方法Ｓ１００は、第１の時点において、ブロックＳ１１０で、光学システム１０４を使用して、視野１０８の第１の赤外または深度画像１０２を取得することを含んでいる。この特定の実施例では、光学システム１０４は、組込型ディスプレイ１１８、及び、コンピュータデバイスのディスプレイ１１８と同じ側のカラーカメラまたはカラー撮像システム１２０とを有するコンピュータデバイス１００を備えているが、他の実施例では、コンピュータデバイス１００は、ディスプレイ１１８の反対側でカメラを使用するように構成されている場合がある。深度画像１０２を取得するために、赤外カメラまたは深度撮像システム１２２は、コンピュータデバイス１００に直接取り付けられているが、他の実施例では、深度撮像システム１２２は、コンピュータデバイス１００から離間した位置に取り付けられている場合がある。いくつかの変形形態では、赤外または深度カメラ１２０は、特定のコンピュータデバイス１００に取り付けられるように構成されており、それにより、この第２のカメラ１２１の光軸が、垂直かつ、カラーカメラ１２０の光軸に平行に整列されるようになっている。しかし、他の実施例では、第２のカメラ１２１の光軸は、カラーカメラ１２０の水平軸と整列している場合があるか、カラーカメラのどの軸とも整列していない場合がある。第２のカメラ１２２は、代替的には、カラーカメラ１２０から、約１５ｃｍから２００ｃｍ、または、約３０ｃｍから約１００ｃｍのレンジ内の距離の位置において、カラーカメラ１２０の光軸と交差するように構成され得る。

【0018】

画像１０２は次いで、Ｓ１１１において分析されて、第１の赤外画像１０２の外科織物１０６ｂに対応する表面または形状の特性を検出する。外科織物１０６ｂの存在が確認された場合、フレームカウンタ１１４は、Ｓ１１２において指数が付される。第１の時点に続く第２または次の時点では、視野１０８の第２または次の赤外画像１０２が取得され、第２または次の赤外画像１０２内の外科織物１０６ｂの表面または形状の特性の検出に応じて、フレームカウンタ１１４にふたたび指数を付す。この検出は、閾値１１６に達するまでか、第２または次の赤外画像に外科織物の表面または形状の特性を検出できなかったことに応答して、Ｓ１３０でフレームカウンタをクリアするまで繰り返し実施される。Ｓ１１３において、フレームカウンタが閾値に等しい値を含んでいると、視野１０８のカラー画像１１０は、カラーカメラ１２０によって取得され得る。カラー画像が赤外または深度画像１０２で取得される変形形態では、ブロックＳ１１０またはブロックＳ１１１の間に取得される、それらからの最後のカラー画像１１０が使用され得る。外科織物１０６ｂに対応するカラー画像１１０の領域が識別され、次いで、これら領域は、血液を包含する部分を識別するように、さらに分析される。これら部分は次いで、ブロックＳ１４０において、血液構成要素の量の評価に変換される。このため、本システムは、Ｓ１３０においてフレームカウンタをクリアする。

【0019】

本方法のさらなる変形形態が、図１にも示されている。たとえば、第１の時点では、視野１００の第１の画像１０２が、Ｓ１１０において、光学システム１０４によって取得されると、第１の画像１０２のレンダリングされた形態が、Ｓ１２０においてディスプレイ１１８に提供され得る。この表示された画像１０２は、深度画像またはカラー画像に対応し得る。第１の画像１０２内の外科織物１０６ｂの第１の表面または形状の特性を検出するのに応じて、フレームカウンタ１１４は、Ｓ１１２において指数が付され、ディスプレイ１１８上で、ブロックＳ１２２において、外科織物１０６ｂの第１の表面または形状に対応する第１の画像１０２の領域をハイライトする。本方法のこの変形形態は、第１の時点に続く第２または次の時点で、視野１０８の第２または次の画像１０２を取得し、ディスプレイ１１８上の第２または次の画像１０２の形態をレンダリングすることも含み得る。そして、第２の画像１０２内の外科織物１０６ｂの第２の表面または形状の特性を検出するのに応じて、Ｓ１１２においてフレームカウンタ１１４に指数を付し、ディスプレイ１１８上で、ブロックＳ１２２において、フレームカウンタ１１４の値に基づき、第２の表面または形状に対応する第２の画像１０２の領域をハイライトする。第２または次の画像１０２における外科織物１０６ｂの第２の表面または形状の特性の検出がされなかった場合に、フレームカウンタ１１４がＳ１３０においてクリアされるか、フレームカウンタ１１４が閾値１１６に等しい値を含むのに応じて、ブロックＳ１５０において織物カウンタ１１２に指数を付し、フレームカウンタ１１４をクリアする。様々な外科織物を利用する手術または外科医療では、複数の外科織物カウンタが設けられ得、対応する外科織物１０６に関するカウンタに、Ｓ１５０において指数が付され得る。

【0020】

３．システム
図１に示すように、コンピュータデバイス１００は、視野１０８を規定し、その視野１０８から深度及びカラーデータを取得するように構成された撮像システム１０４を含んでいる。具体的には、コンピュータデバイス１００は、視野１０８の深度情報またはマップ１０２を出力する深度撮像カメラまたはシステム１２２と、視野１０８のカラー画像１１０を出力するカラー撮像カメラまたはシステム１２０とを含むことができる。

【0021】

図３に示すように、一実施態様では、深度撮像システム１２２は、投影視野を規定し、投影視野にドットのパターンの赤外光を投影する赤外（「ＩＲ」）光プロジェクタ３０２の構造を有するハウジング３００と、投影視野とほぼ同じ赤外視野を規定し、赤外視野の赤外画像（または「赤外フレーム」）のシークエンスを取得するように構成されたＩＲカメラ３０４と、各赤外画像にわたるドットの密度または変位に基づくなどにより、各赤外画像において記録された、ＩＲカメラ３０４によって検出された歪曲したドットパターンを深度マップ１０２に変換するように構成された内部プロセッサ３０６と、を含んでいる。ＩＲプロジェクタは、ＩＲレーザまたはダイオードを備え得る。米国特許出願第８，３７４，３９７号は、このＩＲ深度技術の一例である。この文献は、その全体を参照することにより、組み込まれる。したがって、コンピュータデバイス１００の作動中は、深度撮像システムは、深度マップ１０２のシークエンスを出力することができ、各深度マップ１０２は、ＩＲカメラ１２２と、対応する時間における赤外視野内の表面との間の距離の表示を含んでいる。当然、ＩＲベースのカメラに加え、限定ではないが、他のタイプの同様の構造のカメラ、距離、カメラの焦点深度を判定するために、ステレオ三角測量法がステレオ画像のペアで使用され得るステレオカメラ、及び、他の既知のタイプの深度カメラを含む、他の深度カメラも使用され得る。いくつかの変形形態では、深度撮像システム１２２は、コンピュータデバイスの内部のカラー・カメラ・システムの代わりに使用される場合がある、カラー・カメラ・システム３０８を含み得る。

【0022】

カラー撮像システムは、赤、緑、及び青のカラーチャンネルをサポートするＣＣＤカメラまたはＣＭＯＳカメラなどの、カラーカメラ１２０を含み得る。カラーカメラ１２０は、ＩＲカメラ１２２の赤外視野（そしてひいては、投影視野）に実質的に類似している（すなわち、実質的にオーバーラップしている）カラーの視野を規定もし得る。以下に記載するように、コンピュータデバイス１００は、３０Ｈｚのレートなどで、本方法を実行している間の各サンプリング期間の間、深度マップ１０２の生成と、カラー画像１１０の取得とをそれぞれ行うように、深度撮像システム１２２とカラー撮像システム１２０とのトリガとなる、すなわち起動することができる。他の実施例では、カメラ（複数可）のサンプリングレートは、約０．１Ｈｚから約１ｋＨｚ、または約６０Ｈｚから約２４０ｋＨｚのレンジである場合がある。コンピュータデバイス１００は、このため、各サンプリング期間の間、１つの深度マップ１０２と１つのカラー画像１１０と（「フレームペア」）を取得することができ、各サンプリング期間に関して、深度データとカラーデータとの両方を処理して、対応する時間における、コンピュータデバイス１００の視野内の外科用スポンジまたは他の外科織物１０６の存在を検出する。代替的には、コンピュータデバイス１００は、深度撮像システムをサンプリングし、深度マップデータを処理して、コンピュータデバイス１００の視野１０８内の外科用スポンジまたは外科織物を検出することができる。また、コンピュータシステム１００は、以下に記載するように、フレームカウンタ１１４内の値が閾値１１６に達すると、カラー撮像システムを通してカラー画像１１０を取得することができる。さらに他の実施形態では、カラー画像１１０に対する深度画像１０２の比は、決まっているか、予め定められている場合があり、約３：２から約１００：１、または約２：１から約５０：１、または約３０：１から約５０：１である場合がある。

【0023】

コンピュータデバイス１００は、ＩＲカメラ１２２及びカラーカメラ１２０に隣接したディスプレイ１１８をも含み得る。ディスプレイ１１８は、ＩＲカメラ及びカラーカメラの視野に対してほぼ垂直な視覚エリアを規定することができ、それにより、外科用スポンジを保持するユーザ（たとえば、看護師、技術者、麻酔専門医）が、ディスプレイ１１８のコンテンツを見ながら、ＩＲカメラ１２２及びカラーカメラ１２０の前に立つことができるようになっている。たとえば、以下に記載するように、ディスプレイ１１８は、ａ）スポンジが検出されたことのインジケータ、ｂ）スポンジの画像が記録されたことのインジケータ、ｃ）スポンジカウンタの値、及び、ｄ）画像が取得される前にスポンジを扱うことのプロンプトなどの、１つまたは複数の任意のものを、ほぼリアルタイムでレンダリングすることができる。一実施例では、コンピュータデバイスには、タブレットコンピュータであって、前方に向いたカラーカメラ、及び、組み込まれたディスプレイ、ならびに、タブレットに取り付けられ、タブレットから外側に向き、カラーカメラのカラー視野に実質的に類似している投影視野及び赤外視野を規定する、ＩＲプロジェクタ及びＩＲカメラを含む、タブレットコンピュータが含まれる。しかし、コンピュータデバイスは、任意の他の、組み込まれているか接続された、任意の他の適切な方法で構成された、光学、撮像、及び／または処理構成要素を含むことができる。

【0024】

４．例示的なユーザの経験
一実施例では、コンピュータデバイス１００は、手術室内に設置され、手術、外科医療、または処置の間に利用される、本来の失血の監視アプリケーションの形態で、図１に示した方法を実行する。この実施例では、コンピュータデバイス１００は、その視野１０８の赤外画像１０２及び／またはカラー画像１１０を連続して取得し、画像またはフレーム内に外科用スポンジ１０６ａが検出されなかった場合、これら画像を廃棄する。コンピュータデバイス１００は、ディスプレイ１１８のこれらフレームまたは画像を、ほぼリアルタイムでレンダリングする場合もある。レンダリングされた画像は、通常はカラー画像１１０であるが、深度画像１０２、または、カラー画像と深度画像との複合画像である場合もある。作動中、ユーザ（たとえば、看護師、技術者、麻酔専門医）は、撮像システム１０４の前で外科用スポンジ１０６ａを保持し得る。ここで、外科用スポンジ１０６ａが撮像システム１０４の視野１０８内にある状態では、撮像システム１０４は、第１のサンプリング期間の間、第１の深度マップ１０２及び／または第１のカラー画像１１０（「第１のフレームペア」、または、３つ以上の画像またはマップがグループ化されている場合は「フレームセット」）を取得し、次いで、Ｓ１１０において、コンピュータデバイス１００の視野１０８内の外科用スポンジ１０６ａの存在をたどる。コンピュータデバイス１００は次いで、本明細書に記載のマシンビジョン技術を実施して、第１の深度マップ１０２の領域（及び、第１のカラー画像１１０の対応する領域）を外科用スポンジ１０６ａと相関させて、Ｓ１１２において、「０」から「１」に、フレームカウンタ１１４に指数を付す。第１の深度マップ１０２（または第１のカラー画像１１０）内に外科用スポンジの画像１０６ｂを検出するのに応じて、コンピュータデバイス１００は、ディスプレイ１１８上の第１の赤外画像１０２（または第１のカラー画像１１０）を、検出された外科用スポンジの周囲に沿う第１の幅の、色が付いた（たとえば、緑、赤、黄、もしくは他の別個の色の）ラインもしくは形状のオーバーレイ４００、及び／または、外科用スポンジの検出エリアにわたる、第１の不透明部の色が付いたオーバーレイエリアでレンダリングする。

【0025】

連続したサンプリング期間において、撮像システム１０４は、第２の深度マップ１０２及び／または第２のカラー画像１１０（「第２のフレームペア」または「第２のフレームセット」）を取得し、コンピュータデバイス１００はふたたび、マシンビジョン技術を実施して、第２の深度マップ１０２の領域（及び、第１のカラー画像１１０の対応する領域）を外科用スポンジ１０６ａと相関させて、「１」から「２」に、フレームカウンタ１１４に指数を付す。第２のフレームペア内に外科用スポンジの画像１０６ｂを検出するのに応じて、コンピュータデバイス１００は、ディスプレイ上の第２の赤外画像１０２を、検出された外科用スポンジ１０６ｂの周囲に沿う、第２の幅もしくはラインの長さの、より広域の色が付いたラインもしくは形状のオーバーレイ４０２－第１の幅もしくはラインの長さより大であるか異なっている－、及び／または、外科用スポンジ１０６ｂの検出エリアにわたる、第２の不透明部の色が付されたオーバーレイエリア－第１の不透明部より大であるか異なっている－でレンダリングする。

【0026】

コンピュータデバイス１００は、連続したサンプリング期間の間、フレームペアを取得し、フレームペア内に外科用スポンジ１０６ｂを検出し、それに応じてフレームカウンタ１１４に指数を付し、ディスプレイ１１８を現在の深度マップ１０２（またはカラー画像１１０）で、オーバーレイの周囲及び／またはオーバーレイのエリアのライン幅４００、４０２、及び不透明部で、リフレッシュするためにこのプロセスを繰り返すことができ、それぞれ、フレームカウンタの値を示している。画像１０２、１１０内の外科織物１０６ｂの存在を確認するプロセスを動的に実演するために、さらに大きくなるオーバーレイの幅、または、他の変化する兆候が提供され得る。たとえば、オーバーレイの色は、赤から黄色、緑へと変化する場合もある。フレームカウンタ１１４上の値が閾値（たとえば「７」）に達すると、コンピュータデバイスは、カラーカメラを通してカラー画像を取得し、カラー画像がディスプレイ上で取得されたことの可視インジケータをレンダリングし、追加の手動のインプットなしに、フレームカウンタを「０」にリセットする。たとえば、３０Ｈｚで作動している撮像システム、及び、フレームカウンタが「７」に設定されている、閾値のプリセットに関し、コンピュータデバイスは、上述の方法及び技術を実施して、外科用スポンジがコンピュータデバイスの視野に入ってから０．３秒未満の内に、外科用スポンジの画像を検出、確認、及び取得することができる。他の実施例では、閾値は、約５から１００、または約５から５０、または約４から約３０、または約２０から約４０のレンジに設定され得る。コンピュータデバイスは、Ｓ５００及び図５に示すように、視野１０８からの外科織物１０６ａの移動に関する分析を実施するようにさらに構成される場合もある。

【0027】

コンピュータデバイス１００は、米国特許出願第１３／５４４，６６４号に記載の方法及び技術を実施して、画像内のピクセルの色の値を、ブロックＳ１４０で撮像された外科用スポンジ内の血液構成要素の評価量へと変換するように構成されている場合がある。コンピュータデバイス１００の視野１０８内における外科用スポンジ１０６ｂの確認、及び、外科用スポンジ１０６ａのカラー画像１１０の取得に応じて、コンピュータデバイス１００は、手術または処置の間にコンピュータデバイス１００を通る外科用スポンジの総カウントを維持するために、ブロックＳ１５０においてスポンジまたは外科織物のカウンタ１１２に指数を付すこともする場合がある。

【0028】

５．識別器
本方法のブロックＳ１１０は、第１の時点で、視野１０８の第１の画像１０２を取得することを示している。概して、各サンプリング期間の間、コンピュータデバイス１００は、Ｓ１１０において、撮像システム１０４を通して赤外画像１０２及び／またはカラー画像１１０を取得するように作用する。上述のように、コンピュータデバイス１００は、赤外画像１０２を、その視野の深度マップに変換するか、そこから深度マップを抽出する場合もある。コンピュータデバイス１００は、その作動の間、経時的に、３０Ｈｚのサンプリングレート（もしくは「フレームレート」）、または、本明細書に記載の他のサンプリングレートなどで、このプロセスを繰り返すことができる。しかし、コンピュータデバイスは、ブロックＳ１１０において、任意の他の方法で、及び、任意の他の適切なタイプのセンサを通して、任意の他のサンプリングレートで、その視野の深度データ及びカラーデータを取得することができる。

【0029】

画像（複数可）１０２及び／または１１０を取得した後は、Ｓ１１１において、コンピュータデバイス１００が、画像（複数可）１０２及び／または１１０を分析して、その内部の１つまたは複数の画像特性の存在を判定する。または、現在のサンプリング期間に取得された画像（複数可）１０２及び／または１１０を、スポンジまたは外科織物１０６ｂを含むか、スポンジまたは外科織物１０６ｂを含まないものとして、別様に識別する。この判定に基づき、コンピュータデバイス１００は、次いで、それぞれ、Ｓ１１２においてフレームカウンタに指数を付すか、Ｓ１３０においてフレームカウンタをクリアする場合がある。具体的には、コンピュータデバイス１００は、図１及び図２に示すように、サンプリング期間の間に取得された１つまたは複数の識別器を深度マップ１０２及び／またはカラー画像１１０に適用して、サンプリング期間の間、コンピュータデバイス１００の視野１０８内に外科用スポンジまたは織物１０６ａが存在するか存在しないかを判定し、それに応じて、フレームカウンタ１１４を操作する。

【0030】

１つの例示的方法Ｓ２００では、コンピュータデバイス１００は、図１のＳ１１０のように、ＩＲ画像１０２及び／またはカラー画像１１０を取得し、次いで、任意選択的に、Ｓ２１０において、画像１０２及び／または画像１１０を深度マップに変換する。いくつかの実施例では、ＩＲ撮像システム１２２から出力されたＩＲ「画像」が深度マップであることから、変換が必要ではない場合がある。または、深度マップは、いずれの変換または計算をも必要とすることなく、赤外画像のアルファチャンネル（または他のチャンネル）から抽出され得る。Ｓ２２０では、コンピュータデバイス１００は、サンプリング期間の間に取得された深度マップに外周の識別器を適用して、深度マップ内のエリアを、可能性のある外科用スポンジに相関させる。一実施例では、赤外カメラに対して実質的に垂直の位置には保持されていない場合がある外科用スポンジに関して補償するために、コンピュータデバイスは、深度マップをスキャン－深度のマップのＸ軸とＹ軸との両方に沿って－して、１０の近接したピクセルのラインにわたり、１０％以上、２０％以上、３０％以上、または４０％以上の閾値を超える深度マップにおいてＺ軸に沿って深度の変化を識別することができる。この実施例では、コンピュータデバイス１００は、短い近接したピクセルのラインの各々を相関させることができる。このラインにわたり、深さの値が周辺条件を１０％超え、次いで、深度マップ内の隣接した類似の周辺条件を、コンピュータデバイスの視野内の別個の表面の周囲に集める。これら別個の表面がこうして検出されると、コンピュータデバイスは、テンプレートのマッチング、表面の調和、または他のマシンビジョン技術を実施して、可能性のある外科用スポンジの、深度マップ内の別個の、ほぼ直線状の表面を識別することができる。コンピュータデバイスはこうして、エリアの内部からエリアの外部への、（撮像システムからの）深度の急激な増大によって特徴付けられた、ほぼ直線状の外周によって境界が定められたエリアに関して、深度マップをスキャンし得る。この実施態様では、コンピュータデバイスは、撮像システムの前方で垂直に保持された際の直線状のスポンジの１つまたは複数の側部の湾曲を含む、外科用スポンジのゆとり（たとえば、剛性ではないこと）を補償する幾何学形状の識別器を実施し得る。外科用スポンジのゆとりは、外科用スポンジ内の流体の容量、ユーザによって外科用スポンジに印可される引張りなどで変化する場合がある。

【0031】

前述の実施態様では、コンピュータデバイスは、やはり、深度画像の横方向及び長手方向の中心における、単一のピクセルまたは小ピクセルのクラスタを包含しない表面すべてなど、深度マップ内の予め規定されたポイントまたは領域に一致しない、検出された表面すべてを拒絶する場合がある。コンピュータデバイスはこうして、２Ｄ位置識別器を深度マップに適用して、撮像システムの視野内で実質的に中心にない表面を拒絶する場合がある。しかし、コンピュータデバイスは、任意の他の幾何学形状の識別器を、任意の他の方法で実施して、深度マップ内の近接した表面をほぼ直線状の外周を検出し、この表面を、可能性のある外科用スポンジと相関させる場合がある。

【0032】

他の実施例では、外周の検出は、たとえば、１５％、２０％、３０％、４０％、５０％、６０％、または７０％より大などの、深度のより急激な変化または減少を識別するように設定される場合がある。外周の検出が、正方形または矩形の外科織物の４つの縁部すべてに関して実施され得るが、他の実施例では、コンピュータデバイス１００は、深度の変化に関し、Ｘ軸またはＹ軸に対してのみ、縁部のスキャンを実施するが、他の軸には実施せず、こうして、縁部の各端部ポイントを、推定される縁部に接続することにより、縁部を他方の軸に沿って推定する場合がある。こうして、いくつかの変形形態では、頂縁部及び底縁部のみが検出され得、横方向の縁部は、頂縁部及び底縁部の端部から推定され得る。代替的には、横方向の縁部が検出され得、頂縁部及び底縁部が推定される。

【0033】

別の実施態様では、コンピュータデバイス１００は、Ｓ２３０において、任意選択的に平坦性の識別器を、深度マップの選択された表面に適用して－上述のように、可能性のある外科用スポンジまたは織物と相関される－、選択された表面が、外科用スポンジまたは織物１０６ａを示すのに十分に平坦であることを判定または確認する。この実施態様では、コンピュータデバイス１００は、深度マップ内のピクセルのセット（たとえば、３、４、５、６、または１０）を選択し、ピクセルのセットに仮想平面をマッピングし、次いで、仮想平面から、選択された表面に対応する深度マップ内の他のピクセルまでの垂直方向の距離のヒストグラムを推計することができる。こうして、ヒストグラムにより、選択された表面が、（任意選択的に、歪みを低減させるために、異常値を除去して）その高さ及び幅にわたって、仮想平面の距離の閾値内にあるままであることが示された場合、コンピュータデバイス１００は、選択された表面に、その上側の角で保持された外科用スポンジを示すのに十分な平坦性があるかを判定または分析することができる。しかし、ヒストグラムにより、選択された表面の領域が仮想平面からの距離の閾値に反していることが示された場合、コンピュータデバイス１００は、選択された表面を、その上側の角で保持された外科用スポンジに対応しないとして、破棄することができる。この実施態様では、コンピュータデバイスは、±０．１インチ、±０．２５インチ、±０．５インチ、±０．７５インチ、または±１インチの距離の閾値など、外科用スポンジの折れ目、しわ、及び／またはひだを補償する距離の閾値を実施することができる。この実施態様では、選択された表面が、平坦性の識別器の下で拒絶された場合、コンピュータデバイスは、原典の、及び／または線図でのプロンプトを生成して、平坦性の識別器をパスするために外科用スポンジを延ばすことができる。コンピュータデバイスは、このプロンプトを、ほぼリアルタイムで、ディスプレイ上でレンダリングすることができる。

【0034】

さらに別の実施態様では、コンピュータデバイスは、Ｓ２４０において、深度マップに対して垂直性の識別器を適用して、選択された表面が撮像システムの視野に対して十分に垂直であることを確認して、図１の、ブロックＳ１４０における撮像及び処理に適するものとする。たとえば、コンピュータデバイス１００は、上述の仮想平面に対して垂直な仮想線を推計し、仮想線が、撮像システムの視野の中心に対して閾値の角度を超える最大の角度を形成する場合、選択された表面を拒絶し、仮想線と撮像システムの視野との間に形成された最大の角度が閾値の角度内にあるままである場合、選択された表面をパスする。図６に示す代替の方法Ｓ６００では、Ｓ２４０の垂直性の識別器の適用の後は、コンピュータデバイス１００または光学システム１０４に対して十分に垂直ではない画像の拒絶の代わりに、コンピュータデバイス１００は、Ｓ６０２において、推計的に深度マップの歪みを取るか歪曲を取る場合がある。深度マップの歪曲を取るために、コンピュータデバイス１００は、画像１０２内の外科織物１０６ｂの４つの角及び／または４つの縁部を検出し、３Ｄ回転マトリクスまたは並進マトリクスを適用して、Ｚ軸内の同じ平面に、角または縁部を平準化する場合がある。

【0035】

歪曲を取った後に、コンピュータデバイス１００は、平坦性の識別器を、歪曲が取られた外科織物１０６ｂにふたたび適用し、次いで、外科用スポンジの折れ目、しわ、及び／またはひだに起因して、歪曲が取られた深度画像内の選択された表面にわたるピクセルに関する距離の値の最大の変化が閾値の距離を超える場合、選択された表面を拒絶し、または、歪曲が取られた深度画像内の選択された表面にわたるピクセルに関する距離の値の最大の変化が閾値の距離にある場合、選択された表面をパスして、歪曲が取られた深度画像を使用してさらなる識別及び／または処理を継続する場合がある。閾値の距離は、約－１ｃｍから約＋１ｃｍ、約－２ｃｍから約＋２ｃｍ、または、約－３ｃｍから約＋３ｃｍ、または約－４ｃｍから約＋４ｃｍのレンジにある場合がある。歪曲が取られた画像が、Ｓ６０２で歪曲を取った後にＳ６０４で平坦性の識別器をパスしなかった場合、コンピュータシステム１００は、視野１０８内の外科織物１０６ａの位置を、比較的より垂直な向きに再配置するように図るために、コンピュータデバイス１００のディスプレイ１１８上に通知またはメッセージを提供するか提供せずに、Ｓ１３０においてフレームカウンタをリセットし得る。代替的には、選択された表面が、垂直性の識別器の下で拒絶された場合、コンピュータデバイスは外科用スポンジを調整して、追加の特定の数のフレームに関する垂直性の識別器をパスするために原典の、及び／または線図でのプロンプトを生成することができる。そして、コンピュータデバイスは、このプロンプトを、ほぼリアルタイムで、ディスプレイ上でレンダリングすることができる。フレームの数は、たとえば、約１５フレームから１２０フレーム、または約３０フレームから約６０フレームのレンジ内にある場合がある。

【0036】

図２の方法Ｓ２００をふたたび参照すると、コンピュータデバイスは任意選択的に、Ｓ２５０で距離の識別器を深度マップに適用して、選択された表面が撮像システム１０４の適切な深度内にあることを確認する場合がある。たとえば、コンピュータデバイス１００が、Ｓ２３０において、選択された表面が十分に平坦で、Ｓ２４０において、撮像システムの視野に対して十分に垂直であるとそれぞれ判定した場合、コンピュータデバイス１００は、外科織物１０６ｂの選択された表面を示す深度画像１０２のピクセルの最小の数（たとえば、１％）より多くが、撮像システム１０４からの所定の深度のレンジ（たとえば、０．５メートルから１．２５メートル、または３０ｃｍから約１００ｃｍ、または約４０ｃｍから約７５ｃｍ）の外にある場合、選択された表面を拒絶する場合がある。この実施態様では、選択された表面が、Ｓ２５０において、距離の識別器の下で拒絶された場合、コンピュータデバイス１００は任意選択的に、原典の、及び／または線図でのプロンプトをディスプレイ１１８上に生成して、Ｓ２５０で距離の識別器をパスするようにさらに意図して、外科用スポンジ１０６ａを、コンピュータデバイス１００の光学システム１０４のより近くかより遠くに移動する場合がある。コンピュータデバイス１００は、ディスプレイ１１８のこのプロンプトを、ほぼリアルタイムでレンダリングすることができる。

【0037】

上述の実施態様では、コンピュータデバイス１００は、深度画像内の選択された表面のピクセルの長さ及びピクセルの幅を、深度画像におけるピクセルの距離の値に基づき、実際の長さ及び実際の距離に変換することもできる。コンピュータデバイスはこうして、選択された表面の実際の長さまたは実際の幅が、それぞれ、予め設定された長さのレンジ、または、予め設定された幅のレンジの外にある場合、選択された表面を拒絶し、そうでなければ、そのような外科織物が使用されていることが確認される場合がある。外科織物に関する予め設定された寸法には、２インチ×２インチ、３インチ×３インチ、４インチ×４インチ、４インチ×８インチ、４インチ×１２インチ、４インチ×１６インチ、４インチ×１８インチ、１２インチ×１２インチ、１６インチ×１６インチ、１６インチ×２４インチ、１８インチ×３０インチ、１５インチ×２４インチ、１６インチ×２３インチ、１２インチ×１３インチ、１３インチ×１８インチ、２４インチ×２４インチ、３６インチ×８インチ、３６インチ×３６インチなどが含まれ得る。スポンジの各タイプに関し、ユーザは、外科手術または処置の開始時に、スポンジのタイプ及び／またはサイズを入力する場合があり、コンピュータデバイス１００は、たとえば、５インチ、８インチ、または１０インチ未満の寸法に関し、幅または長さに沿って０．５インチか０．７５インチ内であり、８インチ、１０インチ、１２インチ、または１５インチより大の寸法に関し、０．５インチ、１インチ、１．５インチ、または２インチ内の、それら外科織物の寸法を検出するように構成されている場合がある。

【0038】

別の実施態様では、コンピュータデバイスは、Ｓ２６０において、深度マップに示された、選択された表面の実際の生地が、外科織物に十分に対応しているかを判定するために、深度マップに生地の識別器を適用する。一実施例では、コンピュータデバイス１００は、深度マップ－選択された表面に対応する－内のピクセルクラスタ（たとえば、２５ピクセル対２５ピクセルのクラスタ）を、仮想平面上に投影または規定し、次いで、マシンビジョン生地分析方法及び技術を適用して、選択された表面に対応する深度マップの平準化された領域の生地を定量化するように構成されている場合がある。このため、選択された表面の生地の定量化値が単一の値のレンジ内にあるか、乾燥した外科用スポンジ、湿気のある外科用スポンジ、及びしみ込んだ外科用スポンジを示す複数の距離の値のレンジ内にある場合、コンピュータデバイスは、選択された表面を許容することができる。そうでなければ、コンピュータデバイスは、選択された表面を拒絶し得る。他の実施例では、高速フーリエ変換またはウェーブレット変換が、画像（複数可）１０２、１１０内の生地１０６ｂに適用されて、たとえばＲＧＢまたは深度チャンネルなどの１つまたは複数の画像チャンネル内の生地の周波数ドメインを評価する場合がある。いくつかの変形形態では、検出された生地の特性が、コンピュータデバイス１００のライブラリ内の外科織物にマッチするが、外科手術または処置の開始時にユーザによって選択された外科織物（複数可）にマッチしない場合、コンピュータデバイス１００は、ユーザに、新しいか異なる外科織物が、使用されているものとして示されているかを確認するように促す場合があり、また、その外科織物に関し、異なる外科織物カウンタの初期化または起動を促す場合がある。

【0039】

別の実施態様では、コンピュータデバイス１００は、選択された表面が、乾燥しているか血液を含んだ外科用スポンジを示す１つまたは複数の色を含むことを確認するために、Ｓ２７０でカラー識別器をカラー画像１１０に適用する。一実施例では、コンピュータデバイス１００は、選択された表面に対応するカラー画像の領域内のピクセルの少なくとも閾値の割合（たとえば、７０％）が、図１に示すように、赤の値のレンジ（たとえば、［ｆｆ ００ ００］から［ｆｆ ４０ ００］）、または、白に近い値のレンジ（たとえば、［ｆｆ ｆｆ ｆｆ］の周囲）内にある色を包含する場合、選択された表面を許容する。そうでなければ、コンピュータデバイスは、選択された表面を拒絶し得る。

【0040】

しかし、コンピュータデバイス１００は、フレームペア及び／または、各フレームペアの深度マップまたはカラー画像内の１つまたは複数の選択された表面に、任意の他の識別器パラメータを適用する場合もある。作動中は、コンピュータデバイス１００はこうして、１つまたは複数の識別器パラメータを現在のフレームペアに適用する場合があり、また、すべての適用された識別器パラメータが、選択された表面をパスするか、十分な確実性で選択された表面をパスする場合、外科用スポンジの表示として、フレームペア内の選択された表面を確認することができる。代替的には、コンピュータデバイス１００は、少なくとも閾値の数の適用された識別器パラメータが、選択された表面をパスするか、すべての適用された識別器パラメータの結果を合わせることにより、少なくとも閾値の確実性に達した場合、外科用スポンジの表示として、フレームペア内の選択された表面を確認することができる。コンピュータデバイスはこうして、「０」から「１」または「４」から「５」など、ブロックＳ１１２においてフレームカウンタに指数を付すことができる。いくつかのさらなる変形形態では、ユーザは、適用されるか、画像のペアまたは画像のセットをパスするのに必要である、識別器の数または重みを調整することにより、コンピュータデバイス１００の感度及び／または特殊性を、ユーザインターフェースを介して調整する場合がある。

【0041】

そうでなければ、前述の条件が満たされない場合、コンピュータデバイス１００は、外科用スポンジ１０６ｂを示すエリアを包含しないものとして、フレームペアを廃棄し、Ｓ１３０において、フレームカウンタ１１４を「０」にリセットする場合がある。コンピュータデバイス１００は、現在のフレームペア内で選択された表面が、前のフレームペア内で選択された表面とは、位置、サイズ、生地、深度などが著しく異なる場合、やはり、フレームペアを廃棄し、フレームカウンタを「０」にリセットする場合がある。たとえば、場合によっては外科用スポンジを示す表面が、現在のフレームペア内に検出された場合であっても、コンピュータデバイスは、現在のフレームペア内の選択された表面の中心が、前のフレームペア内の選択された表面の中心から、いずれかの方向で０．５インチより大だけオフセットしている場合、現在のフレームペアを拒絶して、フレームカウンタをリセットすることができる。コンピュータデバイスはこうして、撮像システムの視野を通して移動する外科用スポンジ及び他の表面を拒絶して、撮像システムの視野内でほぼ静的に保持された、任意の画像のスポンジサンプルの確認のみすることができる。

【0042】

識別器Ｓ２３０、Ｓ２４０、Ｓ２５０、Ｓ２６０、Ｓ２７０がＳ２００において、特定の順番で実施されて示されているが、当業者は、これら及び他の識別器の異なる順番が使用され得ること、または、コンピュータデバイス１００の複数コア及び／もしくは複数スレッドのプロセッサなどにおいて、１つ多くの識別器が並列に実施され得ることを理解するだろう。

【0043】

６．スポンジの確認
次いで、フレームカウンタ１１４が、閾値１１６に等しい値を包含するのに応じて、コンピュータデバイスは、血液の内容物を評価するために、画像１１０をさらに処理する前か後に、視野１０８のカラー画像１１０を記録し、ブロックＳ１３０において、フレームカウンタ１１４をクリアする。概して、フレームペアのシークエンス内の各フレームペアに関し、コンピュータデバイス１００は、図１及び図２に示すように、前のフレームペアとは独立してフレームペアを分析して、フレームペア内の外科用スポンジまたは生地１０６ｂを識別するか、外科用スポンジまたは生地１０６ｂがフレームペア内に存在しないことを確認し、それに応じて、フレームカウンタに指数を付すかクリアする。フレームカウンタ１１４が閾値１１６に等しい値を包含する場合、閾値に等しい連続したフレームペアの総数は、外科用スポンジまたは生地１０６ｂを含むものと判定されており、コンピュータデバイス１００は、このため、外科用スポンジまたは生地１０６ａが、撮像システム１０４の視野１０８内に存在すること、及び、フレームカウンタ１１４が閾値１１６に等しい値を包含すると、視野内のそのエリアが、適切な確実性の度合いであることがわかることを確認する場合がある。

【0044】

コンピュータデバイスは、「７」、「１０」、または「１５」の１つなどの、静的な、予め設定された閾値を実施することができるか、そうでなければ、約５から１００、または約１０から７０、または約３０から５０のレンジ内にあり得る。代替的には、コンピュータシステムは、ユーザにより、カスタムの閾値の設定を実施することができる。たとえば、ユーザは、外科用スポンジの画像の確認及び処理の時間を短縮するために、閾値を低減することができ、ユーザは、撮像システムの視野内の外科用スポンジの偽陽性の検出を低減するために、閾値を増大させることができる。さらに他の変形形態では、コンピュータデバイスは、不連続性カウンタを備えている場合がある。不連続性カウンタは、外科手術または処置の間、特定の最小の数の連続したフレームが満たされるが、フレーム数の閾値は満たされない各例に関する。経時的に不連続性カウンタの値に応じて、コンピュータデバイスは、閾値の増減を調整して、検出方法の感度を変更する場合がある。このことには、光の位置、または、方法Ｓ１００の正確さに影響し得る、他の環境的条件に適応し得る。

【0045】

コンピュータデバイスがこうして、その視野１０８内に外科用スポンジ１０６ａの存在を確認すると、コンピュータデバイス１００は、撮像システムによって取得された最後の深度マップ１０２及び／またはカラー画像１１０を記録し得るか、撮像システムに、新たな深度マップ１０２及び／またはカラー画像１１０を取得させるトリガとなり得る。コンピュータデバイス１００は、こうして、以下に記載するように、この画像のペアを処理し得る。

【0046】

いくつかの変形形態では、Ｓ１３０でフレームカウンタ１１４をリセットする前か、Ｓ１１０で新たな外科織物１０６ａのスキャンを再開する前に、ちょうど光学システム１０４に提供された外科織物１０６ａを不注意に再度カウントするか再度分析するリスクを低減するために、コンピュータデバイスは、図５のＳ５００に示すように、次の外科織物１０６ａを識別するために画像を取得する前に、外科織物１０６ａが視野１０８から除去されたことを検出するようにさらに構成されている場合がある。Ｓ１４０での評価された血液の内容物の判定、及び／または、Ｓ１５０での織物カウンタ１１２の増加の後に、Ｓ５１０において、コンピュータデバイス１００は、新たな深度マップ１０２及び／またはカラー画像１１０を取得し、Ｓ５２０において、外科用スポンジ１０６ａが視野１０８から除去されたか、そうでなければ、画像１０２または画像１１０に検出されないかを判定し得る。外科織物１０６ｂが依然として画像１０２または画像１１０内に存在する場合、ユーザは、まだ、前の外科織物を除去していないか、まだ、十分な数の画像またはフレームのために、外科織物を除去しておらず、コンピュータデバイスは、「ｎｏ ｔｅｘｔｉｌｅ」カウンタをゼロにリセットする。

【0047】

外科織物１０６ｂがフレームまたは画像内に識別されない場合、Ｓ５４０において、「ｎｏ ｔｅｘｔｉｌｅ」カウンタが増大し、次いで、カウンタが、「ｎｏ ｔｅｘｔｉｌｅ」の閾値に対してチェックされて、十分な数の連続した「ｎｏ ｔｅｘｔｉｌｅ」のフレームまたは画像が識別されたかを判定する。閾値が満たされた場合、「ｎｏ ｔｅｘｔｉｌｅ」カウンタはリセットされ得、次いで、コンピュータデバイスは、Ｓ１３０でフレームカウンタをリセットし得る。いくつかの実施例では、「ｎｏ ｔｅｘｔｉｌｅ」の閾値は、約５から１００、または約５から５０、または約４から約３０、または約２０から約４０のレンジにあり得る。Ｓ５００における「ｎｏ ｔｅｘｔｉｌｅ」の閾値は、図１のＳ１００における閾値１１６と同じである場合があるか、異なっている場合がある。

【0048】

７．動的識別器
一実施態様では、コンピュータシステムは、同じ順番の設定の識別器パラメータを、その操作を通して取得された各フレームペアに適用する。代替的には、コンピュータシステムは、フレームカウンタ内の現在の値に基づき、識別器パラメータのセットをフレームペアに適用することができる。たとえば、コンピュータデバイス１００は、フレームカウンタが「０」の値を含む場合、外周の識別器及び横方向／長手方向の位置の識別器をフレームペアに適用し得、次いで、フレームカウンタが「１」の値を含む場合、外周の識別器及び垂直性の識別器をフレームペアに適用する。外周の識別器及び距離の識別器は、フレームカウンタが「２」以上の値を含む場合に、フレームペアに適用される場合があり、外周の識別器及び生地の識別器は、フレームカウンタが「６」の値を含む場合に、フレームペアに適用される場合があり、外周の識別器及び色の識別器は、フレームカウンタが「７」の値を含む場合に、フレームペアに適用される場合がある。しかし、コンピュータデバイスは、任意の他の、単一または組合せの識別子のパラメータをフレームペアに適用して、フレームペア内の外科用スポンジを識別するか、フレームペアを廃棄することができる。いくつかの他の変形形態では、外周及び／または位置の識別器は、すべてのフレームに適用され得、一方、残りの識別器が、異なるフレームに適用される。いくつかの変形形態では、残りの識別器に関する異なるフレームは、予め規定されており、一方、他の変形形態では、異なるフレームは、処理時間または、前の識別器の完了に応じる場合がある。

【0049】

８．ユーザインターフェース
本方法のブロックＳ１２０は、ディスプレイ上の第１の画像の形態のレンダリングを示しており、本方法のブロックＳ１２２は、ディスプレイ上で、第１の表面に対応する第１の画像の領域をハイライトすることを示している。概して、コンピュータデバイスは、ブロックＳ１２０において、ディスプレイ上の現在のフレームペア（すなわち、もっとも最近、撮像システムによって取得されたフレームペア）からの深度マップ（またはカラー画像）の形態をレンダリングし、ブロックＳ１２２において、深度マップにわたる仮想的オーバーレイをレンダリングして、図１に示すように、場合によっては外科用スポンジに対応する表面が、フレームペア内に検出されたことを可視的に示す。

【0050】

一実施態様では、コンピュータデバイスは、リアルタイムで、深度マップの歪曲を取り、ディスプレイ上の、これら歪曲が取られた深度マップをレンダリングする。上述のように、各深度マップが処理されると、コンピュータデバイスは、ほぼリアルタイムで、外科用スポンジに対応し得る深度マップを伴う領域（たとえば、境界が定められたエリア）を識別し、次いで、ディスプレイ上の対応する深度マップにわたり、この可能性のある外科用スポンジの可視インジケータをレンダリングすることができる。たとえば、コンピュータデバイスは、ディスプレイ上でレンダリングされた深度マップ内の、可能性のある外科用スポンジの外周にわたり、色が付されたアウトラインをオーバーレイすることができる。この実施例では、コンピュータデバイスは、フレームカウンタ上の現在の値に比例するアウトラインのライン幅を設定することができる。同様に、コンピュータデバイスは、フレームカウンタの現在の値が「０」である場合は赤、フレームカウンタの現在の値が「２」である場合はオレンジ、フレームカウンタの現在の値が「４」である場合は黄、そしてフレームカウンタの現在の値が「６」である場合は緑など、フレームカウンタの現在の値に基づき、アウトラインの色を設定することができる。別の実施例では、コンピュータデバイスは、可能性のある外科用スポンジに対応する、深度マップのある領域－ディスプレイ上でレンダリングされた－にわたって重なっている、半透明の色のエリアをオーバーレイすることができる。この実施例では、コンピュータデバイスは、フレームカウンタの現在の値が「０」である場合は１２％の不透明度、フレームカウンタの現在の値が「１」である場合は２４％の不透明度、フレームカウンタの現在の値が「３」である場合は３６％の不透明度、…そしてフレームカウンタの現在の値が「７」である場合は８４％の不透明度など、フレームカウンタの現在の値に対応するオーバーレイのエリアの不透明度を設定することができる。同様に、コンピュータデバイスは、上述のものなど、フレームカウンタ上の現在の値に基づき、オーバーレイのエリアの色を設定することができる。

【0051】

したがって、ブロックＳ１２０及びブロックＳ１２２では、コンピュータデバイスは、撮像システムの視野内の外科用スポンジの検出に関する、リアルタイムの視覚フィードバックを提供することができる。コンピュータデバイスは、追加的または代替的に、上述の方法及び技術のいずれかを実施して、ほぼリアルタイムでディスプレイ上のカラー画像及び／またはオーバーレイをレンダリングし、そのようなフィードバックをユーザに提供することができる。

【0052】

９．マスク
画像１０２及び／または１１０内に、外科用スポンジまたは生地１０６ｂの存在がこうして確認されると、コンピュータデバイス１００は、画像マスクを適用するか、深度マップ内の、選択され、確認されたエリアの外周を、同じフレームペア内の対応するカラー画像に置いて、カラー画像のある領域を選択し、ブロックＳ１４０及び／またはブロックＳ１５０において処理する。

【0053】

いくつかの変形形態では、計算速度、効率、及び／または正確さを促進するために、カラー画像にマスクを形成及び適用する方法Ｓ７００は、任意選択的に使用され得る。たとえば、図７では、深度撮像システム１２２は、Ｓ７１０で深度画像を、カラー撮像システム１２０からの関連する画像とともに得るために使用され得る。深度チャンネル情報は、こうして、Ｓ７２０において抽出または取得され、必要であれば、赤外画像から得られるか計算される。Ｓ７３０では、Ｓ２２０における外周または縁部の識別器と類似であるか同じである場合がある外周または縁部の識別器は、外科織物の外周を識別するために使用され得る。画像はこうして、Ｓ７４０において、必要であれば、歪みが取られるか、本明細書の別の部分に記載するように、カラー画像の座標系の斜視図に変換され得る。カラー画像は、やはり、Ｓ７５０において、色及び／またはコントラストの平準化のために処理される場合がある。たとえば、ＲＧＢチャンネルのヒストグラム分布またはカラーカーブを生成し、カラー画像を異なるヒストグラムまたはカーブに平準化する。外科織物の画像に対応するものが、こうして、Ｓ７６０において、マスクとしてカラー画像に適用されて、不要な分析から、背景のカラーピクセルを除去する。

【0054】

図８に示される、マスクの方法Ｓ８００の別の実施例では、深度画像及びカラー画像は、Ｓ８１０において赤外システム及びカラーシステムから得られる。Ｓ８１０において、第１のマスクが、最大の最前面のピクセル値を正、他のすべてのピクセルを負として扱うことにより、赤外画像の深度チャンネルから生成される。このことは、ＩＲカメラの最小深度レンジかその下で、外科織物がＩＲカメラに提供される結果である場合がある。Ｓ８３０及びＳ８４０において、第１のマスクは、浸食及び拡大を経る。これらは、ノイズ及び偽陰性ピクセルを低減するために使用され得る、閾値に基づく形態学上の画像処理操作である。たとえば、浸食を実施するために、マスク内の各ピクセルは、たとえば、３×３か、５×５、７×７、３×５、または５×３のピクセルゾーンまたはウィンドウとして構成されるか規定され得る、周囲のピクセルの最小値と置き換えられる。この浸食プロセスは、第２のマスクを生成するために、単一のパスとして、または、複数のパスを介して、第１のマスクに適用され得、異なるピクセルウィンドウが、異なるパス上で使用され得る。この浸食プロセスは、第１のマスク内の背景のノイズまたは他の偽陽性ピクセルを低減するために使用され得る。次に、拡大プロセスが、第３のマスクを生成するために、第１のマスクに適用され得る。ここで、第１のマスク内の各ピクセルは、たとえば、３×３か、５×５、７×７、３×５、または５×３のピクセルゾーンまたはウィンドウの、周囲のピクセルのグループ内の最大値と置き換えられる。グループ化は、浸食プロセスに使用されるグループ化と同じである場合があるか、異なっている場合があり、また、やはり、各パスに関して同じか異なるグループ化で、単一のパスまたは複数のパスで実施され得る。この拡大プロセスは、特定の偽陰性のピクセルに潜在的に戻すために使用され得る。これら３つのマスクを使用して、Ｓ８５０において、マスクのピクセル毎に２ビットの、第４のマスクが、任意選択的に生成され、ここで、第２のマスクからのすべてのピクセルは、「１１」とフラグが付されるか、別様に、厳密な最前面ピクセルとしてフラグが付される。第３のマスクに無いピクセルは、「００」とフラグが付されるか、別様に、厳密な背景のピクセルとしてフラグが付される。第１のマスク内にあるが、第２のマスクには無いピクセルは、見込みのある最前面ピクセルとして、「１０」とラベルが付され、第３のマスク内にあるが、第１のマスクには無いピクセルは、「０１」とラベルが付される、すなわち、見込みのある背景のピクセルである。

【0055】

必要とされる所望の感度及び／または特殊性に応じて、第１、第２の、または第４のマスクは、さらなる処理のために、カラー画像内の対応するピクセルを識別するために使用され得る。第１のマスクまたは第４のマスクなどのマスクにおいて、外周または縁部の検出などのさらなる処理が、カラー画像に対する適用の前に、マスクをさらに洗練させるために適用され得る。

【0056】

１０．手の除去
コンピュータデバイスは、ユーザの手－外科用スポンジを保持している－に対応するカラー画像の領域をも識別し、これら領域を、ブロックＳ１４０及びブロックＳ１５０における処理から廃棄する場合がある。たとえば、コンピュータデバイスは、外科用スポンジを示すものとして確認されたフレームペア内の深度マップの選択された領域をスキャンし、この選択された領域の角に近く、手によって低減された撮像システムからの距離を示す深度画像内のエリアを相関させ、次いで、ブロックＳ１４０における処理からの除去のために、カラー画像の対応するエリアを明示する場合がある。コンピュータデバイスは、このエリアを、ディスプレイ上に示された外科用スポンジのアウトラインから除去する場合もある。コンピュータデバイスは、外科用スポンジが、撮像システムの視野内に確認された後にのみ、前述の方法及び技術を、処理のために明示されたフレームペアに適用する場合がある。代替的には、コンピュータデバイスは、前述の方法及び技術を、各フレームペア及び、ディスプレイ上でレンダリングされた各深度画像またはカラー画像に適用し得る。

【0057】

１１．血液構成要素の量及びスポンジカウンタ
ブロックＳ１４０では、撮像システムの視野の適切な距離、及び、適切に垂直にある、十分に平坦な外科用スポンジを示す領域を含むと確認されたカラー画像が取得及び記録されると、コンピュータデバイスは、米国特許出願第１３／５４４，６６４号に記載の方法及び技術を実施して、カラー画像内のピクセルに含まれる色の値を、カラー画像に示された実際の外科用スポンジ内の血液全体、赤血球、ヘモグロビン、及び／または他の血液構成要素の量の、質量、容量、または他の量的な測定値の評価に変換することができる。米国特許出願第１３／５４４，６６４号の文献は、その全体が参照することにより、本明細書に組み込まれる。

【0058】

いくつかの変形形態では、ピクセルの色の値を血液構成要素の値の評価に変換する前に、画像（本明細書に記載の任意のマスクを伴うか伴わない）は、米国特許出願第１５／１５４，９１７号に記載の、周囲の光の補償をも経る場合がある。この文献は、その全体が参照することにより、本明細書に組み込まれる。

【0059】

ブロックＳ１５０では、コンピュータデバイスは、やはり、米国特許出願第１３／５４４，６６４号に記載の方法及び技術を実施して、コンピュータデバイスが作動している操作の間に識別され、カウントされた外科用スポンジの総数を示すカウンタに指数を付す場合がある。この変形形態では、コンピュータデバイスは、外科用スポンジが撮像システムの視野内に確認されると、ディスプレイ上のスポンジカウンタに含まれる値をレンダリングし、このレンダリングされた値を実質的にリアルタイムでアップデートする場合がある。たとえば、コンピュータデバイスは、外科用スポンジが確認され、カウントされる際に、アップデートされたスポンジカウンタの値をディスプレイ上に現すことができる。同様に、可能性のある外科用スポンジがフレームペア内に検出された場合、コンピュータデバイスは、次のスポンジカウンタの値（すなわち、現在のスポンジカウント＋１）を、ディスプレイ上でレンダリングされた深度（またはカラー）画像にわたってオーバーレイすることができ、コンピュータデバイスは、フレームカウンタ内の値が、次のフレームペアに関して増大するにつれて、オーバーレイされたスポンジカウンタの値の不透明度を増大させることができる。

【0060】

別の実施形態では、カラー画像は、外科織物の区分けの後に、血液を含む画像の領域に基づき、さらに区分けされるかマスクが付されて、外科用スポンジの血液が含まれない領域を除外する。このことは、以下のルールに基づくアルゴリズムを使用することによって実施され得る。

ここで、ｒ、ｇ、及びｂは、画像内のｉ，ｊの位置におけるピクセルの画像の赤、緑、及び青のチャンネルに対応している。

の場合、ｐ_ｉ，ｊを除去するかマスクし、そうでなければ含む。
ここで、Ｘが約１０５から約１５０のレンジ内にあり、Ｙは約６０から約７０のレンジ内にあり、Ｚは約６０から約７０のレンジ内にある。

【0061】

１２．音声によるスポンジのカウント
一変形形態では、コンピュータデバイスは、動作中に検出され、撮像された外科用スポンジに関し、画像及び血液構成要素の量のデータとともに、音声データを取得及び貯蔵する場合がある。具体的には、コンピュータデバイスは、音声によるスポンジのカウントを継続的に示しているユーザ（たとえば、看護師、麻酔専門医、技術者などの、２人のユーザ）を記録することができる。

【0062】

一実施態様では、フレームペアに、可能性のあるスポンジが検出され、フレームカウンタ内に１と指数が付された場合、コンピュータデバイスは、コンピュータデバイスに接続されているか、組み込まれたマイクのサンプリングにより、音声の記録を開始する場合がある。次いで、フレームカウンタの値が閾値に達し、こうして外科用スポンジが確認された場合、コンピュータデバイスは、５秒後、スポンジが確認されること、及び新しいスポンジが撮像システムの視野内に検出されることのいずれか早いものまで、音声の記録を継続することができる。コンピュータデバイスはこうして、この音声の記録を、対応する外科用スポンジのカラー画像とともに貯蔵及びリンクさせることができる。たとえば、コンピュータデバイスは、外科用スポンジのカラー画像を記録し、カラー画像を、外科用スポンジ内の血液構成要素の量（たとえば、ヘモグロビンの容量）の評価に変換し、このカラー画像及び血液構成要素の量の評価を、画像が取得された時間、外科用スポンジに関するスポンジカウンタの値、及び、スポンジのカウント値を読み、確認する２人のユーザの音声の記録とともに貯蔵することができる。

【0063】

別の実施態様では、コンピュータデバイスは、作業を通して単一の音声トラックを記録し、次いで、音声トラックを複数の別個の音声セグメントに接合し、各音声セグメントを、音声のセグメントの時間と、カラー画像が取得された時間とに基づき、記録されたカラー画像及び血液構成要素の量の評価にマッチさせ、次いで、各音声セグメントを、その対応するカラー画像または関連するデータに対するタグまたは他のポインタとともに貯蔵する場合がある。

【0064】

１２．重複するスポンジの拒絶－ＲＦＩＤ
一変形形態では、コンピュータデバイスは、無線認識票（「ＲＦＩＤ」）リーダ及びＲＦＩＤアンテナをさらに含んでいる。この変形形態では、コンピュータデバイスが、画像カウンタに「１」（または、閾値未満のいくつかの他の値）と指数を付して、撮像システムの視野内の可能性のある外科用スポンジを示し、コンピュータデバイスは、ＲＦＩＤアンテナを通して励起信号を発し、次いで、ＲＦＩＤリーダをサンプリングすることができる。撮像システムの視野内のスポンジがＲＦＩＤタグを含む場合、このＲＦＩＤタグは、データパケットをＲＦＩＤリーダに戻すように発することができる。コンピュータデバイスは、外科用スポンジからのこのデータパケットの受信を適用して、スポンジを確認し、次いで、上述のように、平坦性、距離、位置、及び／または他の要請が満たされるとすぐ、かつ、画像のカウンタが閾値に達する前に、スポンジのカラー画像を取得し、処理することができる。コンピュータデバイスは、追加的または代替的に、管理されたマシンラーニング技術を実施して、外科用スポンジ、ならびに、外科用スポンジの深度マップ及び／またはカラー画像から受信したこのＲＦＩＤデータパケットに基づく、光学的スポンジ検出モデルを訓練することができる。代替的には、コンピュータデバイスは、励起信号を発し、フレームカウンタが閾値に達し、外科用スポンジがこうして光学的に確認された際にのみ、近位のスポンジから入ってくるデータパケットを読み取ることができる。

【0065】

上述の実施態様では、コンピュータデバイスは、同じ外科用スポンジの重複するスキャンを検出するために、作動期間の間、現在の外科用スポンジから受信したＲＦＩＤデータパケットを、他のスポンジから前に受信したデータパケットと比較する場合がある。具体的には、外科用スポンジから受信したＲＦＩＤデータパケットが、同じ作動期間の間に、前に受信したＲＦＩＤデータパケットと同一である場合、コンピュータデバイスは、重複するものとして外科用スポンジを拒絶し、対応するフレームペアを廃棄し、外科用スポンジに関する血液構成要素の量の評価を廃棄することができる。

【0066】

さらに、この変形形態では、他の近位のＲＦＩＤタグの検出を防止するために、コンピュータデバイスは、コンピュータデバイスと、現在の深度マップから評価されたスポンジとの間の距離に応じて、ＲＦＩＤアンテナのパワー出力を変更することができる。具体的には、コンピュータデバイスは、可能性があるか確認された外科用スポンジに対応する現在の深度マップの領域内の距離の値を、ＲＦＩＤアンテナによって次いで発せられる励起信号のパワーレベルに変換することができる。しかし、この変形形態では、励起信号の変換に次いでデータパケットが受信されなかった場合、コンピュータデバイスは、外科用スポンジを確認し、スポンジのカラー画像を処理するために、上述の方法の各ブロックに従って進行することができる。さらに、励起信号を発するのに次いでＲＦＩＤデータパケットが受信されなかった場合、コンピュータデバイスは、ＲＦＩＤがイネーブルされていないとして、外科用スポンジ（たとえば、外科用スポンジのスポンジカウンタの値、外科用スポンジのカラー画像など）にタグを付すことができる。

【0067】

さらなる実施例では、コンピュータデバイスは、外科織物上の任意のバーコード、ＱＲコード、または他の可視コードを識別する場合もある。たとえば、プロセッサは、ＱＲコードまたはバーコードの４つの角に関してカラー画像をスキャンし、次いで、コードが付された領域を識別する場合がある。ブロックＳ４１０では、プロセッサはこうして、コードが付された領域をデコードして、コードストリングを判定する。コードストリングはこうして、検出された外科織物を独特に識別し、システムに同じ外科織物が再度提供された場合に二重にカウントすることを避け、ユーザまたは外科医に警告を提供するように、使用され得る。

【0068】

１３．重複するスポンジの拒絶－反射性のＩＲコーティング
別の変形形態では、コンピュータデバイスは、フレームペア内に示された外科用スポンジ上の反射性材料を検出し、検出された反射性材料に基づき、（独特に）スポンジを識別するように、マシンビジョン技術を実施する。たとえば、コンピュータデバイスは、外科用スポンジ上にプリントされるか、外科用スポンジ内に編み込まれた材料によって反射され、かつ、ＩＲカメラによって検出される、電磁放射でのＩＲカメラの視野を照らすように構成された第２のＩＲエミッタを含み得る。サンプリング期間の間、コンピュータデバイスはこうして、第２の赤外画像を取得及び処理して、撮像システムの視野の外科用スポンジ内の反射性材料の、標準的であるか、実質的に特有のパターンを検出することができる。コンピュータデバイスは次いで、上述の方法及び技術を実施して、撮像システムの視野内の外科用スポンジの存在を確認し、反射性材料のパターンに基づく画像を独特に識別し、重複する外科用スポンジを拒絶し、外科用スポンジのカラー画像の早期の取得及び処理を引き起こし、及び／または、管理されたマシンラーニング技術に係る、光学的外科用スポンジ検出モデルを向上させるなど、する場合がある。

【0069】

本明細書に記載のシステム及び方法は、コンピュータ読込可能な指示を貯蔵するコンピュータ読込可能な媒体を受領するように構成されたマシンとして、少なくとも部分的に実施及び／または実行され得る。指示は、ユーザコンピュータまたはモバイルデバイス、リストバンド、スマートフォン、またはそれらに任意の適切な組合せの、アプリケーション、アプレット、ホスト、サーバ、ネットワーク、ウェブサイト、通信サーバ、通信インターフェース、ハードウェア／ファームウェア／ソフトウェア要素と結合した、コンピュータ実行可能な構成要素によって実行され得る。実施形態の他のシステム及び方法は、コンピュータ読込可能な指示を貯蔵するコンピュータ読込可能な媒体を受領するように構成されたマシンとして、少なくとも部分的に実施及び／または実行され得る。指示は、上述のタイプの装置及びネットワークと結合した、コンピュータ実行可能な構成要素によって組み込まれた、コンピュータ実行可能な構成要素によって実行され得る。コンピュータ読込可能な媒体は、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＥＥＰＲＯＭ、光学ディスク（ＣＤまたはＤＶＤ）、ハードドライブ、フロッピードライブ、または任意の適切なデバイスなどの、任意の適切なコンピュータ読込可能媒体上に貯蔵され得る。コンピュータ実行可能な構成要素は、プロセッサとすることができるが、任意の適切な専用のハードウェアデバイスが、（代替的または追加的に）指示を実行することができる。

【0070】

本記載では、構成要素、モジュール、デバイスなどの用語は、様々な方法で実施され得る、任意のタイプの論理的または機能的回路、ブロック、及び／または処理に言及する場合がある。たとえば、様々な回路及び／またはブロックの機能は、互いに組み合わせて、任意の他の数のデバイスにすることができる。または、本デバイスは、多目的コンピュータ、または、処理／グラフィックハードウェアに、伝達キャリア波を介して送信される、プログラミング指示を備え得る。やはり、本デバイスは、本明細書の新規のものによって包含される機能を実施するハードウェア論理回路として実施され得る。最後に、本デバイスは、所望のレベルの性能及びコストを提供する、特定目的の指示（ＳＩＭＤ指示）、フィールドプログラマブル論理アレイ、またはそれらの混合を使用して実施され得る。

【0071】

論理などの、本明細書に記載の方法及びシステムの態様は、フィールドプログラマブルゲートアレイ（「ＦＰＧＡ」）、プログラマブルアレイ論理（「ＰＡＬ」）デバイス、電気的にプログラム可能な論理及びメモリデバイス、ならびに、標準的なセルベースのデバイス、ならびに、特定用途の集積回路などの、プログラマブル論理デバイス（「ＰＬＤ」）を含む、様々な回路の任意のものに機能的にプログラムされるものとして実施される場合もある。各態様を実施するためのいくつかの他の変形形態には、メモリデバイス、メモリを有するマイクロコントローラ（ＥＥＰＲＯＭなど）、埋め込まれたマイクロプロセッサ、ファームウェア、ソフトウェアなどが含まれる。さらに、各態様は、ソフトウェアベースの回路エミュレーション、別個の論理（順次的及び連結的）、カスタムデバイス、ファジー（ニューラル）論理、量子デバイス、ならびに、上述のデバイスのタイプのいずれかのハイブリッドを有するマイクロプロセッサに実施され得る。基本的なデバイス技術は、様々な構成要素のタイプ、たとえば、相補型金属酸化膜半導体（「ＣＭＯＳ」）のような金属酸化物半導体電界効果トランジスタ（「ＭＯＳＦＥＴ」）技術、エミッタ結合論理（「ＥＣＬ」）のようなバイポーラ技術、ポリマ技術（たとえば、シリコン共役ポリマ及び金属共役ポリマ金属構造）、アナログとデジタルとの混合などに提供され得る。

【0072】

当業者が前述の詳細な記載から、ならびに、図面及び特許請求の範囲から理解するように、変更及び変形は、添付の特許請求の範囲に規定される本発明の範囲から逸脱することなく、本発明の実施形態に行われ得る。

【0073】

本発明の実施形態の前述の記載は、本発明をこれら実施形態に限定することは意図していないが、むしろ、当業者が本発明を実施及び使用することを可能にすることを意図している。本明細書に記載の変形、構成、実施態様、例示的実施態様、及び実施例は、任意選択的であり、それらが記載する変形、構成、実施態様、例示的実施態様、及び実施例に対して排他的ではない。本明細書に記載の発明は、これら変形、構成、実施態様、例示的実施態様、及び実施例の置換の任意のもの、及びすべてを含むことができる。
なお、本願の出願当初の開示事項を維持するために、本願の出願当初の請求項１～２６の記載内容を以下に追加する。
（請求項１）
カラー画像を取得するように構成されたカラー撮像システムと、
赤外画像を取得するように構成された赤外撮像システムと、
プロセッサであって、
前記赤外画像を使用して外科織物の形状を識別し、
前記赤外画像から形状情報を生成し、
前記形状情報を使用して、前記カラー画像内の外科織物ピクセルを識別し、
前記外科織物ピクセルから血液の情報を抽出するように構成された、前記プロセッサと、を備えた、血液の内容物を測定するためのシステム。
（請求項２）
前記プロセッサが、前記赤外画像を、前記カラー画像に対応する座標系に変換するようにさらに構成された、請求項１に記載のシステム。
（請求項３）
前記プロセッサが、前記赤外画像の１つから、深度画像を生成するようにさらに構成された、請求項１に記載のシステム。
（請求項４）
前記プロセッサが、前記深度画像内の平坦なピクセルのセットを識別するようにさらに構成された、請求項３に記載のシステム。
（請求項５）
前記プロセッサが、前記深度画像内の外科織物の画像の外周を検出するようにさらに構成された、請求項４に記載のシステム。
（請求項６）
前記外科織物の画像の外周の前記検出が、前記深度画像内の、急激な垂直な深度の下降を探すことによって実施される、請求項５に記載のシステム。
（請求項７）
前記プロセッサが、前記深度画像または前記赤外画像を低解像度処理するようにさらに構成された、請求項３に記載のシステム。
（請求項８）
前記プロセッサが、前記低解像度処理された深度画像からマスク画像を生成するようにさらに構成された、請求項７に記載のシステム。
（請求項９）
前記プロセッサが、前記マスク画像を高解像度処理するようにさらに構成された、請求項８に記載のシステム。
（請求項１０）
前記プロセッサが、前記赤外画像内の欠けている赤外ピクセル領域の充填を実施するようにさらに構成された、請求項１に記載のシステム。
（請求項１１）
前記プロセッサが、前記検出された外周を使用してマスク画像を生成するようにさらに構成された、請求項５に記載のシステム。
（請求項１２）
前記プロセッサが、前記マスク画像を、前記カラー画像の座標系に変換するようにさらに構成された、請求項１１に記載のシステム。
（請求項１３）
前記検出された外周が、外科織物の画像の頂縁部及び底縁部である、請求項１１に記載のシステム。
（請求項１４）
前記検出された外周が、外科織物の画像の両側の縁部を備えている、請求項１１に記載のシステム。
（請求項１５）
前記検出された外周が、外科織物の画像の角を備えている、請求項１１に記載のシステム。
（請求項１６）
血液構成要素を含む対象の分析方法であって、
血液構成要素を含む対象の深度画像及びカラー画像を取得することと、
前記深度画像を使用して、視野内の前記対象の存在を判定することと、
前記カラー画像を使用して、血液構成要素の特性を評価することと、を含む、前記分析方法。
（請求項１７）
前記深度画像を使用して画像マスクを生成することと、
前記画像マスクを前記カラー画像に適用して、背景のピクセルを除去することと、をさらに含む、請求項１６に記載の方法。
（請求項１８）
前記深度画像に、浸食及び拡大の画像処理の少なくとも１つを適用することをさらに含む、請求項１７に記載の方法。
（請求項１９）
外科織物内の流体構成要素の量の評価方法であって、
第１の時間において、視野の第１の赤外画像を取得することと、
前記第１の赤外画像内の外科織物の形状または表面特性を検出することと、
前記第１の赤外画像内の前記形状または表面特性が検出されると、フレームカウンタに指数を付すことと、
前記第１の時間に続く第２の時間おいて、前記視野の第２の赤外画像を取得することと、
前記第２の赤外画像内の外科織物の表面特性を検出することと、
前記第２の赤外画像内の前記形状または表面特性が検出されると、前記フレームカウンタに指数を付すことと、
前記第２の赤外画像内の外科織物の形状または表面特性を検出しなかった際に、非検出カウンタに指数を付すことと、を含む、前記評価方法。
（請求項２０）
予め設定された値に達すると、前記フレームカウンタ及び前記非検出カウンタをクリアすることをさらに含む、請求項１９に記載の方法。
（請求項２１）
前記フレームカウンタを閾値と比較することと、
前記フレームカウンタが前記閾値以上である場合に、前記視野のカラー画像を取得することと、
外科織物に対応する前記カラー画像の領域を血液構成要素の量の評価に変換することと、
前記フレームカウンタをクリアすることと、をさらに含む、請求項１９に記載の方法。
（請求項２２）
前記第２の赤外画像を使用して画像マスクを生成することと、
前記カラー画像に前記画像マスクを使用して、前記外科織物に対応する前記カラー画像の前記領域を識別することと、をさらに含む、請求項２１に記載の方法。
（請求項２３）
流体の監視を実施する方法であって、
視野の赤外画像を取得することと、
前記視野のカラー画像を取得することと、
前記赤外画像を使用して画像マスクを生成することと、
前記カラー画像に前記画像マスクを使用して、外科織物に対応する前記カラー画像の領域を識別することと、を含む、前記方法。
（請求項２４）
前記赤外画像を前記カラー画像の幾何学的斜視図に変換することをさらに含む、請求項２３に記載の方法。
（請求項２５）
前記画像マスクを生成する前に、前記赤外画像を低解像度処理することをさらに含む、請求項２３に記載の方法。
（請求項２６）
前記画像マスクを使用して前記カラー画像の前記領域を識別する前に、前記画像マスクを高解像度処理することをさらに含む、請求項２５に記載の方法。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】