(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-04-25
(45)【発行日】2023-05-08
(54)【発明の名称】重複撮像を予測した手術アイテムの追跡
(51)【国際特許分類】
G06T 7/00 20170101AFI20230426BHJP
A61B 90/90 20160101ALI20230426BHJP
G16H 30/00 20180101ALI20230426BHJP
【ＦＩ】
G06T7/00 616
G06T7/00 300F
A61B90/90
G16H30/00
【請求項の数】
26
(21)【出願番号】P 2019536085
(86)(22)【出願日】2017-12-22
(65)【公表番号】
(43)【公表日】2020-03-12
(86)【国際出願番号】 US2017068234
(87)【国際公開番号】W WO2018125812
(87)【国際公開日】2018-07-05
【審査請求日】2020-12-18
(31)【優先権主張番号】62/441,494
(32)【優先日】2017-01-02
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】516307404
【氏名又は名称】ガウス サージカル，インコーポレイテッド
【氏名又は名称原語表記】Ｇａｕｓｓ Ｓｕｒｇｉｃａｌ，Ｉｎｃ．
(74)【代理人】
【識別番号】100099623
【弁理士】
【氏名又は名称】奥山 尚一
(74)【代理人】
【識別番号】100125380
【弁理士】
【氏名又は名称】中村 綾子
(74)【代理人】
【識別番号】100142996
【弁理士】
【氏名又は名称】森本 聡二
(74)【代理人】
【識別番号】100166268
【弁理士】
【氏名又は名称】田中 祐
(74)【代理人】
【識別番号】100169018
【弁理士】
【氏名又は名称】網屋 美湖
(74)【代理人】
【氏名又は名称】有原 幸一
(72)【発明者】
【氏名】クマール，マヤンク
(72)【発明者】
【氏名】ミラー，ケヴィン，ジェイ．
(72)【発明者】
【氏名】サティシュ，シッダルタ
【審査官】笠田 和宏
(56)【参考文献】
【文献】特表２０１４－５３１５７０（ＪＰ，Ａ）
【文献】特開２０１５－０３５０７０（ＪＰ，Ａ）
【文献】特開２０１１－２２７６９６（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
Ａ６１Ｂ ９０／９０
Ｇ１６Ｈ ３０／００
(57)【特許請求の範囲】
【請求項1】
外科用テキスタイルを追跡するコンピュータに実装した方法において、第１のテキスタイルを描写した画像領域を含む第１の画像を受け取るステップと、
第２のテキスタイルを描写した画像領域を含む第２の画像を受け取るステップと、
前記第１及び第２の画像領域が同じテキスタイルの少なくとも一部を描写している尤度を測定するステップと、
所定の第１の閾値を満たさない前記尤度に基づいて、ユーザの確認を要求することなく、インデックスカウンタを増分するステップと、
前記尤度が前記所定の第１の閾値を超えるが所定の第２の閾値を超えないことに基づいて、前記第１及び第２の画像が同じテキスタイルを表さないことを通知してユーザの確認を受信した後に、前記インデックスカウンタを増分するステップと、
前記尤度が前記所定の第２の閾値を超えたことに基づいて、前記第１及び第２の画像が同じテキスタイルを表していないというユーザ入力を受信したにもかかわらず、前記インデックスカウンタを増分しないステップと
を具えることを特徴とする方法。
【請求項2】
前記第１の画像領域の第１の態様と前記第２の画像領域の第２の態様のうちの１つに少なくとも部分的に基づいて、少なくとも１つの分類特徴を定義するステップをさらに含み、前記第１の態様が、前記第１の画像領域を特徴づける複数の第１のキーポイントを具え、前記第２の態様が、前記第２の画像領域を特徴づける複数の第２のキーポイントを具え、前記第１及び第２のキーポイントの各々が、それぞれの特徴記述子に関連していることを特徴とする請求項１に記載の方法。
【請求項3】
前記第１及び第２のキーポイントの少なくとも一方を、特徴抽出技術に基づいて生成するステップをさらに具えることを特徴とする、請求項２に記載の方法。
【請求項4】
前記第１のキーポイントの少なくとも１つと前記第２のキーポイントの少なくとも１つとの間の一又はそれ以上の一致を予測するステップをさらに具えることを特徴とする、請求項２に記載の方法。
【請求項5】
前記少なくとも１つの分類特徴を定義するステップが、前記一致した第１及び第２のキーポイントに関するホモグラフィ変換をフィッティングするステップを具え、前記分類特徴が当該ホモグラフィ変換の適合度に少なくとも部分的に基づいていることを特徴とする、請求項４に記載の方法。
【請求項6】
前記少なくとも１つの分類特徴を定義するステップが、前記一致した第１及び第２のキーポイント間の全体の回転角度を投票技法に基づいて予測するステップを具え、前記分類特徴が、当該予測した全体の回転角度についてのコンセンサス投票比に少なくとも部分的に基づいていることを特徴とする、請求項４に記載の方法。
【請求項7】
外科用テキスタイルを追跡するシステムにおいて、第１のテキスタイルを描写した画像領域を含む第１の画像を受け取り、
第２のテキスタイルを描写した画像領域を含む第２の画像を受け取り、
前記第１及び第２の画像領域が同じテキスタイルの少なくとも一部を描写している尤度を測定し、
所定の第１の閾値を満たさない前記尤度に基づいて、ユーザの確認を要求することなく、インデックスカウンタを増分し、
前記尤度が前記所定の第１の閾値を超えるが所定の第２の閾値を超えないことに基づいて、前記第１及び第２の画像が同じテキスタイルを表さないことを通知してユーザの確認を受信した後に、前記インデックスカウンタを増分し、
前記尤度が前記所定の第２の閾値を超えたことに基づいて、前記第１及び第２の画像が同じテキスタイルを表していないというユーザ入力を受信したにもかかわらず、前記インデックスカウンタを増分しない
ように構成されたプロセッサを具えることを特徴とするシステム。
【請求項8】
前記プロセッサは、前記第１の画像領域の第１の態様と前記第２の画像領域の第２の態様のうちの１つに少なくとも部分的に基づいて、少なくとも１つの分類特徴を定義するようにさらに構成されており、前記第１の態様が、前記第１の画像領域を特徴づける複数の第１のキーポイントを具え、前記第２の態様が、前記第２の画像領域を特徴づける複数の第２のキーポイントを具え、前記第１及び第２のキーポイントの各々が、それぞれの機能記述子に関連していることを特徴とする、請求項７に記載のシステム。
【請求項9】
前記第１及び第２の態様のうちの少なくとも１つが流体パターンを特徴付けることを特徴とする、請求項８に記載のシステム。
【請求項10】
前記第１及び第２の画像のうちの少なくとも一方を取り込むように構成された光学センサをさらに具えることを特徴とする、請求項７に記載のシステム。
【請求項11】
外科用テキスタイルを追跡するコンピュータに実装した方法において、第１のテキスタイルを描写した画像領域を含む第１の画像を受信するステップと、
第２のテキスタイルを描写した画像領域を含む第２の画像を受信するステップと、
前記第１及び第２の画像領域が同じテキスタイルの少なくとも一部を描写している尤度を測定するステップと、
所定の第１の閾値を満たさない前記尤度に基づいて、ユーザの確認を要求することなく、インデックスカウンタを増分するステップと、
前記尤度が前記所定の第１の閾値を超えるが所定の第２の閾値を超えないことに基づいて、前記第１及び第２の画像が同じテキスタイルを表さないことを通知してユーザの確認を受信した後に、前記インデックスカウンタを増分するステップと、
前記尤度が前記所定の第２の閾値を超えたことに基づいて、前記第１及び第２の画像が同じテキスタイルを表していないというユーザ入力を受信したにもかかわらず、前記インデックスカウンタを増分しないステップと
を具えることを特徴とする方法。
【請求項12】
前記第１の画像領域の第１の態様と前記第２の画像領域の第２の態様のうちの１つに少なくとも部分的に基づいて、少なくとも１つの分類特徴を定義するステップをさらに含み、前記第１の態様が、前記第１の画像領域を特徴づける複数の第１のキーポイントを具え、前記第２の態様が、前記第２の画像領域を特徴づける複数の第２のキーポイントを具え、当該第１及び第２のキーポイントの各々が、それぞれの機能記述子に関連していることを特徴とする、請求項１１に記載の方法。
【請求項13】
前記第１及び第２の画像を、前記尤度の測定値が所定の閾値を満たしている場合に、同じテキスタイルの少なくとも一部を描写している可能性があると分類するステップをさらに具えることを特徴とする、請求項１１に記載の方法。
【請求項14】
前記第１及び第２の画像領域が同じテキスタイルの少なくとも一部を描写している尤度の測定値をユーザに通信するステップをさらに具えることを特徴とする、請求項１３に記載の方法。
【請求項15】
前記第１及び第２の画像領域が同じテキスタイルの少なくとも一部を描写していることを確認することをユーザに促すステップをさらに具えることを特徴とする、請求項１４に記載の方法。
【請求項16】
前記第１の画像領域と前記第２の画像領域とが同じテキスタイルの少なくとも一部を描写していることを前記ユーザが確認した場合に、前記インデックスカウンタをデクリメントするステップをさらに具えることを特徴とする、請求項１５に記載の方法。
【請求項17】
前記第１の画像領域と前記第２の画像領域が同じテキスタイルの少なくとも一部を描写していることを前記ユーザが確認した場合に、前記第１及び第２の画像の少なくとも一方をディスプレイから削除するステップをさらに具えることを特徴とする、請求項１５に記載の方法。
【請求項18】
前記プロセッサが、前記第１及び第２の画像が、前記尤度の測定値が前記所定の閾値を満たしている場合、前記同じテキスタイルの少なくとも一部を描写していると、分類するように構成されていることを特徴とする、請求項７に記載のシステム。
【請求項19】
前記プロセッサが、前記第１及び第２の画像領域が同じテキスタイルの少なくとも一部を描写している尤度の測定値をディスプレイ上でユーザに通信するように構成されていることを特徴とする、請求項１８に記載のシステム。
【請求項20】
前記プロセッサが、前記第１及び第２の画像領域が同じテキスタイルの少なくとも一部を描写していることを確認するよう前記ディスプレイ上でユーザに促すように構成されていることを特徴とする、請求項１９に記載のシステム。
【請求項21】
前記プロセッサが、前記第１及び第２の画像領域が同じテキスタイルの少なくとも一部を描写していることを前記ユーザが前記ディスプレイ上で確認した場合に、前記インデックスカウンタをデクリメントするように構成されていることを特徴とする、請求項１９に記載のシステム。
【請求項22】
前記プロセッサが、前記第１及び第２の画像領域が同じテキスタイルの少なくとも一部を描写していることをユーザが確認した場合に、前記第１及び第２の画像の少なくとも一方をディスプレイから削除するように構成されていることを特徴とする、請求項７に記載のシステム。
【請求項23】
外科用テキスタイルを追跡するコンピュータに実装した方法において、第１のテキスタイルを描写した画像領域を含む第１の画像を受信するステップと、
第２のテキスタイルを描写した画像領域を含む第２の画像を受信するステップと、
前記第１及び第２の画像領域が対応するテキスタイルを描写した画素を有するように、前記第１及び第２の画像領域の少なくとも一方をワープさせるステップと、
前記第１及び第２の画像領域が同じテキスタイルの少なくとも一部を描写している尤度を測定するステップであって、当該尤度の測定が前記対応するテキスタイルを描写している画素間の類似性に少なくとも部分的に基づくステップと、
所定の第１の閾値を満たさない前記尤度に基づいて、ユーザの確認を要求することなく、インデックスカウンタを増分するステップと、
前記尤度が前記所定の第１の閾値を超えるが所定の第２の閾値を超えないことに基づいて、前記第１及び第２の画像が同じテキスタイルを表さないことを通知してユーザの確認を受信した後に、前記インデックスカウンタを増分するステップと、
前記尤度が前記所定の第２の閾値を超えたことに基づいて、前記第１及び第２の画像が同じテキスタイルを表していないというユーザ入力を受信したにもかかわらず、前記インデックスカウンタを増分しないステップと
を具えることを特徴とする方法。
【請求項24】
前記第１の画像領域及び前記第２の画像領域の少なくとも１つをワープさせるステップが、前記第１の画像領域又は前記第２の画像領域内の一又はそれ以上のテキスタイルコーナーのセットを決定するステップと、前記テキスタイルコーナーのセットを既知の形状にマッピングするステップと、を具えることを特徴とする、請求項２３に記載の方法。
【請求項25】
外科用テキスタイルを追跡するシステムにおいて、第１のテキスタイルを描写した画像領域を含む第１の画像を受け取り、
第２のテキスタイルを描写した画像領域を含む第２の画像を受け取り、
前記第１及び第２の画像領域が対応するテキスタイルを描写した画素を有するように、第１及び第２の画像領域の少なくとも一方をワープさせ、
前記第１及び第２の画像領域が同じテキスタイルの少なくとも一部を描写している尤度を測定し、当該尤度の測定が、対応するテキスタイルを描写するピクセル間の類似性に少なくとも部分的に基づいており、
所定の第１の閾値を満たさない前記尤度に基づいて、ユーザの確認を要求することなく、インデックスカウンタを増分させ、
前記尤度が前記所定の第１の閾値を超えるが所定の第２の閾値を超えないことに基づいて、前記第１及び第２の画像が同じテキスタイルを表さないことを通知してユーザの確認を受信した後に、前記インデックスカウンタを増分させ、
前記尤度が前記所定の第２の閾値を超えたことに基づいて、前記第１及び第２の画像が同じテキスタイルを表していないというユーザ入力を受信したにもかかわらず、前記インデックスカウンタを増分させない
ように構成されたプロセッサを具えることを特徴とするシステム。
【請求項26】
前記プロセッサが、前記第１の画像領域又は前記第２の画像領域内の一又はそれ以上のテキスタイルコーナーのセットを決定し、当該テキスタイルコーナーのセットを既知の形状にマッピングするように構成されていることを特徴とする、請求項２５に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
［関連出願のクロスリファレンス］
本出願は、２０１７年１月２日に出願された米国特許出願第６２／４４１，４９４号の優先権を主張し、その全体は参照により本明細書に組み込まれている。
本出願は、２０１７年１月２日に出願された米国特許出願第６２／４４１，４９４号の優先権を主張し、その全体は参照により本明細書に組み込まれている。
【0002】
本発明は、概して外科用アイテム追跡の分野に関し、より詳細には、アイテムの重複撮像を予測して外科用アイテムを追跡する新規かつ有用なシステムと方法に関する。
【背景技術】
【0003】
外科用テキスタイル（例えば、スポンジ、タオルなど）は、通常、血液などの患者の体液の損失を吸収するために外科処置中に使用する。例えば、一又はそれ以上の外科用テキスタイルを患者の手術部位に配置して血液を吸収し、その後（例えば、飽和時又は処置完了後）取り除く。しかしながら、少なくともいくつかの外科用テキスタイルが誤って患者の体内に取り残される恐れがある。テキスタイルなどの取り残された異物は、感染を起こして患者の健康を害する、あるいは死亡させてしまう可能性があり、取り残された異物を除去するために追加の手術や、再入院を必要とすることがある。
【0004】
不注意による外科用テキスタイルの取り残しを回避する従来の方法の一つは、外科的処置を行う前後の手動のカウントである。例えば、医療スタッフは、使用前（例えば、新しい滅菌手術用パッケージの包装を開封したとき）及び使用後（例えば、患者の手術部位から取り出したとき）に、外科用テキスタイルの数を手動でカウントする。手作業でカウントした時に食い違いがあると、明らかに足りないテキスタイルを見つける、再集計する、患者のＸ線スキャンを行う、又はその他のリスク軽減を行うように医療スタッフに促す。しかしながら、そのような手動カウントにおける人的ミスは、計数が正しいかどうかの不確実性をもたらし、潜在的に医療スタッフに、取り残された外科用テキスタイルがあると誤った結論付けを生じさせ、より悪いことには、すべての外科用テキスタイルがカウントされ、すべてのテキスタイルが患者から取り除かれたと、間違った結論を出すことがある。
【0005】
患者の体内に取り残されている外科用テキスタイルを識別する従来のもう一つの手法は、走査可能なタグ（例えば、ＲＦＩＤ、バーコードなど）の付いた特殊な外科用テキスタイルを使用して、「前」及び「後」のカウント中の正確性を向上させることである。さらに、そのようなタグ付き外科用テキスタイルは、特別なスキャナを用いて患者をスキャンし、タグ付き外科用テキスタイルが患者の中に取り残されている場合を識別する追跡システムの一部であってもよい。しかしながら、これらのアプローチは両方共、有効であるためにはタグ付の外科用テキスタイル専用であることが必要であるため、これらのアプローチが医療スタッフが選択した外科用テキスタイルの使用を妨げてしまう。さらに、専用の外科用テキスタイルは通常の外科用テキスタイルよりも高価であり、テキスタイルを追跡するスキャナ及び／又は他の機器とのペアリングを必要とし、その結果、病院やその他の医療機関のコストが著しく増えてしまう。したがって、外科用アイテムを追跡する新規かつ改良されたシステム及び方法を得ることが望ましい。
【発明の概要】
【0006】
いくつかの変形例では、外科用テキスタイルを追跡するコンピュータに実装した方法が、第１のテキスタイルを描写した画像領域を含む第１の画像を受信するステップと、第２のテキスタイルを描写した画像領域を受信するステップと、第１及び第２の画像が同じテキスタイルの少なくとも一部を描写している尤度を測定するステップであって、その尤度の測定が少なくとも部分的に、第１の画像領域の第１の態様と第２の画像領域の第１の態様に基づいているステップと、この尤度の測定が所定の閾値と合致しない場合に、インデックスカウンタをインクリメントするステップと、を具える。このインデックスカウンタは、ユーザのディスプレイ上に表示する、又はその他の方法でユーザに伝達して、テキスタイルの計数を表示することができる。
【0007】
別の変形例では、外科用テキスタイルを追跡するコンピュータに実装した方法が、第１のテキスタイルを描写した画像領域を含む第１の画像を受信するステップと、第２のテキスタイルを描写した画像領域を含む第２の画像を受信するステップと、第１の画像領域の第１の特徴及び／又は第２の画像領域の第２の特徴に少なくとも部分的に基づいて、少なくとも部分的に少なくとも一の分類特徴を規定するステップと；第１及び第２の画像領域が同じテキスタイルの少なくとも一部を描写している尤度を測定するステップと；を具え、この尤度の測定が、機械学習分類アルゴリズムを使用するなどによって、少なくとも部分的に分類特徴に基づいている。
【0008】
いくつかの変形例では、一又はそれ以上の分類特徴が、画像内のテキスタイルを描写した画像領域を特徴付けるキーポイント、又は関心のあるポイントに基づいている。例えば、このキーポイントは特徴抽出技術に基づいて生成することができ、この技術はさらに、キーポイントを記述する特徴を含む、各キーポイントについてのそれぞれの特徴記述子（例えば、ベクター）を生成することができる。分析中の２つの画像のキーポイントは、Ｋ－近傍法又はその他の適切なアルゴリズムなどを用いて、その特徴記述子に基づいて相関付け又は照合することができる。さらに、一又はそれ以上の様々な分類特徴は、キーポイントに基づいて生成することができる。例えば、分類特徴は、一致した第１及び第２のキーポイントについての特徴記述子間の数値差に少なくとも部分的に基づいていてもよい。別の例として、分類特徴は、２つの画像間の第１及び第２のキーポイントのいくつかの予測された一致に少なくとも部分的に基づいていてもよい。さらに別の例として、分類特徴は、一致した第１及び第２のキーポイントに関するホモグラフィ変換用の適合度に少なくとも部分的に基づいていてもよい。分類特徴の別の例は、投票技術を用いて予測した一致した第１及び第２のキーポイント間の全体的な回転角度のコンセンサス投票に基づくものである。
【0009】
追加で又は代替的に、一又はそれ以上の分類特徴は、描写された外科用テキスタイル内の流体パターンを特徴付けている態様に基づいていてもよい。たとえば、分類特徴は、第１の画像領域に描写された流体の面積及び／又は第２の画像領域に描写された流体の面積に少なくとも部分的に基づいていてもよい。別の例では、分類特徴は、第１の画像領域及び／又は第２の画像領域に描写されている流体成分（たとえばヘモグロビン質量）の定量化された測定に少なくとも部分的に基づくものであってもよい。
【0010】
いくつかの変形例では、尤度の測定は、一又はそれ以上の分類特徴に適用される分類アルゴリズムに基づいて生成することができる。尤度の測定が所定の閾値を満たす場合、２又はそれ以上の画像は、同じテキスタイルの少なくとも一部を潜在的に描写しているものとして分類することができる。第１及び第２の画像領域が、同じテキスタイルの少なくとも一部、及び／又は、重複するテキスタイルを潜在的に描写している場合の第１及び第２の画像の分類を描写する尤度の測定を、ユーザに通信することができる。さらに、この方法は、第１及び第２の画像領域が同じテキスタイルの少なくとも一部を描写しているかどうかを確認するようにユーザに指示するステップを具えていてもよい。ユーザの確認に基づいて、インデックスカウンタを減分し、及び／又は、少なくとも一のみなし重複画像を、メモリ、記憶装置、及び／又は、ディスプレイから削除することができる。
【0011】
別の変形例では、外科用テキスタイルを追跡するコンピュータに実装した方法が、第１のテキスタイルを描写した画像領域を含む第１の画像を受け取るステップと、第２のテキスタイルを描写した画像領域を含む第２の画像を受け取るステップと、第１の画像領域及び第２の画像領域のうちの少なくとも一方をワープさせて、第１及び第２の画像領域が対応するテキスタイルを描写した画素（又は画素群）を有するようにするステップと、第１及び第２の画像領域が同じテキスタイルの少なくとも一部を描写する尤度を測定するステップと、を具える。尤度の測定は、対応するテキスタイルを描写する画素又は画素群間の類似性に少なくとも部分的に基づいていてもよい。さらに、第１の画像領域及び第２の画像領域のうちの少なくとも一方をワープさせるステップは、第１の画像領域又は第２の画像領域内の一又はそれ以上のテキスタイルのコーナーセットを決定するステップと、テキスタイルのコーナセットを既知の形状にマッピングするステップを具えていてもよい。
【0012】
いくつかの変形例では、外科用テキスタイルを追跡するシステムが、第１のテキスタイルを描写する画像領域を含む第１の画像を受け取り、第２のテキスタイルを描写した画像領域を含む第２の画像を受け取って、第１の画像領域の第１の態様及び／又は第２の画像領域の第２の態様に少なくとも部分的に基づいて少なくとも一の分類特徴を規定し、第１及び第２の画像領域が同じテキスタイルの少なくとも一部を描写する尤度を測定するように構成されたプロセッサを具え、この尤度の測定は、少なくとも部分的に分類機能に基づいている。このプロセッサは、いくつかの変形例では、さらに、上述の方法を実行するように構成することができる。さらに、このシステムは、画像を取り込むように構成された光学センサと、及び／又は、インデックスカウンタ及び／又は画像を表示するように構成されたディスプレイを具えていてもよい。
【0013】
別の変形例では、外科用テキスタイルを追跡するシステムが、第１のテキスタイルを描写した画像領域を含む第１の画像を受け取り、第２のテキスタイルを描写した画像領域を含む第２の画像を受け取り、第１及び第２の画像領域が、同じテキスタイルの少なくとも一部を描写する尤度を測定するように構成されたプロセッサを具えていてもよい。この変形例では、尤度の測定が、第１の画像領域の第１の態様と第２の画像領域の第２の態様とに少なくとも部分的に基づいている。プロセッサは、さらに、尤度の測定が所定の値を満たさない場合に、インデックスカウンタを増分するように構成することができる。さらに、このシステムは、画像を取り込むように構成した光学センサ、及び／又は、インデックスカウンタ及び／又は画像を表示するように構成したディスプレイを具えていてもよい。
【0014】
もう一つの変形例では、外科用テキスタイルを追跡するシステムが、第１のテキスタイルを描写した画像領域を含む第１の画像を受け取り、第２のテキスタイルを描写した画像領域を含む第２の画像を受け取り、第１及び第２の画像領域が対応するテキスタイル描写画素（又は画素群）を有するように第１及び第２の画像領域の少なくとも一方をワープさせて、第１及び第２の画像領域が同じテキスタイルの少なくとも一部を描写する尤度を測定するように構成されたプロセッサを具える。この変形例では、尤度の測定が、少なくとも部分的に対応するテキスタイルを描写した画素又は画素群間の類似性に基づいている。このプロセッサは更に、第１の画像領域又は第２の画像領域内の一又はそれ以上のテキスタイルコーナセットを決定し、このテキスタイルコーナセットを既知の形状の上にマッピングすることによって、第１の画像領域及び第２の画像領域の少なくとも一方をワープするように構成することができる。
【図面の簡単な説明】
【0015】
【図3】図３は、外科用アイテムを追跡する方法の例示的な変形例の概略フローチャートであり、この方法は、画像領域内の抽出された特徴とキーポイントに基づいて少なくとも１つの分類特徴を規定するステップを具える。
【発明を実施するための形態】
【0016】
本発明の様々な態様及び変形例が本明細書に記載されており、添付の図面に示されている。以下の説明は、本発明をこれらの実施形態に限定することを意図するものではなく、むしろ当業者が本発明を製造及び使用するできるようにすることを意図している。
【0017】
概要
一般的に、本明細書に記載されている方法及びシステムは、外科用アイテムの追跡（たとえば計数）に使用される。例えば、本方法及びシステムを使用して、テキスタイルを描写した光学画像を分析し、テキスタイルの潜在的な反復又は重複する撮像を計数することによって、手術部位に使用された外科用テキスタイルを計数することができる。さらに、この方法とシステムは、患者が回収した流体を含む外科用テキスタイルを描写した光学画像に基づいて、外科的処置中に患者が失った流体の評価に使用したその他の方法及びシステムと共に使用することができる。
一般的に、本明細書に記載されている方法及びシステムは、外科用アイテムの追跡（たとえば計数）に使用される。例えば、本方法及びシステムを使用して、テキスタイルを描写した光学画像を分析し、テキスタイルの潜在的な反復又は重複する撮像を計数することによって、手術部位に使用された外科用テキスタイルを計数することができる。さらに、この方法とシステムは、患者が回収した流体を含む外科用テキスタイルを描写した光学画像に基づいて、外科的処置中に患者が失った流体の評価に使用したその他の方法及びシステムと共に使用することができる。
【0018】
この方法及びシステムは、病院又は診療所の設備（例えば、手術又は臨床設備）、軍事設備（例えば、戦場）、又は他の適切な医療設備を含む、様々な設備において使用することができる。外科用アイテムの追跡は、例えば、外科用アイテムのより正確な計数を可能にし、これは、外科的手順後の患者の中に外科用アイテムを不注意な残留を回避するのに役立つ。本明細書に記載の方法及びシステムは、主に外科用スポンジなどの外科用テキスタイルの追跡に関して説明されているが、他の変形例では、この方法及びシステムは追加で又は代替的に、その他のアイテム（例えば外科用器具）の追跡に使用することができる。
【0019】
本明細書に記載の方法は、コンピュータに実装することができ、少なくとも部分的に一又はそれ以上のプロセッサで実行できる。例えば、図１に示すように、一変形例では、本方法は、手術室又は他の医療施設で一又はそれ以上の外科用テキスタイルの画像を取り込むように構成されたモバイルデバイス１５０（たとえば、タブレット、スマートフォンなど）などのコンピュータデバイスによって、少なくとも部分的に実行することができる。しかし、この方法の一部又は全ては、モバイルデバイス１５０とは別の一又はそれ以上のプロセッサによって（例えば、手術室の現場で、又は手術室外の遠隔で）実行できる。外科用アイテムを追跡する方法及びシステムの変形例のその他の態様を、以下にさらに詳細に説明する。
【0020】
医療処置を行う間に、患者が失った体外液（例えば、血液）は、外科用スポンジ、外科用包帯、外科用タオル、及び／又はその他のテキスタイルといった外科用テキスタイルで回収される。カメラの視野内に配置された外科用テキスタイルの少なくとも一部分の画像（例えば、単一画像又はビデオ画像からの画像フレーム）を撮像することができ、このプロセスが複数の外科用テキスタイルについて繰り返される。画像を分析して、流体の量（例えば、質量、重量、体積）及び／又は流体中の流体成分の量又は濃度など、描写した外科用テキスタイル中の流体の態様を定量化することができる。例えば、画像は光学カラー画像であってもよく、画素の明度は、（例えば、以下でさらに詳細に説明するテンプレートマッチング技術及び／又はパラメトリックモデリング技術などを用いて）推定又は予測血液成分濃度と相関させることができる。したがって、汚れた外科用テキスタイルの複数画像の分析は、処置中に患者が喪失した体液及び／又は体液成分（例えば、血液又はヘモグロビン）の推定量の現在までの合計又は全体の定量化に統合される。
【0021】
使用済の又は汚れた各外科用テキスタイルは画像化することで、その流体又は流体成分の含有量の分析が容易になるので、画像の数は、通常使用した外科用テキスタイルの数と相関し、したがって外科用テキスタイルの計数を決定する根拠として（例えば、医療手順の前後における外科用テキスタイルの追跡）使用することができる。しかしながら、手術用テキスタイルが誤って複数回撮像される可能性があり（例えば、ユーザが手術用テキスタイルが既に撮像されたことを忘れた場合）、不正確な手術用テキスタイルの計数、及び／又は、それまでの患者による体液喪失及び／又は体液成分喪失の不正確な合計又は全体的な数量化をもたらす（例えば、一又はそれ以上のテキスタイルの「二重計数」による）ことがある。これらの不注意な重複撮像の結果に対抗するためには、一又はそれ以上の画像を分析して、その画像が別の画像と同じ外科用テキスタイルを描写する尤度の程度を決定することができる。例えば、一般に、取得した新しい画像は各々、外科用テキスタイルの計数の増加（例えば、「後」の計数として、患者又は外科的手順手術用の無菌領域から抽出された）に対応するが、この計数は、少なくとも部分的にテキスタイルが複数回撮像されたという尤度の測定に基づいている。外科用テキスタイルの潜在的な重複画像の検出は、例えば、外科用テキスタイルが複数回撮像されたかどうかを確認するようにユーザに促すトリガとなる。もう一つの例として、外科用テキスタイルの潜在的な重複画像の検出は、自動的にカウントの増分を差し控える、及び／又は、自動的にその外科用テキスタイル中の流体又は流体成分の推定量を（それまでの合計から）差し控えることができる。
【0022】
さらに、いくつかの変形例では、本明細書に記載の方法は、同じ外科的手順（又は手術セッション）内での外科用テキスタイルの追跡に使用できるが、その他の変形例においては、本明細書に記載の方法は、追加で又は代替的に、異なる手順又はセッションの間の外科用テキスタイルの追跡に使用することができる。外科用テキスタイルは、（例えば、看護師又はその他の人が異なる部屋の間を移動する際に）誤って異なる外科セッションの間を移動することがある。これは、元々のセッション及び／又は目的地セッションにおけるテキスタイルの移動を不注意で重複して撮像するなどにより、その元々のセッション及び／又は目的地セッションにおける不正確なテキスタイルの計数を招くことがある。したがって、いくつかの変形例では、本明細書に記載の方法は、異なる外科的セッションから取得され、保存されている（例えば、サーバ又は他の適切なデータ記憶装置に）テキスタイルを描写した画像を比較して、病院などの一又はそれ以上の医療環境内の外科用テキスタイルを追跡することができる。例えば、第１の外科的処置に関する第１の画像は、適切な時間窓（例えば、４時間、８時間、１２時間、２４時間などの先行するあるいはとりまく期間内に）に実行されたその他の外科的処置に関連する一又はそれ以上の画像と比較して、その時間窓内にテキスタイルが１回又はそれ以上撮像されたかどうかを予測することができる。本明細書に記載の方法を使用したこのようなクロス型手順の画像比較は、異なる外科的手順中に撮像され、おそらく移動する同じ外科用テキスタイルの少なくとも一部を描写した画像を、識別するのに使用することができる。
【0023】
さらに、移動しているテキスタイルは、起点セッションと終点セッションの両方において不正確なテキスタイル計数を招くことがある。なぜなら、起点セッションにおける誤ったテキスタイルの欠如による患者内に残っているテキスタイル計数の不正確な決定の、終点セッションにおける誤ったテキスタイルの存在による患者から取り除いたすべてのテキスタイルの不正確な計数、などがあるためである。外科用テキスタイルは、いくつかの変形例において、各テキスタイルに独特の流体パターンを作り出す赤外線（ＩＲ）及び／又は紫外線（ＵＶ）で検出可能な流体などの、独自の識別子でタグ付けすることができる。独自の流体パターンはまた、特定の外科的手順に関連づけることができる。したがって、いくつかの変形例では、本明細書に記載の方法が、異なる外科的手順セッションから取得され保存されているテキスタイルを描写したＩＲ及び／又はＵＶ画像を（例えばパターン認識技術を用いて）比較して、一又はそれ以上の医療環境内の異なる外科的セッションにわたって外科用テキスタイルを追跡することができる。本明細書に記載の方法を使用したこのようなクロス型画像比較を使用して、異なる外科的手順中に撮像され、同じ移動する外科用テキスタイルの少なくとも一部を描写しそうな画像を識別することができる。
【0024】
この方法の変形例を、主に外科用テキスタイルの追跡に関するものとして本明細書で説明しているが、他の変形例では、この方法は追加で又は代替的に、同様の方法で光学画像を使用してその他のアイテムを追跡に使用することができる。例えば、この方法を使用して、外科用器具及び／又はその他の外科用アイテムを追跡して、異物が患者の中に留まる危険性をさらに低減することができる。
【0025】
外科用テキスタイルを追跡する方法
図２に示すように、いくつかの変形例では、外科用テキスタイル又はその他のアイテムを追跡する方法２００は、第１のテキスタイルを描写した画像領域２２０を含む第１の画像を受け取るステップと、第２のテキスタイルを描写した画像領域２３０を含む第２の画像を受け取るステップと、第１及び第２の画像領域が同じテキスタイル２５０の少なくとも一部を描写する尤度を測定するステップと、この尤度の測定が所定の閾値を満たさない場合、インデックスカウンタ２７２を増分するステップ（２７０）を具える。尤度の測定は、いくつかの変形例では、第１の画像領域の第１の特徴及び第２の画像領域の第２の特徴に少なくとも部分的に基づいている。例えば、テキスタイルを描写した画像領域の特徴は、バーコードやその他の固有の識別子と同様に、何らかの方法で描写された外科用テキスタイル中の流体パターンを独自に特徴付けることができる。図２に示すように、本方法は、所定の閾値と重複撮像の尤度の測定値を比較するステップ（２７０）を具え、この閾値は、画像対を「重複しない」又は「潜在的に重複する」として分類するためのカットオフである。外科的テキスタイルが以前に画像化されていない尤度がより高い場合、画像対は「重複しない」として分類され、外科的テキスタイルの計数は増分される。対照的に、外科用テキスタイルが以前に撮像された尤度が高い場合、画像対は「潜在的重複」として分類され、外科的テキスタイルの計数は、重複撮像が行われたかどうかを少なくともユーザが確認するまで、不変のままである。
図２に示すように、いくつかの変形例では、外科用テキスタイル又はその他のアイテムを追跡する方法２００は、第１のテキスタイルを描写した画像領域２２０を含む第１の画像を受け取るステップと、第２のテキスタイルを描写した画像領域２３０を含む第２の画像を受け取るステップと、第１及び第２の画像領域が同じテキスタイル２５０の少なくとも一部を描写する尤度を測定するステップと、この尤度の測定が所定の閾値を満たさない場合、インデックスカウンタ２７２を増分するステップ（２７０）を具える。尤度の測定は、いくつかの変形例では、第１の画像領域の第１の特徴及び第２の画像領域の第２の特徴に少なくとも部分的に基づいている。例えば、テキスタイルを描写した画像領域の特徴は、バーコードやその他の固有の識別子と同様に、何らかの方法で描写された外科用テキスタイル中の流体パターンを独自に特徴付けることができる。図２に示すように、本方法は、所定の閾値と重複撮像の尤度の測定値を比較するステップ（２７０）を具え、この閾値は、画像対を「重複しない」又は「潜在的に重複する」として分類するためのカットオフである。外科的テキスタイルが以前に画像化されていない尤度がより高い場合、画像対は「重複しない」として分類され、外科的テキスタイルの計数は増分される。対照的に、外科用テキスタイルが以前に撮像された尤度が高い場合、画像対は「潜在的重複」として分類され、外科的テキスタイルの計数は、重複撮像が行われたかどうかを少なくともユーザが確認するまで、不変のままである。
【0026】
この方法は、主に、２つの画像とテキスタイルを描写した各画像領域との比較に関して本明細書に説明されているが、実際には、二又はそれ以上の画像を同様の方法で比較できると理解すべきである。例えば、各画像を受信した後、その画像の一又はそれ以上の態様を記憶し、その画像に関連付けることができる（例えば、ハッシュ関数又は他の適切なデータマッピングを用いる。これにより高速のデータ検索が可能になる）。任意の２つの画像が同じテキスタイルを描写しているかどうかを予測するために、可能性のあるすべての画像対について、一又はそれ以上の分類特徴が生成される（例えば、新しく受信した画像を以前に受信した画像すべてと比較する、あるいは、すべての画像を受信した後に可能性のあるすべての対を比較する、など）、以下に述べるように分析する。
【0027】
画像
いくつかの変形例では、図２に示すように、方法２００は、外科用テキスタイルの少なくとも１つの画像を生成又は取得するステップ２１０を具えている。外科用テキスタイルの画像を生成するステップは、外科用テキスタイルの計数の証拠となるサポートを提供するように機能する。画像が生成されると、画像は適切なデータ記憶媒体（例えばローカル又はリモート）のデータベースに保存することができる。第１の画像を受け取るステップ２２０と第２の画像を受け取るステップは、メモリ又はその他の適切な記憶装置から画像を受け取るステップ２３０を具えていてもよい。しかしながら、いくつかの変形例では、図２に示されるすべてのステップが図面に示す順序で実行される必要はない。例えば、画像はあらかじめ取得しておき、記憶媒体に記憶させておいてもよい（それによって画像を直接生成するステップは省略される）。各画像は、外科用テキスタイル全体を含むものであっても、外科用テキスタイルの一部だけを含むものであってもよい。外科用テキスタイルは、例えば、外科用スポンジ、包帯、タオル、又はその他の適切なテキスタイルであってもよい。
いくつかの変形例では、図２に示すように、方法２００は、外科用テキスタイルの少なくとも１つの画像を生成又は取得するステップ２１０を具えている。外科用テキスタイルの画像を生成するステップは、外科用テキスタイルの計数の証拠となるサポートを提供するように機能する。画像が生成されると、画像は適切なデータ記憶媒体（例えばローカル又はリモート）のデータベースに保存することができる。第１の画像を受け取るステップ２２０と第２の画像を受け取るステップは、メモリ又はその他の適切な記憶装置から画像を受け取るステップ２３０を具えていてもよい。しかしながら、いくつかの変形例では、図２に示されるすべてのステップが図面に示す順序で実行される必要はない。例えば、画像はあらかじめ取得しておき、記憶媒体に記憶させておいてもよい（それによって画像を直接生成するステップは省略される）。各画像は、外科用テキスタイル全体を含むものであっても、外科用テキスタイルの一部だけを含むものであってもよい。外科用テキスタイルは、例えば、外科用スポンジ、包帯、タオル、又はその他の適切なテキスタイルであってもよい。
【0028】
各画像（例えば、単一の静止画像又はビデオフ画像からの画像フレーム）は、カメラの視野内に配置された外科用テキスタイルの少なくとも一部を表す画像領域を含む。このカメラは、ハンドヘルド装置又はモバイル装置（例えば、タブレット）内にあってもよく、ほぼ胴体の高さ又は別の適切な方法で適切な高さに三脚に取り付けたカメラ、オーバーヘッドカメラなどである。例えば、ハンドヘルド装置内のカメラは、カメラが自分の体の前に、外科用テキスタイルを保持している人に向かい合うように、又は外科用テキスタイルを壁に対して保持するように装着することができる。
【0029】
いくつかの変形例では、外科用テキスタイルは、撮像用に少なくとも部分的に一貫した方法で位置決めと配向がなされ、外科用テキスタイルの重複撮像が行われたかどうかの検出精度を向上させる。例えば、外科用テキスタイルは、カメラの光軸に対して概ね垂直に保持したまま撮像することができ、これは、画像間の面外配向差を低減するのに役立つ。別の例として、外科用テキスタイルは、テキスタイル基準マーカー（例えば、テキスタイルの一端にある青いリボン、テキスタイルの一隅にあるタグ又はその他のマーカーなど）をカメラの視野に対して一定の向きに位置決めて撮像することができ、画像間の回転方向の違いを低減するのに役に立つ。もう一つの例として、テキスタイルのコーナを各画像内に配置し、テキスタイルがほぼ同じ形状（例えば正方形、長方形など）を有するとして描写されるように、以下により詳細に述べるワーピング法を用いるなどして、画像をワープさせ、画像を本明細書に述べる様々な方法で比較することができる。
【0030】
画像は光学画像であり、各画素の色空間内の成分値（例えば、ＲＧＢ、ＣＭＹＫなど）を用いて色特性を取り込むことができる。この画像は、メモリ又は適切なデータ記憶モジュール（例えばローカル又はリモート）に記憶して、処理する。画像の処理は、一又はそれ以上の光学的基準（例えば、色基準）セットに基づいて画像の色特性を正規化するステップを具えている。色基準は、例えば、一又はそれ以上の赤の色相（例えば、様々な赤の色相のボックスを含むグリッド）を表す。画像の正規化は、色基準を利用して、手術中の照明条件の変動を補償し、画像内の照明条件をテンプレート画像と人工的に一致させ、画像内の照明条件を光条件依存型流体成分濃度モデルに人工的に一致させる、などとすることができる。例えば、画像の正規化は、画像内に取り込まれた色基準を識別するステップと、識別された色基準に関連する割り当て色値を決定するステップと、画像内の色基準の色値が実質的に色基準に関連付けた割り当て色値と一致するように画像を調整するステップと、を具えていてもよい。割り当てた色値は、例えば、データベース中の色基準（例えば、コード、色基準セット内の位置、導管の既知の特徴に対する位置など）を調べることで決定することができる。画像に対する調整は、例えば、露出、コントラスト、彩度、温度、色合いなどの調整を含む。
【0031】
いくつかの変形例では、この方法は、一又はそれ以上の画像内のテキスタイルを描写する画像領域を識別するステップを具えている。例えば、テキスタイルを描写する画像領域の識別は、エッジ検出技術を適用するステップと、テンプレートマッチング技術を適用するステップと、及び／又は、適切なマシンビジョン技術を適用してテキスタイルを描写する画像領域の境界を識別するステップを具えていてもよい。別の変形例では、テキスタイルを描写した画像領域を識別するステップが、少なくとも部分的にユーザ入力に基づいてテキスタイルを描写した画像領域の境界を定義するステップを具えている。例えば、ユーザ入力は、表示画像の一部を、テキスタイルを描写した画像領域として指定する（例えば、ユーザは、画面に触れてウィンドウ又はフレームを、所望のテキスタイルを描写した画像領域のサイズ及び位置にドラッグすることによって、あるいは、スクリーンに触れて所望のテキスタイルを描写する画像領域の境界の輪郭を描くマーカを配置することによって、タッチスクリーンディスプレイ上の画像領域の境界を定義することができる）。
【0032】
さらに、図２に示すように、この方法は、第１の画像及び第２の画像２３２の少なくとも一方（あるいは、画像のうちの孤立したテキスタイルを描写した画像領域）を表示するステップを具えていてもよい。画像は、例えば、モバイルデバイス（例えば、タブレット）上のディスプレイ又は他の任意の適切なディスプレイ上に表示することができる。図８に示すように、生成された様々な画像を、ユーザが見られるように適切な配列（例えば時系列順）で表示することができる。
【0033】
画像領域と分類特徴の態様
図２に示すように、この方法は、第一のテキスタイルを描写した画像領域の第１の態様と、テキスタイルを描写した第２の画像領域２４０の第２の態様の少なくとも一方を定義するステップを具えていてもよい。第１及び第２の態様は、それぞれ、第１及び第２の画像の少なくとも一部の特徴であり、第１及び第２の画像が同じ外科用テキスタイルを描写する尤度の測定を生成するベースとして機能する。言い換えれば、外科用テキスタイルの外観（例えば、流体パターン）は、その外科用テキスタイルの独自の識別子として機能し、その結果、様々な画像に描写された同様の外観の外科用テキスタイルは、同じテキスタイルの重複画像を表示することができる。
図２に示すように、この方法は、第一のテキスタイルを描写した画像領域の第１の態様と、テキスタイルを描写した第２の画像領域２４０の第２の態様の少なくとも一方を定義するステップを具えていてもよい。第１及び第２の態様は、それぞれ、第１及び第２の画像の少なくとも一部の特徴であり、第１及び第２の画像が同じ外科用テキスタイルを描写する尤度の測定を生成するベースとして機能する。言い換えれば、外科用テキスタイルの外観（例えば、流体パターン）は、その外科用テキスタイルの独自の識別子として機能し、その結果、様々な画像に描写された同様の外観の外科用テキスタイルは、同じテキスタイルの重複画像を表示することができる。
【0034】
さらに、本方法は、少なくとも部分的に第１の画像領域の第１の態様及び／又は第２の画像領域の第２の態様に基づいて少なくとも１つの分類特徴１５０を定義するステップを具えていてもよい。分類特徴の例が図５に提供されている。分類特徴の種類は、以下にさらに詳細に説明するように、定義されたテキスタイルを描写した画像領域の態様の種類に少なくとも部分的に依存する。
【0035】
キーポイント
外科用テキスタイル又は対象物の画像は、撮像した対象物をまとめて記述するあるいは特徴付けるために抽出し使用することができるキーポイント又は関心のあるポイントを有する。さらに、各キーポイントは、キーポイントを記述する対応する特徴記述子（例えば、ある値のセットを含むベクトル）を有していてもよい。一般に、この方法のいくつかの変形例では、２又はそれ以上の画像が同じテキスタイルを描写しているかどうかの予測が、少なくとも部分的に画像内で識別されたキーポイント間の比較に基づくものであってもよい。
外科用テキスタイル又は対象物の画像は、撮像した対象物をまとめて記述するあるいは特徴付けるために抽出し使用することができるキーポイント又は関心のあるポイントを有する。さらに、各キーポイントは、キーポイントを記述する対応する特徴記述子（例えば、ある値のセットを含むベクトル）を有していてもよい。一般に、この方法のいくつかの変形例では、２又はそれ以上の画像が同じテキスタイルを描写しているかどうかの予測が、少なくとも部分的に画像内で識別されたキーポイント間の比較に基づくものであってもよい。
【0036】
したがって、図３に示すように、いくつかの変形例ではこの方法は、第１の画像内の第１の画像領域３４０を特徴付ける複数の第１キーポイントを識別するステップと、第２の画像内の第２の画像領域３４２を特徴づける複数の第２キーポイントを識別するステップと、各第１キーポイント３４４について特徴記述子を生成するステップと、各第２キーポイント３４６についての特徴記述子生成キーポイントを生成するステップとを、具える。重複撮像を予測する一又はそれ以上の分類特徴は、第１及び／又は第２のキーポイントの少なくとも一部に基づくことができる（３５０）。
【0037】
この方法は、キーポイントを識別し、及び／又は、生成するための、スケール不変特徴変換（ＳＩＦＴ）、高速ロバスト特徴（ＳＵＲＦ）技術、又はその他の適切な特徴抽出技術といった、特徴抽出技術を適用するステップを具えていてもよい。特徴抽出技術のその他の例としては、限定するものではないが、Ｈｉｓｔｏｇｒａｍ ｏｆ ｏｒｉｅｎｔｅｄ ｇｒａｄｉｅｎｔｓ（ＨＯＧ）、Ｆｅａｔｕｒｅｓ ｆｒｏｍ ａｃｃｅｌｅｒａｔｅｄ ｔｅｓｔ（ＦＡＳＴ）、Ｌｏｃａｌ ｅｎｅｒｇｙ－ｂａｓｅｄ ｓｈａｐｅ ｈｉｓｔｏｇｒａｍ（ＬＥＳＨ）、Ｇｒａｄｉｅｎｔ ｌｏｃａｔｉｏｎ－ｏｒｉｅｎｔａｔｉｏｎ ｈｉｓｔｏｇｒａｍ（ＧＬＯＨ）、Ｆａｓｔ ｒｅｔｉｎａ ｋｅｙｐｏｎｔ（ＦＲＥＡＫ）、Ｏｒｉｅｎｔｅｄ ＦＡＳＴ ａｎｄ Ｒｏｔａｔｅｄ ＢＲＩＥＦ（ＯＲＢ）、Ｔｅｘｔｏｎ Ｍａｐｓ、及び、管理学習、非管理学習、又は半管理学習を使用して、訓練された（又は訓練されていない）ニューラルネットワークに基づいて学習したくキーポイント検出器及び記述子生成器が含まれる。さらに、ＳＩＦＴ記述子及び／又はキーポイント、あるいは上述の記述子及び／又はキーポイントのいずれかは、おそらく線形又は非線形表面をスポンジの深さマップに当てはめる撤回ステップの後に、深さマップから抽出し、残りの深度変化のみが実質的にスポンジ内の局所的な３Ｄテクスチャに起因するように、それを深度マップから差し引くようにしてもよい。これらの３Ｄテクスチャ記述子は、色ベースの記述子に加えて、又はそれと組み合わせて抽出することができる。さらに、ビデオベースの記述子は、任意の数のフレームにわたって計算した光学的フローベクトルフィールドに上記の記述子方法のいずれかを適用することによって抽出することができる。あるいは、光学的フローベースの方法に加えて、キーポイントを複数のフレームにわたって追跡して、フレーム内のそれらの記述子を連結することができる、あるいはフレームにわたる記述子の変化を記録することができる。その他のビデオベースの機能、キーポイント、又は記述子を、追加であるいは代替的に使用することができる。いくつかの変形例では（例えば、少なくともテキスタイルが流体で完全に又はほぼ完全に飽和している場合）、小さな色の空間的変化（人間の目には見えないが光学画像に取り込まれる）は、特徴抽出技術を適用する前の画像処理によって拡大することができる。
【0038】
例えば、一変形例では、画像領域内のキーポイント又は関心のあるポイントを特徴付ける特徴記述子は、ＳＩＦＴベースの手順を用いて生成することができる。画像内の関心のあるポイントを特徴付けるＳＩＦＴ機能記述子は、スケール及び回転に対して不変であり、照明の変化に対しても部分的に不変である。ＳＩＦＴベースの手順は、例えば、第１画像領域内のキーポイントセット又は関心のあるポイントセットを識別し、次いで識別したキーポイントの特徴記述子セット（又はベクトル）を割り当てる。一般的に、この方法は、様々な連続するスケーリングパラメータでガウスフィルタを用いて第１の画像を畳み込み、第１の画像から取り出した連続するガウスぼかし（ガウス差）画像との差分を取って、スケール及び空間にわたるガウス画像差の極値（最小値及び／又は最大値）を識別して候補キーポイントを識別する、などによってスケール空間の極値検出を行なうことができる。この方法は次に、キーポイント位置特定（各候補キーポイントの近くのデータを補間して、画像内のその位置を正確に決定する）を実行し、候補キーポイントのリストを（例えば、コントラストの低いもの又は画像エッジ上に存在するものなどのキーポイントを捨てることによって）改善する。この方法は、局所的な画像勾配の方向に基づいて残りの各キーポイントに向きを割り当てることができる。これらのステップの結果として、識別したキーポイントは、画像内の位置、ならびに画像のスケール及び回転に対して実質的に不変であり得る。最後に、認識した各キーポイントについて特徴記述子を生成して、各特徴記述子が、例えば、照明、画像の３Ｄ回転、その他といった、その他の変動に対して不変性を提供するようにできる。例えば、各キーポイントについて、本方法は、キーポイントの周囲の１６画素× １６画素近傍を取り出して、その近傍を４画素×４画素サイズの１６個のサブブロックに分割し、各サブブロックについて８ビンの配向ヒストグラムを作成し、それによって合計１２８ビンの値を作成することによって、特徴記述子の生成を開始することができる。このキーポイントの特徴記述子は、１２８個のビン値を具えている。あるいは、他のサイズの近傍ブロック及び／又はサブブロックを使用して、特徴記述子を生成するようにしてもよい。上述のＳＩＦＴベースのプロセスを実行して、取得又は受信したすべての画像においてキーポイントを識別し、及び／又は特徴記述子を生成することができる。さらに、いくつかの変形例では、特徴記述子を生成して保持するステップに加えて、キーポイントの配向及び／又はスケール（及び／又は他の関連情報）を保持することができ、これにより、たとえば追加の画像照合特徴の決定が可能になる。追加で又は代替的に、その他の適切な特徴抽出技法を用いてキーポイントを識別し、及び／又は特徴記述子及び／又はその他の適切な情報を生成することができる。
【0039】
図３に示すように、第１の各キーポイントについての特徴記述子の生成（３４４）と第２の各キーポイントについての特徴記述子の生成（３４６）に続いて、この方法は少なくとも一の第１のキーポイントと少なくとも一の第２のキーポイントとの間に一又はそれ以上の一致を予測するステップ（３５０）を具えていてもよい。一般的に、この予測は、キーポイントの特徴記述子の類似性に基づいて、第一及び第二のテキスタイルを描写した画像領域内の関心のあるポイント間の対の対応関係を識別するように機能する。例えば、第１のキーポイントについての特徴記述子と第２のキーポイントについての特徴記述子とを比較して、２つのテキスタイルを描写した画像領域間のすべてのキーポイントにわたって最も近い全体的な数値的に類似する特徴を見つけることができる（K近傍法技術を用いて）。図４に概略的に示すように、第１の画像４１０における第１の画像領域４１２内のいくつかの又はすべての第１キーポイントは、第２の画像４２０における第2の画像領域４２２の対応する第２のキーポイントと一致させることができる。例えば、第１の外科用描写画像領域４１２のキーポイントの４１４Ａ、４１４Ｂ、及び４１４Ｃは、それぞれ、第２の外科用描写画像領域４２２内のキーポイント４２４ａ、４２４ｂ、及び４２４ｃに一致させることができる。
【0040】
さらに、この方法は、少なくとも部分的に第一及び第二のキーポイントに基づいて少なくとも１つの分類機能を定義するステップ３５０を具えている。第一及び第二のキーポイントに基づいた分類機能の例が、図５に示されている。一変形例では、この方法は、一致した第１及び第2のキーポイントの特徴記述子間の差に少なくとも部分的に基づいて分類特徴（図５では、ｄｉｓｔａｎｃｅＦｅａｔｕｒｅのラベルが付いている）を定義するステップ３６１を具えていてもよい。換言すると、分類特徴は、複数の第１及び第２のキーポイントの記述子空間内の特徴記述子間の距離を特徴付けている。例えば、第１のキーポイントの特徴記述子値と第２のキーポイントの特徴記述子値（第１及び第２のキーポイントが一致した場合）との間の全体距離又は差は、二乗平均平方根偏差（ＲＭＳＤ）又は二乗平均平方根誤差（ＲＭＳＥ）、又はその他の適切な距離の測定に基づいて決定することができる。ＲＭＳＤ又はＲＭＳＥは、第１及び第２の画像についての第１及び第２のキーポイントが一致した対すべてを決定して、集約（例えば、平均化）し、複数の第１のキーポイントと複数の第２のキーポイントとの間の全体的な差の測定を提供することができる。一般的に、特徴記述子間の差が小さいほど、第１及び第２の画像領域は同じ外科用テキスタイルを描写している尤度が高い。さらに、いくつかの変形例では、ロバスト集約法（例えば、１０％の最大距離及び最小距離を除外する、あるいは平均距離ではなく中央値を計算するなど）を使用して、この分類特徴が偽の一致を起こしにくくすることができる。
【0041】
別の変形例では、この方法は、合致した第１及び第２のキーポイントに関連するホモグラフィマッチの適合度に少なくとも部分的に基づいて分類特徴（図５において、ｇｏｏｄｎｅｓｓＨｏｍｏｇｒａｐｈｙと分類されている）を決定するステップ３６２を具えている。一般的に、ホモグラフィ変換は、第１の画像領域内の複数の第１のキーポイントの各々が、第２の画像領域内のその一致する第２のキーポイントにどのようにマッピングされるのかを、また逆も同様に、分類するように構成することができる。例えば、図４に示すように、第１の画像領域４１２内の第１のキーポイント（例えば、４１４ａ、４１４ｂ、及び４１４ｃ）は、第２の画像領域４２２内の一致する第２のキーポイント（例えば、４２４ａ、４２４ｂ、及び４２４ｃ）に対応し、第2の画像領域４２２は、第１の画像領域４１２に対して歪んでいてもよい（例えば、カメラから様々な方向に回転又は傾斜している）。第1の画像領域４１２中の第１のキーポイントの位置座標（ｘｉ、ｙｉ）と、第２の画像領域４２２中の第２のキーポイントの位置座標（ｘｊ、ｙｊ）が与えられると、ホモグラフィ変換（例えば、マトリックス）は、並進、回転、スケール、面外の向きの変化、（ｘｉ、ｙｉ）と（ｘｊ、ｙｊ）セット間の歪みのその他の原因を数学的に記載することができる。しかしながら、ホモグラフィ変換は、一致した第１及び第２のキーポイントのすべての対にわたる不完全な適合である場合がある。したがって、いくつかの変形例では、この方法は、一致した第１及び第２のキーポイントに関連するホモグラフィ変換を適合させるステップと、すべての一致した第１及び第２のキーポイントにわたるホモグラフィ変換の適合度に少なくとも部分的に基づいて、分類特徴を定義するステップと、を具えている。適合試験の適切な適合度を使用して、Ｒ２ 、ロバスト－Ｒ２ 、スピアマンのρ、すなわち、その一致のあらかじめ定義された距離（例えば、（ｘ、ｙ）空間中の、又は他の座標系中の）内のキーポイントのパーセンテージに基づいて、あるいはその他の適切な試験に基づいて、ホモグラフィ変換の適合度の測定値を生成することができる。さらに、別の変形例では、特徴記述子空間内の距離を（ｘ、ｙ）空間（又は他の座標系）内の距離と組み合わせて、有益な適合度測定を作成することができ（例えば、Ｒ２を計算するが、各キーポイントの寄与度に、ｅｘｐ（－ｄｅｓｃｒｉｐｔｏｒ ｄｉｓｔａｎｃｅ）（又はその他の適切な重み付け係数）によって重み付けする）、類似度が低い記述子を持つキーポイントは、適合度への寄与が少なくなる。さらなる変形例では、ＲＡＮＳＡＣ又はハフ変換などのロバスト的合法を用いてホモグラフィを適合させる場合、フィッティングの出力の1つはインライアポイントセットとなり、入力のサイズに対するこのセットのサイズは適合度メトリックとして使用することができる。一般的に、ホモグラフィ変換の適合度が高いほど、第１及び第２の画像領域が同じ外科用テキスタイルを描写する尤度が高くなる。
【0042】
いくつかの変形例では、この方法は、一又はそれ以上の数学的モデル又は関数を組み込んで、画像間の潜在的なテキスタイル形状の変動を補償するステップを具えていてもよい。例えば、同じ外科用テキスタイルは、並進、回転、スケール、及び／又は面外の向きの変化などを受けるだけでなく、追加で又は代替的に、内部変位を受ける（例えば、引っ張り具合に応じて伸張又は垂下する）ことがある。潜在的な形状の変動を補償するために、この方法は、いくつかの変形例において、伸縮、緩みなどを考慮してホモグラフィ変換を修正及び／又は補足するステップを具えている。例えば、ホモグラフィ変換は、テキスタイルの端部の変位（例えば、テキスタイルの上部垂れ下がった端部の垂直方向の変位）や、テキスタイルの上に配置した基準マーカ間の距離に基づく曲率といった、テキスタイルの曲率をモデル化するように構成された関数を組み込むように修正することができる。別の例として、ホモグラフィ変換は、テキスタイルの曲率をモデル化するように構成した機能であって、一致した第１及び第２のキーポイントをたがいに関連付ける、あるいはマッピングするように、（例えば、ホモグラフィ変換の後に）別個に適用される機能が補填されている。
【0043】
別の変形例では、この方法は、第１及び第２の画像の間のテキスタイル回転の予測される全体角度についての信頼度に少なくとも部分的に基づいて分類特徴（図５ではａｎｇｌｅＨｏｕｇｈ と分類されている）を定義するステップ３６３を具え、ここで、予測回転角は、一致した第１及び第２のキーポイントから導出することができる。予測される全体の回転角は、例えば、ハフ変換又はその他の曲線適合又はライン適合技術に基づいている。ハフ変換は、一致した第１及び第２のキーポイントに適用した場合に、一致したキーポイントに基づいて描写されたテキスタイルの回転角度を確率的に予測することができる投票技法である。いくつかの変形例では、コンセンサス投票比（一般的に、最も尤度の高い回転角に「投票」するキーポイントの割合を示す）は、予測される全体の回転角が正しいという信頼度の測定として使用できる。一般的に、コンセンサス投票率が高いほど、第１及び第２の画像領域が同じ外科用テキスタイルを描写している尤度が高い。
【0044】
別の変形例では、この方法は、第１及び第２の画像間の第１及び第２のキーポイントの予測した一致の測定に少なくとも部分的に基づいて、分類特徴（図５では、ｍｅａｓｕｒｅＭａｔｃｂｅｓと分類されている）を定義するステップ３６４を具える。第１のテキスタイルを描写した画像領域のすべてのキーポイントが、第２のテキスタイルを描写したが図領域のキーポイントと必ずしも一致する必要はなく、その逆も同様である。例えば、図４に示すように、第1の画像領域４１２内の第１のキーポイント４１４ｄは、第２の画像領域４２２の対応する第２のキーポイントと一致しない。さらに、第２のキーポイント４２４ｅは、第1の画像領域４１２の対応する第１のキーポイントと一致していない。一般的に、第１及び第２の画像領域における第１及び第２のキーポイントの予測した一致の測定値が大きいほど、第１及び第２の画像領域が同じ外科用テキスタイルを描写している尤度が高い。第１及び第２のキーポイントの予測した一致の測定値は、例えば、予測一致の総数、一致がある（第２の画像のキーポイントに一致する）第１の画像内の第１のキーポイントの割合、一致がある（第１の画像のキーポイントに一致する）第２の画像内の第２のキーポイントの割合、一致がある第１の画像中の第１のキーポイントの数又は割合と、一致がある第２の画像中の第２のキーポイントの数又は割合、及び／又はこれらの任意の組み合わせ、に少なくとも部分的に基づいている。
【0045】
別の変形例では、この方法は、一致した第１及び第２のキーポイントについての特徴記述子のスケールの一貫性に少なくとも部分的に基づいて分類特徴を規定するステップを具えている。上述したように、画像内のキーポイントは、様々なスケール（異なるスケーリングパラメータ）にわたるガウス画像の差における局所的極値を識別することによって決定することができ、異なるキーポイントは、異なるスケールからの値を有する対応する特徴記述子を有することができる。一般的に、第１及び第２の画像の間の一致したキーポイントについての特徴記述子のスケールがより一致しているか又は等しいほど、第１及び第２の画像領域が同じ外科用テキスタイルを描写している尤度が高い。
【0046】
別の変形例では、この方法は、一致した第１及び第２のキーポイントの方向のオフセットの一貫性に少なくとも部分的に基づいて分類特徴を規定するステップを具える。上述したように、画像内のキーポイントの方向は保持することができる。一般的に、第１の画像と第２の画像との間の一致したキーポイント間の方向のずれがより一致しているか等しいほど、画像中の第１及び第２の画像領域が同じ外科用テキスタイルを描写している尤度が高い。
【0047】
全体的態様
いくつかの変形例では、第１の画像領域の第１の態様及び／又は第２の画像領域の第２の態様は、描写された外科用テキスタイルの一又はそれ以上の全体的態様を特徴付けている。全体的態様は、例えば、描写された外科用テキスタイル上の流体パターンのサイズ、形状、又は流体含有量を（上記のキーポイントよりも大きいスケールで）特徴付けることができる。一般的に、この方法のいくつかの変形例では、２又はそれ以上の画像が同じテキスタイルを描写しているかどうかの予測は、画像内で認識された全体的な態様間の比較に少なくとも部分的に基づいている。
いくつかの変形例では、第１の画像領域の第１の態様及び／又は第２の画像領域の第２の態様は、描写された外科用テキスタイルの一又はそれ以上の全体的態様を特徴付けている。全体的態様は、例えば、描写された外科用テキスタイル上の流体パターンのサイズ、形状、又は流体含有量を（上記のキーポイントよりも大きいスケールで）特徴付けることができる。一般的に、この方法のいくつかの変形例では、２又はそれ以上の画像が同じテキスタイルを描写しているかどうかの予測は、画像内で認識された全体的な態様間の比較に少なくとも部分的に基づいている。
【0048】
一変形例では、全体的な態様が、描写された外科用テキスタイル上の流体パターンの面積を特徴付けるようにしてもよい。例えば、図６Ａに示すように、この方法は、第１の画像領域６４０内の流体パターンの第１の面積を定量化するステップと、第２の画像領域６４２内の流体パターンの第２の面積を定量化するステップと、第１及び第２の面積６５０の定量化に少なくとも部分的に基づいて、分類特徴を規定するステップと、を具える。一般的に、この分類特徴（図5において、ｆｌｕｉｄＲｅｇｉｏｎＲａｔｉｏとしてラベル化されている）は、第1及び第2の面積の定量化の類似性レベル（例えば、2つの撮像されたテキスタイルの間の流体パターンの広がり）を示し、定量化した第１及び第２の面積の類似性が高いほど、第１及び第２の画像領域が同じ外科用テキスタイルを描写している尤度が高い。
【0049】
例示的な一例として、流体パターンの面積は、流体を含む描写されたテキスタイルの面積と、描写されたテキスタイルの総面積との比として定量化することができる（例えば、流体で汚れたテキスタイルの割合）。そのような比率で流体パターンの面積を特徴付けるステップは、異なるカメラ距離で外科用テキスタイルが撮像される尤度を構成できる。一般的に、第１及び第２の各画像について、この方法は、流体パターンの面積を決定するステップと、外科用テキスタイルの面積を決定するステップと、及びテキスタイルの総面積に対する流体パターンの面積の比を決定するステップと、を具える。流体パターンの面積は、例えば、所定の閾値（例えば「流体」画素）を超える色成分値（例えば赤）を有する画像領域内の画素数に基づいていてもよい。外科用テキスタイルの面積は、例えば、外科用テキスタイル（例えば、「テキスタイル」ピクセル）を表すために、（例えば、ユーザ選択又はエッジ検出技術によって）予め決定された画像領域内のピクセル数に基づくことができる。テキスタイルを描写した画像領域内の流体パターンの定量化された面積は、したがって、「テキスタイル」ピクセルに対する「流体」ピクセルの比に基づくものであってもよい（あるいはその逆も同様）。したがって、図６Ｂを参照すると、第１の画像領域内の流体パターンの第１の面積を定量化するステップ６４０が、第１のテキスタイルを描写した画像領域６１２内の総テキスタイル面積ＡＴ、１に対する、流体パターン面積ＡＦＬ、１の第１の流体比Ｒ１を決定するステップを具える。同様に、第２の画像領域６４２内の流体パターンの第２の面積を定量化するステップは、第２のテキスタイルを描写した画像領域６２２内の総テキスタイル領域ＡＴ、２に対する流体パターン面積ＡＦＬ、２の第２の流体比Ｒ２を決定するステップを具える。さらに、第１の画像領域及び第２の画像領域についてこれらの比を決定した後、この方法は、この比率の比較（例えば、液体で汚れているテキスタイルの割合の比較）に少なくとも部分的に基づいて分類特徴（図５では、ＲｅｇｉｏｎＲａｔｉｏとして分類されている）を定義するステップを具えていてもよい。例えば、この分類特徴は、第１の流体比Ｒ １と第２の流体比Ｒ２との間の絶対差（例えば、Ｒ１又はＲ２又はその逆）、及び／又は、第１の流体比Ｒ１と第２の流体比Ｒ２の差（例えば、Ｒ２／Ｒ１又はＲ１／Ｒ２）の測定に基づくことができる。
【0050】
代替的に、別の変形例では、描写された外科用テキスタイル上の流体パターンの面積は、流体パターン面積（例えば、描写されたテキスタイル中の流体パターンを含むピクセルの絶対数）ＡＦＬ、１又はＡＦＬ、２として定量化することができる。分類特徴は、例えば、描写されている外科用テキスタイルのサイズが全画像にわたって標準化されている場合（例えば、各テキスタイルが同じカメラ距離から撮像されるように注意が払われる、画像又はテキスタイルを描写した画像領域が同じサイズになるように調整する、など）、第１の画像領域内の「流体」ピクセルの絶対数と第２の画像領域内の「流体」ピクセルの絶対数との差に基づくことができる。
【0051】
別の変形例では、全体的態様が、描写されている外科用テキスタイル上の流体パターンの内容を特徴付けることができる。例えば、図７に示すように、本方法は、第１の画像領域に描写されている第一の流体成分を定量化するステップ７４０と、第２の画像領域に描写されている第二の流体成分を定量化するステップ７４２と、第１及び第２の流体成分の定量化に少なくとも部分的に基づいて分類特徴を規定するステップ７５０とを、具えている。この定量化は、例えば、流体成分の質量、重量、体積、濃度などを測定することができる。外科用テキスタイル中の流体が血液であるいくつかの変形例では、定量化される流体成分が、例えば、ヘモグロビン、赤血球、又は他の適切な血液成分である。例えば、描写されている外科用テキスタイルの全体的態様は、推定ヘモグロビン質量を含んでいてもよい。一般的に、この分類特徴は、第１及び第２の画像に描写された流体パターンの内容物の類似性のレベルを示すことができ、内容物が類似しているほど、第１及び第２の画像領域が同じ外科用テキスタイルを表している尤度が高い。
【0052】
例えば、流体パターンのピクセル色値を流体成分量に変換するためには、テンプレートマッチング技術が、画像領域の赤みの強度をテンプレート画像（例えば、トレーニングセット、以前に分析されたサンプル）からの赤みの強度と比較するステップを具えている。各テンプレート画像は、テンプレート画像のライブラリ内に含まれており、血液、ヘモグロビン、赤血球の既知の質量又は体積、及び／又は、その他の流体特性と関連付けるようにしてもよい。一般的に、画像領域の赤み強度が、最も近いマッチングテンプレート画像と実質的に類似している（そしてそれと対になっている）場合、画像領域は最も近いマッチングテンプレート画像と同じ流体成分量を表すと推定できる。
【0053】
一例では、Ｋ近傍法をテンプレートマッチングに使用することができる。より具体的には、Ｋ近傍法を用いて、画像領域の赤みの強度をテンプレート画像の赤みの強度値と比較することができる。追加で又は代替的に、Ｋ近傍法を使用して、画像領域内のピクセルの緑色強度及び／又は青色強度を（例えば、赤色強度と共に）テンプレートの緑色強度及び／又は青色強度と比較することができる。このように、画像領域は、Ｋ近傍法で認識した最も近いテンプレート画像と対にすることができ、この画像領域は、最も近いテンプレート画像に関連する同じ流体成分量を表すと推定することができる。
【0054】
別の例では、ピクセル強度（例えば、赤、緑、及び／又は青の強度又は色値）の絶対差をテンプレートマッチングに使用することができる。このようなピクセル強度の絶対差は、流体成分と相関する光の波長で（例えば、ヘモグロビン濃度を推定するには約４００ｎｍで）計算することができる。より具体的には、ピクセル強度の絶対差の合計を使用して、画像領域と各テンプレート画像とのピクセル強度を比較することができる。この最も合致したテンプレート画像は、絶対さの合計が、画像領域とその他のテンプレート画像について計算された絶対差の他の合計と比較して、実質的に最小である場合に認識される。このように、画像領域は、絶対差分和法で認識した最も近いマッチングテンプレート画像と対にすることができ、その画像領域は、最も近いマッチングテンプレート画像と同じ流体成分量を表すものとして推定できる。
【0055】
さらに、パラメトリックモデルを使用して、画像領域内のピクセルカラー値を流体成分量に変換することができる。一般に、テンプレート画像の色値は、ピクセル色値を流体成分量に相関させるパラメトリックモデル（数学関数、曲線、又はアルゴリズムなど）を訓練又は生成することができる。パラメトリックモデルは、ピクセル強度又は色値の入力を取り、それを推定流体成分量値の出力に変換することができる。
【0056】
追加で又は代替的に、第１の画像領域及び／又は第２の画像領域内の流体成分を定量化する際に、この方法は、米国特許第８，７９２，６９３号及び／又は米国特許第６，７９２，８３９号に記載されている技術といった、任意の一又はそれ以上の技術を使用することができる。これらの特許は、参照によりその全体が本明細書に組み込まれている。
【0057】
図７に示すように、この方法は、第１の画像領域７４０に示されている第１の流体成分を定量化し、第２の画像領域７４２に示される第２の流体成分を定量化した後、第１及び第２の定量化に少なくとも部分的に基づいて分類特徴を規定するステップを具えていてもよい。いくつかの変形例では、分類特徴（図５ではｆｌｕｉｄＥｓｔｉｍａｔｅとラベル付けされている）は、絶対差又は百分率差など、第１及び第２の流体成分の定量化間の比較に少なくとも部分的に基づいて、２つの画像間の流体成分量の類似性を表示することができる。
【0058】
別の変形例では、全体的態様で、描写された外科用テキスタイル上の流体パターンの全体的な形状を特徴付けることができる。例えば、テキスタイル上の流体パターンの全体的な幾何学的態様を分類して、各テキスタイルを描写した領域を特徴付けるのに使用することができる。例えば、一般的に、より大規模な幾何学的パターン（例えば、流体パターン中の「大きい」パッチ対「小さい」パッチ）は、各画像又は画像領域に対応する指紋又はその他の独自の識別子として認識し、記憶することができる。流体小領域（例えば、小塊）の中心及び半径を組み込んで、流体パターンの全体的な幾何学的態様を特徴付けることもできる。別の例として、流体パターン（又は流体パターンの小領域）の２Ｄ形状を識別し、フーリエ変換で変換して、流体パターン又は流体パターンの小領域の独自の識別子、したがって各テキスタイルを描写した領域について独自の識別子を作成することができる。
【0059】
さらに別の変形例では、画像態様は、描写された外科用テキスタイル上のスレッドパターンの態様を具えていてもよい。例えば、各外科用テキスタイルが（例えば、少なくとも光学画像で捕捉できる非常に細かいスケールで）固有のスレッドパターンを有することを考慮することが場合によっては適切なことがある。スレッドパターンの特徴の決定又は抽出は、例えば、上述の特徴抽出技法と同様である。
【0060】
重複撮像の尤度の測定
図２に示すように、この方法は、第１及び第２の画像領域が同じテキスタイル２６０の少なくとも一部を描写する尤度を測定するステップを具える。一般的に、重複撮像の尤度の測定は、第１及び第２の画像についての一又はそれ以上の分類特徴に基づいており、第１及び第２の画像が同じテキスタイルの少なくとも一部分を描写するリスク、又は同等に、第１及び第２の画像が重複画像を撮像しない確実性又は信頼性、を表している。
図２に示すように、この方法は、第１及び第２の画像領域が同じテキスタイル２６０の少なくとも一部を描写する尤度を測定するステップを具える。一般的に、重複撮像の尤度の測定は、第１及び第２の画像についての一又はそれ以上の分類特徴に基づいており、第１及び第２の画像が同じテキスタイルの少なくとも一部分を描写するリスク、又は同等に、第１及び第２の画像が重複画像を撮像しない確実性又は信頼性、を表している。
【0061】
いくつかの変形例では、重複撮像の尤度の測定は、一又はそれ以上の分類特徴に適用される適切な分類アルゴリズムを用いて生成することができる。例えば、分析中の各画像対（例えば、第１及び第２の画像）について、このようなアルゴリズムは、入力として上述した分類特徴のうちの一又はそれ以上を取りあげ、この画像対が同じテキスタイルの少なくとも一部を描写している確率を示す値を生成することができる。例えば、分類アルゴリズムは、Ｋ近傍法、決定木アプローチ、サポートベクトルマシン、ランダムフォレスト又はエクストラツリーアプローチ、ニューラルネットワークアプローチ（例えば、畳み込みニューラルネットワークアプローチ）などを含む。分類アルゴリズムは、例えば、前もって生成した訓練データについて訓練された機械学習アルゴリズムであってもよい。例えば、この分類アルゴリズムは、ラベル付画像対に基づく分類特徴を具える訓練データセットを用いて訓練することができるが、ここで、ラベル付き画像対は、既知の「重複」（すなわち、同じテキスタイルを描写している）として、あるいは、既知の「重複しない」（つまり、同じテキスタイルを描写していない）として、分類することができる。いくつかの変形例では、分類アルゴリズムを訓練して、一対の画像が重複しているより高い尤度の測定が、より高い数値スコアによって表示されるようにできる（すなわち、分類アルゴリズムを訓練しては、画像を「重複する」と分類することができる）。代替的に、分類アルゴリズムを、一対の画像が重複しているより高い尤度の測定がより低い数値スコアによって表示されるように訓練することができる（すなわち、分類アルゴリズムを訓練して、画像を「重複していない」と分類するようことができる）。尤度の測定は、例えば、約０から約１の間（又は約０から約１００の間、又は任意の他の適切な範囲）であってもよい。さらに、適切な分類アルゴリズムのスコア出力は、プラットスケーリング又は単調回帰などの方法で、確率に変換することができる。
【0062】
従って、第一及び第二の画像領域が、同一のテキスタイル２６０の少なくとも一部を描写する尤度の測定は、分類アルゴリズムを、第１及び第２の画像に対応する少なくとも１つの分類特徴に適用するステップを具える。この分類アルゴリズムは、一対の画像が同じテキスタイルの少なくとも一部を描写する尤度の測定値を生成することができる。実際は、分類アルゴリズムはさらに、受信した各画像対の分類特徴に適用して、各画像対が、同じ外科用テキスタイルの少なくとも一部を描写する確率を示す、対応する尤度の測定値を有するようにすることができる。次いで、以下でさらに説明するように、重複尤度の各測定を一又はそれ以上のしきい値との比較などによって評価することができる。加えて、いくつかの変形例では、この尤度の測定値を、それが生成された後に（例えば、ディスプレイ上に視覚的に及び／又はスピーカ装置を介して聴覚的に）ユーザに伝達することができる。
【0063】
いくつかの変形例では、この方法は、一又はそれ以上のその他のリスクベースパラメータに基づいて重複尤度の測定を調整するステップを具える。例えば、重複尤度の測定値が上昇又は下降して、外科的テキスタイルのタイプ（例えば、異なるタイプの別のテキスタイルの様々な場合を区別することはより困難である）、及び／又は、分類機能及び分類アルゴリズムでは考慮されていないリスクベースのパラメータを反映させることができる。別の例として、複数の分類アルゴリズムを各画像対の一又はそれ以上の分類特徴に追加で又は代替的に適用して、平均化又は（例えば、信頼レベルを高めるために）組み合わせた重複尤度の複数の測定値として、各画像対の尤度の調整された測定値として総合リスクスコアを生成することができる。いくつかの変形例では、この重複尤度の調整された測定は、画像が同じ外科用テキスタイルの少なくとも一部を描写するリスクを反映した、分析中の画像対についての個々のリスクスコアを考慮することができる。
【0064】
尤度の測定値の評価
図２に示すように、この方法は、重複撮像の尤度の測定を所定の閾値と比較するステップ２７０を具えていてもよく、この閾値は、画像対を「重複していない」又は「潜在的に重複する」に分類するためのカットオフである。例えば、重複する尤度（調整されていてもされていなくてもよい）の測定値が閾値を満たさない場合、この方法はインデックスカウンタ２７２を増分するステップを具えており、このインデックスカウンタは外科用テキスタイルの計数を追跡する。逆に、重複尤度の測定値が閾値を満たす場合、この方法は、重複するテキスタイル２７４を潜在的に描写しているとして第１及び第２の画像を分類し、インデックスカウンタの増分を保留し、及び／又は後述する追加の評価をトリガするステップを具えていてもよい。いくつかの変形例では、重複尤度の測定が閾値を満たす場合、インデックスカウンタは増分するが、以下に述べるような追加の評価をトリガすることができる。
図２に示すように、この方法は、重複撮像の尤度の測定を所定の閾値と比較するステップ２７０を具えていてもよく、この閾値は、画像対を「重複していない」又は「潜在的に重複する」に分類するためのカットオフである。例えば、重複する尤度（調整されていてもされていなくてもよい）の測定値が閾値を満たさない場合、この方法はインデックスカウンタ２７２を増分するステップを具えており、このインデックスカウンタは外科用テキスタイルの計数を追跡する。逆に、重複尤度の測定値が閾値を満たす場合、この方法は、重複するテキスタイル２７４を潜在的に描写しているとして第１及び第２の画像を分類し、インデックスカウンタの増分を保留し、及び／又は後述する追加の評価をトリガするステップを具えていてもよい。いくつかの変形例では、重複尤度の測定が閾値を満たす場合、インデックスカウンタは増分するが、以下に述べるような追加の評価をトリガすることができる。
【0065】
いくつかの変形例では、画像対の重複尤度の測定を一の閾値と比較して、画像を２つのカテゴリ、「重複しない」又は「潜在的な重複」の一方に分類することができる。例えば、重複尤度の測定値が０－１００以上の範囲であり、より高い値がより高い重複撮像の尤度に対応する変形例では、閾値５０未満の画像対の重複尤度の測定は、画像対を「重複しない」と分類することになる。一方、閾値が５０以上である画像対の重複尤度の測定は、画像対を「潜在的重複」として分類することになる。しかしながら、０から１００のスケールの適切な単一の閾値を使用したり（例えば、約１０乃至約９０、約２５乃至約７５、約３５乃至約６５、約４５乃至約５５など）、又は適切な範囲の適切な閾値（例えば、可能な範囲の重複画像測定の値のほぼ中間点）を使用することができる。閾値は望ましい感度に調整することができる。例えば、重複撮像が生じているかどうかのユーザの確認をトリガするには、より多くの検出漏れよりは、より多くの誤検出（すなわち、重複の不正確な予測）が好ましい。このような閾値調整は、ユーザの手動での選択によって、及び／又は、特定の環境条件（例えば、複数の外科用テキスタイルが、一致して完全に又はほぼ完全に液体が飽和しているように見え、したがって互いに区別することがより困難である場合に）によって、生じることがある。
【0066】
代替的に、いくつかの変形例では、一対の画像の重複尤度の測定値を複数の閾値と比較して、画像を二又はそれ以上のカテゴリに分類することができる。例えば、二つのしきい値は、画像対の重複尤度の測定値を、潜在的重複が、「低」、「中」、又は「高」リスクを表すものとして分類できる（例えば、０から１００のスケールで、重複尤度の測定値が約２５の第１の閾値未満であれば、重複冊増のリスクが低いことに対応し、約７５の第２の閾値を超える場合は、重複撮像のリスクが高いことに対応し、重複尤度の測定値が第１の閾値２５と第２の閾値７５の間にある場合は、重複撮像のリスクが中程度であることに対応する）。その他の適切な数及び種類のしきい値を使用して、画像対を適切な数又は種類のリスクカテゴリに分類することができる。
【0067】
重複尤度の測定値が所定の閾値を満たす（例えば、潜在的な重複画像対を十分に表示すると決定された）場合、この方法は潜在的な重複をユーザに伝えるステップを具えていてもよい。いくつかの変形例では、図９Ａに示すように、この伝達は、尤度のある重複画像が取得又は受信されたことを示す、ユーザに視覚的に提示されるディスプレイの通知を具えていてもよい。重複尤度の測定又はその表示（例えば信頼水準として提示される）、及び／又は、疑わしい重複画像対が表示される。ユーザは、尤度のある重複画像対の検出に応じて、一又はそれ以上の動作を実行するように促される。例えば、その時点までに画像化されている外科用テキスタイルの手動による計数を実行するようにユーザに促し、不一致を調整するように要求することができる。別の例として、ユーザは、ユーザインターフェース（たとえばタッチスクリーン）を使用するように促されて、疑わしい重複画像対が実際に同じテキスタイルを描写しているかどうかを確認する（たとえば、疑わしい重複画像対の流体パターンを検討すること、画像が撮像された時の状況のコンテキストを思い出すこと、疑わしい重複画像対に描写されたテキスタイルの重量を図って、様々な流体重量に基づく識別を確認することによって）。もう一つの例では、ユーザは、疑わしい重複画像対の一方又は両方を、保持（例えば、ボタン９１０を用いて）、及び／又は、ディスプレイから削除、及び／又は、保存（及び／又は、削除された画像が以前にインデックスカウンタの増分と関連付けられている場合）、を選択するように促され、これによって、重複性を効率よく取り除く（及び、テキスタイルの計数をできる限り正確に保つ）ことができる。この方法は、いくつかの変形例では、回転、反転、又は面外配向など、画像対間の一又はそれ以上の種類のテキスタイル変形を検出するステップと、検出した種類の変形を表示するステップとを具えていてもよい。これは、画像が同じテキスタイルを描写しているかどうかを検証する際にユーザを支援する。追加で又は代替的に、この方法は、潜在的重複画像のうちの少なくとも１つを調整して一又はそれ以上の種類のテキスタイルの変換（例えば、回転、反転、傾き補正など）を補償するステップと、調整した画像を向きが同じになるように表示するステップとを具えていてもよい。これは、イメージの違いを精神的に解決し、イメージが同じテキスタイルを描写しているかどうかを検証する際にユーザを支援することができる。追加で又は代替的に、ユーザはインターフェースを使用して、一方又は両方の画像の向きを手動で調整する（たとえば方向矢印ボタン９２０などを用いて）ことができるが、画像調整はどの種類のテキスタイル変換が検出されたかに基づいて自動的に実行できる。
【0068】
いくつかの変形例では、図９Ｂに示すように、潜在的な重複画像を伝達するステップが、取得又は受信されたいくつかの又はすべての画像を表示するステップと、潜在的な重複群を視覚的に表示するステップを具えていてもよい。例えば、潜在的な重複画像対は、（画像間の）接続線及び／又は一致する境界線で示すことができる。潜在的な重複画像対は、例えば、線の太さ、線パターン、色などに基づいて区別することができる。他の視覚的表示（例えば、色付け、退色など）も同様に使用して、潜在的な重複画像対を識別することができる。さらに、画像対の重複尤度の測定、又はその提示（例えば、信頼性のレベルとして提示される）は、線の太さ、又は他の適切な方法でラベルと通じていてもよい。例えば、図９Ｂに示すように、画像２と５は、太線の太さ及び対応するキャプションで示されるように、高い重複測定尤度の測定を有し、一方、画像３と５は、中線の太さ及び対応するキャプションで示されるように中程度の重複尤度を有する。
【0069】
さらにその他の変形例では、尤度のある重複画像対を通信するステップが、尤度のある重複画像を取得した、あるいは受信したことを表示する、ビープ音、トーン、及び／又は音声ワードコマンドなどの表示警告及び／又は警告音警告を具えていてもよい。さらに、この警告は、電子カルテシステム（ＥＭＲ）を介して通信することができる。例えば、一の尤度のある重複が検出されたとき、又は閾値数の尤度のある重複が検出されたときに、トリガされる。
【0070】
新しい画像が受信されるたびに（例えば、画像を受信し分析した直後に、以前に受信した画像に対する重複撮像の測定を行うたびに）、尤度のある重複画像対をユーザに実質的にリアルタイムで伝達することができる。例えば、ユーザインタフェースは、新しい画像が潜在的な重複であると予測された場合、画像が取得又は受信された直後に、図９Ａに示されたものとの即時の同様性を表示することができる。さらに、又は代替的に、尤度のある重複画像対は、概観スクリーン内に少なくともいくつかの画像を表示することができる、画像レビューペイン内でユーザに伝達されることがある。例えば、画像概観スクリーンは、その時点までに（例えば、外科的処置の間、又は外科的処置の終わりに）取得されたすべての画像を表示し、そしてすべての尤度のある重複画像を概観スクリーン上に通信し得る。別の例として、画像概観スクリーンは、選択された種類のテキスタイル（例えば、ラップスポンジ）を描写する画像を表示すること、及び図９Ｂに示されるものと同様に、そのタイプ特有の概観スクリーン上にすべての尤度のある重複画像を伝達することに、制限することができる。尤度のある重複画像は、概観スクリーンから選択されて、上述したように、同じテキスタイルを描写している（又は同じテキスタイルを描写していない）、保持に選択された、削除に選択された、等として、確認することができる。
【0071】
上述したように、この方法は、重複尤度の測定と少なくとも１つの所定の閾値との比較に基づいて、テキスタイルの計数を表すインデックスカウンタを条件付きで修正するステップを具えていてもよい。例えば、重複尤度の測定が所定の閾値を満たさない場合（例えば、重複画像の尤度が検出されない場合）、本方法はインデックスカウンタを増分するステップを具える。対照的に、外科用テキスタイルの尤度のある重複画像を検出すると、この方法は、例えばテキスタイルカウントインデックスカウンタの増分又は以前に増分したインデックスカウンタの現象を自動的に差し控えることができる。さらに、画像対の重複尤度の測定を複数の閾値と比較する変形例では、異なる閾値との比較から異なる結果が生じることがある。例えば、重複尤度の測定が第１の閾値を満たさず、したがって潜在的重複の「低」リスクを示す場合、この方法は、アラート又は警告をユーザに伝達することを差し控えるステップを具えていてもよい。重複尤度の測定が第１の閾値を満たすが第２の閾値を満たさず、したがって潜在的な重複が「中程度」のリスクを示す場合、この方法は潜在的な重複画像対のリスクを伝達し（例えば、画像が重複しているかどうかをユーザが確認するよう要求する）、画像が重複しているかどうかのユーザの結論を受け入れる。重複尤度の測定値が第2の閾値を満たし、したがって、潜在的重複が「高」リスクを示している場合、この方法は、潜在的な重複画像対のリスクを通信するが、ユーザが、画像が重複していないことを確認しようとしても、プログラム的には、テキスタイルカウントインデックスカウンタの増分を差し控えるステップを具えていてもよい（又は、この方法は、複数のユーザが同時に確認を提供するなどの、追加のこのような確認を要求することができる）。
【0072】
いくつかの変形例では、この方法は、受信画像セット（例えば、手技中に回収されたすべての画像、又はそのサブセット）の総合リスクスコアを生成するステップを具えていてもよく、ここで、この総合リスクスコアセットは、セット内の様々な画像又は画像対のいくつか又はすべての中の重複撮像の尤度を組み込んでおり、一般的には、尤度のある重複画像によってもたらされる、全体的なテキスタイルの計数における不確実性のレベルを示す。例えば、画像のセット全部についての総リスクスコア（例えば、一般的に、そのセットが少なくとも１つの重複画像を含むことの不確実性のレベルを示す）は、その画像セット中の各画像対について生成された重複尤度の全ての測定値を乗算することによって決定される。別の例として、一の選択された画像についての総リスクスコア（例えば、一般的に、選択された画像が画像セット内の他の画像と同じテキスタイルを描写しているという不確実性のレベルを示す）は、選択された画像を含む各画像対について生成された重複尤度のすべてを乗算することによるなどして、決定することができる。同様に、複数の選択された画像の総合リスクスコア（例えば、一般的に、選択された画像のうちのいずれかが画像セット内のその他の画像と同じテキスタイルを描写する不確実性のレベルを示す）は、選択されたいずれかの画像を含む各画像対について生成された重複尤度のすべての測定値を乗算することによって決定することができる。更なる例では、一又はそれ以上の選択された画像に関連する複数の画像についての総合リスクスコア（例えば、一般的に、複数の画像のいずれかが選択されたいずれかの画像と同じテキスタイルを描写するという不確実性のレベルを示す）は、複数の画像のいずれかと選択された画像のいずれかとの間の各画像対について生成された重複尤度のすべての測定値を乗算することによって決定される。
【0073】
同様に、本方法は、追加で又は代替的に、通常上述したいずれかの総リスクスコアの逆数である信頼レベル（又は信頼パーセンテージ、スコアなど）を生成するステップを具えていてもよい。ここで、信頼レベルとは、一般的に、テキスタイル全体の計数が正確であること（例えば、重複画像がないことの確実性のレベル）を表示する。
【0074】
さらに、総リスクスコア及び／又は信頼レベルは、図９Ｃに示すような画像概観スクリーン上などの、ユーザへのディスプレイ上に表示することができる（例えば、「重複リスクスコア」又は「信頼レベル」として提示される）。追加で又は代替的に、総リスクスコア及び／又は信頼レベルは、スピーカー装置を介して聴覚的に伝達することができる。いくつかの変形例では、総リスクスコア又は信頼レベルが所定の閾値を満たす（たとえば、その時点までに回収されたすべての画像の総リスクスコアが所定の閾値を超えたとき、又は信頼レベルが所定の閾値を下回るとき）と、アラーム（たとえば、表示アラーム及び／又は可聴アラーム）がトリガされる。
【0075】
さらに、この方法は、例えば図９Ｃに示すものと同様の概観スクリーン上に、あるいは適切なディスプレイ上に、外科用テキスタイルの計数についてのインデックスカウンタ値を表示するステップを具えていてもよい。追加で又は代替的に、この方法は、スピーカ装置などの可聴カウントを用いてインデックスカウンタ値を通信するステップを具えていてもよい。いくつかの変形例では、外科処置の終了時に自動的に（及び／又は、外科処置の進行に合わせて断続的に）、又はユーザインターフェース上のユーザ指示などで、外科用テキスタイルの計数を患者の電子医療記録に保存して、外科用テキスタイルの計数を電子医療記録に加えることができる。
【0076】
さらに、本方法は、外科用テキスタイル中に含まれる流体又は流体成分の、質量、体積、重量、濃度など、外科用テキスタイルに含まれる流体の定量化された態様を表示して、患者からの体外液体喪失の追跡を支援するステップを具えていてもよい。例えば、図９Ｃに示すように、本方法は、各画像の外科用テキスタイル中の推定ヘモグロビン質量（例えば、上述したように決定された）、及び／又は、すべての画像に描写されたテキスタイルにわたって集計されたヘモグロビン質量の総計を表示するステップを具えていてもよい。いくつかの変形例では、外科用テキスタイル中の流体又は流体成分の定量化された態様（各テキスタイルについての量、及び／又は、合計量）を、患者の電子医療記録に、外科的処置の終了時に自動的に（及び／又は、外科的処置が進行中に間欠的に）、あるいはユーザインターフェース上でユーザの指示に応じて記憶して、外科用テキスタイル計数を電子医療記録に追加することができる。
【0077】
一様に見えるテキスタイル
場合によっては、一様に見えるテキスタイルは、本明細書に記載のパターン認識技術に基づいて互いを視覚的に区別することが困難な場合がある。一様に見えるテキスタイルの典型的なタイプには、未使用のテキスタイル（例えば、きれい）、食塩水及び／又はその他の実質的に透明な流体のみを含むテキスタイル、及び完全に飽和したテキスタイル（例えば、血液で飽和しているが、ピンク、赤などの一般的に均一な色合い）がある。しかしながら、外科用テキスタイルの計数の精度は、同じ一般的なタイプの均一な外観を有するテキスタイルの画像を区別することができないことの結果である。したがって、いくつかの変形例では、この方法は、一様に見えるテキスタイルの潜在的な重複撮像に対処する一又はそれ以上の特徴を具えていてもよい。
場合によっては、一様に見えるテキスタイルは、本明細書に記載のパターン認識技術に基づいて互いを視覚的に区別することが困難な場合がある。一様に見えるテキスタイルの典型的なタイプには、未使用のテキスタイル（例えば、きれい）、食塩水及び／又はその他の実質的に透明な流体のみを含むテキスタイル、及び完全に飽和したテキスタイル（例えば、血液で飽和しているが、ピンク、赤などの一般的に均一な色合い）がある。しかしながら、外科用テキスタイルの計数の精度は、同じ一般的なタイプの均一な外観を有するテキスタイルの画像を区別することができないことの結果である。したがって、いくつかの変形例では、この方法は、一様に見えるテキスタイルの潜在的な重複撮像に対処する一又はそれ以上の特徴を具えていてもよい。
【0078】
一変形例では、この方法は、２又はそれ以上の画像が同じタイプの一様に見えるテキスタイルを描写していることを検出すると、その画像を自動的に潜在的重複画像として分類するステップを具えていてもよい。例えば、本明細書に記載のパターン認識技術は、第１及び第２のテキスタイルを描写した画像が、高い重複尤度の測定となるであろう「ブランク」のテキスタイル（例えば、未使用の又は透明な流体を含む）を描写していることを検出する。いくつかの変形例では、ユーザは、画像が重複していないことを確認するように促される、及び／又は、許可されることがある。いくつかの変形例では、ユーザは、画像が重複していないとの確認を妨げられ、ユーザが画像が異なるテキスタイルを描写していることを確認しようとしているかどうかにかかわらず、一様に見えるテキスタイルがより高いリスクスコア又はより低い信頼レベルに自動的に寄与するようにできる。
【0079】
別の変形例では、この方法は、２又はそれ以上の画像が同じ種類の一様に見えるテキスタイルを表すことを検出すると、二次画像処理技術を実行して、画像を区別するステップを具えていてもよい。例えば、分類アルゴリズム（上述したものと同様）は、ほぼ一様に飽和している（例えば、実質的に一様にピンク又は赤の色合い）、又はほぼ一様に不飽和である（例えば、ほぼ一様に白い）外科用テキスタイルを描写する画像又は画像領域を区別することができる。この分類アルゴリズムは、例えば、測光法及び／又は幾何学的方法を使用して、テキスタイルの外観の一様性を決定することができる。この分類アルゴリズムが、画像が一様に見えない外科用テキスタイルを表すと判断した場合、この方法は、上述の流体パターン認識技術の一又はそれ以上を実行するステップを具える。一方、分類アルゴリズムが、画像が一様に見える外科用テキスタイルを表すと判断した場合、この方法は追加の二次画像処理技術を実行するステップを具える。例えば、一様に見えるテキスタイルを描写している２又はそれ以上の画像を区別する二次画像処理技術は、画像内の画素又は画素群からの特徴から、色ベースの特徴（例えば、ＲＧＢ、ＣＭＹＫなどの平均色成分値、）及び／又は、テクスチャベースの特徴（例えば、コントラスト）を抽出するステップを具えていてもよい。抽出された色ベースの特徴及び／又はテクスチャベースの特徴の画像間の類似性又は非類似性に基づいて、画像を、重複画像である尤度が高いか、又は重複画像ではない尤度が高いと見なすことができる。抽出された色ベースの特徴及び／又はテクスチャベースの特徴の類似性又は非類似性は、例えば、画像間の空間的に対応する画素又は画素群から抽出された特徴、色成分値のヒストグラムビン分布、テキスタイル面積又はサイズ（例えば、所定の色成分値又は値の範囲、又は全体のテキスタイル面積を有するピクセル数に基づく）、Ｋ近傍法アルゴリズム、などを比較することによって測定することができる。
【0080】
さらに、この方法は、いくつかの変形例では、追加で又は代替的に、２又はそれ以上の画像が検出されて同じ種類の一様に見えるテキスタイルを描写することをユーザに警告又は通信するステップを具えていてもよい。例えば、この方法は、画像が重複しているかどうかを確認するようにユーザに促すステップを具えていてもよい。画像が異なるテキスタイルを描写している場合、ユーザは、一又はそれ以上のテキスタイルを、独自の識別子（例えば、独自の流体パターン、布マーカを有するラベル、その他）を作成するための、着色した、又はＩＲ検出可能な、又はＵＶ検出可能な染料）でタグ付け又はマークして、タグ付けしたテキスタイルを再撮像するようよう促される。例えば、タグ付けされたテキスタイルの新しい画像は、撮像されたテキスタイルが明確であるという確認を裏付ける記録を作成するように機能する。
【0081】
さらに別の変形例では、ブランクのテキスタイル、又はその他の一様に見えるテキスタイルを追跡するステップが、すべての一様に見えるテキスタイルをまとめて描写している画像（例えば、トレイ又はその他の表面に置かれた、壁又はその他の背景に掛けられた、あるいは、各テキスタイルが画像内で別々に見えるように表示された）を生成することによって、及びコンピュータビジョン技術（例えば、エッジ検出など）を使用して各別々のテキスタイルを識別することによって、少なくとも部分的に実行することができる。さらに、この方法は、画像内の識別されたテキスタイルの数に基づいてテキスタイルカウンタとしてのインデックスカウンタを増分するステップを具えていてもよい。一様に見える全てのテキスタイルをまとめて画像化して、例えば、別個の同様に見える一様なテキスタイルの存在及び数を確認することができる。
【0082】
その他の変形例
外科用テキスタイルを追跡する方法のその他の変形例は、追加で又は代替的に、その他の適切なコンピュータビジョン及び画像分類技術を具えていてもよい。
外科用テキスタイルを追跡する方法のその他の変形例は、追加で又は代替的に、その他の適切なコンピュータビジョン及び画像分類技術を具えていてもよい。
【0083】
画像ワープアプローチ
一変形例では、図１１に示すように、この方法は、第１のテキスタイルを描写した画像領域を含む第１の画像を受け取るステップ１１２０と、第２のテキスタイルを描写した画像領域を含む第２の画像を受け取るステップ１１３０と、第１及び第２の画像領域をワープさせて、第１及び第２の画像領域が対応するテキスタイル描写画素（又は画素群）を有するようにするステップ１１５０と、第１及び第２の画像領域が同じテキスタイルの少なくとも一部を描写している尤度を測定するステップ１１６０と、を具える。この尤度の測定は、いくつかの変形例では、少なくとも部分的に対応するテキスタイルを描写している画素（又は画素群）の類似性に基づいている。
一変形例では、図１１に示すように、この方法は、第１のテキスタイルを描写した画像領域を含む第１の画像を受け取るステップ１１２０と、第２のテキスタイルを描写した画像領域を含む第２の画像を受け取るステップ１１３０と、第１及び第２の画像領域をワープさせて、第１及び第２の画像領域が対応するテキスタイル描写画素（又は画素群）を有するようにするステップ１１５０と、第１及び第２の画像領域が同じテキスタイルの少なくとも一部を描写している尤度を測定するステップ１１６０と、を具える。この尤度の測定は、いくつかの変形例では、少なくとも部分的に対応するテキスタイルを描写している画素（又は画素群）の類似性に基づいている。
【0084】
例えば、テキスタイルのコーナーを配置して、２又はそれ以上の画像を同じ正方形又は他の適切な形状にワープさせ、画像比較を容易にする（例えば、テキスタイルマスクを介して）ことができる。テキスタイルのコーナーを見つけるには、様々な適切な方法がある。例えば、ハリスのコーナー検出アルゴリズムのような勾配に基づく方法を使用して、候補コーナーでの推測を行う、及びコーナーについての事前の形状知識（例えば、コーナーは一般に互いに離れている既知の距離範囲であるという知識、及び／又は、コーナーは、ある範囲のパラメータ設定を有する正方形、長方形、又は台形などにおよそフィットする傾向があるという知識）を使用して、ありそうもない推測を除外することができる。コーナーを見つける別の例示的な技法は、テキスタイルの縁にラインを合わせ、それらの交点をコーナーとすることである。テキスタイルは通常おおむね直立しており（例えば、その平らな表面がカメラの光軸に対して垂直である）という事実などの、いくつかの事前の情報を使用してエッジ位置で良好な初期推測を得ることができ、このエッジ座標位置（例えば、（ｘ、ｙ）空間など）は、テキスタイルの輪郭の空間座標のヒストグラム中のピークによって示すことができる。さらに、テキスタイルマスクのｘ座標及びｙ座標の中央値及び四分位数（又は他の適切な座標系における位置）は、たとえテキスタイルが多少形を崩していても、実際のテキスタイルの中央及び外側クォーターにほぼ対応するはずである。テキスタイル輪郭座標への線形回帰は、エッジ推測に使用することができ、及び／又は、ロバスト回帰技法（例えば、ＲＡＮＳＡＣ、フーバー損失、又は単純に、第２の回帰が第１の回帰からの外れ値を無視する、２又はそれ以上の線形回帰）を用いて、これらのエッジが偽の輪郭点に対してより鈍感にフィットさせるようにすることができる。さらに、テキスタイルのエッジは必ずしも完全に真っ直ぐではないので、より高次の回帰を使用して、テキスタイルのエッジによりよくフィットさせることができる。最後に、テキスタイルエッジの中心点又はその他の中間点を見いだし、これを用いてテキスタイルを複数の四分円又はタイルに分割して、これらの各タイルを正方形又はその他の適切な形状に個別に歪ませて、テキスタイルの不均一な伸びの影響を近似することができる。
【0085】
上述のコーナーワープ法の代替として、又はそれに加えて、テキスタイルの３Ｄ形状を用いて、スポンジをワープすることができる。例えば、線形又は非線形表面をテキスタイルの深度マップ又は点クラウドに適合させ、この表面をカメラ撮像面と平行に、固定位置と距離で、固定された平面に変換する変形を計算することができる。もう一つの例として、凸面又は非凸面の最適化手法を使用して、テキスタイル深度マップ又は点クラウドを所望の形状に変換する、一連の剛体変換及び／又は非剛体変換を見つけることができる。最終的に、コンピュータで計算した変換は、テキスタイル画像のカラーピクセルの（ｘ、ｙ）座標に適用して、それらを所望の形状にワープすることができる。これらの変換の複雑さと規模を制御することが可能である。たとえば、複雑な小規模の変換で局所的な３Dテクスチャを滑らかにすることも、代替的に、単純で大規模な変換のみを許可してテクスチャを保持することもできる。これは、例えば、３Ｄテクスチャベースの記述子が使用されている場合に有益である。
【0086】
画像が同じ一般的な形状にワープされると、本方法は、任意の一又はそれ以上の適切な方法でそれらの内容を比較して、類似性スコアを生成するステップを具えていてもよい。いくつかの変形例では、重複尤度の測定は類似性スコアに等しく（及び、上述の方法と同様に評価及び使用できる）、他の変形例では類似性スコアを調整及び／又は他の特徴と組み合わせて、重複尤度の測定値を生成してもよい。例えば、この方法は、画像の画素同士を直接比較して、ＲＭＳＤ又はＲＭＳＥをとるステップを具えていてもよい。別の例として、この方法は、２つの正方形の画像をベクトルとして処理し、各チャンネルについて個別に、又は各チャンネルを連結させた後にコサイン類似度スコアを取得することができる。これは、例えば、周囲の照明の変化がピクセル強度を概ね等しくスケーリングできるので、周囲の照明の変化を考慮に入れて、相対的な強度が影響を受けないようにすることができる。別の例として、ピクセル色自体に代えて、血液セグメンテーションマスクを比較する、及び／又は、血液及びテキスタイルセグメンテーションマスクを使用して、血液以外の各ピクセルをテキスタイルピクセルの色の中央値に置き換えることで、比較を行う前に画像からノイズを除去することができる。画素の色又は血液性は、比較される他のものである必要はない。 例えば、密度の高いＨＯＧ又はＳＩＦＴ記述子マップ（又は本明細書に記載のその他の任意の記述子マップ又はその他の適切な記述子マップ）を計算して比較することができる（すなわち各画素が、それに関連するＨＯＧかＳＩＦＴ記述子を持っている）。このような記述子マップは、上記のワープ処理の前又は後に計算することができる。
【0087】
個々のピクセルの比較に加えて又は代替的に、この方法は、一緒にプールするステップと、ピクセルのブロックを比較するステップを具えていてもよい。いくつかの変形例では、複数のスケール（例えば、個々のブロック、異なるサイズのブロック）での比較は、アルゴリズムを、ワープエラー、不均一な伸張効果、血液の広がり、及び／又は、その他の対応するピクセル間の小さな位置合わせ不良の原因などに、それほど敏感ではないようにする。ピクセルのブロックを比較するステップは、各ブロック内での画素の色を平均するステップと、その画素の色ヒストグラム（この場合、比較の基準は、ヒストグラム交差、マハラノビス距離、バタチャリヤ距離、アースムーバーの距離、等のヒストグラム比較基準である）と、及び／又は、その他の種類のプーリングを取るステップを、含む。プーリングは複数回実行することができ、毎回同じブロックサイズ比で実行する必要はない。さらに、このブロックは、正方形又は任意の適切な形状（例えば、ハニカム形状）であってもよく、重複してもしなくてもよい。
【0088】
画像を比較する別の変形例として、この方法は、２つのワープさせたテキスタイル間の編集距離を定義するステップを具えていてもよく、編集は、ピクセルを移動させる、又はその色を変更するステップからなる。各編集はコストと関連付けることができ、２つのテキスタイル間の編集距離は、一方のテキスタイルを他方のテキスタイルに変換するのに最も低いコストとして定義することができる。
【0089】
画像を比較するさらに別の変形例では、分析中の一対の画像を、類似性スコアを与えるように訓練された畳み込みニューラルネットワークに供給することができる。２つの画像が同じテキスタイルの重複であるかどうかを判断するために、類似性スコアを特徴として回収することができる。画像は、ニューラルネットワークに供給する前に（例えば、上述の方法を用いて）ワープさせることができる、又はワープしないままにしてもよい。深度マップ及び／又はテキスタイルマスクは、カラー画像とともにニューラルネットワークに供給することができ、ＳＩＦＴ記述子及びコーナー位置などの他の情報も同様に供給することができる。２つの画像はチャネルごとに重ねて、ニューラルネットワークが２倍の数のチャネルを有する１つの画像として扱うようにしてもよく、又は２つのネットワークが別々に画像を処理して、その出力を上位層で合わせるようにしてもよい（すなわち「シャムネットワーク」構造）。完全接続ネットワーク、ディープビリーフネットワーク、敵対的生成ネットワーク、制限付きボルツマンマシン、ゲート入力を有する畳み込みネットワーク、又はその他の適切なタイプのディープラーニング方法を含む、適切なタイプのディープラーニングネットワークを使用することができる。
【0090】
テキスタイルは８つの順列のいずれかを介して反転させ回転させることができるという事実を説明するために、この方法は、２つのワープした画像を比較するときにこれらの各順列を適用して、最高の重複尤度スコアとなる順列のみを維持するステップを具える。その他の発見的方法を使用して、ランキングや、本明細書に記載されているように導出した類似性スコアのうちの一又はそれ以上に基づいて、好ましい順列を選択することができる。さらに、第２の分類アルゴリズムを、重複がある場合に正しい置換を選択するように特に訓練することができる。いくつかの変形例では、このような第２の分類アルゴリズムは、第１の分類アルゴリズムとは別である。代替的に、いくつかの変形例では、複数の分類アルゴリズムの間でいくつかの情報共有があり得る。例えば、少なくとも２つの分類を、少なくとも２つの出力を有する単一の畳み込みニューラルネットワークによって実行することができる。これらの出力のうちの１つは重複尤度を推定し、これらの出力のもう１つは順列を推定又は選択することができるので、これらのタスクの１つから学習した情報はその他のタスクに知らせるのに役立つ。いくつかの変形例では、この方法は、複数の置換からの類似性スコアを使用して、重複認識を知らせることもできる。例えば、単純に最高スコアの順列から類似度スコアをとる代わりに、この方法は、順列間の最高類似度スコアと二番目に高い類似度スコアとの間の比をとることができ、その知識は一の順列の下でのみよいスコアであり、その他のすべての順列では、類似性スコアが低くなる。
【0091】
いくつかの変形例では、本方法は、一又はそれ以上のこのようなワーピングと類似性スコアの技法を、前述のＳＩＦＴ方法及びグローバル特徴ベースの技法と組み合わせることができる。例えば、テキスタイルコーナーを使用して偽のＳＩＦＴキーポイント一致を排除し、及び／又は、この一致に適合するホモグラフィを導くことができ、あるいは逆に一致したＳＩＦＴキーポイントを使用して、コーナー推測の精度を高める、又はテキスタイルの不均一な伸びのより正確なモデルの精度を高めることができる。別の例として、上述のキーポイントマッチング方法を使用するが、記述子を計算する前にまずワーピング技術を適用して、記述子をテキスタイルの配置及び形状の変動に対してよりロバストにすることができる。追加で又は代替的に、より良好に重複検出を行うために、ＳＩＦＴ及びグローバルな特徴方法からの特徴を、ワーピング及び類似性スコア方法からの特徴と連結するようにしてもよい。
【0092】
単語の袋（Ｂａｇ－ｏｆ－ｗｏｒｄｓ）のアプローチ
別の変形例では、この方法は、局所的な画像特徴を「語彙」として扱う「単語の袋」モデルを実装することができる。例えば、各画像（又は画像内のテキスタイルを描写した画像領域）は、適切な数の小領域（例えば、１０から１００の間、２５から７５の間、又は任意の適切な数）に分割することができる。適切な小領域は、例えば、描写したテキスタイル上の流体パターンにおける色パターン及び／又は幾何学的形状などに基づいて識別することができる。次いで、語彙を含む一又はそれ以上の画像特徴が、各小領域で識別される。適切な画像特徴は、例えば、上述のＳＩＦＴ特徴（あるいは、ＳＵＲＦ特徴、又は適切な抽出アルゴリズムから導出されたその他の適切な特徴）を含む。次いで、各画像又は画像領域は、画像特徴の語彙の出現回数の「単語の袋」ベクトルによって特徴付けられ、表すことができる。したがって、潜在的な重複画像は、それらの「単語の袋」ベクトルを比較することによって（例えば、直接的に、より高速なルックアップ用のハッシュ関数などを介して）識別することができる。
別の変形例では、この方法は、局所的な画像特徴を「語彙」として扱う「単語の袋」モデルを実装することができる。例えば、各画像（又は画像内のテキスタイルを描写した画像領域）は、適切な数の小領域（例えば、１０から１００の間、２５から７５の間、又は任意の適切な数）に分割することができる。適切な小領域は、例えば、描写したテキスタイル上の流体パターンにおける色パターン及び／又は幾何学的形状などに基づいて識別することができる。次いで、語彙を含む一又はそれ以上の画像特徴が、各小領域で識別される。適切な画像特徴は、例えば、上述のＳＩＦＴ特徴（あるいは、ＳＵＲＦ特徴、又は適切な抽出アルゴリズムから導出されたその他の適切な特徴）を含む。次いで、各画像又は画像領域は、画像特徴の語彙の出現回数の「単語の袋」ベクトルによって特徴付けられ、表すことができる。したがって、潜在的な重複画像は、それらの「単語の袋」ベクトルを比較することによって（例えば、直接的に、より高速なルックアップ用のハッシュ関数などを介して）識別することができる。
【0093】
特徴ヒストグラムアプローチ
別の変形例では、この方法はヒストグラムベースのモデルを実装することができる。各画像（又はテキスタイルを描写した画像領域）はヒストグラムによって表すことができ、各ヒストグラムビンは画像の様々な尤度の態様を表す。たとえば、一変形例では、特徴抽出アルゴリズム（たとえば、ＳＵＲＦ、ＳＩＦＴなど）を使用して、トレーニング画像からＫ－平均クラスタを学習することができ、各ヒストグラムビンは、それぞれのＫ中心を有するＫクラスタである。したがって、各画像又は画像領域は、ビンのＫ中心に対する、同様に抽出された特徴（たとえば、ＳＵＲＦ、ＳＩＦＴなど）の近さに基づくＫビンを有するヒストグラムとして表すことができる。次いで、ヒストグラム間の絶対差を使用して、描写された外科用テキスタイルがどれほど類似しているか又は類似していないかを測定し、したがって画像の所定の対（又はより大きい群）が同じテキスタイルを描写しているかどうかの尤度の測定を行うことができる。別の例では、各ヒストグラムビンは、各画像のテキスタイルを描写した画像領域内のピクセルの色成分値に対応し、各画像又は画像領域は、描写された外科用テキスタイルの色成分値分布を反映するヒストグラムによって表すことができる。
別の変形例では、この方法はヒストグラムベースのモデルを実装することができる。各画像（又はテキスタイルを描写した画像領域）はヒストグラムによって表すことができ、各ヒストグラムビンは画像の様々な尤度の態様を表す。たとえば、一変形例では、特徴抽出アルゴリズム（たとえば、ＳＵＲＦ、ＳＩＦＴなど）を使用して、トレーニング画像からＫ－平均クラスタを学習することができ、各ヒストグラムビンは、それぞれのＫ中心を有するＫクラスタである。したがって、各画像又は画像領域は、ビンのＫ中心に対する、同様に抽出された特徴（たとえば、ＳＵＲＦ、ＳＩＦＴなど）の近さに基づくＫビンを有するヒストグラムとして表すことができる。次いで、ヒストグラム間の絶対差を使用して、描写された外科用テキスタイルがどれほど類似しているか又は類似していないかを測定し、したがって画像の所定の対（又はより大きい群）が同じテキスタイルを描写しているかどうかの尤度の測定を行うことができる。別の例では、各ヒストグラムビンは、各画像のテキスタイルを描写した画像領域内のピクセルの色成分値に対応し、各画像又は画像領域は、描写された外科用テキスタイルの色成分値分布を反映するヒストグラムによって表すことができる。
【0094】
テキスタイルバッグ撮像アプローチ
いくつかの変形例では、この方法は、外科用テキスタイルカウンターバッグ又はその他の区画化されたホルダー（例えば箱、ビンなど）に配置された少なくとも１つの外科用テキスタイルを描写する画像を受け取り、分析するステップを具えていてもよい。この外科用テキスタイルカウンターバッグは、ポケット又は他の区画を具えており、各々が設計された数（例えば、１つ）の計数用の外科用テキスタイルを保持するように構成されている。このポケットは透明な窓を具えており、この窓を通して既知の方法で巻かれた、詰め込まれた、あるいは圧縮された（例えば、所定の技術を用いて包装された）外科用テキスタイルを見ることができる。いくつかの変形例では、この方法は、外科用テキスタイルカウンターバッグの少なくとも１つの画像（例えば、複数のポケットをまとめて描写した画像、又は各々がそれぞれのポケットを描写した複数の画像）を受け取るステップを具えていてもよい。このような変形例では、この方法は、コンピュータビジョン技術（例えば、塊検出アルゴリズム）を使用して、外科的テキスタイルが各ポケットに存在するかどうかを決定するステップと、存在する外科的テキスタイルの数に基づいてテキスタイル計数を生成するステップを具えていてもよい。例えば、この方法は、ポケット又は外科的テキスタイルを描写する画素又は画素群から、色に基づく特徴（例えば、ＲＧＢ、ＣＭＹＫなどの色成分値）及び／又はテクスチャに基づく特徴（例えば、コントラスト）を抽出するステップを具えていてもよい。抽出した色ベース及び／又はテクスチャベースの特徴は、数学的にコンパクト化された（例えば、巻かれた、詰め込まれた、など）外科用テキスタイルの既知の特徴と比較して、テキスタイルがポケットに存在するかどうかを判断することができる。この方法は、外科用テキスタイルがテキスタイルカウンタバッグのポケット中に存在することを検出するとテキスタイル計数用のインデックスカウンタを増分するステップをさらに具える。さらに、抽出された色ベースの及び／又はテクスチャベースの特徴を数学的に圧縮されたブランクの既知の特徴、又は完全に飽和したテキスタイルと比較することによって、（未使用の又は透明の流体で飽和した）ブランクのテキスタイルなどの、異なるカウントのテキスタイルを生成することができる。
いくつかの変形例では、この方法は、外科用テキスタイルカウンターバッグ又はその他の区画化されたホルダー（例えば箱、ビンなど）に配置された少なくとも１つの外科用テキスタイルを描写する画像を受け取り、分析するステップを具えていてもよい。この外科用テキスタイルカウンターバッグは、ポケット又は他の区画を具えており、各々が設計された数（例えば、１つ）の計数用の外科用テキスタイルを保持するように構成されている。このポケットは透明な窓を具えており、この窓を通して既知の方法で巻かれた、詰め込まれた、あるいは圧縮された（例えば、所定の技術を用いて包装された）外科用テキスタイルを見ることができる。いくつかの変形例では、この方法は、外科用テキスタイルカウンターバッグの少なくとも１つの画像（例えば、複数のポケットをまとめて描写した画像、又は各々がそれぞれのポケットを描写した複数の画像）を受け取るステップを具えていてもよい。このような変形例では、この方法は、コンピュータビジョン技術（例えば、塊検出アルゴリズム）を使用して、外科的テキスタイルが各ポケットに存在するかどうかを決定するステップと、存在する外科的テキスタイルの数に基づいてテキスタイル計数を生成するステップを具えていてもよい。例えば、この方法は、ポケット又は外科的テキスタイルを描写する画素又は画素群から、色に基づく特徴（例えば、ＲＧＢ、ＣＭＹＫなどの色成分値）及び／又はテクスチャに基づく特徴（例えば、コントラスト）を抽出するステップを具えていてもよい。抽出した色ベース及び／又はテクスチャベースの特徴は、数学的にコンパクト化された（例えば、巻かれた、詰め込まれた、など）外科用テキスタイルの既知の特徴と比較して、テキスタイルがポケットに存在するかどうかを判断することができる。この方法は、外科用テキスタイルがテキスタイルカウンタバッグのポケット中に存在することを検出するとテキスタイル計数用のインデックスカウンタを増分するステップをさらに具える。さらに、抽出された色ベースの及び／又はテクスチャベースの特徴を数学的に圧縮されたブランクの既知の特徴、又は完全に飽和したテキスタイルと比較することによって、（未使用の又は透明の流体で飽和した）ブランクのテキスタイルなどの、異なるカウントのテキスタイルを生成することができる。
【0095】
さらに、いくつかの変形例では、この方法は、３Ｄ撮像システムで外科用テキスタイルカウンタバッグを３次元（３Ｄ）スキャンを行うステップを具えていてもよい。例えば、この方法は、赤外線（ＩＲ）深度検出カメラを使用して、外科用カウンタバッグの３次元スキャンを実行し、ポケットの及び/又はポケットの中に存在する一又はそれ以上のテキスタイルの輪郭を決定するステップを具える。この方法は、分類アルゴリズム（例えば、上述の適切な分類アルゴリズム）を適用して、ポケットを特定数のテキスタイル（例えば、０、１、２、又はそれ以上）を含むものと分類するステップを具える。分類アルゴリズムは、例えば、その分類を、０、１、２、又はそれ以上の外科用テキスタイルを具えることが知られているポケットの輪郭特徴に基づいてもよい。この方法は、各ポケット内のテキスタイルの数の分類に基づいて、テキスタイルの数を修正する（又はインデックスカウンタを修正しない）ステップ、及び／又は、テキスタイルの数が不正確になる可能性があることをユーザに警告するステップを具えていてもよい。例えば、外科用テキスタイルカウンターバッグの３Ｄスキャンに基づいて、この方法は、ポケット内に一つ以上のテキスタイルが存在するかどうかを判定し、その後、テキスタイルがポケットに入っていることをユーザに、テキスタイルの計数が不正確かもしれないことを通知して、ユーザに手動でテキスタイルを再度計数するように促がす。
【0096】
タグ付きテキスタイルのコンピュータビジョン変換
いくつかの変形例では、少なくともいくつか（必ずしも全部ではない）の外科用テキスタイルは、固有の識別子を用いて予めラベル付けするか又は予めタグ付けするようにしてもよい。例えば、少なくともいくつかの外科用テキスタイルは、走査可能な光学バーコード、ＱＲコード、又は他の機械読み取り可能な識別子でタグ付けすることができる。しかし、このようなタグ付き外科用テキスタイルが血液などの黒ずんだ流体で飽和していると、その流体が機械可読識別子を視覚的に不明瞭にして（例えば、スキャナがバーコード内の白黒特徴を区別するのを困難にするなど）、走査によって正確なテキスタイルの数を決定する能力を妨げる。この問題に対処するために、外科用テキスタイルを追跡する方法の一変形例は、外科用テキスタイル上の機械可読識別子の画像に一又はそれ以上のコンピュータビジョン変換を適用するステップを具える。例えば、この方法は、色ベースの特徴（例えば、ＲＧＢ、ＣＭＹＫなどの色成分値）及び／又はテクスチャベースの特徴（例えば、コントラスト）に基づいて、テキスタイルを描写した画像領域を変換するステップを具えていてもよく、これは、流体で飽和した機械可読識別子内のデータをより容易に視覚化することができる。次いで、描写された各外科用テキスタイル上の機械可読識別子を変換された画像領域から読み取って、それによって、暗色流体で識別子が不明瞭になる可能性があっても、外科用テキスタイルの追跡（及び／又は重複撮像の検出など）が容易になる。
いくつかの変形例では、少なくともいくつか（必ずしも全部ではない）の外科用テキスタイルは、固有の識別子を用いて予めラベル付けするか又は予めタグ付けするようにしてもよい。例えば、少なくともいくつかの外科用テキスタイルは、走査可能な光学バーコード、ＱＲコード、又は他の機械読み取り可能な識別子でタグ付けすることができる。しかし、このようなタグ付き外科用テキスタイルが血液などの黒ずんだ流体で飽和していると、その流体が機械可読識別子を視覚的に不明瞭にして（例えば、スキャナがバーコード内の白黒特徴を区別するのを困難にするなど）、走査によって正確なテキスタイルの数を決定する能力を妨げる。この問題に対処するために、外科用テキスタイルを追跡する方法の一変形例は、外科用テキスタイル上の機械可読識別子の画像に一又はそれ以上のコンピュータビジョン変換を適用するステップを具える。例えば、この方法は、色ベースの特徴（例えば、ＲＧＢ、ＣＭＹＫなどの色成分値）及び／又はテクスチャベースの特徴（例えば、コントラスト）に基づいて、テキスタイルを描写した画像領域を変換するステップを具えていてもよく、これは、流体で飽和した機械可読識別子内のデータをより容易に視覚化することができる。次いで、描写された各外科用テキスタイル上の機械可読識別子を変換された画像領域から読み取って、それによって、暗色流体で識別子が不明瞭になる可能性があっても、外科用テキスタイルの追跡（及び／又は重複撮像の検出など）が容易になる。
【0097】
別の例として、少なくともいくつかの外科用テキスタイルを、ＩＲ及び／又はＵＶ検出可能な流体又は他の識別子でタグ付けしてもよい。ＩＲ又はＵＶ検出可能流体は、例えば、生体適合性かつ不活性流体であり得る。ＩＲ及び／又はＵＶ検出可能な流体は、各テキスタイルに特有の独特の流体パターンで外科用テキスタイルに塗布することができる。この例では、この方法は、画像に描写されている機械可読識別子からＩＲベース及び／又はＵＶベースの特徴を抽出するステップを具えており、これによって流体飽和機械可読識別子内のデータを視覚化することが容易になる。描写された各外科用テキスタイルの機械可読識別子は、抽出されたＩＲベース及び／又はＵＶベースの特徴に基づいて読み取られ、これによって暗色流体で識別子が不明瞭になる可能性があっても、外科用テキスタイルの追跡（及び／又は重複撮像の検出など）が容易になる。尤度が不明瞭であるにもかかわらず外科用テキスタイルの追跡（及び／又は重複イメージングの検出など）が容易になる。
【0098】
システム
図１を参照すると、外科用テキスタイルを追跡するシステム１００は、少なくとも１つのプロセッサ１５２と、命令を記憶している及びメモリ１５４を具える。プロセッサ１５２は、記憶している命令を実行して、第１のテキスタイルを描写した画像領域を含む第１の画像を受け取り、第２のテキスタイルを描写した画像領域を含む第２の画像を受け取り、第１及び第２の画像が同じテキスタイルの少なくとも一部を描写している尤度を測定するように構成されている。この変形例では、尤度の測定は、少なくとも部分的に第１の画像領域の第１の態様と第２の画像領域の第２の態様に基づいている。別の変形例では、このプロセッサは、第１及び第２の画像領域が対応するテキスタイル描写画素（又は画素群）を有しするように第１及び第２の画像領域の少なくとも一方をするように構成されており、尤度の測定は少なくとも部分的に、対応する対応するテキスタイルを描写している画素（又は画素群）間の類似性に基づいている。このシステムはインデックスカウンタをさらに具えていてもよく、尤度の測定が所定の閾値を下回る場合にインデックスカウンタを増分する。例えば、第１及び第２の画像領域が同じテキスタイルの少なくとも一部を描写している尤度を測定する際に、プロセッサ１５２は、第１の画像領域及び第２の画像領域の第１の態様の少なくとも１つに基づいて、少なくとも部分的に少なくとも１つの分類特徴を定義するように構成されており、尤度の測定は少なくとも部分的にこの分類特徴に基づいている。一般的に、いくつかの変形例では、システム１００は、本明細書でさらに詳細に説明されている方法の一又はそれ以上の変形例を実質的に実行するように構成することができる。
図１を参照すると、外科用テキスタイルを追跡するシステム１００は、少なくとも１つのプロセッサ１５２と、命令を記憶している及びメモリ１５４を具える。プロセッサ１５２は、記憶している命令を実行して、第１のテキスタイルを描写した画像領域を含む第１の画像を受け取り、第２のテキスタイルを描写した画像領域を含む第２の画像を受け取り、第１及び第２の画像が同じテキスタイルの少なくとも一部を描写している尤度を測定するように構成されている。この変形例では、尤度の測定は、少なくとも部分的に第１の画像領域の第１の態様と第２の画像領域の第２の態様に基づいている。別の変形例では、このプロセッサは、第１及び第２の画像領域が対応するテキスタイル描写画素（又は画素群）を有しするように第１及び第２の画像領域の少なくとも一方をするように構成されており、尤度の測定は少なくとも部分的に、対応する対応するテキスタイルを描写している画素（又は画素群）間の類似性に基づいている。このシステムはインデックスカウンタをさらに具えていてもよく、尤度の測定が所定の閾値を下回る場合にインデックスカウンタを増分する。例えば、第１及び第２の画像領域が同じテキスタイルの少なくとも一部を描写している尤度を測定する際に、プロセッサ１５２は、第１の画像領域及び第２の画像領域の第１の態様の少なくとも１つに基づいて、少なくとも部分的に少なくとも１つの分類特徴を定義するように構成されており、尤度の測定は少なくとも部分的にこの分類特徴に基づいている。一般的に、いくつかの変形例では、システム１００は、本明細書でさらに詳細に説明されている方法の一又はそれ以上の変形例を実質的に実行するように構成することができる。
【0099】
さらに、図１に示すように、システム１００は、外科用テキスタイルの一又はそれ以上のカラー画像を取得するカメラ１５６、及び／又は、１又はそれ以上の画像（及び／又は、外科用テキスタイル内の流体を定量化した態様、２又はそれ以上の画像が同じテキスタイルを描写する尤度の測定、重複撮像が生じたかどうかを確認するようにユーザに促す、など）を表示するディスプレイ１５８を具える。いくつかの変形例では、システム１００の一部又は全部が一体型装置にあり、外科的手順を行う間に患者の近く（例えば手術室）に配置して、外科用テキスタイルに含まれる患者の体液を評価する、及び／又は、テキスタイルの計数を容易にする。例えば、システム１００は、ハンドヘルド又はモバイル電子計算装置１５０（例えば、ネイティブ流体分析アプリケーションプログラムを実行する）を少なくとも部分的に具えている。このようなハンドヘルド又はモバイルデバイスは、例えば、タブレットコンピュータ、ラップトップコンピュータ、モバイルスマートフォンなどであり、カメラ、プロセッサ、及びディスプレイを具えている。しかしながら、その他の変形例では、システム構成要素のうちのいくつか又はすべては、相互接続された分散装置として分離されていてもよい。例えば、カメラ及び／又はディスプレイは、外科的又は医学的処置を行う間、実質的に患者の近くに（例えば、手術室に）配置されて、プロセッサは離れた場所（例えば、手術室内でカメラ及び／又はディスプレイから離れて、又は手術室の外）に配置して、有線又は無線接続又はその他のネットワークを介してカメラ及びディスプレイと通信するようにしてもよい。
【0100】
一般に、一又はそれ以上のプロセッサ１５２は、メモリ１５４に格納されている命令を実行するように構成されており、命令を実行するときにプロセッサ１５２は本明細書で説明した方法の態様を実行する。この命令は、アプリケーション、アプレット、ホスト、サーバ、ネットワーク、ウェブサイト、通信サービス、通信インターフェース、ユーザコンピュータ又はモバイルデバイスのハードウェア／ファームウェア／ソフトウェア要素、リストバンド、スマートフォン、又はこれらの適切な組み合わせと統合した、コンピュータで実行可能な構成要素によって実行することができる。命令は、メモリ、又はＲＡＭ、ＲＯＭ、フラッシュメモリ、ＥＥＰＲＯＭ、光学デバイス（例えば、ＣＤ又はＤＶＤ）、ハードドライブ、フロッピードライブ、又は適切なデバイスなど、その他のコンピュータ可読媒体に格納することができる。
【0101】
一又はそれ以上のプロセッサ１５２は、実質的に本明細書に記載した方法を実行するように構成されている。例えば、一又はそれ以上のプロセッサは、第１のテキスタイルを描写した画像領域を含む第１の画像を受け取り、第２のテキスタイルを描写した画像領域を含む第２の画像を受け取り、第１及び第２の画像領域が同じテキスタイルの少なくとも一部を描写している尤度を測定するように構成されており、この尤度の測定が第１の画像領域の第１の態様及び第２の画像領域の第２の態様に少なくとも部分的に基づいており、尤度の測定値が重複を表す所定の閾値に合致している場合に、インデックスカウンタを増分する。いくつかの変形例では、プロセッサ１５２は、第１の画像領域の第１の態様と第２の画像領域の第２の態様の少なくとも一方に少なくとも部分的に基づいて、少なくとも１つの分類特徴を定義するように構成されており、さらに、少なくとも部分的に分類特徴に基づいて、第１及び第２の画像領域が同じテキスタイルの少なくとも一部を描写する尤度を測定するように構成することができる。
【0102】
上述したように、一又はそれ以上のプロセッサ１５２は、ハンドヘルド又はモバイル装置１５０に統合することができる。その他の変形例では、一又はそれ以上のプロセッサ１５２は、クラウドベースのコンピュータシステム、メインフレーム・コンピュータ・システム、グリッドコンピュータシステム、又はその他の適切なコンピュータシステムなどの、コンピュータ装置又はシステムに組み込むことができる。追加で又は代替的に、一又はそれ以上のプロセッサは、遠隔サーバに組み込んで、外科用テキスタイルの画像を受信し、上述したように画像を再構成及び／又は分析し、外科用テキスタイル、外科用テキスタイルの計数、その他における流体の一又はそれ以上の態様を定量化して、このような情報をユーザに表示するディスプレイを有する別のコンピュータデバイスへ送信することができる。
【0103】
このシステムは、外科手順中に背景に対する外科用テキスタイルの、一又はそれ以上の静止画像として、又はビデオ送りの一部としての、一又はそれ以上の画像を生成するよう機能するカメラ１５６をさらに具えている。カメラ１５６は、少なくとも１つの光学画像センサ（例えば、ＣＣＤ、ＣＭＯＳなど）、及び／又はその他の適切な光学画像センサを具えており、ピクセル用の赤、緑、及び青（ＲＧＢ）色成分を有するカラー光学デジタル画像、及び／又はそのほかの適切な高額部品で、カラー光学デジタル画像を取り込む。例えば、カメラ１５６は、適切な対応する光学系及び／又はフィルタ（例えば、Ｂａｙｅｒパターンフィルタなどのカラーフィルタアレイ）と対になった単一の画像センサを具えていてもよい。別の例として、カメラ１５６は、少なくとも１つのプリズム又は回折面などの対応する適切な光学系と対をなす複数の画像センサを具えて、白色光を各画像センサで検出される別々のカラーチャネル（例えば、ＲＧＢ）に分割するようにしてもよい。しかしながら、カメラ１５６は、適切な画像センサ及びカメラ１５６が画像を生成できるようにするその他の光学部品を具えていてもよい。
【0104】
カメラは、分析用のプロセッサに、及び／又は、画像を記憶するデータベースに画像を送信するように構成することができる。前述したように、カメラは、システム１００の一又はそれ以上のその他の構成要素と同じ装置に統合してもよく、あるいはカメラは、画像データをその他の構成要素に送る別個の構成要素であってもよい。
【0105】
このシステムは、さらに、限定するものではないが、患者情報、手術用テキスタイルの画像、外科用テキスタイル中の流体の態様を特徴付ける定量化されたメトリクス、外科用テキスタイルの重複撮像の尤度の測定、テキスタイル（又はその他のアイテム）計数の指標カウンタ値、外科用テキスタイルの重複撮像の尤度を示す警告又はユーザへのプロンプト、その他を含む、システム１００によって生成された情報を、ユーザ（例えば、医師、看護師）に表示する又は伝達するように機能するディスプレイ１５８を具える。ディスプレイ１５８は、ハンドヘルドデバイス又はモバイルデバイス上のスクリーン、コンピュータモニタ、テレビスクリーン、プロジェクタスクリーン、又は他の適切なディスプレイを具える。
【0106】
いくつかの変形例では、ディスプレイ１５８は、ユーザが表示された情報と交流できるようにするユーザインターフェースを表示するように構成できる。例えば、このユーザインタフェースは、ユーザが画像を操作できるようにする（例えば、ズーム、トリミング、回転など）、又は外科用テキスタイルの少なくとも一部を描写した画像領域を手動で定義できるようにする。別の例として、ユーザインターフェースは、ユーザが表示オプション（例えばフォント、色、言語など）及び／又はコンテンツ（例えば患者情報、定量化された測定基準又は他の流体関連情報、警告など）を選択できるようにする。さらに別の例として、ユーザインターフェースは、重複する外科用テキスタイルを描写に起因する削除用の画像の選択、又はディスプレイ上での画像の回転、反転、又はその他の操作をユーザができるようにする。これらの変形例では、ディスプレイはユーザ対話型であり、皮膚、スタイレット、又は他のユーザの接触に反応する抵抗性又は容量性タッチスクリーンであってもよい。その他の変形例では、ディスプレイ１５８は、マウス、キーボード、又はその他の入力装置によって制御されるカーソルを介したユーザ対話型であり得る。
【0107】
追加で又は代替的に、このシステムは、定量化されたメトリクス又はその他の流体関連情報、外科用テキスタイル（又は他の品目）のインデックスカウンタ、及び／又はユーザへの警告又はプロンプトをユーザに伝達するスピーカ又はその他の適切なオーディオシステムを具えていてもよい。ディスプレイ及び／又はオーディオシステムは、例えば、閾値を満たす一又はそれ以上の定量化した推定値（例えば、複数の外科用テキスタイルにわたって集まった特定の流体又は流体成分の推定量）が閾値を超える場合に警告を提供する。これは、輸血を提供するなどに応じて特定の行動を促す。別の例として、ディスプレイ及び／又はオーディオシステムは、２又はそれ以上の画像が同じ外科的テキスタイルを描写する尤度を測定すると、警告又はプロンプトをユーザに提供するようにしてもよく、これは重複撮像が行われたかどうか、計数した及び／又は計数していない外科用テキスタイルの再評価位置など、を確認するようにユーザに促すのに有用である。
【0108】
図１に示すように、ディスプレイ１５８は、システム１００の一又はそれ以上の構成要素と同じ装置に統合することができる。追加で又は代替的に、ディスプレイ１５８は、独立型の個別モニタ、スクリーン、又はその他の適切なディスプレイを具えていてもよい。
【0109】
実施例
光学画像におけるパターン認識を使用して外科用テキスタイルを追跡する潜在的に適切な分類特徴と分類アルゴリズムを学習するためのトレーニングデータセットが開発された。このトレーニングデータセットは、同じ外科用スポンジを描写しているが様々な変形（例えば、回転、面外方向の変化、スポンジ反転など）を伴う６００枚の画像、及び異なる外科用スポンジを描写した６００枚の画像を具えている。ＳＩＦＴ特徴記述子を用いて、トレーニングデータセット画像中の描写された外科用テキスタイル内のキーポイントを識別し、Ｋ近傍法アルゴリズムを用いて、描写されたスポンジ対間のキーポイント間の対応を識別した。抽出された特徴と識別した対応するキーポイントを使用して、分類特徴セットを生成した。この分類特徴は、図５に列挙された分類特徴を具えており、ｆｌｕｉｄＥｓｔｉｍａｔｅの推定流体成分はヘモグロビン質量である。分類特徴は、Ｋ近傍法分類器（ＫＮＮ）、サポートベクトルマシン分類器（ＳＶＣ）、ランダムフォレスト分類器（ＲＦ）、及び追加のツリー分類器（ＥＴ）機械学習技術の、トレーニング用の４つの候補分類アルゴリズムに送られる。
光学画像におけるパターン認識を使用して外科用テキスタイルを追跡する潜在的に適切な分類特徴と分類アルゴリズムを学習するためのトレーニングデータセットが開発された。このトレーニングデータセットは、同じ外科用スポンジを描写しているが様々な変形（例えば、回転、面外方向の変化、スポンジ反転など）を伴う６００枚の画像、及び異なる外科用スポンジを描写した６００枚の画像を具えている。ＳＩＦＴ特徴記述子を用いて、トレーニングデータセット画像中の描写された外科用テキスタイル内のキーポイントを識別し、Ｋ近傍法アルゴリズムを用いて、描写されたスポンジ対間のキーポイント間の対応を識別した。抽出された特徴と識別した対応するキーポイントを使用して、分類特徴セットを生成した。この分類特徴は、図５に列挙された分類特徴を具えており、ｆｌｕｉｄＥｓｔｉｍａｔｅの推定流体成分はヘモグロビン質量である。分類特徴は、Ｋ近傍法分類器（ＫＮＮ）、サポートベクトルマシン分類器（ＳＶＣ）、ランダムフォレスト分類器（ＲＦ）、及び追加のツリー分類器（ＥＴ）機械学習技術の、トレーニング用の４つの候補分類アルゴリズムに送られる。
【0110】
訓練されたアルゴリズムは、同じ外科用スポンジを描写しているが様々な変形を伴う３００枚の画像と、さまざまな手術用スポンジを描写した３００枚の画像を具える試験データセットから引き出した４つのサブセットのデータを使用して試験を行った。セット０、セット１、セット２、及びセット３に様々に適用した訓練されたアルゴリズムの結果が図１０に示されている。セット０に関して、ランダムフォレスト分類器（ＲＦ）は、一般に、約８０乃至８２％の真陽性率（重複スポンジ画像を正しく検出する率）と、役１７乃至１９％の偽陽性率（誤って重複スポンジ画像を検出するための率）となり、約０．８１３乃至０．８１４のＦスコア（分類アルゴリズムの測定精度）を示した。訓練されたＫ近傍法分類器（ＫＮＮ）は、約８４％の真陽性率及び約２５％の偽陽性率となり、約０．８０１のＦスコアを示した。データセットのセット１、セット２、及びセット３を試験する様々な候補分類アルゴリズムについてのその他の結果を図１０に要約する。重複画像対を検出する際の全体的な最良の性能は、セット０についてｎ＿ｅｓｔ＝ ２５のランダムフォレスト（ＲＦ）分類アルゴリズムによるものであった。
【0111】
説明の目的のために、上述の説明は、本発明の完全な理解を提供するために特定の命名法を使用した。しかしながら、本発明を実施するために特定の詳細が必要とされないことは当業者に明らかであろう。したがって、本発明の特定の実施形態の前述の説明は、例示及び説明の目的で提示されている。それらは網羅的であること、又は本発明を開示された正確な形態に限定することを意図しない。明らかに、上記の教示に鑑みて多くの修正形態及び変形例が可能である。実施形態は、本発明の原理及びその実際的な用途を最もよく説明するために選択され説明されたものであり、それによって当業者が考えられる特定の用途に適した様々な修正を伴って本発明及び様々な実施形態を最もよく利用することができる。特許請求の範囲及びそれらの均等物が本発明の範囲を規定することが意図されている。
なお、本願の出願当初の開示事項を維持するために、本願の出願当初の請求項１～４１の記載内容を以下に追加する。
（請求項１）
外科用テキスタイルを追跡するコンピュータに実装した方法において：
第１のテキスタイルを描写した画像領域を含む第１の画像を受け取るステップと；
第２のテキスタイルを描写した画像領域を含む第２の画像を受け取るステップと；
前記第１の画像領域の第１の態様と、前記第２の画像領域の第２の態様の少なくとも一方に少なくとも部分的に基づいて、少なくとも1つの分類特徴を定義するステップと；
前記第１及び第２の画像領域が同じテキスタイルの少なくとも一部を描写している尤度を測定するステップであって、当該尤度の測定が前記分類特徴に少なくとも部分的に基づくステップと；
を具えることを特徴とする方法。
（請求項２）
前記第１の態様が、前記第１の画像領域を特徴づける複数の第１のキーポイントを具え、前記第２の態様が、前記第２の画像領域を特徴づける複数の第２のキーポイントを具え、前記第１及び第２のキーポイントの各々が、それぞれの特徴記述子に関連していることを特徴とする請求項１に記載の方法。
（請求項３）
前記第１及び第２のキーポイントの少なくとも一方を、特徴抽出技術に基づいて生成するステップをさらに具えることを特徴とする、請求項２に記載の方法。
（請求項４）
前記第１のキーポイントの少なくとも１つと前記第２のキーポイントの少なくとも１つとの間の一又はそれ以上の一致を予測するステップをさらに具えることを特徴とする、請求項２に記載の方法。
（請求項５）
前記分類特徴が、前記一致した第１及び第２のキーポイントについての前記特徴記述子間の数値的差異に少なくとも部分的に基づいていることを特徴とする、請求項４に記載の方法。
（請求項６）
前記分類特徴が、前記第１及び第２のキーポイントの複数の予測した一致に少なくとも部分的に基づいていることを特徴とする、請求項４に記載の方法。
（請求項７）
前記少なくとも１つの分類特徴を定義するステップが、前記一致した第１及び第２のキーポイントに関するホモグラフィ変換をフィッティングするステップを具え、前記分類特徴が当該ホモグラフィ変換の適合度に少なくとも部分的に基づいていることを特徴とする、請求項４に記載の方法。
（請求項８）
前記少なくとも１つの分類特徴を定義するステップが、前記一致した第１及び第２のキーポイント間の全体の回転角度を投票技法に基づいて予測するステップを具え、前記分類特徴が、当該予測した全体の回転角度についてのコンセンサス投票比に少なくとも部分的に基づいていることを特徴とする、請求項４に記載の方法。
（請求項９）
前記第１及び第２の態様のうちの少なくとも１つが流体パターンを特徴付けることを特徴とする、請求項１に記載の方法。
（請求項１０）
前記分類特徴が、前記第１の画像領域に描写された流体の面積と、前記第２の画像領域に描写された流体の面積のうちの少なくとも一方に、少なくとも部分的に基づいていることを特徴とする、請求項９に記載の方法。
（請求項１１）
前記分類特徴が、前記第１の画像領域に描写された流体成分の定量化と、前記第２の画像領域に描写された流体成分の定量化との少なくとも１つに、少なくとも部分的に基づいていることを特徴とする、請求項９に記載の方法。
（請求項１２）
前記第１及び第２の画像領域が同じテキスタイルの少なくとも一部を描写している尤度を測定するステップが、分類アルゴリズムを適用するステップを具えることを特徴とする、請求項１に記載の方法。
（請求項１３）
前記尤度の測定が所定の閾値を満たさない場合、インデックスカウンタを増分するステップをさらに具えることを特徴とする、請求項１に記載の方法。
（請求項１４）
前記インデックスカウンタをディスプレイに表示するステップをさらに具えることを特徴とする、請求項１３に記載の方法。
（請求項１５）
外科用テキスタイルを追跡するシステムにおいて：
第１のテキスタイルを描写した画像領域を含む第１の画像を受け取り；
第２のテキスタイルを描写した画像領域を含む第２の画像を受け取り；
前記第１の画像領域の第１の態様と、前記第２の画像領域の第２の態様の少なくとも一方に、少なくとも部分的に基づいて少なくとも１つの分類機能を定義し；
前記第１及び第２の画像領域が同じテキスタイルの少なくとも一部を描写している尤度を測定する；
ように構成されたプロセッサを具えることを特徴とするシステム。
（請求項１６）
前記第１の態様が、前記第１の画像領域を特徴づける複数の第１のキーポイントを具え、前記第２の態様が、前記第２の画像領域を特徴づける複数の第２のキーポイントを具え、前記第１及び第２のキーポイントの各々が、それぞれの機能記述子に関連していることを特徴とする、請求項１５に記載のシステム。
（請求項１７）
前記プロセッサが、特徴抽出技法に基づいて前記第１及び第２のキーポイントの少なくとも１つを生成するように構成されていることを特徴とする、請求項１６に記載のシステム。
（請求項１８）
前記第１及び第２の態様のうちの少なくとも１つが流体パターンを特徴付けることを特徴とする、請求項１５に記載のシステム。
（請求項１９）
前記第１及び第２の画像のうちの少なくとも一方を取り込むように構成された光学センサをさらに具えることを特徴とする、請求項１５に記載のシステム。
（請求項２０）
前記プロセッサが、前記尤度の測定値が所定の閾値を満たさない場合にインデックスカウンタを増分するように構成されていることを特徴とする、請求項１５に記載のシステム。
（請求項２１）
前記インデックスカウンタを表示するように構成されたディスプレイをさらに具えることを特徴とする、請求項２０に記載のシステム。
（請求項２２）
外科用テキスタイルを追跡するコンピュータに実装した方法において：
第１のテキスタイルを描写した画像領域を含む第１の画像を受信するステップと；
第２のテキスタイルを描写した画像領域を含む第２の画像を受信するステップと；
前記第１及び第２の画像領域が同じテキスタイルの少なくとも一部を描写している尤度を測定するステップであって、当該尤度の測定が前記第１の画像領域の第１の態様と、前記第２の画像領域の第２の態様に少なくとも部分的に基づくステップと；
前記尤度の測定値が所定の閾値を満たさない場合に、インデックスカウンタを増分するステップと；
を具えることを特徴とする方法。
（請求項２３）
前記第１の態様が、前記第１の画像領域を特徴づける複数の第１のキーポイントを具え、前記第２の態様が、前記第２の画像領域を特徴づける複数の第２のキーポイントを具え、当該第１及び第２のキーポイントの各々が、それぞれの機能記述子に関連していることを特徴とする、請求項２２に記載の方法。
（請求項２４）
前記第１及び第２の画像を、前記尤度の測定値が所定の閾値を満たしている場合に、同じテキスタイルの少なくとも一部を描写している可能性があると分類するステップをさらに具えることを特徴とする、請求項２２に記載の方法。
（請求項２５）
前記第１及び第２の画像領域が同じテキスタイルの少なくとも一部を描写している尤度の測定値をユーザに通信するステップをさらに具えることを特徴とする、請求項２４に記載の方法。
（請求項２６）
前記第１及び第２の画像領域が同じテキスタイルの少なくとも一部を描写していることを確認することをユーザに促すステップをさらに具えることを特徴とする、請求項２５に記載の方法。
（請求項２７）
前記第１の画像領域と前記第２の画像領域とが同じテキスタイルの少なくとも一部を描写していることを前記ユーザが確認した場合に、前記インデックスカウンタをデクリメントするステップをさらに具えることを特徴とする、請求項２６に記載の方法。
（請求項２８）
前記第１の画像領域と前記第２の画像領域が同じテキスタイルの少なくとも一部を描写していることを前記ユーザが確認した場合に、前記第１及び第２の画像の少なくとも一方をディスプレイから削除するステップをさらに具えることを特徴とする、請求項２６に記載の方法。
（請求項２９）
前記インデックスカウンタをディスプレイに表示するステップをさらに具えることを特徴とする、請求項２２に記載の方法。
（請求項３０）
外科用テキスタイルを追跡するシステムにおいて：
第１のテキスタイルを描写した画像領域を含む第１の画像を受け取り；
第２のテキスタイルを描写した画像領域を含む第２の画像を受け取り；
前記第１及び第２の画像領域が同じテキスタイルの少なくとも一部を描写している尤度を測定して、前記尤度の測定が第１の画像領域の第１の態様と前記第２の画像領域の第２の態様に少なくとも部分的に基づいており；
前記尤度の測定値が所定の閾値を満たさない場合、インデックスカウンタを増分する；
ように構成されたプロセッサを具えることを特徴とするシステム。
（請求項３１）
前記第１の態様が、前記第１の画像領域を特徴づける複数の第１のキーポイントを具え、前記第２の態様が、前記第２の画像領域を特徴づける複数の第２のキーポイントを具え、前記第１及び第２のキーポイントの各々が、それぞれの機能記述子に関連していることを特徴とする、請求項３０に記載のシステム。
（請求項３２）
前記プロセッサが、前記第１及び第２の画像が、前記尤度の測定値が前記所定の閾値を満たしている場合、前記同じテキスタイルの少なくとも一部を描写していると、分類するように構成されていることを特徴とする、請求項３０に記載のシステム。
（請求項３３）
前記プロセッサが、前記第１及び第２の画像領域が同じテキスタイルの少なくとも一部を描写している尤度の測定値をユーザに通信するように構成されていることを特徴とする、請求項３２に記載のシステム。
（請求項３４）
前記プロセッサが、前記第１及び第２の画像領域が同じテキスタイルの少なくとも一部を描写していることを確認するようユーザに促すように構成されていることを特徴とする、請求項３３に記載のシステム。
（請求項３５）
前記プロセッサが、前記第１及び第２の画像領域が同じテキスタイルの少なくとも一部を描写していることを前記ユーザが確認した場合に、前記インデックスカウンタをデクリメントするように構成されていることを特徴とする、請求項３３に記載のシステム。
（請求項３６）
前記プロセッサが、前記第１及び第２の画像領域が同じテキスタイルの少なくとも一部を描写していることをユーザが確認した場合に、前記第１及び第２の画像の少なくとも一方をディスプレイから削除するように構成されていることを特徴とする、請求項３０に記載のシステム。
（請求項３７）
前記プロセッサが、前記インデックスカウンタをディスプレイに表示するように構成されていることを特徴とする、請求項３０に記載の方法。
（請求項３８）
外科用テキスタイルを追跡するコンピュータに実装した方法において：
第１のテキスタイルを描写した画像領域を含む第１の画像を受信するステップと；
第２のテキスタイルを描写した画像領域を含む第２の画像を受信するステップと；
前記第１及び第２の画像領域が対応するテキスタイルを描写した画素を有するように、前記第１及び第２の画像領域の少なくとも一方をワープさせるステップと；
前記第１及び第２の画像領域が同じテキスタイルの少なくとも一部を描写している尤度を測定するステップであって、当該尤度の測定が前記対応するテキスタイルを描写している画素間の類似性に少なくとも部分的に基づくステップと；
を具えることを特徴とする方法。
（請求項３９）
前記第１の画像領域及び前記第２の画像領域の少なくとも１つをワープさせるステップが、前記第１の画像領域又は前記第２の画像領域内の一又はそれ以上のテキスタイルコーナーのセットを決定するステップと、前記テキスタイルコーナーのセットを既知の形状にマッピングするステップと、を具えることを特徴とする、請求項３８に記載の方法。
（請求項４０）
外科用テキスタイルを追跡するシステムにおいて：
第１のテキスタイルを描写した画像領域を含む第１の画像を受け取り；
第２のテキスタイルを描写した画像領域を含む第２の画像を受け取り；
前記第１及び第２の画像領域が対応するテキスタイルを描写した画素を有するように、第１及び第２の画像領域の少なくとも一方をワープさせ；
前記第１及び第２の画像領域が同じテキスタイルの少なくとも一部を描写している尤度を測定し、当該尤度の測定が、対応するテキスタイルを描写するピクセル間の類似性に少なくとも部分的に基づいている；
ように構成されたプロセッサを具えることを特徴とするシステム。
（請求項４１）
前記プロセッサが、前記第１の画像領域又は前記第２の画像領域内の一又はそれ以上のテキスタイルコーナーのセットを決定し、当該テキスタイルコーナーのセットを既知の形状にマッピングするように構成されていることを特徴とする、請求項４０に記載のシステム。
なお、本願の出願当初の開示事項を維持するために、本願の出願当初の請求項１～４１の記載内容を以下に追加する。
（請求項１）
外科用テキスタイルを追跡するコンピュータに実装した方法において：
第１のテキスタイルを描写した画像領域を含む第１の画像を受け取るステップと；
第２のテキスタイルを描写した画像領域を含む第２の画像を受け取るステップと；
前記第１の画像領域の第１の態様と、前記第２の画像領域の第２の態様の少なくとも一方に少なくとも部分的に基づいて、少なくとも1つの分類特徴を定義するステップと；
前記第１及び第２の画像領域が同じテキスタイルの少なくとも一部を描写している尤度を測定するステップであって、当該尤度の測定が前記分類特徴に少なくとも部分的に基づくステップと；
を具えることを特徴とする方法。
（請求項２）
前記第１の態様が、前記第１の画像領域を特徴づける複数の第１のキーポイントを具え、前記第２の態様が、前記第２の画像領域を特徴づける複数の第２のキーポイントを具え、前記第１及び第２のキーポイントの各々が、それぞれの特徴記述子に関連していることを特徴とする請求項１に記載の方法。
（請求項３）
前記第１及び第２のキーポイントの少なくとも一方を、特徴抽出技術に基づいて生成するステップをさらに具えることを特徴とする、請求項２に記載の方法。
（請求項４）
前記第１のキーポイントの少なくとも１つと前記第２のキーポイントの少なくとも１つとの間の一又はそれ以上の一致を予測するステップをさらに具えることを特徴とする、請求項２に記載の方法。
（請求項５）
前記分類特徴が、前記一致した第１及び第２のキーポイントについての前記特徴記述子間の数値的差異に少なくとも部分的に基づいていることを特徴とする、請求項４に記載の方法。
（請求項６）
前記分類特徴が、前記第１及び第２のキーポイントの複数の予測した一致に少なくとも部分的に基づいていることを特徴とする、請求項４に記載の方法。
（請求項７）
前記少なくとも１つの分類特徴を定義するステップが、前記一致した第１及び第２のキーポイントに関するホモグラフィ変換をフィッティングするステップを具え、前記分類特徴が当該ホモグラフィ変換の適合度に少なくとも部分的に基づいていることを特徴とする、請求項４に記載の方法。
（請求項８）
前記少なくとも１つの分類特徴を定義するステップが、前記一致した第１及び第２のキーポイント間の全体の回転角度を投票技法に基づいて予測するステップを具え、前記分類特徴が、当該予測した全体の回転角度についてのコンセンサス投票比に少なくとも部分的に基づいていることを特徴とする、請求項４に記載の方法。
（請求項９）
前記第１及び第２の態様のうちの少なくとも１つが流体パターンを特徴付けることを特徴とする、請求項１に記載の方法。
（請求項１０）
前記分類特徴が、前記第１の画像領域に描写された流体の面積と、前記第２の画像領域に描写された流体の面積のうちの少なくとも一方に、少なくとも部分的に基づいていることを特徴とする、請求項９に記載の方法。
（請求項１１）
前記分類特徴が、前記第１の画像領域に描写された流体成分の定量化と、前記第２の画像領域に描写された流体成分の定量化との少なくとも１つに、少なくとも部分的に基づいていることを特徴とする、請求項９に記載の方法。
（請求項１２）
前記第１及び第２の画像領域が同じテキスタイルの少なくとも一部を描写している尤度を測定するステップが、分類アルゴリズムを適用するステップを具えることを特徴とする、請求項１に記載の方法。
（請求項１３）
前記尤度の測定が所定の閾値を満たさない場合、インデックスカウンタを増分するステップをさらに具えることを特徴とする、請求項１に記載の方法。
（請求項１４）
前記インデックスカウンタをディスプレイに表示するステップをさらに具えることを特徴とする、請求項１３に記載の方法。
（請求項１５）
外科用テキスタイルを追跡するシステムにおいて：
第１のテキスタイルを描写した画像領域を含む第１の画像を受け取り；
第２のテキスタイルを描写した画像領域を含む第２の画像を受け取り；
前記第１の画像領域の第１の態様と、前記第２の画像領域の第２の態様の少なくとも一方に、少なくとも部分的に基づいて少なくとも１つの分類機能を定義し；
前記第１及び第２の画像領域が同じテキスタイルの少なくとも一部を描写している尤度を測定する；
ように構成されたプロセッサを具えることを特徴とするシステム。
（請求項１６）
前記第１の態様が、前記第１の画像領域を特徴づける複数の第１のキーポイントを具え、前記第２の態様が、前記第２の画像領域を特徴づける複数の第２のキーポイントを具え、前記第１及び第２のキーポイントの各々が、それぞれの機能記述子に関連していることを特徴とする、請求項１５に記載のシステム。
（請求項１７）
前記プロセッサが、特徴抽出技法に基づいて前記第１及び第２のキーポイントの少なくとも１つを生成するように構成されていることを特徴とする、請求項１６に記載のシステム。
（請求項１８）
前記第１及び第２の態様のうちの少なくとも１つが流体パターンを特徴付けることを特徴とする、請求項１５に記載のシステム。
（請求項１９）
前記第１及び第２の画像のうちの少なくとも一方を取り込むように構成された光学センサをさらに具えることを特徴とする、請求項１５に記載のシステム。
（請求項２０）
前記プロセッサが、前記尤度の測定値が所定の閾値を満たさない場合にインデックスカウンタを増分するように構成されていることを特徴とする、請求項１５に記載のシステム。
（請求項２１）
前記インデックスカウンタを表示するように構成されたディスプレイをさらに具えることを特徴とする、請求項２０に記載のシステム。
（請求項２２）
外科用テキスタイルを追跡するコンピュータに実装した方法において：
第１のテキスタイルを描写した画像領域を含む第１の画像を受信するステップと；
第２のテキスタイルを描写した画像領域を含む第２の画像を受信するステップと；
前記第１及び第２の画像領域が同じテキスタイルの少なくとも一部を描写している尤度を測定するステップであって、当該尤度の測定が前記第１の画像領域の第１の態様と、前記第２の画像領域の第２の態様に少なくとも部分的に基づくステップと；
前記尤度の測定値が所定の閾値を満たさない場合に、インデックスカウンタを増分するステップと；
を具えることを特徴とする方法。
（請求項２３）
前記第１の態様が、前記第１の画像領域を特徴づける複数の第１のキーポイントを具え、前記第２の態様が、前記第２の画像領域を特徴づける複数の第２のキーポイントを具え、当該第１及び第２のキーポイントの各々が、それぞれの機能記述子に関連していることを特徴とする、請求項２２に記載の方法。
（請求項２４）
前記第１及び第２の画像を、前記尤度の測定値が所定の閾値を満たしている場合に、同じテキスタイルの少なくとも一部を描写している可能性があると分類するステップをさらに具えることを特徴とする、請求項２２に記載の方法。
（請求項２５）
前記第１及び第２の画像領域が同じテキスタイルの少なくとも一部を描写している尤度の測定値をユーザに通信するステップをさらに具えることを特徴とする、請求項２４に記載の方法。
（請求項２６）
前記第１及び第２の画像領域が同じテキスタイルの少なくとも一部を描写していることを確認することをユーザに促すステップをさらに具えることを特徴とする、請求項２５に記載の方法。
（請求項２７）
前記第１の画像領域と前記第２の画像領域とが同じテキスタイルの少なくとも一部を描写していることを前記ユーザが確認した場合に、前記インデックスカウンタをデクリメントするステップをさらに具えることを特徴とする、請求項２６に記載の方法。
（請求項２８）
前記第１の画像領域と前記第２の画像領域が同じテキスタイルの少なくとも一部を描写していることを前記ユーザが確認した場合に、前記第１及び第２の画像の少なくとも一方をディスプレイから削除するステップをさらに具えることを特徴とする、請求項２６に記載の方法。
（請求項２９）
前記インデックスカウンタをディスプレイに表示するステップをさらに具えることを特徴とする、請求項２２に記載の方法。
（請求項３０）
外科用テキスタイルを追跡するシステムにおいて：
第１のテキスタイルを描写した画像領域を含む第１の画像を受け取り；
第２のテキスタイルを描写した画像領域を含む第２の画像を受け取り；
前記第１及び第２の画像領域が同じテキスタイルの少なくとも一部を描写している尤度を測定して、前記尤度の測定が第１の画像領域の第１の態様と前記第２の画像領域の第２の態様に少なくとも部分的に基づいており；
前記尤度の測定値が所定の閾値を満たさない場合、インデックスカウンタを増分する；
ように構成されたプロセッサを具えることを特徴とするシステム。
（請求項３１）
前記第１の態様が、前記第１の画像領域を特徴づける複数の第１のキーポイントを具え、前記第２の態様が、前記第２の画像領域を特徴づける複数の第２のキーポイントを具え、前記第１及び第２のキーポイントの各々が、それぞれの機能記述子に関連していることを特徴とする、請求項３０に記載のシステム。
（請求項３２）
前記プロセッサが、前記第１及び第２の画像が、前記尤度の測定値が前記所定の閾値を満たしている場合、前記同じテキスタイルの少なくとも一部を描写していると、分類するように構成されていることを特徴とする、請求項３０に記載のシステム。
（請求項３３）
前記プロセッサが、前記第１及び第２の画像領域が同じテキスタイルの少なくとも一部を描写している尤度の測定値をユーザに通信するように構成されていることを特徴とする、請求項３２に記載のシステム。
（請求項３４）
前記プロセッサが、前記第１及び第２の画像領域が同じテキスタイルの少なくとも一部を描写していることを確認するようユーザに促すように構成されていることを特徴とする、請求項３３に記載のシステム。
（請求項３５）
前記プロセッサが、前記第１及び第２の画像領域が同じテキスタイルの少なくとも一部を描写していることを前記ユーザが確認した場合に、前記インデックスカウンタをデクリメントするように構成されていることを特徴とする、請求項３３に記載のシステム。
（請求項３６）
前記プロセッサが、前記第１及び第２の画像領域が同じテキスタイルの少なくとも一部を描写していることをユーザが確認した場合に、前記第１及び第２の画像の少なくとも一方をディスプレイから削除するように構成されていることを特徴とする、請求項３０に記載のシステム。
（請求項３７）
前記プロセッサが、前記インデックスカウンタをディスプレイに表示するように構成されていることを特徴とする、請求項３０に記載の方法。
（請求項３８）
外科用テキスタイルを追跡するコンピュータに実装した方法において：
第１のテキスタイルを描写した画像領域を含む第１の画像を受信するステップと；
第２のテキスタイルを描写した画像領域を含む第２の画像を受信するステップと；
前記第１及び第２の画像領域が対応するテキスタイルを描写した画素を有するように、前記第１及び第２の画像領域の少なくとも一方をワープさせるステップと；
前記第１及び第２の画像領域が同じテキスタイルの少なくとも一部を描写している尤度を測定するステップであって、当該尤度の測定が前記対応するテキスタイルを描写している画素間の類似性に少なくとも部分的に基づくステップと；
を具えることを特徴とする方法。
（請求項３９）
前記第１の画像領域及び前記第２の画像領域の少なくとも１つをワープさせるステップが、前記第１の画像領域又は前記第２の画像領域内の一又はそれ以上のテキスタイルコーナーのセットを決定するステップと、前記テキスタイルコーナーのセットを既知の形状にマッピングするステップと、を具えることを特徴とする、請求項３８に記載の方法。
（請求項４０）
外科用テキスタイルを追跡するシステムにおいて：
第１のテキスタイルを描写した画像領域を含む第１の画像を受け取り；
第２のテキスタイルを描写した画像領域を含む第２の画像を受け取り；
前記第１及び第２の画像領域が対応するテキスタイルを描写した画素を有するように、第１及び第２の画像領域の少なくとも一方をワープさせ；
前記第１及び第２の画像領域が同じテキスタイルの少なくとも一部を描写している尤度を測定し、当該尤度の測定が、対応するテキスタイルを描写するピクセル間の類似性に少なくとも部分的に基づいている；
ように構成されたプロセッサを具えることを特徴とするシステム。
（請求項４１）
前記プロセッサが、前記第１の画像領域又は前記第２の画像領域内の一又はそれ以上のテキスタイルコーナーのセットを決定し、当該テキスタイルコーナーのセットを既知の形状にマッピングするように構成されていることを特徴とする、請求項４０に記載のシステム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9A】
【図9B】
【図9C】
【図10】
【図11】