知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-01-16
(45)【発行日】2025-01-24
(54)【発明の名称】手術用器具を追跡するためのシステムおよび方法
(51)【国際特許分類】
G16H 40/40 20180101AFI20250117BHJP
【ＦＩ】
G16H40/40
【請求項の数】
13
(21)【出願番号】P 2021572094
(86)(22)【出願日】2020-05-29
(65)【公表番号】
(43)【公表日】2022-08-09
(86)【国際出願番号】 US2020035189
(87)【国際公開番号】W WO2020247258
(87)【国際公開日】2020-12-10
【審査請求日】2023-05-22
(31)【優先権主張番号】62/856,701
(32)【優先日】2019-06-03
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】524375437
【氏名又は名称】ストライカー・コーポレイション
【氏名又は名称原語表記】ＳＴＲＹＫＥＲ ＣＯＲＰＯＲＡＴＩＯＮ
(74)【代理人】
【識別番号】100099623
【弁理士】
【氏名又は名称】奥山 尚一
(74)【代理人】
【識別番号】100125380
【弁理士】
【氏名又は名称】中村 綾子
(74)【代理人】
【識別番号】100142996
【弁理士】
【氏名又は名称】森本 聡二
(74)【代理人】
【識別番号】100166268
【弁理士】
【氏名又は名称】田中 祐
(74)【代理人】
【識別番号】100217076
【弁理士】
【氏名又は名称】宅間 邦俊
(72)【発明者】
【氏名】サティシュ，シッダルタ
(72)【発明者】
【氏名】クマール，マヤンク
(72)【発明者】
【氏名】ミラー，ケヴィン・ジェイ．
(72)【発明者】
【氏名】ジャンティカル，シータル・ディパック
(72)【発明者】
【氏名】グッドマン，ダニエル
(72)【発明者】
【氏名】ハスフォード，アンドリュー・ティー．
(72)【発明者】
【氏名】キャロル，チャールズ・ピーターソン
【審査官】鹿谷 真紀
(56)【参考文献】
【文献】国際公開第２０１８／１３２５２７（ＷＯ，Ａ１）
【文献】米国特許出願公開第２００４／０１８６６８３（ＵＳ，Ａ１）
【文献】特開２００２－２８２２００（ＪＰ，Ａ）
【文献】特開２０１８－０６８８６３（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ１６Ｈ １０／００－８０／００
(57)【特許請求の範囲】
【請求項1】
１つまたは複数のプロセッサによって、手術用器具の第１の集計を決定することであって、前記第１の集計は前記手術用器具のセットを定量化することである、前記手術用器具の第１の集計を決定することと、前記１つまたは複数のプロセッサによって、前記手術用器具のセットの少なくとも一部を描写する画像を取得することと、
前記１つまたは複数のプロセッサによって、前記画像内の前記手術用器具のセットの少なくとも前記一部の描画に基づいて前記手術用器具の第２の集計を決定することと、
前記１つまたは複数のプロセッサによって、前記手術用器具の前記第１の集計と前記手術用器具の前記第２の集計との比較に基づく通知を提供することと、を含み、
前記手術用器具の前記第２の集計の前記決定は、少なくとも１つの区画を含む容器であって前記画像に描写されている前記少なくとも１つの区画を含む容器を特徴付けることによって、前記画像に描写されている少なくとも１つの手術用器具を識別することを含み、
前記１つまたは複数のプロセッサは、ポケット分類器モデルを用いて、前記画像に基づいて前記少なくとも一つの区画のうちの各区画が満杯であるか空であるかを識別することによって前記容器を特徴付け、前記ポケット分類器モデルからの出力に基づいて前記手術用器具の前記第２の集計を決定するように構成されている、
方法。
【請求項2】
前記容器の前記特徴付けは、前記画像に基づいて前記容器の前記少なくとも１つの区画を定量化することを含む、請求項１に記載の方法。
【請求項3】
前記容器の前記特徴付けは、前記画像に基づいて前記容器の前記少なくとも１つの区画の幾何学的配置を決定することを含む、請求項１に記載の方法。
【請求項4】
前記容器の前記特徴付けは、前記画像に基づいて、前記容器の前記少なくとも１つの区画のうちの各区画における対応する手術用器具の有無を決定することを含む、請求項１に記載の方法。
【請求項5】
前記手術用器具の前記第２の集計の前記決定は、前記手術用器具のセットのうちの少なくとも１つの手術用器具を受け入れるように構成された容器の検出された重量の変化に基づく、請求項１に記載の方法。
【請求項6】
前記手術用器具の前記第１の集計の前記決定は、さらなる画像から前記手術用器具のセットを識別することを含む、請求項１に記載の方法。
【請求項7】
前記手術用器具の前記第１の集計の前記決定は、前記手術用器具のセットのうちの少なくとも１つの手術用器具の重量に基づく、請求項１に記載の方法。
【請求項8】
前記第１の集計と前記第２の集計との比較に基づく前記通知の前記提供は、前記第１の集計が前記第２の集計と一致しないことに応答して警告を提供することを含む、請求項１に記載の方法。
【請求項9】
命令を含む機械可読媒体であって、前記命令は、機械の１つまたは複数のプロセッサによって実行されると、前記機械に、
手術用器具の第１の集計を決定することであって、前記第１の集計は前記手術用器具のセットを定量化することである、前記手術用器具の第１の集計を決定することと、
前記手術用器具のセットの少なくとも一部を描写する画像を取得することと、
前記画像内の前記手術用器具のセットの少なくとも前記一部の描画に基づいて前記手術用器具の第２の集計を決定することと、
前記手術用器具の前記第１の集計と前記手術用器具の前記第２の集計の比較に基づいて通知を提供することと、を含む操作を実行させ、
前記手術用器具の前記第２の集計の前記決定は、少なくとも１つの区画を含む容器であって前記画像に描写されている前記少なくとも１つの区画を含む容器を特徴付けることによって、前記画像に描写されている少なくとも１つの手術用器具を識別することを含み、
前記１つまたは複数のプロセッサは、ポケット分類器モデルを用いて、前記画像に基づいて前記少なくとも一つの区画のうちの各区画が満杯であるか空であるかを識別することによって前記容器を特徴付け、前記ポケット分類器モデルからの出力に基づいて前記手術用器具の前記第２の集計を決定するように構成されている、
機械可読媒体。
【請求項10】
システムであって、１つまたは複数のプロセッサと、
命令を記憶するメモリと、を含み、
前記命令は、前記１つまたは複数のプロセッサのうちの少なくとも１つのプロセッサによって実行されると、前記システムに、
手術用器具の第１の集計を決定することであって、前記第１の集計は前記手術用器具のセットを定量化することである、前記手術用器具の第１の集計を決定することと、
前記手術用器具のセットの少なくとも一部を描写する画像を取得することと、
前記画像内の前記手術用器具のセットの少なくとも前記一部の描画に基づいて前記手術用器具の第２の集計を決定することと、
前記手術用器具の前記第１の集計と前記手術用器具の前記第２の集計の比較に基づいて通知を提供することと、を含む操作を実行させ、
前記手術用器具の前記第２の集計の前記決定は、少なくとも１つの区画を含む容器であって前記画像に描写されている前記少なくとも１つの区画を含む容器を特徴付けることによって、前記画像に描写されている少なくとも１つの手術用器具を識別することを含み、
前記１つまたは複数のプロセッサは、ポケット分類器モデルを用いて、前記画像に基づいて前記少なくとも一つの区画のうちの各区画が満杯であるか空であるかを識別することによって前記容器を特徴付け、前記ポケット分類器モデルからの出力に基づいて前記手術用器具の前記第２の集計を決定するように構成されている、
システム。
【請求項11】
前記容器の前記特徴付けは、前記画像に基づいて前記容器の前記少なくとも１つの区画を定量化することを含む、請求項１０に記載のシステム。
【請求項12】
前記容器の前記特徴付けは、前記画像に基づいて前記容器の前記少なくとも１つの区画の幾何学的配置を決定することを含む、請求項１０に記載のシステム。
【請求項13】
前記容器の前記特徴付けは、前記画像に基づいて、前記容器の前記少なくとも１つの区画のうちの各区画における対応する手術用器具の有無を決定することを含む、請求項１０に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
優先権主張
本出願は、２０１９年６月３日に出願され、「手術用器具を追跡するためのシステムおよび方法」と題された米国仮特許出願第６２／８５６，７０１号の優先権を主張し、これは参照によりその全体が本明細書に組み込まれる。
本出願は、２０１９年６月３日に出願され、「手術用器具を追跡するためのシステムおよび方法」と題された米国仮特許出願第６２／８５６，７０１号の優先権を主張し、これは参照によりその全体が本明細書に組み込まれる。
【0002】
本明細書に開示される主題は、一般に、医療の技術分野に関連し、より具体的には、手術用器具を追跡するための新しく有用なシステムおよび方法に関連する。このようなシステムには、手術用器具の追跡を容易にする専用の機械が含まれ、そのような専用の機械のソフトウェア構成されたコンピュータ化された変形およびそのような変形の改良、ならびにそのような専用の機械が手術用器具の追跡を容易にする他の専用の機械と比較して改良される技術の改良を含む。
【背景技術】
【0003】
医療処置中に手術用器具を追跡することは、器具が患者体内に不注意に保持されるリスクを低減するために重要であり得る。手術用器具が患者体内に保持されないことを保証する現在の方法は、手術用器具の手動追跡および集計を中心に展開している。しかし、医療スタッフの疲労、手術用器具の追跡を困難にする複雑な手術、不十分な集計システム、および器具がくっつき合うまたはその他の形で不明瞭になっていることに起因して、手動集計はしばしば不正確である。さらに、確立されたプロトコルへのコンプライアンスは、特に長い処置や複雑な処置では不完全な場合がある。したがって、保持された手術用器具は、医療処置中に依然として重大な問題である。手術中に患者体内に残された器具は、患者に重大な健康上のリスクをもたらし、医療の全体的な時間とコストを増加させる。したがって、医療処置中に手術用器具を追跡するための新しく改善された方法およびシステムが望ましい可能性がある。
【図面の簡単な説明】
【0004】
【図1】いくつかの例示的な実施形態による、手術用器具を追跡する方法を示す概略ブロック図である。
【図2】いくつかの例示的な実施形態による、手術用器具を追跡する方法を示す概略ブロック図である。
【図3】いくつかの例示的な実施形態による、手術用器具の第１の集計に関連する情報を示すグラフィカルユーザインターフェースを示す図である。
【図4】いくつかの例示的な実施形態による、集計するための手術用器具を受け入れるように構成された容器を示す概略図である。
【図5】いくつかの例示的な実施形態による、画像化デバイスを保持するように構成された取り付け構造を示す概略図である。
【図6】いくつかの例示的な実施形態による、手術用器具を集計するためのプロトコルを示す概略図である。
【図7】いくつかの例示的な実施形態による、手術用器具を受け入れるように構成された容器の画像を取得するためにモバイルデバイスを操作するユーザを示す概略図である。
【図8】いくつかの例示的な実施形態による、手術用器具の所在を確認する方法の構成要素を示す概略ブロック図である。
【図9】いくつかの例示的な実施形態による、手術用器具を追跡するための方法によって生成された情報の表示を示す図である。
【図10】いくつかの例示的な実施形態による、手術用器具を追跡するための方法によって生成された情報の表示を示す図である。
【図11】いくつかの例示的な実施形態による、手術用繊維の所在確認のユーザ検証を促すグラフィカルユーザインターフェースを示す図である。
【図12】いくつかの例示的な実施形態による、手術用繊維を分析する方法を示す概略図である。
【図13】いくつかの例示的な実施形態による、手術用器具の追跡に関連する情報を示すグラフィカルユーザインターフェースを示す図である。
【図14】いくつかの例示的な実施形態による、手術処置中の中間時点での手術用器具の追跡に関連する情報を示すグラフィカルユーザインターフェースを示す図である。
【図15】いくつかの例示的な実施形態による、手術用器具の所在確認の要約レポートを含むグラフィカルユーザインターフェースを示す図である。
【図16】いくつかの例示的な実施形態による、要約レポートを示す図である。
【発明を実施するための形態】
【0005】
例示的な方法（例えば、アルゴリズム）は、手術用器具の追跡を容易にし、例示的なシステム（例えば、専用ソフトウェアによって構成された専用機械）は、手術用器具の追跡を容易にするように構成される。例は、考えられる変形の典型にすぎない。特に明記されていない限り、構造（モジュールなどの構造構成要素など）はオプションであり、組み合わせたり細分化したりできる。また、操作（処置、アルゴリズム、その他の関数など）は順番を変更したり、組み合わせたり細分化したりできる。以下の説明では、説明の目的で、様々な例示的な実施形態の完全な理解を提供するために、多数の特定の詳細が示されている。しかしながら、本主題は、これらの特定の詳細なしで実施され得ることが当業者には明らかであろう。
【0006】
本明細書で説明される例示的な方法およびシステムのいずれか１つまたは複数を使用して、１つまたは複数の手術用器具を追跡（例えば、識別、所在確認、監視など）することができる。例えば、そのような方法およびシステムを使用して、様々な時点での手術用器具の数を比較して、すべての手術用器具の所在が確認されるかどうかを決定することができる。そのような方法およびシステムは、コンピュータビジョン、機械学習、深層学習、またはそれらの任意の適切な組み合わせなどの計算技術を利用して、手術用器具の正確な識別および集計を提供することができる。高度な計算技術を使用することで、例えば、手術用器具の集計の精度を向上させ、集計プロトコルへのコンプライアンスを改善し、手術用器具の所在確認のプロセスを合理化し、手術用器具を保持するリスクに関連する全体的なコストと時間を削減し、またはその任意の適切な組み合わせを実現できる。医療処置に導入された手術用器具の正確な所在確認は、医療処置後の患者の手術用器具の不注意な保持を回避するのに役立ち得る。手術用器具の追跡はまた、処置中の手術用器具の使用、確立されたプロトコルへのコンプライアンス、またはその両方に関する有用な情報を提供し、特定の適応症が存在する場合にユーザが様々な応答をトリガーするのに役立ち得る。
【0007】
本明細書に記載の方法およびシステムは、病院または診療所の設定（例えば、手術または臨床の設定）、軍事の設定（例えば、戦場）、またはその他の適切な治療設定を含む、様々な設定で使用することができる。本明細書に記載の方法およびシステムは、主に、手術用繊維（例えば、手術用スポンジまたは手術用ガーゼのパッド）などの手術用器具の追跡に関して説明されているが、他の変形では、そのような方法およびシステムは、さらにまたはあるいは、他の器具（例えば、手術用機材または機器）を追跡するために使用され得る。
【0008】
例示的な方法は、主に手術用繊維を追跡することに関して本明細書で説明されるが、そのような方法は、医療処置で使用される任意の器具に適用することができる。例えば、そのような方法は、メス、はさみ、縫合糸、針、ガーゼ、包帯、または他の任意の適切な器具などの他の手術用器具を識別、所在確認、または追跡することを含み得る。様々な種類の手術用器具の所在確認には、手術用繊維などの手術用器具の集計に使用される複数区画容器の使用も含まれ得る。このような複数区画容器は、「集計バッグ」と呼ばれる場合がある。しかしながら、いくつかの例示的な実施形態では、手術用器具を追跡する方法は、集計バッグを利用しない場合がある。計算技術は、集計バッグを使用せずに器具を集計するために適用することができ、任意の適切な方法でグループ化または編成された器具を集計するために使用することができる。
【0009】
実施例の概要
本明細書に記載されているのは、とりわけ、手術用器具を追跡するための例示的な方法である。これらの方法は、１つまたは複数のプロセッサによって実行され得る。いくつかの例示的な実施形態では、手術用器具を追跡するための方法は、手術用器具の第１の集計を受信し、１つまたは複数の画像を受信し、各画像は、１つまたは複数の手術用器具を含む視野を描写し、少なくとも部分的には、１つまたは複数の受信画像に基づいて、手術用器具の第２の集計を決定することを含む。本明細書で説明される方法のいくつかの例示的な実施形態はまた、手術用器具の第１の集計、手術用器具の第２の集計、またはその両方に基づく通知を提供することを含み得る。例えば、通知は、手術用器具の第１の集計と手術用器具の第２の集計との間の比較に基づいて提供され得る。いくつかの例示的な実施形態では、第１の集計は、一般に、医療処置の前に決定され得、第２の集計は、一般に、医療処置中または後に決定され得る。
本明細書に記載されているのは、とりわけ、手術用器具を追跡するための例示的な方法である。これらの方法は、１つまたは複数のプロセッサによって実行され得る。いくつかの例示的な実施形態では、手術用器具を追跡するための方法は、手術用器具の第１の集計を受信し、１つまたは複数の画像を受信し、各画像は、１つまたは複数の手術用器具を含む視野を描写し、少なくとも部分的には、１つまたは複数の受信画像に基づいて、手術用器具の第２の集計を決定することを含む。本明細書で説明される方法のいくつかの例示的な実施形態はまた、手術用器具の第１の集計、手術用器具の第２の集計、またはその両方に基づく通知を提供することを含み得る。例えば、通知は、手術用器具の第１の集計と手術用器具の第２の集計との間の比較に基づいて提供され得る。いくつかの例示的な実施形態では、第１の集計は、一般に、医療処置の前に決定され得、第２の集計は、一般に、医療処置中または後に決定され得る。
【0010】
手術用器具の第１の集計の受信は、画像に描写された１つまたは複数の手術用器具を識別することを含み得る。例えば、１つまたは複数の手術用器具の識別は、コンピュータビジョン、機械学習、他の計算技術、またはそれらの任意の適切な組み合わせの使用を含み得る。いくつかの例示的な実施形態では、手術用器具の第１の集計の受信は、少なくとも部分的に、１つまたは複数の手術用器具の重量を検出することに基づくことができる。特定の例示的な実施形態では、手術用器具の第１の集計は、少なくとも部分的にユーザ入力に基づいて決定され得る。手術用器具の第２の集計の決定は、１つまたは複数の受信画像に描写されている１つまたは複数の手術用器具を識別することを含み得る。受信画像の１つまたは複数は、例えば、深度画像（例えば、赤外線深度画像）、カラー画像、または他の適切な種類の画像であり得る。いくつかの例示的な実施形態では、１つまたは複数の受信画像に描写される１つまたは複数の手術用器具の識別は、少なくとも１つの区画を含み、１つまたは複数の画像に描写される容器を識別および特徴付けることを含む。容器の特徴付けは、容器の１つまたは複数のパラメータを決定することを含み得る。容器の１つまたは複数のパラメータの決定は、例えば、容器内の１つまたは複数の区画の定量化、容器内の１つまたは複数の区画の幾何学的配置の決定、１つまたは複数の区画の少なくともいくつか（例えば、それぞれ）の手術用器具の有無の決定、またはそれらの任意の適切な組み合わせを含み得る。様々な例示的な実施形態において、手術用器具の第２の集計の決定は、追加的または代替的に、少なくとも部分的に、１つまたは複数の手術用器具を保持するように構成された容器の重量の変化を検出することに基づくことができる。
【0011】
手術用器具の第２の集計の決定は、手術用器具の現在の指標値を更新することを含み得る。本明細書で説明される方法のいくつかの例示的な実施形態は、ディスプレイ上（例えば、モバイルコンピューティングデバイスのグラフィカルユーザインターフェース上）に手術用器具の現在の指標値を表示することを含む。そのような方法の特定の例示的な実施形態は、手術用器具の第１の集計、手術用器具の第２の集計、または手術用器具の両方の集計の正確さを検証するようにユーザに促すことを含む。これらの方法の様々な例示的な実施形態は、手術用器具の第１の集計、手術用器具の第２の集計、通知、またはそれらの任意の適切な組み合わせをディスプレイ（例えば、表示画面）に表示することを含む。例えば、本明細書で説明される方法のいくつかの例示的な実施形態は、追跡された手術用器具の要約レポートを提供することを含む。特定の例示的な実施形態では、この方法は、第１の集計と第２の集計との間の比較に基づく通知を提供することを含み、第１の集計が第２の集計と一致しないことに応答して警告を生成することを含み得る。警告は、所定のプロトコルに従い得る。例えば、警告は、所定のプロトコルを表示するか、プロトコルを通じてユーザを案内するか、またはその両方を行うことができる。
【0012】
本明細書では、とりわけ、手術用器具の識別、追跡、および所在確認に使用するための例示的なシステムも記載されている。手術用器具を追跡するためのシステムは、１つまたは複数のプロセッサを含み得る。例えば、１つまたは複数のプロセッサは、手術用器具の第１の集計を受信し、１つまたは複数の画像を受信し、各画像が１つまたは複数の手術用器具を含む視野を描写し、少なくとも部分的には、１つまたは複数の受信画像に基づいて、手術用器具の第２の集計を決定するように構成され得る。１つまたは複数のプロセッサはまた、手術用器具の第１の集計、手術用器具の第２の集計、またはその両方に基づいて通知を提供することができる。例えば、通知は、手術用器具の第１の集計と手術用器具の第２の集計との比較に基づいて提供され得る。１つまたは複数のプロセッサはまた、１つまたは複数の受信画像に描写されている１つまたは複数の手術用器具を識別するように構成され得る。１つまたは複数の手術用器具は、手術用繊維（例えば、手術用スポンジまたは一片の手術用ガーゼ）であり得る。受信画像の少なくとも１つは、深度画像であり得る。いくつかの例示的な実施形態では、深度画像は赤外線画像である。受信画像の少なくとも１つは、カラー画像であり得る。１つまたは複数のプロセッサはまた、少なくとも１つの区画を含み、１つまたは複数の画像に描写されている容器を識別および特徴付けるように構成され得る。いくつかの例示的な実施形態では、１つまたは複数のプロセッサは、容器の１つまたは複数のパラメータを決定するように構成される。パラメータの例には、容器内の１つまたは複数の区画の幾何学的配置、１つまたは複数の区画のそれぞれの手術用器具の有無、またはその両方が含まれる。容器は、裏打ちと、グリッド（例えば、長方形のグリッド）に配置された複数のポケットとを含む可撓性容器であり得る。容器のポケットは透明でもよい。容器の裏打ちは、不透明な材料、着色された材料、またはそれらの任意の適切な組み合わせから構成され得る。
【0013】
本明細書で説明されるシステムの特定の例示的な実施形態は、１つまたは複数のプロセッサによって受信された画像を生成するように構成された光学センサをさらに含む。いくつかの例示的な実施形態では、システムは、追跡された手術用器具の要約レポートを表示するように構成された表示画面を含む。表示画面はまた、例えば、第１の集計と第２の集計との間の比較に基づいて、通知を表示するように構成され得る。いくつかの例示的な実施形態によれば、通知は、第１の集計が第２の集計と一致しない場合、所定のプロトコルに従った警告を含む。特定の例示的な実施形態によれば、１つまたは複数のプロセッサのうちの少なくとも１つは、モバイルコンピューティングデバイスに含まれる。モバイルコンピューティングデバイスは、スタンドまたは他の適切な取り付けデバイスに取り外し可能に取り付けることができる。
【0014】
本明細書で説明される方法の特定の例示的な実施形態は、１つまたは複数の手術用器具の存在を決定することを含み、そのような方法は、１つまたは複数のプロセッサによって実行され得る。例えば、手術用器具の追跡は、視野の画像を受信することを含み得、視野は、１つまたは複数の手術用器具を含み、画像内の１つまたは複数の手術用器具の存在を決定し、画像内の１つまたは複数の手術用器具の決定された存在の表示を提供することを含み得る。特定の例示的な方法は、少なくとも１つの機械学習モデルに基づいて、画像内の１つまたは複数の手術用器具を定量化することをさらに含む。いくつかの例示的な実施形態では、機械学習モデルは、１つまたは複数の深層学習技術を組み込むことができる。他の計算技術を追加的または代替的に使用して、画像内の１つまたは複数の手術用器具の存在を決定することができる。例示的な方法は、容器の１つまたは複数の区画のそれぞれで器具を検出することを含み得る。１つまたは複数の手術用器具の存在の決定は、画像内の容器の存在を検出することを含み得、容器は、複数の区画を含み、各区画は、少なくとも１つのそれぞれの手術用器具を受け入れるように構成される。１つまたは複数の手術用器具は、１つまたは複数の手術用繊維、１つまたは複数の手術用器材、またはそれらの任意の適切な組み合わせを含み得る。いくつかの例示的な実施形態によれば、本明細書で説明される方法は、手術用器具の有無に基づいて、容器の各区画を分類することを含む。手術用器具の決定された存在の表示を提供することは、画像に描写された少なくとも１つの手術用器具の決定された存在の表示を提供することを含み得る。
【0015】
手術用器具を追跡するための方法の例
本明細書に記載されているのは、医療処置中などの手術用器具を追跡する（例えば、識別、検出、所在確認、経時的な物体の検出など）ための例示的な方法である。手術用器具を追跡するためのそのような方法は、プロセッサ、光学検出システム、コンピュータビジョン、機械学習、深層学習アルゴリズム、またはそれらの任意の適切な組み合わせなどの様々な計算構成要素を使用して、手術用器具の識別、追跡、および所在確認のプロセスを自動化および合理化することができる。図１は、医療処置において手術用器具を追跡する方法１００のいくつかの例示的な実施形態の概略図を提供する。方法１００は、１つまたは複数の手術用器具Ｓ１１０の第１の集計を決定し、１つまたは複数の手術用器具Ｓ１２０の第２の集計を決定し、１つまたは複数の手術用器具の第１の集計と１つまたは複数の手術用器具の第２の集計の少なくとも１つに基づいて通知Ｓ１３０を提供することを含み得る。例えば、通知は、第１の集計と第２の集計との間の比較に基づいて提供され得る（例えば、第１の集計と第２の集計の間の合致を確認する、第１の集計と第２の集計が合致するまで集計を段階的に増やす方向の進行状況を追跡する、第１の集計と第２の集計の合致に失敗した（例えば、一致しない）場合、ユーザに警告する、またはそれらの任意の適切な組み合わせ）。
本明細書に記載されているのは、医療処置中などの手術用器具を追跡する（例えば、識別、検出、所在確認、経時的な物体の検出など）ための例示的な方法である。手術用器具を追跡するためのそのような方法は、プロセッサ、光学検出システム、コンピュータビジョン、機械学習、深層学習アルゴリズム、またはそれらの任意の適切な組み合わせなどの様々な計算構成要素を使用して、手術用器具の識別、追跡、および所在確認のプロセスを自動化および合理化することができる。図１は、医療処置において手術用器具を追跡する方法１００のいくつかの例示的な実施形態の概略図を提供する。方法１００は、１つまたは複数の手術用器具Ｓ１１０の第１の集計を決定し、１つまたは複数の手術用器具Ｓ１２０の第２の集計を決定し、１つまたは複数の手術用器具の第１の集計と１つまたは複数の手術用器具の第２の集計の少なくとも１つに基づいて通知Ｓ１３０を提供することを含み得る。例えば、通知は、第１の集計と第２の集計との間の比較に基づいて提供され得る（例えば、第１の集計と第２の集計の間の合致を確認する、第１の集計と第２の集計が合致するまで集計を段階的に増やす方向の進行状況を追跡する、第１の集計と第２の集計の合致に失敗した（例えば、一致しない）場合、ユーザに警告する、またはそれらの任意の適切な組み合わせ）。
【0016】
手術用器具を追跡するための方法２００の追加の例示的な実施形態が図２に示されている。方法２００は、１つまたは複数のプロセッサで、手術用器具Ｓ２２０の第１の集計を受信し、１つまたは複数の画像Ｓ２３０を受信し、各画像が１つまたは複数の手術用器具を含む視野であり、少なくとも部分的に１つまたは複数の受信画像に基づいて、手術用器具Ｓ２４０の第２の集計を決定することを含み得る。方法２００は、手術用器具の第１の集計と手術用器具の第２の集計との間の比較に基づいて通知Ｓ２５０を提供することを含み得る。
【0017】
いくつかの例示的な実施形態では、手術用器具の第１の集計は、第１の時間に関連付けられ得、一方、手術用器具の第２の集計は、第１の時間の後の第２の時間に関連付けられ得る。例えば、手術用器具の第１の集計は「初期集計」であり得、手術室に導入され、包装から取り出され、または医療処置中に使用するために準備された手術用器具の数に対応する。手術用器具の第２の集計は、医療処置中に使用される手術用器具の数に対応し得る。本明細書に記載される場合、「使用済み」という用語は、廃棄を目的とする器具を指し、使用済み器具は、汚れているか、または汚れていない（例えば、血液、他の液体、他の内容物、またはそれらの任意の適切な組み合わせ）場合がある。第２の集計は、中間の時点で測定されるか、または処置の終了時（例えば、処置が完了した後、手術終了の前）の「最終」時点で「最終集計」として測定され得る。
【0018】
医療処置における様々な時点での手術用器具の数を維持（例えば、更新）および比較することは、手術用器具の正確な所在確認を容易にし得る。これは、手術用器具のインスタンスが患者体内に保持されるのを防ぐという利点を提供し得る。いくつかの例示的な実施形態では、集計を比較する方法は、手術用器具の初期集計を手術用器具の最終集計と合致させることを含み得る（例えば、初期集計が最終集計と一致するかどうかをチェックする）。この合致は、手術終了の前にすべての手術用器具の所在が確認されているかどうかを決定するという利点を提供し得る。特定の例示的な実施形態によれば、本明細書で説明される方法は、第１の集計が第２の集計と一致するかどうかに基づいてユーザに通知を提供することをさらに含み得る。第１の集計と第２の集計が一致しない場合、そのような方法は、１つまたは複数の所定の行動をとるようにユーザに通知するか、その他の方法で警告することを含み得る（例えば、所在が確認されていない手術用器具の検索）。
【0019】
上記のように、手術用器具を追跡する（例えば、識別および／または検出する）ための本明細書に記載の方法のいずれか１つまたは複数は、１つまたは複数の計算技術を使用して実装することができる。いくつかの例示的な実施形態では、手術用器具を追跡するそのような方法は、コンピュータビジョン、機械学習、深層学習アルゴリズム、またはそれらの任意の適切な組み合わせの使用を含む。例えば、コンピュータビジョンは、画像、一連の画像、またはビデオのフレーム内の物体を識別する１つまたは複数の計算技術を含み得る。別の例として、機械学習または深層学習の技術には、画像内の手術用器具に関連する複雑なパターンを識別することにより、特定のタスクを実行するためのトレーニングと計算数学モデルの使用が含まれ得る（例えば、静止画像、一連の画像、またはビデオのフレーム内に描写される）。一部の機械学習技術では、コンピュータアルゴリズムは、多数のラベル付き画像（例えば、手術用器具に関連付けられた特徴でラベル付けされた）を含む様々なデータセットでトレーニングされることにより、複雑なタスクを実行することを「学習」する。ラベル付けされたデータセットを使用して、特定のパターンを認識するように機械学習モデルをトレーニングできる。これにより、モデルはプログラムされたタスクを高レベルの精度で実行できる。いくつかの実装形態では、モデルが使用されている場合でも、時間の経過とともに受信する実際のデータに基づいてアルゴリズムを更新し、パラメータを継続的に更新して物体の追跡、検出性能、またはその両方を改善することで、学習を継続できる。例えば、機械学習を使用して、１つまたは複数の器具を識別する、１つまたは複数の器具を集計する、またはその両方を行うモデルを生成できる。深層学習は機械学習の一種であり、例えば、複数の層または分析を使用して入力データから関連する特徴を抽出し、手術用器具を検出、識別、または追跡する人工ニューラルネットワークに基づき得る。本明細書で使用される場合、「計算技術」という用語は、本明細書で説明される方法のいずれか１つまたは複数を指し、１つの技術を説明することに限定されるべきではない。さらに、いくつかの実装形態では、複数の計算技術の態様を組み合わせることができる。例えば、１つまたは複数のコンピュータビジョン技術は、機械学習、深層学習、またはその両方を介して実装できる。例えば、手術用器具を識別するために使用されるコンピュータビジョンは、機械学習アルゴリズム、深層学習アルゴリズム、またはその両方を利用して、手術用器具の識別を実行することができる。
【0020】
様々な例示的な実施形態によれば、携帯電話またはタブレットなどのモバイルコンピューティングデバイスは、手術用器具を追跡するために本明細書で説明される方法の１つまたは複数の様々な態様を実行するために使用される。例えば、モバイルデバイス上の１つまたは複数のプロセッサによって実行可能なソフトウェアアプリケーションを使用して、第１の集計の決定、第２の集計の決定、第１の集計と第２の集計との比較、および比較に基づくユーザへの通知を含む１つまたは複数の操作を実行することができる。モバイルデバイス上の１つまたは複数のプロセッサは、画像を分析するように構成できる。モバイルデバイスの１つまたは複数のプロセッサは、本明細書に記載の方法のいずれか１つまたは複数に関連して、機械学習アルゴリズム、コンピュータビジョン技術、深層学習アルゴリズム、またはそれらの任意の適切な組み合わせを実行するように構成され得る。いくつかの例示的な実施形態では、モバイルアプリケーションは、手術用器具を追跡する方法のすべての段階を実行し、実行された方法の１つまたは複数の操作（例えば、段階）に基づいて１人または複数のユーザに情報を表示するように構成される。モバイルデバイス上で手術用器具を追跡するこのような方法の１つまたは複数を実装すると、手術用器具の所在確認のプロセスを自動化および合理化するだけでなく、手術用器具の正確な所在確認を容易にする適切な所在確認プロトコルを通じてユーザを案内する追加の仮想プレゼンスを提供するという利点を提供することができる。さらに、モバイルデバイスに計算技術を実装することは、手術用器具を追跡する改善された方法を非常にアクセス可能で直感的に使用できるようにするのに役立ち得る。他の例示的な実施形態では、方法の操作のいくつかまたはすべては、１つまたは複数の外部プロセッサを使用して実行され得る。例えば、モバイルデバイスを使用して、１つまたは複数の画像を取得し、情報を受信し、情報を表示することができ、外部プロセッサを使用して、１つまたは複数の機械学習アルゴリズムを使用して１つまたは複数の画像の分析を実行することができる。
【0021】
第１の集計を決定する例
手術用器具を追跡するための方法のいくつかの例示的な実施形態は、手術用器具の第１の集計を受信することを含む。いくつかの実装形態では、第１の集計は、医療処置での使用を意図して導入または準備された（例えば、手術室に導入される、包装から取り出される、またはその両方）、対応する数の１つまたは複数の手術用器具を確立し得る。第１の集計は、処置中の任意の時点で１回確立できる。いくつかの実装形態では、第１の集計は、手術処置の前または開始時に導入された手術用器具の数であるか、またはそれを含む。いくつかの実装形態では、第１の集計は、その後、処置の過程全体を通して更新される（例えば、手術用器具が手術室に導入されたとき、包装から取り出されたとき、またはその両方のとき）。例えば、手術用器具の１つの包装が手術室に導入され、処置の開始時に（例えば、患者の手術段階が始まる前に）包装から取り出され得る。続いて、手術が行われている間などの医療処置中のある時点で、手術用器具の第２の包装が回収され、手術室に導入され、その手術用器具が包装から取り出され得る。したがって、第１の集計は、第２の包装内の手術用器具の数で更新（例えば、増分）され得る。処置中の任意の時点で任意の数の手術用器具を導入することができ、新しい手術用器具のセットが導入されるたびに第１の集計を更新することができる。
手術用器具を追跡するための方法のいくつかの例示的な実施形態は、手術用器具の第１の集計を受信することを含む。いくつかの実装形態では、第１の集計は、医療処置での使用を意図して導入または準備された（例えば、手術室に導入される、包装から取り出される、またはその両方）、対応する数の１つまたは複数の手術用器具を確立し得る。第１の集計は、処置中の任意の時点で１回確立できる。いくつかの実装形態では、第１の集計は、手術処置の前または開始時に導入された手術用器具の数であるか、またはそれを含む。いくつかの実装形態では、第１の集計は、その後、処置の過程全体を通して更新される（例えば、手術用器具が手術室に導入されたとき、包装から取り出されたとき、またはその両方のとき）。例えば、手術用器具の１つの包装が手術室に導入され、処置の開始時に（例えば、患者の手術段階が始まる前に）包装から取り出され得る。続いて、手術が行われている間などの医療処置中のある時点で、手術用器具の第２の包装が回収され、手術室に導入され、その手術用器具が包装から取り出され得る。したがって、第１の集計は、第２の包装内の手術用器具の数で更新（例えば、増分）され得る。処置中の任意の時点で任意の数の手術用器具を導入することができ、新しい手術用器具のセットが導入されるたびに第１の集計を更新することができる。
【0022】
器具の第１の集計を確立することは、処置の終わりにすべての手術用器具の所在確認を容易にするという利益を提供し得る。例えば、本明細書で説明される方法は、処置の最後に存在する器具の集計を第１の集計と比較して、すべての手術用器具の所在が確認されるかどうか（例えば、患者内に保持されるのとは対照的に）を決定することを含み得る。様々な適切な方法を使用して、以下に説明するような手術用器具の第１の集計を確立することができる。いくつかの実装形態では、器具の第１の集計を確立することは手動で実行され得る。例えば、手術用器具の第１の集計は、手動入力または他のユーザ入力として受信することができる。別の例として、手術用器具の第１の集計は、追加的または代替的に、１つまたは複数のプロセッサによって（例えば、以下に説明するように、１つまたは複数の計算技術を介して）確立され得る。第１の集計を確立するための計算技術は、例えば、手動の方法と比較して、精度を高め、ユーザエラーを減らして第１の集計を確立し、第１の集計を決定するプロセスを合理化するという利点を提供し得る。
【0023】
いくつかの例示的な実施形態では、上記のように、器具の第１の集計は、ユーザ入力として受信され得る。例えば、手術用器具の第１の集計を確立することは、手動の集計技術を含み得る。ユーザは、複数の手術用器具を手動で集計して、第１の集計を決定し、ユーザインターフェースを介して第１の集計を提供することができる。例えば、ユーザは、１つまたは複数の手術用器具を含む包装を受け入れ、その器具を包装から回収し、例えば、それらをテーブルなどの表面に配置している間など、ユーザが繊維を互いに分離するときに、手術用繊維を集計することができる。いくつかの実装形態では、手動集計は、ユーザによって計算システムに入力される（例えば、キーパッドまたはタッチ画面への手動入力、口答など）。例えば、ユーザは、モバイルコンピューティングデバイス上で実行可能なモバイルアプリケーションを介して、手動集計を計算システムに入力することができる。いくつかの実装形態では、モバイルアプリケーションはユーザに手動集計の入力を促し得る。
【0024】
いくつかの例示的な実施形態では、手術用器具の第１の集計の決定は、追加的または代替的に、コンピュータビジョン、機械学習、深層学習、他の計算技術、またはそれらの任意の適切な組み合わせの使用を含み得る。例えば、第１の集計を確立することは、１つまたは複数の手術用器具を識別し、１つまたは複数の手術用器具を集計するために画像を分析することを含み得、またはその両方を行う。第１の集計で集計される１つまたは複数の手術用器具の画像は、任意の適切な画像化デバイスを使用して取得することができる。例えば、モバイルコンピューティングデバイス（例えば、携帯電話、タブレットなど）上のような画像化システムを使用して、１つまたは複数の手術用器具の画像をキャプチャすることができる。画像は、静止画像またはビデオフィードからのフレームであり得る。いくつかの実装形態では、複数の画像（例えば、ビデオフィードからの複数のフレーム）が処理されて、手術用器具の第１の集計が決定される。いくつかの実装形態では、画像はカラー画像であるかまたはそれを含むが、他の実装形態では、画像は、深度画像（例えば、赤外線、立体視、超音波など）、ハイパースペクトル画像、または他の適切な種類の画像であるか、またはそれを含む。さらに、１つまたは複数の手術用器具の複数の画像は、同時に、ほぼ同時に、または順次取得され得、異なるタイプ（例えば、深度画像と組み合わされたカラー画像）であり得る。一般に、１つまたは複数のプロセッサは、１つまたは複数の画像を受信するか、１つまたは複数の画像を分析するか、またはその両方を行うように構成され得る。さらに、１つまたは複数のプロセッサは、計算技術（例えば、コンピュータビジョン、機械学習、深層学習、またはそれらの任意の適切な組み合わせを使用する）を実装して、１つまたは複数の手術用器具を識別し、１つまたは複数の手術用器具を集計し、またはその両方を行うことができる。１つまたは複数のプロセッサが受信した画像には、１つまたは複数の手術用器具が描写されている。そのようなプロセッサは、モバイルコンピューティングデバイスなどのコンピューティングデバイスに実装することができる。いくつかの実装形態では、コンピューティングデバイス上で実行可能なモバイルアプリケーションを、以下に説明する変形のいずれかと組み合わせて使用して、手術用器具の第１の集計に関連するデータを取得、受信、および処理することができる。
【0025】
いくつかの例示的な実施形態では、画像分析を使用して手術用器具の第１の集計を決定することは、以下の操作を含む。ユーザは、手術用繊維などの１つまたは複数の手術用器具を含む包装を取得し、その包装を手術室に持ち込む。ユーザは、１つまたは複数の手術用器具を包装から取り出し、手術用器具を分離して、テーブルなどの表面に配置することができる。次に、ユーザは、モバイルコンピューティングデバイス上のカメラなどの画像化システムを使用して、テーブル上の手術用器具の１つまたは複数の画像を取得することができる。次に、モバイルコンピューティングデバイスのプロセッサは、画像を分析して、画像内の個別の手術用器具を識別し、画像内の手術用器具の数を集計するか、その他の方法で定量化するか、またはその両方を行う。例えば、手術用器具の第１の集計は、コンピュータビジョン、機械学習、深層学習技術、またはそれらの任意の適切な組み合わせなどの計算技術を使用して決定することができ、手術用器具の第２の集計を決定することに関して、以下でさらに詳細に説明されるもののいずれか１つまたは複数を含む。プロセッサは、手術用器具の検出および集計に関する情報をメモリに記憶することができる。いくつかの実装形態では、第１の集計の決定は、画像内でプロセッサが集計した手術用器具の数を以前に集計された手術用器具の数に追加することによって第１の集計を更新することを含む（例えば、前の時点で撮影された画像に描写されている手術用器具）。追加的または代替的に、第１の集計の決定は、ある時点で撮影された画像内の手術用器具の数を集計することを含み得る（例えば、以前に手術用器具が集計されていない場合）。
【0026】
いくつかの例示的な実施形態では、１つまたは複数の計算技術は、手術用器具の第１の集計を決定するために、ユーザの特徴的な腕の動きを検出することを含む。特徴的な腕の動きは、任意の適切な方法で特徴付けることができる。例えば、特徴的な腕の動きの検出には、ユーザは包装から手術用繊維を取り除くときに、手術処置の際に医療従事者が手術用繊維を表面に「配り」、それらを集計することが多いため、ユーザが手術用器具を分離する際の「対処」動作を識別することが含まれ得る。カメラを備えた画像化システムは、システムがユーザの腕の動きを見るように配置され得（例えば、正面図、側面図、俯瞰図、またはそれらの任意の適切な組み合わせ）、プロセッサは、静止フレーム画像またはビデオを画像化システムから受信し得る。ユーザが手術用繊維を包装から取り出して表面に手術用繊維を配置するときのスイープする（例えば、配る）腕の動きは、画像化システムおよび計算分析（例えば、プロセッサによって実行される）を使用して検出することができる。したがって、プロセッサによって検出された各腕の動きは、集計された手術用器具に対応し得、手術用器具の第１の集計に寄与し得る。
【0027】
特定の例示的な実施形態では、１つまたは複数の計算技術は、重量情報を利用して、第１の集計を決定する。例えば、手術用器具を順次はかりに配置することができ、手術用器具の第１の集計を決定するために、増分重量変化を１つまたは複数のプロセッサによって検出することができる。すなわち、追加の手術用器具がはかりに配置されたときに発生する増分重量変化に基づいて、プロセッサは、追加の手術用器具の存在を検出することができる可能性がある。プロセッサが増分重量変化を検出するたびに、プロセッサは第１の集計を増やすことができる。
【0028】
追加的または代替的に、いくつかの例示的な実施形態によれば、複数の手術用器具をはかりに配置することができ、各個々の手術用器具の重量に関する情報を使用して、手術用器具の第１の集計を決定することができる。例えば、ユーザは、ユーザインターフェースを介して、計量される手術用器具のタイプを入力するように促され得る。手術用器具のタイプは、例えば、既存の手術用器具タイプのデータベースを検索することによって、手術用器具タイプの階層メニューをナビゲートすることによって、または手術用器具タイプを入力することによって入力することができる。手術用器具のタイプは、例えば、機能（例えば、繊維、手術用器材のタイプなど）またはブランド、サイズ、材料などの器具固有の特性に基づいて分類されるか、その他の方法で区別され得る。追加的または代替的に、手術用器具タイプは、他の識別に基づいて決定され得る（例えば、手術用器具タイプに関連付けられたバーコードまたは無線周波数識別（ＲＦＩＤ）タグを走査する）。はかりと通信するプロセッサは、受け入れた手術用器具のタイプに基づいて、単一の手術用器具の重量に関する情報を受信することができる。したがって、手術用器具の重量に関する情報は、ユーザによって手動で入力されるか、ルックアップテーブルのメモリに記憶されるか、または手術用器具上のバーコードまたはＲＦＩＤタグなどの電子タグを走査することによって取得され得る。単一の手術用器具の重量に関する情報に基づいて、プロセッサは、複数の手術用器具の総重量を単一の手術用器具の既知の重量で割ることによって、はかり上の手術用器具の数を決定することができる。
【0029】
上記のように、モバイルアプリケーションは、第１の集計を決定する１つまたは複数の重量ベースの方法と組み合わせて使用することができる。図３は、はかりの使用を介して第１の集計を決定することに関連する情報を示すグラフィカルユーザインターフェース３００の例示的な実施形態を示す。図３のグラフィカルユーザインターフェースは、集計されている手術用器具３１０のタイプ、および第１の集計の現在の決定３２０を表示する。グラフィカルユーザインターフェース３００は、はかり３３０上に新しい手術用器具を配置するようにユーザに指示する。さらに、グラフィカルユーザインターフェース３００は、ユーザが第１の集計を手動で無効（３４０ａ）にして手動集計を提供し、第１の集計を終了（３４０ｂ）することを可能にするために選択可能なアイコン３４０ａおよび３４０ｂを提供する（例えば、選択したタイプのすべての手術用器具が、少なくとも今のところ、第１の集計に集計されていることを示す）。
【0030】
いくつかの例示的な実施形態では、第１の集計を追加的または代替的に決定する１つまたは複数の計算技術は、走査可能なタグ（例えば、ＲＦＩＤ、バーコード、またはそれらの任意の適切な組み合わせ）の使用を含む。例えば、手術用器具は、手術用器具が手術室に導入されるとき、それらが包装から取り出されるとき、または使用前のある他の時点で走査され得る個々のＲＦＩＤタグを含み得る。他の状況では、手術用器具の包装は、走査可能なタグの１回の走査で複数の手術用器具の所在確認をすることができるように構成された走査可能なタグを含み得る。例えば、手術用器具の包装は、第１の集計に含めるために、包装内の器具の数をプロセッサに通信する１つの走査可能なタグを含み得る。したがって、第１の集計を決定する方法は、第１の集計を決定するために、手術用器具または手術用器具の包装上のタグを走査することを含み得る。
【0031】
第１の集計の決定は、上記の方法のうちの１つまたは複数を含み得る。いくつかの例示的な実施形態では、第１の集計を決定する複数の方法を使用して、第１の集計の精度を検証する。第１の集計を決定する方法は、任意の適切な方法で組み合わせることができる。例えば、はかりの増分重量変化を検出する、または単一の手術用器具に関する既知の重量情報を利用するなどの重量ベースの方法を、画像内の手術用器具を識別、集計するために１つまたは複数の計算技術を使用するなどの画像ベースの方法と組み合わせることができる。別の例として、画像ベースの方法は、ユーザの特徴的な動きの認識を含む１つまたは複数の計算技術と組み合わせることができる。１つまたは複数の手動集計技術を使用して、第１の集計を決定するための本明細書に記載の方法のいずれか１つまたは複数を検証することができる。いくつかの例示的な実施形態では、モバイルアプリケーションは、計算技術を使用して生成された第１の集計の決定を検証するようにユーザに促す。いくつかの例示的な実施形態では、図３に関して上記で説明したように、この方法は、ユーザが第１の集計が不正確であると決定した場合に、ユーザが第１の集計の自動または計算による決定を無効にすることを可能にすることを含む。
【0032】
いくつかの例示的な実施形態では、手術用器具の第１の集計の決定は、手術用器具を分類することを含む。第１の集計の決定には、異なる手術用器具の区別、同じ手術用器具の異なるタイプの決定、またはその両方が含まれ得る。例えば、異なるタイプの手術用繊維は、互いに区別され得る（例えば、材料、機能、サイズ、ブランド、またはそれらの任意の適切な組み合わせによって）。別の例として、２つの異なるタイプの手術用器具を互いに区別することができる（例えば、メスをはさみの対から区別する）。本明細書に記載の計算技術のいずれか１つまたは複数を含む任意の適切な方法を使用して、１つまたは複数の手術用繊維のタイプなどの１つまたは複数の手術用器具のタイプを決定することができる。いくつかの実装形態では、第１の集計の決定は、タイプに関係なく、集計されたすべての手術用器具の合計の第１の集計に加えて、第１の集計の別個のカテゴリを示すことを含む。例えば、第１の集計は、１８インチ×１８インチの手術用繊維のタイプ固有の第１の集計、および４インチ×４インチの手術用繊維の別のタイプ固有の第１の集計を含み得る。
【0033】
第１の集計を決定するための本明細書に記載の方法のいずれかを、第２の集計を決定するために追加的または代替的に使用することができる。同様に、第１の集計を決定するための本明細書に記載の方法のいずれかを追加的または代替的に使用して、手術用器具の任意の他の適切な分析を実行することができる（例えば、以下に説明するように、使用済み器具の追跡、未使用器具の追跡、またはその両方）。
【0034】
第２の集計を決定する例
手術用器具を追跡するための方法のいくつかの例示的な実施形態は、手術用器具の第２の集計を決定することをさらに含む。上記のように、手術用器具の第２の集計は、手術用器具の第１の集計と比較することができる。第２の集計は、処置（例えば、手術処置などの医療処置）の任意の適切な時点で決定することができる。例えば、第２の集計は、処置の開始時点と終了時点との間の、処置中の中間時点で決定される「中間集計」であり得る。中間集計の決定は、処置の過程中（例えば、全体を通して）（例えば、手術用器具が使用されるか、または廃棄を意図して指定されるとき）、手術用器具の指標カウンタを更新することを含み得る。中間集計を第１の集計と比較して、処置の過程で現場に残っている「使用済み」の手術用器具の数を示すことができる。第２の集計は、処置の最後の最終集計にもなり得る。最終集計を第１の集計と比較して、すべての手術用器具が所在確認されているかどうかを決定し、処置を受けている患者体内に手術用器具が保持されるリスクを制限することが望ましい場合がある。処置の終了は、任意の適切な方法で示され得る。例えば、処置の終了は、患者が手術室から出される準備ができたとき（例えば、手術部位が閉鎖された後）、または患者の手術部位が閉鎖される前、しかし手術処置が完了した後であり得る。
手術用器具を追跡するための方法のいくつかの例示的な実施形態は、手術用器具の第２の集計を決定することをさらに含む。上記のように、手術用器具の第２の集計は、手術用器具の第１の集計と比較することができる。第２の集計は、処置（例えば、手術処置などの医療処置）の任意の適切な時点で決定することができる。例えば、第２の集計は、処置の開始時点と終了時点との間の、処置中の中間時点で決定される「中間集計」であり得る。中間集計の決定は、処置の過程中（例えば、全体を通して）（例えば、手術用器具が使用されるか、または廃棄を意図して指定されるとき）、手術用器具の指標カウンタを更新することを含み得る。中間集計を第１の集計と比較して、処置の過程で現場に残っている「使用済み」の手術用器具の数を示すことができる。第２の集計は、処置の最後の最終集計にもなり得る。最終集計を第１の集計と比較して、すべての手術用器具が所在確認されているかどうかを決定し、処置を受けている患者体内に手術用器具が保持されるリスクを制限することが望ましい場合がある。処置の終了は、任意の適切な方法で示され得る。例えば、処置の終了は、患者が手術室から出される準備ができたとき（例えば、手術部位が閉鎖された後）、または患者の手術部位が閉鎖される前、しかし手術処置が完了した後であり得る。
【0035】
第２の集計を決定するための本明細書に記載の方法のいずれかを、追加的にまたは代替的に、第１の集計を決定するために使用することができる。同様に、第２の集計を決定するための本明細書に記載の方法のいずれかを追加的または代替的に使用して、手術用器具の任意の他の適切な分析を実行することができる（例えば、以下に説明するように、使用済み器具の追跡、未使用器具の追跡、またはその両方）。
【0036】
集計バッグの使用例
いくつかの例示的な実施形態では、手術用器具を集計することは、手術用繊維の所在を確認するための集計バッグの使用を含む。集計バッグを使用すると、手術用繊維の正確で系統的な集計が容易になり、手術用器具が患者体内に保持されるリスクが軽減され得る。１人または複数のユーザは、効率的かつ正確な集計を容易にするために、廃棄されるように指定された手術用繊維を集計バッグのポケットに入れることができる。さらに、手術用繊維または他の器具の廃棄は、いくつかの例示的な実施形態では、多段階の器具収集プロセスを含み得る。例えば、一部の手術室の処置では、手術用繊維が処置で使用された後、それらは１つまたは複数の収集容器（例えば、手術台の近くまたは手術室内の別の場所に配置されたプラスチックライナーで裏打ちされた金属製のバケツの例の形の「キックバケツ」）に蓄積され得る。処置中または処置後に、１人または複数の医療従事者は、その後、１つまたは複数の収集容器から手術用繊維を取り出し、集計するために手術用器具を集計バッグに配置することができる。他の例示的な実施形態では、手術用繊維は、別個の収集容器を使用せずに、集計バッグに直接配置することができる。処置で使用されるすべての手術用繊維は、集計バッグを使用して所在を確認することができる。上記のように、「使用される」という用語は、血液または他の液体を吸収するために使用された手術用繊維に限定されず、手術室に導入され、その後廃棄可能と見なされるか、またはその他の方法で廃棄されるように指定された任意の手術用繊維を指す場合がある。いくつかの例示的な実施形態によれば、手術用繊維の手動集計は、以下に記載されるような特定のプロトコルに従って、手術用繊維などの手術用器具を集計バッグの区画に配置することを含む。１つまたは複数の計算技術を実装するものなど、手術用器具の所在を確認する１つまたは複数の方法を使用して、１つまたは複数の集計バッグの使用による手動集計に関連するエラーを自動化および低減することができる。
いくつかの例示的な実施形態では、手術用器具を集計することは、手術用繊維の所在を確認するための集計バッグの使用を含む。集計バッグを使用すると、手術用繊維の正確で系統的な集計が容易になり、手術用器具が患者体内に保持されるリスクが軽減され得る。１人または複数のユーザは、効率的かつ正確な集計を容易にするために、廃棄されるように指定された手術用繊維を集計バッグのポケットに入れることができる。さらに、手術用繊維または他の器具の廃棄は、いくつかの例示的な実施形態では、多段階の器具収集プロセスを含み得る。例えば、一部の手術室の処置では、手術用繊維が処置で使用された後、それらは１つまたは複数の収集容器（例えば、手術台の近くまたは手術室内の別の場所に配置されたプラスチックライナーで裏打ちされた金属製のバケツの例の形の「キックバケツ」）に蓄積され得る。処置中または処置後に、１人または複数の医療従事者は、その後、１つまたは複数の収集容器から手術用繊維を取り出し、集計するために手術用器具を集計バッグに配置することができる。他の例示的な実施形態では、手術用繊維は、別個の収集容器を使用せずに、集計バッグに直接配置することができる。処置で使用されるすべての手術用繊維は、集計バッグを使用して所在を確認することができる。上記のように、「使用される」という用語は、血液または他の液体を吸収するために使用された手術用繊維に限定されず、手術室に導入され、その後廃棄可能と見なされるか、またはその他の方法で廃棄されるように指定された任意の手術用繊維を指す場合がある。いくつかの例示的な実施形態によれば、手術用繊維の手動集計は、以下に記載されるような特定のプロトコルに従って、手術用繊維などの手術用器具を集計バッグの区画に配置することを含む。１つまたは複数の計算技術を実装するものなど、手術用器具の所在を確認する１つまたは複数の方法を使用して、１つまたは複数の集計バッグの使用による手動集計に関連するエラーを自動化および低減することができる。
【0037】
いくつかの状況では、医療従事者は、１つまたは複数の集計バッグを使用して手術用器具を集計する際に標準化された手順またはプロトコルを使用することができる。図６は、手術室で使用するためのそのようなプロトコルの１つを示している。器具は、例えば、下から上、および右から左のように、番号で示される順序で、集計バッグ６００のポケット６１０に入れられる。したがって、手順が正しく実行されると、最初に充填されたポケットは右下の隅部のポケット（ポケット１）になり、最後に充填されたポケットは左上の隅部のポケット（ポケット１０）になる。他のプロトコルによれば、集計バッグ６００は、上から下へ、および左から右へ充填され得る。しかし、他の適切なプロトコルに従うことができる。
【0038】
図４は、医療処置で使用される集計バッグ４００を概略的に示している。集計バッグ４００は、裏打ち４０２および複数のポケット４１０または他の区画を備える。図４において、集計バッグ４００は、長方形の配列に配置された１０個のポケットを含む。図４に示されるように、１０個のポケット４１０は５列に配置され、各列はポケット４１０のうちの２つを含む。各列は、例えば、裏打ち４０２材料と前面材料との間に形成されたより大きなポケット４１２を含み得、より大きなポケット４１２は、より大きなポケット４１２に継ぎ目を形成するシール４１４を備えた２つのより小さなポケット４１０に分割され得る。しかしながら、集計バッグ４００は、任意の適切な数のポケット４１０を含むことができ、ポケット４１０は、任意の適切な方法で構成することができる。例えば、ポケット４１０のいくつかまたはすべては別個の区画であり得、ポケット４１０のいくつかまたはすべては、各ポケット４１０がシールによって分離された単一のより大きなポケット（例えば、より大きなポケット４１２）、またはその任意の適切な組み合わせから作製され得る。集計バッグ４００は、ポール４３０（例えば、静脈内（ＩＶ）ポール）などのスタンドに取り付けることができる。ポール４３０は、１つまたは複数（例えば、２つ）のフック４３２を含む横方向の取り付けロッド４３１を含み得る。集計バッグ４００は、集計バッグ４００がフック４３２から吊るされることを可能にする１つまたは複数（例えば、２つ）の開口部４０４を含み得る。図４に示される集計バッグ４００は、長方形であり、１０個の長方形のポケット４１０を含み、集計バッグ４００およびそのポケット４１０は、任意の適切な構成であり得る。
【0039】
集計バッグ４００は、任意の適切な材料を含み得る（例えば、その材料から作製され得る）。例えば、集計バッグ４００の裏打ち４０２は、ポリマー、プラスチック、シリコーン、ナイロン、レーヨン、任意の他の適切な材料、またはそれらの任意の適切な組み合わせなどの可撓性材料で作ることができる。別の例として、集計バッグ４００の裏打ち４０２は、剛性プラスチック、ポリマー、金属、任意の他の適切な材料、またはそれらの任意の適切な組み合わせなどのより剛性のある材料から構成され得る。集計バッグ４００の裏打ち４０２は、透明、半透明、不透明、着色、またはそれらの任意の適切な組み合わせであり得る。例えば、裏打ち４０２は不透明な青色であり得る。不透明で着色された裏打ち４０２（例えば、不透明な青）は、集計バッグ４００を複数の集計バッグの中から個別に識別しやすくすることができ（例えば、複数の集計バッグが同じポール４３０上で互いの前に層状になっている場合、または複数のポール（例えば、ポール４３０）が互いの前に層状にされている場合）、手術用繊維が際立っている対照的な背景を提供し得る。ポケット４１０は、裏打ち４０２と同じまたは異なる材料で作ることができる。例えば、ポケット４１０は、可撓性プラスチック、シリコーン、またはポリマー材料で作ることができる。可撓性材料で作られたポケット４１０は、手術用繊維をその中に容易に配置することを可能にするという利点を提供し得る。ポケット４１０はまた、透明または不透明であり得る。いくつかの例示的な実施形態では、１つまたは複数のポケット４１０は、手術用器具の容易な視覚化および集計を可能にするために透明である。
【0040】
図４に示される集計バッグ４００は、長方形であり、１０個の長方形のポケット４１０を含み、集計バッグ４００は、任意の適切な構成であり得る。例えば、集計バッグ４００の裏打ち４０２は、長方形、実質的に正方形の形状、楕円形、三角形、または任意の適切な形状であり得る。集計バッグ４００は、図４に示されるように、１０個のポケット４１０を有する必要はなく、任意の適切な数のポケット４１０を含むことができる。例えば、集計バッグは、２、３、４、５、６、７、８、９、１０、１１、１２、１３、１４、１５、１６、１７、１８、１９、２０個、または任意の適切な数のポケット４１０を含み得る。図４は、ポール４３０から吊るされるように構成された集計バッグ４００を示しており、集計バッグ４００は、任意の適切な方法で取り付けられ得る。例えば、集計バッグ４００は、任意の適切な位置に１つまたは複数の開口部４０４または任意の他の適切な取り付け機構を有し得る。例えば、集計バッグは、壁のフックに取り付けられるように構成され得るか、または上部またはドアまたはキャビネットの上に配置されるように構成されたフックまたは取り付けロッドに取り付けられ得る。別の例として、集計バッグ４００は、接着剤または他の適切な留め具で壁に取り付けられ得る。さらに、集計バッグ４００は、ポール（例えば、ＩＶポール）の寸法に適合するサイズにする必要はなく、集計バッグ４００、そのポケット４１０、またはその両方は、他の集計バッグ、それらのポケット、またはその両方とは異なるサイズにすることができ、様々なサイズの手術用繊維など、様々な種類の手術用器具を収容する。
【0041】
いくつかの例示的な実施形態では、ポール４３０はまた、画像化デバイスを取り付けるためのマウントを含み得る。１つまたは複数の画像化デバイスを使用して、第１の集計の決定、第２の集計の決定、またはその両方を含む、手術用器具を追跡するための方法の様々な構成要素（例えば、操作）で使用するための１つまたは複数の画像を生成することができる。特に、集計バッグ４００が取り付けられているポール４３０に取り付けられた１つまたは複数の画像化デバイスは、集計バッグ４００内の手術用器具の第２の集計を決定する際に使用され得る。例えば、画像化デバイス用のマウントは、ユーザにとって集計バッグ４００の画像の撮影（例えば、キャプチャ）を容易にすることができ、その結果、ユーザは、画像を撮影する間、画像化デバイスを保持する必要がない。１つまたは複数のマウントは、ポール４３０に固定的に取り付けられ得るか、またはポール４３０に取り外し可能に固定され得る。さらに、マウントは、ポール４３０に沿って調整可能であり（例えば、ポール４３０を垂直に上下に摺動するように構成され）、ポール４３０の周りで回転的に調整可能であり（例えば、ポール４３０の左側または右側に調整可能）、または両方であり得る。図５は、モバイルデバイス５５０（例えば、タブレットまたはスマートフォン）を保持するように構成されたポール５３０に取り付けられたマウント５４０を含む、集計バッグスタンド５００の例示的な実施形態を概略的に示す。示される例示的な実施形態では、マウント５４０は、モバイルデバイス５５０を安全かつ解放可能に保持するように構成されたグリップ５４２を含む。グリップ５４２は、例えば、マウント５４０とモバイルデバイス５５０との間の摩擦ばめ、調整可能なクランプ、マウント５４０およびモバイルデバイス５５０上の嵌合部品とのスナップフィット、１つまたは複数の磁石、マウント５４０またはモバイルデバイス５５０に取り付けられた取り外し可能な接着剤層、またはそれらの任意の適切な組み合わせなどを介して任意の適切な機構を使用してモバイルデバイス５５０を保持することができる。示される例示的な実施形態では、マウント５４０は、取り付け機構５４４によってポール５３０に固定されている。取り付け機構５４４は、クランプ、クラスプ、ヒンジ、ねじ山、１つまたは複数の留め具（例えば、機械的留め具、接着剤、両方）、またはそれらの任意の適切な組み合わせなどの任意の適切な取り付け機構を含むことができる。例えば、取り付け機構５４４は、ポール５３０の寸法に取り付け、それに調整するように構成された調整可能なクランプ（例えば、調整可能なジョー）または拡張可能なスリーブまたは他のインサート（例えば、膨張式のフォームなど）を含み得る。いくつかの例示的な実施形態では、取り付け機構５４４は、マウント５４０をポール５３０に結合するように構成された１つまたは複数の留め具を含む（例えば、マウント５４０およびポール５３０の開口部を通して挿入され、ナット、他のねじ山付き裏打ち、または他の留め具裏打ちで固定されたねじまたはボルト）。図５のマウント５４０は、ポール５３０から水平に延びるように描写されているが、マウント５４０は、モバイルデバイス５５０のカメラが、ポール５３０に取り付けられた集計バッグ（例えば、集計バッグ４００）の画像をキャプチャするように配置され得るように、任意の適切な角度で延びることができる。さらに、マウント５４０は、集計バッグスタンド５００の任意の適切な部分に固定することができる。例えば、マウント５４０は、集計バッグスタンド５００のポール５３０、取り付けロッド５３１、またはフック５３２に固定され得る。さらに、マウント５４０は、任意の適切な構成を有することができる。マウント５４０は、実質的に真っ直ぐであり得るか、またはマウント５４０は、湾曲した構成を含み得る。さらに、マウント５４０は、グースネック構造などを用いて、長さを調整可能、角度的に調整可能（例えば、マウント５４０とポール５３０との間の角度で調整可能）、またはそれらの任意の適切な組み合わせであり得る。これは、ユーザの特定のニーズまたは手元の処置に従って、ユーザがマウント５４０の位置を調整することを可能にするという利点を提供し得る。
【0042】
手術用器具を追跡するための計算技術の例
いくつかの例示的な実施形態では、１つまたは複数の計算技術を使用して、１つまたは複数の集計バッグ（例えば、集計バッグ４００）に配置された可能性のある手術用器具を識別、集計、または両方を行う。手術用器具の所在確認のプロセスを自動化および合理化するために、１つまたは複数の集計バッグと組み合わせて１つまたは複数のそのような計算技術を使用することが望ましい場合があり、１つまたは複数の集計の精度を向上させ、したがって、１つまたは複数の集計バッグを使用するためのプロトコルへのコンプライアンスを向上させることができる。例えば、集計バッグ４００の１つまたは複数の画像を撮影することができ、１つまたは複数の計算技術を使用して、集計バッグ４００内の任意の手術用繊維を識別および集計することができる（例えば、本書の他の場所で説明されているように、コンピュータビジョン、機械学習、または深層学習を使用する）。例えば、ユーザは、モバイルデバイス５５０（例えば、モバイルコンピューティングデバイス）の画像化システムなどの画像化システムを使用して、集計バッグ４００の画像を撮影することができる。図７は、モバイルデバイス７２０を使用して集計バッグ７３０の画像を撮影するユーザ７１０を概略的に示している。図７に示されるように、ユーザ７１０は、図７の破線で示されるように、集計バッグ７３０がカメラ７２２の視野内にあるように、カメラ７２２を備えたモバイルデバイス７２０の例示的な形態で画像化システムを配置することができる。モバイルデバイス７２０のカメラ７２２によって生成された１つまたは複数の画像は、本明細書に記載の１つまたは複数の計算技術を使用して分析することができる。図７は、画像を生成するために集計バッグ７３０の前にモバイルデバイス７２０を保持するユーザ７１０を示すが、画像化システム（例えば、モバイルデバイス７２０）は、マウント（例えば、図５に示されるマウント５４０）を介するなど、任意の適切な方法で、集計バッグ７３０に対して配置され得る。それは、集計バッグ７３０に近接しているか、または集計バッグ７３０のポケット（例えば、ポケット４１０）に向かって角度を付けられた集計バッグ７３０上に直接ある。
いくつかの例示的な実施形態では、１つまたは複数の計算技術を使用して、１つまたは複数の集計バッグ（例えば、集計バッグ４００）に配置された可能性のある手術用器具を識別、集計、または両方を行う。手術用器具の所在確認のプロセスを自動化および合理化するために、１つまたは複数の集計バッグと組み合わせて１つまたは複数のそのような計算技術を使用することが望ましい場合があり、１つまたは複数の集計の精度を向上させ、したがって、１つまたは複数の集計バッグを使用するためのプロトコルへのコンプライアンスを向上させることができる。例えば、集計バッグ４００の１つまたは複数の画像を撮影することができ、１つまたは複数の計算技術を使用して、集計バッグ４００内の任意の手術用繊維を識別および集計することができる（例えば、本書の他の場所で説明されているように、コンピュータビジョン、機械学習、または深層学習を使用する）。例えば、ユーザは、モバイルデバイス５５０（例えば、モバイルコンピューティングデバイス）の画像化システムなどの画像化システムを使用して、集計バッグ４００の画像を撮影することができる。図７は、モバイルデバイス７２０を使用して集計バッグ７３０の画像を撮影するユーザ７１０を概略的に示している。図７に示されるように、ユーザ７１０は、図７の破線で示されるように、集計バッグ７３０がカメラ７２２の視野内にあるように、カメラ７２２を備えたモバイルデバイス７２０の例示的な形態で画像化システムを配置することができる。モバイルデバイス７２０のカメラ７２２によって生成された１つまたは複数の画像は、本明細書に記載の１つまたは複数の計算技術を使用して分析することができる。図７は、画像を生成するために集計バッグ７３０の前にモバイルデバイス７２０を保持するユーザ７１０を示すが、画像化システム（例えば、モバイルデバイス７２０）は、マウント（例えば、図５に示されるマウント５４０）を介するなど、任意の適切な方法で、集計バッグ７３０に対して配置され得る。それは、集計バッグ７３０に近接しているか、または集計バッグ７３０のポケット（例えば、ポケット４１０）に向かって角度を付けられた集計バッグ７３０上に直接ある。
【0043】
追跡アルゴリズムのモデル例
図８は、いくつかの例示的な実施形態による方法を概略的に示し、様々なトレーニングされたモデルと、１つまたは複数の集計バッグ（例えば、集計バッグ４００）に配置された手術用器具を追跡するために使用される方法８００（例えば、追跡アルゴリズム）の他の可能な構成要素との間の例示的な関係およびデータフローを示す。方法８００に含まれる各モデルは、機械学習、深層学習、またはその両方を使用して、下位目標を達成できる。方法８００の各モデルのアルゴリズムを組み合わせて（例えば、独自の方法で）、１つまたは複数の集計バッグ内の手術用器具の正確な所在確認に到達し、ユーザに追加情報を提供することができる。いくつかの例示的な実施形態では、手術用器具を追跡する方法は、２つ以上の独立した集計アプローチ、ならびに１つまたは複数のエラー低減技術に依存して、手術用器具を集計する堅牢な方法に到達する。図８を参照して説明した方法８００（例えば、全体的な追跡アルゴリズムと見なされる）は集計バッグに関して説明されているが、方法８００は、任意の適切な方法で構成または含まれる器具（例えば、手術用器具）を集計するために使用され得る。さらに、以下に示される方法８００の段階は、それらが図８に示されるフローチャートに記載または描写される順序で実行される必要はなく、任意の適切な順序で実行することができる。
図８は、いくつかの例示的な実施形態による方法を概略的に示し、様々なトレーニングされたモデルと、１つまたは複数の集計バッグ（例えば、集計バッグ４００）に配置された手術用器具を追跡するために使用される方法８００（例えば、追跡アルゴリズム）の他の可能な構成要素との間の例示的な関係およびデータフローを示す。方法８００に含まれる各モデルは、機械学習、深層学習、またはその両方を使用して、下位目標を達成できる。方法８００の各モデルのアルゴリズムを組み合わせて（例えば、独自の方法で）、１つまたは複数の集計バッグ内の手術用器具の正確な所在確認に到達し、ユーザに追加情報を提供することができる。いくつかの例示的な実施形態では、手術用器具を追跡する方法は、２つ以上の独立した集計アプローチ、ならびに１つまたは複数のエラー低減技術に依存して、手術用器具を集計する堅牢な方法に到達する。図８を参照して説明した方法８００（例えば、全体的な追跡アルゴリズムと見なされる）は集計バッグに関して説明されているが、方法８００は、任意の適切な方法で構成または含まれる器具（例えば、手術用器具）を集計するために使用され得る。さらに、以下に示される方法８００の段階は、それらが図８に示されるフローチャートに記載または描写される順序で実行される必要はなく、任意の適切な順序で実行することができる。
【0044】
図８に示されるように、方法８００の入力は、１つまたは複数の集計バッグ（８１０）の画像である。１つまたは複数の集計バッグ８１０の画像は、任意の適切な画像化デバイスを使用して、任意の適切な方法で取得することができる。いくつかの例示的な実施形態では、ユーザは、モバイルデバイス７２０（例えば、携帯電話またはタブレット）上のカメラ７２２を使用して、集計バッグ７３０の画像を取得する。しかしながら、デジタルカメラ、コンピュータ上のカメラ、ビデオカメラなどのような様々な画像化システムのうちの任意の１つまたは複数を使用して、入力画像を取得することができる。次に、画像はプロセッサによって受信され得る。画像は、その後の分析のために前処理８２０され得る。画像の前処理は、例えば、明るさの正規化、コントラスト補正、１つまたは複数の深層学習またはコンピュータビジョンモデルによる処理に適した寸法への画像サイズの縮小、またはそれらの任意の適切な組み合わせを含み得る。画像化された集計バッグ（例えば、集計バッグ４００または７３０）内の手術用器具の集計（例えば、第１の集計、第２の集計、さらなる集計、またはそれらの任意の適切な組み合わせ）の決定は、画像内の集計バッグの存在を検出するための集計バッグ検出モデル８４０、幾何学的特徴（例えば、集計バッグおよび集計バッグ内のその１つまたは複数のポケットの寸法および他の特徴）を符号化するための集計バッグ形状モデル８３０、集計バッグ内の任意の器具の存在を検出するための手術用器具検出モデル８５０、各ポケット内の手術用器具（例えば、一般的または特定のタイプ）の有無を決定するための空／満杯ポケット分類器モデル８６０、または画像化された集計バッグ内の手術用器具に関する情報を合成するため、画像化された集計バッグ内の手術用器具の集計を提供するため、またはその両方を行うための器具集計モデル８７０などの様々な計算技術のうちの１つまたは複数を用いて画像を分析することを含み得る。いくつかの例示的な実施形態では、任意の前処理操作の後、方法８００は、器具集計の２つ以上の経路を利用する。例えば、１つの経路は、集計バッグ内の手術用器具を直接検出することに基づき得、１つの経路は、集計バッグ内のポケットを識別し、ポケットを空または満杯として分類することに基づき得る。次に、方法８００は、複数の集計経路の結果を組み合わせることができ、１つまたは複数のエラー検出アルゴリズムを使用して、手術用器具の最終的な所在確認に到達することができる。
【0045】
集計バッグ検出モデル８４０は、分析のために、１つまたは複数の集計バッグの前処理された画像、あるいは、未処理の画像を受信することができる。集計バッグ検出モデル８４０は、１つまたは複数のトレーニングされた機械学習または深層学習モデルに少なくとも部分的に基づいて、画像内の少なくとも１つの集計バッグの存在を識別し得る。適切な物体検出モデルの例は、より高速な領域ベースの畳み込みニューラルネットワーク（Ｒ－ＣＮＮ）、単一の短い検出器（ＳＳＤ）、および領域ベースの完全畳み込みネットワーク（Ｒ－ＦＣＮ）を含み、物体検出タスクで高い性能を実現できる。集計バッグ検出モデル８４０はまた、そのようなトレーニングされたモデルの１つまたは複数を利用して、画像内の各集計バッグの位置を識別し、集計バッグの１つまたは複数のエッジ、隅部、または両方、またはそれらの任意の適切な組み合わせを識別または集計８４４することができる。例えば、図９および１０に示される例示的なグラフィカルユーザインターフェースに示されるように、集計バッグ検出モデル８４０は、集計バッグ９１０の存在を検出し、表示された画像（例えば、対応する境界ボックスで示された）において、集計バッグ９１０の位置、集計バッグ９１０の１つまたは複数の境界、または両方を示すことができる。いくつかの例示的な実施形態では、集計バッグ検出モデル８４０は、集計バッグの識別に従って集計バッグ画像をトリミングし（例えば、識別された集計バッグに対応する画像の部分を実質的に分離するために）、後で使用するためにトリミングされた集計バッグ画像８４２を出力することができる。
【0046】
集計バッグ形状モデル８３０は、１つまたは複数の集計バッグに関する幾何学的情報、例えば、集計バッグの垂直および水平寸法（例えば、集計バッグ４００または７３０）、そのポケットの位置（例えば、ポケット４１０）、またはその両方を符号化し得、識別された集計バッグの特定の幾何学的特徴を識別するのに役立つ。集計バッグ形状モデル８３０内に符号化された集計バッグ寸法８１２（例えば、他の幾何学的情報の有無にかかわらず）は、例えば、集計バッグの製造元（例えば、ブランドまたは製造業者）、モデル、またはその両方に依存し得、事前に符号化するか（例えば、集計バッグの特定のメーカーまたはモデルに関連付けられているように手動で入力する）、トレーニングデータから学習することができる。いくつかの例示的な実施形態では、集計バッグ形状モデル８３０は、集計バッグの形状を識別、分析しまたはその両方を行うのに役立ち得る他の適切な情報の有無にかかわらず、集計バッグの隅部８１４またはエッジの位置などの１つまたは複数の入力を受け入れることができる。いくつかの例示的な実施形態では、集計バッグの形状は、集計バッグの製造元の知識に少なくとも部分的に基づいて識別され、これは、ユーザ入力として（例えば、モバイルアプリケーションのユーザインターフェースを介して）ユーザによって入力され得、集計バッグ、その包装上の識別子コード（例えば、バーコード、ＱＲコード(登録商標）など）を走査するか、または集計バッグの画像から直接集計バッグの製造元を認識することによって（例えば、ラベル、特徴的な色の特徴、特徴的な幾何学的特徴、またはそれらの任意の適切な組み合わせの光学式文字認識に基づいて）識別され得る。例えば、ユーザは、集計バッグの製造元を入力することができ、形状モデルは、既知の情報を使用して、集計バッグの幾何学的情報を決定するのを助けることができる。別の例として、ユーザは、参照マーカーを適用するか、または集計バッグ、そのポケット、またはその両方を定義するための１つまたは複数の仮想輪郭のサイズを変更することによって、モバイルデバイス上で集計バッグ、そのポケット、またはその両方の境界を手動で識別することができる。集計バッグ形状モデルは、ホモグラフィまたは１つまたは複数の他の透視変換を使用して、集計のポケットの位置を自動的に識別することができる。これらの位置に基づいて、集計バッグ形状モデル８３０は、空／満杯ポケット分類器モデル８６０による受け入れのために、各集計バッグポケットの画像をトリミングする。したがって、集計バッグ形状モデル８３０は、ポケット画像８３２（例えば、集計バッグポケット、トリミングされた画像セグメント、またはそれらの任意の適切な組み合わせに対応する画像の部分の識別）を提供することができ、これはまた、ポケット、それらのポケットの隅部８３４、またはその両方の位置に関する情報を含み得る。例えば、図９に示される例示的なグラフィカルユーザインターフェースに示されるように、集計バッグ形状モデル８３０は、集計バッグの位置、集計バッグのポケットの形状、またはその両方を検出し、表示された画像において集計バッグのポケット（例えば、ポケット９２０Ａ～９２０Ｃ）を示すことができ、対応する境界ボックスで示されるポケットを備える。
【0047】
上記のように、手術用器具を追跡する（例えば、集計することによる）ための方法８００の複数の例示的な実施形態（例えば、変形）が存在する。いくつかの例示的な実施形態では、手術用器具検出モデル８５０は、深層学習アルゴリズムまたは他の適切な人工知能モデルを使用して、集計バッグ検出モデル８４０によって生成されるように、各手術用器具（例えば、各手術用繊維）およびトリミングされた集計バッグ画像８４２内の手術用器具の位置を識別する。手術用器具検出モデル８５０で使用される深層学習アルゴリズムは、集計バッグ画像の多様な配列を表すデータセット（例えば、参照データセットまたは他のトレーニングデータセット）でトレーニングされ得、それぞれに、画像内の各手術用器具のＩＤがラベル付けされている。したがって、手術用器具検出モデル８５０の深層学習アルゴリズムは、画像内の各集計バッグ内の手術用器具（例えば、手術用繊維）を識別、位置特定、またはその両方を行うことができる。手術用器具検出モデル８５０は、集計バッグ内の各手術用器具の境界に関するデータを生成することができる。手術用繊維の場合、これは、例えば、繊維の隅部８５２を識別することによって実行され得る。したがって、手術用器具検出モデル８５０は、１つまたは複数の集計バッグ内のすべての検出された手術用器具の位置を提供し、１つまたは複数の集計バッグ内の手術用器具の集計（例えば、第１の集計、第２の集計、さらなる集計、またはそれらの任意の適切な組み合わせ）の決定を可能にすることができる。
【0048】
特定の例示的な実施形態では、空／満杯ポケット分類器モデル８６０は、ポケットが集計バッグ形状モデル８３０によって識別された１つまたは複数の集計バッグの画像を分析することによって、各ポケットが満杯か空かを識別する。集計バッグ形状モデル８３０によって生成された各ポケットのトリミングされた画像は、空／満杯ポケット分類器モデル８６０によって受信される。空／満杯ポケット分類器モデル８６０は、どのポケットが空であり、どのポケットが満杯であるかを識別するために、空／満杯ポケット識別子でラベル付けされた集計バッグ画像のデータセットでトレーニングされた深層学習アルゴリズムを使用することができる。適切な物体分類ネットワークの例には、Ｉｎｃｅｐｔｉｏｎ、ＲｅｓＮｅｔ、ＭｏｂｉｌｅＮｅｔ、ＭｎａｓＮｅｔ、およびＥｆｆｉｃｉｅｎｔＮｅｔが含まれる。これらは、物体分類タスクで高い性能を実現し得る。空／満杯ポケット分類器モデル８６０の出力８６２は、１つまたは複数の集計バッグで、どのポケットが空であり、どのポケットが満杯であるかを示す情報を含む。したがって、空／満杯ポケット分類器モデル８６０は、１つまたは複数の集計バッグ内の手術用器具の集計（例えば、第１の集計、第２の集計、さらなる集計、またはそれらの任意の適切な組み合わせ）の決定を可能にする。図９および図１０は、空／満杯ポケット分類器モデル８６０の出力８６２に対応する表示例を示している。情報（例えば、手術用器具検出モデル８５０、空／満杯ポケット分類器モデル８６０、またはその両方から）の組み合わせに基づいて、集計バッグは、満杯の集計バッグ（例えば、図９および図１０に示されるように）、部分的に満杯の集計バッグ、または空の集計バッグとして識別され得る。さらに、図９および図１０に示されるように、集計バッグの画像内の各ポケットは、手術用スポンジ（例えば、ポケット９２０Ａおよび９２０Ｂ）などの検出された手術用器具を含むものとして、または検出された手術用器具（例えば、ポケット９２０Ｃ）を含まないものとして個別に識別され得る。器具集計モデル８７０は、１つまたは複数の前述のモデルによって生成された情報を合成して、分析された各画像に関する様々な情報を生成する。例えば、器具集計モデル８７０は、事前情報（例えば、決定された集計バッグの形状、手術用器具の検出、またはその両方）を利用し、後処理を実行することができ、１つまたは複数の手術用器具（手術用繊維など）、１つまたは複数の集計バッグ、またはその両方に関する情報に到達するか、それを提供し、最終的な手術用器具の数、集計バッグの位置、１つまたは複数の手術用器具の位置、１つまたは複数の空のポケットの位置、および１つまたは複数の満杯ポケットの位置などである。図８に示されるように、器具集計モデル８７０は、画像内の各集計バッグ８７２内の合計器具集計を決定することができる。例えば、器具集計モデル８７０は、１つまたは複数の前述のモデルからの情報を利用することができ、手術用器具検出モデル８５０、空／満杯ポケット分類器モデル８６０、またはその両方などであり、集計バッグ８７２あたりの手術用器具の数を決定する。さらに、いくつかの例示的な実施形態では、器具集計モデル８７０は、上記で説明した１つまたは複数の他のモデルからの情報を様々な方法で組み合わせて、複数の方法の組み合わせを使用して器具集計を決定し、各方法を使用して到達した集計を比較し（例えば、互いに数を検証する）、最終的な手術用器具集計を決定する。
【0049】
例えば、器具集計モデル８７０は、上記のように、手術用器具検出モデル８５０によって生成された手術用器具の第１の推定値と、上記のように、空／満杯ポケット分類器モデル８６０によって生成された手術用器具の第２の推定値とを比較し、手術用器具集計（例えば、手術用器具の第１の集計または手術用器具の第２の集計）を決定し得る。言い換えれば、器具集計モデル８７０は、２つの異なるタイプの深層学習モデルを使用して得られた、集計バッグ内の検出された手術用器具の位置を比較することができる（例えば、手術用器具検出モデル８５０による物体検出の結果を、空／満杯ポケット分類器モデル８６０による物体分類の結果と比較することによる）。いくつかの例示的な実施形態では、器具集計モデル８７０は、手術用器具集計の第１の推定値を決定するために、手術用器具検出モデル８５０によって識別および検出された手術用器具（例えば、手術用繊維）に関する情報を受信する。器具集計モデル８７０は、空／満杯ポケット分類器モデル８６０から生成された情報を使用して、手術用器具集計の第２の推定値を生成することができる。両方の方法を使用して生成された手術用器具集計が一致する場合、器具集計モデル８７０は、集計バッグ８７２あたりの器具の集計を提供する際の出力として一致する集計を使用することができる。２つの集計が一致しない場合、器具集計モデル８７０は、手術用器具検出モデル８５０と空／満杯ポケット分類器モデル８６０の出力を組み合わせるという独特で斬新なアプローチを使用することによって応答することができ、これには、以下に説明するアプローチなど、集計を修正し、追跡（例えば、集計）の精度を向上させるために、集計バッグの形状の知識を利用することが含まれ得る。
【0050】
器具集計モデル８７０はまた、１つまたは複数の器具集計推定値の１つまたは複数の決定を検証する１つまたは複数の方法を実行することができる（例えば、手術用器具検出モデル８５０と空／満杯ポケット分類器モデル８６０に基づく集計が一致しない場合）。例えば、器具集計モデル８７０は、集計バッグ形状モデル８３０によって識別または集計されたポケットの総数、および空／満杯ポケット分類器モデル８６０によって識別または集計された満杯のまたは空のポケットの総数を取り、手術用器具（例えば、手術用繊維）が、集計バッグのポケットにある（例えば、各満杯ポケットに手術用器具が１つしかないという仮定に基づく）数を決定することができる。例えば、集計バッグ形状モデル８３０によって識別されるポケットが１０個あり、１個のポケットが空としてラベル付けされているか、９個のポケットが満杯としてラベル付けされている場合、次に、器具集計モデル８７０は、この情報を使用して、手術用器具集計が９個であると決定することができる。
【0051】
図８に示されるように、追加の有用な情報は、手術用器具の１つまたは複数の集計の決定に加えて（例えば、集計バッグ内の手術用繊維の第１または第２の集計）、様々なモデルのうちの１つまたは複数から得られた情報に基づいて、方法８００に従って提供され得る。例えば、器具集計モデル８７０は、画像内の集計バッグ位置８７４を提供することができ、これは、視覚化のためにすべての集計バッグを自動的に強調表示するのに有用であり得る。別の例として、器具集計モデル８７０は、集計バッグのどのポケットが手術用器具を含むかの表示など、集計バッグ内の識別されたまたは集計された手術用器具の位置を提供し得る。この情報は、例えば、以下に説明するように、１つまたは複数のエラー修正方法で使用することができる。この情報は、器具集計プロトコル（例えば、手術用繊維を集計するためのプロトコル）へのコンプライアンスを決定するのにも役立ち得る。例えば、集計バッグの上部ポケットに手術用繊維があるが、集計バッグの下部ポケットが空の場合、これは、ユーザが集計バッグのポケットを下から上に充填する必要がある承認された集計プロトコルに従わなかったことを示し得る。有用な情報の別の例として、器具集計モデル８７０は、集計バッグの画像内の空のポケットおよび満杯ポケットの位置を提供し得る。これは、集計プロトコルへのコンプライアンスを決定するのにも役立ち、手術用器具の位置または手術用器具の数の検証、エンドユーザによる簡単な評価のための集計バッグ内の空のポケットの位置の強調表示、またはその両方として役立ち得る。
【0052】
モデルを組み合わせて集計エラーを減らす例
方法８００（例えば、手術用器具を追跡するための全体的な追跡アルゴリズムと見なされる）は、手術用器具検出モデル８５０および空／満杯ポケット分類器モデル８６０などの複数の（例えば、いくつかの）モデル（例えば、深層学習モデル）を組み合わせて、および集計バッグ形状の知識（例えば、集計バッグ形状モデル８３０から）を利用して、様々なエラーのタイプを削除または軽減することにより、追跡（例えば、集計）の精度を向上させる独特で斬新なアプローチを採用し得る。説明の目的のために、複数のモデルを組み合わせる２つの方法の例を以下に説明する。
方法８００（例えば、手術用器具を追跡するための全体的な追跡アルゴリズムと見なされる）は、手術用器具検出モデル８５０および空／満杯ポケット分類器モデル８６０などの複数の（例えば、いくつかの）モデル（例えば、深層学習モデル）を組み合わせて、および集計バッグ形状の知識（例えば、集計バッグ形状モデル８３０から）を利用して、様々なエラーのタイプを削除または軽減することにより、追跡（例えば、集計）の精度を向上させる独特で斬新なアプローチを採用し得る。説明の目的のために、複数のモデルを組み合わせる２つの方法の例を以下に説明する。
【0053】
全体的な追跡精度を改善するために複数のモデルを組み合わせる一例では、異なるモデルを組み合わせて、器具集計モデルで一般的なエラーを修正または対処することができる。例えば、第１のタイプのエラーは、手術用器具の存在の誤った検出（すなわち、手術用器具の不在の検出の失敗）があり、精度の低下および手術用器具の誤った集計につながる場合に発生する。第２のタイプのエラーは、手術用器具の不在の誤った検出（すなわち、手術用器具の存在の検出の失敗）がある場合に発生し、これは、回収率の低下および手術用器具の誤った集計につながる。
【0054】
方法８００のいくつかの例示的な実施形態では、これらのタイプのエラーの一方または両方は、アルゴリズムによる合致（例えば、アルゴリズムによるエラー修正）によって解決される。例えば、手術用器具の有無の誤った検出は、例えば、検出された手術用器具の位置が集計バッグの検出されたポケットの位置とよく一致するはずであるという仮定に少なくとも部分的に基づいて対処され得る。したがって、１つまたは複数のエラー修正モデルは、決定された位置が集計バッグポケットの決定された位置と一致しない「識別された」手術用器具を識別および拒否することができる。例えば、エラー修正モデルは、検出された手術用器具の中心（例えば、重心）と、集計バッグの形状から得られた最も近い集計バッグポケットの中心との間のユークリッド距離に基づいて、識別された手術用器具を拒否し得る。つまり、検出された手術用器具の中心と最も近い集計バッグポケットの中心との間のユークリッド距離が所定の閾値を超えている場合、エラー修正モデルは、識別された手術用器具をエラーとして（例えば、誤って識別されたとして）拒否し得、したがって、この識別を手術用器具の集計に含めない。残りの（拒否されなかった）識別された手術用器具と集計バッグポケットとの間の対応は、最短のユークリッド距離に基づいて確立され得る。すなわち、エラー修正モデルは、各器具に最も近い識別されたポケットを決定することによって（例えば、各手術用器具がポケットに対応することを検証するために）、手術用器具を特定のポケットと一致させ得る。
【0055】
対応が確立されると、器具検出結果と空／満杯ポケット分類結果との比較を実行することができる。例えば、手術用器具検出モデル８５０が実際に存在する手術用器具（上記の第２のタイプのエラーのインスタンス）を識別できない場合、空／満杯ポケット分類器モデル８６０が対応するポケットが満杯であることを識別するため、このエラーは（例えば、エラー修正モデルによって）修正することができる。同様に、手術用器具検出モデル８５０が、空／満杯分類器モデル８６０に基づいて空であると決定されたポケット内の手術用器具を誤って識別する場合、この検出のインスタンスは、（例えば、エラー修正モデルによって）拒否され得る。
【0056】
このアルゴリズムによる合致アプローチの利点の１つは、実装に必要なトレーニングデータが少なくて済み、単一のモデルを単独で使用する場合と比較して、手術用器具の追跡の性能が向上することである（例えば、手術用器具検出モデル８５０のみを使用するか、または空／満杯ポケット分類器モデル８６０のみを使用する）。
【0057】
他の例示的な実施形態では、全体的な追跡精度を改善し、集計エラーを低減することを目的として、複数のモデルを組み合わせて追跡アンサンブルネットワークを形成することができる。例えば、以下でさらに詳細に説明されるような１つまたは複数のトレーニング技術を使用することに加えて、手術用器具検出ネットワークのアンサンブルは、１つまたは複数の適切なアンサンブル学習技術（例えば、スナップショットアンサンブル）でトレーニングされ得る。
【0058】
例示的な例として、ペナルティ項を、手術用器具検出モデル８５０のトレーニングに追加することができる。具体的には、ペナルティ項を追加して、検出された位置が対応する（例えば最も近い）ポケット位置に近くない（例えば、閾値距離内にある）手術用器具の検出に自動的にペナルティを課すことにより、手術用器具検出モデル８５０の損失関数を修正することができる。ペナルティ項は、例えば、検出された手術用器具（例えば、手術用繊維）の隅部と集計バッグポケットの隅部（例えば、集計バッグ形状モデル８３０を使用して決定される）との間の距離に関連し得る。このペナルティ項を手術用器具検出モデル８５０のトレーニングに直接追加することは、集計バッグ（例えば、スポンジバッグまたは他の集計バッグ）の形状に関する事前の知識を組み込み、したがって、手術用器具検出モデル８５０の出力を、集計バッグのポケット（例えば、ポケットのグリッド）の位置の近くに効果的に制限する。さらに、手術用器具検出モデル８５０のエンドツーエンドトレーニングを実行して、トレーニング段階中に利用可能であった集計バッグの幾何学的情報を自動的に考慮することができる。
【0059】
さらに、この例では、異なるタイプの複数の器具検出ネットワークのアンサンブルは、ランダムに、またはＫ倍の方法などの、トレーニングデータセット（例えば、以下でさらに説明するデータセット）を変更すること、ネットワークの１つまたは複数のハイパーパラメータ（例えば、深度、正則化、ペナルティ重量、またはそれらの適切な組み合わせなどのハイパーパラメータ）を変更し、スナップショットアンサンブルなどのアンサンブル学習技術を実行することによってトレーニングできる。同様に、異なるタイプの複数の空／満杯ポケット分類ネットワークのアンサンブルは、ネットワークアーキテクチャを変更するか、ネットワークのハイパーパラメータを変更するか（例えば、上記のように）、またはそれらの任意の適切な組み合わせによってトレーニングできる。
【0060】
最後に、すべての異なる器具検出ネットワークおよびすべての空／満杯ポケット分類ネットワークからの結果は、追跡アンサンブルネットワークと呼ばれ得る新しい積み重ねられた一般化ネットワーク内で使用され得る。追跡アンサンブルネットワークは、各アンサンブルメンバーからの予測を最適に組み合わせる方法を学習するために、個別の検証データのセット（例えば、「ホールドアウト」検証セット）で個別にトレーニングすることができる。この別個のトレーニングは、追跡（例えば、集計）の全体的な精度、ならびに各手術用器具予測、各空／満杯ポケット予測、またはそれらの任意の適切な組み合わせの精度を改善するのに役立ち得る。例えば、追跡アンサンブルネットワークは、１０次元の占有ベクトルを評価し（例えば、「ｌ」が満杯ポケットを示し、「Ｏ」が空のポケットを示す１０ポケット集計バッグの場合）、それに応じて、予測された占有ベクトル（例えば、競合するアンサンブル器具検出ネットワークと空／満杯ポケット分類ネットワークのそれぞれから）とグラウンドトゥルース占有ベクトルの内積に基づいて損失関数を計算する。したがって、トレーニングされると、追跡アンサンブルネットワークは、方法８００の全体的な精度（例えば、全体的な追跡アルゴリズム）を改善するために、アンサンブル物体検出および物体分類ネットワークのそれぞれからの予測を計量することができる。したがって、上記のグリッドペナルティおよびアンサンブルアプローチは、実装するためにより多くのトレーニングデータを利用することができるが、それは、方法８００の性能をさらに改善することができる。
【0061】
トレーニングデータの収集例
上記のモデルの１つまたは複数のトレーニングの成功は、トレーニング例の代表的なデータセットを収集し、所望の最終目標のためにデータセット内の器具（例えば、手術用器具）に適切にラベルを付けることによって助けられ得る。そのようなデータセットの１つまたは複数は、例えば、代表的なものであり、手術室またはトレーニングされたモデルが使用される他の設定で見られると予想される集計バッグ画像の変形を含み得る。したがって、上記の方法８００（例えば、追跡アルゴリズム）のモデルの１つまたは複数などのモデルをトレーニングするために使用されるデータセットは、以下に説明するように、「良好な」画像および「悪い」画像を含み得る。
上記のモデルの１つまたは複数のトレーニングの成功は、トレーニング例の代表的なデータセットを収集し、所望の最終目標のためにデータセット内の器具（例えば、手術用器具）に適切にラベルを付けることによって助けられ得る。そのようなデータセットの１つまたは複数は、例えば、代表的なものであり、手術室またはトレーニングされたモデルが使用される他の設定で見られると予想される集計バッグ画像の変形を含み得る。したがって、上記の方法８００（例えば、追跡アルゴリズム）のモデルの１つまたは複数などのモデルをトレーニングするために使用されるデータセットは、以下に説明するように、「良好な」画像および「悪い」画像を含み得る。
【0062】
本明細書で説明されるモデルトレーニングのいくつかの例示的な実施形態では、良好な画像は、集計バッグの正しく垂直に向けられた完全な正面図（例えば、側面図、上面図、または角度のある図ではない）からの集計バッグを特徴とし得、バッグのどの部分も他の物体によってブロックされていない。バッグのテキストを読むのに十分な解像度で、良好な画像に焦点を合わせることができる。モバイルコンピューティングデバイスなどの一部の画像化デバイスは、デフォルトで十分な解像度で自動的に画像を撮影し得る。良好な画像の集計バッグには、無傷のポケット仕切りがあり（例えば、ポケットを分割する継ぎ目は裂けない）、各ポケットには０個または１個の手術用器具が含まれ得る。方法８００の１つまたは複数のモデルは、様々な医療処置の過程で予想される変形を描写する画像を含む、一連の良好な画像でトレーニングされ得る。例えば、トレーニングデータセットには、以下の表１に示すように、集計バッグ、画像の背景または設定、あるいはその両方の変形の１つまたは複数が含まれ得る。
【表1】
【0063】
本明細書で説明されるモデルトレーニングのいくつかの例示的な実施形態では、悪い画像には、集計バッグまたは手術用器具の特徴を検出するのが難しい画像など、一般に分析が難しい画像が含まれ得る（例えば、照明が悪い、画像がぼやけている、またはその両方が原因）。悪い画像は練習中にユーザから送信される可能性が高いため、悪い画像の変形について１つまたは複数のモデルをトレーニングして、集計バッグの不完全な画像に耐性のある１つまたは複数の堅牢な集計モデルを作成すると便利であり得る。これらの悪い画像は、集計バッグの間違った使用方法をユーザに警告し得る「ガードレール」アルゴリズムの作成を助けるためにも使用され得、悪い画像が撮影されたときにユーザに警告して、より良い画像を提供するようにユーザに通知し得る（例えば、より鮮明な新しい画像）。悪い画像の例には、バッグの一部が前景の物体（例えば、ユーザの手、手すり、チューブ、またはそれらの任意の適切な組み合わせ）によって遮られている画像、ポケットの仕切りまたはポケットのシール（例えば、２つ以上の手術用器具の間）が見えにくい角度から撮影された画像、破れたポケット仕切りまたは破れたポケットシールが付いた集計バッグの画像（例えば、そのような裂け目が２つの個別のポケットがあるはずの１つの大きなポケットを作成した場合）、１つのポケットに複数の手術用器具がある画像、誤った照明条件またはアルゴリズムが特徴を分析および抽出することが困難な画像を生成し得るその他の条件で撮影された画像、上記の態様のいずれか１つまたは複数の組み合わせを有する画像が含まれる。
【0064】
集計の他の検証の例
いくつかの例示的な実施形態では、本明細書で説明される方法は、方法８００に関するさらなるチェック（例えば、独立したチェック）を提供するための１つまたは複数の追加の検証段階を含み得る。１つまたは複数の追加のチェック方法を提供すると、手術用器具の所在確認の精度が向上し得る。そのような追加の方法は、集計バッグ内の手術用器具の集計を手動で検証するようにユーザに促すことを含み得る。そのような追加の方法は、方法８００の様々なサブモデルのうちの１つまたは複数によって生成された情報のユーザ検証を要求することを含み得る。例えば、そのような追加の方法の１つまたは複数は、方法８００がポケットを正しく識別し、集計バッグを正しく識別し、満杯ポケットを正しく識別し、ポケット内の手術用繊維、またはそれらの任意の適切な組み合わせを正しく識別したことを検証するようにユーザに求めることを含み得る。例えば、図１１は、モバイルデバイス上のディスプレイの例示的な実施形態を示し、ディスプレイは、方法８００によって識別および集計された手術用器具（例えば、手術用スポンジ）の数が正しいことを検証するようにユーザに促している。図１１の外科用器具を囲むボックスによって示されるように、そのような追加の方法の１つまたは複数は、方法８００が手術用器具として識別したものを示す情報をユーザに表示することを含み得る。
いくつかの例示的な実施形態では、本明細書で説明される方法は、方法８００に関するさらなるチェック（例えば、独立したチェック）を提供するための１つまたは複数の追加の検証段階を含み得る。１つまたは複数の追加のチェック方法を提供すると、手術用器具の所在確認の精度が向上し得る。そのような追加の方法は、集計バッグ内の手術用器具の集計を手動で検証するようにユーザに促すことを含み得る。そのような追加の方法は、方法８００の様々なサブモデルのうちの１つまたは複数によって生成された情報のユーザ検証を要求することを含み得る。例えば、そのような追加の方法の１つまたは複数は、方法８００がポケットを正しく識別し、集計バッグを正しく識別し、満杯ポケットを正しく識別し、ポケット内の手術用繊維、またはそれらの任意の適切な組み合わせを正しく識別したことを検証するようにユーザに求めることを含み得る。例えば、図１１は、モバイルデバイス上のディスプレイの例示的な実施形態を示し、ディスプレイは、方法８００によって識別および集計された手術用器具（例えば、手術用スポンジ）の数が正しいことを検証するようにユーザに促している。図１１の外科用器具を囲むボックスによって示されるように、そのような追加の方法の１つまたは複数は、方法８００が手術用器具として識別したものを示す情報をユーザに表示することを含み得る。
【0065】
特定の例示的な実施形態では、本明細書で説明される方法は、重量情報を使用して手術用器具の集計を検証することを含み得る。例えば、集計バッグが取り付けられているポールをはかりに結合することができる。ポールに結合されたはかりは、手術用繊維が集計バッグに配置されるたびに重量の変化を感知し、したがって、はかりによって感知された重量増分の数に基づいて手術用器具を集計し得る。はかりは、任意の適切な方法でポールに結合することができる。例えば、取り付けポール、集計バッグ、またはその両方をはかりに配置できる（例えば、取り付けポール、集計バッグ、またはその両方をはかりの上部に配置して、器具が集計バッグに追加されたときの重量の変化を測定する）。あるいは、はかりは、取り付けポールに結合され、集計バッグに結合されたひずみゲージの例示的な形態をとることができる（例えば、ひずみゲージの一方の端が取り付けポールから吊るされていて、集計バッグがひずみゲージのもう一方の端から吊るされている）。いくつかの例示的な実施形態では、重量情報は、１つまたは複数の他の方法によって生成された重量情報の代わりに、またはそれに加えて、１つまたは複数の手術用器具収集容器から生成され得る。例えば、収集容器は、重量測定システムを含み得る。ユーザが収集容器から手術用器具を取り出すと、重量測定システムが重量の減少を感知し、手術用器具の繊維が収集容器から取り出されたと決定する。プロセッサは、重量の減少の数を記録して、収集容器から取り出された手術用器具の集計、したがって、収集容器に以前に存在していた手術用器具の集計を決定することができる。したがって、１つまたは複数の収集容器を使用すると、手術用器具（例えば、手術用繊維）の集計に関する追加のチェックが提供され得る。
【0066】
様々な例示的な実施形態において、本明細書で説明される方法は、収集容器からの手術用器具の取り出しからの時間データを使用することを含み得、そして集計バッグ内の手術用器具の配置は、手術用器具集計の追加の検証を提供し得る。例えば、プロセッサは、重量測定システムが収集容器からの手術用器具の取り出しを感知するたびにタイムスタンプを生成することができる。さらに、プロセッサは、重量測定システムが集計バッグへの手術用器具の追加を感知するたびにタイムスタンプを生成することができる。１つまたは複数のプロセッサは、収集容器からの手術用器具の取り出しのタイムスタンプ（例えば、取り出しタイムスタンプ）と、集計バッグへの手術用器具の追加のタイムスタンプ（例えば、追加のタイムスタンプ）とを比較し、手術用器具の集計の検証（例えば、追加の検証）を提供するように構成され得る。取り出しタイムスタンプと追加タイムスタンプが実質的に一致している場合、それは手術用繊維の集計が正しいことを示す情報を提供する。
【0067】
中間集計の決定例
いくつかの例示的な実施形態では、第２の集計の決定は、医療処置（例えば、手術処置）の過程中の手術用器具の中間集計を決定することを含む。代替の例示的な実施形態では、第２の集計の決定は、医療処置が完了した後の手術用器具の最終集計を決定することを含む。例えば、手術用器具を追跡するための本明細書で論じられる方法（例えば、方法８００）は、医療処置の過程中の任意の時点で手術用器具の所在を確認するために第２の集計（例えば、中間集計または最終集計として）を第１の集計と比較することを含み得る。そのような方法の様々な例示的な実施形態は、それが中間集計であろうと最終集計であろうと、第２の集計を決定するための上記アルゴリズムのいずれか１つまたは複数の使用を含み得る。
いくつかの例示的な実施形態では、第２の集計の決定は、医療処置（例えば、手術処置）の過程中の手術用器具の中間集計を決定することを含む。代替の例示的な実施形態では、第２の集計の決定は、医療処置が完了した後の手術用器具の最終集計を決定することを含む。例えば、手術用器具を追跡するための本明細書で論じられる方法（例えば、方法８００）は、医療処置の過程中の任意の時点で手術用器具の所在を確認するために第２の集計（例えば、中間集計または最終集計として）を第１の集計と比較することを含み得る。そのような方法の様々な例示的な実施形態は、それが中間集計であろうと最終集計であろうと、第２の集計を決定するための上記アルゴリズムのいずれか１つまたは複数の使用を含み得る。
【0068】
手術用器具の中間集計の決定は、手術用器具の指標カウンタを更新することを含み得る。いくつかの例示的な実施形態では、指標カウンタの更新は、集計バッグの１つまたは複数のポケットに１つまたは複数の手術用器具（例えば、手術用繊維）を含む集計バッグの画像を分析することを含む。集計バッグは、ユーザによって手術用繊維で充填されるので、集計バッグの１つまたは複数の画像が生成され得る。１つまたは複数のプロセッサは、集計バッグの１つまたは複数の画像を受信することができ、上記の１つまたは複数の技術などの１つまたは複数の計算技術を使用して、１つまたは複数の画像を処理して、１つまたは複数の集計バッグ内の手術用繊維を識別および集計することができる。
【0069】
いくつかの例示的な実施形態では、手術用器具を含む集計バッグの画像を分析する代わりに、または分析することに加えて、本明細書で説明される方法は、カメラの視野内に手術用器具を保持することを含む。例えば、ユーザは、手術用器具（例えば、手術用スポンジなどの手術用繊維）をカメラにかざすことができ、カメラは、手術用器具を描写する画像を生成することができる。画像は、画像内に描写された手術用器具の存在を検出するように構成された１つまたは複数のプロセッサによって受信および分析され得る。手術用器具の画像は、手術用器具を追跡するために使用することができる。例えば、指標カウンタは、手術用器具がカメラにかざされ、１つまたは複数のプロセッサによって識別されるたびに更新され得る。いくつかの例示的な実施形態では、カメラにかざされた手術用器具の画像分析を使用して更新された指標カウンタは、手術用器具の指標数を検証するために、１つまたは複数の集計バッグ内の手術用器具の画像分析を使用して更新されたさらなる指標カウンタと比較することができる（例えば、上記のように）。図１３は、個々の手術用器具（例えば、手術用繊維）の画像が取得および分析されて、そのような手術用器具の集計を更新するグラフィカルユーザインターフェースの例を示している。具体的には、ユーザ１２１０は、画像（例えば、深度画像、カラー画像、またはその両方）をキャプチャするカメラの前に手術用繊維１２２０をかざしており、その結果、１つまたは複数の処理構成要素（例えば、プロセッサ）は、画像内の手術用繊維１２２０を識別し得、画像化された手術用繊維１２２０を器具集計１２３０に含み得る。上記を達成するための例示的なシステムおよび方法は、米国特許第８，８９７，５２３号および米国特許公開第２０１７／０１８６１６０号にさらに詳細に記載されており、これらのそれぞれは、この参照によりその全体が本明細書に組み込まれる。さらに、以下に説明するように、失血量を推定する１つまたは複数の方法を、手術用器具を追跡するために本明細書で説明される１つまたは複数の方法と組み合わせて使用することができ、したがって、ユーザが画像化のために１つまたは複数の手術用器具をカメラにかざすことが含まれ得る。
【0070】
手術用器具の中間集計の決定は、容器が充填され、画像化されるときに、１つまたは複数の容器（例えば、１つまたは複数の集計バッグ）内の手術用繊維の数で指標カウンタを更新することをさらに含み得る。このプロセスは、医療処置全体を通して繰り返されて、指標カウンタを継続的に更新し、任意の時点で１つまたは複数の容器に装填された手術用器具（例えば、手術用繊維）の実行集計を維持し得る。いくつかの例示的な実施形態では、中間集計（例えば、指標カウンタの現在の値）を手術用器具の第１の集計と比較することが望ましい場合がある。例えば、ユーザは、集計バッグのセットに装填されて所在が確認されている手術用器具の数、および現在使用中のまたは所在が確認されていない手術用器具の数を知りたい場合がある。
【0071】
本明細書で説明される方法の特定の例示的な実施形態は、医療処置中の任意の適切な時点でユーザに中間集計を表示するか、その他の方法で提供することを含む。中間集計を表示すると、特定の時点でいくつの手術用繊維が所在確認されているかに関する有用な情報がユーザに提供され得る。図１４は、中間集計に関する情報を表示するグラフィカルユーザインターフェース１３００の例を示している。図１４の画面のボックス１３１０は、スポンジの第１の集計（例えば、「４０」）と比較した、所在が確認された手術用スポンジの総数（例えば、「１７」）を示している。さらに、所在が確認された手術用スポンジのタイプ（例えば、ブランド、サイズ、機能タイプなど）に関連する情報が、ボックス１３２０、１３３０、および１３４０に表示されている。グラフィカルユーザインターフェース１３００はまた、ユーザが「集計された」アイコン１３５０を選択することによって第１の集計を更新し、最終集計アイコン１３６０を選択することによって最終集計を決定することを可能にする機能を提供する。
【0072】
重複画像の検出例
本明細書で説明される方法のいくつかの例示的な実施形態は、特定の集計バッグが以前に画像化および分析されているかどうかを決定することをさらに含み得る。ユーザは複数の集計バッグ、複数の手術用器具、またはその両方の画像を撮影し得るため、個々の集計バッグ、個々の手術用器具、またはその両方が誤って複数回画像化され得、手術用器具の不正確な集計につながり得る。不注意による重複画像のこれらの結果に対抗するために、１つまたは複数の画像を分析して、画像が別の画像と同じ集計バッグを描写する可能性の尺度を決定することができる。集計バッグがすでに所在確認されているかどうかを決定する方法の例は、第１の画像および第２の画像が、それぞれが同じ繊維（例えば、同じ集計バッグ内に）の少なくとも一部を描写する画像領域を有する可能性を測定するかまたはその他の方法で決定することを含み得る。第１および第２の画像が、それぞれが同じ繊維の少なくとも一部を描写する画像領域を有する可能性を測定するための例示的な方法は、参照によりその全体が本明細書に組み込まれるＰＣＴ出願第ＰＣＴ／ＵＳ２０１７／０６８２３４号に詳細に記載されている。特定の集計バッグの画像がすでに受信され分析されているかどうかを決定するための例示的な方法は、第１の画像領域が集計バッグを描写する第１の画像を受信すること、第２の画像領域が集計バッグを描写する第２の画像を受信すること、第１の画像の第１の態様、第２の画像の第２の態様、またはその両方に少なくとも部分的に基づいて、少なくとも１つの分類機能を定義することを含み得る。そのような例示的な方法は、第１および第２の画像領域が同じ集計バッグの少なくとも一部を描写する可能性を測定することをさらに含み得、可能性の測定は、分類アルゴリズムを学習する機械を使用するなどによって、分類機能に少なくとも部分的に基づく。そのような例示的な方法は、重複画像の測定された可能性を所定の閾値と比較することを含み得、閾値は、画像ペアを「重複しない」または「潜在的に重複する」として分類するためのカットオフであるかまたはそれを含む。第１の画像領域および第２の画像領域が同じ手術用繊維または他の手術用器具の少なくとも一部を描写する可能性を測定するために、同様のプロセスを実行することができる。
本明細書で説明される方法のいくつかの例示的な実施形態は、特定の集計バッグが以前に画像化および分析されているかどうかを決定することをさらに含み得る。ユーザは複数の集計バッグ、複数の手術用器具、またはその両方の画像を撮影し得るため、個々の集計バッグ、個々の手術用器具、またはその両方が誤って複数回画像化され得、手術用器具の不正確な集計につながり得る。不注意による重複画像のこれらの結果に対抗するために、１つまたは複数の画像を分析して、画像が別の画像と同じ集計バッグを描写する可能性の尺度を決定することができる。集計バッグがすでに所在確認されているかどうかを決定する方法の例は、第１の画像および第２の画像が、それぞれが同じ繊維（例えば、同じ集計バッグ内に）の少なくとも一部を描写する画像領域を有する可能性を測定するかまたはその他の方法で決定することを含み得る。第１および第２の画像が、それぞれが同じ繊維の少なくとも一部を描写する画像領域を有する可能性を測定するための例示的な方法は、参照によりその全体が本明細書に組み込まれるＰＣＴ出願第ＰＣＴ／ＵＳ２０１７／０６８２３４号に詳細に記載されている。特定の集計バッグの画像がすでに受信され分析されているかどうかを決定するための例示的な方法は、第１の画像領域が集計バッグを描写する第１の画像を受信すること、第２の画像領域が集計バッグを描写する第２の画像を受信すること、第１の画像の第１の態様、第２の画像の第２の態様、またはその両方に少なくとも部分的に基づいて、少なくとも１つの分類機能を定義することを含み得る。そのような例示的な方法は、第１および第２の画像領域が同じ集計バッグの少なくとも一部を描写する可能性を測定することをさらに含み得、可能性の測定は、分類アルゴリズムを学習する機械を使用するなどによって、分類機能に少なくとも部分的に基づく。そのような例示的な方法は、重複画像の測定された可能性を所定の閾値と比較することを含み得、閾値は、画像ペアを「重複しない」または「潜在的に重複する」として分類するためのカットオフであるかまたはそれを含む。第１の画像領域および第２の画像領域が同じ手術用繊維または他の手術用器具の少なくとも一部を描写する可能性を測定するために、同様のプロセスを実行することができる。
【0073】
方法８００が、重複画像化の可能性が所定の閾値を超えていると決定した場合、フォローアップアクションが促され得る。例えば、一般に、得られた集計バッグまたは手術用器具のそれぞれの新しい画像は、手術用器具の集計の増加に対応し得るが（例えば、第２の集計のために患者または手術処置の無菌領域から抽出された手術用器具）、集計は、集計バッグ、手術用器具、またはその両方が複数回画像化された測定された可能性に少なくとも部分的に基づいて調整することができる。手術用集計バッグまたは手術用器具の潜在的な重複画像の検出は、例えば、集計バッグ、手術用器具、またはその両方が複数回画像化されたかどうかを確認するためのプロンプトをユーザにトリガーし得る。別の例として、集計バッグまたは手術用器具の潜在的な重複画像の検出は、手術用器具の集計を増加させることを自動的に差し控えることができる。集計バッグがすでに画像化されているかどうかを決定する例示的な方法は、識別タグの使用を含み得る。例えば、集計バッグ、手術用器具、またはその両方に走査可能なタグ（ＲＦＩＤタグやバーコードなど）が含まれ得、スキャナーを使用して、集計バッグがすでに画像化されているかどうかを決定できる。スキャナーは、別個の走査デバイスであっても、モバイルデバイスに組み込まれていてもよい。画像分析を含む１つまたは複数の技術の代わりに、またはそれに加えて、タグまたはバーコードを走査することを含む１つまたは複数の例示的な方法を使用することができる。
【0074】
最終集計の決定例
第２の集計は、いくつかの例示的な実施形態では、手術用器具の最終集計を含み得る。例えば、本明細書で説明される方法の例示的な実施形態は、手術用器具の最終集計を決定すること、および最終集計を手術用器具の第１の集計と比較することを含み得る。最終集計は、例えば、手術用器具がもはや導入または使用されていない処置のある時点で所在が確認される手術用器具の集計を参照する最終の所在確認に基づいて、中間集計と区別することができる。例えば、最終集計は、医療処置の最後に行われ得る。医療処置の終了は、任意の適切な方法で示され得る。例えば、医療処置の終了は、手術部位を閉鎖した後、手術部位を閉鎖することを除いてすべての手術処置が患者に対して行われた後、患者を手術室から出す準備ができた時、または最終的な指示として使用するのに適した任意の他の時点であり得る。いくつかの例示的な実施形態では、最終集計の決定は、ユーザによって促され得る。例えば、モバイルアプリケーションまたは他の計算プログラムは、最終集計がいつ示されるかをユーザが示すことを可能にし得る（例えば、図１４の最終集計アイコン１３６０の選択）。いくつかの例示的な実施形態では、モバイルアプリケーションは、特定の指示に基づいて、手術用器具の集計が最終集計としてラベル付けされるべきであることを検証するようにユーザに促すことができる。例えば、指標カウンタが第１の集計の値に達すると、モバイルアプリケーションは、指標カウンタの現在の値を最終集計として示すべきかどうかを確認するようにユーザに促すことができる。他の例示的な実施形態では、モバイルアプリケーションは、特定の時間が経過した後、指標カウンタが最終集計として示されるべきかどうかを示すようにユーザに要求することができる。
第２の集計は、いくつかの例示的な実施形態では、手術用器具の最終集計を含み得る。例えば、本明細書で説明される方法の例示的な実施形態は、手術用器具の最終集計を決定すること、および最終集計を手術用器具の第１の集計と比較することを含み得る。最終集計は、例えば、手術用器具がもはや導入または使用されていない処置のある時点で所在が確認される手術用器具の集計を参照する最終の所在確認に基づいて、中間集計と区別することができる。例えば、最終集計は、医療処置の最後に行われ得る。医療処置の終了は、任意の適切な方法で示され得る。例えば、医療処置の終了は、手術部位を閉鎖した後、手術部位を閉鎖することを除いてすべての手術処置が患者に対して行われた後、患者を手術室から出す準備ができた時、または最終的な指示として使用するのに適した任意の他の時点であり得る。いくつかの例示的な実施形態では、最終集計の決定は、ユーザによって促され得る。例えば、モバイルアプリケーションまたは他の計算プログラムは、最終集計がいつ示されるかをユーザが示すことを可能にし得る（例えば、図１４の最終集計アイコン１３６０の選択）。いくつかの例示的な実施形態では、モバイルアプリケーションは、特定の指示に基づいて、手術用器具の集計が最終集計としてラベル付けされるべきであることを検証するようにユーザに促すことができる。例えば、指標カウンタが第１の集計の値に達すると、モバイルアプリケーションは、指標カウンタの現在の値を最終集計として示すべきかどうかを確認するようにユーザに促すことができる。他の例示的な実施形態では、モバイルアプリケーションは、特定の時間が経過した後、指標カウンタが最終集計として示されるべきかどうかを示すようにユーザに要求することができる。
【0075】
第１の集計、第２の集計、またはその両方に基づいて通知を提供する例
手術用器具を追跡するために本明細書で説明される方法の様々な例示的な実施形態は、手術用器具の第１の集計を手術用器具の第２の集計と比較することを含み得る。例えば、手術用器具を追跡するそのような方法のいくつかの例示的な実施形態は、上記のように、中間集計（例えば、１つまたは複数の中間集計の間）を第１の集計と比較することを含む。そのような方法の特定の例示的な実施形態は、最終集計を第１の集計と比較して、第１および最終集計が一致するかどうか、したがって、手術室に導入されたすべての手術用器具が所在確認されているかどうかを決定することを含む。最終集計と第１の集計を比較することで、医療スタッフは、すべての手術用繊維または他の手術用器具が所在確認され、患者によってまたは患者内に保持されていないことを確認できる。そのような方法のいくつかの例示的な実施形態は、第１の集計が第２の集計と一致するかどうか（例えば、最終集計または中間集計）をユーザに通知することを含み得る。例えば、そのような方法の特定の例示的な実施形態は、第１の集計、第２の集計、および第１の集計が第２の集計と一致するかどうかの表示が１人または複数のユーザに表示される、手術用器具集計測定の要約レポートを表示することを含む。
手術用器具を追跡するために本明細書で説明される方法の様々な例示的な実施形態は、手術用器具の第１の集計を手術用器具の第２の集計と比較することを含み得る。例えば、手術用器具を追跡するそのような方法のいくつかの例示的な実施形態は、上記のように、中間集計（例えば、１つまたは複数の中間集計の間）を第１の集計と比較することを含む。そのような方法の特定の例示的な実施形態は、最終集計を第１の集計と比較して、第１および最終集計が一致するかどうか、したがって、手術室に導入されたすべての手術用器具が所在確認されているかどうかを決定することを含む。最終集計と第１の集計を比較することで、医療スタッフは、すべての手術用繊維または他の手術用器具が所在確認され、患者によってまたは患者内に保持されていないことを確認できる。そのような方法のいくつかの例示的な実施形態は、第１の集計が第２の集計と一致するかどうか（例えば、最終集計または中間集計）をユーザに通知することを含み得る。例えば、そのような方法の特定の例示的な実施形態は、第１の集計、第２の集計、および第１の集計が第２の集計と一致するかどうかの表示が１人または複数のユーザに表示される、手術用器具集計測定の要約レポートを表示することを含む。
【0076】
図１５は、手術用繊維データの要約を表示するグラフィカルユーザインターフェースの例を示している。図１５の画面は、「集計」された繊維の数（例えば、手術室に導入された）、「走査外」繊維の数（例えば、集計バッグに画像化された）、および未使用の繊維の数（例えば、手術室に導入されたが、集計バッグにはまだ画像化されていない）を示す。いくつかの実装形態では、未使用の手術用繊維は、使用済みの手術用繊維と同じ方法で１つまたは複数の集計バッグに配置される。他のいくつかの実装形態では、未使用の手術用繊維は、１つまたは複数の集計バッグで未使用として識別され、それに応じて表示画面上でそのようにラベル付けされるなど、異なる方法を使用して所在確認される。いくつかの例示的な実施形態では、本明細書で説明される方法は、比較された集計が一致することを（例えば、ユーザに通知を提供することによって）ユーザに通知することを含む。このような通知には、集計が一致することをユーザに示す短いメッセージが含まれ得るか、通知が記号であり得る。例えば、通知には、第１と最終集計の横にチェックマークまたは等号またはその他の適切な記号を表示することと、集計が一致したときに特定の色（緑など）に変わる画面などの色表示を表示することと、第１の集計と最終集計が一致することを示す音声表示、最終集計が一致する場合は何らかの形の点滅または振動、またはそれらの適切な組み合わせを再生することと、を含み得る。さらに、図１６に関して以下でさらに詳細に説明するように、要約レポートは、個人的な参照、病院の記録（説明責任の目的など）、またはその両方のために１人または複数人以上のユーザに提供され得、要約レポートは、１つまたは複数のタイプの手術用器具のそれぞれについて、第１の集計と最終集計を示し得る。例えば、要約は、図１５に示される「合致」数などの、第１の集計と第２の集計との間の比較の表現を含むか、または示すことができる。
【0077】
特定の例示的な実施形態では、本明細書で説明される方法は、比較された集計が一致しないという通知をユーザに提供することを含む。手術用器具の最終集計が手術用器具の第１の集計と一致しない状況では、通知にユーザへの警告が含まれ得る。警告は、所在が確認されていない１つまたは複数の手術用器具があることをユーザに示すディスプレイの例の形式（例えば、モバイルデバイス上）であり得る。ディスプレイは、比較された集計が一致しないことを示すことと矛盾する態様を除いて、比較された集計が一致するという通知に関連して上記の要素のいずれか１つまたは複数を含み得る。いくつかの例示的な実施形態では、手術用器具の第１の集計と最終集計が一致しないことをユーザに通知することは、一致しない所在確認の場合に続行するための所定のプロトコルを提供することを含む。例えば、ユーザへの通知は、所定のプロトコルの段階を（例えば、モバイルデバイスの画面上に）表示し、手術用器具の第１と最終集計が一致しない場合の対処方法について付随する音声キューを両方に提供することを含み得る。医療関係者は、所在が確認されていない手術用器具の場合に先行する方法について１つまたは複数のプロトコルに精通し得るが、手術用器具の所在が確認されていないことの潜在的な不安の影響を受けない追加のプレゼンス（例えば、プロトコルの追加インスタンス）を提供することは、ユーザがプロトコルに準拠するのを助けるのに役立ち得る。これは、患者体内に保持される手術用器具のインスタンスの減少、それらが発生したときの保持された手術用器具のより良い検出、保持された手術用器具の場合のより効果的な応答、またはそれらの任意の適切な組み合わせにつながり得る。第１の集計と最終集計が合致しない場合、本明細書で説明する方法のいくつかの例示的な実施形態は、追加の要員に警告する通知を自動的に送信すること、応答プロトコルをトリガーすること、またはその両方を含み得る。例えば、合致しない第１の集計と最終集計は、病院の管理スタッフ、放射線科医（例えば、患者のＸ線を生成するための事前承認を取得するため）、Ｘ線技術者、状況を改善するための追加の医療関係者、またはその他の適切な担当者への通知をトリガーし得る。
【0078】
第１の集計と最終集計が一致しない場合、手術用器具の所在を確認するために本明細書で論じられる方法のいくつかの例示的な実施形態は、保持された手術用器具があるかどうか（例えば、患者の体内に、または患者によって保持される）を決定するために所定のプロトコルを実行することを含み得る。所定のプロトコルの実行は、プロトコルを通してユーザを案内するためのデバイスおよびディスプレイなどの１つまたは複数の計算ツールの助けを借りて行うことができる。プロトコルは、最初に、手術室にいるすべての医療関係者に、保持されている可能性のある手術用器具を通知することを含み得る。次に、プロトコルには、手術室のすべての手術用器具を再集計し、置き忘れた可能性のある手術用器具がないか部屋をチェックすることが含まれ得る。手術用器具の再集計は、１つまたは複数の手動集計方法、またはそれらの任意の適切な組み合わせを使用して、１つまたは複数の計算集計システムを操作することを含み得る。手動集計方法の例には、集計バッグの数の再集計、各集計バッグ内の手術用器具の数の再集計、ポケット内に複数の手術用器具があるかどうかを決定するための各ポケットのチェック、またはそれらの適切な組み合わせが含まれる。手術用器具の手術室のチェックは、ゴミをチェックすること（例えば、１つまたは複数のゴミ箱のチェック）、１つまたは複数の収集容器をチェックすること、患者の周囲をチェックすること、同じポケットに入れられた複数の器具のインスタンスのための１つまたは複数の集計バッグをチェックすること、またはそれらの適切な組み合わせを含み得る。手術用器具を再集計し、置き忘れた手術用器具をチェックした後でも第１と最終集計が一致しない場合、プロトコルには、患者のＸ線画像または他の内部画像を撮影して、患者内に保持された手術用器具の存在を検出することが含まれ得る。Ｘ線画像の撮影には、Ｘ線画像の撮影の必要性を放射線科医に警告することが含まれ得、続行するには放射線科医からの承認を得る必要がある場合がある。Ｘ線画像の撮影は、追加的または代替的に、他の適切な医療スタッフに通知することを含み得る。プロトコルには、合致していない手術用器具集計を他の管理担当者の病院管理者に通知することも含まれ得る。
【0079】
追加の方法の例
本明細書に記載される計算システムおよび方法（例えば、アルゴリズム）は、医療処置における様々な改善に影響を与えるための幅広い適用性を有する。そのような方法のいくつかの例示的な実施形態は、以下で詳細に説明するように、ユーザコンプライアンスを追跡すること、集計プロトコルを通してユーザを案内すること、処置全体にわたる手術用器具の使用を追跡すること、患者および／または手術室の情報を受信すること、特定の指示を受信すると追加のアクションをトリガーすること、またはそれらの適切な組み合わせを含み得る。
本明細書に記載される計算システムおよび方法（例えば、アルゴリズム）は、医療処置における様々な改善に影響を与えるための幅広い適用性を有する。そのような方法のいくつかの例示的な実施形態は、以下で詳細に説明するように、ユーザコンプライアンスを追跡すること、集計プロトコルを通してユーザを案内すること、処置全体にわたる手術用器具の使用を追跡すること、患者および／または手術室の情報を受信すること、特定の指示を受信すると追加のアクションをトリガーすること、またはそれらの適切な組み合わせを含み得る。
【0080】
本明細書で説明される方法の特定の例示的な実施形態は、１つまたは複数のプロトコルへのコンプライアンスを追跡することを含む。ユーザコンプライアンスの追跡には、集計バッグを使用するための繊維集計プロトコルへのユーザコンプライアンスの追跡が含まれ得る。上記のように、１つまたは複数の所定の処置は、１つまたは複数の集計バッグに器具を配置する１つまたは複数の所望の方法を管理し得る。該当する１つまたは複数のプロトコルに従って、手術室の担当者は、各集計バッグのポケットを下から上、および右から左に充填するように指示され得る。状況によっては、上記の１つまたは複数の方法に従って開発された１つまたは複数のアルゴリズムを使用して、ユーザがバッグ充填プロトコルに準拠しているかどうかを評価することができる。そのようなアルゴリズムは、１つまたは複数の入力画像を受信し、１つまたは複数の画像に基づいてコンプライアンスを決定することができる。例えば、経時的に撮影された一連の画像を分析して、集計バッグがどの順序で充填されたかを決定することができる。他の状況では、ビデオ分析を使用して、集計バッグが充填された順序を識別および追跡することができる。アルゴリズムは、画像またはビデオの時系列を分析して、ユーザが集計バッグのポケットを充填した順序を決定し、該当する１つまたは複数のプロトコルに対するユーザのコンプライアンスを評価することができる。
【0081】
本明細書で説明される方法のいくつかの例示的な実施形態は、集計プロトコルへのノンコンプライアンスを検出したときに通知を提供することを含む。例えば、そのような方法は、適切なプロトコルのリマインダーとしてユーザに警告を表示すること、病院管理スタッフ、他の病院職員、またはその両方に通知を送信すること、繊維集計手順の誤用を示すこと、またはそれらの任意の適切な組み合わせを含み得る。別の例として、そのような方法は、他の医療関係者が誤った充填手順に介入すると警告をトリガーすることを含み得る。例えば、置き忘れられた手術用器具（例えば、適用可能なプロトコルの所定の手順に反して集計バッグのポケットに入れられた手術用器具）を検出すると、そのような方法は、バッグ充填プロセスに介入するように監督者または同僚に通知することができる。
【0082】
本明細書で説明される方法の特定の例示的な実施形態は、集計または追跡アルゴリズムの使用と併せて、ユーザに自身の名前を入力するように促すことを含む。モバイルアプリケーションは、処理のために集計バッグの画像を撮影するためにアプリケーションを操作する前または後に、ユーザに自身の名前または他の一意の識別子を入力するように促すことができる。例えば、モバイルアプリケーションは、そのような識別情報を提供するために自身のＩＤバッジを走査するようにユーザに促すことができる。コンプライアンスデータは、ユーザの説明責任を強化するために識別情報と組み合わせることができる。コンプライアンス情報をユーザ識別情報と組み合わせると、病院の管理者が適切な器具集計手順に従わないユーザにトレーニングまたは懲戒プロトコルを実装できるという利点を提供し得る。
【0083】
本明細書で説明される方法の様々な例示的な実施形態は、集計バッグを使用して、集計プロトコル（例えば、繊維集計プロトコル）を通してユーザを案内することを含む。１つまたは複数の計算技術を使用して、例えば、１つまたは複数の視覚的キュー、１つまたは複数の音声キュー、またはそれらの任意の適切な組み合わせを提示することによって、次に充填すべき集計バッグのポケットをユーザに示すか、またはユーザが充填するのを忘れたポケットを識別することができる。例えば、表示画面は、１人または複数のユーザを充填される次のポケットに誘導する視覚的表示を提供し得る（例えば、ポケットの周りにボックスまたは円を提供するか、方向案内として矢印を表示するか、またはその両方）。したがって、そのような方法は、集計バッグを充填するためのプロトコルを通してユーザを誘導することができる。
【0084】
本明細書で説明される方法のいくつかの例示的な実施形態は、手術用器具のための１つまたは複数の他の種類の追跡測定基準を提供することを含む。そのような方法は、医療処置全体の様々な時点での医療処置に関する情報を収集するために使用することができる。例えば、そのような方法には、使用済みの手術用器具と未使用の手術用器具の追跡が含まれ得る。使用済み器具と未使用器具の追跡には、ユーザが器具を使用されているかどうかに基づいて手動で分離または並べ替えることが含まれ得る。例えば、ユーザは使用済み器具を１つの容器に入れ、未使用器具を別の容器に入れることができる。上記の１つまたは複数の計算技術などの様々な方法を使用して、使用済み容器と未使用容器を識別し、使用済み器具と未使用器具を集計できる。そのような方法は、使用済みおよび未使用の容器を用いて手術室の一部の画像を撮影することを含み得、本明細書に記載の画像分析方法の１つまたは複数を使用して、画像から情報を抽出し得る。医療処置中の使用済み器具と未使用器具の識別と集計は、医療処置に関する１つまたは複数の有用な測定基準を提供し得る。医療処置の特定の時点（例えば、医療処置の終了時）での単一のスナップショットは、包装から取り出された器具の数と実際に使用された器具の数に関する情報を提供し得る。医療処置全体を通して撮影された一連の画像を使用して、使用済み器具と未使用器具を識別および集計し、その医療処置で器具が時間の経過とともにどのように使用されるかについての情報を提供できる。
【0085】
本明細書で説明される方法の特定の例示的な実施形態は、医療処置に関連する情報を受信することを含む。そのような方法により、ユーザは、患者の統計または特性（例えば、身長、体重、性別、年齢など）、実行される医療処置、医療処置の予想される長さ、医療処置が予定されているか緊急であるか、１つまたは複数の既存の状態、その他の関連情報、またはそれらの任意の適切な組み合わせなどの患者情報（例えば、患者データ）を入力することができる。このような方法には、１つまたは複数の環境パラメータに関する様々な情報の受信、表示、またはその両方が含まれ得、どの手術室が使用され、どの手術室が利用可能か、特定の手術室で特定の機器が利用可能かどうか、どの医療関係者が現在作業しているか、他の適切なパラメータ、またはそれらの適切な組み合わせなどである。
【0086】
本明細書で説明される方法のいくつかの例示的な実施形態は、イベントまたはプロトコルをトリガーし得る情報を受信することを含む（例えば、患者体内に保持されている１つまたは複数の手術器具に比較的高いリスクが存在すると判断した場合の１つまたは複数の予防措置の１つまたは複数の要求または開始）。そのような方法は、ユーザが医療処置で使用するための追加の器具または機器を要求することを可能にすることを含み得る。そのような方法は、１つまたは複数の特定の指示に関する情報を受信したときにプロトコルをトリガーすることを含み得る。処置中に特定の発生の１つまたは複数と組み合わされた１つまたは複数の特定の患者パラメータが、特定のイベントが発生するリスクが高いことを示している場合がある。例えば、医療処置中に使用されると予想される手術用器具の閾値数と組み合わせて特定の範囲のＢＭＩを持つ患者（例えば、第１の集計が所定の集計を超える場合）は、手術用器具が保持されるリスクが高いことを示し得る。したがって、そのような方法は、手術用器具の閾値数が集計されると、患者データを手術用器具集計と組み合わせて使用して、１つまたは複数の追加のプロトコルをトリガーすることを含み得る。そのようなプロトコルは、例えば、患者のＸ線画像を撮影するための適切な機器を準備するようにＸ線技術者に警告し、放射線科医に通知を提供して、患者のＸ線画像を撮影するための事前承認を取得するか、またはその両方を行うことを含み得る。
【0087】
本明細書で説明される方法の特定の例示的な実施形態は、医療処置に関連する情報を表示するか、その他の方法で提供することを含む。このような方法には、要約レポートの提供、表示、またはその両方が含まれ得る。要約レポートは、例えば、患者の電子医療記録の一部として、１つまたは複数の手術用器具追跡プロトコルへのコンプライアンスの証拠として、あるいはその両方として保存できる。要約レポートには、適切な情報が含まれ得る。上記のように、手術用器具の１つまたは複数の集計、手術用器具の集計の１つまたは複数の比較、またはその両方に関連する情報が、要約レポートに表示され得る。追加的または代替的に、個々の手術用器具、個々の集計バッグ、またはその両方の１つまたは複数の画像を、記録として（例えば、要約レポートに）保存、表示、またはその両方をすることができる。しかし、医療処置のタイプ、医療処置の長さ、患者情報、医師情報、病院情報、またはそれらの任意の適切な組み合わせなど、医療処置に関する追加情報も表示され得る。失血の測定基準も表示され得る。例えば、手術用繊維の分析を使用して患者の失血を監視する場合、失血の推定値を要約レポートに表示できる。要約レポートには、医療処置の結果を示す１つまたは複数の記号表示が含まれ得る。例えば、ディスプレイは、失血が所与の範囲内にある特定の色であり得る（例えば、失血が所定の閾値の間で定義された所定の範囲内にある場合、ディスプレイは緑色であり、失血が所定の範囲ではない場合、赤色であり得る）。１つまたは複数の要約レポートは、医療処置中の任意の適切な時点で生成され得る。１つまたは複数の要約レポートは、デジタル画面（例えば、電話またはタブレットなどのモバイルデバイスの表示画面）に表示され、メモリに記憶され（例えば、患者または病院の電子医療記録の一部として）、後で表示するために保存され、患者または医療関係者にデジタル送信され、プリンタに送信されて印刷され得、またはそれらの適切な組み合わせである。図１６は、集計プロトコルへのコンプライアンスに関する情報、ならびに実行された医療処置に関する追加情報を含む要約レポートの例を示している。図１６の要約レポートは、ケース番号、ケースの場所（例えば、どの手術室が使用されたか）、医療処置の開始時間と終了時間、医療処置の期間、集計された手術用器具の数（例えば、「スポンジ」と表示された手術用繊維）、および手術用器具の最終集計を実行した人の名前に関する情報が含まれている。様々な例示的な実施形態によれば、要約レポートは、本明細書に記載される任意の情報など、医療処置に関する任意の適切な情報を表示することができる。
【0088】
本明細書で説明される方法のいくつかの例示的な実施形態は、「緊急モード」に入る１つまたは複数の方法を提供し、このモードでは、方法またはシステムのいくつかの機能が変更され得る。例えば、繊維集計アルゴリズム（例えば、モバイルアプリケーションを介して実装される）は、ユーザが緊急モードを選択することを可能にし得、これは、集計プロトコルがもはや守られていないことを示し得る。これにより、器具集計データの収集の停止、集計プロトコルへのユーザコンプライアンスの追跡の控え、病院スタッフへの緊急事態の警告など、様々なアクションの１つまたは複数がトリガーされ得る。
【0089】
本明細書で説明される方法の特定の例示的な実施形態では、１つまたは複数の画像（例えば、１つまたは複数の手術用器具、１つまたは複数の集計バッグ、またはそれらの任意の適切な組み合わせを示す）を分析して、患者の状態（例えば、総失血、血液成分の損失、またはその両方）を推定することができる。例えば、図１２に示されるように、コンピューティングデバイス１１００は、１つまたは複数のカメラ１１２０を備えた画像化システム１１２２を使用して、手術用繊維の１つまたは複数の画像１１０２を取得することができる。１つまたは複数の画像１１０２は、手術用ガーゼ、手術用スポンジ、または手術用タオルの１片などの手術用繊維１１０６ａを含む視野１１０８をキャプチャして描写することができる。手術用繊維１１０６ａは、ユーザが保持することができる。図１２に示されるように、手術用繊維１１０６ａの画像１１０６ｂを含むキャプチャされた画像は、コンピューティングデバイス１１００などのディスプレイ１１１８に表示され得る。１つまたは複数の画像１１０２は、画像化された手術用繊維中の血液含有量、血液成分含有量、またはその両方を推定するために分析され得るカラー画像を含み得る。例えば、上記に組み込まれた米国特許第８，８９７，５２３号に記載されているように、カラー画像の色に関連する特徴（例えば、強度）は、局所的にまたはそのような処理のための遠隔コンピュータシステムによって、手術用繊維１１０６ａ内の血液または血液成分（例えば、ヘモグロビンの質量、全血の量、またはその両方）の量の推定値に変換され得る。
【0090】
さらに、１つまたは複数の画像１１０２は、深度画像（例えば、赤外線データ、立体画像、またはその両方に基づく深度情報を含む）を含み得る。このような深度画像からの深度情報は、前景にある物体を背景にある他の物体からより簡単に区別することができる。深度画像を分析して（例えば、上記に組み込まれた米国特許公開第２０１７／０１８６１６０号に記載されているように）、画像内の手術用繊維１１０６ａの存在を確認することができ、その後、コンピューティングデバイス１１００は、局所手術用繊維カウンタに指標を付けることができる。局所手術用繊維カウンタは、上記の方法のいずれか１つまたは複数によって（例えば、集計バッグの画像分析を使用して）決定された手術用器具の集計を検証するために、または手術用器具を集計する独立した方法として使用され得る。
【0091】
手術用器具を追跡するためのシステム例
また、本明細書には、手術用器具を追跡するための例示的なシステムが記載されている。手術用器具を追跡するためのそのようなシステムは、手術用器具の第１の集計を決定するように構成された１つまたは複数の構成要素を含み得る。例えば、そのようなシステムは、手術用器具の第１の集計を決定するために使用される、１つまたは複数の画像化システム、１つまたは複数の計量システム（例えば、はかり）、またはそれらの任意の適切な組み合わせを含み得る。そのようなシステムは、手術用器具の第２の集計を決定するように構成された１つまたは複数の構成要素を含み得る。例えば、そのようなシステムは、１つまたは複数の手術用器具を含むように構成された、１つまたは複数のポケットをそれぞれ備えた１つまたは複数の集計バッグを含み得る。そのようなシステムは、１つまたは複数の手術用器具を収容および処理するために使用される追加の機器を含み得る。例えば、そのようなシステムは、使用済みの手術用器具を保持するための１つまたは複数の収集容器、１つまたは複数の集計バッグを保持するための１つまたは複数のスタンド、画像化、画像処理、またはその両方に使用される１つまたは複数のモバイルコンピューティングデバイスを保持するための１つまたは複数のマウントを含み得る。そのようなシステムは、手術用器具のための１つまたは複数の集計バッグまたは他の容器の１つまたは複数の画像を生成するように構成された１つまたは複数の画像化システムを含み得る。第１の集計を取得するために使用される画像化システムは、第２の集計を取得するために使用される画像化システムと同じであり得る。そのようなシステムは、第１の集計、第２の集計、またはその両方を決定する際に使用し、第１の集計を第２の集計と比較するための１つまたは複数の処理構成要素を含み得る。例えば、そのような１つまたは複数の処理構成要素は、１つまたは複数の画像を分析して、画像に現れる手術用器具を識別するか、画像内の手術用器具を集計するか、またはその両方を行うように構成され得る。そのような１つまたは複数の処理構成要素は、コンピュータビジョン、機械学習、深度視覚、またはそれらの任意の適切な組み合わせなどの１つまたは複数の計算技術を利用して、手術用器具の追跡を支援する画像を分析することができる。そのような構成要素（例えば、処理構成要素、画像化構成要素、またはその両方）は、１つまたは複数のモバイルコンピューティングデバイスを介して実装され得、それぞれは、１つまたは複数のカメラまたは他の画像センサ、１つまたは複数のプロセッサ、１つまたは複数のディスプレイ、またはそれらの任意の適切な組み合わせを含み得る。
また、本明細書には、手術用器具を追跡するための例示的なシステムが記載されている。手術用器具を追跡するためのそのようなシステムは、手術用器具の第１の集計を決定するように構成された１つまたは複数の構成要素を含み得る。例えば、そのようなシステムは、手術用器具の第１の集計を決定するために使用される、１つまたは複数の画像化システム、１つまたは複数の計量システム（例えば、はかり）、またはそれらの任意の適切な組み合わせを含み得る。そのようなシステムは、手術用器具の第２の集計を決定するように構成された１つまたは複数の構成要素を含み得る。例えば、そのようなシステムは、１つまたは複数の手術用器具を含むように構成された、１つまたは複数のポケットをそれぞれ備えた１つまたは複数の集計バッグを含み得る。そのようなシステムは、１つまたは複数の手術用器具を収容および処理するために使用される追加の機器を含み得る。例えば、そのようなシステムは、使用済みの手術用器具を保持するための１つまたは複数の収集容器、１つまたは複数の集計バッグを保持するための１つまたは複数のスタンド、画像化、画像処理、またはその両方に使用される１つまたは複数のモバイルコンピューティングデバイスを保持するための１つまたは複数のマウントを含み得る。そのようなシステムは、手術用器具のための１つまたは複数の集計バッグまたは他の容器の１つまたは複数の画像を生成するように構成された１つまたは複数の画像化システムを含み得る。第１の集計を取得するために使用される画像化システムは、第２の集計を取得するために使用される画像化システムと同じであり得る。そのようなシステムは、第１の集計、第２の集計、またはその両方を決定する際に使用し、第１の集計を第２の集計と比較するための１つまたは複数の処理構成要素を含み得る。例えば、そのような１つまたは複数の処理構成要素は、１つまたは複数の画像を分析して、画像に現れる手術用器具を識別するか、画像内の手術用器具を集計するか、またはその両方を行うように構成され得る。そのような１つまたは複数の処理構成要素は、コンピュータビジョン、機械学習、深度視覚、またはそれらの任意の適切な組み合わせなどの１つまたは複数の計算技術を利用して、手術用器具の追跡を支援する画像を分析することができる。そのような構成要素（例えば、処理構成要素、画像化構成要素、またはその両方）は、１つまたは複数のモバイルコンピューティングデバイスを介して実装され得、それぞれは、１つまたは複数のカメラまたは他の画像センサ、１つまたは複数のプロセッサ、１つまたは複数のディスプレイ、またはそれらの任意の適切な組み合わせを含み得る。
【0092】
本明細書で説明されるシステムのいくつかの例示的な実施形態によれば、そのようなコンピューティングデバイスの１つまたは複数には、例えば、携帯電話、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、またはそれらの任意の適切な組み合わせなどのモバイルデバイスが含まれ得、それぞれは、カメラ、プロセッサ、ディスプレイ、またはそれらの任意の適切な組み合わせを含み得る。しかしながら、特定の例示的な実施形態では、本明細書で説明されるシステム構成要素のいくつかまたはすべては、個別の相互接続されたデバイスまたは他の構成要素として分離され得る。例えば、カメラ、ディスプレイ、またはその両方は、集計バッグの実質的に近くに（例えば、手術室に）配置され得、一方、プロセッサが離れた場所にあり得（例えば、カメラ、ディスプレイ、またはその両方とは別の手術室、または手術室の外）、有線または無線の通信ネットワークを介してカメラおよびディスプレイと通信する。そのようなコンピューティングデバイスの１つまたは複数を使用して、１人または複数のユーザに情報を表示することができる。例えば、コンピューティングデバイスは、１つまたは複数の手術用器具の集計、１つまたは複数の患者パラメータ、１つまたは複数の医療処置、病院、手術室、患者の失血、ユーザコンプライアンス、それらの任意の適切な組み合わせに関連する情報、または上記の情報のいずれかを表示できる１つまたは複数の表示画面を含み得る。そのようなコンピューティングデバイスの１つまたは複数は、１人または複数のユーザに音声情報を提供するように構成され得る。
【0093】
１つまたは複数のプロセッサは、本明細書に記載の方法のいずれか１つまたは複数のいくつかまたはすべてを実行するように構成され得る。例えば、そのようなプロセッサの１つまたは複数は、１つまたは複数の画像を受信し、１つまたは複数の計算アルゴリズム（例えば、コンピュータビジョン、機械学習、深層学習、またはそれらの任意の適切な組み合わせ）を実行して、そのような画像を分析し、データを受信し、分析し（例えば、ユーザ入力またはコンピュータメモリから）、１つまたは複数の応答をトリガーするか、またはそれらの適切な組み合わせを行うように構成され得る。そのようなプロセッサの１つまたは複数は、１つまたは複数の手術用器具を描写する１つまたは複数の画像、手術用器具の第１および第２の集計を決定するための、１つまたは複数の集計バッグ、重量情報、タイムスタンプデータ（例えば、重量情報と対になっている）、ユーザ入力、またはそれらの任意の適切な組み合わせを描写する１つまたは複数の画像を受信および分析するように構成され得る。そのようなプロセッサの１つまたは複数は、例えば、１つまたは複数の機械学習アルゴリズムを実行して１つまたは複数の画像を分析し、１つまたは複数の画像に示される手術用器具の数を決定するように構成され得る。そのようなプロセッサの１つまたは複数は、１つまたは複数の画像に現れる手術用器具の数に基づいて手術用器具の中間集計を更新するように構成され得る。そのようなプロセッサのうちの１つまたは複数は、手術用器具の最終集計を決定するように構成され得、最終集計のそのような決定は、ユーザからの手動入力を受け入れることを含み得る。そのようなプロセッサの１つまたは複数は、手術用器具の第１の集計を手術用器具の第２の集計と比較するように構成され得る（例えば、中間集計または最終集計）。そのようなプロセッサのうちの１つまたは複数は、第１の集計と第２の集計との比較に基づいて通知（例えば、警告）を生成するように構成され得る。第１の集計および第２の集計が一致しない場合、そのようなプロセッサのうちの１つまたは複数は、警告または他の通知を生成または表示するように構成され得る。追加的または代替的に、そのようなプロセッサの１つまたは複数は、他の器具（例えば、使用済み器具と未使用器具）の集計の決定、コンプライアンス情報の追跡、ユーザ入力の受け入れ、医療処置中に発生する状況への１つまたは複数の応答のトリガー、適切な担当者への情報と警告の送信、またはそれらの任意の適切な組み合わせに関連する１つまたは複数の追加のタスクを実行することができる。
【0094】
一般に、本明細書で説明される任意の１つまたは複数のプロセッサは、メモリに記憶された命令を実行するように構成され得、その結果、命令を実行するとき、１つまたは複数のプロセッサは、本明細書に記載の方法の１つまたは複数の操作の１つまたは複数を実行する。命令は、ユーザコンピュータ、モバイルデバイス、リストバンド、スマートフォン、またはそれらの任意の適切な組み合わせのアプリケーション、アプレット、ホスト、サーバー、ネットワーク、Ｗｅｂサイト、通信サービス、通信インターフェース、ハードウェア要素、ファームウェア要素、ソフトウェア要素、またはそれらの任意の適切な組み合わせと統合されたコンピュータ実行可能構成要素によって実行され得る。命令は、メモリ、またはＲＡＭ、ＲＯＭ、フラッシュメモリ、ＥＥＰＲＯＭ、光学デバイス（ＣＤやＤＶＤなど）、ハードドライブ、フロッピードライブ、または任意の適切なデバイスなどの他のコンピュータ可読媒体に記憶できる。
【0095】
本明細書で説明される方法のいずれか１つまたは複数のいくつかまたはすべてを実行するように構成された１つまたは複数のプロセッサは、ハンドヘルドまたはモバイルコンピューティングデバイスに統合され得るか、または外部プロセッサとして実装され得る。いくつかの例示的な実施形態では、そのようなプロセッサの１つまたは複数は、クラウドベースのコンピュータシステム、メインフレームコンピュータシステム、グリッドコンピュータシステム、または他の適切なコンピュータシステムなどのコンピュータデバイスまたはシステムに組み込まれ得る。本明細書で説明される１つまたは複数のシステムは、１つまたは複数の外部プロセッサにデータを通信するための通信手段を含み得る。追加的または代替的に、そのようなプロセッサの１つまたは複数は、手術用器具の画像を受信し、上記のように画像を再構成または分析し、手術用器具の追跡に関連する情報を送信する遠隔サーバーに組み込まれ得る。
【0096】
上記のように、本明細書で説明されるシステムの１つまたは複数の例示的な実施形態は、１つまたは複数の画像化システムを含み得る。例えば、そのようなシステムは、手術用器具（例えば、１つまたは複数の集計バッグに含まれる手術用器具）の１つまたは複数の画像を生成するように機能するカメラを含み得、１つまたは複数の静止画像のセットやビデオフィードの一部などである。１つまたは複数の画像は、カラー画像、深度画像（例えば、赤外線、立体視、超音波など）、ハイパースペクトル画像、別の適切な種類の画像、またはそれらの任意の適切な組み合わせを含み得る。カメラは、少なくとも１つの光学画像センサ（例えば、ＣＣＤ、ＣＭＯＳなど）を含み得、これは、ピクセルの赤、緑、青（ＲＧＢ）のカラー構成要素、または１つまたは複数の他の適切な光学構成要素を使用してカラー光学デジタル画像をキャプチャする。例えば、カメラは、適切な対応する光学系、フィルター（例えば、ベイヤーパターンフィルターなどのカラーフィルターアレイ）、またはその両方と対にされた単一の画像センサを含み得る。別の例として、カメラは、白色光を別々のカラーチャネル（例えば、ＲＧＢ）に分割するための少なくとも１つのプリズムまたは回折面などの適切な対応する光学系と対になった複数の画像センサを含み得、それぞれがそれぞれの画像センサによって検出される。１つまたは複数の画像化システム、１つまたは複数の計算処理ツール、またはそれらの任意の適切な組み合わせを同じデバイス上に構成することができ、または画像化システムは、画像データを１つまたは複数の他の構成要素に通信する別個の構成要素であり得る。そのような画像化システムの１つまたは複数は、モバイルデバイス（例えば、スマートフォン上のカメラ）の一部であり得る。これは、上記の処理構成要素の１つまたは複数を実装するように構成されてもされなくてもよい。そのような画像化システムは、分析のために画像を１つまたは複数のプロセッサ、画像を記憶するデータベース（例えば、クラウドストレージ）、またはその両方に送信するように構成され得る。
【0097】
本明細書で説明されるシステムの１つまたは複数の例示的な実施形態は、ユーザ（例えば、医師、看護師、他の医療関係者、またはそれらの任意の適切な組み合わせ）に情報を表示するか、その他の方法で情報を通信するように機能するディスプレイを含み得、患者情報、手術用器具の１つまたは複数の画像、手術用器具の所在確認に関連する１つまたは複数の定量化された測定基準、手術用器具の第１の集計と第２の集計（例えば、最終集計）の比較に関する１つまたは複数の通知、手術用器具の第１の集計と第２の集計が一致しない場合にユーザが従うべき所定のプロトコル、手術用器具（例えば、手術用繊維）の重複画像化の可能性の１つまたは複数の測定値、手術用器具の指標カウンタの値、手術用器具の潜在的な重複画像化を示すユーザへの１つまたは複数の警告またはプロンプト、１つまたは複数の要約レポート、またはそれらの任意の適切な組み合わせを含む。ディスプレイは、ハンドヘルドまたはモバイルデバイス上の画面、コンピュータモニター、テレビ画面、プロジェクター画面、または他の適切なディスプレイを含み得る。ディスプレイは、システムの１つまたは複数の構成要素と同じデバイスに統合できる。追加的または代替的に、ディスプレイは、スタンドアロンの別個のモニター、画面、または他の適切なディスプレイを含み得る。
【0098】
いくつかの例示的な実施形態によれば、ディスプレイは、ユーザが表示された情報と相互作用することを可能にするユーザインターフェース（例えば、グラフィカルユーザインターフェース）を表示するように構成され得る。例えば、ユーザインターフェースは、ユーザが１つまたは複数の画像を操作すること（例えば、ズーム、トリミング、回転、またはそれらの任意の適切な組み合わせ）、または手術用器具の少なくとも一部を描写する画像領域を手動で定義することを可能にし得る。別の例として、ユーザインターフェースは、ユーザが１つまたは複数の表示オプション（例えば、フォント、色、言語、またはそれらの任意の適切な組み合わせ）を選択し、コンテンツ（患者情報、定量化された測定基準またはその他の体液関連情報、警告など）、あるいはその両方を選択することを可能にし得る。さらに別の例として、ユーザインターフェースは、重複する手術用器具の描写のために削除する１つまたは複数の画像を選択するか、またはディスプレイ上の１つまたは複数の画像を回転、反転、または操作することを可能にし得る。ディスプレイは、ユーザ対話式であり、皮膚、スタイラス、または他のユーザの接触に反応する抵抗式または静電容量式のタッチ画面を含むことができる。ディスプレイは、マウス、キーボード、またはその他の入力デバイスによって制御されるカーソルを介してユーザ対話式であり得る。例えば、ディスプレイは、ユーザが、第１の集計、第２の集計、患者情報、またはそれらの任意の適切な組み合わせを示す情報を手動で入力することを可能にし得る。
【0099】
本明細書で説明されるシステムの１つまたは複数の例示的な実施形態は、手術用器具の所在確認（例えば、第１の集計または第２の集計）、手術用器具の指標カウンタの値、手術用器具の第１の集計と第２の集計（例えば、最終集計）の比較に関する１つまたは複数の通知、手術用器具の第１の集計と第２の集計が一致しない場合にユーザが従うべき所定のプロトコル、手術用器具の重複画像化の可能性の１つまたは複数の測定値、手術用器具の重複画像化の可能性を示すユーザへの１つまたは複数の警告またはプロンプト、１つまたは複数の要約レポート、またはそれらの任意の適切な組み合わせに関連する情報を通信するスピーカーまたは他の適切なオーディオシステムを含み得る。ディスプレイ、オーディオシステム、またはその両方が、第１の集計が第２の集計（例えば、最終集計）と一致しない場合に、１つまたは複数の通知または警告を提供し得る。これは、ユーザに指定されたプロトコルを開始するように促すなど、応答として特定のアクションを促すのに役立ち得る。別の例として、ディスプレイ、オーディオシステム、またはその両方が、１つまたは複数の警告またはプロンプトをユーザに提供して、２つ以上の画像が同じ手術用器具を描写している可能性を示すことができ、これは、ユーザに重複した画像化が発生したかどうかを確認するように促し、集計または集計されていない手術用器具の位置、またはそれらの任意の適切な組み合わせを再評価するのに役立ち得る。
【0100】
本明細書で説明されるシステムの１つまたは複数の例示的な実施形態は、手術用器具集計方法で使用するための器具および機器を含み得る。例えば、そのようなシステムは、１つまたは複数の収集容器、手術用器具の追跡および集計に使用するための１つまたは複数の集計バッグ、集計バッグを保持するように構成された１つまたは複数のスタンド、１つまたは複数の画像化システム（モバイルデバイスなど）を保持するように構成された１つまたは複数のマウント、システムの１つまたは複数の構成要素に結合された１つまたは複数の重量検出構成要素、またはそれらの任意の適切な組み合わせを含み得る。
【0101】
本明細書で説明されるシステムの１つまたは複数の例示的な実施形態は、手術用繊維などの手術用器具を収集する際に使用するための１つまたは複数の収集容器を含み得る。収集容器は、集計する前に（例えば、繊維が使用された後）、使用済み器具を入れるために医療関係者によって使用され得る。収集容器（例えば、「キックバケット」）は、任意の適切なサイズ、形状、または材料であり得る。収集容器は、円形の断面を有し得る。収集容器は、小さなバケツのような容器であるか、またはそれを含み得、そしてライナーを含み得る。収集容器は、金属、プラスチック、または任意の適切な材料で作ることができる。収集容器のライナーは、任意の適切な材料で作ることができる。例えば、ライナーは透明なプラスチックライナーであり得る。透明なライナーは、汚れた手術用器具と清潔な手術用器具の両方を簡単に視覚化する利点を提供し得る。収集容器は、任意の適切なサイズであり得、任意の適切な数の手術用器具を収容し得る。そのようなシステムのいくつかの例示的な実施形態は、手術室全体の様々な場所に配置された１つまたは複数の収集容器を含み得る。例えば、１つまたは複数の収集容器を手術台の近くに配置して、医師または看護師が使用後に手術用器具を容易に廃棄できるようにすることができる。
【0102】
本明細書で説明されるシステムの１つまたは複数の例示的な実施形態は、手術用器具を収容および集計する際に使用するための１つまたは複数の集計バッグを含み得る。例えば、上記のように、集計バッグは、裏打ちと、１つまたは複数の手術用器具を収容するように構成された１つまたは複数のポケットとを含み得る。集計バッグは、任意の適切なサイズであり得、そのようなシステムは、様々なサイズの１つまたは複数の集計バッグを含み得る。例えば、異なる種類の手術用器具（例えば、異なるサイズの手術用繊維）を収容するために、異なる集計バッグのサイズを設定することができる。様々なタイプの手術用繊維には様々なサイズがあり、集計バッグは、任意の適切な数および任意の適切なタイプの手術用繊維を収容するように適切なサイズにすることができる。例えば、集計バッグは、１から３０の間の手術用繊維を収容するようなサイズにされ得る。同様に、集計バッグは、任意の適切な数の手術用繊維を収容するための任意の適切な数のポケットを有し得る。繊維集計プロトコルは、一般に、ポケットごとに１つの手術用繊維を配置することを含むが、集計バッグのポケットは、任意の適切な数の手術用繊維を収容するように構成され得る。さらに、集計バッグのポケットは、様々なタイプの手術用繊維を収容するのに十分なサイズおよび形状であり得る。例えば、集計バッグのポケットは、４インチ×４インチから１８インチ×１８インチの範囲のサイズの手術用繊維などの様々なサイズの手術用繊維を収容するように構成され得る。集計バッグのポケットはまた、開腹繊維（例えば、開腹用の手術用繊維）などの様々なタイプの手術用繊維を収容するように構成され得る。
【0103】
手術用器具を追跡するために本明細書で説明されるシステムの１つまたは複数の例示的な実施形態は、１つまたは複数のフック、マウント、またはそれらの任意の適切な組み合わせを備えたポールなどの１つまたは複数のスタンドを含み得る。スタンドは、１つまたは複数の画像化デバイス（例えば、モバイルデバイス）を保持するための１つまたは複数のマウントを含み得る。そのようなシステムは、１つまたは複数の集計バッグを含み得、それぞれは、手術用繊維などの手術用器具を含むように構成され、１人または複数のユーザが手術用器具の１つまたは複数の集計プロトコルを実装するのを助ける。上記のように（例えば、図４を参照して）、集計バッグは、裏打ちおよび１つまたは複数のポケットを含み得る。裏打ちは、ポールの１つまたは複数のフックと相互作用して、１つまたは複数のフックから集計バッグを吊るすように構成された１つまたは複数の開口部を含み得る。集計バッグの構成要素（例えば、裏打ちおよびポケット）は、任意の適切な材料で作ることができ、任意の適切な着色を有することができる。例えば、集計バッグの裏打ちは、不透明な青色、不透明な白色、または他の適切な色を有し得、ポケットは、透明な材料ででき得る。集計バッグが容易に識別できるように、積み重ねた場合でも（例えば、互いに積み重ねた場合）１つまたは複数の集計バッグの裏打ちが不透明で着色されていることが有益であり得、その結果、その中に置かれた汚れた手術用器具と清潔な手術用器具の両方と色が対照的である（例えば、汚れたおよび清潔な手術用繊維）。さらに、透明なポケットは、ポケット内の手術用器具の視覚化、手術用器具上の１つまたは複数のマーカー（例えば、手術用繊維上のタグ）の視覚化、またはその両方を可能にするために有益であり得る。集計バッグは、ポールから集計バッグを吊るすのに有益な形状およびサイズなど、任意の適切な形状およびサイズのものであり得る。図４に示される例示的な実施形態は、長方形のポケットを備えた長方形の集計バッグを使用するが、集計バッグおよびそのポケットは、上記のように、任意の適切な形状およびサイズにすることができる。
【0104】
手術用器具を追跡するために本明細書で説明されるシステムの１つまたは複数の例示的な実施形態は、１つまたは複数の重量検出構成要素を含み得る。そのような重量検出構成要素は、手術用器具の存在を感知し、それらを計量し、それらを集計し、またはそれらの任意の適切な組み合わせに使用することができる。上記のように、１つまたは複数の重量検出構成要素は、手術用器具の第１の集計を決定するために使用される１つまたは複数のはかりを含み得る。例えば、１つまたは複数の重量検出構成要素は、手術用器具の第１の集計を受信し、第１の集計を決定するために重量情報をプロセッサに通信するように構成され得る。１つまたは複数の重量検出構成要素はまた、１つまたは複数の収集容器（例えば、集計バッグまたは「キックバケツ」）に結合または組み込まれて、手術用器具の第２の集計を決定することができる。１つまたは複数の収集容器は、ユーザが１つまたは複数の収集容器から手術用器具を取り出したときに重量の減少を感知するために、はかりまたは他の適切な重量検出構成要素に結合され得るか、またはそれらを含み得る。１つまたは複数の集計バッグは、手術用器具が集計バッグに追加されたとき、重量変化を感知するためにポールに結合された１つまたは複数のひずみゲージまたははかりの例示的な形態の１つまたは複数の重量検出構成要素に結合され得、手術用器具の第２の集計を決定する。
【0105】
前述の説明は、説明の目的で、本主題の完全な理解を提供するために特定の命名法を使用した。しかしながら、当業者には、本主題を実施するために特定の詳細が必要とされないことは明らかであろう。したがって、特定の例示的な実施形態の前述の説明は、例示および説明の目的で提示されている。それらは、網羅的であること、または本主題を開示された正確な形式に限定することを意図するものではない。上記の教示を考慮して、多くの修正および変形が可能である。例示的な実施形態は、本主題の原理およびその実際の用途のいくつかを説明するために選択および説明され、それにより、当業者が、本主題および企図される特定の使用に適した様々な修正を加えた様々な例示的な実施形態を利用することを可能にする。特許請求の範囲およびそれらの同等物が本発明の範囲を定義することが意図されている。
【0106】
以下の列挙された説明は、本明細書で説明される方法、機械可読媒体、およびシステム（例えば、機械、デバイス、または他の装置）の様々な例を説明する。
【0107】
第１の例は、手術用器具を追跡する方法を提供し、この方法は、
１つまたは複数のプロセッサで
手術用器具の第１の集計を受信することと、
１つまたは複数の画像を受信することであって、各画像は１つまたは複数の手術用器具を含む視野のものである、前記１つまたは複数の画像を受信することと、
１つまたは複数の受信画像に少なくとも部分的に基づいて、手術用器具の第２の集計を決定する、ことと、
手術用器具の第１の集計と手術用器具の第２の集計の比較に基づいて通知を提供することと、を含む。
１つまたは複数のプロセッサで
手術用器具の第１の集計を受信することと、
１つまたは複数の画像を受信することであって、各画像は１つまたは複数の手術用器具を含む視野のものである、前記１つまたは複数の画像を受信することと、
１つまたは複数の受信画像に少なくとも部分的に基づいて、手術用器具の第２の集計を決定する、ことと、
手術用器具の第１の集計と手術用器具の第２の集計の比較に基づいて通知を提供することと、を含む。
【0108】
第２の例は、第１の例に記載の方法を提供し、手術用器具の第２の集計の決定は、１つまたは複数の受信画像における１つまたは複数の手術用器具を識別することを含む。
【0109】
第３の例は、受信画像の少なくとも１つが深度画像である、第２の例に記載の方法を提供する。
【0110】
第４の例は、深度画像が赤外線画像である、第３の例に記載の方法を提供する。
【0111】
第５の例は、第２から第４の例のいずれかに記載の方法を提供し、受信画像の少なくとも１つはカラー画像である。
【0112】
第６の例は、第２から第５の例のいずれかに記載の方法を提供し、手術用器具は、手術用繊維である。
【0113】
第７の例は、第２から第６の例のいずれかに記載の方法を提供し、１つまたは複数の手術用器具の識別は、１つまたは複数の画像内の１つまたは複数の区画を含む容器を識別および特徴付けることを含む。
【0114】
第８の例は、第７の例に記載の方法を提供し、容器は、裏打ちと、裏打ち上に長方形のグリッドに配置された複数のポケットとを備える。
【0115】
第９の例は、第８の例に記載の方法を提供し、複数のポケットは、透明な材料を含む。
【0116】
第１０の例は、第８の例に記載の方法を提供し、裏打ちは不透明な材料を含む。
【0117】
第１１の例は、第７から第１０の例のいずれかに記載の方法を提供し、容器の特徴付けは、容器の１つまたは複数のパラメータを決定することを含む。
【0118】
第１２の例は、第１１の例に記載の方法を提供し、識別された容器の１つまたは複数のパラメータの決定は、容器の１つまたは複数の区画を定量化することを含む。
【0119】
第１３の例は、第１１の例または第１２の例に記載の方法を提供し、識別された容器の１つまたは複数のパラメータの決定は、容器の１つまたは複数の区画の幾何学的配置を決定することを含む。
【0120】
第１４の例は、第１１から第１３の例のいずれかに記載の方法を提供し、識別された容器の１つまたは複数のパラメータの決定は、容器の１つまたは複数の区画のそれぞれにおける手術用器具の有無を決定することを含む。
【0121】
第１５の例は、第１から第１４の例のいずれかに記載の方法を提供し、手術用器具の第２の集計の決定は、少なくとも部分的に、１つまたは複数の手術用器具を保持するように構成された容器の重量の変化を検出することにさらに基づく。
【0122】
第１６の例は、第１から第１５の例のいずれかに記載の方法を提供し、手術用器具の第１の集計の受信は、画像内の１つまたは複数の手術用器具を識別することを含む。
【0123】
第１７の例は、第１から第１６の例のいずれかに記載の方法を提供し、手術用器具の第１の集計の受信は、少なくとも部分的に、１つまたは複数の手術用器具の重量の検出に基づく。
【0124】
第１８の例は、第１から第１７の例のいずれかに記載の方法を提供し、手術用器具の第１の集計は、ユーザ入力を介して提供される。
【0125】
第１９の例は、第１から第１８の例のいずれかに記載の方法を提供し、手術用器具の第２の集計の決定は、手術用器具の現在の指標値を更新することを含む。
【0126】
第２０の例は、第１９の例に記載の方法を提供し、手術用器具の現在の指標値をディスプレイに表示することをさらに含む。
【0127】
第２１の例は、第１から第２０の例のいずれかに記載の方法を提供し、第１の集計および第２の集計のうちの少なくとも１つの精度を検証するようにユーザに促すことをさらに含む。
【0128】
第２２の例は、第１の例から第２１の例のいずれかに記載の方法を提供し、手術用器具の第１の集計、手術用器具の第２の集計、または通知の少なくとも１つをディスプレイに表示することをさらに含む。
【0129】
第２３の例は、第１から第２２の例のいずれかに記載の方法を提供し、追跡された手術用器具の要約レポートを提供することをさらに含む。
【0130】
第２４の例は、第１から第２３の例のいずれかに記載の方法を提供し、第１の集計と第２の集計との間の比較に基づく通知の提供は、第１の集計が第２の集計と一致しないことに応答して警告を生成することを含む。
【0131】
第２５の例は、第２４の例に記載の方法を提供し、警告は、所定のプロトコルに従う。
【0132】
第２６の例は、第１の例から第２５の例のいずれかに記載の方法を提供し、第１の集計の少なくとも一部は、医療処置の前に受信される。
【0133】
第２７の例は、第１から第２６の例のいずれかに記載の方法を提供し、第２の集計は、医療処置中または処置後に決定される。
【0134】
第２８の例は、第１から第２７の例のいずれかに記載の方法を提供し、第２の集計の決定は、１つまたは複数の機械学習モデルを使用して１つまたは複数の受信画像を分析することを含む。
【0135】
第２９の例は、第２８の例に記載の方法を提供し、１つまたは複数の機械学習モデルは、深層学習技術を組み込んでいる。
【0136】
第３０の例は、手術用器具を追跡するためのシステムを提供し、このシステムは、
以下を含む操作を実行するように構成された１つまたは複数のプロセッサを含む。
前記操作は、
手術用器具の第１の集計を受信することと、
１つまたは複数の画像を受信することであって、各画像は１つまたは複数の手術用器具を含む視野のものである、前記１つまたは複数の画像を受信することと、
１つまたは複数の受信画像に少なくとも部分的に基づいて、手術用器具の第２の集計を決定することと、
手術用器具の第１の集計と手術用器具の第２の集計の比較に基づいて通知を提供することと、を含む。
以下を含む操作を実行するように構成された１つまたは複数のプロセッサを含む。
前記操作は、
手術用器具の第１の集計を受信することと、
１つまたは複数の画像を受信することであって、各画像は１つまたは複数の手術用器具を含む視野のものである、前記１つまたは複数の画像を受信することと、
１つまたは複数の受信画像に少なくとも部分的に基づいて、手術用器具の第２の集計を決定することと、
手術用器具の第１の集計と手術用器具の第２の集計の比較に基づいて通知を提供することと、を含む。
【0137】
第３１の例は、第３０の例に記載のシステムを提供し、手術用器具の第２の集計の決定は、１つまたは複数の受信画像内の１つまたは複数の手術用器具を識別することを含む。
【0138】
第３２の例は、第３１の例に記載のシステムを提供し、受信画像の少なくとも１つは深度画像である。
【0139】
第３３の例は、第３２の例に記載のシステムを提供し、深度画像は赤外線画像である。
【0140】
第３４の例は、第３１から第３３の例のいずれかに記載のシステムを提供し、受信画像の少なくとも１つはカラー画像である。
【0141】
第３５の例は、第３１から第３４の例のいずれかに記載のシステムを提供し、１つまたは複数の手術用器具の識別は、１つまたは複数の画像の１つまたは複数の区画を含む容器を識別および特徴付けることを含む。
【0142】
第３６の例は、第３５の例に記載のシステムを提供し、容器の特徴付けは、容器の１つまたは複数のパラメータを決定することを含む。
【0143】
第３７の例は、第３６の例に記載のシステムを提供し、識別された容器の１つまたは複数のパラメータの決定は、容器の１つまたは複数の区画を定量化することを含む。
【0144】
第３８の例は、第３６の例または第３７の例に記載のシステムを提供し、識別された容器の１つまたは複数のパラメータの決定は、容器の１つまたは複数の区画の幾何学的配置の決定を含む。
【0145】
第３９の例は、第３６から第３８の例のいずれかに記載のシステムを提供し、識別された容器の１つまたは複数のパラメータの決定は、容器の１つまたは複数の区画のそれぞれにおける手術用器具の有無の決定を含む。
【0146】
第４０の例は、第３５から第３９の例のいずれかに記載のシステムを提供し、容器は、裏打ちおよび長方形のグリッドに配置された複数のポケットを含む可撓性容器である。
【0147】
第４１の例は、第４０の例に記載のシステムを提供し、複数のポケットは、透明な材料を含む。
【0148】
第４２の例は、裏打ちが不透明な材料を含む、第４０の例に記載のシステムを提供する。
【0149】
第４３の例は、第３０から第４２の例のいずれかに記載のシステムを提供し、プロセッサによって受信された１つまたは複数の画像を生成するように構成された光学センサをさらに備える。
【0150】
第４４の例は、第３０から第４３の例のいずれかに記載のシステムを提供し、表示画面をさらに備える。
【0151】
第４５の例は、第４４の例に記載のシステムを提供し、表示画面は、追跡された手術用器具の要約レポートを表示するように構成される。
【0152】
第４６の例は、第４４の例または第４５の例に記載のシステムを提供し、表示画面は、第１の集計と第２の集計との間の比較に基づいて通知を表示するように構成される。
【0153】
第４７の例は、第４６の例に記載のシステムを提供し、通知は、第１の集計が第２の集計と一致しない場合、所定のプロトコルに従った警告を含む。
【0154】
第４８の例は、第３０から第４７の例のいずれかに記載のシステムを提供し、手術用器具は、手術用繊維である。
【0155】
第４９の例は、第３０から第４８の例のいずれかに記載のシステムを提供し、１つまたは複数のプロセッサの少なくとも１つは、スタンドに取り外し可能に取り付けられたモバイルコンピューティングデバイス内にある。
【0156】
第５０の例は、手術用器具を追跡するための方法を提供し、この方法は、
１つまたは複数のプロセッサで、
視野の画像を受信することであって、視野は１つまたは複数の手術用器具を含む、ことと、
画像内の１つまたは複数の手術用器具の存在を決定することと、
画像内の１つまたは複数の手術用器具の決定された存在の表示を提供することと、を含む。
１つまたは複数のプロセッサで、
視野の画像を受信することであって、視野は１つまたは複数の手術用器具を含む、ことと、
画像内の１つまたは複数の手術用器具の存在を決定することと、
画像内の１つまたは複数の手術用器具の決定された存在の表示を提供することと、を含む。
【0157】
第５１の例は、第５０の例に記載の方法を提供し、少なくとも１つのトレーニングされた機械学習モデルに基づいて、画像内の１つまたは複数の手術用器具を定量化することをさらに含む。
【0158】
第５２の例は、第５１の例に記載の方法を提供し、機械学習モデルは、深層学習技術を組み込んでいる。
【0159】
第５３の例は、第５０から第５２の例のいずれかに記載の方法を提供し、１つまたは複数の手術用器具の存在の決定は、画像内の容器の存在を検出することを含み、容器は複数の区画を含み、各区画は少なくとも１つのそれぞれの手術用器具を受け入れるように構成される。
【0160】
第５４の例は、第５３の例に記載の方法を提供し、手術用器具の有無に基づいて各区画を分類することをさらに含む。
【0161】
第５５の例は、第５０から第５４の例のいずれかに記載の方法を提供し、決定された存在の表示の提供は、画像内の少なくとも１つの手術用器具の決定された存在の表示を提供することを含む。
【0162】
第５６の例は、第５０から第５５の例のいずれかに記載の方法を提供し、１つまたは複数の手術用器具は、手術用繊維を含む。
【0163】
第５７の例は、第５０から第５６の例のいずれかに記載の方法を提供し、１つまたは複数の手術用器具は、手術用器材を含む。
【0164】
第５８の例は、前述の例のいずれか１つで実行される操作（例えば、方法操作）を実行するように機械を制御するための機械可読命令を運ぶキャリア媒体を提供する。
【0165】
第５９の例は、機械の１つまたは複数のプロセッサによって実行されると、機械に前述の例のいずれか１つで指定された操作（例えば、方法操作）を実行させる命令を含む機械可読媒体（例えば、非一時的な機械可読記憶媒体）を提供する。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
