知財求人 - 知財ポータルサイト「IP Force」
▶ オーアールテリジェンス， インコーポレイテッドの特許一覧
特表2024-515448外科手術用トレイおよびその上に含有されるアイテムの動的識別のためのシステムおよび方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-04-10
(54)【発明の名称】外科手術用トレイおよびその上に含有されるアイテムの動的識別のためのシステムおよび方法
(51)【国際特許分類】
G06V 10/774 20220101AFI20240403BHJP
G06V 10/82 20220101ALI20240403BHJP
G06T 7/00 20170101ALI20240403BHJP
G06T 17/20 20060101ALI20240403BHJP
G06T 17/10 20060101ALI20240403BHJP
G16H 40/20 20180101ALI20240403BHJP
G16H 40/40 20180101ALI20240403BHJP
A61B 90/90 20160101ALI20240403BHJP
【ＦＩ】
G06V10/774
G06V10/82
G06T7/00 350C
G06T17/20
G06T17/10
G16H40/20
G16H40/40
A61B90/90
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023557080
(86)(22)【出願日】2022-03-14
(85)【翻訳文提出日】2023-10-26
(86)【国際出願番号】 US2022020125
(87)【国際公開番号】W WO2022197587
(87)【国際公開日】2022-09-22
(31)【優先権主張番号】63/161,270
(32)【優先日】2021-03-15
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＰＹＴＨＯＮ
２．ＪＡＶＡ
３．ＢＬＵＥＴＯＯＴＨ
(71)【出願人】
【識別番号】523351623
【氏名又は名称】オーアールテリジェンス， インコーポレイテッド
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】ドネリー， ティモシー
(72)【発明者】
【氏名】グリーンマン， サイモン
(72)【発明者】
【氏名】バナシンスキ， ピオトル
【テーマコード（参考）】
5B080
5L096
5L099
【Ｆターム（参考）】
5B080AA13
5B080AA14
5B080AA17
5B080BA00
5B080CA04
5B080FA02
5B080GA22
5L096AA02
5L096AA06
5L096AA09
5L096BA06
5L096BA18
5L096CA05
5L096DA03
5L096FA15
5L096GA38
5L096GA51
5L096HA11
5L096JA22
5L099AA02
(57)【要約】
本発明は、コンピュータシステムを持続的に訓練し、画像またはアイテムに割り当てられる、一意の識別器を有する、３次元合成アイテムの少なくとも１００枚の無作為に作成された２次元画像を使用して、トレイ内の外科手術用アイテムを正確に識別するための人工知能対応画像認識方法およびシステムを提供する。本発明はまた、外科手術用器具が外科手術用トレイ上に存在または欠如しているかどうかを決定し、該当する場合、欠如しているものを識別するための使用のための人工知能対応画像認識方法およびシステムを提供する。一側面では、サーバが、画像を受信し、深層畳み込みニューラルネットワークを用いて、画像を分析し、トレイのタイプを分類し、次いで、トレイ上にあるべきアイテムのリストと、コンピュータがトレイ上で認識するものを比較し、ユーザに表示される出力を生成し、存在および／または欠如しているアイテムを識別する。
【特許請求の範囲】
【請求項1】
コンピュータシステムを訓練し、外科手術用トレイおよびその上に含有されるアイテムを動的に識別するための方法であって、前記方法は、ａ．スキャナデバイスを用いて、少なくとも２回、外科手術用器具を走査し、前記外科手術用器具の予備３次元モデルを作成するステップと、
ｂ．幾何学形状、各頂点の位置、各テクスチャ座標頂点のＵＶ位置、頂点法線、頂点のリストとして定義される各ポリゴンを成す面、および前記アイテムに関するテクスチャ座標から成るグループから選択される少なくとも１つの要素を定義することによって、前記外科手術用器具の予備３次元モデルを改訂し、最終３次元合成アイテムを作成するステップと、
ｃ．一意の識別を前記最終３次元合成アイテムに割り当てるステップであって、前記一意の識別を伴う前記最終３次元合成アイテムは、データベース内に記憶される、ステップと、
ｄ．前記最終３次元合成アイテムの少なくとも１００枚の一意の訓練合成画像を作成するステップであって、前記一意の訓練合成画像はそれぞれ、前記最終３次元合成アイテムの配向、前記最終３次元合成アイテムを照明する合成光色または強度、および識別された表面の上方の前記最終３次元合成アイテムの高度から成るグループから選択される前記最終３次元合成アイテムの少なくとも１つの要素を無作為に変動させることによって、前記最終３次元合成アイテムと異なり、前記少なくとも１００枚の一意の訓練合成画像はそれぞれ、前記最終３次元合成アイテムの一意の識別にリンクされる、ステップと、
ｅ．前記最終３次元合成アイテムの少なくとも１枚の一意の試験合成画像を作成するステップであって、前記一意の試験合成画像は、前記最終３－Ｄ合成アイテムの配向、前記最終３－Ｄ合成アイテムを照明する合成光色または強度、および識別された表面の上方の前記最終３－Ｄ合成アイテムの高度から成るグループから選択される前記最終３次元合成アイテムの少なくとも１つの要素を無作為に変動させることによって、前記最終３次元合成アイテムと異なり、前記一意の試験合成画像は、前記最終３次元合成アイテムの一意の識別にリンクされない、ステップと、
ｆ．前記システムを用いて、前記訓練合成画像を繰り返し処理するステップであって、したがって、前記システムは、前記訓練合成画像内の１つまたはそれを上回るパターンを識別し、前記パターンは、前記３次元合成アイテムの一意の識別にリンクされる識別モデルを作成および更新するために使用される、ステップと、
ｇ．前記システムを用いて、前記合成試験画像を処理するステップであって、したがって、前記システムは、前記識別モデルに基づいて、前記３次元合成アイテムを前記合成試験画像から識別し、前記システムは、前記システムが前記３次元合成アイテムを正しく識別していることの信頼度を表す数値信頼度係数を提供する、ステップと、
ｈ．前記数値信頼度係数が、前記システムの中にアップロードされる事前に設定された信頼度係数以上であるかどうかを決定し、前記識別が、正しくない、または前記数値信頼度係数が、前記事前に設定された信頼度係数未満である場合、ステップｄ－ｈを繰り返すステップと
を含む、方法。
【請求項2】
ステップｂ－ｈのうちの少なくとも１つは、自動的に、ユーザ入力を伴わずに遂行される、請求項１に記載の方法。
【請求項3】
ステップｄ－ｈは、自動的に、コンピュータビジョン駆動型人工知能ネットワークを使用して遂行される、請求項２に記載の方法。
【請求項4】
前記コンピュータビジョン駆動型人工知能ネットワークは、畳み込みニューラルネットワークである、請求項２に記載の方法。
【請求項5】
ｉ．前記システムが、前記３次元合成アイテムを正しく識別し、前記数値信頼度係数が、事前に設定された信頼度係数以上であるとき、前記一意の識別に起因する識別モデルを展開のためにサーバにアップロードするステップをさらに含む、請求項１に記載の方法。
【請求項6】
ステップｄは、前記最終３－Ｄ合成モデルの配向、前記最終３－Ｄ合成モデルを照明する合成光色または強度、および識別された表面の上方の前記最終３－Ｄ合成モデルの高度から成るグループから選択される少なくとも１つの要素を変動させることによって、前記最終３次元合成アイテムの新しい一意の訓練合成画像を持続的に生成し、各新しい一意の訓練合成画像は、前記最終３次元合成アイテムの一意の識別にリンクされる、請求項１に記載の方法。
【請求項7】
ステップｅは、前記最終３－Ｄ合成モデルの配向、前記最終３－Ｄ合成モデルを照明する合成光色または強度、および識別された表面の上方の前記最終３－Ｄ合成モデルの高度から成るグループから選択される少なくとも１つの要素を変動させることによって、前記最終３次元合成アイテムの新しい一意の試験合成画像を持続的に生成し、前記新しい一意の試験合成画像は、前記最終３次元合成アイテムの一意の識別にリンクされない、請求項１に記載の方法。
【請求項8】
前記数値信頼度係数は、９５パーセントを上回る、請求項１に記載の方法。
【請求項9】
外科手術用トレイおよびその上に含有されるアイテムを動的に識別するためのシステムであって、前記システムは、ソフトウェアアプリケーションであって、前記ソフトウェアアプリケーションは、前記外科手術用トレイの画像を生産するように構成される少なくとも１つの画像データ収集デバイスと通信するモバイルコンピュータデバイスまたはコンピュータデバイス上で動作し、前記ソフトウェアアプリケーションは、前記外科手術用トレイの画像を前記画像データ収集デバイスから受信し、次いで、前記画像を、有線および／または無線通信ネットワークを通して、前記外科手術用トレイが位置する施設または前記施設から遠隔の場所に位置するサーバに通信するように構成される、ソフトウェアアプリケーションと、
前記有線および／または無線通信ネットワークを通して、前記ソフトウェアアプリケーションおよび前記サーバと通信するプロセッサであって、前記プロセッサは、前記サーバへの前記画像の通信に応じて、前記システムのライブラリデータベースから、
テンソルから成る複数のトレイ識別モデルであって、前記トレイ識別モデルは、前記システムの管理者または前記管理者の従業員、契約社員、または代理人によって事前にアップロードされている、複数のトレイ識別モデル
を呼び出すように構成され、
それによって、前記プロセッサは、
前記画像を分析し、前記画像に適用されるような前記トレイ識別モデルに基づいて、前記画像内のトレイのタイプを分類することと、
前記ライブラリデータベースから、
前記トレイのタイプの分類にリンクされるアイテムのリストと、
テンソルから成る複数の器具識別モデルであって、前記器具識別モデルは、前記アイテムにリンクされ、前記システムの管理者または前記管理者の従業員、契約社員、または代理人によって事前にアップロードされている、器具識別モデルと
を呼び出すことと、
前記画像を分析し、前記器具識別モデルに基づいて、前記画像内のアイテムのタイプを識別することと、
前記分類されたアイテムと、前記分類されたトレイにリンクされる前記アイテムのリストを比較し、任意の欠如しているアイテムを決定することと、
前記ソフトウェアアプリケーションに、前記分類されたアイテムおよび任意の欠如しているアイテムを通知することと
を行うように構成される、プロセッサと、
を備える、システム。
【請求項10】
前記画像データ収集デバイスは、カメラである、請求項９に記載のシステム。
【請求項11】
前記画像データ収集デバイスは、装着可能デバイス上に搭載される、請求項９に記載のシステム。
【請求項12】
テンソルから成る前記トレイ識別モデルおよびテンソルから成る前記器具識別モデルは、ビュー生成モジュールによってレンダリングされるような３次元合成アイテムの２次元図を使用して訓練されるコンピュータビジョン駆動型人工知能ネットワークを使用して生成される、請求項９に記載のシステム。
【請求項13】
前記人工知能ネットワークは、畳み込みニューラルネットワークである、請求項１２に記載のシステム。
【請求項14】
前記コンピュータビジョン駆動型人工知能ネットワークは、ビュー生成モジュールによってレンダリングされるような３次元合成アイテムの２次元図を使用して持続的に訓練される、請求項１２に記載のシステム。
【請求項15】
外科手術用トレイおよびその上に含有されるアイテムを識別するための方法であって、前記方法は、モバイルコンピュータデバイスまたは前記モバイルコンピュータデバイスと同期され得るコンピュータデバイス上で動作するソフトウェアアプリケーションを使用して、前記外科手術用トレイの画像およびその上に含有されるアイテムを、サーバまたは遠隔サーバに接続される画像データ収集器から受信することであって、前記モバイルコンピュータデバイスまたは前記コンピュータデバイスは、有線および／または無線通信ネットワークを通して、前記外科手術用トレイが位置する施設におけるサーバと通信する、または前記施設から遠隔の場所にあって、前記サーバと通信する遠隔サーバと通信する、ことと、
前記情報を受信することに応じて、データベースから、プロセッサを使用して、テンソルから成る複数のトレイ識別モデルを呼び出すことであって、前記トレイ識別モデルは、トレイ名およびそれらのトレイによって含有されることが意図されるアイテムの知識を伴う専門家によって、事前にアップロードされている、ことと、
前記画像を分析し、前記トレイ識別モデルに基づいて、前記画像内のトレイのタイプを分類することと、
前記トレイを分類することに応じて、前記データベースから、前記トレイの分類にリンクされ、テンソルから成る複数の器具識別モデルであって、前記器具識別モデルは、（ａ）表面テクスチャ、（ｂ）アイテム材料組成物、および（ｃ）サイズ公差を含む、器具識別モデルと、前記トレイ分類にリンクされるアイテムのリストとを呼び出すことであって、前記器具識別モデルは、前記専門家によって事前にアップロードされている、ことと、
前記画像を分析し、前記器具識別モデルに基づいて、前記画像内のアイテムのタイプを分類することと、
前記分類されたアイテムと、前記分類されたトレイにリンクされる前記アイテムのリストを比較し、任意の欠如しているアイテムを決定することと、
前記ソフトウェアアプリケーションに、前記分類されたアイテムおよび任意の欠如しているアイテムを通知することと
を含む、方法。
【請求項16】
前記画像データ収集デバイスは、カメラである、請求項１５に記載の方法。
【請求項17】
前記画像データ収集デバイスは、装着可能デバイス上に搭載される、請求項１５に記載の方法。
【請求項18】
テンソルから成る前記トレイ識別モデルおよびテンソルから成る前記器具識別モデルは、ビュー生成モジュールによってレンダリングされるような３次元合成アイテムの２次元図を使用して訓練されるコンピュータビジョン駆動型人工知能ネットワークを使用して生成される、請求項１５に記載の方法。
【請求項19】
前記人工知能ネットワークは、畳み込みニューラルネットワークである、請求項１８に記載の方法。
【請求項20】
前記コンピュータビジョン駆動型人工知能ネットワークは、ビュー生成モジュールによってレンダリングされるような３次元合成アイテムの２次元図を使用して持続的に訓練される、請求項１８に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願）
本願は、その内容が、参照することによって本願の中にその全体として組み込まれる、「Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｄｙｎａｍｉｃ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｏｆ ａ Ｓｕｒｇｉｃａｌ Ｔｒａｙ ａｎｄ ｔｈｅ Ｉｔｅｍｓ Ｃｏｎｔａｉｎｅｄ Ｔｈｅｒｅｏｎ」と題された、２０２１年３月１５日に出願された、米国仮特許出願第６３／１６１，２７０号の優先権および利益を主張する。
本願は、その内容が、参照することによって本願の中にその全体として組み込まれる、「Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｄｙｎａｍｉｃ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｏｆ ａ Ｓｕｒｇｉｃａｌ Ｔｒａｙ ａｎｄ ｔｈｅ Ｉｔｅｍｓ Ｃｏｎｔａｉｎｅｄ Ｔｈｅｒｅｏｎ」と題された、２０２１年３月１５日に出願された、米国仮特許出願第６３／１６１，２７０号の優先権および利益を主張する。
【0002】
本発明の実施形態の側面は、コンピュータビジョンの分野に関し、自動的かつ正確に、トレイおよび含有物が手術室を通して移動するにつれて、外科手術用トレイおよびその中の含有物を識別、確認、および追跡し、トレイ上の１つまたはそれを上回るアイテムが欠如している場合、ユーザ、例えば、医療人員に通知するように構成される、システムおよび方法を含む。
【背景技術】
【0003】
外科手術は、実践するために、アイテムの具体的セットまたは複数のセットを要求する。アイテムのうちのいくつかは、外科手術を実施するために必要とされる器具（例えば、ドリルビット、鋏、解剖刀等）を含む一方、他のアイテムは、既存の生物学的構造を置換、支持、または強化するように設計される、デバイスまたはインプラントである。全てのアイテムは、アイテムが手術室の中に移動される前に、滅菌され、具体的外科手術用トレイ上に設置されなければならない。外科手術が完了された後、使用済みおよび未使用アイテムは、同一または異なる条件、構成下で、または、いくつかの事例では、アイテムが外科手術前に設置されたものと異なるトレイ上で、手術室から除去される。例えば、アイテムのあるものは、血液等の生物学的物質をその表面上に有し得る。加えて、外科手術チームの一員は、使用済みアイテムをトレイ上で相互に重ねて設置し、それによって、あるアイテムのビューを部分的に遮断し得る。手術室から退室するトレイ上のアイテムが、手術室の中に入室するものと異なって、かつあまり整然としていないように見えることは、一般的である。それにもかかわらず、手術室の中に入室する全ての必要アイテムおよび手術室から退室する全てのアイテムを識別および追跡することが重要である。
【0004】
トレイ上のアイテムを追跡することは、手間がかかり、アイテムおよびトレイを追跡するようにタスクを課された人員の実質的時間量および集中を要求する。病院は、個人が、外科手術の中に入室するおよびそこから退室する全ての外科手術用器具をカウントすることを要求する、プロトコルおよび手順を使用する。従来のプロトコルは、カウントを促進するために、各器具の視覚的確認および／または手動取扱を別個に要求する。本アプローチは、低速であって、人為的過誤を受けやすく、かつ非効率的である。
【0005】
コンピュータビジョンを使用する、人工知能（ＡＩ）システムを含み得る、撮像技術が、外科手術用アイテムを追跡するために提案されている。そのような提案されたＡＩ対応システムは、これまで、そのようなシステムが、トレイおよびその含有物を正確に識別するように適切に訓練されていないため、解決策を提供していない。トレイおよびトレイ上のアイテムを正確に識別するようにコンピュータビジョンシステムを使用するために十分な大きさのデータセットを訓練するための解決策は、そのようなデータセットが、異なる角度で、種々の照明条件下、および／または部分的に、他のアイテムによって被覆されて提示され、アイテムが実世界の使用において見られ得る様子を反映させるために、実世界アイテムの多数の画像を要求するため、存在しない。膨大な時間量が、単に、全て異なる角度、光強度、閉塞レベル等において、器具の数十万枚の実世界画像が取り込まれる、必要な訓練データセットを作成するために必要とされるであろう。時間限界は、ＡＩシステムのための訓練データセットの構築を非実践的にする。その結果、提案されたＡＩ対応システムは、トレイ上の外科手術用アイテムを識別および追跡するための従来のプロトコルに固有の問題を解決しない。
【0006】
実世界の時間的限界は、ＡＩベースのシステムの学習を著しく妨げ、システムの再現率能力、すなわち、システムが、アイテムが何であるか推測する必要がある頻度、およびその精度、すなわち、システムがアイテムを正しく推測する頻度に悪影響を及ぼす。これまで、そこからＡＩ対応コンピュータビジョンシステムが外科手術用トレイ上のアイテムを識別するように学習し得る、運用可能なデータセットを作成することは、実行可能ではなかった。そのような運用可能なデータベースは、トレイ上に設置されることになるアイテムのそれぞれのものの数十万枚の実世界画像を要求する。ＡＩ対応コンピュータビジョンシステムを訓練するためのより効率的解決策が、必要とされる。
【0007】
実行可能性問題点に取り組むための１つの提案される近道は、トレイおよび器具マーカの使用を伴う。本近道を用いることで、ＡＩ対応システムは、アイテム自体ではなく、マーカのみを学習するだけでよい。例えば、米国特許第１０，３５７，３２５号は、（１）トレイ上に存在する行列コード（例えば、バーまたはＱＲコード（登録商標））に基づいて、トレイと、（２）器具に添着される、色マーカ（例えば、着色テープ、バンド、またはリング）に基づいて、トレイ上の器具とを識別するために、カメラの使用を提案する。そのようなマーカベースのアプローチに関する問題は、マークおよびコード化されなければならない、異なる外科手術用アイテムおよび製造業者の数だけではなく、手術室内での十分な信頼性のある運用性の欠如である。さらに、外科手術は、昼間および夜間において、常時、生じ、これは、手術室に入室およびそこから退室するにつれて、トレイ上のアイテムへの照明暴露の性質を変化させる。照明変化は、カメラ等の自動撮像機に、手術室に入室する際にある色相として、しかし、退室する際には異なる色相として、色マーカを読み取らせ得る。その結果、マーカベースのアプローチは、以下、すなわち、（１）トレイが、トレイを識別する具体的行列を欠いている、または行列が、ビューから遮断されていること、（２）器具が、（ａ）同一トレイ上のその元々のスロット、（ｂ）同一トレイ内のその元々の配向、または（ｃ）同一トレイに戻されていないこと、または（３）アイテム上の色マーカが、ビューから隠される、異なる照明条件下で異なる色相として現れる、またはさらにアイテムから外れていることのうちの１つまたはそれを上回るものが、生じる場合、失敗するであろう。
【0008】
その結果として、現在、人工知能（ＡＩ）対応コンピュータビジョンシステムを訓練し、自動的かつ正確に、（１）トレイまたはトレイ内のアイテムに添着される、独立マーカまたはコードの必要なく、（２）種々の照明条件にかかわらず、かつ（３）トレイ上のアイテムの場所、角度、条件、または閉塞パーセンテージによって影響されず、外科手術用トレイ上のアイテムを認識するためのシステムおよび方法の必要性が存在する。また、現在、訓練されたＡＩ対応コンピュータビジョンシステムを使用して、高再現率および精度を伴って、トレイ上のアイテムを正確に識別する、システムおよび方法の必要性が存在する。
【発明の概要】
【課題を解決するための手段】
【0009】
本発明は、外科手術用トレイ、器具、およびインプラントを識別するために有用なＡＩ対応の動的コンピュータビジョンシステムを提供することによって、本必要性を満たす。本発明のＡＩ対応システムは、システムの管理者または管理者の従業員、契約社員、または代理人によって事前にアップロードされる、最小再現率および精度閾値を満たすように訓練される。いったん訓練されると、ＡＩ対応システムは、ユーザが、撮像機（例えば、カメラ）を含む、モバイルコンピュータデバイスを用いて、少なくとも１つの外科手術用ツールトレイの写真、ビデオ、または画像を撮影することを可能にする様式における使用のために展開されるように構成され、次いで、システムは、ユーザに、（１）トレイのタイプ、（２）トレイ上の器具およびインプラント、および／または（３）トレイから欠如している任意の器具およびインプラントを通知する。実施形態では、システムは、ユーザが、外科手術後、トレイの別の写真、ビデオ、または画像を撮影することを可能にし、次いで、システムは、トレイ上に存在する器具およびインプラントを、ユーザに通知し、システムのデータベースの中に記録する。
【0010】
一般に、本発明のシステムおよび方法は、（１）外科手術用器具またはトレイを、少なくとも２回、走査し、アイテムの予備３－Ｄ合成モデルを作成し、（２）予備３－Ｄ合成モデルを改訂し、仮想世界内に完全に存在するが、反射率または形状等のその属性が、アイテムの実世界属性を模倣する、最終３－Ｄ合成アイテムを作成し、（３）一意の識別を最終３－Ｄ合成アイテムに割り当て、（４）（ａ）仮想アイテムの配向、（ｂ）仮想アイテムに当たる仮想光色／強度、（ｃ）ビューから遮断される仮想アイテムの量、（ｄ）識別された表面の上方の仮想アイテムの高度、（ｅ）仮想生物学的物質での仮想アイテムの表面上の仮想ぼけ等を変動させることによって、それに関してコンピュータビジョン補助ＡＩプラットフォームが学習し得る、最終３－Ｄ合成アイテムの２次元画像の無限訓練セットを作成し、（５）システムが、訓練セット内の少なくとも１つのパターンを識別し、パターンに起因する少なくとも１つの識別モデルを作成／修正するまで、訓練セットをシステムに提供し、（６）システムが、システムが有する、アイテムの識別が正しいことの信頼度を表す、数値信頼度係数を提供する、一意の試験セットを作成し、（７）システムが試験セット内のアイテムを正しく識別したかどうかと、信頼度係数が、所望の信頼度係数以上であるかどうかと、アイテムが誤識別された程度または信頼度係数が所望の閾値にないまたはそれを上回らない程度とを決定し、アイテムの識別および信頼度閾値が満たされるまで、ステップ４－７を繰り返し、システムが合格する場合、後の使用のために、アイテムを識別するための更新されたモデルをサーバにアップロードすることによって、ＡＩ対応コンピュータビジョンシステムを訓練するために提供される。
【0011】
一般に、本発明のシステムおよび方法は、（１）外科手術用トレイおよびその上に含有されるアイテムの画像を受信し、（２）テンソルから成る、複数のトレイ分類モデルであって、訓練ケースの節において上記で概略されるように事前にアップロードされている、トレイ分類モデルを立ち上げ、（３）画像を分析し、トレイ分類モデルに基づいて、画像内のトレイのタイプを分類し、（４）トレイを分類することに応じて、データベースから、トレイの分類にリンクされる、複数の器具識別モデルであって、訓練ケースの節において上記で概略されるようにアップロードされている、器具識別モデルを呼び出し、（５）画像を分析し、器具識別モデルに基づいて、画像内のアイテムのタイプを識別し、（６）分類されたアイテムと、分類されたトレイにリンクされる、アイテムのリストを比較し、任意の欠如しているアイテムを決定し、（７）ソフトウェアアプリケーションに、分類されたアイテムおよび任意の欠如しているアイテムを通知することによって、ＡＩ対応コンピュータビジョンシステムを使用するために提供される。
【0012】
本発明の例示的非限定的実施形態では、外科手術用トレイを分類し、その上に含有されるアイテムを識別するように訓練されるように構成される、システムが、提供される。本システムは、有線および／または無線通信ネットワークを通して、ソフトウェアアプリケーションおよび撮像機およびサーバと通信する、プロセッサを含む。撮像機は、写真またはビデオを撮影することが可能である、カメラであってもよい。実施形態では、撮像機は、ピクセルおよび／またはベクトルを使用して、実世界場面の視覚的描写のファイルを作成する。例えば、カメラは、以下のファイルフォーマット、すなわち、ＪＰＥＧ（またはＪＰＧ）－写真専門家合同委員会、ＰＮＧ－ポータブルネットワークグラフィック、ＧＩＦ－グラフィックスインターチェンジフォーマット、ＴＩＦＦ－タグ付け画像ファイル、ＰＳＤ－フォトショップドキュメント、ＰＤＦ－ポータブルドキュメントフォーマット、ＥＰＳ－カプセル化ポストスクリプト、ＡＩ－Ａｄｏｂｅイラストレータドキュメント、ＩＮＤＤ－Ａｄｏｂｅインデザインドキュメント、またはＲＡＷ－未加工画像フォーマットのうちの任意の１つまたはそれを上回るものにおいて、画像を生産することが可能であってもよい。
【0013】
本発明のシステムは、トレイおよびアイテムの合成画像を利用し、トレイまたは外科手術用器具の予備３次元モデルを作成する。本アプローチは、合成画像の運用可能な訓練データセットの作成を可能にする。非限定的実施形態では、本発明のシステムは、システムの管理者、または管理者の従業員、契約社員、または代理人が、撮像機を用いて、少なくとも２回、トレイまたは外科手術用器具、インプラント、ツール、または締結具を走査し、トレイまたは外科手術用器具の予備３次元モデルを作成し、次いで、ソフトウェアアプリケーションを使用して、トレイまたは外科手術用器具、インプラント、ツール、または締結具の予備３次元モデルを改訂し、外科手術用器具、インプラント、ツール、または締結具毎に、最終３次元合成アイテムファイルを作成することを可能にするように構成される。ソフトウェアアプリケーションは、幾何学形状、各頂点の位置、各テクスチャ座標頂点のＵＶ位置、頂点法線、頂点のリストとして定義される、各ポリゴンを成す、面、およびアイテムに関するテクスチャ座標から成るリストから選択された少なくとも１つの要素を定義することを含む、最終３次元合成アイテムへの改定を可能にする。ソフトウェアアプリケーションは、一意の識別を、「３次元合成アイテム」とも称される、最終３次元合成モデルに割り当てる。一意の識別は、英数字および／または比色分析であることができる。ある実施形態では、ソフトウェアアプリケーションは、一意の識別をアップロードされた画像内の１つまたはそれを上回るトレイ分類にリンクすることができる。トレイ分類は、システムが識別し得る、トレイにリンクされる、器具、インプラント、ツール、締結具、または他の物体の事前に定義されたリストを含むことができる。
【0014】
次に、本発明のシステムは、それぞれ、最終３次元合成アイテム毎に導出される、訓練データセットおよび試験データセットを自動的に作成するように構成される。訓練データセットは、ソフトウェアによって割り当てられ、システムが最終３次元合成アイテムから学習することを可能にする、一意の識別にリンクされる。逆に言えば、試験データセットは、一意の識別へのリンクを含まない。全てのデータセット、すなわち、訓練データセットおよび試験データセットは、最終３次元合成アイテムの一意の合成画像から成り、最終３次元合成アイテムの配向、最終３－Ｄ合成アイテムを照明する合成光色または強度、または識別された表面の上方の最終３次元合成アイテムの高度は、各画像内で一意である。ある実施形態では、訓練データセットはまた、トレイ、外科手術用ツール、インプラント、締結具、または他の物体の最大１００枚またはそれを上回る実世界画像を含んでもよい。一意の訓練データセットは、３次元合成アイテム毎に、３次元合成アイテムの数十万枚の一意の２次元画像と、随意に、３次元合成アイテムを作成するために走査される物体の多数の実世界画像とを含有することができ、その全ては、訓練プロセスにおいて、本発明のＡＩ対応コンピュータビジョンシステムが、高パーセンテージの再現率および精度を伴って、各３次元合成アイテムを認識するために使用され得る。各訓練データセットは、本発明のシステムおよび方法によって、効率的に作成されることができる。本発明の１つの特徴は、本システムの訓練が、訓練データセット内の３次元合成アイテムの最大で無限の数の合成訓練画像の使用を通して、再現率および精度を持続的に改善し続け得ることである。
【0015】
本発明のシステムおよび方法は、３次元合成アイテムの各訓練データセットによって、訓練されることができ、これは、トレイ、またはトレイ内または上の外科手術用ツール、インプラント、締結具、または他の物体の２次元画像と、一意の識別とを含有する。システムは、訓練データセット内の各２次元画像を処理し、識別モデルを作成および更新するように構成され、これは、正しい識別が訓練データセットとともに提供される必要なく、トレイまたは複数のトレイ、トレイ上または内の外科手術用ツール、インプラント、締結具、または他の物体を識別するための使用のために展開されてもよい。識別モデルは、各訓練データセット内で識別されたトレイまたは外科手術用ツール、インプラント、締結具、または他の物体の視覚的パターンに帰属する、特徴ベクトルを含む。特徴ベクトルは、行列の中に組み合わせられ、特徴ベクトルの２次元アレイを提供することができる。行列は、テンソルへと層化され、システムが外科手術室内で展開されると、トレイを分類する、または器具を識別するためにシステムによって使用されるための３次元アレイを提供することができる。
【0016】
いったん作成されると、既知のトレイおよびトレイ上または内の外科手術用ツール、インプラント、締結具、または他の物体に帰属する、テンソルを備える、３次元合成アイテムのための各識別モデルが、最終３次元合成アイテムが位置する施設または最終３次元合成アイテムから遠隔の場所における、サーバ上に記憶される。システムが、付加的訓練データセットを処理する間、システムは、最終３次元合成アイテムの既知または新しいパターンに属する、少なくとも１つの付加的特徴ベクトルを作成することができる。そのような付加的特徴ベクトルは、組み合わせられ、新しい行列を作成する、または関連識別モデル内の既存の行列に追加することができる。識別モデル内への行列の追加または改訂は、新しいテンソルを改訂または作成するために使用され、これは、次いで、使用のための後の展開のために、システムによって、サーバにアップロードされる、または第２のサーバにアップロードされることができる。外科手術用ツール、インプラント、締結具、または他の物体の識別されたパターンに帰属する、テンソルを構築するための特徴ベクトルの本作成は、システムが新しいまたは更新された識別モデルと併用するために展開されると、システムが異なる画像内の同一器具を自動的に認識することが可能であるように、システムを訓練する。
【0017】
３次元合成アイテムに関する各試験データセットは、システムが受けた訓練の量および有効性を評価するために使用されることができる。試験データセットは、関連訓練データセットが処理されるためにシステムに提供される間または後、システムに提供されることができる。システムは、訓練データセットを処理するとき、回答を提供されるが、システムは、試験データセットを処理するとき、回答を提供されない。試験データセット内の各合成画像が、システムに提供されると、システムは、合成画像内のアイテムを識別し、数値信頼度係数を提供し、これは、システムが有する、アイテムの識別が正しいことの信頼度を表す。数値信頼度係数が、システムの管理者、または管理者の従業員、契約社員、または代理人によって、システム内で事前に設定された最小閾値を満たすまたはそれを超えることができない場合、付加的訓練データセットが、システムが、後の展開のためにサーバ上に記憶されるべき識別されたパターンに帰属する、更新された特徴ベクトルを作成することによって、信頼度係数を改善し得るように、システムに提供される。逆に言えば、システム識別および数値信頼度値が、正しく、信頼度係数が、システム内で設定された信頼度係数以上である場合、システムは、新しいまたは更新された識別モデルと併用するために展開されることができる。
【0018】
ある実施形態では、システムが、新しいまたは更新された識別モデルと併用するために展開された後でも、付加的訓練データセットが、システムに持続的に提供され、識別されたパターンに帰属する特徴ベクトルを持続的に作成し、システムの管理者、または管理者の従業員、契約社員、または代理人によって事前に識別されている、最小閾値を上回って、一意の画像（合成または実世界）上で試験されるときのシステムの再現率および精度値を増加させることができる。
【0019】
例示的非限定的実施形態では、本発明の展開されるシステムは、ソフトウェアアプリケーションを備える。アプリケーションは、モバイルコンピュータデバイス上またはコンピュータデバイス上で動作するように構成され、そのいずれも、外科手術用トレイの画像を生産するように構成される、少なくとも１つの画像データ収集デバイスと通信する。アプリケーションは、外科手術用トレイまたは外科手術用トレイ上または内の外科手術用ツール、インプラント、締結具、または他の物体の画像を画像データ収集デバイスから受信し、画像を、有線および／または無線通信ネットワークを通して、外科手術用トレイが位置する施設または施設から遠隔の場所に位置する、サーバに通信するように構成される。システムは、有線および／または無線通信ネットワークを通して、システムのソフトウェアアプリケーションおよびサーバと通信する、プロセッサを含む。プロセッサは、サーバへの画像の通信に応じて、システムのライブラリデータベースから、合成トレイにリンクされる、事前に作成されたテンソルから成る、複数の事前に作成された識別モデルを呼び出すように構成される。合成トレイにリンクされる、識別モデルは、前述の訓練システムによって、事前にアップロードされている。プロセッサは、画像を分析し、合成トレイにリンクされる、識別モデルに基づいて、画像内のトレイのタイプを分類するように構成される。次いで、プロセッサによって割り当てられる、画像内のトレイの分類に基づいて、プロセッサは、ライブラリデータベースから、（１）トレイの分類にリンクされる、３次元合成アイテムにリンクされる、複数の識別モデル、（２）（ａ）表面テクスチャ、（ｂ）アイテム材料組成物、および（ｃ）サイズ公差を含む、識別モデル、（３）合成トレイにリンクされる、アイテムのリスト、および（４）上記に概略されるように、３次元合成アイテムに関して作成された複数の特徴ベクトルを呼び出す。プロセッサは、次いで、画像を分析し、３次元合成アイテムにリンクされる、識別モデルに基づいて、画像内のアイテムのタイプを分類することに進む。プロセッサは、次いで、分類されたアイテムのリストと、分類されたトレイにリンクされる、アイテムのリストを比較し、任意の欠如しているアイテムが存在するかどうかを決定する。システムは、ソフトウェアアプリケーションに、分類されたアイテムおよび任意の欠如しているアイテムを通知する。ソフトウェアアプリケーションは、次いで、識別および欠如しているアイテムのリストを表示する。
【0020】
他の実施形態では、外科手術用トレイおよびその上に含有される物体を識別するための方法が、開示される。本方法は、最初に、外科手術用トレイおよびその上に含有される物体の画像（写真またはビデオ）を画像データ収集器、例えば、カメラから受信するステップを含む。画像データ収集デバイスは、モバイルコンピュータデバイスまたはモバイルコンピュータデバイスと同期され得るコンピュータデバイス上で動作する、ソフトウェアアプリケーションを使用して、サーバまたは遠隔サーバに接続される。モバイルコンピュータデバイスまたはコンピュータデバイスは、有線および／または無線通信ネットワークを通して、画像が撮影された施設における、サーバと通信し、または施設から遠隔にあって、サーバと通信する遠隔サーバと通信する。情報を受信することに応じて、本方法は、データベースから、プロセッサを使用して、合成トレイにリンクされる、複数の識別モデルを呼び出すステップを含む。再び、識別モデルは、前述の様式において、ＡＩベースのコンピュータビジョンシステムを訓練することによって、事前に取得されている。次に、本方法は、画像を分析し、合成トレイにリンクされる、識別モデルに基づいて、画像内のトレイのタイプを分類するステップを含む。トレイを分類することに応じて、本方法は、データベースから、トレイの分類内に含まれる、３次元合成アイテムにリンクされる、複数の識別モデルを呼び出すステップを含み、識別モデルは、（ａ）表面テクスチャ、（ｂ）アイテム材料組成物、および（ｃ）サイズ公差、および（ｄ）識別されたトレイ分類にリンクされる、３次元合成アイテムのリストを含む。再び、３次元合成アイテムにリンクされる、識別モデルは、ＡＩベースのコンピュータビジョンシステムを訓練することによって、作成されており、３次元合成アイテムを合成トレイにリンクさせるリストは、トレイ上に含有されるように意図されるアイテムの知識を伴う専門家によって、事前にアップロードされている。次いで、本方法は、画像を分析し、３次元合成アイテムにリンクされる、識別モデルに基づいて、画像内のアイテムのタイプを分類するステップを含む。次に、本方法は、分類されたアイテムと、分類されたトレイにリンクされる、アイテムのリストを比較し、任意の欠如しているアイテムを決定するステップを含む。次いで、本方法は、ソフトウェアアプリケーションに、分類されたアイテムおよび任意の欠如しているアイテムを通知するステップを含む。最後に、本方法は、結果を、ディスプレイ上において、モバイルコンピュータデバイスのユーザに表示するステップを含む。
【0021】
ある実施形態では、画像データ収集デバイスは、カメラであって、装着可能デバイス上に搭載されてもよい。
【0022】
本発明のこれらおよび他の特徴、側面、および利点は、以下の説明および添付の請求項を参照して、より深く理解されるであろう。
【図面の簡単な説明】
【0023】
そのシステム、アーキテクチャ、コンポーネント、構成、および機能性に関する、本発明の付加的側面、特徴、および利点は、本発明が、付随の図面と併せて行われる、図の以下の説明を考慮することによって検討するとき、理解され、明白となるであろう。
【0024】
【0025】
【0026】
【0027】
【0028】
【0029】
【0030】
【発明を実施するための形態】
【0031】
詳細な説明
本発明の種々の実施形態が、下記に詳細に説明される。具体的実装が、説明されるが、これは、例証目的のためだけに提供される。当業者は、他のコンポーネントおよび構成が、本開示の精神および範囲から逸脱することなく、使用されてもよいことを認識するであろう。
本発明の種々の実施形態が、下記に詳細に説明される。具体的実装が、説明されるが、これは、例証目的のためだけに提供される。当業者は、他のコンポーネントおよび構成が、本開示の精神および範囲から逸脱することなく、使用されてもよいことを認識するであろう。
【0032】
用語「３次元」、「３－Ｄ」、「２次元」、および「２－Ｄ」は、その平易かつ通常の意味をとる。
【0033】
用語「３次元合成アイテム」は、実世界外科手術用ツール、インプラント、締結具、または他の物体の３次元合成モデル（または３次元モデル）を意味する。
【0034】
用語「３次元合成モデル」または「３次元モデル」は、仮想環境内の３次元表現を作成するために使用される、ソフトウェアによって、かつそれを用いて作成される、実世界物体の３次元表現を意味する。
【0035】
単数形または複数形における、用語「合成画像」は、実世界画像のコンピュータ生成画像または別の仮想画像のコンピュータ生成仮想レンダリングを意味する。
【0036】
本発明は、外科手術用アイテムを追跡するためのシステムおよび方法のための当技術分野における現在の必要性のための解決策を提供する。本発明は、ディスプレイ（例えば、携帯電話）を有する、モバイルコンピュータデバイス上で起動する、ソフトウェアアプリケーションを使用して、カメラ等の撮像機と同期するように特別にプログラムされる、ＡＩ対応コンピュータビジョンシステムを使用することによって、先行技術問題を解決する。カメラは、実世界外科手術用トレイおよびその上に含有されるアイテムの画像（写真またはビデオ）を提供し、これは、有線または無線ネットワークを介して、ソフトウェアアプリケーションに伝送され、（１）トレイおよびトレイ上のアイテムのタイプを識別し、（２）アイテムがトレイから欠如している場合、ユーザに通知する。ソフトウェアアプリケーションは、最初に、トレイおよびトレイ内または上のアイテム、すなわち、ツール、インプラント、締結具、および同等物を識別するように訓練されなければならない。訓練は、それ自体が、識別モデルを３次元合成アイテムから自動的に構築するために使用される、３次元テンソルを作成するように組み合わせられる、２次元行列を作成するように組み合わせられる、ある特徴ベクトルを使用して生じる。識別モデルは、ＡＩ対応コンピュータビジョンシステムによって作成され、これは、管理者、またはその従業員、契約社員、または代理人によって、ライブラリデータベースに事前にアップロードされる、３次元合成アイテムを使用する。ソフトウェアアプリケーションは、同一方法において作成された識別モデルに基づいて、トレイ上のアイテムを識別するように訓練される、すなわち、特徴ベクトルは、２次元行列を作成するように組み合わせられ、これは、３次元テンソルを、管理者、またはその従業員、契約社員、または代理人によってライブラリデータベースに事前にアップロードされる、合成器具から生産するように組み合わせられる。識別モデルは、３次元合成アイテムの無作為２次元ビューを備える、合成訓練データセットを持続的に入力することによって、ソフトウェアアプリケーションによって作成され、（１）３次元合成アイテムの配向、（２）３次元合成アイテムを照明する合成光色または強度、および／または（３）識別された表面の上方の３次元合成アイテムの高度は、一意である。
【0037】
トレイ分類に基づいて、システムは、データベースから、管理者、またはその従業員、契約社員、または代理人によって、ライブラリデータベースに事前にアップロードされる、合成アイテムにリンクされる、対応する器具識別モデルを含む、トレイ上にあるべき全ての実世界アイテムのリストを呼び出す。次に、システムは、器具識別モデルと、トレイの画像を比較し、トレイ上に位置する、アイテムを識別する。最後に、システムは、外科手術用トレイの画像内に位置していない、アイテムのリストを表示する。
【0038】
図４は、本発明のシステム訓練の実施形態のプロセスのフローチャートを示す。ソフトウェアアプリケーションは、アプリケーションが、実世界アイテムと対応する、３次元合成アイテムを用いて、事前に訓練されているため、実世界アイテムを画像（写真またはビデオ）から認識することができる。データ調製ステップのためのそのような実施形態では、管理者、またはその従業員、契約社員、または代理人は、（１）アイテム（例えば、トレイ、ツール、インプラント、締結具、または同等物）を選択し、場面を作成し、（２）場面を、例えば、３ｄｓ Ｍａｘおよび／またはＵｎｉｔｙ等の３－Ｄレンダリングプログラムにアップロードし、その後、システムは、（３）デバイスの合成画像（すなわち、２次元画像）をレンダリングし、相関合成着色マスクを作成し、（４）データセットをソフトウェアアプリケーションに提供し、注釈が付けられたファイルを開発し、または器具マスクを器具の実世界画像にマッピングし、（５）注釈が付けられたファイルを、画像を層化するために、サブファイルに分裂させる。検出器訓練のために、管理者、またはその従業員、契約社員、または代理人、またはシステムは、自動的に、（１）データセットを選択し、訓練のために使用し、（２）モデルアーキテクチャを調製し、（３）変動されるべきデータセット内の画像の具体的拡張効果（例えば、色、アイテムの幾何学形状、境界ボックスサイズまたは形状、光レベル等）を選択し、（４）画像入力サイズを設定し、（５）バッチサイズ、学習率、反復等のデータロード設定等を設定し、（６）モデル訓練をシステム内で展開し、それを監視する。
【0039】
システム訓練は、複数の、（１）具体的トレイ分類にリンクされる、トレイ特徴ベクトルと、（２）具体的器具分類にリンクされる、器具特徴ベクトルとの作成をもたらす。具体的トレイ分類にリンクされる、トレイ特徴ベクトルと、具体的器具分類にリンクされる、器具分類ベクトルとは、実世界トレイ／器具の画像が撮影された施設または実世界トレイ／器具の画像が撮影された施設から遠隔の施設のいずれかに位置する、サーバにアップロードされる。
【0040】
ＡＩ対応コンピュータビジョンシステムを訓練するために、管理者、またはその従業員、契約社員、または代理人によって、システムに事前にアップロードされる、３次元合成アイテムの使用は、システムが、独立したアイテム特有のマーカの必要なく、９０％、９１％、９２％、９３％、９４％、９５％、９６％、９７％、９８％、９９％、またはさらに９９．５％を上回る正確度を伴って、トレイ上の全てのアイテムを正しく識別することを可能にすることによって、前述の実世界実行可能性問題を解決する。システム正確度は、システムおよび方法が、３次元合成アイテムの配向、陰影、および表面テクスチャ（例えば、粗度、使用からの磨耗、反射率等）を操作するように適合されるため、トレイ上の実世界アイテムをトレイ上のその典型的場所／配向から再位置付けする（または欠如している）画像によって、著しく影響されない。システムは、本システムがアイテムがトレイ上または内にあるかどうかを決定することを可能にする、必要なリンクされた特徴ベクトルを作成するために使用される、３次元合成アイテムの数十万枚の２次元合成画像を作成する。本発明は、生物学的物質をその表面上に有する、またはビューから部分的に閉塞されている、実世界アイテムを識別するように構成されることができる。さらに、本発明は、システムが、３次元合成アイテムのより多くの２次元合成画像を使用することによって、より高い正確度にさえ到達するように持続的に訓練することができる。
【0041】
本発明のシステムおよび方法の詳細な議論が、下記に提供される。第１に、システム概要が、議論される。第２に、３次元合成アイテムの作成が、概略される。第３に、システムが訓練される方法が、議論される。第４に、それによって本システムが写真内の実世界アイテムを認識する様式が、概略される。第５に、ユーザがシステムと相互作用し得る、方法が、議論される。第６に、システムコンポーネントが、識別される。第７に、本システムの環境のためのクラウドコンピューティングシステムの説明が、生じる。第８に、関連データの収集および留保が、開示される。
【0042】
システム概要
【0043】
図１Ａは、画像データ収集デバイス１２０およびデータベース１３０と通信する、メモリによって補助される、プロセッサを備える、サーバ１１０を含む、システムを示す。例えば、図１Ｂに開示されるように、ユーザが、画像捕捉デバイス（例えば、スマートフォン）を使用して、外科手術用トレイ１３５の写真を撮影する。ソフトウェアアプリケーションのフロントエンドが、ケースＩＤを自動的に割り当て、画像をサーバ１１０に送信し（１４０）、これは、システムの分類器および検出器モジュールを展開する。分類器および検出器モジュールは、データベース１３０に接続する（１４５）。データベースは、サーバ１１０への接続成功を確認する（１５０）。画像を備える、接続ストリーム１５５が、分類器および検出器モジュールに送信される。トレイのタイプが、分類される（１６０）。いったんトレイが、分類されると、分類器および検出器モジュールは、器具検出器モジュール１６５が、データベース１３０から識別されたトレイ分類１６０にリンクされることを要求する。リンクされた器具検出器モジュール１７０は、展開され、分類器および検出器モジュールは、画像内の器具を検出する（１７５）。信頼度閾値１８０が、各検出された器具に適用される。トレイ分類にリンクされる、検出されない器具のリストが、決定される。最後に、分類されたトレイは、検出された器具および欠如している器具のリストとともに、次いで、ユーザへのグラフィカルユーザインターフェース上における表示のために、ソフトウェアアプリケーションに提供される。
【0044】
上記に概略されるように、システムは、２つの位相において進められる。第１に、システムは、画像を分析し、画像内のトレイのタイプを識別および分類するように構成される。第２に、システムは、次いで、トレイを分析し、該当する場合、トレイから欠如しているアイテムを決定し、次いで、グラフィカルユーザインターフェースを通して、結果をユーザに表示するように構成される。随意に、システムは、監査において使用するため等、後の分析のために、結果をデータベース内に記憶することができる。データベースは、以下を含有する。
（１）畳み込みニューラルネットワーク（ＣＮＮ）等のＡＩ対応コンピュータビジョンシステムを訓練するためのトレイおよび外科手術用デバイス等の３次元アイテムの複数の２次元合成画像であって、合成画像は、（ａ）表面テクスチャ、（ｂ）アイテム材料組成物（例えば、金属、プラスチック、雲母、ガラス等）、（ｃ）生産公差またはアイテム磨耗を考慮し得る、サイズ公差（例えば、使用済みドリルビットは、それが新しかったときより若干小さい円周を有し得る）、および（ｄ）トレイ上または内のアイテム位置を示す
（２）合成画像を使用してシステムを訓練する結果として取得される、異なるトレイ分類モデルを具体的合成外科手術用トレイにリンクする、トレイ分類モデルのリスト
（３）合成画像を使用してシステムを訓練する結果として取得される、異なる器具特徴ベクトルを具体的器具にリンクする、複数の器具識別モデル
（４）随意に、ＡＩ対応システムの知識を訓練するために使用される、複数のリアルライフ画像
情報は、システム管理者、またはその従業員、契約社員、または代理人によって、データベースにアップロードまたは提供されることができる。最後に、プロセッサは、ＡＩ対応システムの中に組み込まれ、（１）画像内のトレイを識別および分類し、（２）画像内のトレイの分類に基づいて、トレイにリンクされる、アイテムのリストを識別し、（３）画像の含有物を分析し、具体的リスト上のアイテムが画像内に含有されるかどうかを決定し、（４）ソフトウェアアプリケーションに、画像内に含有されるアイテムとそうではないアイテムを通知し、随意に、（５）任意の欠如しているアイテムが位置し得る場所、または画像内に含有されるアイテムが欠如しているアイテムのための代用品として作用し得るかどうかを決定する。
（１）畳み込みニューラルネットワーク（ＣＮＮ）等のＡＩ対応コンピュータビジョンシステムを訓練するためのトレイおよび外科手術用デバイス等の３次元アイテムの複数の２次元合成画像であって、合成画像は、（ａ）表面テクスチャ、（ｂ）アイテム材料組成物（例えば、金属、プラスチック、雲母、ガラス等）、（ｃ）生産公差またはアイテム磨耗を考慮し得る、サイズ公差（例えば、使用済みドリルビットは、それが新しかったときより若干小さい円周を有し得る）、および（ｄ）トレイ上または内のアイテム位置を示す
（２）合成画像を使用してシステムを訓練する結果として取得される、異なるトレイ分類モデルを具体的合成外科手術用トレイにリンクする、トレイ分類モデルのリスト
（３）合成画像を使用してシステムを訓練する結果として取得される、異なる器具特徴ベクトルを具体的器具にリンクする、複数の器具識別モデル
（４）随意に、ＡＩ対応システムの知識を訓練するために使用される、複数のリアルライフ画像
情報は、システム管理者、またはその従業員、契約社員、または代理人によって、データベースにアップロードまたは提供されることができる。最後に、プロセッサは、ＡＩ対応システムの中に組み込まれ、（１）画像内のトレイを識別および分類し、（２）画像内のトレイの分類に基づいて、トレイにリンクされる、アイテムのリストを識別し、（３）画像の含有物を分析し、具体的リスト上のアイテムが画像内に含有されるかどうかを決定し、（４）ソフトウェアアプリケーションに、画像内に含有されるアイテムとそうではないアイテムを通知し、随意に、（５）任意の欠如しているアイテムが位置し得る場所、または画像内に含有されるアイテムが欠如しているアイテムのための代用品として作用し得るかどうかを決定する。
【0045】
本発明は、最初に、アイテムの場所、配向、代替表面テクスチャ（例えば、アイテムの表面上に存在する、生物学的物質）、または使用の証拠にかかわらず、画像内のアイテムを動的に識別するために、システムの訓練を可能にするように作成されなければならない、各３次元アイテムの数万枚の２次元合成画像を用いて、動作することができる。システムは、特徴ベクトルを識別し、それを異なる特徴ベクトルおよび／または具体的トレイおよび器具、インプラント、ツール、または締結具にリンクすることによって、異なるアイテムを認識するように教示されることができる。
【0046】
随意に、物体の多数のリアルライフ画像が、異なるアイテムを認識するためのシステムの能力を訓練することを補助するために使用されることができる。そのような画像は、可能な限り多くのアイテム仕分けおよび属性（例えば、照明、背景、カメラ角度等）の無作為化ビューを用いて、撮影される。リアルライフ物体の画像は、次いで、３次元合成アイテムに類似する様式において、注釈が付けられる。ある実施形態では、そのような注釈は、ＳＥＮＳＥソフトウェアツールを使用して、遂行される。そのような実施形態では、境界ボックスが、ＳＥＮＳＥツールを使用して、各アイテムの周囲に描かれ、標識される。
【0047】
いったん訓練されると、システムは、カメラによって撮影された画像（写真またはビデオ）を受信し、例えば、画像を使用して、画像内の外科手術用トレイを識別し、外科手術用トレイ上にあるべき器具と、それらの器具が、実際、そこにあるかどうかとを識別し、分析の結果（すなわち、任意の器具が欠如しているかどうか）をユーザに適切な作用のためにリアルタイムで表示するように構成される。
【0048】
合成アイテムの作成
【0049】
実世界物体の各３次元合成アイテムの作成は、システムを訓練し、カメラによって撮影される写真内の実世界物体の特徴を認識するための第１のステップである。図２Ａおよび２Ｂは、完成された３次元合成アイテムの実施例と、それらの合成アイテムが、訓練の間、システムによって異なる視点から視認され得る方法とを示す。
【0050】
システムは、無限の数の２次元合成画像を３次元合成アイテムから作成し、それによって、２次元合成画像は、システムを訓練するために使用される。３次元合成アイテムの作成は、管理者、またはその従業員、契約社員、または代理人が、アイテムについての幾何学的（形状）、表面トポグラフィ／テクスチャ、アイテム材料組成物、および／または色情報を集め、予備３次元モデルを作成することから開始する。予備３次元モデルは、管理者またはその従業員、契約社員、または代理人によって精緻化され、最終３次元合成アイテムを作成し、これは、システムによって使用されるアイテムの全ての合成画像を起源とするであろう。逆に言えば、システムは、３－Ｄ ＣＡＤ図面ファイルを受信し、予備３次元モデルを作成することができる。そのようなＣＡＤファイルは、トレイまたはアイテムの製造業者または流通業者によって、システムに提供されることができる。
【0051】
ある実施形態では、予備３次元モデルを作成するための初期情報は、実世界物体またはトレイに対する複数の異なる視点（姿勢）から集められる。アイテムのビューを捕捉する本手順は、３次元走査または３次元モデル化と称され得、これは、例えば、Ａｒｔｅｃ ３Ｄスキャナ等の１つまたはそれを上回る３－Ｄスキャナを含む、３次元モデル化システムを使用して、予備的に遂行されることができる。各スキャナは、１つまたはそれを上回る深度カメラを含むことができ、これは、画像の１つまたはそれを上回るストリームの形態における視覚的情報を取得する。深度カメラはまた、アイテムについての情報色を入手する、１つまたはそれを上回る色カメラと、ＩＲ構造化光照明器と併用され、アイテムについての幾何学形状、表面テクスチャ、および材料情報を予備的に捕捉し得る、１つまたはそれを上回る赤外線（ＩＲ）カメラとを含むことができる。色およびＩＲカメラは、同期され、幾何学的に較正され、それによって、カメラが、色画像および深度マップによって構成され、そのための幾何学的整合を提供することが可能である、フレームのシーケンスを捕捉することを可能にすることができる。ある実施形態では、アイテムは、最低でも２回、アイテムの全ての側を捕捉するために、走査される必要がある。ある実施形態では、画像分解能は、２，０４８×１，５３６ピクセルに設定されることができる。
【0052】
上記に説明される、３次元モデル化システムは、基準座標系（例えば、その原点を深度カメラに有する、座標系）に対して、実世界物体の表面上の可視点の３次元場所を識別するために使用されることができる。したがって、３次元点を備える、予備３次元モデルは、実世界物体の表面の一部および３次元モデル化システムによる深度カメラの視野内の他の表面性質を説明するために使用されることができる。
【0053】
予備３次元モデルは、ｘ、ｙ、およびｚ座標を有する３次元点の集合および／またはメッシュ（例えば、三角形の集合）を備えることができる。深度カメラはまた、表面テクスチャに関する情報、アイテム材料組成物（例えば、金属、プラスチック、雲母、ガラス等）、および生産公差またはアイテム磨耗（例えば、使用済みドリルビット上の摩耗）を考慮し得る、サイズ公差を捕捉することができ、予備３次元モデルは、それらを含有することができる。
【0054】
３次元モデル化システムは、完璧ではないため、画像調整技法が、カメラレンズ形状およびカメラ配向の変動からの画像への歪曲に適応するために使用されることができる。３次元モデル化システムはまた、予備３次元モデルを自動的に処理し、誤った測定値（例えば、測定値雑音）に起因する、「誤対応」点を除去する、またはその上にアイテムが設置される、静置表面等、アイテムまたはトレイの一部上にない、構造を除去することができる。背景アイテムは、例えば、特定の閾値深度を上回る深度を有する点のマッピングを制限することによって、または点の最下平面を検出することによって、除去されることができる。
【0055】
ある場合には、複数の３次元点および／またはメッシュが、組み合わせられ、予備３次元モデルを生成することができる。組み合わせは、Ａｒｔｅｃ Ｓｔｕｄｉｏ １５またはＢｌｅｎｄｅｒ（登録商標）ソフトウェア等のマージモジュールによって生じ、予備３次元モデルを生成することができる（例えば、ＩＣＰを使用して、点またはメッシュを整合およびマージすることによって、および無関係なまたはスプリアス点を除去し、雑音を低減させ、３次元モデルのサイズを管理することによって）。いくつかの実施形態では、メッシュ生成モジュールは、マージされた予備３次元モデルから、Ｄｅｌａｕｎａｙ三角測量およびアルファ形状等の技法およびＭｅｓｈＬａｂ等のソフトウェアツールを使用して、３次元メッシュを算出する。３次元モデルは、色カメラを使用して取得された画像内の色情報と組み合わせられることができ、テクスチャマップ（例えば、モデルの表面の色についての情報）として適用されることができる。メッシュの本作成は、後に、ポリゴン化を促進する、構造情報を提供することによって、合成画像内のセグメント化品質を改善する。
【0056】
いったん予備３次元モデルが、作成されると、アイテムまたはトレイに関する幾何学形状、各頂点の位置、各テクスチャ座標頂点のＵＶ位置、頂点法線、頂点のリストとして定義される、各ポリゴンを成す、面、テクスチャ座標、および他の性質を定義する、フォーマットにおいて、３次元モデルを改訂するために、アプリケーションにエクスポートされる。３次元モデルを改訂するためのアプリケーションは、Ａｕｔｏｄｅｓｋ ３ｄ Ｍａｘであることができ、ファイルフォーマットは、ＯＢＪフォーマットであってもよい。いったん予備３次元モデルが、３次元モデル化アプリケーションの中にインポートされると、修飾因子が、生成され、衝突境界ボックスを予備３次元モデル内に描写される物体の周囲に描写するために適用される。衝突境界ボックスは、物体の周囲に描かれるボックスであって、これは、物体全体を含有する。図３は、予備３次元モデル内に描写される物体の周囲に描かれる境界ボックスの実施例を示す。境界ボックスは、ｘおよびｙ座標および幅および高さを伴う、長方形として表され得る。衝突境界ボックスを予備３次元モデル内に描写される物体の周囲に描写することによって、システムは、物体の明白な定義を有する。図３は、ＭａｓｓＦＸを使用した、そのような境界ボックスの適用を示し、これは、Ａｕｔｏｄｅｓｋ ３ｄｓ Ｍａｘと協働する、ツールセットである。境界ボックスは、使用が迅速かつ容易であるが、ポリゴン化は、ポリゴン化が、長方形および正方形に制限されず、したがって、より多くの線および角度を捕捉するため、不規則的形状の代替である。境界ボックスまたはポリゴン化が、アイテムをマッピングするために使用されるかどうかにかかわらず、標識は、予備３次元モデルに適用される。
【0057】
標識は、アイテムの材料のタイプ、表面テクスチャ、およびサイズ公差情報を識別する。標識は、手動で、または自動的にのいずれかにおいて、確認される、補完される、またはアイテムまたは保持トレイの各境界される区分に割り当てられる。例えば、管理者、またはその従業員、契約社員、または代理人は、トレイホルダに関する関連境界ボックスを、トレイ内の金属ホルダのための研磨されたアルミニウムを模倣する金属性質および他のプラスチックホルダのためのマイカルタ材料に設定することができる。実際、各合成アイテムまたはトレイ部品は、ポリゴン選択を介して、手動で選択されてもよく、ポリゴンのそのサブセット上に、材料ＩＤが、管理者またはその従業員、契約社員、または代理人によって、手動で割り当てられてもよい。
【0058】
ある実施形態では、予備３次元モデルの手動または自動作成は、材料情報に追加され、全ての合成アイテムに適用される、ユーティリティシェーダを含む。本シェーダは、合成アイテムの名称に基づいて、一意の物体マスクを生成し、一意の色が、各合成アイテムの名称に割り当てられる。そのようなアプローチは、システムおよびユーザの両方が、合成色関連付けによって、合成アイテムをより容易に認識することを可能にする。
【0059】
さらに、システムが、異なる照明条件または強度において、アイテムを識別することを補助するために、合成カメラが、合成照明の強度またはコントラストを動的に変動させながら、予備３次元モデル、またはさらに、フレームの設定された数内の経路に沿った、３次元合成アイテムの異なる２次元ビューを捕捉するために使用される。合成カメラは、３－Ｄ空間内の、予備３次元モデル、またはさらに、３次元合成アイテムの種々の配向の画像を捕捉することができる。本アプローチは、異なる照明条件および異なる配向における、予備３次元モデル、またはさらに、３次元合成アイテムの数千枚の画像を捕捉する。合成画像を使用して、最適照明条件（すなわち、システムが、実世界照明条件にかかわらず、合成アイテムを実世界アイテムに最も正確に合致させ得る、デフォルト照明条件）が、識別されることができる。いったん識別されると、最適照明条件が、予備３次元モデル、またはさらに、３次元合成アイテムのそれぞれの異なる表面に割り当てられる。
【0060】
最後に、管理者またはその従業員、契約社員、または代理人は、あるものをトレイの予備３次元モデル上または内の具体的場所に設置し、具体的な完全な合成トレイを生産することによって、予備３次元モデル、またはさらに、３次元合成アイテムを手動で組み合わせてもよい。具体的な完全な合成トレイ、その合成トレイと関連付けられる、全ての合成アイテムは、具体的な完全な合成トレイ上に位置する、全ての合成アイテムのリストとともに、次いで、データベースにアップロードされる。他のある実施形態では、システムは、合成器具、インプラント、ツール、または締結具と、合成トレイを自動的に組み合わせる。
【0061】
材料識別、表面テクスチャ、サイズ公差、および最適照明条件を手動で確認する、補完する、または予備３－Ｄモデルの各ポリゴンに割り当てることによって、３次元合成アイテムが、作成され、これは、（１）データベースから、呼び出され、（２）トレイの画像に適用され、（３）画像上で操作され（例えば、トレイ上の合成アイテムの場所、配向、閉塞、表面テクスチャ、または光陰影を変化させ）、システムをさらに訓練することができる。必要に応じて、必要な数十万枚の２次元画像を生成するために操作され得る、３次元合成アイテムを使用することによって、システムは、トレイおよび器具の数十万枚の実世界画像を取得し、独立して、アイテムをマークする必要なく、そのＡＩ対応コンピュータビジョンシステムを訓練することと関連付けられる、時間問題を解決することが可能である。
【0062】
さらに、材料、表面テクスチャ、サイズ公差情報、および陰影応答に関連する情報が、合成アイテムの個々の表面毎に、リンクされているため、本システムを訓練するための３次元合成アイテムの使用は、著しく変動され、システムに、より高い再現率および精度をもたらすことができる。例えば、実世界物体の材料は、反射性（例えば、金属）であり得る。材料情報は、３次元合成アイテム上に含まれ得るため、システムは、システムが、使用のために展開されると、システムが、器具に当たる、またはそこから反射する、光強度にかかわらず、写真に示される、実世界アイテムを識別し得るように、その訓練において、グレアおよび反射要素を組み込むことができる。
【0063】
いったん３次元合成アイテムが、生産され、システムのソフトウェアによって、一意の識別を割り当てられると、システムは、３次元合成アイテムを使用して、畳み込みニューラルネットワーク（ＣＮＮ）等の深層ニューラルネットワークコンピュータビジョン物体検出モデルを訓練することができる。コンピュータビジョン補助深層ニューラルネットワークは、３次元合成アイテムおよび対応する一意の識別（例えば、アイテムの正しい分類）、随意に、リアルライフ画像を用いて、訓練される。ニューラルネットワークのパラメータ（例えば、層間の接続の加重）は、逆伝搬、勾配降下法、色、幾何学的、または境界ボックス拡張等のニューラルネットワークを訓練するための標準的プロセスを使用して、実装されることができる。加えて、訓練プロセスは、事前に訓練された汎用画像分類ニューラルネットワークからのパラメータを使用して、初期化されることができる。本訓練データの一部は、訓練プロセスの間、パラメータをさらに調節するために、交差検証データとして留保されてもよく、一部はまた、ネットワークが適切に訓練されたことを確認するために、試験データセットとして留保されてもよい。
【0064】
本訓練を用いることで、システムは、３次元合成アイテムおよび実世界物体の画像上の特徴ベクトルを識別することができ、これは、具体的トレイおよび／または器具にリンクされ得る。そのような識別された特徴ベクトルは、訓練場所に位置するサーバまたは訓練場所から遠隔のサーバにアップロードされることができる。いったん訓練されると、システムは、ベクトルを使用して、１つの画像（写真またはビデオ）内の実世界物体を別の画像内の別の実世界物体から分化する際に有用なパターンを自動的に決定するように構成される。本アプローチを使用して、システムは、異なる角度での、異なる照明条件下における、および物体が他の物体によって閉塞され得るときの、実世界物体を認識することができる。システムは、画像内でトレイ内または上に示される実世界物体、またはさらに、表面上のトレイから外の実世界物体の本認識を行うことができる。
【0065】
システム訓練
【0066】
上記に記載されるように、システムは、事前に訓練されているため、有意な正確度を伴って、画像内において、外科手術用トレイ内または上の物体の有無を識別するように構成される。訓練は、シリアライズされた機械学習パイプラインを介して、生じる。機械学習パイプラインは、エンドツーエンド構造体であって、これは、機械学習モデルまたは複数のモデルのセットの中へのデータフローと、そこからの出力を編成する。システムは、３次元合成アイテムを利用し、（１）異なるトレイを分類し、（２）分類されたトレイ内に位置する、器具を識別するように学習する。３次元合成アイテムの２次元画像の使用は、無限訓練データセットを生産するために使用されることができる。システムを訓練するために使用されるデータの量は、合成画像を作成および処理するための時間および利用可能なコンピューティングパワーのみによって制限される。合成アイテムを採用することによって、システムは、システムを訓練するためにそれに提供され得る、一意の合成画像の限りのないストリームを作成するように構成される。本無限訓練データソースは、アイテム検出器を提供し、これは、システムがそれほど頻繁に推測する必要がないことを意味する、高パーセンテージの再現率と、システムが画像内のアイテムを推測するとき、システムが多くの場合正しいことを意味する、高パーセンテージの精度とを有する。
【0067】
任意の機械学習モデルを訓練するプロセスは、機械学習アルゴリズムを提供するステップを伴い、これは、テンソルから成る、外科手術用トレイまたはアイテムに関する識別モデルを構築するために使用される、訓練データを伴う、学習アルゴリズムである。この場合、合成画像は、訓練データとして使用される。加えて、ある実施形態では、リアルライフ画像が、訓練目的のために、合成画像を補完するために使用される。システムを訓練するために使用される画像の大部分は、合成的に作成されるため、以下の側面が、システムの訓練を補助するために容易に変化され得る。（１）トレイ内の器具位置が、無作為化されることができる、（２）トレイ上にあるべき器具が、欠如しているように無作為に選定されることができる、（３）トレイに関連する器具の高度が、無作為化され得る、（４）光源が、無作為化され得る、（５）トレイ内の器具分布が、無作為化され得る（例えば、器具は、積載されてもよい）、または（６）トレイ上にあるべきではない、開創器器具の追加。合成アイテムの使用のため、数万枚の無作為化合成画像が、システムを訓練するために、リアルタイムで、作成および使用されることができる。
【0068】
訓練プロセスは、識別モデルを作成および精緻化する。訓練プロセスの間、システムは、合成画像、随意に、物体のリアルライフ画像、例えば、トレイまたはアイテムを、各合成画像、随意に、実世界画像にリンクされる、正しい結果とともに提供される。正しい結果は、標的または標的属性と称される。学習アルゴリズムは、入力データ属性を標的にマッピングする、訓練データ内のパターンを見出す。パターン認識は、スカラーから成る、特徴ベクトルの形態にあることができ、これは、単一数（例えば、具体的物理的点の反射率）にすぎない。特徴ベクトルは、その順序におけるそのインデックスによって、各個々の数を識別するように配列される、数のアレイである（例えば、各要素を伴う空間内の点は、異なる軸に沿って座標を与える）。特徴ベクトルは、組み合わせられ、行列を形成し、これは、数の２次元アレイであって、したがって、各要素は、１つだけ（例えば、軸に沿った座標におけるねじドライバの反射率）の代わりに、２つのインデックスによって識別される。行列は、組み合わせられ、テンソルを作成し、これは、可変数の軸を伴う、規則的グリッド上に配列される、数のアレイである。特徴ベクトルは、付加的スカラーを追加することによって、改訂されることができ、行列は、付加的特徴ベクトルを追加することによって、改訂されることができ、テンソルは、それぞれ、同一形状を有する場合、付加的行列を追加することによって、改訂されることができる。そのような改訂は、システムが、訓練の間、自動的に、対応する要素を追加することによって遂行されることができる。システムは、訓練されるにつれて、自動的に、パターンを最良に捕捉する（すなわち、最高再現率および精度を提供する）様式において、関連テンソルを修正する。訓練は、標的または標的属性を把握する補助を伴わずに、新しい２次元合成画像にエクスポーズされる、更新された学習アルゴリズムを用いて継続する。さらに、２次元合成画像は、３次元合成アイテムから作成されるため、システムの精査のために、訓練データに、正しい回答を含ませる、または除外させるための能力は、自動的に、訓練するとき、システムに伝送されないように除外されることができる。結果として、２次元合成画像は、システムを訓練するために使用され得るだけではなく、それらはまた、システムの再現率および精度を自動的に評価するためのバイアスとしての役割を果たすことができる。
【0069】
図４は、機械学習訓練モジュールの実施形態を示す。ゲートモジュール（すなわち、画像内のトレイを識別する、モジュール）および検出器モジュール（すなわち、画像内のアイテムを識別するモジュール）の両方が、訓練される。そのような訓練は、連続して、または並行して、生じてもよい。そのような訓練は、自動であってもよい。加えて、そのような訓練は、システムの管理者または管理者の従業員、契約社員、または代理人が、結果を評価し、学習アルゴリズムへの変更を承認するという点で、教師あり機械学習および深層学習であってもよい。上記に記載されるように、教師あり学習は、入力実施例に対してモデル化されたアルゴリズムを使用して、標的分類（例えば、画像内の器具）または数値（例えば、画像内のねじの数）を識別することを伴う。ある実施形態では、標的分類および数値は、リンクされる（例えば、画像内のあるタイプのねじの数）。
【0070】
図４は、一意のデータセットが、自動的に、システム４１０によって調製されることを示す。トレイ分類器４１５および器具識別４２０モジュールの両方が、２次元合成画像上で訓練される。ある実施形態では、トレイ分類器４１５および器具識別４２０は、実世界物体の画像を使用して訓練される。次に、システム結果が、器具識別モジュール４３０およびトレイ分類器４２５の両方に関して評価される。システムは、器具識別器に関する信頼度閾値４３５を提供する。システムは、器具識別器４４０およびトレイ分類器４５０の両方に関する最終識別結果を提供する。最後に、信頼度閾値が事前に設定された信頼度閾値を満たすまたは超える範囲において、システムは、器具識別モジュールおよびトレイ分類器の両方をサーバ内のデータベースに展開または更新する（４６０）。
【0071】
いったん識別モデルが、予期される性能を伴って訓練されると、次のステップは、制御された実際に近い設定において、識別モデルの予測結果を査定し、モデルが、有効であって、信頼性があって、使用のための業務要件を満たすことの信頼度を得ることである。本ステップでは、検出器モジュール（すなわち、アイテムが画像内にあるかどうかを識別する、モジュール）の信頼度閾値が、設定される。検出器モジュールを用いて、実世界物体の標的分類を識別する際、システムは、数値信頼度値を各出力に割り当てる。本信頼度値は、予測におけるシステムの信頼度を表す。システムは、予測のセット内の各予測の正当性を決定し、信頼度スコアと試験予測の正当性との間の関係を決定する。システムは、決定された関係および標識に基づいて、識別モデルに関する信頼度閾値を確立する。正しくない指定を回避するために、システムの管理者または管理者の従業員、契約社員、または代理人は、最小信頼度閾値を指定し、その最小信頼度閾値をデータベース内の関連アイテムにリンクさせる。最小閾値は、システムが９０％信頼度を上回って実世界物体を識別する場合のみ、システムが、実世界物体をトレイの画像から識別するであろうように、全てのアイテムを横断して汎用であることができる。逆に言えば、一意の信頼度閾値が、個々のアイテムにリンクされることができる。例えば、システムは、７０％信頼度を伴って、画像内のねじを識別するように構成されることができるが、その識別に関する信頼度値が９５％を上回らない限り、画像内の外科手術用インプラントの存在を確認しないように制限されてもよい。
【0072】
いったんトレイ分類器モデルまたは識別モデルの評価が、完了すると、モデルは、生産システムの中への展開のために準備完了となる。ある実施形態では、生産システムは、サーバ上のウェブサービスとして展開され、これは、ネットワークエッジデバイス等の標的生産システム内の他のコンポーネントによって呼び出され、画像（写真またはビデオ）内に位置し得る、器具に関する予測結果を得ることができる。いくつかの実施形態では、生産システムは、システムを訓練するために使用されるプログラミング言語と異なる、プログラミング言語で再実装されるであろう。例えば、システムは、Ｐｙｔｈｏｎを使用して訓練されるが、Ｊａｖａで実装されてもよい。
【0073】
システム画像認識
【0074】
展開されると、システムは、画像（写真またはビデオ）内の外科手術用器具、ツール、インプラント、および同等物等、または実世界外科手術用トレイの物体を識別することが可能である。この点において、深層ニューラルネットワークモデルは、最初に、入力として、ユーザによって撮影された外科手術用トレイの実世界画像を受け取る。ある実施形態では、撮像機分解能は、２，０４８×１，５３６ピクセルに設定されることができる。画像は、システムに提供され、最初に、具体的トレイを分類することによって、システムによって処理される。本情報を用いることで、システムは、データベースから、トレイ上に位置するべきである、全てのアイテムのリストを呼び出す。次いで、システムは、それと識別モデルを比較することによって、画像を処理し、検出された外科手術用アイテムのリストを画像上のその場所とともに、または画像内に位置するべきであるが、位置していない、アイテムのリストを返す。システムは、以下のコンポーネント、すなわち、（ａ）トレイ分類器と、（ｂ）外科手術用アイテム検出器とを使用して、画像を分析する。
【0075】
トレイ分類器によって返された情報は、システムによって、具体的トレイのために意図される、具体的外科手術用アイテム検出器を選択するために使用される。外科手術用アイテム検出器は、写真内の具体的外科手術用アイテムのリストを見出し、それらを位置特定する（外科手術用アイテムを含有する、最小長方形の座標を返す）。分類器および検出器は両方とも、畳み込みニューラルネットワーク（ＣＮＮ）に基づくことができる。ある実施形態では、外科手術用アイテム検出器は、Ｆａｓｔｅｒ－ＲＣＮＮ等のモデルアーキテクチャを使用する。
【0076】
外科手術用アイテムが類似するように現れる、ある実施形態では、外科手術用アイテム分類器は、外科手術用アイテム検出器をサポートするために使用されることができる。そのような状況では、システムは、問題となるアイテムを含有する写真の部分を外科手術用アイテム分類器に通過させることができ、これは、いくつかの類似タイプのアイテムを区別する。トレイ分類器の場合におけるように、外科手術用アイテム分類器は、ＣＮＮモデルに基づいてもよい。
【0077】
ある実施形態では、外科手術用アイテム識別は、合成アイテムの一意の割り当てられたＩＤを組み込む、記述子を算出することによって、実施され、記述子は、多次元ベクトル（すなわち、行列またはテンソル）である。合成アイテムの記述子を算出するための一般的技法は、マルチビュー畳み込みニューラルネットワーク（ＭＶ－ＣＮＮ）のフォワード評価に基づく、またはボリューム畳み込みニューラルネットワーク（Ｖ－ＣＮＮ）によるものである。そのようなネットワークは、通常、物体分類のために訓練され、いくつかの実施形態では、ネットワークの最後から２番目の層の出力が、記述子として使用される。
【0078】
例えば、上記に記載されるように、ＣＮＮは、ビュー生成モジュールによってレンダリングされるような３次元合成アイテムの２次元画像を使用して訓練されることができる。動作時、合成された２次元画像は、記述子生成器に供給され、ビュー毎に、記述子または特徴ベクトルを抽出する。特徴ベクトルは、ビュー毎に、組み合わせられ、合成アイテムの２次元画像のための記述子を生成し、記述子に基づいて、ビューを分類してもよい。そのような実施形態では、ＣＮＮは、合成された２次元画像を処理し、物体の分類を生成するために使用される。概して、深層ＣＮＮは、入力画像データ（例えば、合成された２次元画像）を一連の層を通して通過させることによって、画像を処理する。これらの層は、複数の段階にグループ化されることができる。深層ＣＮＮは、２つの段階、すなわち、Ｎ個の層（またはサブプロセス）から成る、第１の段階ＣＮＮ１と、Ｍ個の層から成る、第２の段階ＣＮＮ２とを含んでもよい。一実施形態では、第１の段階ＣＮＮ１のＮ個の層はそれぞれ、線形畳み込み層の群を含むことができ、その後、点非線形性層と、非線形データ低減層とが続く。対照的に、第２の段階ＣＮＮ２のＭ個の層はそれぞれ、全結合層であってもよい。第２の段階の出力ｐは、クラス割当確率分布である。例えば、ＣＮＮ全体が、入力画像をｋ個の異なるクラスのうちの１つに割り当てるように訓練される場合、第２の段階ＣＮＮ２の出力は、ｋ個の異なる値を含む、ベクトルｐであって、各値は、入力画像が対応するクラスを割り当てられるべきである、確率（または「信頼度」）を表す。
【0079】
第１の段階ＣＮＮ１（畳み込み段階）によって算出され、第２の段階ＣＮＮ２（全結合段階）に供給される、値は、記述子（または特徴ベクトル）ｆと称される。特徴ベクトルまたは記述子は、固定されたサイズを有する、データのベクトルであることができ、これは、入力画像の主要特性を凝縮または要約する。第１の段階ＣＮＮ１は、分類システムの特徴抽出段階と称され得る。
【0080】
上記に説明される分類器のアーキテクチャは、必要に応じて、物体のｎ個の異なる２－Ｄビューに基づいて、合成アイテムのマルチビュー形状表現を分類するために適用されることができる。例えば、第１の段階ＣＮＮ１は、独立して、合成アイテムを表すために使用される、ｎ個の２－Ｄビューのそれぞれに適用され、それによって、ｎ個の特徴ベクトルのセット（２－Ｄビュー毎に１つ）を算出することができる。いくつかの実施形態では、ｎ個の別個の特徴ベクトルは、例えば、最大値プーリングを使用して、組み合わせられ、ｎ個のビューはそれぞれ、記述子生成器の第１の段階ＣＮＮ１に供給され、ｎ個の特徴ベクトルを生成する。最大値プーリングでは、ｎ個の特徴ベクトルは、組み合わせられ、単一の組み合わせられた特徴ベクトルまたは記述子Ｆを生成し、記述子Ｆのｊ番目のエントリは、ｎ個の特徴ベクトルｆの中のｊ番目のエントリの中の最大値に等しい。結果として生じる記述子Ｆは、ｎ個の特徴ベクトルｆと同一長さ（またはランク）を有し、したがって、記述子Ｆはまた、第２の段階ＣＮＮ２への入力として供給され、物体の分類を算出することができる。
【0081】
本発明のいくつかの実施形態はまた、ボクセル化アプローチを使用して、テンソルを合成アイテムのボリューム表現から生成することができる。例えば、ＣＮＮは、合成アイテムの表面と交差する、ボリュームに対応する、テンソルを供給されてもよく、ボリュームは、２－Ｄ畳み込みカーネルのサイズに対応する、２－Ｄビューの２－Ｄパッチではなく、ボリューム３－Ｄ畳み込みカーネルに対応する、サイズおよび形状を有する。
【0082】
抽出されたテンソルは、次いで、分類器に供給され、物体をｋ個の異なるクラスＣの特定のセットのうちの１つの構成要素であるものとして分類し、それによって、標的アイテムの分類をもたらすことができる。これは、例えば、記述子Ｆを第２の段階ＣＮＮ２に供給し、クラス割当確率分布を表す、正規化された正の数のベクトルｐをもたらすことによって、行われることができる。本ベクトルｐの最大エントリのインデックスは、本分類の信頼度を表す、関連付けられる最大値を伴う、所与の形状に関する可能性が最も高いクラスである（すなわち、画像が含有する可能性が最も高い、外科手術用アイテムを識別する）。第２の段階ＣＮＮ２は、ＣＮＮの分類段階と称され得る。
【0083】
本発明のいくつかの実施形態では、記述子ベクトルは、物体（すなわち、外科手術用アイテム）のデータベースにクエリするために使用され、これは、同一技法を使用して事前に算出された、記述子と関連付けられる。物体の本データベースは、既知の外科手術用アイテムのセットを構成し、現在の物体（例えば、標的アイテム）に対応する、既知の外科手術用アイテムは、記述子の多次元空間内で、標的アイテムの記述子に対して最も近い（例えば、最類似）記述子を検索することによって識別されることができる。
【0084】
本発明のいくつかの実施形態では、ＣＮＮ１は、記述子Ｆを第２の段階ＣＮＮ２に供給することによってではなく、標的アイテムの記述子Ｆを使用して、データセット内の最類似形状を読み出すことによって、標的アイテムを分類する。例えば、訓練セット内の物体は全て、第１の段階ＣＮＮ１に供給され、既知の記述子のセット｛Ｆｄｓ（ｍ）｝を生成してもよく、インデックスｍは、訓練データ内の特定の標識された形状を示す。類似性計測値は、任意の２つの所与の記述子（ベクトル）ＦとＦｄｓ（ｍ）との間の距離を測定するために定義される。類似性計測値のいくつかの単純実施例は、ユークリッドベクトル距離およびマハラノビスベクトル距離である。他の実施形態では、類似性計測値は、計測値学習アルゴリズムを使用して学習される。計測値学習アルゴリズムは、（訓練データ内の実施例から測定されるような）同一クラスに属するベクトル対間の平均距離を最小限にし、異なるクラスに属するベクトル対間の平均距離を最大限にする、特徴ベクトル空間の線形または非線形転換を学習してもよい。
【0085】
本発明のいくつかの実施形態では、システムの管理者または管理者の従業員、契約社員、または代理人は、印刷表面特性を異なる外科手術用アイテムにリンクさせることができる。例えば、頸椎インプラントは、インプラントの具体的高さ（例えば、「６ｍｍ」、「８ｍｍ」、または「１２ｍｍ」）を識別することができ、インプラントの左対右側を指定する、異なる着色ボックスを有してもよい。システムは、アイテムの表面上の文字または色を識別することが可能である、光学文字認識モジュールを組み込んでもよい。システムは、アイテムのリストおよびリンクされた印刷表面特性を呼び出すように構成されることができ、これは、システムの管理者または管理者の従業員、契約社員、または代理人によって、データベースに事前にアップロードされている。表面印刷の認識は、システムによって、識別されたアイテムの数値信頼度値を増加または減少させるために使用されることができる。
【0086】
いったん標的アイテムが、識別されると、その識別についてのデータが、例えば、ライブラリデータベースから読み出されてもよい。読み出されたデータは、例えば、トレイ上の予期される場所、参照合成アイテム（例えば、アイテムの予期される形状）、１つまたはそれを上回る欠陥検出モデル（例えば、アイテム内の欠陥を検出するように訓練される、第２の畳み込みニューラルネットワーク等のモデル）および同等物を含んでもよい。
【0087】
ディスプレイ出力
【0088】
システムは、標的アイテムの全てが識別されるまで、継続する。全ての標的アイテムが識別される前に、間、または後に、システムは、トレイ上に含まれるべきである、全てのアイテムのリストを読み出す。システムは、設定された信頼度値を超える、識別されたアイテムのリストと、トレイ上にあるべきアイテムのリストを比較し、トレイ上にあることが確実である、アイテムと、そうではない、アイテムとを決定する。システムは、次いで、ユーザに、グラフィカルユーザインターフェース上で、トレイ上に位置する、アイテムのリストと、トレイ上にあるものとして識別されなかった、アイテムのリストとを表示する。随意に、システムは、トレイの名称、トレイ上に位置するアイテムの場所、および欠如しているアイテムがトレイ上に常駐していたはずである場所を表示することができる。ユーザは、次いで、システムと相互作用し、欠如しているアイテムを実際にはトレイ上にあるものとして手動で分類するか、アイテムが実際にトレイから欠如していることを確認するか、および／またはシステムに欠如しているアイテムの潜在的代替を識別するように要求するかのいずれかを行うことができる。
【0089】
ユーザとのシステム相互作用
【0090】
開示されるシステムは、自動的に進められ得るが、個人および／またはチームが、ユーザと相互作用することができる。例えば、一実施形態では、ユーザは、外科手術用トレイ上のアイテムのシステムの識別を監査または変更することができ、そのような情報は、付加的システム訓練の中への組み込みのために、システムの管理者または管理者の従業員、契約社員、または代理人に返送される。本節は、ユーザが、システムによって識別されるトレイまたはアイテムの任意の側面を精査、承認、または変更し得る、そのような相互作用の非限定的例示的実施形態を説明する。
【0091】
ユーザログイン
【0092】
ソフトウェアアプリケーションの第１のステップは、ユーザが、ログインすることである。一実施形態では、システムは、マルチ役割サポートを提供する。例えば、ユーザは、保健医療管理者、看護師、医師／外科医、トレイ上に含まれるべきアイテムを製造する企業の販売員、または保険専門家であることができる。
【0093】
ユーザは、ウェブサイトを訪問する、またはコンピュータアプリケーションをロードすることから開始する。サーバは、これがユーザによる最初の訪問であるかどうかを決定する。サーバが、これが後続訪問であることを決定する場合、以前の一般的情報（例えば、氏名、連絡先情報、アクセス認可等）が、ロードされる。これが、ユーザによる最初の訪問である場合、同一の一般的情報が、収集される。いったんユーザが、識別されると、彼らは、アプリケーションにサインインすることを許可される。サインインに応じて、ユーザは、ランディングページに到着する。１つの非限定的実施形態では、ランディングページは、動的であって、ユーザの役割に応じて、異なる情報を表示することができる（すなわち、保険専門家は、外科医と異なるランディングページを提示され、自身は、病院管理者と異なるページが表示されるであろう）。
【0094】
機器選択
【0095】
一実施形態では、トレイおよびその上に含有されるおよび／または欠如しているアイテムのリストを精査するための能力は、ユーザの役割に依存する。例えば、ユーザが、看護師としてサインインする場合、システムは、ユーザアクセスを、今後予定されている外科手術のためのトレイおよびその上に含有されるアイテムのリストのみを閲覧するように制限することができる。逆に言えば、病院管理者は、今後予定されている外科手術だけではなく、また、全ての以前の外科手術において関連外科医によって使用されたトレイおよび機器のリストを閲覧することが許可されることができる。さらに、医療デバイス販売員等のあるユーザは、その製品を含有すると想定される、トレイの含有物を閲覧するように制限されることができ、これは、それらの販売員が、その製品がトレイから欠如しているときを識別することを可能にするであろう。
【0096】
別の実施形態では、システムはさらに、トレイ上のアイテムを監査するためのオプションを含むことができる。そのような実施形態では、病院管理者等のユーザは、最初に、患者の症例と、要求されるトレイおよびアイテムのリストとを閲覧することができる。ユーザは、次いで、複数の同一機器が、他のトレイ上にも位置するかどうかを閲覧することができる。この点において、ユーザは、潜在的廃棄範囲を識別することができる。
【0097】
システムコンポーネント
【0098】
図５は、システムコンポーネントの実施形態を示す。システムの非限定的実施形態は、処理ユニット（ＣＰＵまたはプロセッサ）を含む、汎用コンピューティングデバイスと、読取専用メモリ（ＲＯＭ）およびランダムアクセスメモリ（ＲＡＭ）等のシステムメモリを含む、種々のシステムコンポーネントをプロセッサに結合する、システムバスとを含む。システムは、システムバスによってプロセッサに接続される、記憶デバイスを含むことができる。システムは、システムバスによってプロセッサに接続される、インターフェースを含むことができる。システムは、プロセッサと直接接続される、それに近接近する、またはその一部として統合される、高速メモリのキャッシュを含むことができる。システムは、プロセッサによる迅速アクセスのために、データをメモリおよび／または記憶デバイスからキャッシュにコピーすることができる。このように、キャッシュは、データを待機しながら、プロセッサ遅延を回避する、性能向上を提供する。メモリ、記憶デバイス、またはキャッシュ内に記憶される、これらおよび他のモジュールは、プロセッサを制御する、または制御し、種々の作用を実施するように構成されることができる。他のシステムメモリも同様に、使用のために利用可能であってもよい。メモリは、異なる性能特性を伴う、複数の異なるタイプのメモリを含むことができる。
【0099】
コンピュータプロセッサ
【0100】
本発明は、１つを上回るプロセッサを伴う、コンピューティングデバイス上で、またはともにネットワーク化されたコンピューティングデバイスのグループまたはクラスタ上で、動作し、より大きい処理能力を提供することができる。プロセッサは、任意の汎用プロセッサと、外部または内部記憶デバイス内に記憶される、プロセッサおよびソフトウェア命令が実際のプロセッサ設計の中に組み込まれる特殊目的プロセッサを制御するように構成される、ハードウェアモジュールまたはソフトウェアモジュールとを含むことができる。プロセッサは、複数のコアまたはプロセッサ、バス、メモリコントローラ、キャッシュ等を含有する、完全に自給式コンピューティングシステムであることができる。マルチコアプロセッサは、対称または非対称であることができる。
【0101】
明確目的のために、システム実施形態は、「プロセッサ」として標識される機能ブロックを含む、個々の機能ブロックを含むことができる。そのようなブロックが表す、機能は、限定ではないが、汎用プロセッサ上で実行するソフトウェアの均等物として動作するように特別に構築される、ソフトウェアを実行することが可能であるハードウェアおよびプロセッサ等のハードウェアを含む、共有または専用ハードウェアのいずれかの使用を通して提供されてもよい。例えば、１つまたはそれを上回るプロセッサの機能は、単一共有プロセッサまたは複数のプロセッサによって提供されてもよく、用語「プロセッサ」の使用は、ソフトウェアを実行することが可能である、ハードウェアを排他的に指すものと解釈されるべきではない。例証的実施形態は、マイクロプロセッサおよび／またはデジタル信号プロセッサ（ＤＳＰ）ハードウェア、下記に議論される動作を実施するソフトウェアを記憶するための読取専用メモリ（ＲＯＭ）、結果を記憶するためのランダムアクセスメモリ（ＲＡＭ）を含んでもよい。超大規模統合（ＶＬＳＩ）ハードウェア実施形態および汎用ＤＳＰ回路と組み合わせたカスタムＶＬＳＩ回路網もまた、提供されてもよい。
【0102】
システムバス
【0103】
システムバスは、様々なバスアーキテクチャのいずれかを使用する、メモリバスまたはメモリコントローラ、周辺バス、およびローカルバスを含む、いくつかのタイプのバス構造のいずれかであることができる。ＲＯＭまたは同等物内に記憶される、基本入／出力（ＢＩＯＳ）は、始動の間等、コンピューティングデバイス内の要素間で情報を転送することに役立つ、基本ルーチンを提供することができる。
【0104】
記憶デバイス
【0105】
コンピューティングデバイスはさらに、ハードディスクドライブ、磁気ディスクドライブ、光ディスクドライブ、ソリッドステートドライブ、テープドライブ、または同等物等の記憶デバイスを含むことができる。システムメモリのように、記憶デバイスは、場所情報、メニュー、ソフトウェア、有線および無線接続情報（例えば、モバイルデバイスが、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ、または無線ネットワーク接続等の有線または無線接続を確立することを可能にし得る、情報）、および任意の他の好適なデータ等のデータファイルを記憶するために使用されてもよい。具体的には、記憶デバイスおよび／またはシステムメモリは、他のデータの中でもとりわけ、開示される技法を行うためのコードおよび／またはデータを記憶することができる。
【0106】
一側面では、機能を実施する、ハードウェアモジュールは、機能を行うために、プロセッサ、バス、ディスプレイ等の必要ハードウェアコンポーネントと関連して、非一過性コンピュータ可読媒体内に記憶される、ソフトウェアコンポーネントを含む。基本コンポーネントは、当業者に公知であって、適切な変形例も、デバイスが、小型、ハンドヘルドコンピューティングデバイス、デスクトップコンピュータ、またはコンピュータサーバであるかどうか等、デバイスのタイプに応じて検討される。
【0107】
本明細書に説明される実施形態は、クラウドコンピューティングおよびクラウドストレージを採用するが、磁気カセット、フラッシュメモリカード、デジタル多用途ディスク、カートリッジ、ランダムアクセスメモリ（ＲＡＭＳ）、読取専用メモリ（ＲＯＭ）、ケーブル、またはビットストリームおよび同等物を含有する、無線信号等、コンピュータによってアクセス可能なデータを記憶し得る、他のタイプのコンピュータ可読媒体もまた、動作環境において使用されてもよいことが、当業者によって理解されるであろう。さらに、非一過性コンピュータ可読記憶媒体は、本明細書で使用されるように、それ自体が一過性伝搬信号であるもののみを例外として、あらゆるコンピュータ可読媒体を含む。
【0108】
インターフェース
【0109】
コンピューティングデバイスとのユーザ相互作用を可能にするために、入力デバイスは、発話のためのマイクロホン、ビデオのためのウェブカメラ、ジェスチャまたはグラフィカル入力のためのタッチセンサ式画面、キーボード、マウス、運動入力、発話等の任意の数の入力機構を表す。出力デバイスもまた、ディスプレイ画面、スピーカ、アラーム等、当業者に公知のいくつかの出力機構のうちの１つまたはそれを上回るものであることができる。いくつかの事例では、マルチモードシステムは、ユーザが、複数のタイプの入力を提供し、コンピューティングデバイスと通信することを可能にする。通信インターフェースは、概して、ユーザ入力およびシステム出力を統制および管理する。さらに、タッチスクリーン等の１つのインターフェースが、入力、出力、および／または通信インターフェースとして作用してもよい。
【0110】
任意のハードウェア配列上での動作には、制限が存在せず、したがって、ここでの基本特徴は、改良されたハードウェアまたはファームウェア配列のために、それらが開発されるにつれて、代用されることができる。
【0111】
画像データ収集デバイス
【0112】
システムは、関連外科手術用トレイの実世界写真を取得するための少なくとも１つの画像収集デバイスを含む。ある実施形態では、画像データ収集デバイスは、実世界物体の写真またはビデオを捕捉することが可能である、カメラであることができる。
【0113】
１つの非限定的実施形態では、画像データ収集デバイスは、ヘッドセットまたは眼鏡等の装着可能デバイス上に搭載されることができる。装着可能デバイスは、アイテムが、外科手術用トレイから欠如しているとして識別される場合、アラームまたは振動するように構成される、装着可能データ収集デバイスを含むことができ、これは、手順に先立って、即時介入を要求し得る。
【0114】
一実施形態では、画像データ収集デバイスは、システムとの有線または無線通信のための電子コンポーネントを含む。結果として、データ収集デバイスは、手順への干渉を回避することができる。一実施形態では、画像データ収集デバイスは、異なる画像データ収集デバイスが、除去されることができるように、置換可能である、または追加され、これは、画像データ収集デバイスが清浄されることを可能にすることができる。
【0115】
別の実施形態では、画像データ収集デバイスは、ユーザの識別を照合し、手順を監視するように構成される、埋込式監視コンポーネントを含むことができる。例えば、データ収集デバイスは、顔認識ソフトウェアまたは指紋分析を採用し、設定された時間間隔において、または持続的に、ユーザの識別を確認することができる。
【0116】
システムは、１台を上回る画像データ収集デバイスを含むことができる。実際、システムは、２、３、４、５、６、７、８、９、または１０台の画像データ収集デバイスを含んでもよい。例えば、外科医および看護師は全員、カメラを装着することができる。
【0117】
一実施形態では、画像データ収集デバイスは、不正開封防止筐体内に含有され、対象が画像データ収集デバイスを除去しないように防止することができる。
【0118】
ソフトウェア動作
【0119】
開示される種々の実施形態の論理演算は、以下、すなわち、（１）汎用コンピュータ内のプログラマブル回路上で起動される、コンピュータ実装ステップ、動作、または手順のシーケンス、（２）特定用途向けプログラマブル回路上で起動される、コンピュータ実装ステップ、動作、または手順のシーケンス、および／または（３）プログラマブル回路内の相互接続された機械モジュールまたはプログラムエンジンとして実装される。システムは、列挙される方法の全部または一部を実践することができる、列挙されるシステムの一部であることができる、および／または列挙される非一過性コンピュータ可読記憶媒体内の命令に従って、動作することができる。そのような論理演算は、プロセッサを制御し、モジュールのプログラミングに従って、機能を実施するように構成される、モジュールとして実装されることができる。例えば、記憶デバイスが、プロセッサを制御するように構成される、モジュールを含有する場合、これらのモジュールは、ランタイム時、ＲＡＭまたはメモリの中にロードされてもよい、または当技術分野において公知のように、他のコンピュータ可読メモリ場所内に記憶されてもよい。コンピューティングシステムのいくつかのコンポーネントが開示されたので、本開示は、ここで、本発明の好ましい環境である、クラウドコンピューティングの説明に移る。
【0120】
クラウドシステム
【0121】
クラウドコンピューティングは、インターネットベースのコンピューティングのタイプであって、その中で様々なリソースが、インターネットを介して、エンティティによってホストおよび／または制御され、エンティティによって認可されるユーザに市販されている。クラウドコンピューティングシステムは、様々な電子デバイスが、ネットワークを介して、コンテンツおよび他のデータを交換する目的のために、通信し得るように構成されることができる。システムは、電子デバイスの相互通信を促進する、多種多様なネットワーク構成上での使用のために構成されることができる。例えば、クラウドコンピューティングシステムのコンポーネントはそれぞれ、ローカライズまたは分散型方式において、ネットワーク内に実装されることができる。
【0122】
クラウドリソース
【0123】
クラウドコンピューティングシステムは、クラウドコンピューティングリソース（すなわち、「クラウド」）を含むように構成されることができる。クラウドリソースは、クラウドサーバ、クラウドデータベース、クラウドストレージ、クラウドネットワーク、クラウドアプリケーション、クラウドプラットフォーム、および／または任意の他のクラウドベースのリソース等の様々なハードウェアおよび／またはソフトウェアリソースを含むことができる。ある場合には、クラウドリソースは、分散される。例えば、クラウドストレージは、複数の記憶デバイスを含むことができる。ある場合には、クラウドリソースは、複数のクラウドコンピューティングシステムおよび／または個々のネットワーク対応コンピューティングデバイスを横断して分散されることができる。例えば、クラウドコンピューティングリソースは、サーバ、データベース、および／または任意の他のネットワーク対応コンピューティングデバイスと通信し、クラウドリソースを提供することができる。
【0124】
ある場合には、クラウドリソースは、冗長であることができる。例えば、クラウドコンピューティングリソースが、データバックアップサービスを提供するように構成される場合、データの複数のコピーが、データが、記憶リソースが、オフライン、ビジー、または別様に、要求を処理するために利用不可能である場合でも、依然として、ユーザに利用可能であるように記憶されることができる。別の実施例では、クラウドコンピューティングリソースが、ソフトウェアを提供するように構成される場合、次いで、ソフトウェアは、ソフトウェアが、異なるクラウドサーバのいずれかからサービス提供され得るように、異なるクラウドサーバから利用可能であることができる。アルゴリズムは、最も近いサーバまたは最低電流負荷を伴うサーバが、所与の要求を処理するように選択されるように、適用されることができる。
【0125】
ユーザ端末
【0126】
ユーザは、直接および／または間接通信によって、ネットワークに接続される、ユーザ端末またはリンクされたデバイスを通して、クラウドコンピューティングリソースと相互作用する。クラウドコンピューティングリソースは、サーバ、デスクトップコンピュータ、モバイルコンピュータ、ハンドヘルド通信デバイス（例えば、携帯電話、スマートフォン、タブレット）、セットトップボックス、ネットワーク対応ハードドライブ、および／または任意の他のネットワーク対応コンピューティングデバイス等の様々な異なる電子デバイスからの接続をサポートすることができる。さらに、クラウドコンピューティングリソースは、並行して、複数の電子デバイスからの接続を承認し、それらと相互作用することができる。複数の電子デバイスとの相互作用は、優先順位化される、または同時に生じることができる。
【0127】
クラウドコンピューティングリソースは、パブリック、プライベート、コミュニティ、ハイブリッド、および／または任意の他のクラウド展開モデル等の様々な展開モデルを通して、クラウドリソースを提供することができる。ある場合には、クラウドコンピューティングリソースは、複数の展開モデルをサポートすることができる。例えば、クラウドコンピューティングリソースは、パブリック展開モデルを通して、１つのセットのリソースを、プライベート展開モデルを通して、別のセットのリソースを提供することができる。
【0128】
いくつかの構成では、ユーザ端末は、インターネット接続が利用可能である、任意の場所から、クラウドコンピューティングリソースにアクセスすることができる。しかしながら、他の場合には、クラウドコンピューティングリソースは、リソースがある場所からのみアクセスされ得るように、あるリソースへのアクセスを制限するように構成されることができる。例えば、クラウドコンピューティングリソースが、プライベート展開モデルを使用して、リソースを提供するように構成される場合、クラウドコンピューティングリソースは、ユーザ端末がファイアウォールの背後からリソースにアクセスすることを要求すること等によって、リソースへのアクセスを制限することができる。
【0129】
サービスモデル
【0130】
クラウドコンピューティングリソースは、サービスとしてのソフトウェア（ＳａａＳ）、サービスとしてのプラットフォーム（ＰａａＳ）、サービスとしてのインフラストラクチャ（ＩａａＳ）、および／または任意の他のクラウドサービスモデル等の様々なサービスモデルを通して、クラウドリソースをユーザ端末に提供することができる。ある場合には、クラウドコンピューティングリソースは、複数のサービスモデルをユーザ端末に提供することができる。例えば、クラウドコンピューティングリソースは、ＳａａＳおよびＩａａＳの両方をユーザ端末に提供することができる。ある場合には、クラウドコンピューティングリソースは、異なるサービスモデルを異なるユーザ端末に提供することができる。例えば、クラウドコンピューティングリソースは、ＳａａＳを１つのユーザ端末に、ＰａａＳを別のユーザ端末に提供することができる。
【0131】
ユーザ相互作用
【0132】
ある場合には、クラウドコンピューティングリソースは、アカウントデータベースを維持することができる。アカウントデータベースは、ユーザを登録するために、プロファイル情報を記憶することができる。プロファイル情報は、ユーザが使用することを許可されるソフトウェア、最大記憶空間等のリソースアクセス権利を含むことができる。プロファイル情報はまた、消費されたコンピューティングリソース、データ記憶場所、セキュリティ設定、パーソナル構成設定等の使用量情報を含むことができる。ある場合には、アカウントデータベースは、サーバまたはデータベース等のクラウドコンピューティングリソースから遠隔のデータベースまたはサーバ上に常駐することができる。
【0133】
クラウドコンピューティングリソースは、ユーザ相互作用を要求する、様々な機能性を提供することができる。故に、ユーザインターフェース（ＵＩ）は、クラウドコンピューティングリソースと通信し、および／またはクラウドリソースと関連付けられるタスクを実施するために提供されることができる。ＵＩは、クラウドコンピューティングリソースと通信する、エンドユーザ端末を介して、アクセスされることができる。ＵＩは、クラウドコンピューティングリソースおよび／またはユーザ端末のストレージおよび処理能力に応じて、ファットクライアントモード、シンクライアントモード、またはハイブリッドクライアントモードを含む、様々なクライアントモードで動作するように構成されることができる。したがって、ＵＩは、いくつかの実施形態では、ユーザ端末で動作する、独立型アプリケーションとして実装されることができる。他の実施形態では、ウェブブラウザベースのポータルが、ＵＩを提供するために使用されることができる。クラウドコンピューティングリソースにアクセスするための任意の他の構成もまた、種々の実施形態において使用されることができる。
【0134】
データの収集
【0135】
いくつかの構成では、上記に説明されるシステムまたは方法の実装の間、記憶デバイスまたはリソースが、画像データ収集デバイスから伝送される関連データを記憶するために使用されることができる。そのような情報は、システムによって、外科手術用トレイ上のアイテムの将来的識別をさらに精緻化するために使用されてもよい。そのような実施形態では、システムは、付加的機械学習に従事してもよい。そのような学習は、将来的に、より効率的アイテム識別を可能にするであろう。
【0136】
別の実施形態では、画像データ収集デバイスは、手順を実施する個人および／またはチームの具体的傾向を捕捉してもよい。システムは、直ちに、または将来的に、そのような情報を利用し、トレイ上のアイテムへの調節および／または必要とされる機器を提案してもよい。実際、システムは、使用を通して、動的システムであって、手順を実施する個人および／またはチームの選好および傾向を学習してもよい。そのような選好および／または傾向を学習することによって、システムは、手順の効率性を増加させ、および／またはコストを削減し得る。例えば、システムは、チームによって一度も使用されていない、あるアイテムが、将来的トレイから除去されるべきであると推奨してもよい。
【0137】
システムはまた、本集められたデータが、いくつかの事例では、個人的および／また取扱に注意を要するデータを含み得ると想定する。システムはさらに、そのようなデータの収集、分析、開示、転送、記憶、または他の使用に関与するエンティティが、概して、個人情報データをプライベートかつセキュアに維持するための産業または政府要件を満たす、またはそれを超えるものとして認識される、プライバシ方針および実践を実装し、一貫して、使用するべきであると想定する。例えば、ユーザデータは、エンティティの正当かつ合理的使用のためにのみ収集され、それらの正当な使用外では、共有または販売されるべきではない。さらに、そのような収集は、対象のインフォームドコンセント後のみに生じるべきである。加えて、そのようなエンティティは、そのような個人データへのアクセスを保護およびセキュアにし、個人データへのアクセスを伴う他者が、そのプライバシおよびセキュリティ方針および手順に遵守することを確実にするために、任意の必要とされるステップを講じるべきである。さらに、そのようなエンティティは自ら、第三者による評価を受け、広く承認されたプライバシ方針および実践へのその遵守を証明することができる。
【0138】
本主題は、具体的実施形態を参照して開示されているが、他の実施形態および変形例も、本明細書に説明される主題の真の精神および範囲から逸脱することなく、当業者によって考案され得ることが明白である。添付の請求項は、全てのそのような実施形態および均等変形例を含む。
【図1A】
【図1B】
【図2A】
【図2B】
【図3】
【図4】
【図5】
【手続補正書】
【提出日】2023-10-26
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
外科手術用トレイおよびその上に含有されるアイテムを動的に識別するためのシステムであって、前記システムは、ソフトウェアアプリケーションであって、前記ソフトウェアアプリケーションは、前記外科手術用トレイの画像を生産するように構成される少なくとも１つの画像データ収集デバイスと通信するモバイルコンピュータデバイスまたはコンピュータデバイス上で動作し、前記ソフトウェアアプリケーションは、前記外科手術用トレイの画像を前記画像データ収集デバイスから受信し、次いで、前記画像を、有線および／または無線通信ネットワークを通して、前記外科手術用トレイが位置する施設または前記施設から遠隔の場所に位置するサーバに通信するように構成される、ソフトウェアアプリケーションと、
前記有線および／または無線通信ネットワークを通して、前記ソフトウェアアプリケーションおよび前記サーバと通信するプロセッサであって、前記プロセッサは、前記サーバへの前記画像の通信に応じて、前記システムのライブラリデータベースから、
トレイテンソルから成る複数のトレイ識別モデルであって、前記トレイ識別モデルは、前記システムの前記ライブラリデータベースにアップロードされる、複数のトレイ識別モデル
を呼び出すように構成され、
それによって、前記プロセッサは、
前記外科手術用トレイの前記画像を分析し、前記画像に適用される前記トレイ識別モデルに基づいて、前記画像内のトレイのタイプを分類することと、
前記ライブラリデータベースから、
前記トレイのタイプの分類にリンクされるアイテムのリストと、
仮想環境内に完全に存在する３次元合成アイテムを使用して生成された器具テンソルから成る複数の器具識別モデルであって、前記器具識別モデルは、前記アイテムにリンクされ、前記システムの前記ライブラリデータベースにアップロードされる、器具識別モデルと
を呼び出すことと、
前記画像を分析し、前記器具識別モデルに基づいて、前記画像内のアイテムのタイプを識別することと、
前記分類されたアイテムと、前記分類されたトレイにリンクされる前記アイテムのリストを比較し、任意の欠如しているアイテムを決定することと、
前記ソフトウェアアプリケーションに、前記分類されたアイテムおよび任意の欠如しているアイテムを通知することと
を行うように構成される、プロセッサと、
を備える、システム。
【請求項2】
前記画像データ収集デバイスは、カメラである、請求項１に記載のシステム。
【請求項3】
前記画像データ収集デバイスは、装着可能デバイス上に搭載される、請求項１に記載のシステム。
【請求項4】
トレイテンソルから成る前記トレイ識別モデルおよび器具テンソルから成る前記器具識別モデルは、ビュー生成モジュールによってレンダリングされるような前記３次元合成アイテムの２次元図を使用して訓練されるコンピュータビジョン駆動型人工知能ネットワークを使用して生成される、請求項１に記載のシステム。
【請求項5】
前記人工知能ネットワークは、畳み込みニューラルネットワークである、請求項４に記載のシステム。
【請求項6】
前記コンピュータビジョン駆動型人工知能ネットワークは、ビュー生成モジュールによってレンダリングされる前記３次元合成アイテムの２次元図を使用して持続的に訓練される、請求項４に記載のシステム。
【請求項7】
外科手術用トレイおよびその上に含有されるアイテムを識別するための方法であって、前記方法は、モバイルコンピュータデバイスまたは前記モバイルコンピュータデバイスと同期され得るコンピュータデバイス上で動作するソフトウェアアプリケーションを使用して、前記外科手術用トレイの画像およびその上に含有されるアイテムを、サーバまたは遠隔サーバに接続される画像データ収集器から受信することであって、前記モバイルコンピュータデバイスまたは前記コンピュータデバイスは、有線および／または無線通信ネットワークを通して、前記外科手術用トレイが位置する施設におけるサーバと通信する、または前記施設から遠隔の場所にあって、前記サーバと通信する遠隔サーバと通信する、ことと、
前記情報を受信することに応じて、データベースから、プロセッサを使用して、トレイテンソルから成る複数のトレイ識別モデルを呼び出すことであって、前記トレイ識別モデルは、トレイ名と、前記データベースに事前にアップロードされている前記トレイ内に含有されることが意図されるアイテムとを含む、ことと、
前記画像を分析し、前記トレイ識別モデルに基づいて、前記画像内のトレイのタイプを分類することと、
前記トレイを分類することに応じて、前記データベースから、前記トレイの分類にリンクされ、仮想環境内に完全に存在する３次元合成アイテムを使用して生成された器具テンソルから成る複数の器具識別モデルであって、前記器具識別モデルは、（ａ）表面テクスチャ、（ｂ）アイテム材料組成物、および（ｃ）サイズ公差を含む、器具識別モデルと、前記トレイ分類にリンクされるアイテムのリストとを呼び出すことと、
前記画像を分析し、前記器具識別モデルに基づいて、前記画像内のアイテムのタイプを分類することと、
前記分類されたアイテムと、前記分類されたトレイにリンクされる前記アイテムのリストを比較し、任意の欠如しているアイテムを決定することと、
前記ソフトウェアアプリケーションに、前記分類されたアイテムおよび任意の欠如しているアイテムを通知することと
を含む、方法。
【請求項8】
前記画像データ収集デバイスは、カメラである、請求項７に記載の方法。
【請求項9】
前記画像データ収集デバイスは、装着可能デバイス上に搭載される、請求項７に記載の方法。
【請求項10】
トレイテンソルから成る前記トレイ識別モデルおよび器具テンソルから成る前記器具識別モデルは、ビュー生成モジュールによってレンダリングされる前記３次元合成アイテムの２次元図を使用して訓練されるコンピュータビジョン駆動型人工知能ネットワークを使用して生成される、請求項７に記載の方法。
【請求項11】
前記人工知能ネットワークは、畳み込みニューラルネットワークである、請求項１０に記載の方法。
【請求項12】
前記コンピュータビジョン駆動型人工知能ネットワークは、ビュー生成モジュールによってレンダリングされる前記３次元合成アイテムの２次元図を使用して持続的に訓練される、請求項１０に記載の方法。【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【0022】
本発明のこれらおよび他の特徴、側面、および利点は、以下の説明および添付の請求項を参照して、より深く理解されるであろう。
本発明は、例えば、以下を提供する。
（項目１）
コンピュータシステムを訓練し、外科手術用トレイおよびその上に含有されるアイテムを動的に識別するための方法であって、上記方法は、
ａ．スキャナデバイスを用いて、少なくとも２回、外科手術用器具を走査し、上記外科手術用器具の予備３次元モデルを作成するステップと、
ｂ．幾何学形状、各頂点の位置、各テクスチャ座標頂点のＵＶ位置、頂点法線、頂点のリストとして定義される各ポリゴンを成す面、および上記アイテムに関するテクスチャ座標から成るグループから選択される少なくとも１つの要素を定義することによって、上記外科手術用器具の予備３次元モデルを改訂し、最終３次元合成アイテムを作成するステップと、
ｃ．一意の識別を上記最終３次元合成アイテムに割り当てるステップであって、上記一意の識別を伴う上記最終３次元合成アイテムは、データベース内に記憶される、ステップと、
ｄ．上記最終３次元合成アイテムの少なくとも１００枚の一意の訓練合成画像を作成するステップであって、上記一意の訓練合成画像はそれぞれ、上記最終３次元合成アイテムの配向、上記最終３次元合成アイテムを照明する合成光色または強度、および識別された表面の上方の上記最終３次元合成アイテムの高度から成るグループから選択される上記最終３次元合成アイテムの少なくとも１つの要素を無作為に変動させることによって、上記最終３次元合成アイテムと異なり、上記少なくとも１００枚の一意の訓練合成画像はそれぞれ、上記最終３次元合成アイテムの一意の識別にリンクされる、ステップと、
ｅ．上記最終３次元合成アイテムの少なくとも１枚の一意の試験合成画像を作成するステップであって、上記一意の試験合成画像は、上記最終３－Ｄ合成アイテムの配向、上記最終３－Ｄ合成アイテムを照明する合成光色または強度、および識別された表面の上方の上記最終３－Ｄ合成アイテムの高度から成るグループから選択される上記最終３次元合成アイテムの少なくとも１つの要素を無作為に変動させることによって、上記最終３次元合成アイテムと異なり、上記一意の試験合成画像は、上記最終３次元合成アイテムの一意の識別にリンクされない、ステップと、
ｆ．上記システムを用いて、上記訓練合成画像を繰り返し処理するステップであって、したがって、上記システムは、上記訓練合成画像内の１つまたはそれを上回るパターンを識別し、上記パターンは、上記３次元合成アイテムの一意の識別にリンクされる識別モデルを作成および更新するために使用される、ステップと、
ｇ．上記システムを用いて、上記合成試験画像を処理するステップであって、したがって、上記システムは、上記識別モデルに基づいて、上記３次元合成アイテムを上記合成試験画像から識別し、上記システムは、上記システムが上記３次元合成アイテムを正しく識別していることの信頼度を表す数値信頼度係数を提供する、ステップと、
ｈ．上記数値信頼度係数が、上記システムの中にアップロードされる事前に設定された信頼度係数以上であるかどうかを決定し、上記識別が、正しくない、または上記数値信頼度係数が、上記事前に設定された信頼度係数未満である場合、ステップｄ－ｈを繰り返すステップと
を含む、方法。
（項目２）
ステップｂ－ｈのうちの少なくとも１つは、自動的に、ユーザ入力を伴わずに遂行される、項目１に記載の方法。
（項目３）
ステップｄ－ｈは、自動的に、コンピュータビジョン駆動型人工知能ネットワークを使用して遂行される、項目２に記載の方法。
（項目４）
上記コンピュータビジョン駆動型人工知能ネットワークは、畳み込みニューラルネットワークである、項目２に記載の方法。
（項目５）
ｉ．上記システムが、上記３次元合成アイテムを正しく識別し、上記数値信頼度係数が、事前に設定された信頼度係数以上であるとき、上記一意の識別に起因する識別モデルを展開のためにサーバにアップロードするステップをさらに含む、項目１に記載の方法。
（項目６）
ステップｄは、上記最終３－Ｄ合成モデルの配向、上記最終３－Ｄ合成モデルを照明する合成光色または強度、および識別された表面の上方の上記最終３－Ｄ合成モデルの高度から成るグループから選択される少なくとも１つの要素を変動させることによって、上記最終３次元合成アイテムの新しい一意の訓練合成画像を持続的に生成し、各新しい一意の訓練合成画像は、上記最終３次元合成アイテムの一意の識別にリンクされる、項目１に記載の方法。
（項目７）
ステップｅは、上記最終３－Ｄ合成モデルの配向、上記最終３－Ｄ合成モデルを照明する合成光色または強度、および識別された表面の上方の上記最終３－Ｄ合成モデルの高度から成るグループから選択される少なくとも１つの要素を変動させることによって、上記最終３次元合成アイテムの新しい一意の試験合成画像を持続的に生成し、上記新しい一意の試験合成画像は、上記最終３次元合成アイテムの一意の識別にリンクされない、項目１に記載の方法。
（項目８）
上記数値信頼度係数は、９５パーセントを上回る、項目１に記載の方法。
（項目９）
外科手術用トレイおよびその上に含有されるアイテムを動的に識別するためのシステムであって、上記システムは、
ソフトウェアアプリケーションであって、上記ソフトウェアアプリケーションは、上記外科手術用トレイの画像を生産するように構成される少なくとも１つの画像データ収集デバイスと通信するモバイルコンピュータデバイスまたはコンピュータデバイス上で動作し、上記ソフトウェアアプリケーションは、上記外科手術用トレイの画像を上記画像データ収集デバイスから受信し、次いで、上記画像を、有線および／または無線通信ネットワークを通して、上記外科手術用トレイが位置する施設または上記施設から遠隔の場所に位置するサーバに通信するように構成される、ソフトウェアアプリケーションと、
上記有線および／または無線通信ネットワークを通して、上記ソフトウェアアプリケーションおよび上記サーバと通信するプロセッサであって、上記プロセッサは、上記サーバへの上記画像の通信に応じて、上記システムのライブラリデータベースから、
テンソルから成る複数のトレイ識別モデルであって、上記トレイ識別モデルは、上記システムの管理者または上記管理者の従業員、契約社員、または代理人によって事前にアップロードされている、複数のトレイ識別モデル
を呼び出すように構成され、
それによって、上記プロセッサは、
上記画像を分析し、上記画像に適用されるような上記トレイ識別モデルに基づいて、上記画像内のトレイのタイプを分類することと、
上記ライブラリデータベースから、
上記トレイのタイプの分類にリンクされるアイテムのリストと、
テンソルから成る複数の器具識別モデルであって、上記器具識別モデルは、上記アイテムにリンクされ、上記システムの管理者または上記管理者の従業員、契約社員、または代理人によって事前にアップロードされている、器具識別モデルと
を呼び出すことと、
上記画像を分析し、上記器具識別モデルに基づいて、上記画像内のアイテムのタイプを識別することと、
上記分類されたアイテムと、上記分類されたトレイにリンクされる上記アイテムのリストを比較し、任意の欠如しているアイテムを決定することと、
上記ソフトウェアアプリケーションに、上記分類されたアイテムおよび任意の欠如しているアイテムを通知することと
を行うように構成される、プロセッサと、
を備える、システム。
（項目１０）
上記画像データ収集デバイスは、カメラである、項目９に記載のシステム。
（項目１１）
上記画像データ収集デバイスは、装着可能デバイス上に搭載される、項目９に記載のシステム。
（項目１２）
テンソルから成る上記トレイ識別モデルおよびテンソルから成る上記器具識別モデルは、ビュー生成モジュールによってレンダリングされるような３次元合成アイテムの２次元図を使用して訓練されるコンピュータビジョン駆動型人工知能ネットワークを使用して生成される、項目９に記載のシステム。
（項目１３）
上記人工知能ネットワークは、畳み込みニューラルネットワークである、項目１２に記載のシステム。
（項目１４）
上記コンピュータビジョン駆動型人工知能ネットワークは、ビュー生成モジュールによってレンダリングされるような３次元合成アイテムの２次元図を使用して持続的に訓練される、項目１２に記載のシステム。
（項目１５）
外科手術用トレイおよびその上に含有されるアイテムを識別するための方法であって、上記方法は、
モバイルコンピュータデバイスまたは上記モバイルコンピュータデバイスと同期され得るコンピュータデバイス上で動作するソフトウェアアプリケーションを使用して、上記外科手術用トレイの画像およびその上に含有されるアイテムを、サーバまたは遠隔サーバに接続される画像データ収集器から受信することであって、上記モバイルコンピュータデバイスまたは上記コンピュータデバイスは、有線および／または無線通信ネットワークを通して、上記外科手術用トレイが位置する施設におけるサーバと通信する、または上記施設から遠隔の場所にあって、上記サーバと通信する遠隔サーバと通信する、ことと、
上記情報を受信することに応じて、データベースから、プロセッサを使用して、テンソルから成る複数のトレイ識別モデルを呼び出すことであって、上記トレイ識別モデルは、トレイ名およびそれらのトレイによって含有されることが意図されるアイテムの知識を伴う専門家によって、事前にアップロードされている、ことと、
上記画像を分析し、上記トレイ識別モデルに基づいて、上記画像内のトレイのタイプを分類することと、
上記トレイを分類することに応じて、上記データベースから、上記トレイの分類にリンクされ、テンソルから成る複数の器具識別モデルであって、上記器具識別モデルは、（ａ）表面テクスチャ、（ｂ）アイテム材料組成物、および（ｃ）サイズ公差を含む、器具識別モデルと、上記トレイ分類にリンクされるアイテムのリストとを呼び出すことであって、上記器具識別モデルは、上記専門家によって事前にアップロードされている、ことと、
上記画像を分析し、上記器具識別モデルに基づいて、上記画像内のアイテムのタイプを分類することと、
上記分類されたアイテムと、上記分類されたトレイにリンクされる上記アイテムのリストを比較し、任意の欠如しているアイテムを決定することと、
上記ソフトウェアアプリケーションに、上記分類されたアイテムおよび任意の欠如しているアイテムを通知することと
を含む、方法。
（項目１６）
上記画像データ収集デバイスは、カメラである、項目１５に記載の方法。
（項目１７）
上記画像データ収集デバイスは、装着可能デバイス上に搭載される、項目１５に記載の方法。
（項目１８）
テンソルから成る上記トレイ識別モデルおよびテンソルから成る上記器具識別モデルは、ビュー生成モジュールによってレンダリングされるような３次元合成アイテムの２次元図を使用して訓練されるコンピュータビジョン駆動型人工知能ネットワークを使用して生成される、項目１５に記載の方法。
（項目１９）
上記人工知能ネットワークは、畳み込みニューラルネットワークである、項目１８に記載の方法。
（項目２０）
上記コンピュータビジョン駆動型人工知能ネットワークは、ビュー生成モジュールによってレンダリングされるような３次元合成アイテムの２次元図を使用して持続的に訓練される、項目１８に記載の方法。
本発明は、例えば、以下を提供する。
（項目１）
コンピュータシステムを訓練し、外科手術用トレイおよびその上に含有されるアイテムを動的に識別するための方法であって、上記方法は、
ａ．スキャナデバイスを用いて、少なくとも２回、外科手術用器具を走査し、上記外科手術用器具の予備３次元モデルを作成するステップと、
ｂ．幾何学形状、各頂点の位置、各テクスチャ座標頂点のＵＶ位置、頂点法線、頂点のリストとして定義される各ポリゴンを成す面、および上記アイテムに関するテクスチャ座標から成るグループから選択される少なくとも１つの要素を定義することによって、上記外科手術用器具の予備３次元モデルを改訂し、最終３次元合成アイテムを作成するステップと、
ｃ．一意の識別を上記最終３次元合成アイテムに割り当てるステップであって、上記一意の識別を伴う上記最終３次元合成アイテムは、データベース内に記憶される、ステップと、
ｄ．上記最終３次元合成アイテムの少なくとも１００枚の一意の訓練合成画像を作成するステップであって、上記一意の訓練合成画像はそれぞれ、上記最終３次元合成アイテムの配向、上記最終３次元合成アイテムを照明する合成光色または強度、および識別された表面の上方の上記最終３次元合成アイテムの高度から成るグループから選択される上記最終３次元合成アイテムの少なくとも１つの要素を無作為に変動させることによって、上記最終３次元合成アイテムと異なり、上記少なくとも１００枚の一意の訓練合成画像はそれぞれ、上記最終３次元合成アイテムの一意の識別にリンクされる、ステップと、
ｅ．上記最終３次元合成アイテムの少なくとも１枚の一意の試験合成画像を作成するステップであって、上記一意の試験合成画像は、上記最終３－Ｄ合成アイテムの配向、上記最終３－Ｄ合成アイテムを照明する合成光色または強度、および識別された表面の上方の上記最終３－Ｄ合成アイテムの高度から成るグループから選択される上記最終３次元合成アイテムの少なくとも１つの要素を無作為に変動させることによって、上記最終３次元合成アイテムと異なり、上記一意の試験合成画像は、上記最終３次元合成アイテムの一意の識別にリンクされない、ステップと、
ｆ．上記システムを用いて、上記訓練合成画像を繰り返し処理するステップであって、したがって、上記システムは、上記訓練合成画像内の１つまたはそれを上回るパターンを識別し、上記パターンは、上記３次元合成アイテムの一意の識別にリンクされる識別モデルを作成および更新するために使用される、ステップと、
ｇ．上記システムを用いて、上記合成試験画像を処理するステップであって、したがって、上記システムは、上記識別モデルに基づいて、上記３次元合成アイテムを上記合成試験画像から識別し、上記システムは、上記システムが上記３次元合成アイテムを正しく識別していることの信頼度を表す数値信頼度係数を提供する、ステップと、
ｈ．上記数値信頼度係数が、上記システムの中にアップロードされる事前に設定された信頼度係数以上であるかどうかを決定し、上記識別が、正しくない、または上記数値信頼度係数が、上記事前に設定された信頼度係数未満である場合、ステップｄ－ｈを繰り返すステップと
を含む、方法。
（項目２）
ステップｂ－ｈのうちの少なくとも１つは、自動的に、ユーザ入力を伴わずに遂行される、項目１に記載の方法。
（項目３）
ステップｄ－ｈは、自動的に、コンピュータビジョン駆動型人工知能ネットワークを使用して遂行される、項目２に記載の方法。
（項目４）
上記コンピュータビジョン駆動型人工知能ネットワークは、畳み込みニューラルネットワークである、項目２に記載の方法。
（項目５）
ｉ．上記システムが、上記３次元合成アイテムを正しく識別し、上記数値信頼度係数が、事前に設定された信頼度係数以上であるとき、上記一意の識別に起因する識別モデルを展開のためにサーバにアップロードするステップをさらに含む、項目１に記載の方法。
（項目６）
ステップｄは、上記最終３－Ｄ合成モデルの配向、上記最終３－Ｄ合成モデルを照明する合成光色または強度、および識別された表面の上方の上記最終３－Ｄ合成モデルの高度から成るグループから選択される少なくとも１つの要素を変動させることによって、上記最終３次元合成アイテムの新しい一意の訓練合成画像を持続的に生成し、各新しい一意の訓練合成画像は、上記最終３次元合成アイテムの一意の識別にリンクされる、項目１に記載の方法。
（項目７）
ステップｅは、上記最終３－Ｄ合成モデルの配向、上記最終３－Ｄ合成モデルを照明する合成光色または強度、および識別された表面の上方の上記最終３－Ｄ合成モデルの高度から成るグループから選択される少なくとも１つの要素を変動させることによって、上記最終３次元合成アイテムの新しい一意の試験合成画像を持続的に生成し、上記新しい一意の試験合成画像は、上記最終３次元合成アイテムの一意の識別にリンクされない、項目１に記載の方法。
（項目８）
上記数値信頼度係数は、９５パーセントを上回る、項目１に記載の方法。
（項目９）
外科手術用トレイおよびその上に含有されるアイテムを動的に識別するためのシステムであって、上記システムは、
ソフトウェアアプリケーションであって、上記ソフトウェアアプリケーションは、上記外科手術用トレイの画像を生産するように構成される少なくとも１つの画像データ収集デバイスと通信するモバイルコンピュータデバイスまたはコンピュータデバイス上で動作し、上記ソフトウェアアプリケーションは、上記外科手術用トレイの画像を上記画像データ収集デバイスから受信し、次いで、上記画像を、有線および／または無線通信ネットワークを通して、上記外科手術用トレイが位置する施設または上記施設から遠隔の場所に位置するサーバに通信するように構成される、ソフトウェアアプリケーションと、
上記有線および／または無線通信ネットワークを通して、上記ソフトウェアアプリケーションおよび上記サーバと通信するプロセッサであって、上記プロセッサは、上記サーバへの上記画像の通信に応じて、上記システムのライブラリデータベースから、
テンソルから成る複数のトレイ識別モデルであって、上記トレイ識別モデルは、上記システムの管理者または上記管理者の従業員、契約社員、または代理人によって事前にアップロードされている、複数のトレイ識別モデル
を呼び出すように構成され、
それによって、上記プロセッサは、
上記画像を分析し、上記画像に適用されるような上記トレイ識別モデルに基づいて、上記画像内のトレイのタイプを分類することと、
上記ライブラリデータベースから、
上記トレイのタイプの分類にリンクされるアイテムのリストと、
テンソルから成る複数の器具識別モデルであって、上記器具識別モデルは、上記アイテムにリンクされ、上記システムの管理者または上記管理者の従業員、契約社員、または代理人によって事前にアップロードされている、器具識別モデルと
を呼び出すことと、
上記画像を分析し、上記器具識別モデルに基づいて、上記画像内のアイテムのタイプを識別することと、
上記分類されたアイテムと、上記分類されたトレイにリンクされる上記アイテムのリストを比較し、任意の欠如しているアイテムを決定することと、
上記ソフトウェアアプリケーションに、上記分類されたアイテムおよび任意の欠如しているアイテムを通知することと
を行うように構成される、プロセッサと、
を備える、システム。
（項目１０）
上記画像データ収集デバイスは、カメラである、項目９に記載のシステム。
（項目１１）
上記画像データ収集デバイスは、装着可能デバイス上に搭載される、項目９に記載のシステム。
（項目１２）
テンソルから成る上記トレイ識別モデルおよびテンソルから成る上記器具識別モデルは、ビュー生成モジュールによってレンダリングされるような３次元合成アイテムの２次元図を使用して訓練されるコンピュータビジョン駆動型人工知能ネットワークを使用して生成される、項目９に記載のシステム。
（項目１３）
上記人工知能ネットワークは、畳み込みニューラルネットワークである、項目１２に記載のシステム。
（項目１４）
上記コンピュータビジョン駆動型人工知能ネットワークは、ビュー生成モジュールによってレンダリングされるような３次元合成アイテムの２次元図を使用して持続的に訓練される、項目１２に記載のシステム。
（項目１５）
外科手術用トレイおよびその上に含有されるアイテムを識別するための方法であって、上記方法は、
モバイルコンピュータデバイスまたは上記モバイルコンピュータデバイスと同期され得るコンピュータデバイス上で動作するソフトウェアアプリケーションを使用して、上記外科手術用トレイの画像およびその上に含有されるアイテムを、サーバまたは遠隔サーバに接続される画像データ収集器から受信することであって、上記モバイルコンピュータデバイスまたは上記コンピュータデバイスは、有線および／または無線通信ネットワークを通して、上記外科手術用トレイが位置する施設におけるサーバと通信する、または上記施設から遠隔の場所にあって、上記サーバと通信する遠隔サーバと通信する、ことと、
上記情報を受信することに応じて、データベースから、プロセッサを使用して、テンソルから成る複数のトレイ識別モデルを呼び出すことであって、上記トレイ識別モデルは、トレイ名およびそれらのトレイによって含有されることが意図されるアイテムの知識を伴う専門家によって、事前にアップロードされている、ことと、
上記画像を分析し、上記トレイ識別モデルに基づいて、上記画像内のトレイのタイプを分類することと、
上記トレイを分類することに応じて、上記データベースから、上記トレイの分類にリンクされ、テンソルから成る複数の器具識別モデルであって、上記器具識別モデルは、（ａ）表面テクスチャ、（ｂ）アイテム材料組成物、および（ｃ）サイズ公差を含む、器具識別モデルと、上記トレイ分類にリンクされるアイテムのリストとを呼び出すことであって、上記器具識別モデルは、上記専門家によって事前にアップロードされている、ことと、
上記画像を分析し、上記器具識別モデルに基づいて、上記画像内のアイテムのタイプを分類することと、
上記分類されたアイテムと、上記分類されたトレイにリンクされる上記アイテムのリストを比較し、任意の欠如しているアイテムを決定することと、
上記ソフトウェアアプリケーションに、上記分類されたアイテムおよび任意の欠如しているアイテムを通知することと
を含む、方法。
（項目１６）
上記画像データ収集デバイスは、カメラである、項目１５に記載の方法。
（項目１７）
上記画像データ収集デバイスは、装着可能デバイス上に搭載される、項目１５に記載の方法。
（項目１８）
テンソルから成る上記トレイ識別モデルおよびテンソルから成る上記器具識別モデルは、ビュー生成モジュールによってレンダリングされるような３次元合成アイテムの２次元図を使用して訓練されるコンピュータビジョン駆動型人工知能ネットワークを使用して生成される、項目１５に記載の方法。
（項目１９）
上記人工知能ネットワークは、畳み込みニューラルネットワークである、項目１８に記載の方法。
（項目２０）
上記コンピュータビジョン駆動型人工知能ネットワークは、ビュー生成モジュールによってレンダリングされるような３次元合成アイテムの２次元図を使用して持続的に訓練される、項目１８に記載の方法。
【国際調査報告】