特許 7150036 術前画像に基づく手術ビデオ検索

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-09-29

(45)【発行日】2022-10-07

(54)【発明の名称】術前画像に基づく手術ビデオ検索

(51)【国際特許分類】

   G16H 50/00 20180101AFI20220930BHJP

   A61B 5/00 20060101ALI20220930BHJP

   G06F 16/53 20190101ALI20220930BHJP

【ＦＩ】

G16H50/00

A61B5/00 D

G06F16/53

【請求項の数】 18

(21)【出願番号】P 2020545593

(86)(22)【出願日】2019-03-14

(65)【公表番号】

(43)【公表日】2021-07-08

(86)【国際出願番号】 US2019022352

(87)【国際公開番号】W WO2019182875

(87)【国際公開日】2019-09-26

【審査請求日】2020-10-29

(31)【優先権主張番号】62/644,737

(32)【優先日】2018-03-19

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】516035068

【氏名又は名称】ヴェリリー ライフ サイエンシズ エルエルシー

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100126480

【弁理士】

【氏名又は名称】佐藤 睦

(72)【発明者】

【氏名】ハベッケ，マーティン

(72)【発明者】

【氏名】バラール，ジョエル ケー．

(72)【発明者】

【氏名】ヤン，リン

(72)【発明者】

【氏名】ジン，シン

【審査官】玉木 宏治

(56)【参考文献】

【文献】特開２０１４－１７９０９２（ＪＰ，Ａ）

【文献】特開２０１３－０４７９４０（ＪＰ，Ａ）

【文献】特開２００７－２７５４０８（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／０２１３３３９（ＵＳ，Ａ１）

【文献】特開２００２－３２５７５４（ＪＰ，Ａ）

【文献】特開２０１７－２１９８７８（ＪＰ，Ａ）

【文献】特開２０１０－１６７０４２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１６Ｈ １０／００－８０／００

Ｇ０６Ｑ １０／００－９９／００

Ａ６１Ｂ ５／００－ ５／０１

Ｇ０６Ｆ １６／００－１６／９５８

(57)【特許請求の範囲】

【請求項1】

システムであって、
手術ビデオを含むデータベースと、
メモリおよび前記データベースに結合されたプロセッサを含むコントローラと、を備え、前記メモリが、前記プロセッサによって実行されるときに、前記システムに、
前記プロセッサを使って、医用画像装置から取得された、人体の臓器および疾患の１つまたは複数の入力術前画像を受信することと、
前記プロセッサを使って、前記１つまたは複数の入力術前画像から、前記臓器の形状、前記臓器の大きさ、または前記臓器の位置のうちの少なくとも１つを含む第１の臓器情報と、前記疾患の形状、前記疾患の位置、前記疾患の大きさ、または前記疾患の病期のうちの少なくとも１つを含む第１の疾患情報とを決定することと、
前記プロセッサを使って、前記第１の臓器情報および前記第１の疾患情報と、前記手術ビデオに索引付けされた第２の疾患情報および第２の臓器情報との比較に少なくとも部分的に基づく、前記１つまたは複数の術前画像と、前記データベースに含まれる前記手術ビデオとの間の類似性スコアを計算することと、
前記プロセッサを使って、前記類似性スコアに基づいて、前記手術ビデオのうちの１つまたは複数を表示のために選択することと、を含む動作を実行させる情報を格納する、システム。

【請求項2】

前記医用画像装置が、コンピュータ断層撮影（ＣＴ）スキャン装置、磁気共鳴画像（ＭＲＩ）装置、超音波装置、陽電子放出断層撮影（ＰＥＴ）装置、またはＸ線装置のうちの１つを含む、請求項１に記載のシステム。

【請求項3】

前記メモリが、機械学習アルゴリズムを含んでおり、前記第１の臓器情報を決定することが、前記機械学習アルゴリズムを使用して、前記臓器の前記１つまたは複数の入力術前画像をセグメント化することを含む、請求項１に記載のシステム。

【請求項4】

前記機械学習アルゴリズムが、教師ありネットワークを含む、請求項３に記載のシステム。

【請求項5】

前記機械学習アルゴリズムが、前記類似性スコアを決定するためのトリプレット損失法を介してトレーニングされる、請求項３に記載のシステム。

【請求項6】

前記機械学習アルゴリズムが、複数の深層学習モデルを含んでおり、前記複数の深層学習モデル内の各深層学習モデルが、前記疾患の異なる種類を認識するようにトレーニングされている、請求項３に記載のシステム。

【請求項7】

前記メモリが、前記プロセッサによって実行されるときに、前記システムに、
前記プロセッサが前記手術ビデオのうちの１つまたは複数を選択する以前に、前記手術ビデオ内の１つまたは複数の無関係なビデオを前記プロセッサによる検討から除外すること、を含む動作を実行させる情報をさらに格納する、請求項１に記載のシステム。

【請求項8】

前記１つまたは複数の無関係なビデオが、前記臓器および前記疾患の前記１つまたは複数の入力術前画像に表示される患者とは異なる疾患、患者の異なる性別、患者の異なる体型、異なる疾患位置、または患者の異なる年齢のうちの少なくとも１つを描写する、請求項７に記載のシステム。

【請求項9】

前記類似性スコアを計算することが、患者の年齢、患者の肥満指数、疾患の種類、患者の性別、または患者の既往症のうちの少なくとも１つを含むメタデータを使用することを含む、請求項１に記載のシステム。

【請求項10】

前記データベース内の前記手術ビデオの各々が、前記データベースに格納された少なくとも１つの関連する術前画像を有しており、前記第２の疾患情報および前記第２の臓器情報が、前記少なくとも１つの関連する術前画像から導出されており、前記少なくとも１つの術前画像が、コンピュータ断層撮影（ＣＴ）スキャン、磁気共鳴画像（ＭＲＩ）スキャン、超音波画像、陽電子放出断層撮影スキャン、またはＸ線のうちの少なくとも１つを含む、請求項１に記載のシステム。

【請求項11】

手術ビデオの検索のための方法であって、
メモリおよびデータベースに結合されたプロセッサを使って、人体の臓器および疾患の１つまたは複数の入力術前画像を受信することであって、ここで、前記臓器および前記疾患の前記１つまたは複数の入力術前画像が、医用画像装置を使って捕捉されており、前記データベースが手術ビデオを含み、
前記プロセッサを使って、前記１つまたは複数の入力術前画像から、前記臓器の形状、前記臓器の大きさ、または前記臓器の位置のうちの少なくとも１つを含む第１の臓器情報と、前記疾患の形状、前記疾患の位置、前記疾患の大きさ、または前記疾患の病期のうちの少なくとも１つを含む第１の疾患情報とを決定することと、
前記プロセッサを使って、前記１つまたは複数の入力術前画像から導出された前記第１の臓器情報および前記第１の疾患情報と、前記手術ビデオに索引付けされた第２の疾患情報および第２の臓器情報との比較に少なくとも部分的に基づく、前記１つまたは複数の入力術前画像と、前記データベースに含まれる前記手術ビデオとの間の類似性スコアを計算することと、
前記プロセッサを使って、前記類似性スコアに基づいて、前記データベースから前記手術ビデオのうちの１つまたは複数を表示のために選択することと、を含む、方法。

【請求項12】

前記データベース内の前記手術ビデオの各々が、前記データベース内に格納された少なくとも１つの関連する術前画像を有しており、前記第２の疾患情報および前記第２の臓器情報が、前記少なくとも１つの関連する術前画像から導出される、請求項１１に記載の方法。

【請求項13】

前記メモリが、機械学習アルゴリズムを含んでおり、前記第１の臓器情報を決定することが、前記機械学習アルゴリズムを使用して、前記臓器の前記１つまたは複数の入力術前画像をセグメント化することを含む、請求項１１に記載の方法。

【請求項14】

前記メモリが、機械学習アルゴリズムを含んでおり、前記機械学習アルゴリズムが、教師ありネットワークを含む、請求項１１に記載の方法。

【請求項15】

前記メモリが、機械学習アルゴリズムを含んでおり、前記機械学習アルゴリズムが、複数の深層学習モデルを含んでおり、前記複数の深層学習モデル内の各深層学習モデルが、前記疾患の異なる種類を認識するようにトレーニングされている、請求項１１に記載の方法。

【請求項16】

前記類似性スコアを計算することが、患者の年齢、患者の肥満指数、疾患の種類、患者の性別、または患者の既往症のうちの少なくとも１つを含むメタデータを使用することを含む、請求項１１に記載の方法。

【請求項17】

前記類似性スコアを計算することが、関心領域内の前記第１の臓器情報および前記第１の疾患情報を使用することを含んでおり、前記関心領域が、前記人体内の部位である、請求項１１に記載の方法。

【請求項18】

格納された命令を有するコンピュータ可読媒体であって、前記命令が、コンピューティングシステムに、
前記コンピューティングシステムを使って、人体の臓器および疾患の１つまたは複数の入力術前画像を受信することであって、ここで、前記臓器および前記疾患の前記１つまたは複数の入力術前画像が、医用画像装置を使って捕捉され、データベース内に格納されており、前記データベースが、手術ビデオを含み、
前記コンピューティングシステムを使って、前記１つまたは複数の入力術前画像から、前記臓器の形状、前記臓器の大きさ、または前記臓器の位置のうちの少なくとも１つを含む第１の臓器情報と、前記疾患の形状、前記疾患の位置、または前記疾患の病期のうちの少なくとも１つを含む第１の疾患情報とを決定することと、
前記コンピューティングシステムを使って、前記１つまたは複数の入力術前画像から導出された前記第１の臓器情報および前記第１の疾患情報と、前記手術ビデオに索引付けされた第２の疾患情報および第２の臓器情報との比較に少なくとも部分的に基づく、前記１つまたは複数の入力術前画像と、前記データベースに含まれる前記手術ビデオとの間の類似性スコアを計算することと、
前記コンピューティングシステムを使って、前記類似性スコアに基づいて、前記データベースから前記手術ビデオのうちの１つまたは複数を表示のために選択することと、を含む、動作を実行させる、コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０１８年３月１９日に出願された米国仮出願第６２／６４４，７３７号の利益を主張し、その出願は、その全体が参照により本明細書によって組み込まれる。

【0002】

本開示は、概して、ビデオ検索に関し、特に、外科手技に関するが、これに限定されない。

【背景技術】

【0003】

医師が今後の手術を行う方法を学ぶためには、過去の手術症例の研究および評価が重要である。伝統的に、医師は、手術室内で生の手術を数多く観察することによってトレーニングされてきた。これには、外科医の多くの時間が欠かせない（多くの手術は、完了するのに数時間かかる）。さらに、外科医は、患者と地理的に近くにいる必要があり、外科医を適切に経験させるためには、手術の種類（および患者の種類）は、医師が将来行うことになる手術に関連する必要がある。

【図面の簡単な説明】

【0004】

本発明の非限定的かつ非網羅的な実施形態を以下の図を参照して説明するが、ここで、特に指定されない限り、同様の参照番号は、様々な図全体を通して同様の部分を指す。必要に応じて図面が煩雑にならないように、要素のすべての事例が必ずしも標識されているわけではない。図面は必ずしも縮尺通りではなく、説明されている原理を示すことに重点が置かれている。

【0005】

【図1】本開示の一実施形態による、手術ビデオを検索するためのシステムを示す。

【図2A】本開示の一実施形態による、臓器および疾患のセグメンテーションを示す。

【図2B】本開示の一実施形態による、画像類似性スコアを提供するために機械学習モデルをトレーニングするための例示的なフローチャートを示す。

【図2C】本開示の一実施形態による、１つまたは複数の術前画像に基づいて関連する手術ビデオを検索するためにディスプレイに出力される例示的なグラフィカルユーザインターフェースを示す。

【図2D】本開示の一実施形態による、１つまたは複数の術前画像に基づいて手術ビデオを検索するためのフローチャートを示す。

【図3】本開示の一実施形態による、手術ビデオを検索するための方法を示す。

【発明を実施するための形態】

【0006】

本明細書には、手術ビデオ検索のためのシステムおよび方法の実施形態が、記載されている。以下の説明では、多くの具体的な詳細は、実施形態の徹底的な理解を提供するために、記載されている。しかしながら、関連技術の当業者は、本明細書に記載された技術が、具体的な詳細のうちの１つ以上を用いずに、または他の方法、コンポーネント、材料などを用いて実施することができることを認識するであろう。他の事例では、周知の構造、材料、または操作は、特定の態様を不明瞭にしないように、詳細には図示または記載されていない。

【0007】

本明細書全体を通した「一実施形態」または「実施形態」への参照は、実施形態に関連して記載された特定の特徴、構造、または特性が、本発明の少なくとも１つの実施形態に含まれることを意味する。このように、本明細書全体を通して、様々な場所での「一実施形態では」または「実施形態では」という句の出現は、必ずしもすべてが同じ実施形態を指しているわけではない。さらに、特定の特徴、構造、または特性は、１つ以上の実施形態において、任意の好適な様式で組み合わされ得る。

【0008】

本明細書には、１つまたは複数の術前画像および／またはユーザ選択されたメタデータに少なくとも部分的に基づいて、関連する手術ビデオを検索するためのシステム、装置、および方法の実施形態が、記載されている。このような手術ビデオは、術前計画のための（例えば、外科医が難題を予想し、潜在的な危険性を回避するのを助けるための）重要なリソースを表し得る。術前計画に関した関連する手術ビデオを検索することは、非常に重要であり得、その理由は、所与の手技が、患者の性別、年齢、体型、疾患の病期、医療履歴、合併症、ならびに非常に他の多くの潜在的な変数に起因して大きく変化し得るからである。本開示において、筆者らは、術前画像（例えば、磁気共鳴画像、コンピュータ断層撮影スキャン、Ｘ線画像、陽電子放出技術スキャン、超音波スキャン、他の医用画像技術からの画像など）から特徴を分析および抽出し、この情報に基づいて患者に行われる次の手技に関連する（例えば、類似の）手術ビデオを検索するためのフレームワークを提示する。

【0009】

（１）術前磁気共鳴（ＭＲ）／コンピュータ断層撮影（ＣＴ）画像（個々のＭＲもしくはＣＴ画像、または他の種類の画像）と、大規模なデータベースに格納された以前の患者からの手術ビデオとのペア、および（２）今後の患者からのＭＲ／ＣＴ画像（個別もしくはペアにされた、および／または他の種類の画像）が与えられると、ここでシステムは、今後の患者に類似したＭＲ／ＣＴ画像を有する最も近い以前の患者を計算し、それらの手術ビデオを検索することができる。

【0010】

一連の画像検索方法を使用して、ＭＲ／ＣＴ画像入力として与えられた類似の疾患症例を検索することができる。ただし、同様の疾患症例が、必ずしも同様の手術を示すとは限らない。周囲の臓器、骨、および組織が、手術に大きな影響を与える可能性がある。この問題に対処するため、ここに提示されたフレームワークでは、システムは、疾患の類似性だけでなく、重大な周辺領域の類似性も考慮に入れる。

【0011】

いくつかの実施形態では、このフレームワークには、４つの主要なステップがある。（１）ＭＲ／ＣＴ画像から臓器レベル情報（例えば、大きさ、形状、位置）を取得する。臓器の分布は、手術のための風景を形成する。臓器情報には、臓器、組織、骨、軟骨等に関する情報が含まれることを理解されたい。（２）ＭＲ／ＣＴ画像または臨床データから疾患関連情報（例えば、疾患の種類、病変領域の位置、疾患の病期）を取得する。この情報は、関心領域（複数可）を規定する。（３）臓器分布および疾患状態に基づいて、類似性スコアを計算する。さらに、マスクを使用して、所定の手技に関連しないものを隠すことができ、関心領域内の臓器分布のみが使用される。例えば、鼻の美容手技が行われ、その画像に目が含まれている場合、類似性スコアを計算するときに目を考慮する必要がない場合がある。（４）システムは、最も高い類似性スコアを有する手術ビデオを検索する（例えば、閾値範囲内の手術ビデオが選択され得る）。

【0012】

ステップ１において、システムは、ＭＲ／ＣＴ画像内の臓器セグメンテーションを実行する。より具体的には、３Ｄ全層畳み込みニューラルネットワーク（例えば、ノード／人工ニューロンの入力層、１つまたは複数の隠れ層、および出力層を有する）が、トレーニングされ、そしてＭＲ／ＣＴ画像に適用されて、様々な種類の臓器をセグメント化する。３Ｄ深層教師ありネットワーク（３Ｄ ＤＳＮ）を使用して、類似性スコアを生成することができる。いくつかの実施形態では、条件付きランダムフィールドモデルを使用して、輪郭精密化を強化することができる。他の実施形態では、マルチスケールコンテキスト／マルチスケールピラミッド特徴および膨張畳み込みを使用して、全体的なセグメンテーション結果を改善することができる。セグメンテーション後、大きさ、形状、および位置情報を計算することができる。

【0013】

ステップ２において、さらに疾患固有の計算が必要である。各疾患について、システムは、次々にトレーニングされ、深層学習モデル（複数可）または他の一部の方法を適用して、疾患領域を突き止め、疾患病期を割り当てる。「疾患」には、がん、潰瘍、感染部位（細菌性またはウイルス性）、壊死組織、自己免疫疾患、遺伝性疾患、および他の種類の身体の劣化または異型が、広く含まれることが理解される。「疾患」は、不健康ではあるが、それ以外では「正常な」組織の部分（例えば、胃のバイパス手術、ラップバンド手術などの場合）さえも含む場合がある。次いで、関心領域が、疾患情報、およびどのように手技が行われていく予定であるか（例えば、どの器具か、またはどのスタイルの手技か）についてのメタデータに基づいて生成される。

【0014】

ステップ３において、システムは、まず、疾患の種類、性別、年齢、体型等に基づいて、明らかな不一致（例えば、無関係な）ビデオをフィルタ除外する（各種類の手技に対して、システムのユーザは、関連するパラメータのそれらの独自のセットを選択し、それらの独自の類似性尺度を有することができる）。次いで、システムは、同じ疾患の病期、および疾患領域の類似する位置（例えば、臓器内およびその周囲の相対位置の距離によって測定される）を有するビデオを検索することができる。最後に、これらのビデオの中で、システムは、関心領域内で２人の患者の臓器間の類似性（例えば、大きさの類似性、形状の類似性、および相対位置の類似性）を計算する。このフレームワークの出力は、最も高い類似性スコアを有するビデオである。別の実施形態では、患者または手技についての追加情報（例えば、ＢＭＩ、患者の年齢等）も使用して、類似性スコアを推定する。いくつかの実施形態では、類似性スコアは、ユーザの仕様設定および好みを包含し得る。例えば、１つの固有の組み合わせのためのビデオが十分に存在しない場合、外科医は、選択の際により少ないフィルタの使用を選択するか、または外科医が必ずしもすべての条件を満足せずに関心を有する特定の領域内のビデオを選択することができる（例えば、外科医が、より多くの基準を追加する－より具体的にすることができる－、または基準を取り去って－、十分なビデオを見つけることができる）。さらに、類似性スコアが計算される前に患者の画像を倍率変更することができることが、さらに理解される（例えば、２人の患者が双子であるが、一方は、他方の倍率変更版（より背が高い）であり、２人目の患者について手術する際に最初の患者のビデオを見ることは、実際上便利であり得、一方が背が高いという事実は、それほど重要ではない）。「倍率変更」は、様々なことを意味する可能性があり（例えば、垂直方向および／または水平方向に縮小／拡大）、特定の疾患／手技の場合には、変形は、問題にもならない場合があり、臓器および疾患の相対的な位置が問題になるだけである。

【0015】

以下のセクションは、上で考察した実施形態、および追加の実施形態について、図と関連させながら説明する。

【0016】

図１は、本開示の一実施形態による、手術ビデオを検索するためのシステム１００を示す。システム１００は、医用画像装置１０１、ディスプレイ１０３、プロセッサ１０５、データベース１０７（手術ビデオ１１１、および関連する術前スキャンを含む）、およびネットワーク１０９を備える。図に示すように、医用画像装置１０１は、コンピュータ断層撮影（ＣＴ）スキャン装置、磁気共鳴画像（ＭＲＩ）装置、Ｘ線装置、陽電子放出技術（ＰＥＴ）装置、超音波装置などのうちの１つを含み得る。ディスプレイ１０３は、発光ダイオード（ＬＥＤ）スクリーン、液晶ディスプレイ、プロジェクタなどであってもよい。プロセッサ１０５は、ローカライズされた装置（例えば、マイクロコントローラ、１つまたは複数のテンソル処理装置などの機械学習アルゴリズムを実行するように特別に設計されたコンピュータチップ、汎用プロセッサ、多くのサーバ上で実行する分散型システムなど）を含んでもよく、または分散型システム上でホストとして働く仮想マシンを含んでもよい（例えば、ネットワーク１０９）。さらに、その処理の一部は、ローカルに行われてもよく、これに対して、他の処理タスクは、リモートサーバ上で実行されてもよいことが理解される。同様に、データベース１０７は、ハードドライブなどの上でローカルに走っていてもよく、または多くのサーバ上で走る分散型システムであってもよい。

【0017】

図示してある実施形態では、医用画像装置１０１は、人体の臓器、および人体の疾患の画像を（例えば、Ｘ線、磁気画像などを用いて）捕捉するように適合されている。造影剤を使用して、手術画像内の腫瘍などの特定の構造を強調することができることが理解される。ディスプレイ１０３は、医師などのユーザに手術ビデオを表示するように適合されている。データベース１０７は、手術ビデオおよび手術スキャン（例えば、各手術ビデオに対応する術前のＭＲおよびＣＴスキャン）を含む。プロセッサ１０５は、医用画像装置１０１、データベース１０７、ディスプレイ１０３、およびネットワーク１０９に（有線または無線のどちらかによって）結合されている。図示してある実施形態では、プロセッサ１０５は、プロセッサ１０５によって実行されたときにシステム１００に様々な動作を実行させる命令／ロジック（機械コード、またはメモリ内に設計／構築されたネイティブ命令であってもよい）を格納するメモリに結合されている。例えば、プロセッサ１０５は、撮像された患者の臓器の形状、臓器の大きさ、または臓器の位置のうちの少なくとも１つを含む臓器情報を決定することができる。プロセッサ１０５は、スキャンから臓器の３Ｄ再構成（例えば、図２Ａを参照）を構築することによって、臓器の大きさ、形状、および位置を測定することができ、この再構成を使用して、臓器の体積、臓器間の距離（例えば、ダイス係数または他の距離を使用して）、および身体内の共通基準点に対する差などについてのデータを計算することができる。

【0018】

同様に、プロセッサ１０５はまた、疾患の形状、疾患の位置、および疾患の病期のうちの少なくとも１つを含む疾患情報／データも決定することができる。いくつかの実施形態では、疾患の形状、体積、位置、および病期は、同様に、疾患の３Ｄ再構成を構築して測定を行い、そして広がりを推測するための３Ｄ再構成を使用することによって決定される。複雑な３Ｄモデル構造および関連する計算は、コンピュータシステムによって完成される必要があり、頭の中で達成することはできないことが理解される。

【0019】

臓器および疾患の情報を使用して、プロセッサ１０５は、医用画像装置１０１によって捕捉された画像内の疾患情報および臓器情報と、手術ビデオに対応する第２の疾患情報および第２の臓器情報との間の類似性スコアに基づいて、データベース１０７から手術ビデオのうちの１つまたは複数を再呼び出しすることができる。言い換えると、撮像装置１０１によって捕捉された臓器および疾患の情報は、以前に捕捉され、データベース１０７内の特定のビデオとしてタグ付けされた他の臓器および疾患の情報と比較される。例えば、患者の術前スキャン（例えば、腫瘍のＭＲ／ＣＴスキャン）が捕捉され得、次いで腫瘍を除去するための手術のビデオ１１１が捕捉され得る。術前スキャンおよび手術ビデオ１１１の両方は、データベース１０７内に格納され得る。システム１００は、現在の患者の画像（医用画像装置１０１によって捕捉された）を、データベース１０７内に格納された術前画像および３Ｄモデルと比較することができる。次いで、システム１００は、対応する手術ビデオ１１１および関連データが現在の患者に関連する場合、それらを再呼び出しすることができる。次いで、システム１００は、ディスプレイ１０３上に手術ビデオ１１１のうちの１つまたは複数を表示することができる。

【0020】

一実施形態では、プロセッサ１０５は、メモリ（例えば、データベース１０７）に結合され、そのメモリは、機械学習アルゴリズム（例えば、深層教師ありネットワーク）を含むロジック（ファームウェア、ソフトウェアか、またはそれらの２つの組み合わせのいずれかに実装される）を含むことができる。いくつかの実施形態では、機械学習アルゴリズムは、臓器および疾患の画像をセグメント化することができる。セグメント化された臓器および疾患を使用して、臓器および疾患の３Ｄモデルのためのデータを生成することができる（例えば、図２Ａを参照）。いくつかの実施形態では、機械学習アルゴリズムは、複数の深層学習モデルを含むことができ、その場合、複数の深層学習モデル内の各深層学習モデルは、トレーニングされて、異なる種類の疾患を認識する。例えば、１つの深層学習モデルをトレーニングして人体の黒色腫を認識することができ、一方、別の深層学習モデルをトレーニングしてリンパ腫を認識する。疾患は、多くの場合、術前ＭＲまたはＣＴスキャンが捕捉される前に既に診断されているため、これを使用して機械学習アルゴリズムが必要とする処理を削減することができる。一実施形態では、手術ビデオのうちの１つまたは複数を選択することは、メタデータを使用して類似性スコアを計算することを含む。メタデータは、患者の年齢、患者の肥満指数、疾患の種類、患者の性別、または患者の既往症のうちの少なくとも１つを含むことができる。

【0021】

一実施形態では、プロセッサ１０５は、手術ビデオのうちの１つまたは複数を選択する前に、プロセッサ１０５による検討から、手術ビデオデータベース内の１つまたは複数の無関係なビデオを削除することができる。言い換えると、粗いフィルタを適用して、現在の患者にほとんどまたは全く関連を有さないビデオを削除することができる。例えば、ビデオ内の患者が、現在検査および撮像されている第１の患者とは、異なる疾患、異なる性別、異なる体型、異なる疾患位置、および／または異なる年齢のうちの少なくとも１つを有する場合、ビデオは無関係であり得る。主治医の医師またはスタッフによってデータベースに追加されたビデオ内のデータと、メタデータ（例えば、年齢、体重、身長等）との両方を使用することによって、無関係なビデオを削除することができる。

【0022】

図２Ａは、本開示の一実施形態による、臓器および疾患のセグメンテーションを示す。図に示すように、臓器および疾患の画像は、最初の３Ｄモデル２０１にセグメント化される。３Ｄモデル２０１を使用して、臓器の形状、臓器の大きさ、臓器の位置、疾患の大きさ／範囲（例えば、腫瘍の大きさおよび広がり）、疾患の形状、疾患の位置、および／または疾患の病期を決定することができる。これは、データベース内の他の術前画像（３Ｄモデル２０３に変換することができる）と比較され得る。３Ｄモデル２０１に類似する術前画像を使用して、データベースから関連する手術ビデオを識別および引き出すことができる。

【0023】

一実施形態では、全層３Ｄ畳み込みニューラルネットワーク（または他の種類の機械学習モデル、アルゴリズム、ニューラルネットワークなど）を利用して、術前画像、および手術ビデオデータベース（例えば、図１に例示されたデータベース１０７）内の画像またはビデオに関連付けられたそれぞれの特徴ベクトルを生成することができる。１つまたは複数の機械学習モデルが、術前画像のセグメンテーションのために（例えば、臓器および／または疾患情報を決定するために）利用され得る。例えば、第１の機械学習モデルを使用して、異なる臓器を識別する（すなわち、特定の臓器に属するものとして個々の画素にラベルを付けるか、ないし注釈を付ける）ことができる。第２の機械学習モデルが、出力（例えば、注釈付き画像）を受信して、画像を特徴付ける特徴ベクトルを生成することができる（例えば、各臓器が、関連する特徴ベクトルを有してもよく、かつ／または特徴ベクトルが、全体として画像を特徴付けてもよい）。具体的には、多くの医用画像技術は、３次元画像または表現（例えば、ＣＴスキャン、ＭＲＩスキャンなど）を生成するため、全層３Ｄ畳み込みニューラルネットワークは、画像の３次元空間内の相対的なｘ、ｙ、およびｚ位置に関連した画像のそれぞれの画素のための入力、ならびに１つまたは複数のカラー値（例えば、階調および／またはカラー画像の場合）を受信することができ、画像を記述ないし特徴付ける特徴ベクトルを出力する。したがって、術前画像の（例えば、手技が行われ得る患者の）それぞれ、ならびにデータベースからの画像（術前またはその他）は、比較可能な方法で特徴付けられてもよい。いくつかの実施形態では、ビデオからの静止画像が、特徴ベクトルを決定するために利用されてもよいことが理解される。

【0024】

図２Ｂは、本開示の一実施形態による、画像類似性スコアを提供するために、機械学習モデル２０８（例えば、３Ｄ深層教師ありネットワーク）をトレーニングするための例示的なフローチャート２０５を示す。フローチャート２０５は、機械学習モデルをトレーニングして画像類似性スコアを提供する１つの実行可能な実施態様であることと、本開示の実施形態に従って、画像類似性スコアを提供するために適用され得る他のトレーニング方法、および／または機械学習モデルアーキテクチャの分散が存在し得ることと、が理解される。さらに、本開示の教示に従って、ブロックが、群チャート２０５に追加され、またはそこから削除されてもよいことが理解される。

【0025】

ブロック２０６は、複数の手術画像および／またはビデオを含むトレーニングデータを提供することを示す。トレーニングデータは、術前画像、手術ビデオなどを含む手術ビデオデータベースから得られてもよい。トレーニングデータは、注釈を付けることができる（例えば、医師、外科医、開業医、他の個々人、および／または１つもしくは複数の機械学習モデルによって）。具体的には、トレーニングデータ内で、サンプル画像のトリプレットが照合される。画像の各トリプレットには、アンカー画像、ポジティブ画像、およびネガティブ画像がある。これらの画像は、２Ｄ画像、３Ｄ画像、ビデオなどであってもよく、色データ、階調データ、またはその他を含んでもよい。アンカー画像２０７のそれぞれは、類似画像（例えば、ポジティブ画像２０９）および非類似画像（例えば、ネガティブ画像２１１）と照合される。画像のトリプレットセットは、注釈付きまたはラベル付きの術前画像（例えば、医師、外科医、他の個人、またはその他）、ラベルなしの術前画像、および／またはデータベース（例えば、図１に示されている手術ビデオデータベース）からの他の画像、ビデオなどから選択されてもよい。いくつかの実施形態では、類似画像（すなわち、ポジティブ画像およびアンカー画像のペア）は、異なる期間に同じ患者から選択される。同じまたは他の実施形態では、画像は、様々なデータ収集方法（例えば、メタデータを比較して無関係な画像を削除し、次いで関連する画像から適切な類似および非類似画像を選択すること）を介して収集される。

【0026】

画像の各トリプレット（または画像のトリプレットのうちの少なくとも１つを含むトレーニングデータのバッチ）は、ブロック２０８に示すように、機械学習モデルに進む。機械学習モデルは、トレーニングされて画像を特徴空間に埋め込み（例えば、符号化し）、画像間の特徴空間内の距離の二乗（またはその距離の絶対値）は、類似性（または類似性の欠如）に対応する。機械学習モデルは、１つまたは複数の畳み込みニューラルネットワークであってもよく、各ニューラルネットワークは、層状に配置されている複数の相互接続されたノードを含み、深層ニューラルネットワークのアーキテクチャを形成する。次いで、ブロック２１０に示すように、機械学習モデルを通過する画像は、特徴空間内に埋め込まれる。

【0027】

画像のトリプレットセットが特徴空間内に埋め込まれると、ブロック２１０は、ブロック２１２に進み、そこでは、損失値が、トリプレット損失を示す損失関数から決定される。言い換えると、損失関数は、画像のトリプレットセットを内包するように定義される。具体的には、ブロック２１５に示すように、損失関数は、特徴空間内の所定のマージン（すなわち、離隔距離）が類似および非類似の画像ペアの間に実現されるように定義される。損失値がわかると、ブロック２１２は、ブロック２１４に進み、そこでは、最適化アルゴリズム（例えば、勾配降下）を使用して、トリプレット損失を低減するように機械学習モデルの重みを調整ないし更新する。これは、トレーニングが完了するまで、機械学習モデルが、画像のトリプレットセットのそれぞれに対して更新される重みを有し続ける反復プロセスである。

【0028】

ブロック２１５は、機械学習モデルのトレーニング前後の、特徴空間内の画像の典型的なトリプレットセットを示す。トレーニング前では、特徴空間内で、アンカーとポジティブ画像との間の第１の距離２１６は、アンカーとネガティブ画像との間の第２の距離２１７よりも大きい。しかしながら、トレーニング後では、マージンが、ポジティブおよびネガティブのペアとの間に強制され、その結果、第１の距離２１６は、第２の距離２１７よりも小さい。このようにして、画像間の特徴空間内の距離は、類似性（または類似性の欠如）を示す。

【0029】

したがって、トレーニングされた機械学習モデルを使用して、特徴空間内に入力画像（例えば、外科医が、手術ビデオと関連付けられた比較可能な画像を見つけたいと望んでいる術前画像）を埋め込むことができる。続いて、特徴空間内の入力画像と他の画像との間の離隔距離を利用して、関連する手術ビデオを間引くか、ないし検索することができる。例えば、離隔距離の所定の閾値（二乗またはその他）の範囲内のすべての画像を検索することができる。同じまたは他の実施形態では、特徴空間内の位置は、類似性スコアを決定する際に利用される多くの特徴ベクトルのうちの１つであり得る。いくつかの実施形態では、離隔距離（またはその変形）は、それ自体、類似性スコアに対応し得る。

【0030】

図２Ｃは、本開示の一実施形態による、１つまたは複数の術前画像に少なくとも部分的に基づいて、関連する手術ビデオを検索するために、ディスプレイ（例えば、図１に示したディスプレイ１０３）に出力される例示的なグラフィカルユーザインターフェース（ＧＵＩ）２２０を示す。ＧＵＩ２２０は、ユーザ（例えば、外科医、技術者、またはその他）が本開示の実施形態に従って利用して、（関連する）手術ビデオを検索および出力するためにシステム（例えば、図１に示したシステム１００）が利用することができる入力（例えば、制約条件、パラメータ重み付け、術前画像選択など）を提供することができる。ＧＵＩ２２０は、単に例示的なものにすぎず、限定するものと見なされるべきではないことが理解される。逆に、ＧＵＩ２２０は、様々な要因（例えば、ユーザ選択、手技の種類など）に従って構成可能であり得る。したがって、本開示の教示に従って、他のグラフィカルユーザインターフェースの態様を利用することができることが、理解される。

【0031】

ＧＵＩ２２０は、情報を表示し、かつ／またはシステムのユーザとやりとりするための様々なセクションを含む。例示した実施形態では、それらのセクションは、制約条件セクション２２２、パラメータ重み付けセクション２２６、被検索ビデオセクション２３４、ならびにアップロード２３０ボタン、およびサーチ２３２ボタンを含む。制約条件セクション２２２は、データベース（例えば、図１に示したデータベース１０７）内の手術ビデオのフィルタリングのために構成され得る複数の制約条件２２４を含む。言い換えると、ユーザは、無関係であると見なされるビデオをフィルタリングして、潜在的に計算負担を低減すること、検索されたビデオの精度／関連性を高めることを与えることができる。いくつかの実施形態では、複数の制約条件２２４は、手術ビデオデータベース内の手術ビデオに関連付けられ得るメタデータ（例えば、とりわけ、患者の年齢、患者の肥満指数、疾患の種類、患者の性別、患者の既往症）を含むことができる。例えば、ユーザは、複数の制約条件２２４のうちの１つを調整して、性別によって患者をフィルタリング除外することができる（例えば、外科手技を受ける個人が男性である場合、男性のビデオのみがサーチされる）。同じまたは他の実施形態では、制約条件は、範囲によってフィルタリングされ得る。例えば、複数の制約条件２２４のうちの１つは、ユーザが閾値範囲外の手術ビデオをフィルタリング除外するのを可能にすることができる（例えば、システムのユーザが１８歳～２４歳の年齢の個々人の手術ビデオのみが関連するものと見なされるべきであると判断した場合、閾値範囲外のビデオは、フィルタリング除外されることになる）。

【0032】

パラメータ重み付けセクション２２６は、複数のパラメータ２２８を含み、それらのパラメータは、システムのユーザによってランク付け、ないし重み付けされて、関連性を示すことができる。パラメータは、以前考察されたメタデータ（例えば、患者の年齢、患者の肥満指数、疾患の種類、患者の性別、または患者の既往症）、臓器固有のパラメータ（例えば、大きさ、形状、位置）、疾患固有の情報（例えば、疾患の形状、疾患の位置、または疾患の病期のうちの少なくとも１つ）のいずれかを含むことができる。必ずしもすべてではないが、パラメータの組み合わせのうちのいずれか１つが、個別にランク付けされてもよいことが理解される。いくつかの実施形態では、パラメータは、優先度レベルに応じてランク付けされる（例えば、第１および第２のパラメータ２２８は、レベル１にランク付けされて高優先度を示し、第３および第４のパラメータは、レベル２にランク付けされて中優先度を示し、第５のパラメータは、レベル３にランク付けされて低優先度を示す）。いくつかの実施形態では、パラメータは、絶対的尺度に基づいてランク付けされる（例えば、すべてのパラメータのランクの合計全体は、１に等しい）。同じまたは他の実施形態では、システムのユーザによる手動のランク付けに加えて、またはその代わりに、機械学習モデルをトレーニングしてパラメータをランク付けする。例えば、ユーザは、患者（例えば、外科医が、関連する手術ビデオを検索したいと望んでいる術前患者）の関係するメタデータ、臓器情報、および／または疾患情報を有する術前画像を（例えば、ボタン２３０を介して）アップロードすることができる。その後、機械学習モデルは、アップロードされたコンテンツに基づいて、メタデータ制約条件および／またはパラメータ重み付け値を事前選択することができる。次いで、必要に応じて、ユーザは、事前選択された値を調整することができる（例えば、外科医は、経験に基づいて、特定のパラメータまたは制約条件が特に重要であるか、または関連することを見出すことができる）。

【0033】

術前画像がデータベースからアップロードまたは選択され、そしてメタデータ制約条件および／またはパラメータ重み付け値が構成されると、システムのユーザは、ボタン２３２を選択することによって、関連するビデオをサーチすることができる。したがって、関連ビデオ発見セクション２３４は、サーチが実行された後にデータが読み込まれ、類似性スコアに基づく関連する手術ビデオが、再実行され、表示される。手術ビデオは、データベース（例えば、図１に示したデータベース１０７）から検索され得る。術前画像（例えば、外科医が来たるべき手技の調製の一部として関係ビデオを取得したいと望んでいる患者の）に関連付けられた臓器情報または疾患情報のうちの少なくとも１つに基づく。複数の手術ビデオ（例えば、ビデオ２３６～２４６）を表示することができる。複数の手術ビデオのそれぞれは、ユーザによってアップロード／選択されて、それぞれの類似性スコアを計算する術前画像と比較して（例えば、データベース内で）索引付けされ得る。例示した実施形態では、類似性スコアは、０～１の値であり、スコア１は、完全な関係に対応し（すなわち、それ自体と比較された同じ手術ビデオのみが、結果として完全な関係となる）、０は、無関係であることに対応する。いくつかの実施形態では、検索された手術ビデオは、類似性スコアに関するそれらの相対的なランクに従って表示されることになる（例えば、手術ビデオは、最高スコアから最低スコアまでの降順で表示される）。同じまたは他の実施形態では、閾値類似性スコアの値または範囲があってもよく、その場合、その値または範囲外のビデオは、表示されないことになる（例えば、０．６よりも大きい類似性スコアを有する手術ビデオのみが、検索され得る）。

【0034】

図２Ｄは、本開示の一実施形態による、１つまたは複数の術前画像に少なくとも部分的に基づいて手術ビデオを検索するためのフローチャート２６０を示す。フローチャート２６０は、１つの可能な実施態様であり、システム（例えば、図１に示したシステム１００）は、１つまたは複数の術前画像（例えば、患者に関係する他の情報の中でもとりわけ、臓器情報、疾患情報）と、手術ビデオ（例えば、関連する臓器情報、疾患情報、またはその他を有する）との間の類似性スコアを計算して、データベースに索引付けされた関連する手術ビデオを検索するために使用することができる。一実施形態では、フローチャート２６０は、図２Ｃに示したＧＵＩ２２０によって補完されるシステムレベルアーキテクチャに対応する。番号付けされたブロック２６２～２７８は、任意の順番で、さらには並行して行われてもよいことが理解される。さらに、ブロックは、本開示の教示に従って、フローチャート２６０に追加されてもよく、またはそこから削除されてもよい。

【0035】

図２Ｄに示すように、ブロック２６２は、入力情報（例えば、データベースまたはその他からのメタデータ制約条件、パラメータ重み付け値、および術前画像）を受信することを示す。例えば、一実施形態では、術前画像は、第１の臓器情報（例えば、臓器の形状、臓器の大きさ、臓器の位置、またはその他のうちの少なくとも１つ）、および第１の疾患情報（例えば、疾患の形状、疾患の位置、疾患の大きさ、疾患の病期、またはその他のうちの少なくとも１つ）に関連付けられてもよい。他の実施形態では、第１の臓器情報および第１の疾患情報は、当初は既知でなくてもよく、その後、既知になってもよい（例えば、ブロック２６８によって決定されたときに）。

【0036】

ブロック２６６は、複数の手術ビデオを含むデータベースから複数のビデオをフィルタリングすることを示す。言い換えると、入力（例えば、メタデータ制約条件、パラメータ重み付け値など）に基づいて、無関係であると見なされた手術ビデオは、ブロック２６６によってフィルタリングされ得、その結果、データベース２６４内で索引付けされた各ビデオが、ブロック２６８に渡されるとは限らない。

【0037】

ブロック２６８は、手術ビデオをセグメント化および／または分類して、術前画像、手術ビデオなどに関連付けられた特徴ベクトルを生成することを示す。データベース２６４からの手術ビデオは、ブロック２６６から受信した情報に基づいて、ブロック２６８に渡され得る（例えば、閾値範囲外のメタデータを有する手術ビデオは、ブロック２６８には渡されない）。続いて、ブロック２６８は、そこに渡された術前画像、手術ビデオなどのそれぞれを分類し、関連する特徴ベクトルを出力する。例えば、術前画像が注釈付きでない場合、ブロック２６８は、第１の臓器情報を含む特徴ベクトルを決定することができ、その第１の臓器情報は、臓器の形状、臓器の大きさ、または臓器の位置のうちの少なくとも１つを示し得る。

【0038】

個々の臓器は、術前画像からセグメント化され得、大きさ、形状、または他の特性値が決定される。いくつかの実施形態では、機械学習モデル（例えば、全層３Ｄ畳み込みニューラルネットワーク、他のニューラルネットワーク、または他の機械学習モデルアーキテクチャ）を利用して、臓器情報を決定し、対応する画像に関連付けられた特徴ベクトルを出力することができる。さらに、疾患情報（例えば、疾患の形状、疾患の位置、疾患の大きさ、疾患の病期、またはその他）もまた、特徴付けないし分類する機械学習モデルを介して、決定され得る（例えば、セグメンテーションに基づいて）。一実施形態では、術前画像入力に基づいて疾患を分類するようにトレーニングされた機械学習モデルを利用して、疾患情報を提供することができる。同じまたは他の実施形態では、術前画像は、セグメント化／分類された（すなわち、注釈付きの）臓器情報および／または疾患情報を既に有し得る。そのような実施形態では、ブロック２６８は、注釈付き情報に基づいて特徴ベクトルを生成することができる。いくつかの実施形態では、臓器または疾患情報は、比較可能な属性（例えば、臓器および／または疾患の画像の３Ｄ形状、テクスチャ、粗さ、大きさ、位置）をさらに含むことができる。

【0039】

一実施形態では、ブロック２６８は、３Ｄ深層教師ありネットワークを含み、その３Ｄ深層教師ありネットワークは、入力術前画像と、手術ビデオデータベース内の画像またはビデオ（もしくはその一部）との間（例えば、ブロック２６６におけるフィルタリングの前または後）の画像類似性スコア（例えば、図２Ｂと関連して以前説明したような）を生成する。機械学習モデルは、他の画像またはビデオ（手術ビデオデータベースからの）と同じ特徴空間（すなわち、埋め込み）内に入力術前画像を配置し、その結果、画像ペア（例えば、入力術前画像、および手術ビデオデータベースからの画像）間の二乗距離（またはその他）は、画像類似性スコアに対応する。次いで、特徴ベクトルまたはベクトルが、画像ペアの間の二乗距離に割り当てられ得、そのベクトルは、関係する手術画像／ビデオを検索するための多くの異なる特徴ベクトルのうちの１つであり得る。

【0040】

いくつかの実施形態では、ブロック２６８によって生成された特徴ベクトルは、具体的な記述子を有さなくてもよい。逆に、機械学習モデルは、特徴技術を使用して、術前画像のどの特徴が関連しているかを判断してもよい。そのような関連する特徴は、正確に記述され得る記述子を有さなくてもよい。したがって、各特徴ベクトルは、記述可能である要素（例えば、臓器の形状、大きさ、または位置などの臓器情報、疾患の形状、位置、大きさ、または病期などの疾患情報）を含むことができる一方で、他の特徴も含むことができる。したがって、術前画像のそれぞれの各特徴ベクトルは、例えば、機械学習モデルのアーキテクチャに基づいて、数十、数百、数千、またはそれ以上を含むことができる。

【0041】

ブロック２７０は、術前画像のそれぞれに関連付けられた各特徴ベクトル（例えば、臓器の画像からの第１の臓器情報、疾患の画像からの第１の疾患情報、手術ビデオに索引付けされた第２の疾患情報、手術ビデオに索引付けされた第２の臓器情報）を受け取り、そして特徴リストまたは配列を組み立てる。一実施形態では、各特徴ベクトルを連結して、特徴配列を形成する。一実施形態では、特徴配列の各横列は、個々の画像（例えば、術前画像、手術ビデオなど）に対応し得る。同じまたは他の実施形態では、特徴ベクトルの各要素は、特徴配列の縦列が同じ特徴（例えば、臓器の大きさ、形状、位置、臓器の体積、疾患の大きさ、疾患の形状、疾患の位置、疾患の病期、臓器のテクスチャ、疾患のテクスチャ、臓器の粗さ、疾患の粗さ、または特徴技術を介して決定されるそれらなどの他の特徴）に対応するように標準化されてもよい。

【0042】

いくつかの実施形態では、ブロック２７０は、ルートＡを通って、類似性の採点が行われるブロック２７４に進む。具体的には、１つまたは複数の機械学習モデルがトレーニングされて、入力特徴ベクトル（例えば、第１の臓器情報、第１の疾患情報、または手術ビデオもしくはその他からの画像の他の特徴に関係する）を比較する。次いで、機械学習モデルは、入力特徴ベクトルを特徴リスト／配列と比較して、特徴リスト／配列内に各特徴ベクトル（例えば、データベースに索引付けされたそれぞれの手術ビデオに関連付けられている）の類似性スコアを出力する。いくつかの実施形態では、類似性スコアは、機械学習モデルが、画像を比較するときに出力する信頼値であり得る。

【0043】

一実施形態では、類似性スコアは、ベクトル内の特徴要素間の統計的比較に基づいて決定される。例えば、第１の術前画像の特徴ベクトルには、臓器の大きさに関連付けられた第１の要素を含む臓器情報と、疾患の形状に関連付けられた第２の要素を含む疾患情報と、が含まれる。第２の特徴ベクトル（例えば、特徴リスト／配列からの）は、データベースに含まれる第１の手術ビデオに関連付けられている。この第２の特徴ベクトルには、臓器の大きさに関連付けられた第１の要素を含む第２の臓器情報と、疾患の形状に関連付けられた第２の要素を含む第２の疾患情報と、が含まれる。それぞれの要素の値は、正規化され、その後、比較され得る。個々の要素間の差は、（例えば、第１および第２の特徴ベクトルの第１の要素間の差）である。続いて、要素間の差は、二乗して合計されて（例えば、二乗平均値の平方根）、データベース内で索引付けされた第１の手術ビデオの類似性スコアを決定することができる。このプロセスは、特徴リスト／配列内の特徴ベクトルのそれぞれに対して繰り返され得る。

【0044】

いくつかの実施形態では、特徴リスト／配列から指定された特徴ベクトルを利用して、類似性スコアを決定することができる。例えば、一実施形態では、画像またはビデオは、メタデータ（例えば、ブロック２６６の場合に説明されたように）に基づいて、手術ビデオデータベースからフィルタリングされる。続いて、画像類似性スコア（例えば、図２Ｂに関連して説明したように）が、機械学習モデルを介して画像ペアの間で決定される。したがって、そのような実施形態では、類似性スコアは、術前画像（複数可）と、手術ビデオデータベースからの他の画像またはビデオとの間に埋め込んでいる、特徴空間内の二乗距離（またはその他）に対応し得る。一実施形態では、その二乗距離は、正規化されてもよい。

【0045】

同じまたは他の実施形態では、ブロック２７０は、ブロック２７２に進むことができ、そこでは、個々の特徴（すなわち、特徴ベクトルの要素）が、（例えば、入力パラメータ重み付けに従って、および／または機械学習モデルを介して決定されるように）ランク付けされる。したがって、特徴リスト／配列の個々の要素は、正規化され、その後、重み付けされ得る。例えば、一実施形態では、特徴リスト／配列の横列内の各要素は、特定の特徴またはパラメータ（例えば、疾患情報、臓器情報等）に関連付けられている。パラメータは、特徴ベクトルのそれぞれに共通に関連付けられている係数の横列を介して重み付けされ得、その結果、特定の要素／特徴が、同じような方法で重み付けされる（例えば、臓器の大きさが重み付けされている場合、すべての特徴ベクトルにわたって等しく重み付けされることになる）。言い換えると、ブロック２７２がブロック２７４に進むと、本開示の教示に従って、特徴要素の加重平均を利用して、類似性スコアを決定することができる。

【0046】

特徴リスト／配列に含まれる特徴ベクトルのそれぞれの類似性スコアがわかると、ブロック２７４は、ブロック２７６に進み、そのブロックは、データベース内のどの手術ビデオがどの特徴ベクトルに索引付けされるかを判断して、それぞれの手術ビデオをその対応する類似性スコアに関連付ける。例えば、ブロック２７６は、類似性スコア０．９８を有する索引付きビデオ１、類似性スコア０．４４を有する索引付きビデオ２などを例示する。

【0047】

ブロック２７６は、ブロック２７８に進み、関連する手術ビデオを検索した。特に、データベース内の手術ビデオの関連性は、閾値または範囲に関係するそれらの類似性スコアに基づいて、決定され、そして検索され得る。その実施形態では、関連性の閾値範囲は、０．７よりも大きい任意の値に対応する。したがって、例示した実施形態では、ブロック２７８は、０．７を超える類似性スコアを有するデータベースから手術ビデオのリスト（例えば、索引付きビデオ１、３、および４）を選択（および表示）することになる。

【0048】

図３は、本開示の一実施形態による、手術ビデオを検索するための方法を示す。番号付けされたブロック３０１～３０９は、任意の順番で、さらには並行して行われてもよいことが理解される。さらに、ブロックは、本開示の教示に従って、方法３００に追加されてもよく、またはそこから削除されてもよい。

【0049】

ブロック３０１は、プロセッサを使って、人体の臓器および疾患の１つまたは複数の画像を含むデータを受信することを示す。いくつかの実施形態では、臓器および疾患の１つまたは複数の画像は、コンピュータ断層撮影（ＣＴ）スキャン装置、磁気共鳴（ＭＲ）画像装置、またはＸ線装置のうちの１つなどの医用画像装置を使って捕捉された。画像は、方法３００を開始する前に、医用画像装置によって捕捉され（そしてデータベース内に格納され）得ることが理解される。言い換えると、方法３００を実行する装置は、医用画像装置と直接通信しなくてもよい。

【0050】

ブロック３０３は、プロセッサを使って、画像データから臓器の形状、臓器の大きさ、または臓器の位置のうちの少なくとも１つを含む臓器情報を決定することを示す。いくつかの実施形態では、プロセッサは、機械学習アルゴリズムを含むロジックを有し、臓器情報を決定することは、機械学習アルゴリズムを使用して臓器の画像をセグメント化することを含む。いくつかの実施形態では、機械学習アルゴリズムは、畳み込みニューラルネットワーク（ＣＮＮ）および／または深層教師ありネットワークを含む。一実施形態では、機械学習アルゴリズムは、入力層、１つまたは複数の隠れ層、および出力層を含むことができる。したがって、ここで提示された方法の実施形態は、機械知能を使用してヒトのデータを分析する。

【0051】

ブロック３０５は、プロセッサを使って、疾患の形状、疾患の位置、または疾患の病期のうちの少なくとも１つを含む疾患情報を決定することを示す。疾患情報を決定することは、臓器情報の決定方法と同様の方法で達成することができる。機械学習アルゴリズムは、複数の深層学習モデルを含むことができ、その場合、複数の深層学習モデル内の各深層学習モデルをトレーニングして、異なる種類の疾患を認識することが理解される。例えば、１つの深層学習モデルをトレーニングして、周囲の組織から黒色腫を認識することができ、別の深層学習モデルをトレーニングして、周囲の組織から脳腫瘍等を認識することができる。疾患の種類をアルゴリズムに供給することは、術前スキャンにおける疾患および健康な組織を正確にセグメント化する（例えば、不健康なものから健康なものを解析する）のに有効であり得、その理由は、特定の疾患の初期診断は、通常、手動で実行されるからであり、また、その初期診断が、機械学習アルゴリズムの計算から計算の複雑な層（疾患の種類の判別）を削除するからである。

【0052】

ブロック３０７は、プロセッサを使って、画像内の疾患情報および第１の臓器情報と、手術ビデオに対応する最初の第２の疾患情報および第２の臓器情報との間の類似性スコア（例えば、体積の差、表面積の差、本明細書に列挙された変数のうちのいくつかの二乗平均値の平方根、任意のユニットを使用して重み付けされたスコアなど）に基づいて、データベースから手術ビデオのうちの１つまたは複数を選択することを示す。いくつかの実施形態では、データベース内の手術ビデオのそれぞれは、データベースに格納された少なくとも１つの関連する術前画像を有し、第２の疾患情報および第２の臓器情報は、少なくとも１つの関連する術前画像から導出されることが理解される。例えば、患者が手術を受ける前に、患者は、ＭＲまたはＣＴスキャンを受けて疾患または損傷の位置を示すことができ、次いで、患者は、ビデオフォーマットで記録される手術を受けることができる。術前ＭＲ／ＣＴスキャンと、手術のビデオ記録との両方は、データベースにアップロードされ、互いに索引付けされ得る。したがって、ここで提示された機械学習アルゴリズムは、術前スキャンをサーチして類似の手術ビデオを見つけることができる。この理由は、臓器および疾患の類似性が、必ずしもビデオ内で視認できるとは限らない場合があるためである。例えば、手術は、関節鏡視下で行われる場合があるが、ビデオカメラでは、疾患の全範囲を見ることができない場合がある。

【0053】

いくつかの実施形態では、手術ビデオのうちの１つまたは複数を選択することは、メタデータを使用して類似性スコアを計算することを含む。メタデータは、患者の年齢、患者の肥満指数、疾患の種類、患者の性別、または患者の既往症のうちの少なくとも１つを含むことができる。このデータは、ビデオおよび術前スキャンがデータベースにアップロードされたときに、医師によって追加されてもよい。いくつかの実施形態では、プロセッサが手術ビデオのうちの１つまたは複数を選択する前に、メタデータを使用して、プロセッサが検討した手術ビデオ内の１つまたは複数の無関係なビデオを削除することができる。言い換えると、プロセッサは、再呼び出しされるビデオのプールから明らかに無関係なビデオを分離除外することができる。例えば、データベース内の１つのビデオが、「扁桃摘出術」としてタグ付けされ、医師が、黒色腫を切除することに関連する手術ビデオを探している場合、扁桃摘出術は、考慮されないことになる。さらに一般的に言うと、ビデオ内の患者が、手術を必要とする最初の患者とは、異なる疾患、異なる性別、異なる体型、異なる疾患位置、または異なる年齢を有している場合、プロセッサは、１つまたは複数のビデオを「無関係である」と見なすことができる。

【0054】

無関係な状態の患者のビデオを考慮から除外する方法と同様に、身体の他の部分における疾患に関するビデオもまた、フィルタリング除外することができる。一実施形態では、類似性スコアは、関心領域内の臓器情報および疾患情報を使用して計算され、この場合、関心領域は、人体内の体積である。言い換えると、目の前の患者が患者の腹部に疾患を有する場合、脳手術のビデオは、この実施形態では関心領域が患者の腹部であるという理由から、除外され得る。これらの粗いフィルタリング技術を使用して（例えば、メタデータおよび関心領域を使用してデータベース内の最も関連性の高いビデオのみに焦点を当てる）、処理時間を劇的に低減することができ、その理由は、機械学習アルゴリズムが、データベース内の３Ｄ画像データのわずかな割合のみを処理するだけでよいためである。

【0055】

ブロック３０９は、ディスプレイ上に手術ビデオのうちの１つまたは複数を表示することを示す。これには、データベースから再呼び出しされた手術ビデオをディスプレイに送信することが含まれ得る。ユーザは、検索したいと望むビデオの数を選択することができ、このようにして、システムは、最も関連性のあるビデオのみを返すことができる。検索されたビデオは、サムネイルとして表示することができる。サムネイルの下には、ビデオのコンテンツの短い説明があり得る（例えば、ビデオの患者の疾患の種類、ビデオの患者の年齢、ビデオの患者の性別、ビデオの患者の肥満指数、疾患の位置など）。この説明はまた、メタデータとして使用されて、ビデオをソートおよび比較することができる。

【0056】

上記で説明したプロセスは、コンピュータソフトウェアおよびハードウェアの観点から説明されている。説明された技法は、機械によって実行されると、説明された動作を機械に実行させる、有形のまたは非一時的な機械（例えば、コンピュータ）可読記憶媒体内で具現化される機械実行可能命令を構成し得る。さらに、プロセスは、特定用途向け集積回路（「ＡＳＩＣ」：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などのハードウェア内に具現化され得る。

【0057】

有形の機械可読記憶媒体には、機械またはコントローラ（例えば、コンピュータ、ネットワークデバイス、携帯情報端末、製造ツール、１つ以上のプロセッサのセットを有する任意のデバイス、ファームウェア／ソフトウェアによって構成された汎用プロセッサ、プログラマブルゲートアレイ、または特定用途向け集積回路など）によってアクセス可能な非一時的形態の情報を提供する（例えば、格納する）任意の機構も含む。例えば、機械可読記憶媒体は、記録可能／記録不可能な媒体（例えば、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光学記憶媒体、フラッシュメモリデバイスなど）を含む。

【0058】

要約中に記載されているものを含む、本発明の図示された実施形態の上記の記載は、網羅的であること、または本発明を開示された正確な形態に限定することを意図していない。本発明の特定の実施形態、およびそのための実施例は、例示的目的のために本明細書に記載されているが、当業者が認識するように、本発明の範囲内で様々な修正が可能である。

【0059】

これらの修正は、上記の詳細な説明に照らして、本発明に対して行うことができる。以下の特許請求の範囲で使用される用語は、本発明を明細書に開示された特定の実施形態に限定するものと解釈されるべきではない。むしろ、本発明の範囲は、以下の特許請求の範囲によって完全に決定されるべきであり、それらは、特許請求項解釈の確立された原則に従って解釈されるべきである。

【図1】

【図2A】

【図2B】

【図2C】

【図2D】

【図3】