知財求人 - 知財ポータルサイト「IP Force」
特表2022-548237ＶＡＴＳ及び低侵襲手術での術中仮想アノテーションのためのインタラクティブ内視鏡検査
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-11-17
(54)【発明の名称】ＶＡＴＳ及び低侵襲手術での術中仮想アノテーションのためのインタラクティブ内視鏡検査
(51)【国際特許分類】
A61B 34/20 20160101AFI20221110BHJP
A61B 1/045 20060101ALI20221110BHJP
G06T 7/00 20170101ALI20221110BHJP
【ＦＩ】
A61B34/20
A61B1/045 618
G06T7/00 350B
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022516050
(86)(22)【出願日】2020-09-11
(85)【翻訳文提出日】2022-03-25
(86)【国際出願番号】 EP2020075422
(87)【国際公開番号】W WO2021048326
(87)【国際公開日】2021-03-18
(31)【優先権主張番号】62/899,365
(32)【優先日】2019-09-12
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】590000248
【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ
【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．
【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ
(74)【代理人】
【識別番号】110001690
【氏名又は名称】特許業務法人Ｍ＆Ｓパートナーズ
(72)【発明者】
【氏名】ティエンファラパ ポール
(72)【発明者】
【氏名】バイドロン トーレ ミシェル
(72)【発明者】
【氏名】チェン アルヴィン
(72)【発明者】
【氏名】ヴァグダルギ プラサド
(72)【発明者】
【氏名】マクナマラ ウィリアム
【テーマコード（参考）】
4C161
5L096
【Ｆターム（参考）】
4C161HH56
4C161WW02
4C161WW04
4C161WW13
4C161WW14
4C161WW18
5L096AA02
5L096AA06
5L096BA06
5L096BA13
5L096CA21
5L096DA01
5L096EA15
5L096EA16
5L096FA06
5L096FA67
5L096FA69
5L096GA34
5L096HA05
5L096KA04
5L096MA07
(57)【要約】
インターベンション画像のライブアノテーションのためのコントローラ５２２は、ソフトウェア命令を保存するメモリ５２２２０と、ソフトウェア命令を実行するプロセッサ５２２１０とを含む。ソフトウェア命令は、プロセッサ５２２１０によって実行されると、コントローラ５２２に、術中インターベンション中にインターベンション画像を受信すること（Ｓ２１０）と、検出可能な特徴について、インターベンション画像を自動的に解析すること（Ｓ２２０）とを含むプロセスを実施させる。プロセッサがソフトウェア命令を実行すると実行されるプロセスはまた、検出可能な特徴を検出すること（Ｓ２３０）と、検出可能な特徴について、インターベンション画像にアノテーションを追加することを決定すること（Ｓ２４０）とを含む。プロセスはさらに、アノテーションのための場所を、インターベンション画像内の特定された場所として特定すること（Ｓ２５０）と、検出可能な特徴に対応するように、特定された場所において、インターベンション画像にアノテーションを追加すること（Ｓ２６０）とを含む。特定された場所において、インターベンション画像に重ねて表示されるアノテーションを含む、インターベンション画像及びアノテーションに基づくビデオが、術中インターベンション中にビデオ出力として出力される（Ｓ２７０）。
【特許請求の範囲】
【請求項1】
インターベンション画像のライブアノテーションのためのコントローラであって、ソフトウェア命令を保存するメモリと、
前記ソフトウェア命令を実行するプロセッサと、
を含み、
前記プロセッサによって実行されると、前記ソフトウェア命令は、前記コントローラに、
術中インターベンション中にインターベンション画像を受信すること、
検出可能な特徴について、前記インターベンション画像を自動的に解析すること、
検出可能な特徴を検出すること、
前記検出可能な特徴について、前記インターベンション画像にアノテーションを追加することを決定すること、
前記アノテーションのための場所を、前記インターベンション画像内の特定された場所として特定すること、
前記検出可能な特徴に対応するように、前記特定された場所において、前記インターベンション画像に前記アノテーションを追加すること、及び、
前記特定された場所において、前記インターベンション画像に重ねて表示される前記アノテーションを含む、前記インターベンション画像及び前記アノテーションに基づくビデオを、ビデオ出力として、前記術中インターベンション中に出力すること、
を含む、プロセスを実施させる、コントローラ。
【請求項2】
前記プロセッサが前記ソフトウェア命令を実行するときに実施される前記プロセスは、解剖学的構造を、前記検出可能な特徴として検出すること、及び、
前記解剖学的構造の境界を描出すること、
をさらに含む、請求項１に記載のコントローラ。
【請求項3】
前記プロセッサが前記ソフトウェア命令を実行するときに実施される前記プロセスは、インターベンションツールを、前記検出可能な特徴として検出すること、及び、
前記インターベンションツールの境界を描出すること、
をさらに含む、請求項１に記載のコントローラ。
【請求項4】
前記プロセッサが前記ソフトウェア命令を実行するときに実施される前記プロセスは、前記コントローラの外部のソースから、前記検出可能な特徴についての所定の情報を特定すること、及び、
前記ソースからの前記所定の情報を、前記インターベンション画像に、前記アノテーションとして追加すること、
をさらに含み、
前記アノテーションは、前記所定の情報を用いて前記検出可能な特徴に仮想的にラベル付けするための仮想ラベルを含む、
請求項１に記載のコントローラ。
【請求項5】
前記プロセッサが前記ソフトウェア命令を実行するときに実施される前記プロセスは、解剖学的構造を、前記検出可能な特徴として検出すること、
前記インターベンション画像に追加された前記アノテーションとして、仮想ラベルを用いて前記解剖学的構造にラベル付けすること、
前記ビデオ出力を生成する内視鏡に対する前記解剖学的構造の移動を追跡すること、
前記ビデオ出力を生成する前記内視鏡に対する前記解剖学的構造の移動を検出すること、及び、
前記内視鏡に対する前記解剖学的構造の移動の検出に基づいて、前記仮想ラベルの位置及び向きを自動的に調整すること、
をさらに含む、請求項１に記載のコントローラ。
【請求項6】
前記プロセッサが前記ソフトウェア命令を実行するときに実施される前記プロセスは、第１のアルゴリズムを使用して、前記インターベンション画像の低レベルの特徴を検出及び追跡すること、
前記低レベルの特徴を、抽出した低レベルの特徴として抽出すること、及び、
第２のアルゴリズムを使用して、前記抽出した低レベルの特徴に基づいて、解剖学的構造を、前記インターベンション画像内の検出可能な特徴として認識及び分類すること、
をさらに含む、請求項１に記載のコントローラ。
【請求項7】
前記プロセッサが前記ソフトウェア命令を実行するときに実施される前記プロセスは、第１の命令に応答して、検出可能な特徴について、前記インターベンション画像を自動的に解析すること、
第２の命令に応答して、前記アノテーションのための前記場所を自動的に特定すること、及び、
第３の命令に応答して、前記特定された場所において、前記インターベンション画像に前記アノテーションを自動的に追加すること、
をさらに含む、請求項１に記載のコントローラ。
【請求項8】
前記プロセッサが前記ソフトウェア命令を実行するときに実施される前記プロセスは、前記アノテーションを追加する命令に応答して、前記命令に基づいて、前記特定された場所において、前記インターベンション画像に前記アノテーションを自動的に追加すること、
をさらに含む、請求項１に記載のコントローラ。
【請求項9】
前記プロセッサが前記ソフトウェア命令を実行するときに実施される前記プロセスは、前記場所を特定する命令に応答して、前記アノテーションのための場所を自動的に特定すること、
をさらに含む、請求項１に記載のコントローラ。
【請求項10】
前記プロセッサが前記ソフトウェア命令を実行するときに実施される前記プロセスは、構造を検出する命令に応答して、仮想ラベル付けのための前記構造を自動的に検出すること、
をさらに含む、請求項１に記載のコントローラ。
【請求項11】
前記プロセッサが前記ソフトウェア命令を実行するときに実施される前記プロセスは、前記インターベンション画像を生成する内視鏡に対する解剖学的構造の移動を検出すること、及び、
前記内視鏡に対する前記解剖学的構造の前記移動の検出に基づいて、前記アノテーションの位置及び向きを自動的に調整すること、
をさらに含む、請求項１に記載のコントローラ。
【請求項12】
前記プロセッサが前記ソフトウェア命令を実行するときに実施される前記プロセスは、前記術中インターベンションからの術中情報を解析すること、
前記術中情報に基づいて、前記アノテーションの内容を導出すること、及び、
前記内容を、前記インターベンション画像に、前記アノテーションとして追加すること、
をさらに含み、
前記アノテーションは、仮想ラベルを含む、請求項１に記載のコントローラ。
【請求項13】
前記プロセッサが前記ソフトウェア命令を実行するときに実施される前記プロセスは、解剖学的構造の術前セグメント化モデルを取得すること、
前記アノテーションとして前記術前セグメント化モデルを用いて前記解剖学的構造にアノテーションを付ける命令を受信すること、及び、
前記インターベンション画像の前記解剖学的構造を、前記解剖学的構造の前記術前セグメント化モデルに仮想的に置き換えること、
をさらに含む、請求項１に記載のコントローラ。
【請求項14】
前記プロセッサが前記ソフトウェア命令を実行するときに実施される前記プロセスは、前記解剖学的構造の前記術前セグメント化モデルを前記解剖学的構造に位置合わせすることをさらに含み、前記命令は、前記術前セグメント化モデルに対応するアイコンの選択を含む、
請求項１３に記載のコントローラ。
【請求項15】
前記プロセッサが前記ソフトウェア命令を実行するときに実施される前記プロセスは、前記術中インターベンション中にトリガを検出すること、及び、
前記トリガの検出に基づいて、前記アノテーションを変化させること、
をさらに含む、請求項１に記載のコントローラ。
【請求項16】
インターベンション画像のライブアノテーションのためのシステムであって、前記インターベンション画像を表示するディスプレイと、
ソフトウェア命令を保存するメモリを含むコントローラと、
前記ソフトウェア命令を実行するプロセッサと、
を含み、
前記プロセッサによって実行されると、前記ソフトウェア命令は、前記コントローラに、
術中インターベンション中にインターベンション画像を受信すること、
検出可能な特徴について、前記インターベンション画像を自動的に解析すること、
検出可能な特徴を検出すること、
前記検出可能な特徴について、前記インターベンション画像にアノテーションを追加することを決定すること、
前記アノテーションのための場所を、前記インターベンション画像内の特定された場所として特定すること、
前記検出可能な特徴に対応するように、前記特定された位置において、前記インターベンション画像に前記アノテーションを追加すること、及び、
前記特定された場所において、前記インターベンション画像に重ねて表示される前記アノテーションを含む、前記インターベンション画像及び前記アノテーションに基づくビデオを、ビデオ出力として、前記術中インターベンション中に前記ディスプレイに出力すること、
を含むプロセスを実施させる、システム。
【請求項17】
前記コントローラの前記プロセッサが前記ソフトウェア命令を実行するときに実施される前記プロセスは、前記インターベンション画像及び前記アノテーションに基づく前記ビデオ出力に機械学習を適用すること、及び、
前記機械学習に基づいて、前記アノテーションの最適化された配置を特定すること、
をさらに含み、
前記検出可能な特徴は、ライブアノテーションの少なくとも１つの以前のインスタンス化からの結果に前記機械学習を適用することに基づいて検出され、前記特定された場所は、ライブアノテーションの前記少なくとも１つの以前のインスタンス化からの結果に前記機械学習を適用することに基づいて特定される、
請求項１６に記載のシステム。
【請求項18】
コンピュータプログラムを保存する有形の非一時的コンピュータ可読記憶媒体であって、前記コンピュータプログラムは、プロセッサによって実行されると、前記有形の非一時的コンピュータ可読記憶媒体を含むシステムに、インターベンション画像のライブアノテーションのためのプロセスを実行させ、前記プロセッサが前記コンピュータプログラムを実行したときに実施される前記プロセスは、肺腫瘍切除のためのビデオ支援胸腔鏡下手術中に、胸部内の視野としてインターベンション画像を生成する胸腔鏡から、前記インターベンション画像を受信することと、
メモリからのソフトウェア命令を実行するプロセッサによって、検出可能な特徴について、前記インターベンション画像を自動的に解析することと、
検出可能な特徴を検出することと、
前記検出可能な特徴について、前記インターベンション画像にアノテーションを追加することを決定することと、
前記アノテーションのための場所を、前記インターベンション画像内の特定された場所として特定することと、
前記検出可能な特徴に対応するように、前記特定された場所において、前記インターベンション画像に前記アノテーションを追加することと、
前記特定された場所において、前記インターベンション画像に重ねて表示される前記アノテーションを含む、前記インターベンション画像及び前記アノテーションに基づくビデオを、ビデオ出力として、前記支援胸腔鏡下手術中に出力することと、
を含む、有形の非一時的コンピュータ可読記憶媒体。
【請求項19】
前記プロセッサが前記コンピュータプログラムを実行したときに実施される前記プロセスは、前記インターベンション画像及び前記アノテーションに基づく前記ビデオ出力に機械学習を適用することと、
前記機械学習に基づいて、前記アノテーションの最適化された配置を特定することと、
をさらに含み、
前記検出可能な特徴は、ライブアノテーションの少なくとも１つの以前のインスタンス化からの結果に前記機械学習を適用することに基づいて検出され、前記特定された場所は、ライブアノテーションの前記少なくとも１つの以前のインスタンス化からの結果に前記機械学習を適用することに基づいて特定される、
請求項１８に記載の有形の非一時的コンピュータ可読記憶媒体。
【請求項20】
前記プロセッサが前記コンピュータプログラムを実行したときに実施される前記プロセスは、解剖学的構造を、前記検出可能な特徴として検出することと、
前記インターベンション画像に追加された前記アノテーションとして、仮想ラベルを用いて前記解剖学的構造にラベル付けすることと、
前記ビデオ出力を生成する内視鏡に対する前記解剖学的構造の移動を追跡することと、
前記ビデオ出力を生成する前記内視鏡に対する前記解剖学的構造の移動を検出することと、
前記内視鏡に対する前記解剖学的構造の移動の検出に基づいて、前記仮想ラベルの位置及び向きを自動的に調整することと、
をさらに含む、請求項１８に記載の有形の非一時的コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
[0001] インターベンション医療処置は、患者の身体への侵入を伴う侵襲的な処置である。外科手術は、インターベンション医療処置の一例であり、早期の肺がん腫瘍の治療に適している。また、内視鏡検査は、肺がん手術の様々な段階で使用されることが多くなっている。肺がんの手術では、腫瘍の切除（除去）の基本的な前段階は、「外科的診査」段階であり、外科医などの医療従事者が肺組織を検査して、解剖学的知識とコンピュータ断層撮影（ＣＴ）などの術前イメージングを、肺組織の生内視鏡（例えば、胸腔鏡）ビデオに頭の中で関連付ける。外科的診査段階は、臨床医が、切除段階で肺がん腫瘍全体を確実に切除できるようにする一方で、肺機能の低下につながる、健康な肺組織の切除を回避するのに役立つ。胸腔鏡を用いる外科的診査では、通常、ＣＴなどの術前イメージングからは得られない肺組織の精通を提供する。これは、術前イメージングでは、主に肺組織の減衰の違いを示して、解剖学的ランドマークを強調するためである。外科的診査では、臨床医は、器具を用いて肺組織を操作しながら胸腔鏡を通して観察して、解剖学的ランドマークを特定して切除を容易にする。具体的には、外科的診査中に、臨床医は、肺がん腫瘍の近くで血管や気道などの既知の解剖学的ランドマークを特定して、解剖学的構造を適切に方向付けして肺がん腫瘍の位置を特定し、切除時に血管や気道を損傷しないようにすることを試みる。
【背景技術】
【0002】
[0002] 肺がん手術の最も侵襲的な形態は、観血的手術であり、肺の大部分を暴露するために胸部が開かれる。観血的手術では、メス、電気メス、及び縫合糸などの手術ツールが、胸部の大きな開口部に挿入され、肺がん腫瘍の切除に使用される。これまで、肺がん腫瘍は、触れて感知できるほどに大きかったため、臨床医は、目に見えなかった肺がん腫瘍を見つけることができた。観血的手術技術により、触ることで腫瘍を感知する触診のための物理的なアクセスが可能になる。
【発明の概要】
【発明が解決しようとする課題】
【0003】
[0003] 近年、埋め込み肺がん腫瘍の検出と、肺がん腫瘍を外科的に切除する技術との両方が改善されている。例えば、肺がんスクリーニングプログラムでは、今では、小さくて識別が困難な早期腫瘍少結節を特定する傾向がある。さらに、観血的手術の代わりに、ビデオ支援胸腔鏡下手術（ＶＡＴＳ）と呼ばれる、肺がん腫瘍を切除するための低侵襲技術が登場している。
【0004】
[0004] 健康な肺組織を温存しながら、安全なマージンとともに肺がん腫瘍の位置を特定して切除することは、依然としてＶＡＴＳの成功の重要な側面である。ＶＡＴＳでは、小さなポート（すなわち、小さな穴や切開部）を介して小さなカメラを胸腔内に挿入し、同じポート又は他の小さなポートに手術器具を挿入する。外科的切除全体が、カメラビューを使用して行われる。図１は、肺切除のための従来のＶＡＴＳの実施態様を例示している。図１では、患者Ｐの胸郭を介して、器具のうちの１つとして、胸腔鏡が挿入される。胸腔鏡を介すると、そうでなければ塞がれてしまうビジョンが復元できる。図１では、器具＃１と器具＃２は、切除を行うために、２つの小さな切開部を介して患者Ｐに別々に挿入されている。近年、ＶＡＴＳと同様の低侵襲アプローチとしてロボット手術が登場しており、ＶＡＴＳと競合している。
【0005】
[0005] しかしながら、肺がん手術では、依然として３つの大きな課題がある。第一に、手術よりかなり前に、肺がん腫瘍の場所が、肺が完全に膨張した状態で、術前ＣＴスキャンに基づいて決定される。そのため、以降の手術中に、肺が収縮すると、肺の３次元（３Ｄ）の向きと肺がん腫瘍の場所とが、計画立案に使用された術前ＣＴスキャンの画像と一致しなくなる。第二に、肺は、肺がん腫瘍及び栄養補給気道又は血管が除去される前に慎重に切断し、対処する必要がある多くの血管と気道を有して複雑である。第三に、小さくて触知できない肺がん腫瘍は、特に、ＶＡＴＳ又はロボット手術を使用して特定及び見つけることが困難であるため、肺がん腫瘍の組織を残す可能性を防ぐために、処置中に必要以上の健康な肺組織を除去する可能性がある。
【0006】
[0006] これらの課題を克服するために、手術ワークフローを改善するやり方が検討されて、肺がん腫瘍の切除をより適切に誘導できるようになった。ＶＡＴＳにおける外科的診査は、時間がかかり、不確実で定量化ができないため、手順の多くの面を再現することが困難になっている。さらに、本明細書に説明する、ＶＡＴＳ及び低侵襲手術での術中仮想アノテーションのためのインタラクティブ内視鏡検査は、これらの課題に対処する。
【課題を解決するための手段】
【0007】
[0007] 本開示の態様によれば、インターベンション画像のライブアノテーションのためのコントローラは、ソフトウェア命令を保存するメモリと、ソフトウェア命令を実行するプロセッサとを含む。ソフトウェア命令は、プロセッサによって実行されると、コントローラに、術中インターベンション中にインターベンション画像を受信することと、検出可能な特徴について、インターベンション画像を自動的に解析することとを含むプロセスを実施させる。プロセッサがソフトウェア命令を実行すると実行されるプロセスはまた、検出可能な特徴を検出することと、検出可能な特徴について、インターベンション画像にアノテーションを追加することを決定することとを含む。プロセッサがソフトウェア命令を実行すると実行されるプロセスはさらに、アノテーションのための場所を、インターベンション画像内の特定された場所として特定することと、検出可能な特徴に対応するように、特定された場所において、インターベンション画像にアノテーションを追加することとを含む。特定された場所において、インターベンション画像に重ねて表示されるアノテーションを含む、インターベンション画像及びアノテーションに基づくビデオが、術中インターベンション中にビデオ出力として出力される。
【0008】
[0008] 本開示の別の態様によれば、インターベンション画像のライブアノテーションのためのシステムは、電子ディスプレイと、コントローラとを含む。電子ディスプレイにインターベンション画像が表示される。コントローラは、ソフトウェア命令を保存するメモリと、ソフトウェア命令を実行するプロセッサとを含む。ソフトウェア命令は、プロセッサによって実行されると、コントローラに、インターベンション画像を受信することと、検出可能な特徴について、インターベンション画像を自動的に解析することとを含むプロセスを実施させる。プロセッサがソフトウェア命令を実行すると実行されるプロセスはまた、検出可能な特徴を検出することと、検出可能な特徴について、インターベンション画像にアノテーションを追加することを決定することとを含む。プロセッサがソフトウェア命令を実行すると実行されるプロセスはさらに、アノテーションのための場所を、インターベンション画像内の特定された場所として特定することと、検出可能な特徴に対応するように、特定された場所において、インターベンション画像にアノテーションを追加することとを含む。特定された場所において、インターベンション画像に重ねて表示されるアノテーションを含む、インターベンション画像及びアノテーションに基づくビデオが、ビデオ出力として、術中インターベンション中に電子ディスプレイに出力される。
【0009】
[0009] 本開示のさらに別の態様によれば、インターベンション画像のライブアノテーションのための方法は、肺腫瘍切除のためのビデオ支援胸腔鏡下手術中に、胸部内の視野としてインターベンション画像を生成する胸腔鏡から、インターベンション画像を受信することを含む。この方法はさらに、メモリからのソフトウェア命令を実行するプロセッサによって、検出可能な特徴について、インターベンション画像を自動的に解析することを含む。この方法はさらに、検出可能な特徴を検出することと、検出可能な特徴について、インターベンション画像にアノテーションを追加することを決定することとを含む。この方法はさらに、アノテーションのための場所を、インターベンション画像内の特定された場所として特定することと、検出可能な特徴に対応するように、特定された場所において、インターベンション画像にアノテーションを追加することとを含む。特定された場所において、インターベンション画像に重ねて表示されるアノテーションを含む、インターベンション画像及びアノテーションに基づくビデオが、ビデオ出力として、支援胸腔鏡下手術中に出力される。
【図面の簡単な説明】
【0010】
[0010] 実施形態の例は、以下の詳細な説明を、添付の図面とともに読むと、最もよく理解される。様々な特徴が、必ずしも縮尺どおりに描画されているわけではないことを強調する。実際には、考察を明確にするために、寸法は任意に増減されている。適用可能及び実用的である場合は、同様の参照符号は、同様の要素を指す。
【0011】
【発明を実施するための形態】
【0012】
[0023] 以下の詳細な説明において、限定ではなく説明のために、特定の詳細を開示する代表的な実施形態を記載して、本教示による実施形態の完全な理解を提供する。代表的な実施形態の説明が不明瞭にならないように、既知のシステム、デバイス、材料、操作方法、及び製造方法の説明は省略され得る。しかしながら、当業者の範囲内にあるシステム、デバイス、材料、及び方法は、本教示の範囲内であり、また、代表的な実施形態に従って使用され得る。本明細書で使用される用語は、特定の実施形態を説明することのみを目的としたものであり、限定であることを意図したものではないことを理解されたい。定義された用語は、本教示の技術分野で一般的に理解され、受け入れられている、定義された用語の技術的及び科学的な意味を加えるものである。
【0013】
[0024] 本明細書では、「第１の」、「第２の」、「第３の」などの用語を使用して、様々な要素又は構成要素を説明しているが、これらの要素又は構成要素は、これらの用語によって限定されないことを理解されたい。これらの用語は、１つの要素又は構成要素を別の要素又は構成要素と区別するためにのみ使用される。したがって、以下で考察される第１の要素又は構成要素は、発明概念の教示から逸脱することなく、第２の要素又は構成要素と呼ばれてもよい。
【0014】
[0025] 本明細書で使用される用語は、特定の実施形態を説明することのみを目的としたものであり、限定であることを意図したものではない。本明細書及び添付の特許請求の範囲において使用される場合、単数形は、コンテキストが明確に指示していない限り、単数形及び複数形の両方を含むことを目的としている。さらに、本明細書で使用される場合、用語「有する」、「含む」、及び／又は同様の用語は、規定された特徴、要素、及び／又は構成要素の存在を指定するが、１つ以上の他の特徴、要素、構成要素、及び／又はそのグループの存在又は追加を除外するのではない。本明細書で使用される場合、「及び／又は」という用語には、関連するリスト項目のうちの１つ以上のうちの任意のもの及びすべての組み合わせが含まれる。
【0015】
[0026] 特に明記されていない限り、要素又は構成要素が、別の要素又は構成要素に「接続される」、「結合される」、又は「隣接する」と言われた場合、その要素又は構成要素は、他の要素又は構成要素に直接接続又は結合されていても、又は、介在する要素又は構成要素が存在していてもよいことを理解されたい。つまり、これらの及び類似した用語は、２つの要素又は構成要素を接続するために、１つ以上の中間要素又は構成要素を使用できる場合を包含する。しかしながら、要素又は構成要素が別の要素又は構成要素に「直接接続」されていると言われた場合、これには、２つの要素又は構成要素が、中間若しくは介在要素又は構成要素なしで、相互に接続される場合のみが包含される。
【0016】
[0027] 本開示は、その様々な態様、実施形態、及び／又は特定の特徴、サブ構成要素のうち１つ以上を通じて、以下に具体的に示す利点のうちの１つ以上をもたらすことを目的としている。限定ではなく説明のために、特定の詳細を開示する実施形態の例を記載して、本教示による実施形態の完全な理解を提供する。しかしながら、本明細書に開示された特定の詳細から逸脱した本開示に一致する他の実施形態は、添付の特許請求の範囲内にとどまる。さらに、実施形態の例の説明が不明瞭にならないように、よく知られている装置及び方法の説明は省略され得る。このような方法及び装置は、本開示の範囲内である。
【0017】
[0028] 本明細書で説明する、ＶＡＴＳ及び低侵襲手術での術中仮想アノテーションのためのインタラクティブ内視鏡検査により、手術中にライブビデオにインタラクティブにアノテーションを付けるインタラクティブアノテーションシステムが提供される。このアノテーションは、インターベンション医療処置中に確認できる。インタラクティブ内視鏡検査はさらに、持続性の特徴（解剖学的又はそれ以外）にアノテーションを付けること、見つけた場合にアノテーションを介して、アノテーションが付けられた持続性の特徴を追跡すること、及び、すでに実行されたタスクを書き留めることで、医療処置の担当者を支援するように、情報伝達的なアノテーションを供給する。
【0018】
[0029] 図２Ａ～２Ｆは、様々な代表的な実施形態によるＶＡＴＳ及び低侵襲手術での術中仮想アノテーション方法を例示している。一般的に、これらの方法は、例えば、胸腔鏡及び１つ以上の手術器具が患者に挿入されるインタラクティブ内視鏡検査を使用したインターベンション医療処置中に行われる。インターベンション医療処置中に組織を検査する際、臨床医は、関心の解剖学的特徴及び／又は手術イベントなどの情報を提供するインターベンション画像（内視鏡画像など）の表示を確認する。インターベンション画像は、例えば、ＶＡＴＳの際に、内視鏡カメラによって提供されるビデオである。様々な実施形態によれば、この情報のすべて又は一部に、例えば、インターベンション画像に仮想アノテーションを重ねて表示して手術野を視覚化することによって、インタラクティブアノテーションシステムを使用してディスプレイ上でアノテーションを付けることができる。アノテーションは、以前のインスタンス化に適用された機械学習に基づいて、臨床医又はインタラクティブアノテーションシステムによって特定された位置に配置できる。アノテーションを配置する位置は、例えば、インターベンション画像内で血管が現れる場所に血管のアノテーションを配置するなど、コンテキスト的な意味を持つ必要がある。
【0019】
[0030] さらに、臨床医が１つ以上の命令を出して、アノテーションワークフロー全体又はアノテーションワークフローの個々の側面がトリガされる。臨床医は、インターベンション医療処置を続行し、必要に応じてアノテーションを追加する。臨床医は、アノテーションを付ける特徴又はイベントを特定すると、インタラクティブアノテーションシステムのソフトウェア制御システムに、その特徴又はイベントを指定する。これにより、アノテーションを適用する場所及び方法を決定することが支援される。追加の実施形態では、ソフトウェア制御システムが画像処理アルゴリズムを適用して、組織及び／又は内視鏡の移動に応じて、対応する画像場所に対してアノテーションの位置と向きを調整してもよい。
【0020】
[0031] 図２Ａは、代表的な実施形態によるＶＡＴＳ及び低侵襲手術での術中仮想アノテーション方法を例示する。図２Ａの方法は、例えば、以下に説明する図５Ｂのインタラクティブ内視鏡検査用のシステム５００内のコントローラ５２２を使用して実施される。
【0021】
[0032] 図２Ａを参照すると、Ｓ２１０において、術中インターベンション中にインターベンション画像が受信される。インターベンション画像は、内視鏡画像を提供する内視鏡の内視鏡カメラなどのイメージングデバイスを使用してキャプチャされる。例えば、内視鏡画像は、内視鏡を使用したインターベンション医療処置中にキャプチャされたビデオである。イメージングデバイスの別の例は、脊椎手術又は同様の処置中に解剖学的構造又はツールの特定の部分に焦点を当てるように位置決めされた小さなカメラである。この場合、インターベンション画像は、解剖学的構造又はツールのビデオなどのカメラ画像である。インターベンション画像は、患者の外側から取得することも、内視鏡画像の場合は患者の内側から取得することもできる。
【0022】
[0033] Ｓ２２０において、第１の命令に応答して、インターベンション画像が、検出可能な特徴について、自動的に解析される。検出可能な特徴には、例えば、患者の解剖学的構造及び／又はインターベンション医療処置中に使用されるインターベンションツールが含まれる。Ｓ２２０における検出可能な特徴の解析は、画像（例えば、ビデオフレーム）内の低レベルの特徴を検出及び追跡するためのアルゴリズムなど、１つ以上のビデオ解析アルゴリズムを使用して実行できる。例えば、低レベルの特徴を検出及び追跡するための第１のビデオ解析アルゴリズムには、スケール不変特徴変換（ＳＩＦＴ）アルゴリズム、堅牢な特徴の高速化（ＳＵＲＦ）アルゴリズム、オプティカルフローアルゴリズム、又は学習済み特徴アルゴリズムが含まれる。第２のビデオ解析アルゴリズムを使用して、抽出した低レベルの特徴から関心の解剖学的構造を認識し、分類できる。第３のビデオ解析アルゴリズムを使用して、３つの軸のうちのいずれかの周りの回転や、３つの軸のうちのいずれかの方向での直線移動など、組織の変形を計算できる。３つの軸は、固定の物体又は場所に対して設定されている。
【0023】
[0034] 本明細書で説明する機能的特徴の自動化は、深層学習アルゴリズムなどの機械学習に基づいて実施できる。機械学習は、図５Ａのシステム５００など、複数の異なる個別のシステムについて一元的に実施でき、また、データセンタなどのクラウドベースの処理システムで実行できる。あるいは、機械学習は、例えば、地理的に分散しているが、専用の中央コンピュータシステムを提供するエンティティと関係している複数の異なる個別システム用の専用の中央コンピュータシステムで一元的に実施することもできる。
【0024】
[0035] インターベンション画像のインスタンス化は、パターン及び相関を特定するために機械学習の対象となり得る。機械学習の結果を使用して、Ｓ２２０における検出可能な特徴の解析など、本明細書における教示の態様を最適化できる。さらに、インタラクティブアノテーションシステムには、インターベンション医療処置の前に設定情報が提供されて、例えば、処理要求の軽減に役立つことによって、自動化が支援される。例えば、設定情報は、肺切除などの医療インターベンションのタイプであり、これにより、内視鏡画像を解析するインタラクティブアノテーションシステムは、肺に典型的にある解剖学的特徴のタイプを探すことがわかる。あるいは、インタラクティブアノテーションシステムは、肺の環境など、コンテキストを自動的に認識し、これにより、検出可能な特徴についての解析を肺内又は肺の周囲に絞り込むことができる。
【0025】
[0036] Ｓ２３０において、インターベンション画像内の検出可能な特徴が検出される。検出可能な特徴が解剖学的構造又はツールである限りにおいて、１つ以上の画像認識アルゴリズムを適用して、１つ以上の検出可能な特徴が検出される。検出可能な特徴として検出されるツールは、例えば、鉗子、縫合糸、解剖学的構造に固定されたステープル、又は他の埋め込み可能なデバイスである。Ｓ２３０における検出可能な特徴の検出は、検出可能な特徴の形状、色、相対的な配置、及び／又は他の特性のうちの１つ以上に認識に基づいている。
【0026】
[0037] Ｓ２４０において、第２の命令に応答して、検出可能な特徴のアノテーションをインターベンション画像に追加することが決定される。Ｓ２４０で受信した第２の命令は、２３０で検出された検出可能な特徴のアノテーションを追加する肯定的な決定を反映し、また、Ｓ２３０以降Ｓ２４０以前に、画面上で検出可能な特徴又は検出可能な特徴の輪郭を強調表示するなどのプロンプトの結果として受信される。Ｓ２５０において、第３の命令に応答して、アノテーションのための場所が、インターベンション画像内で自動的に特定される。Ｓ２５０での場所の特定には、対応する検出された特徴に対する距離と方向の配置を特定することが含まれ、また、検出された特徴が、インターベンション画像内の腫瘍に対して相対的であるか、他の解剖学的特徴に対して相対的であるか、及び／又は他のツールに対して相対的であるかのコンテキストを考慮する。Ｓ２６０において、第４の命令に応答して、検出可能な特徴に対応するように、特定された場所において、インターベンション画像にアノテーションが自動的に追加される。Ｓ２６０で受信した第４の命令は、特定された場所が容認可能であることの確認と、Ｓ２４０でのアノテーションを追加する決定とを反映する。第１、第２、第３、及び第４の命令は、例えば、コントローラ５２２によって、自動的に、及び／又は臨床医による入力に応答して提供されるソフトウェア命令である。
【0027】
[0038] Ｓ２７０において、インターベンション画像と、特定された場所においてインターベンション画像に重ねて表示されるアノテーションとが含まれるビデオが出力される。アノテーションを内視鏡画像に重ねて表示することは、例えば、オープンソースソフトウェアライブラリであるＯｐｅｎＣＶにあるような画像オーバーレイ機能を使用して実行される。
【0028】
[0039] 図示されていない実施形態では、Ｓ２１０～Ｓ２７０の特徴がループで実行されるため、Ｓ２７０でビデオ出力が出力されても、Ｓ２１０及びＳ２２０において、インターベンション画像は継続的に受信され、解析される。Ｓ２１０～Ｓ２７０の特徴に基づいて、インターベンション医療処置を担当する臨床医と、インタラクティブアノテーションシステムとの相互作用には、様々な命令のうちのいずれかを受信することや命令に基づいて対応する機能を実行することが含まれる。このように、インターベンション医療処置を担当する医師は、すぐに役立つように、インターベンション画像上のアノテーションをインタラクティブに制御できる。さらに、Ｓ２１０～Ｓ２７０の特徴は、インターベンション医療処置が行われる空間に完全に提供されるインタラクティブアノテーションシステムによって、かつ、医療機器（例えば、胸腔鏡）が患者に最初に挿入されることによってインターベンション医療処置が開始するときから、医療機器が患者から取り外されてインターベンション医療処置が終了するときまでの連続した中断されない時間枠で実施される。あるいは、Ｓ２１０～Ｓ２７０の特徴は、インタラクティブアノテーションシステムがコマンドなどによって開始されてから、インターベンション医療処置を担当する臨床医からの命令などによってインタラクティブアノテーションシステムが停止するまで実施されてもよい。
【0029】
[0040] Ｓ２８０において、アノテーションが重ねて表示されたインターベンション画像に機械学習が適用され、機械学習に基づいて、アノテーションの最適な配置が特定される。Ｓ２８０では、機械学習は、アノテーションの配置を最適化するために使用されるが、機械学習はまた、インタラクティブアノテーションシステムの機能を改善するために、インターベンション医療処置のタスクや画像内容を理解するために、及び／又はユーザインターフェースを適応させるためにも使用できる。Ｓ２２０～Ｓ２８０のプロセスは、複数回の医療的インターベンションのためにループで実行できる。
【0030】
[0041] Ｓ２８０に固有の機能は、アノテーションの実際の配置を反映する。アノテーションと配置の実際の詳細は、他のインスタンス化の実際の詳細と一緒にプールされ、これにより、関連の検出可能な特徴からの距離などの平均や、アノテーションが問題となる可能性のあるやり方でインターベンション画像の他の特徴と干渉するかどうかを特定できる。例として、最適化されたアノテーション配置を学習するには、機械学習を適用して、解剖学的特徴と仮想ラベルの既存のペアの定量的な指標を取得する。例えば、定量的指標には、解剖学的特徴と仮想ラベルとの距離が含まれる。別の例として、定量的指標には、特定のタイプの仮想ラベルの面積やボリューム、又は特定のタイプの解剖学的特徴と仮想ラベルの間の面積やボリュームが含まれる。
【0031】
[0042] Ｓ２８０で適用される機械学習は、本明細書の教示に従って適用できる機械学習の１つの例にすぎない。インタラクティブアノテーションシステムの機能の機械学習の例としては、Ｓ２２０やＳ２３０などにおける特徴検出もある。特徴検出には、検出可能なパターンや解剖学的特徴を見つける方法と場所を学習することが含まれる。例えば、以前の内視鏡画像の複数のインスタンス化を調査し、特定のタイプの検出可能な特徴に対してユーザがアノテーションを設定する方法と場所に関連する共通点を特定できる。また、特徴検出には、特定のタイプの医療インターベンションのコンテキストでユーザがアノテーションを配置するときのパターンを学習することが含まれる。
【0032】
[0043] インターベンション医療処置におけるタスクや画像内容を理解するための機械学習は、多くの目的に使用できる。例えば、Ｓ２２０やＳ２３０などにおいて、特徴検出を使用して、臨床的に関連性のある解剖学的特徴やランドマークを見つけるように学習できる。また、Ｓ２５０などにおいて、装置学習を使用して、所与のインターベンション医療処置に使用されるアノテーション、及びこれらのアノテーションが配置されるとき／場所を学習することもできる。また、機械学習を使用して、手術イベント又は行為に対応するアノテーション、アノテーションが配置されるタイミングと順序、及び医療インターベンションに関与する担当者の思考プロセスを反映した手術ワークフローのパターンを学習することもできる。また、機械学習を使用して、アノテーションが見えなくなるとき、例えば、解剖学的構造が反転又は回転された臓器の一部であるときにその解剖学的構造のアノテーションが消えるときを学習することもできる。また、機械学習を使用して、異なるインターベンション医療処置で使用された同様のアノテーション間の関係を特定することもできる。
【0033】
[0044] ユーザインターフェースを適応させるための機械学習の例を使用して、特定の解剖学的構造に使用すべきアノテーションを特定できる。また、ユーザインターフェースを適応させるための機械学習を使用して、アノテーションの適切なサイズと方向、さらにはテキストアノテーションのサイズやフォントなどの詳細を学習することもできる。また、ユーザインターフェースのための機械学習を適用して、最大数や最適数など、使用するアノテーションの数を学習することもできる。また、インターフェースのための機械学習では、インターベンション医療処置の担当者がアノテーションは不要であると判断するときなど、特定のアノテーション又はアノテーションのタイプが明示的に削除されたときのパターンを特定することもできる。また、機械学習を使用してユーザの優先傾向を特定して、特定のユーザに合わせてアノテーションのオプションをカスタマイズすることもできる。
【0034】
[0045] 機械学習は、フィードバックループの形式で使用できる。フィードバックループでは、１つのインターベンション医療処置でのアノテーションの特徴が、以前のインターベンション医療処置における機械学習の最適化を反映する。つまり、１つのインターベンション医療処置でのアノテーションは、ライブアノテーションの少なくとも１つの以前のインスタンス化に適用された機械学習に基づいている。当該１つのインターベンション医療処置のインターベンション画像は、次に、検討されて、機械学習に組み込まれ、後のインターベンション医療処置の最適化に適用される。
【0035】
[0046] 前述のように、図２Ａの方法では、検出可能な特徴は、インターベンション画像の自動解析に基づいて検出される。仮想アノテーションが、検出可能な特徴に対応するようにインターベンション画像に配置され、アノテーション付きインターベンション画像は、インターベンション画像とアノテーションとを含むアノテーション付きビデオとして出力される。アノテーションは、一種の拡張現実として機能する。例えば、アノテーション付きインターベンション画像は、ロードマップとして使用され、これにより、臨床医が同じ検出可能な特徴を繰り返し検出して特定する必要がなくなる。当然ながら、アノテーションは解剖学的構造からの検出可能な特徴に限定されない。アノテーション付きインターベンション画像は、例えば、ツールを特定するためや、手術中に完了したタスクや他の情報のチェックリストを提供するためにも使用される。
【0036】
[0047] 前述のように、インタラクティブアノテーションシステムを使用して、術中仮想アノテーションのためのインタラクティブ内視鏡検査を制御できる。インタラクティブアノテーションシステムは、少なくとも、検出可能な特徴を検出するための入力ライブ手術ビデオの解析、ライブ手術ビデオに仮想アノテーション（ラベルなど）を追加するためのダイナミックコマンド入力の受諾、アノテーションを追加するビデオ内の場所の決定、及びアノテーションが重ねて表示される元の手術ビデオを含む出力ビデオの作成を含む機能的特徴を提供する。
【0037】
[0048] 図２Ｂは、代表的な実施形態によるＶＡＴＳ及び低侵襲手術での別の術中仮想アノテーション方法を例示している。図２Ｂの方法は、必要に応じて図２Ａの方法を補足し得るものであるが、図２Ｂの方法の個々の特徴は、言及される場合又は適切である場合は、図２Ａの方法の個々の特徴を置き換えることができる。
【0038】
[0049] 図２Ｂを参照すると、Ｓ２３１において、検出可能な特徴として、解剖学的構造が検出される。この場合、検出される検出可能な特徴のタイプの例として、Ｓ２３１は、図２ＡのＳ２３０を置き換える。Ｓ２３２において、検出された解剖学的構造の境界が描出される。境界は、境界における解剖学的構造の色や外観の別の特徴を強調表示するなどして、境界をグラフィカルに特定して輪郭を描くことによって描出できる。
【0039】
[0050] Ｓ２６１において、解剖学的構造に、仮想ラベルがアノテーションとしてラベル付けされる。図２ＢのＳ２６１での解剖学的構造のラベル付けは、図２ＡのＳ２６０でのアノテーションの自動追加の例である。仮想ラベルには、テキスト付きのマーカー、又は、例えば、解剖学的構造に対応する所定の輪郭など、ある形状内の数字やアイコンが含まれ得る。ラベルや他のアノテーションは、意味的な複雑さにおいて様々である。例えば、アノテーションは、時間を示したり、血管を特定したり、腫瘍の輪郭を描いたりする。また、アノテーションの使用案内が、タッチスクリーン、音声によって、又は自動的に提供され得る。Ｓ２６１でのラベル付けは、例えば、Ｓ２４０でのアノテーションの追加の決定やＳ２５０でのアノテーションのための場所の特定など、図２Ａの特徴の後で実行できる。つまり、ここで、図２Ｂの実施形態に関して説明した図２Ａの特徴は、必要に応じて図２Ｂの実施形態に含めることができる。
【0040】
[0051] 仮想ラベルなど、アノテーションに含めることができるアノテーション可能な情報の例には、肺の裂溝、腫瘍、血管、気道、及び他の臓器など、様々な解剖学的特徴のタグがある。仮想ラベルには複数のチェックリスト項目が含まれている場合がある。この場合は、切開、ステープル止め、切除、把持、フリップ、及び伸縮などの手術イベントがアノテーション可能な情報の例になる。アノテーション可能な情報の他の例としては、経過時間や加えられた力などの手術周辺情報がある。術中情報に基づいて評価された詳細情報や、時には様々な形式の生理学的データ、モデル、及びイメージングを含む外部参照データと組み合わされた詳細情報などの詳細情報を、アノテーション可能な情報として提供することもできる。将来の学習アルゴリズムへの入力として役立ち得る、ステープルラインや腫瘍の正確な場所などの術後情報を、アノテーション可能な情報として提供することもできる。本明細書に説明されているアノテーション可能な情報のほとんどは、インターベンション医療処置の医療担当者用のロードマップの形式で、ライブフィードバックとして使用できる。
【0041】
[0052] Ｓ２７１において、解剖学的構造の移動が追跡される。Ｓ２７１は、図２Ａの方法でのＳ２７０においてビデオ出力が出力された後に発生する。例えば、解剖学的構造が水平方向及び／又は垂直方向に回転又は平行移動されたときに、解剖学的構造の移動が追跡される。また、解剖学的構造は、内視鏡カメラなどのイメージングデバイスが移動したときに、イメージングデバイスの視点に関連して移動することもある。Ｓ２７２において、インターベンション画像を生成する内視鏡カメラなどのイメージングデバイスに関連して解剖学的構造の移動が検出される。解剖学的構造の移動は、対応する仮想ラベルの有用性を本質的に反映するので、解剖学的構造の移動を追跡して、解剖学的構造とともに仮想ラベルが移動することを確実にできる。
【0042】
[0053] Ｓ２７３において、内視鏡に関連する追跡において追跡される解剖学的構造の移動を検出すると、仮想ラベルの位置及び向きが自動的に調整される。Ｓ２７３での調整は、３つの軸のうちのいずれかの周りの回転や、３つの軸のうちのいずれかに沿った方向への直線移動など、対応する解剖学的構造の変形の測定に基づいている。
【0043】
[0054] 図２Ｃは、代表的な実施形態によるＶＡＴＳ及び低侵襲手術での別の術中仮想アノテーション方法を例示している。図２Ｃの方法は、必要に応じて図２Ａの方法を補足し得るものであるが、図２Ｃの方法の個々の特徴は、言及される場合又は適切である場合は、図２Ａの方法の個々の特徴を置き換えることができる。
【0044】
[0055] 図２Ｃを参照すると、Ｓ２２１において、第１アルゴリズムを使用して、インターベンション画像の低レベルの特徴が検出及び追跡される。Ｓ２２１は、図２ＡのＳ２２０での解析の一部として実行できる。低レベルの特徴には、解剖学的構造又はツールとして解釈できるように、インターベンション画像の詳細において比較的固有のパターンを形成する特徴が含まれる。低レベルの特徴には、人間が認識できないパターン、人間が観察できないパターン、又は肉眼で人間が理解できないパターンが含まれる。前述したように、ビデオフレームなどの画像の低レベルの特徴を検出及び追跡するためのアルゴリズムの例としては、スケール不変特徴変換（ＳＩＦＴ）アルゴリズム、堅牢な特徴の高速化（ＳＵＲＦ）アルゴリズム、オプティカルフローアルゴリズム、又は学習済み特徴アルゴリズムが含まれる。
【0045】
【0046】
[0057] 図２Ｃの方法は、続いて、Ｓ２２３において、第２のアルゴリズムを使用して、抽出した低レベルの特徴に基づいて、解剖学的構造を内視鏡画像の検出可能な特徴として認識及び分類することによって、検出可能な特徴を検出する。Ｓ２２３は、図２ＡのＳ２３０での検出の一部として実行できる。第２のアルゴリズムは、例えば、色、サイズ、形状、他の既知の特性との近接性などによって、第１のアルゴリズムによって検出された低レベルの特徴を、既知の解剖学的特徴の既知の特性と比較することといった特徴を含む。低レベルの特徴と既知の解剖学的特徴の特性との両方に、人間にとって意味のないパターン、人間が観察できないパターン、又は肉眼などによって人間が検出できないパターンであるが、画像処理に使用されるアルゴリズムによって認識及び検出可能であるパターンがあってもよい。第２のアルゴリズムでは、それらが既知の解剖学的特徴の特性と一致する程度によって可能なマッチをランク付けし、トップランクの既知の解剖学的特徴を選択できる。低レベルの特徴のトップランクの既知の解剖学的特徴は、実施される医療インターベンションのタイプなどに基づいて、関連性あり又は関連性なしに分類できる。あるいは、骨や組織、臓器や気道などの既知の解剖学的特徴のタイプについて分類することもできる。その後、このアルゴリズムにより、インターベンション医療処置の担当者が、既知の解剖学的特徴のタイプ、及び実施されているインターベンション医療処置に対する関連性に基づいて、認識された解剖学的特徴にアノテーションを付けるように選択的にプロンプトされる。
【0047】
[0058] Ｓ２２４において、図２Ｃの方法は、解剖学的構造の境界を描出することを含む。Ｓ２２４での描出は、実線又は破線を重ねて表示して、解剖学的構造の境界を示すことによって実行できる。
【0048】
[0059] 前述のように、図２Ｃでは、画像解析及び特徴分類用の１つ以上のアルゴリズムを使用して、画像解析及び特徴検出が実行される。図２Ｃのプロセスは、例えば、内視鏡画像内の複数のフレームの各々に対して実行される。画像解析及び特徴検出は、内視鏡画像が最初に生成された後、又は特定のコマンドを受信して画像分析及び特徴検出を開始した後、又はアノテーションを具体的に追加した後で、インターベンション医療処置全体で実行される。つまり、インターベンション医療処置の担当者は、インターベンション医療処置中に、特徴にアノテーションを付けることを動的に決定することができる。また、図２ＡのＳ２２０又は図２ＣのＳ２２１での処理は、インターベンション医療処置の担当者が本明細書で説明するプロセスを開始することに基づいて開始される。
【0049】
[0060] 図２Ｄは、代表的な実施形態によるＶＡＴＳ及び低侵襲手術での別の術中仮想アノテーション方法を例示している。図２Ｄの方法は、必要に応じて図２Ａの方法を補足し得るものであるが、図２Ｄの方法の個々の特徴は、言及される場合又は適切である場合は、図２Ａの方法の個々の特徴を置き換えることができる。
【0050】
[0061] 図２Ｄを参照すると、Ｓ２４１において、検出可能な特徴の所定の情報が、外部ソースから特定される。例えば、図２ＡのプロセスでのＳ２４０において、アノテーションを追加すると決定されると、Ｓ２４１において、ラベル、アイコン、情報項目、又は他の所定の情報が特定される。Ｓ２６２において、外部ソースからの所定の情報がアノテーションとしてインターベンション画像に追加される。例えば、Ｓ２６０で第４の命令を受信すると、図２ＡのＳ２６０でのアノテーションの自動追加の変更又は補足として、Ｓ２６２において、外部ソースからの所定の情報が、アノテーションの形でインターベンション画像に追加される。
【0051】
[0062] 図２Ｅは、代表的な実施形態によるＶＡＴＳ及び低侵襲手術での別の術中仮想アノテーション方法を例示している。図２Ｅの方法は、必要に応じて図２Ａの方法を補足し得るものであるが、図２Ｅの方法の個々の特徴は、言及される場合又は適切である場合は、図２Ａの方法の個々の特徴を置き換えることができる。
【0052】
[0063] 図２Ｅを参照すると、Ｓ２１１において、術中インターベンションからの術中情報が解析される。術中情報には、本明細書に説明されているプロセスが実施されるインターベンション医療処置の設定に関する詳細が含まれる。例えば、術中情報には、インターベンション医療処置の医療担当者による発話やジェスチャ、又は特定の入力が含まれる。術中情報には、心拍や脈拍用のモニタなどの医療機器から出力される情報や、情報が出力された時刻も含まれる。Ｓ２１１での解析は、特定の所定のタイプの術中情報に対して行われても、複数の所定のタイプの術中情報に対して行われてもよい。
【0053】
[0064] Ｓ２４２において、解析される術中情報に基づいてアノテーションの内容が導出される。例えば、アノテーションの内容は、手術室での会話や音に基づいた術中情報、及び、カメラ、内視鏡、又は医用イメージング用の別の機構など、手術室で撮影された画像からの術中情報から導出される。アノテーションの内容は、ツールのオン／オフ、ライトのオン／オフ又は上下を示す信号など、機器からの電子信号や、患者の血圧が上限閾値又は下限閾値を超えたために血液モニタがアラームを発することに基づく術中情報から導出される。これらはすべて、Ｓ２４１での解析から導出されたＳ２４２の術中情報に基づいて、アノテーションの内容をリアルタイムで導出する方法の例である。次に、アノテーション自体は、インターベンション医療処置の医療担当者の視野内にあるように、インターベンション画像上のメモとして配置される。
【0054】
[0065] Ｓ２６３において、図２Ｅのプロセスは、内容をアノテーションとして内視鏡画像に追加することを含む。例えば、Ｓ２６０で第４の命令を受信すると、図２ＡのＳ２６０での自動追加の変更又は補足として、Ｓ２６３において、術中情報から導出された内容が、アノテーションの形で追加される。
【0055】
[0066] 図２Ｆは、代表的な実施形態によるＶＡＴＳ及び低侵襲手術での別の術中仮想アノテーション方法を例示している。図２Ｆの方法は、必要に応じて図２Ａの方法を補足し得るものであるが、図２Ｆの方法の個々の特徴は、言及される場合又は適切である場合は、図２Ａの方法の個々の特徴を置き換えることができる。
【0056】
[0067] 図２Ｆを参照すると、Ｓ２０５において、解剖学的構造の術前セグメント化モデルが取得される。例えば、術前セグメント化モデルは、解剖学的構造の術前のコンピュータ断層撮影（ＣＴ）スキャンから取得される。術前ＣＴスキャンを使用して、後にセグメント化されるモデルが生成される。
【0057】
[0068] Ｓ２６４において、解剖学的構造にアノテーションを付ける命令が、術前セグメント化モデルとともにアノテーションとして受信される。つまり、Ｓ２０５からの術前セグメント化モデルで表される解剖学的構造が、Ｓ２６４の命令に対応する。
【0058】
[0069] Ｓ２６５において、内視鏡画像内の解剖学的構造が、解剖学的構造の術前セグメント化モデルに仮想的に置き換えられる。つまり、Ｓ２６５において、解剖学的構造のライブインターベンション画像を、Ｓ２０５で取得した解剖学的構造の術前セグメント化モデルに置き換える命令が受信される。
【0059】
[0070] Ｓ２６６において、解剖学的構造の術前セグメント化モデルが解剖学的構造に対して位置合わせされる。つまり、Ｓ２６６において、解剖学的構造のライブインターベンション画像は、Ｓ２０５で取得した解剖学的構造の術前セグメント化モデルを用いて位置合わせされる。その結果、Ｓ２６０で自動的に追加されたアノテーションには、解剖学的構造のライブインターベンション画像を、Ｓ２０５で取得した解剖学的構造の術前セグメント化モデルに対して位置合わせして置き換えることが含まれる。この形式のアノテーションは、患者の解剖学的構造の特徴の画面上での視覚化においてインターベンション医療処置の担当者を支援して、集中力を高める。つまり、本明細書で説明するほとんど又はすべての形式のアノテーションと同様に、図２Ｆのアノテーションは、ロードマップやナビゲーションツールに似た支援及び／又は付箋と同様の支援として、インターベンション医療処置を担当する臨床医のためのライブフィードバックとして使用できる。
【0060】
[0071] 図２A～２Ｆの方法の内の任意の２つ以上を、本開示の範囲内で統合できる。さらに、図２A～２Ｆの方法には、インターベンション画像から特定及び追跡された検出された特徴の保存など、追加の特徴が含まれていてもよい。保存された特徴は、後で使用できる。例えば、内視鏡カメラビューが臓器のかなり異なる領域に移動した後、元の視野に戻る場合、仮想ラベルなどのアノテーションが自動的に再度提供される。図２Ａ～２Ｆに関連して上述した代表的な実施形態の方法及びプロセスの一部又はすべての態様は、図５Ａのシステム５００によって実施されても、ソフトウェア命令を実行する図５Ｂのコントローラ５２２によって単独で実施されてもよい。
【0061】
[0072] 保存された特徴及びアノテーションはまた、その後のインターベンション処置に、異なる日であっても使用できる。例えば、１回目のインターベンション医療処置で１つ以上の解剖学的特徴が特定され、２回目のインターベンション医療処置で類似の解剖学的特徴が特定された場合、当該類似の特徴を使用して、１回目のインターベンション医療処置からの追加のラベルの位置及び向きを２回目のインターベンション医療処置において自動的に位置合わせできる。これにより、既知の特徴について、処理が少なくなり、アノテーション付けが速くなる。例えば、１回目のインターベンション医療処置と２回目のインターベンション医療処置で、腫瘍の境界を画定できる。また、１回目のインターベンション医療処置と２回目のインターベンション医療処置の各々で、腫瘍の面積及び／又はボリュームを定量化し、面積の差を計算できる。
【0062】
[0073] 保存された特徴及びアノテーションはまた、インターベンション医療処置後のレポート作成にも使用できる。例えば、特徴の数と特徴の種類を、患者の電子医療記録に保存できる。あるいは、特徴が、使用されているインプラント／ツール／デバイスの種類である場合、これらのインプラント／ツール／デバイスを購入システムが再度仕入れるために、数を管理することもできる。
【0063】
[0074] 図３は、代表的な実施形態によるＶＡＴＳ及び低侵襲手術での術中仮想アノテーションのための別のインタラクティブ内視鏡検査方法を例示している。図３に関連して上述した代表的な実施形態の方法及びプロセスの一部又はすべての態様は、図５Ａのシステム５００によって実施されても、ソフトウェア命令を実行する図５Ｂのコントローラ５２２によって単独で実施されてもよい。
【0064】
[0075] 図３を参照すると、Ｓ３１０において、インターベンション医療処置などにおいて見られるように、医療インターベンション環境に器具が配置される。本明細書における説明のために、器具は、イメージング装置の視野内で患者の解剖学的構造の内部又は周囲に配置される。Ｓ３２０において、関心の解剖学的特徴又は記録するイベントが特定される。アノテーション用に関心の解剖学的特徴及び／又は記録するイベントを特定することは、最終的にインターベンション画像にアノテーションを付けるプロセスの一部であることから、Ｓ３２０は、本明細書に説明されているアノテーションプロセスのトリガを表す。
【0065】
[0076] Ｓ３３０において、タッチスクリーン、キーボード、ボタン、ローラーパッド、マウス、又は他の物理的なインターフェースを介して、臨床医によってアノテーションを付ける意図が入力される。アノテーションを付ける意図はまた、ソフトウェア命令を実行するプロセッサによって実施された音声認識機構又はビデオ認識機構によって検出される可聴命令又は視覚ジェスチャを介して入力されてもよい。Ｓ３４０において、ビデオフィードに出現する所望のアノテーションが確認される。確認されたアノテーションは、Ｓ３３０で入力された意図からもたらされたものであり、Ｓ３４０でのビデオフィードに重ねて表示されるか又は視覚的に統合されたアノテーションである。アノテーションは、図２Ａ～図２Ｆの実施形態に関して説明された様々な処理の結果である。Ｓ３５０において、臨床医は、仮想アノテーションが提供された手術又はインターベンション医療処置における別の形式のインターベンションを続行する。一実施形態では、Ｓ３２０～Ｓ３５０のプロセスは、インターベンション医療処置中にループで実行できる。
【0066】
[0077] 図４は、代表的な実施形態によるＶＡＴＳ及び低侵襲手術での術中仮想アノテーションのためのインタラクティブ内視鏡検査の仮想アノテーションの３つの例を例示している。
【0067】
[0078] 図４を参照すると、左側に示す第１のアノテーション例では、腫瘍には「ＴＵＭＯＲ（腫瘍）」、血管には「ＶＥＳＳＥＬ（血管）」、気道には「ＡＩＲＷＡＹ（気道）」というラベルが付いている。さらに、気道を明確に指定するために、仮想構造がアノテーションとして気道に重ねて表示されている。図示の例では、ラベルは、組織の画像からオフセットされているが、これは必須というわけではない。ラベルは、組織の画像に重ねて表示されても、インターベンション画像のマージンに重ねて表示されてもよい。第２のアノテーション例では、解剖学的表面には「ＬＯＢＵＬＡＲ ＦＩＳＳＵＲＥ（小葉の裂溝）」というラベルが付き、腫瘍マージンには「ＴＵＭＯＲ ＭＡＲＧＩＮ（腫瘍マージン）」というラベルが付いている。また、腫瘍マージンの境界に仮想構造が重ねて表示されて、腫瘍と腫瘍マージンが明確に指定される。第１及び第２の例では、テキストのラベルを「Ａ」、「Ｂ」、「Ｃ」、「Ｄ」、及び「Ｅ」などの単純なアイコン、又は「１」～「５」の数字に置き換えられてもよい。右側に示す第３のアノテーション例では、アノテーションにフリーハンドの曲線輪郭と、組織の画像に重ねて表示されるラベル「Ｘ」が含まれている。曲線輪郭には、組織の画像からオフセットされた「ＯＲＧＡＮ ＢＯＵＮＤＡＲＹ（臓器境界）」というラベルも付いている。さらに、右下の組織の画像にチェックリスト付きのラベルが重ねて表示されている。
【0068】
[0079] したがって、図４には、インターベンション画像にアノテーションを付ける方法の例がいくつか例示されている。様々なアノテーションは、サイズ、タイプ、場所、色、テキスト、網掛け、向きなどが様々であってよい。また、一部のアノテーションは、特定のタイプの医療処置で使用するために提供されるが、他の医療処置では提供されない場合もある。また、機械学習に組み込まれている個人からの入力に基づいて、特定の個人に対して提供される場合もある。
【0069】
[0080] 本開示と一致している仮想アノテーションとして提供されるアノテーションのタイプの例としては、マーカー、ラベル、差別化された色、直線と曲線、ＣＡＤ（コンピュータ支援設計）モデル、及び図面が挙げられる。マーカーには、ドット、星、正方形、ダッシュ、矢印、及び位置、方向、解剖学的コンテキスト、時間、又は他の関連情報を伝える他の象徴的アイコンが含まれる。ラベルには、テキストや、タグとして埋め込まれた情報を伝えるテキスト他の意味的表現が含まれる。差別化された色は、組織の領域を描出するか、他の形式の情報を表すために使用される。直線と曲線は、臨床的関心対象の位置や境界を示すために使用でき、タッチスクリーンなどを使用して入力できる。ＣＡＤモデルには、腫瘍、血管、気道、又は他の関心組織などの解剖学的構造を表すセグメント化された術前コンピュータ断層撮影（ＣＴ）画像が含まれる。図面は、インターベンション医療処置の担当者がビデオ画面上で随意にスケッチし、ビデオ内容ごとにマーキング位置を更新することを可能にする。図４に、前述のマーカータイプの例がいくつか示されている。また、マーカーや他の形式のアノテーションは、空間や時間の推移を伝えたり、ツールと組織間の相互作用などの一時的な情報を伝えたりするために、可変であり得る。
【0070】
[0081] 図４の実施形態及び本明細書の他の実施形態では、画像内容に応じて、各ビデオフレームで仮想アノテーションの場所及び／又は形状を更新できる。例えば、第２の例では、緑といった特定の色の網掛け領域は、肺が反転し、対応する組織が視野内にない場合には、見えなくなる。
【0071】
[0082] 図５Ａは、代表的な実施形態によるＶＡＴＳ及び低侵襲手術での術中仮想アノテーションのためのインタラクティブ内視鏡検査用のシステムを例示している。
【0072】
[0083] 図５Ａに示すように、システム５００は、胸腔鏡５１０、コンピュータ５２０、ディスプレイ５３０、及び入力機構５４０を含む。コンピュータ５２０は、コントローラ５２２を含む。システム５００は、本来であれば、本明細書における教示内容を実施するための非常に複雑な環境であり得るものの簡略化されたブロック図である。システム５００には、本明細書で説明するインタラクティブアノテーションシステムの一部又はすべての構成要素が含まれ得る。システム５００は、本明細書で説明する、図２Ａ～図３に関連する代表的な実施形態の方法及びプロセスの一部又はすべての態様を実施している。
【0073】
[0084] 胸腔鏡５１０は、内視鏡の一例である。胸腔鏡５１０は、通常、胸部内腔（胸郭腔）内での検査、生検、及び／又は切除に使用される細長いカメラである。胸腔鏡５１０は、有線接続を介して、及び／又はＢｌｕｅｔｏｏｔｈ（登録商標）などのワイヤレス接続を介して内視鏡画像（ビデオなど）をコンピュータ５２０に送る。
【0074】
[0085] コンピュータ５２０は、少なくともコントローラ５２２を含むが、以下に説明する図６のコンピュータシステム６００などにおいて見られるように、電子デバイスの任意の又はすべての要素を含んでいてもよい。例えば、コンピュータ５２０は、胸腔鏡５１０及びディスプレイ５３０とインターフェースで連結するために、ポート又は他の形式の通信インターフェースを含む。コントローラ５２２は、少なくとも、ソフトウェア命令を格納するメモリと、本明細書で説明する様々なプロセスの一部又はすべての態様を直接又は間接的に実施するソフトウェア命令を実行するプロセッサとを含む。
【0075】
[0086] ディスプレイ５３０は、インターベンション医療処置が行われる環境にある胸腔鏡５１０及び／又は任意の他のイメージング機器から得られる内視鏡像又は他のインターベンション画像を表示するビデオディスプレイである。ディスプレイ５３０は、ビデオをカラー又は白黒で表示するモニタ又はテレビであり、また、オーディオ信号を出力するオーディオ機能を有していてもよい。
【0076】
[0087] 入力機構５４０は、マウス、キーボード、タッチパッド、タブレット、マイク、（例えばジェスチャをキャプチャするための）ビデオカメラ、又は臨床医が命令を入力するための任意の他の機器であるか、又はそれらを含む。入力機構５４０に入力される命令は、本明細書で説明するように、内視鏡画像又は他のインターベンション画像にアノテーションを付けるプロセスで使用される。図示するように、入力機構５４０は、コンピュータ５２０と通信できるが、入力機構が、ディスプレイ５３０上にある、ディスプレイ５３０内にある、あるいはディスプレイ５３０に接続されているタッチスクリーンであるときなどは、ディスプレイ５３０とも通信できる。入力機構５４０は、上述したように、有線又はワイヤレス接続で通信するか、また、ディスプレイ５３０及び／又はコンピュータ５２０の一部であるか、あるいはそれらに統合されていてもよい。
【0077】
[0088] 入力機構５４０は、様々なやり方で提供することができ、したがって、様々な種類の情報及びアノテーションの特定のコンテキストに様々な方法を選択的に適合させることができる。入力機構５４０は、パーソナルコンピュータマウス及びキーボードであるか又はそれらを含む場合があり、これにより、パーソナルコンピュータマウスを使用して、肺の表面に見える肺の裂溝などの所望のアノテーションの場所にカーソルを合わせたり、所望の場所の連続部分に沿って描画したりすることができ、また、キーボードを使用して、テキストラベルをアノテーションとして入力する。入力機構５４０は、キーボード及びマウスを使用せずに、場所選択及びデータ入力などのタスクを実行するために、タッチスクリーンであるか又はそれを含む場合もある。器具及び／又は他の場所に取り付けられた外部ボタンを入力機構５４０として使用して、インターベンション医療処置を担当する臨床医にとって都合の良い場所でマウスの機能を再現できる。
【0078】
[0089] カメラを合わせて、画像／ビデオ認識ソフトウェアプログラムを入力機構５４０として使用して、ジェスチャを認識できる。例えば、画像／ビデオ認識ソフトウェアプログラムの例では、内視鏡の視野内で特定のパターンで手術器具を動かすと、アノテーション配置をアクティブ化できる。画像／ビデオ認識ソフトウェアプログラムによって認識可能なジェスチャの他の例としては、例えば、連続して２回、グリッパを開閉すること、アイテムを前後に回転すること、組織を軽く叩くことが挙げられる。認識されたジェスチャを使用して、アノテーションのタイプをエンコードすることも、本明細書で説明する他の手段でアノテーションのタイプを供給することもできる。また、入力機構５４０は、音声認識ソフトウェアであるか又はそれを含んでいてもよい。音声認識ソフトウェアの例では、音声コマンドによって、使用するアノテーションのタイプを提供しながら、仮想アノテーションの配置、削除、又は変更をアクティブ化できる。入力機構５４０はまた、画像／ビデオ認識ソフトウェアプログラムなどを用いて組織の物理的なラベル付けも認識できる。例えば、画像／ビデオ認識ソフトウェアプログラムは、縫合糸を配置する場所を示す物理的なラベル付けや、特定の特徴を特定するための組織表面上の焼灼マークを認識できる。入力機構５４０の他の例として、仮想アノテーションは、モデル、機械学習若しくは深層学習、又は他のデータ駆動型方法に基づいて、仮想アノテーションが自動的に配置又は提案される。本明細書に説明される機械学習の例は、ビデオ内容を分析して、特徴及び行為を認識できる。例えば、以前のインスタンス化に適用された機械学習を使用すると、特定の医療インターベンション中に動的にラベル付けされた特徴が、以前にラベル付けされたものと同様に見える同様の特徴に基づいて分析及び検出されて、自動的にラベル付けできる。入力機構５４０のもう１つの例として、仮想アノテーションの部分的又は半自動入力によって、アノテーションの「自動補完」がトリガされる。例えば、画像に血管を描画するときに自動補完を実行すると、画像を位置合わせガイドとして使用して、術前の血管モデルがビデオに重ねて表示される。
【0079】
[0090] 機械学習は、例えば、インターネット又は他のネットワークを介してシステム５００から仮想アノテーションのインスタンス化を受信し、かつ、システム５００を含む多数のシステムからの仮想アノテーションのインスタンス化に基づく機械学習の結果を、インターネット又は他のネットワークを介してシステム５００に提供する中央システムによって、システム５００に提供される。例えば、機械学習は、データセンタといったクラウドベースの処理システムで実行される。あるいは、機械学習は、システム５００との関係を有するエンティティによってなど、専用の中央コンピュータシステムに集中的に実施できる。
【0080】
[0091] 図５Ｂは、代表的な実施形態によるＶＡＴＳ及び低侵襲手術での術中仮想アノテーションのためのインタラクティブ内視鏡検査用のコントローラを例示している。
【0081】
[0092] 図５Ｂのコントローラ５２２は、プロセッサ５２２１０、バス５２２０８、及びメモリ５２２２０を含む。コントローラ５２２は、図２Ａ～図３に関連して上述した代表的な実施形態の方法及びプロセスの一部又はすべての態様を実施するための構成要素を含む。プロセッサ５２２１０については、以下の図６のコンピュータシステム６００のプロセッサの説明によってより詳細に説明する。プロセッサ５２２１０は、ソフトウェア命令を実行して、図２Ａ～図３に関連して上述した代表的な実施形態の方法及びプロセスの一部又はすべての態様を実施する。メモリ５２２２０については、以下の図６のコンピュータシステム６００のメモリの説明によってより詳細に説明する。メモリ５２２２０には、本明細書で説明する方法及びプロセスの一部又はすべての態様を実施するようにプロセッサ５２２１０が実行するソフトウェア命令が保存される。バス５２２０８は、プロセッサ５２２１０とメモリ５２２２０とを接続する。図５Ｂでは、コントローラ５２２は、スタンドアロン要素として示されており、これは、コントローラ５２２を、図５Ｂのコンピュータ５２０の一部として提供する必要がないことを示している。むしろ、本明細書で説明するコントローラ５２２は、本明細書で説明する方法の一部又はすべての態様を実施するために、スタンドアロン要素として提供されても、専用の医療技術のアイテム、ラップトップコンピュータやデスクトップコンピュータ、又はスマートホンやタブレットなどの様々なデバイスに統合されてもよい。
【0082】
[0093] 図６は、別の代表的な実施形態によるＶＡＴＳ及び低侵襲手術での術中仮想アノテーションのためのインタラクティブ内視鏡検査方法が実施され得る、一般的なコンピュータシステムを例示している。
【0083】
[0094] 図６のコンピュータシステム６００は、通信デバイス又はコンピュータデバイスの構成要素の完全なセットを示している。しかしながら、本明細書で説明する「コントローラ」は、メモリとプロセッサの組み合わせによってなど、図６の構成要素のセットよりも少ない構成要素で実施することもできる。コンピュータシステム６００は、本明細書で説明するインタラクティブアノテーションシステムにおける１つ以上の構成要素装置の一部又はすべての要素を含む。しかしながら、このような装置のいずれも、コンピュータシステム６００について説明する要素のうちの１つ以上を含まなくてもよく、また、説明されていない他の要素を含んでいてもよい。
【0084】
[0095] 図６を参照すると、コンピュータシステム６００は、コンピュータシステム６００に本明細書で開示する方法又はコンピュータベースの機能のいずれかを実行させるために実行できるソフトウェア命令のセットを含む。コンピュータシステム６００は、スタンドアロンデバイスとして動作したり、例えば、ネットワーク６０１を使用して他のコンピュータシステムや周辺デバイスに接続したりすることができる。実施形態では、コンピュータシステム６００は、アナログ－デジタルコンバータ経由で受信したデジタル信号に基づいて論理処理を実行する。
【0085】
[0096] ネットワーク化された配置では、コンピュータシステム６００は、サーバクライアントユーザネットワーク環境では、サーバ又はクライアントユーザコンピュータとして、あるいは、ピアツーピア（又は分散）ネットワーク環境では、ピアコンピュータシステムとして動作する。また、コンピュータシステム６００は、固定コンピュータ、モバイルコンピュータ、パーソナルコンピュータ（ＰＣ）、ラップトップコンピュータ、タブレットコンピュータ、又は、マシンが行う行為を指定する一連のソフトウェア命令（シーケンシャルなど）を実行可能である任意の他のマシンなど、様々なデバイスとして実施又は組み込むこともできる。コンピュータシステム６００は、追加のデバイスを含む統合システムにあるデバイスとして、又はそのデバイスに組み込むことができる。実施形態では、コンピュータシステム６００は、音声、ビデオ、又はデータ通信を提供する電子デバイスを使用して実施できる。さらに、コンピュータシステム６００は単数形で説明されているが、「システム」という用語は、１つ以上のコンピュータ機能を実行するために、１つ以上のソフトウェア命令セットを個別に又は共同で実行するシステム又はサブシステムの集合を含むものとする。
【0086】
[0097] 図６に例示するように、コンピュータシステム６００は、プロセッサ６１０を含む。プロセッサ６１０は、図５Ｂのコントローラ５２２のプロセッサ５２２１０の代表的な例とみなされ、本明細書で説明する方法及びプロセスの一部又はすべての態様を実施するために命令を実行する。プロセッサ６１０は、有形で非一時的である。本明細書で使用される場合、「非一時的」という用語は、状態の永遠の特性ではなく、一定期間持続する状態の特性として解釈される。「非一時的」という用語は、特に、搬送波又は信号やいつでもどこでも一時的にしか存在しないような他の形式の特性など、一瞬の特性を否定する。プロセッサ６１０は、製造品及び／又は機械部品である。プロセッサ６１０は、本明細書における様々な実施形態において説明する機能を実行するように、ソフトウェア命令を実行する。プロセッサ６１０は、汎用プロセッサであっても、特定用途向け集積回路（ＡＳＩＣ）の一部であってもよい。プロセッサ６１０はまた、マイクロプロセッサ、マイクロコンピュータ、プロセッサチップ、コントローラ、マイクロコントローラ、デジタルシグナルプロセッサ（ＤＳＰ）、ステートマシン、又はプログラマブルロジックデバイスであってもよい。プロセッサ６１０はまた、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などのプログラマブルゲートアレイ（ＰＧＡ）や、ディスクリートゲート及び／又はトランジスタロジックを含む別のタイプの回路などの論理回路であってもよい。プロセッサ６１０は、中央処理装置（ＣＰＵ）、グラフィックス処理装置（ＧＰＵ）又はその両方であってもよい。さらに、本明細書で説明するプロセッサはいずれも、複数のプロセッサ、パラレルプロセッサ、又はその両方を含んでいてもよい。単一のデバイス又は複数のデバイスに、複数のプロセッサが含まれていても、結合されていてもよい。
【0087】
[0098] 本明細書で使用される「プロセッサ」という用語には、プログラム又は機械実行可能命令を実行できる電子構成要素が包含されている。「プロセッサ」を含むコンピューティングデバイスへの参照は、マルチコアプロセッサにおいて見られるように、複数のプロセッサ又は処理コアを含むと解釈するべきである。プロセッサはまた、単一のコンピュータシステム内のプロセッサの集合体、又は複数のコンピュータシステムに分散されたプロセッサの集合体を指すこともある。「コンピューティングデバイス」という用語もまた、１つ以上のプロセッサを各々が含んでいるコンピューティングデバイスの集合体又はネットワークを含むと解釈されるべきである。プログラムは、同じコンピューティングデバイス内にあるか、又は複数のコンピュータデバイス間に分散される１つ以上のプロセッサによって実行されるソフトウェア命令を有する。
【0088】
[0099] コンピュータシステム６００は、メインメモリ６２０とスタティックメモリ６３０とをさらに含む。コンピュータシステム６００のメモリは、バス６０８を介して、互いにかつプロセッサ６１０と通信する。メインメモリ６２０及びスタティックメモリ６３０のいずれか又は両方が、図５Ｂのコントローラ５２２のメモリ５２２２０の代表的な例とみなされ、本明細書で説明する方法及びプロセスの一部又はすべての態様を実施するために使用される命令が保存する。本明細書で説明するメモリは、データ及び実行可能なソフトウェア命令を保存するための有形の記憶媒体であり、ソフトウェア命令がそこに保存されている間は非一時的である。本明細書で使用される場合、「非一時的」という用語は、状態の永遠の特性ではなく、一定期間持続する状態の特性として解釈される。「非一時的」という用語は、特に、搬送波又は信号やいつでもどこでも一時的にしか存在しないような他の形式の特性など、一瞬の特性を否定する。メインメモリ６２０及びスタティックメモリ６３０は、製造品及び／又は機械部品である。メインメモリ６２０及びスタティックメモリ６３０は、コンピュータ可読媒体であり、そこから、コンピュータ（プロセッサ６１０など）がデータ及び実行可能なソフトウェア命令を読み取ることができる。メインメモリ６２０及びスタティックメモリ６３０の各々は、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、フラッシュメモリ、電気的にプログラム可能な読み取り専用メモリ（ＥＰＲＯＭ）、電気的に消去可能なプログラム可能な読み取り専用メモリ（ＥＥＰＲＯＭ（登録商標））、レジスタ、ハードディスク、リムーバブルディスク、テープ、コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、フロッピー（登録商標）ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク、又は当技術分野で知られている任意の他の形式の記憶媒体のうちの１つ以上として実施され得る。メモリは、揮発性又は不揮発性、セキュア及び／又は暗号化、非セキュア及び／又は非暗号化であってもよい。
【0089】
[00100] 「メモリ」は、コンピュータ可読記憶媒体の一例である。コンピュータメモリは、プロセッサから直接アクセスできる任意のメモリである。コンピュータメモリの例としては、ＲＡＭメモリ、レジスタ、及びレジスタファイルが挙げられるが、これらに限定されない。「コンピュータメモリ」又は「メモリ」への参照は、複数のメモリである場合もあると解釈されるべきである。例えば、メモリは、同じコンピュータシステム内の複数のメモリである場合がある。また、メモリは、複数のコンピュータシステム又はコンピュータデバイス間で分散される複数のメモリである場合もある。
【0090】
[00101] 図示するように、コンピュータシステム６００は、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）、フラットパネルディスプレイ、ソリッドステートディスプレイ、又は陰極線管（ＣＲＴ）などのビデオディスプレイユニット６５０をさらに含む。さらに、コンピュータシステム６００は、キーボード／仮想キーボード、タッチ式入力画面、音声認識機能付き音声入力などの入力デバイス６６０と、マウスやタッチ式入力画面又はパッドなどのカーソル制御デバイス６７０とを含む。また、コンピュータシステム６００は、任意選択で、ディスクドライブユニット６８０、スピーカーやリモコンなどの信号生成デバイス６９０、及び／又はネットワークインターフェースデバイス６４０を含む。
【0091】
[00102] 実施形態では、図６に示すように、ディスクドライブユニット６８０に、コンピュータ可読媒体６８２が含まれており、この媒体に、ソフトウェア命令６８４（ソフトウェア）の１つ以上のセットが埋め込まれている。ソフトウェア命令６８４のセットは、プロセッサ６１０で実行されるように、コンピュータ可読媒体６８２から読み取られる。さらに、ソフトウェア命令６８４は、プロセッサ６１０によって実行されると、本明細書で説明する方法及びプロセスの１つ以上のステップを実行する。実施形態では、ソフトウェア命令６８４の全体又は一部が、コンピュータシステム６００による実行中に、メインメモリ６２０、スタティックメモリ６３０、及び／又はプロセッサ６１０に存在する。さらに、コンピュータ可読媒体６８２は、ソフトウェア命令６８４を含んでいても、又は、伝播信号に応答してソフトウェア命令６８４を受信して実行して、ネットワーク６０１に接続されたデバイスがネットワーク６０１を介して音声、ビデオ、又はデータを通信できるようにしてもよい。ソフトウェア命令６８４は、ネットワークインターフェースデバイス６４０を介してネットワーク６０１経由で送受信できる。
【0092】
[00103] 実施形態では、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジックアレイ、及び他のハードウェア構成要素などの専用ハードウェア実施態様は、本明細書で説明する方法のうちの１つ以上を実施する。本明細書で説明する１つ以上の実施形態は、モジュール間で通信可能な関連制御信号及びデータ信号とともに、２つ以上の特定の相互接続されたハードウェアモジュール又はデバイスを使用して機能を実施できる。したがって、本開示には、ソフトウェア、ファームウェア、及びハードウェアの実施態様が包含されている。本出願において、有形の非一時的なプロセッサ及び／又はメモリなどのハードウェアではなく、ソフトウェアのみを使用して実施される、又は実施可能であると解釈されるものは何もない。
【0093】
[00104] 本開示の様々な実施形態に従って、本明細書で説明する方法は、ソフトウェアプログラムを実行するハードウェアコンピュータシステムを使用して実施できる。さらに、非限定的な模範実施形態では、分散処理、構成要素／オブジェクト分散処理、及び並列処理などの実施が可能である。仮想コンピュータシステムの処理では、本明細書で説明する方法又は機能のうちの１つ以上を実施できる。また、本明細書で説明するプロセッサを使用して、仮想処理環境をサポートすることもできる。
【0094】
[00105] したがって、ＶＡＴＳ及び低侵襲手術での術中仮想アノテーションのためのインタラクティブ内視鏡検査は、インターベンションイメージングモダリティをパッシブモダリティから、インターベンション医療処置の担当者にユーザインターフェースを提供するインタラクティブな画像ベースのモダリティに効果的に変換し、インターベンション医療処置中に、手術現場でデジタルタグを付けることを可能にする。これにより、医療処置の担当者は、一度確認した解剖学的構造と、一度実施したタスクとを追跡できるため、過剰な及び／又は重複した診査を排除できる。インターベンション医療処置中の解剖学的構造のラベル付けはまた、遡及的検討や、将来のインターベンション医療処置を最適化するためのフィードバックに使用するためにデータを維持するのにも役立つ。長期的には、アノテーション付き（例えば、ラベル付き）の手術ビデオを蓄積する機能を機械学習の開発に使用して、内視鏡手術を増強するための情報と分析の統合をさらに改善することができる。特に自動ラベル付けは、より多くの手術ビデオにラベルが付けられるようになるにつれて機能性が増す。これは、インタラクティブ内視鏡検査用の使い勝手のよいインターフェースによって可能にされる。術中にラベルを付ける機能は、大量のラベル付き内視鏡検査データを生成する可能性がある。このような量のデータを使用することで、内視鏡視野への術前イメージングの変形し易い位置合わせ及び正確なオーバーレイを改善できる。
【0095】
[00106] また、仮想ラベルの固定ライブラリを自動化プロセスで使用することもできるため、機械学習を使用しなくても、単純な入力を補完して、生の内視鏡画像に仮想アノテーションを追加又は削除することができる。実施形態では、例えば、特定の色の仮想アノテーションで覆われることによって、内視鏡画像の元の特徴を削除できる。
【0096】
[00107] 別の例では、仮想アノテーションを、部分的な入力を補完するのではなく、管理された自動プロセス下で提供できる。例えば、ユーザが内視鏡画像の特定の関心構造を示し、管理された自動プロセスは、分類によって構造を特定し、構造の境界を描出し、構造付近の仮想ラベルのための場所を特定し、構造が移動するにつれて構造を追跡することができる。この実施形態では、単一の初期命令でも仮想アノテーションを実施するために使用できる。
【0097】
[00108] 術中仮想アノテーションを使用できる例としては、ターゲット場所に到達し、場合によってはそれを除去する肺の手術が挙げられる。術中仮想アノテーションはまた、腫瘍切除、リンパ節摘出及び切除、異物除去などにも使用できる。
【0098】
[00109] いくつかの模範的実施形態を参照して、ＶＡＴＳ及び低侵襲手術での術中仮想アノテーションのためのインタラクティブ内視鏡検査について説明したが、これまで使用した言葉は、限定の言葉ではなく、説明及び例示の言葉であることが理解される。ＶＡＴＳ及び低侵襲手術での術中仮想アノテーションのためのインタラクティブ内視鏡検査の範囲及び趣旨から逸脱することなく、現在提示されている及び補正されている添付の特許請求の範囲内で、その態様において、変更を行ってもよい。特定の手段、材料、及び実施形態を参照して、ＶＡＴＳ及び低侵襲手術での術中仮想アノテーションのためのインタラクティブ内視鏡検査について説明したが、ＶＡＴＳ及び低侵襲手術での術中仮想アノテーションのためのインタラクティブ内視鏡検査は、開示された事項に限定されることを意図しておらず、むしろ、ＶＡＴＳ及び低侵襲手術での術中仮想アノテーションのためのインタラクティブ内視鏡検査は、添付の特許請求の範囲内にあるようなすべての機能的に同等の構造、方法、及び使用にまで拡張する。
【0099】
[00110] 本明細書で説明する実施形態の説明図は、様々な実施形態の構造の一般的な理解を提供することを目的としている。説明図は、本明細書で説明する開示のすべての要素及び特徴を完全に説明するものではない。他の多くの実施形態は、本開示を検討した際に、当業者には明らかであろう。本開示の範囲から逸脱することなく、構造的及び論理的な置換や変更を行うことができるなど、他の実施形態を本開示から利用し、派生させることができる。さらに、説明図は、代表的に過ぎず、縮尺どおりではない場合がある。説明図中の特定の割合は誇張されている場合があり、他の割合は最小化されている場合がある。したがって、本開示及び図は、制限的ではなく、例示的なものとみなされるべきである。
【0100】
[00111] 本開示の１つ以上の実施形態は、「発明」という用語によって、便宜上のためだけに、かつ本出願の範囲を自発的に特定の発明又は発明概念に限定することを意図せずに、個別に及び／又は集合的に本明細書で参照され得る。また、本明細書には、特定の実施形態が例示及び説明されているが、同じ又は類似の目的を達成するように設計された後続の配置を、示されている特定の実施形態と置き換えることができることを理解すべきである。本開示は、様々な実施形態の任意のかつあらゆるその後の適応又は変化を対象とすることを意図している。上記の実施形態と、本明細書には具体的には説明されていない他の実施形態との組み合わせは、説明を検討した際に、当業者には明らかであろう。
【0101】
[00112] 本開示の要約書は、３７Ｃ．Ｆ．Ｒ§１．７２（ｂ）に準拠するために提供されており、また、特許請求の範囲又は意味を解釈又は限定するために使用されないという理解の下に提出されている。また、上記の「発明を実施するための形態」では、本開示の合理化を目的として、様々な特徴が単一の実施形態でまとめられたり、説明されたりしている可能性がある。本開示は、請求項に係る実施形態が各請求項で明示的に記載されているものよりも多くの特徴を必要とするという意図を反映しているとして解釈されるものではない。むしろ、以下の特許請求の範囲が示すように、発明の主題は、開示された実施形態のいずれかのすべての特徴よりも少ないものを対象とする可能性がある。したがって、以下の特許請求の範囲は、「発明を実施するための形態」に組み込まれ、各請求項は、請求項に係る個別の主題を定義するものとして自立している。
【0102】
[00113] 開示された実施形態の前述の説明は、当業者であれば誰でも、本開示で説明する概念を実践できるようにするために提供されている。したがって、上記の開示された主題は、制限的ではなく、例示的とみなされる。また、添付の特許請求の範囲は、本開示の真の趣旨及び範囲に該当する、すべてのそのような修正、増強、及び他の実施を対象とすることを目的としている。したがって、法律で認められる最大限の範囲において、本開示の範囲は、以下の特許請求の範囲及びその同等物の許容される最も広範な解釈によって決定されるものとし、前述の詳細な説明によって制限又は限定されるものではない。
【図1】
【図2A】
【図2B】
【図2C】
【図2D】
【図2E】
【図2F】
【図3】
【図4】
【図5A】
【図5B】
【図6】
【国際調査報告】