▶ カール ストルツ エスエー ウント コ．カーゲーの特許一覧
特表2023-552032医療処置中に未検査領域を識別するためのデバイス、システム、及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-12-14
(54)【発明の名称】医療処置中に未検査領域を識別するためのデバイス、システム、及び方法
(51)【国際特許分類】
A61B 34/10 20160101AFI20231207BHJP
G06T 7/00 20170101ALI20231207BHJP
G06V 10/25 20220101ALI20231207BHJP
A61B 34/20 20160101ALI20231207BHJP
G06T 7/521 20170101ALI20231207BHJP
【ＦＩ】
A61B34/10
G06T7/00 612
G06T7/00 350B
G06V10/25
A61B34/20
G06T7/521
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023515244
(86)(22)【出願日】2021-08-31
(85)【翻訳文提出日】2023-05-01
(86)【国際出願番号】 IB2021057956
(87)【国際公開番号】W WO2022049489
(87)【国際公開日】2022-03-10
(31)【優先権主張番号】17/012,974
(32)【優先日】2020-09-04
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＢＬＵＥＴＯＯＴＨ
(71)【出願人】
【識別番号】523079587
【氏名又は名称】カール ストルツ エスエー ウント コ．カーゲー
【氏名又は名称原語表記】ＫＡＲＬ ＳＴＯＲＺ ＳＥ ＆ ＣＯ．ＫＧ
(74)【代理人】
【識別番号】100141955
【弁理士】
【氏名又は名称】岡田 宏之
(72)【発明者】
【氏名】カイプラウンタス，マリオス
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA02
5L096AA06
5L096AA09
5L096BA05
5L096BA06
5L096CA24
5L096DA01
5L096DA03
5L096EA14
5L096FA67
5L096FA69
5L096GA34
5L096GA51
5L096HA05
5L096HA11
5L096JA11
(57)【要約】
少なくとも１つの例示的な実施形態は、命令を含むメモリと、患者の内部領域で臨床医によって実行されている医療処置中に、内部領域の画像データ及び深度データを生成し、医療処置中に、深度データに基づいて患者の内部領域の深度モデルを生成し、深度モデルに基づいて医療処置の画像データが内部領域のセクションの画像データを含まないと判定し、内部領域のセクションが検査されていないことを臨床医に警告する１つ又は複数の警告を生じさせる命令を実行するプロセッサとを含むデバイスを対象とする。
【選択図】図４
【選択図】図４
【特許請求の範囲】
【請求項1】
命令を含むメモリと、患者の内部領域で臨床医によって実行されている医療処置中に、前記内部領域の画像データ及び深度データを生成し、
医療処置中に、深度データに基づいて、患者の内部領域の深度モデルを生成し、
深度モデルに基づいて、医療処置の画像データが内部領域のセクションの画像データを含まないと決定し、及び
内部領域のセクションが検査されていないことを臨床医に警告する１つ又は複数の警告を生じさせる
命令を実行するプロセッサと
を備えるデバイス。
【請求項2】
前記命令は、前記プロセッサに、前記医療処置の前記画像データ及び前記深度モデルに基づいて、前記内部領域の複合モデルを生成させ、及び
前記複合モデル及び前記内部領域の前記セクションに関する情報をディスプレイに表示させる
命令を含む、請求項１に記載のデバイス。
【請求項3】
前記複合モデルは、前記深度モデルに投影された前記医療処置の前記画像データを有する前記内部領域の３次元モデルを含む、請求項２に記載のデバイス。
【請求項4】
前記１つ又は複数の警告は、前記ディスプレイに表示される警告を含む、請求項２に記載のデバイス。
【請求項5】
前記情報は、前記複合モデルの前記内部領域の前記セクションが視覚化されたものを含む、請求項２に記載のデバイス。
【請求項6】
前記情報は、前記臨床医が前記内部領域の前記セクションに医療器具をナビゲートするための視覚的及び/又は聴覚的な合図及び指示を含む、請求項２に記載のデバイス。
【請求項7】
前記命令は、前記プロセッサに、前記内部領域の前記セクションが前記内部領域に一般的であるか又は前記内部領域に固有である別の深度モデルに基づいて関心領域であると決定させる命令を含み、
前記１つ又は複数の警告は、前記内部領域の前記セクションが未検査であることを前記臨床医に通知するための警告を含む、請求項２に記載のデバイス。
【請求項8】
前記命令は、前記プロセッサに、前記患者の前記内部領域内の関心領域を識別する第１の入力を前記臨床医から受信させ、
前記医療処置中に、前記関心領域が検査されたことを示す第２の入力を前記臨床医から受信させる
命令を含む、請求項２に記載のデバイス。
【請求項9】
前記命令は前記プロセッサに、前記臨床医から前記第２の入力を受信した後に、前記関心領域が前記内部領域の前記セクションを含むことを決定させる命令を含み、 前記１つ又は複数の警告は、前記関心領域の前記少なくとも一部が未検査のままであったことを前記臨床医に知らせる警告を含む、請求項８に記載のデバイス。
【請求項10】
前記プロセッサは、前記医療処置に使用される医療器具が前記関心領域に入るという決定に応答して、前記深度モデルを生成する、請求項８に記載のデバイス。
【請求項11】
前記プロセッサは、前記深度モデルの領域において閾値量を超える深度データが欠落している場合、前記画像データが前記内部領域の前記セクションの画像データを含まないと決定する、請求項１に記載のデバイス。
【請求項12】
前記命令は、前記プロセッサに、前記内部領域内の関心領域を決定し、及び、前記関心領域に医療器具をナビゲートするための経路を決定するための第１の機械学習アルゴリズムを実行させ、並びに、
前記内部領域内の前記関心領域にロボットデバイスに前記医療器具をナビゲートするための第２の機械学習アルゴリズムを実行させる
命令を含む、請求項１に記載のデバイス。
【請求項13】
ディスプレイと、 医療器具と、
デバイスとを含み、
デバイスは、
命令を含むメモリと、
患者の内部領域で臨床医によって実行されている医療処置中に、前記内部領域の画像データ及び深度データを生成し、
医療処置中に、深度データに基づいて、患者の内部領域の深度モデルを生成し、
深度モデルに基づいて、医療処置の画像データが内部領域のセクションの画像データを含まないと決定し、及び
内部領域のセクションが検査されていないことを臨床医に警告する１つ又は複数の警告を生じさせる
命令を実行するプロセッサと
を備える、システム。
【請求項14】
前記医療器具は前記画像データを提供する立体カメラを含み、前記深度データは、前記画像データから導出される、請求項１３に記載のシステム。
【請求項15】
前記医療器具は前記深度データを提供する深度センサと、前記画像データを提供する画像センサとを含み、前記深度センサ及び前記画像センサは、重複する視野を有するように前記医療器具上に配置される、請求項１３に記載のシステム。
【請求項16】
前記医療器具が、前記深度データを提供する深度ピクセルと、前記画像データを提供する撮像ピクセルとを含むセンサを含む、請求項１３に記載のシステム。
【請求項17】
内部領域内で医療器具をナビゲートするためのロボット機器をさらに備え、命令は、プロセッサに、
第１の機械学習アルゴリズムを実行させて、内部領域内の関心領域又は関心領域のセットを決定し、及び、関心領域にナビゲートするための経路を決定させ、及び
第２の機械学習アルゴリズムを実行させて、ロボット機器に内部領域内の関心領域にナビゲートさせる
命令を含む、請求項１６に記載のシステム。
【請求項18】
前記プロセッサが前記第２の機械学習アルゴリズムを実行する前に、前記関心領域にナビゲートするための前記経路を承認するために、前記臨床医から入力を受信する入力デバイスをさらに備える、請求項１７に記載のシステム。
【請求項19】
患者の内部領域で臨床医によって実行されている医療処置中に、前記内部領域のための画像データ及び深度データを生成し、前記医療処置中に、前記深度データに基づいて、前記患者の前記内部領域の深度モデルを生成し、
前記深度モデルに基づいて、前記画像データが前記内部領域のセクションのための画像データを含まないと決定し、及び
前記内部領域の前記セクションが検査されていないことを前記臨床医に警告する１つ又は複数の警告を生じさせる
方法。
【請求項20】
さらに、前記深度モデル上に投影された前記医療処置の前記画像データを用いて、前記内部領域の対話型３次元モデルを生成し、及び
前記ディスプレイに、前記対話型３次元モデルと、前記医療処置を実施する臨床医を前記内部領域の前記セクションに導くための視覚的及び/又は聴覚的手がかり及び方向とを表示させる
請求項１９に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
(関連出願の相互参照)
本出願は35 U.S.C. §119(e)の下で、2020年9月4日に出願された「医療処置中に未検査領域を識別するためのデバイス、システム、及び方法」と題する米国特許出願第17/012,974号の優先権を主張し、その全体が参照により本明細書に組み込まれる。
本出願は35 U.S.C. §119(e)の下で、2020年9月4日に出願された「医療処置中に未検査領域を識別するためのデバイス、システム、及び方法」と題する米国特許出願第17/012,974号の優先権を主張し、その全体が参照により本明細書に組み込まれる。
【0002】
本開示は、概して、医療処置中に未検査領域を識別するためのデバイス、システム、及び方法を対象とする。
【背景技術】
【0003】
現代の医療処置は、解剖学的構造をナビゲートして処置を行う臨床医をするのを支援するためにリアルタイムで表示される処置のビデオ及び/又は静止画像で、カメラ支援され得る。場合によっては、解剖学的構造の領域が、例えば、解剖学的構造の大きな領域が非常に類似して見えるため、未検査のままにされる。他の場合には、解剖学的構造における明確な特徴の欠如による混乱が、解剖学的構造の一部を未検査のままにすることにつながり得る。
【発明の概要】
【0004】
少なくとも１つの例示的な実施形態は、命令を含むメモリと、患者の内部領域で臨床医によって実行されている医療処置中に、内部領域の画像データ及び深度データを生成し、医療処置中に、深度データに基づいて患者の内部領域の深度モデルを生成し、深度モデルに基づいて医療処置の画像データが内部領域のセクションの画像データを含まないと判定し、内部領域のセクションが検査されていないことを臨床医に警告する１つ又は複数の警告を生じさせる命令を実行するプロセッサとを含むデバイスを対象とする。
【0005】
少なくとも１つの例示的な実施形態は、ディスプレイと、医療器具と、デバイスとを含むシステムを対象とする。装置は、命令を含むメモリと、患者の内部領域で臨床医によって実行されている医療処置中に、内部領域の画像データ及び深度データを生成し、医療処置中に、深度データに基づいて患者の内部領域の深度モデルを生成し、深度モデルに基づいて医療処置の画像データが内部領域のセクションの画像データを含まないと判定し、内部領域のセクションが検査されていないことを臨床医に警告する１つ又は複数の警告を生じさせるための命令を実行するプロセッサとを含む。
【0006】
少なくとも１つの例示的な実施形態は、患者の内部領域で臨床医によって実行されている医療処置中に、内部領域の画像データ及び深度データを生成し、医療処置中に、深度データに基づいて患者の内部領域の深度モデルを生成し、深度モデルに基づいて、画像データが内部領域のセクションのための画像データを含まないと判定し、及び、内部領域のセクションが検査されていないことを臨床医に警告する１つ又は複数の警告を生じさせる方法を対象とする。
【図面の簡単な説明】
【0007】
【図1】少なくとも１つの例示的な実施形態によるシステムを示す。
【図2】少なくとも１つの例示的な実施形態による医療器具のための例示的な構造を示す。
【図3】少なくとも１つの例示的な実施形態による方法を示す。
【図4】少なくとも１つの例示的な実施形態による方法を示す。
【図5】少なくとも１つの例示的な実施形態による医療処置のためのワークフローを示す。
【図6】少なくとも１つの例示的な実施形態による例示的な出力デバイスを示す。
【発明を実施するための形態】
【0008】
内視鏡及び解剖学的構造を撮像するための他の医療器具は、限られた視野を有し、解剖学的構造内のより大きな視野領域を撮像するために内視鏡を操作することをユーザに要求する。場合によっては、解剖学的構造の領域が、例えば、解剖学的構造の領域が互いに類似しているように見えるため、未検査のままにされる。解剖学的構造における明確な特徴の欠如による混乱もまた、解剖学的構造の一部を未検査のままにすることにつながり得る別の例である。
【0009】
本発明の概念は、解剖学的構造の標的領域が完全に検査されることを確実にすることが重要である、解剖学的撮像システム及び診断手順に関する。例えば、本発明の概念は、未検査領域を識別し、示すことによって、内視鏡、又は、他の医療処置における解剖学的構造の視覚的検査を支援するシステムを対象とする。システムは、撮像センサによってどのくらいの解剖学的構造が検査又は撮像されたかについての情報を生成するために、ならびに検査されなかった関心領域についての情報(例えば、位置、形状、サイズなど)を提供するために使用され得る。例えば、システムは、異常について検査されることが意図された全ての解剖学的構造が、実際に検査されたことを保証するために、外科医又は臨床医を支援することができる。このシステムは、大腸内視鏡検査、気管支鏡検査、喉頭鏡検査などのような処置に有用である。
【0010】
一般に、本発明の概念は、深度データ及び視覚撮像データを生成し、(既知のアライメント及び/又はマッピング動作を使用して)それらを組み合わせて、視覚化を生成し、撮像システムによって撮像された及び撮像されなかった解剖学的構造の部分を示すために使用され得る警告をトリガすることを含む。視覚化及び警告は検査されることが意図された領域を未検査のままにするリスクを軽減するのを助けるために、検査されていない、又は、撮像されていない領域についての情報(実際の又は相対的な位置、領域、形状など)を提供する。
【0011】
3D深度モデルをグラフ化/構築することによって、解剖学的構造内の、撮像センサによってカラーで撮像されていない領域を識別することができる。例えば、３Ｄ深度モデル自体における不連続状態(例えば、欠落データ)は、不連続状態の周囲の領域がカラー画像センサによって撮像されていないことを示すことができる。
【0012】
少なくとも１つの例示的な実施形態では、一般的な３Ｄモデルが(例えば、他の患者から取得された深度データから)事前に生成され、検査されるべき解剖学的構造の一般領域を選択するために使用され得る。次いで、警告は、選択された領域が完全に検査されたか否かを示すことができ、同様に、全体的な領域のどれだけが未検査のままにされたか、未検査のままにされた領域(盲点)の数、及びそれらの欠落領域がどこに位置するかの、測定値、及び/又は、示唆を提供することができる。
【0013】
事前に生成された一般的な３Ｄモデルがない場合であっても、ユーザ又は臨床医は、一般的な関心領域が何であるかを示し、内視鏡がその一般的な関心領域に到達すると、本発明の概念のマッピング及び測定システムによって必要な情報の生成を開始する能力を有することができる。また、ユーザは、内視鏡が一般的な関心領域の端部に到達した時点を示すことができ、次いで、関心領域が完全に検査されたかどうか、どのくらいの量が検査されたか、いくつのサブ領域が検査されなかったか(盲点)などを示すために使用され得る追加のメトリックの生成を可能にすることができる。
【0014】
本発明の概念の追加の特徴は、ユーザが３Ｄ空間をナビゲートして、まだ検査されていない、又は見逃された領域に到達するのを助けることができる。これは、ディスプレイモニタにグラフィックス(矢印)、オーディオ命令(例えば、「前進を続ける」、「未検査領域が左側にある」など)を追加することによって行うことができる。
【0015】
医療用内視鏡検査の場合、解剖学的構造内の領域が完全に検査されたかどうかを決定するために２Ｄ画像データのみに依存することは、深度データも使用することよりも信頼性が低い。例えば、２Ｄ視覚データを使用することは、反射、過剰露出、煙などの影響を受けやすい。しかしながら、深度カメラの視野を超える平坦な表面が人間の解剖学的構造内に非常に少ないか、又は全くないので、深度データは、解剖学的構造をマッピングするのに有用であり、深度データが、領域が完全に検査されたかどうかを確実に決定することができない場合を低減又は排除する。
【0016】
したがって、本発明の概念は視覚撮像データならびに深度データを同時に、又は時間合わせされた方法で生成し、視覚撮像データを深度データと整列させ、及び/又は一方のデータセットを他方にマッピングし、深度データを使用してシーンの３Ｄモデルを生成し、深度データが存在しないモデルの部分として３Ｄモデル内の不連続状態(欠落データ)を識別し、撮像センサによって撮像されなかったシーンのこれらの部分を推測する(すなわち、画像/視覚データが欠落している領域を識別する)システム、方法、及び/又はデバイスに関する。本発明の概念は画像化された領域、画像化されなかった領域、それらの位置、それらの形状、見逃された領域の数などに関する情報をユーザに提供するために、視覚化、警告、測定などを作成することができる。
【0017】
さらに、本発明の概念は深度及び画像/視覚データを使用して、例えば、対応する深度データ情報を使用して２Ｄ視覚又は画像データを３Ｄ深度モデル上に投影又はオーバーレイすることによって、シーンの視覚コンテンツの３Ｄ再生又は合成３Ｄモデルを作成することができる。少なくとも１つの例示的な実施形態は、３Ｄ複合モデル及び/又は深度モデルを対話的に回転させるオプションをユーザに提供する。深度モデルのための深度マップ表現は、深度データ、及び任意選択で、画像/視覚データを使用して作成することができる。一例として、関心のある特定のシーンについて、北、南、東、西からのビューを有する４つの対応する深度マップ図を生成することができ、４つのビューはすべて、単一の３Ｄ深度モデルから導出される。上述のように、例示的な実施形態によるシステムは画像化又は検査されていない解剖学的構造の部分を識別するために、データが欠けている３Ｄモデル内の領域を識別する。
【0018】
少なくとも１つの例示的な実施形態では、深度及び/又は撮像カメラを有する内視鏡又は他の器具の現在の位置を、撮像されていない解剖学的構造の部分にユーザをナビゲートするのを助けるために、３Ｄ深度モデル上に示すことができる(すなわち、「ここにいる」特徴)。オプションとして、システムは解剖学的構造のどの領域が撮像されていないかを記述するメトリックを計算し、ユーザに報告することができる。例えば、これは、撮像された領域内の複数のギャップ(例えば、撮像されなかったサブ領域の数、各サブ領域のサイズ、サブ領域間の最短距離など)に基づくことができる。これらのメトリックは、次いで、ユーザのための警告、例えば、特定の領域が検査されていないという音声及び/又は視覚警告を生成するために使用され得る。
【0019】
少なくとも１つの例示的な実施形態では、システムが失われた領域に関する情報を使用して、主又は第２のライブビューモニタ上に視覚化を生成し、これは撮像/検査されていない解剖学的構造の領域にユーザをナビゲートするのを助けることができる。例えば、矢印などのグラフィックスをライブビデオデータ上にオーバーレイし、未検査領域の方向(例えば、矢印の方向)及び距離(例えば、矢印の長さ又は矢印の色)を指すために使用することができる。ここで、ユーザは見逃された/調べられなかった領域のうちの１つを選択し、その特定の領域にユーザをナビゲートするのを助けるようにシステムに指示するオプションを有することができる。少なくとも１つの例示的な実施形態では、解剖学的構造の３Ｄ事前生成モデル(例えば、汎用モデル)を使用して、外科的処置が行われる前に検査される必要がある解剖学的構造の領域をユーザが示すことを可能にすることができる。次いで、検査されることが意図された領域と実際に検査された領域との間の差に基づいて、表示、視覚化、及び/又は警告を生成することができる。
【0020】
少なくとも１つの例示的な実施形態では、システムがニューラルネットワーク又は他の機械学習アルゴリズムを使用して、特定のタイプの手順で検査されるべき領域を(複数の手動で実行される手順を使用して)学習する。これは、任意の領域が、画像化/検査されていない、又は検査されるべきか否かを決定するのに役立ち得る。システムは、未検査の領域が検査されるべき領域であると決定されるときはいつでも、ユーザへの警告/通知を生成することができる。
【0021】
少なくとも１つの例示的な実施形態では、ロボットアームが例えば、３Ｄ深度マップ情報を使用し、カメラを有する内視鏡又は他のデバイスを、まだ撮像されていない関心領域へ案内/ナビゲートすることができる、デバイスの内視鏡システムに含まれ得る。例えば、ロボットアームを用いて、ユーザは、システムがナビゲートすべき関心領域を選択することができ、機械学習を使用するアルゴリズムはユーザの介在なしで、又は最小限のユーザの介在で、このナビゲーションを自動的に実行するために事前訓練され、使用されることができる。システムは第２の機械学習アルゴリズムを使用して、まだ撮像されていないすべての関心領域が可能な限り短い時間で撮像され得るように、最も効率的なナビゲーション経路を作成し、推奨することができる。次いで、ユーザはこの経路を承認することができ、ロボットアームは、この経路に沿ってカメラを有する内視鏡又は他のデバイスを自動的にナビゲート/移動させる。そうでなければ、ユーザは最も効率的な経路に対する推奨を無効にし、ロボットアームがナビゲートすべき関心領域を選択することができる。
【0022】
上述のように、深度及び画像/視覚情報は、深度及び視覚撮像データの両方を同時に捕捉する撮像センサを使用することによって生成することができる。これは、２つのタイプのデータの整列、又は一方のタイプのデータから他方のタイプのデータへのマッピングを単純化する有用なアプローチである。このタイプのセンサの例は、AR430 CMOSセンサである。少なくとも１つの例示的な実施形態では、システムが第１の深度センサ(例えば、LIDAR)を使用して深度データを収集し、第２の撮像センサを使用して画像データを生成する。次いで、画像データ及び深度データは、それらを整列させるか、又は一方のデータセットから他方のデータセットへのマッピングを推測するかのいずれかによって組み合わされる。これにより、システムはどの画像データが取得された深度データに対応するかを推測することができ、オプションで、視覚データを３Ｄ深度モデル上に投影することができる。少なくとも１つの他の例示的な実施形態では、システムがシーンの視覚/画像データのステレオキャプチャを生成するために、立体写真構成で２つの撮像センサを使用し、システムは、次いで、それを使用して、ステレオ画像データから深度情報を推測することができる。
【0023】
上述のように、例示的な実施形態は、撮像又は検査されていない解剖学的構造の領域を識別することができる。これは、３Ｄ(深度)モデルを作成し、モデル内の不連続性又は欠落した深度情報を識別する(すなわち、深度データが存在しない３Ｄモデルの領域を識別する)ことによって達成される。オプションとして、深さ情報における前述の不連続性に基づいて、システムは例えば、欠落データを有する領域を示す視覚化をディスプレイ上に生成することによって、どの画像/視覚情報が欠落しているかも推測することができる。深度データが画像データよりもまばらでない場合、深度センサの解像度は、画像データが本当に欠けているかどうかを決定するために考慮される。
【0024】
欠落/未検査領域を検査すべきかどうかを決定するために、システムはユーザが検査している領域(例えば、閉塞領域)内のギャップを識別することができる。オプションとして、システムは、関心領域全体についてのユーザーからの入力を使用する。ユーザ入力は、一般的な３Ｄ深度モデル上の関心領域を識別する形態であってもよい。少なくとも１つの例示的な実施形態では、システムが機械学習アルゴリズム又はディープニューラルネットワークを使用して、経時的に、及び複数の手動で実行される手順にわたって、特定の種類の手順ごとに検査されるべき領域を学習する。次いで、システムはこの情報を、ユーザによって実際に検査されている領域と比較して、画像化/検査されていない任意の領域が、検査されるべきか否かを決定することができる。
【0025】
解剖学的構造の３Ｄ事前生成モデルを使用する場合、システムは、３Ｄ事前生成モデルをリアルタイムで生成されている３Ｄモデルにマッピングするために、既知の直接又は推測されたマッピング方式を使用して、内視鏡又は他のカメラデバイスの位置を決定し得る。この場合、内視鏡は、現在の位置情報を提供する追加のセンサを含むことができる。これらの追加のセンサは磁力計、ジャイロスコープ、及び/又は加速度計を含み得るが、これらに限定されない。これらのセンサからの情報の精度は例えば、ユーザが３Ｄ事前生成モデル上で一般的な関心領域を示したときには、正確である必要はない。推定された位置が十分に正確でない場合であっても、予め生成されたモデルにおける選択された領域は、関心領域が依然として完全に検査されることを保証するために拡張され得る。追加的又は代替的に、解剖学的構造内の特定の特徴を識別し、関心点として使用して、内視鏡が、３Ｄ事前生成モデルを使用して設定された関心領域に進入及び退出する時点を決定することができる。これらの特徴により、ユーザは関心領域がどこで始まり、どこで終わるべきか(例えば、管腔の始まりと終わり)について、何らかの既知の指示/合図を得ることができる。深度データに加えて、３Ｄ事前生成モデルはライブ深度モデルを事前生成深度モデルと整列させる特徴マッチング動作を支援するために、基準画像/視覚データを含むこともできる。したがって、深度及び画像データの両方が、特徴的なマッチング及びマッピング動作のために使用され得る。
【0026】
上述のように、３Ｄ事前生成モデルは、以前に実行された医療処置から生成された多数の他の深度モデルから取得されてもよい。しかしながら、例示的な実施形態は、それに限定されず、代替的な方法を使用して、３Ｄ事前生成モデルを作成することができる。例えば、予め生成されたモデルは、外科的処置の前の解剖学的構造のコンピュータ断層撮影(CT)スキャンなどの異なるモダリティから導出されてもよい。この場合、CTスキャンが同じ患者のものである場合、３Ｄ事前生成モデルは、患者によりカスタムであってもよく、又は患者に固有であってもよい。ここで、CTスキャンのデータは、医療処置のリアルタイム深度データ及び/又は画像データと互いに、関連させられる。
【0027】
前述及び以下の説明を考慮して、例示的な実施形態は例えば、内視鏡処置及び解剖学的構造の内部の他の処置において、解剖学的構造の視覚的検査を支援するシステムを提供することを理解されたい。例えば、例示的な実施形態によるシステムは医療処置中に未検査領域を識別し、示すが、これは検査された領域全体におけるギャップ、又は所定の領域もしくは予め選択された領域におけるギャップの形態をとり得る。システムは、警告、メトリック、及び/又は視覚化を生成して、未検査領域に関する情報をユーザに提供することができる。例えば、システムは、未検査領域にユーザをナビゲートするためのナビゲーション命令を提供することができる。３Ｄ事前生成モデルは、ユーザが関心領域を指定するのを支援することができる。システムは、深層学習アルゴリズムを使用して、各特定の外科的処置について検査されるべき領域を学習し、次いで、領域が見逃されたときはいつでも、学習された領域を実際に撮像/検査されている領域と比較して、ユーザのためのライブ警告を生成することができる。少なくとも１つの例示的な実施形態では、システムは、内視鏡を保持するロボットアームと、ロボットアームを制御する機械学習アルゴリズムと、ロボットアームを識別し、内視鏡の現在の位置から検査されていない関心領域まで、又は検査されていない関心領域のセットまで、及び検査されていない関心領域のセットを通して、最も効率的/最も速い経路を辿るようにロボットアームに命令する別の機械学習アルゴリズムとを使用する。これらの利点及び他の利点は、以下の説明から明らかになるのであろう。
【0028】
図１は、少なくとも１つの例示的な実施形態によるシステム100を示す。システム100は、出力デバイス104、ロボットデバイス108、メモリ112、プロセッサ116、データベース120、ニューラルネットワーク124、入力デバイス128、マイクロフォン132、カメラ136、及び医療器具又はツール140を含む。
【0029】
出力デバイス104は、液晶ディスプレイ(LCD)、発光ダイオード(LED)ディスプレイなどのディスプレイを含み得る。出力デバイス104は、スタンドアロンディスプレイ、又はスマートフォン、ラップトップ、タブレットなどの別のデバイスの一部として一体化されたディスプレイであり得る。単一の出力デバイス104が示されているが、システム100はシステム設計に従って、より多くの出力デバイス104を含むことができる。
【0030】
ロボットデバイス108は、システム100内の医療処置をロボットで支援することができる既知のハードウェア及び/又はソフトウェアを含む。例えば、ロボットデバイス108は器具140に機械的に取り付けられ、プロセッサ116と電気的に通信し、それによって制御可能なロボットアームであってもよい。ロボットデバイス108は、３Ｄ深度マップ情報を消費又は受信し、まだ撮像されていない関心領域(ROI)に器具140を誘導/ナビゲートすることができる、システム100のオプションの要素であり得る。例えば、ロボットデバイス108がロボットアームである場合、ユーザ(例えば、臨床医)は、システムがナビゲートすべきROIを選択することができ、ロボットアームは、機械学習に基づくアルゴリズムを使用して、事前にトレーニングされ、ユーザの関与をほとんど又は全く伴わずに、このナビゲーションを自動的に実行するために使用され得る。さらに、第２の機械学習アルゴリズムを使用して、最も効率的なナビゲーション経路を作成し、推奨することができ、その結果、まだ撮像されていないすべてのROIを、可能な限り最短の時間で撮像することができる。次いで、ユーザはこの経路を承認することができ、ロボットアームは、この経路に沿って器具140を自動的にナビゲート/移動する。そうでなければ、ユーザは最も効率的な経路に対する推奨を無効にし、ロボットアームがナビゲートすべき関心領域を選択することができる。
【0031】
メモリ112は、プロセッサ116によって実行可能な命令を含むコンピュータ可読媒体であり得る。メモリ112は、任意のタイプのコンピュータメモリデバイスを含んでもよく、本質的に揮発性又は不揮発性であってもよい。いくつかの実施形態では、メモリ112が複数の異なるメモリデバイスを含み得る。メモリ112の非限定的な例は、ランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、フラッシュメモリ、電気的に消去可能なプログラマブルROM(EEPROM)、ダイナミックRAM(DRAM)などを含む。メモリ112はプロセッサ120がシステム100の様々な要素を制御し、データを、たとえば、データベース120に記憶し、データベース120から情報を取り出すことを可能にする命令を含み得る。メモリ112はプロセッサ116にローカルであり(たとえば、それと統合され)、及び/又はプロセッサ116とは別個であり得る。
【0032】
プロセッサ116は、１つ又は多数のコンピュータ処理デバイスに対応し得る。たとえば、プロセッサ116は、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、任意の他のタイプの集積回路(IC)チップ、ICチップの集合、マイクロコントローラ、マイクロコントローラの集合などとして提供され得る。より具体的な例として、プロセッサ116は、マイクロプロセッサ、中央処理ユニット(CPU)、及び/又はグラフィック処理ユニット(GPU)、又はメモリ112に記憶された命令セットを実行するように構成された複数のマイクロプロセッサとして提供され得る。プロセッサ116は、メモリ112に記憶された命令を実行すると、システム100の様々な機能を可能にする。
【0033】
データベース120は、上述のメモリ112と同一又は類似の構造を含む。少なくとも１つの例示的な実施形態では、データベース120がリモートサーバに含まれ、ニューラルネットワーク124を訓練するための訓練データを記憶する。データベース120に含まれ、ニューラルネットワーク124を訓練するために使用される訓練データは、以下でより詳細に説明される。
【0034】
ニューラルネットワーク124は人工知能(Al)に関連する機能を実行することが可能であり、メモリ112と同じ又は類似の構造を有するメモリ上で命令を実行するプロセッサ116と同じ又は類似の構造を有する、1つ又は複数のコンピュータ処理デバイスによって実装される人工ニューラルネットワーク(ANN)であり得る。たとえば、ニューラルネットワーク124は機械学習又はディープラーニングを使用して、入力のセット(たとえば、入力の同様のセット)に基づく出力のセットの精度を経時的に改善する。したがって、ニューラルネットワーク124は、教師あり学習、教師なし学習、強化学習、自己学習、及び/又は任意の他のタイプの機械学習を利用して、入力のセットに基づいて出力のセットを生成することができる。ニューラルネットワーク124の役割は、以下でより詳細に論じられる。ここで、データベース120及びニューラルネットワーク124は、システム100の残りの要素から離れたサーバ又は他のコンピューティングデバイスによって実装され得ることを理解されたい。
【0035】
入力デバイス128は、システム100へのユーザ入力を可能にするハードウェア及び/又はソフトウェアを含む。入力デバイス128は、キーボード、マウス、タッチセンシティブパッド、タッチセンシティブボタン、ディスプレイのタッチセンシティブ部分、機械的ボタン、スイッチ、及び/又はシステム100に、システム100の特定の機能のユーザ制御を可能にするユーザ入力を提供する他の制御要素を含むことができる。
【0036】
マイクロフォン132は、システム100内のオーディオ信号の検出及び収集を可能にするためのハードウェア及び/又はソフトウェアを含む。例えば、マイクロフォン132は臨床医の声、医療器具(例えば、医療器具140)の起動、及び/又は手術室内の他の音声の収集を可能にする。
【0037】
カメラ136は、医療処置のビデオ、画像、及び/又は深度情報の収集を可能にするためのハードウェア及び/又はソフトウェアを含む。少なくとも１つの例示的な実施形態では、カメラ136が患者の身体上で行われている医療処置のビデオ及び/又は静止画像をキャプチャする。内視鏡検査、関節鏡検査などで知られているように、カメラ136は身体に入り、処置のリアルタイムビデオを撮影して、臨床医が処置を実行し、及び/又は診断を行うのを支援するように設計され得る。少なくとも１つの他の例示的な実施形態では、カメラ136が外部医療処置のビデオを撮影するために、患者の体外に留まる。システム設計に応じて、より多くのカメラ136を含めることができる。例えば、少なくとも１つの例示的な実施形態によれば、カメラ136は画像データ(例えば、２次元カラー画像)をキャプチャするためのカメラと、３次元深度モデルを作成するために深度データをキャプチャするためのカメラとを含む。カメラ136の詳細は、図２を参照して以下でより詳細に論じられる。
【0038】
器具又はツール140は患者に対する医療処置の実行を支援するために、臨床医及び/又はロボットデバイス108によって制御することができる医療器具又は医療ツールであってもよい。カメラ136は、例えば内視鏡の場合、器具140と一体化されてもよい。しかしながら、例示的な実施形態はこれに限定されず、器具140は医療処置に応じて、カメラ136とは別個であってもよい。１つの器具140が示されているが、医療処置のタイプに応じて、追加の器具140がシステム100内に存在してもよい。さらに、器具140は、患者の身体の外部及び/又は内部で使用するためのものであってもよいことを理解されたい。
【0039】
図１はシステム100内の様々な要素を互いに別個のものとして示しているが、必要に応じて、要素の一部又は全部を互いに一体化することができることを理解されたい。たとえば、単一のデスクトップ又はラップトップコンピュータは出力デバイス104(たとえば、ディスプレイ)、メモリ112、プロセッサ116、入力デバイス128、及びマイクロフォン132を含み得る。別の例では、ニューラルネットワーク124がAl動作がリモートではなくローカルで実行されるように、プロセッサ116とともに含まれ得る。
【0040】
さらに、システム100内の各要素は、システム100内の他の要素との通信を可能にする1つ又は複数の通信インターフェースを含むことを理解されたい。これらの通信インターフェースは、互いにデータ及び制御信号を交換するための有線及び/又は無線通信インターフェースを含む。有線通信インターフェース/接続の例は、イーサネット(登録商標)接続、HDMI(登録商標)接続、PCI/PCIe規格及びSATA規格に準拠する接続などを含む。無線インターフェース/接続の例は、Wi-Fi接続、LTE接続、Bluetooth接続、NFC接続などを含む。
【0041】
図２は、少なくとも１つの例示的な実施形態による、その上に取り付けられた１つ以上のカメラ136を含む医療器具140のための例示的な構造を示す。上述のように、医療器具140は、深度画像又は深度モデルを生成するためのカラー画像及び/又は深度データを生成するための画像データを収集するための１つ又は複数のカメラ又はセンサを含み得る。図２は、医療器具140aの一端144に配置された２つのカメラ136a及び136bを含む医療器具140aの第１の例示的な構造を示す。カメラ136aは画像データを生成し、提供するための画像センサを有する撮像カメラ、及び深度データを生成し、提供するための深度センサを有する深度カメラ136bであってもよい。カメラ136aは色情報(たとえば、RGB色情報)を含むカラー画像を生成することができ、一方、カメラ136bは、色情報を含まない深度画像を生成し得る。
【0042】
図２は、カメラ136a及び136bが医療器具140bの端部144の先端又は端面148上に配置される、医療器具140bの別の例示的な構造を示す。両方の例示的な医療器具140a及び140bにおいて、カメラ136a及び136bは、重複する視野を有するように医療器具上に配置される。例えば、カメラ136a及び136bは図示のように、必要に応じて、垂直方向に又は水平方向に、互いに位置合わせされる。また、撮像カメラ136aは、デザインの好みに応じて、深度カメラ136bと位置を入れ替えてもよい。重複する視野の量は、経験的証拠及び/又は好みに基づく設計パラメータセットであり得る。
【0043】
深度カメラ136bは、距離又は深度検出を可能にするためのハードウェア及び/又はソフトウェアを含むことを理解されたい。深度カメラ136bは、飛行時間(TOF)原理に従って動作することができる。したがって、深度カメラ136bは対象物から反射し、次いで深度センサのピクセルによって感知される光(たとえば、赤外(IR)光)を放出する光源を含む。たとえば、深度カメラ136bは、直接TOF又は間接TOF原理に従って動作し得る。直接TOF原理に従って動作するデバイスは、放射光と、対象物から受け取った反射光との間の実際の時間遅延を測定し、間接TOF原理に従って動作するデバイスは、放射光と、対象物から受け取った反射光との間の位相差を測定し、時間遅延は、次いで、位相差から計算される。いずれにしても、光源からの光の放出とセンサでの反射光の受光との間の時間遅延は、深度センサのピクセルと対象物との間の距離に対応する。深度カメラ136の具体例は、LIDARを用いたものである。次いで、既知の技術に従って、対象物の深度モデルを生成することができる。
【0044】
図２は、画像データ及び深度データをキャプチャすることが可能な複合カメラ136bを含む医療器具140cの第３の例示的な構造を示す。画像及び深度センサの組み合わせ136cは、器具140cの先端148上に配置されてもよい。カメラ136cは、深度データを提供する深度ピクセルと、画像データを提供する撮像ピクセルとを含み得る。医療器具140bと同様に、医療器具140cは深度ピクセルによる深度データの収集を可能にするために、光(例えば、IR光)を放射する光源をさらに含む。撮像ピクセル及び深度ピクセルの１つの例示的な配列はベイヤー（Bayer）フィルタ構成におけるピクセルの2x2アレイを有するカメラ136cを含み、通常緑色カラーフィルタを有する各2x2アレイにおけるピクセルのうちの１つが、IR光を感知する深度ピクセルと置き換えられる。各深度ピクセルは、IR光を通過させ、可視光を遮断するフィルタを有することができる。しかしながら、例示的な実施形態は、それに限定されず、設計の好みに応じて、深度ピクセル及び画像ピクセルのための他の構成が可能である。
【0045】
医療器具140aのために明示的に示されていないが、画像及び深度感知能力を有する単一のカメラ136cがカメラ136a及び136bの代わりに、器具140aの先端144上で使用され得ることを理解されたい。加えて、少なくとも１つの例示的な実施形態では、例えば、機器140a又は機器140b内のカメラ136bが別のカメラ136aと置き換えられて、画像データのみを収集する２つのカメラ136aから立体カメラを形成するシナリオにおいて、深度データが画像データから導出され得る。深度データは、例えば、同時に取得された、一方のカメラ136aからの第１の画像、及び、他方のカメラ136aからの第２の画像から、視差マップを生成することによって、既知の技術に従って立体カメラから導き出すことができる。
【0046】
ここで、追加のカメラ136a、136b、及び/又は136cが、設計の好みに応じて、医療器具140上及び任意の配置で含まれ得ることを理解されたい。様々な他のセンサが医療器具140に含まれてもよいことも理解されたい。そのような他のセンサは、医療器具140の位置及び/又は向きの方向を推定するために使用され得る、磁力計、加速度計、及び/又は同様のものを含むが、これらに限定されない。
【0047】
図３は、少なくとも１つの例示的な実施形態による方法300を示す。一般に、方法300は、図１からの１つ又は複数の要素によって実行され得る。たとえば、方法300は、システム100の他の要素からの様々な入力に基づいてプロセッサ116によって実行される。しかしながら、方法300は例えば、当業者によって認識されるように、プロセッサ116又は別の要素の制御下で、システム100内の追加の又は代替の要素によって実行され得る。
【0048】
動作304において、方法300は患者の内部領域で臨床医によって実行されている医療処置中に、内部領域の画像データ及び深度データを生成することを含む。画像データ及び深度データは、任意の既知の技術に従って生成される。例えば、上述のように、画像データはカメラ136a又はカメラ136cによってキャプチャされた医療処置のカラー画像及び/又はビデオを含むことができ、深度データは、カメラ136b又はカメラ136cによってキャプチャされた医療処置の深度画像及び/又はビデオを含むことができる。少なくとも１つの例示的な実施形態では、深度データが画像データから、例えば、立体構成の２つのカメラ136a(又は単一のカメラ136aでさえも)の画像データから導出される。深度データは、任意の既知の方法で画像データから導出されてもよい。
【0049】
動作308において、方法300は、深度データに基づいて内部領域の深度モデル又は深度マップを生成することを含む。例えば、深度モデルは、１つ又は複数のカメラ136からプロセッサ116によって受信された深度データを使用して、医療処置中に生成される。深度モデルを生成するために、任意の既知の方法を使用することができる。少なくとも１つの例示的な実施形態では、深度モデルは、医療処置に使用される医療器具140が大まかな関心領域に入るという決定に応答して生成される。
【0050】
動作312において、方法300は、深度モデルに基づいて、医療処置の画像データが内部領域のセクションの画像データを含まないと決定することを含む。例えば、プロセッサ116は、深度モデルの領域において閾値量を超える深度データが欠けているとき、画像データが内部領域のセクションについての画像データを含まないと判定する。深度データの閾値量及び深度モデルにおける領域のサイズは、経験的証拠及び/又は好みに基づく設計パラメータである。深度データが欠落している領域は、深度モデルにおける単一領域であってもよい。少なくとも１つの例示的な実施形態では、深度データが欠落している領域は、深度データがない領域の間に点在する深度データを有する領域を含み得る。領域のパラメータ(例えば、サイズ、形状、連続性)及び/又は深度データの閾値量は医療処置中に可変及び/又は選択可能であってもよく、例えば、内部領域内の医療器具140の位置に応じて自動的に変化し得る。例えば、医療器具140が内部領域の既知の関心領域に接近又は進入すると、深度データの閾値量及び/又は領域パラメータは、一般に関心のない領域よりも欠落データに対してより敏感であるように調整され得る。これは、さらに、関心領域が完全に検査されることを確実にする一方で、関心のない領域に対する不要な警告及び/又は処理リソースを低減することができる。
【0051】
少なくとも１つの例示的な実施形態では、臨床医が深度モデルにオーバーレイ又はマッピングされた画像データを含む、同時に表示される複合３Ｄモデルに基づいて、画像データが欠落していることを確認又は不確定にすることができる。例えば、臨床医は、複合3Dモデルが、深度データの欠如をシステムが検出した領域に画像データを含むかどうかを見ることができる。複合３Ｄモデルの詳細は、以下でより詳細に論じられる。
【0052】
動作316において、方法300は、患者の内部領域に一般的であるか、患者の内部領域に特有であるか、又はその両方であり得る別の深度モデルを調べる。別の深度モデルは、オーバーレイされた画像データを有する又は有さない３Ｄモデルであってもよい。例えば、内部領域が患者の食道である場合、一般的な深度モデルは、データベースから受信された一般的な食道のモデルであってもよい。一般的なモデルは他の医療処置中に１人又は複数の他の患者の内部領域(例えば、食道)から取得された深度及び/又は画像データに基づいてモデル化され得る。したがって、一般的なモデルは、患者の解剖学的構造に基づく、医療処置中に生成される深度モデルの近似であり得る。少なくとも１つの例示的な実施形態では、一般的な深度モデルが例えば、現在の患者の深度及び/又は画像データが内部領域上の以前の医療処置から存在する場合、現在の患者の内部領域の深度データを含むことができる。
【0053】
現在の患者に関する以前の医療処置が深度及び/又は画像データを生成した場合、動作316における別の深度モデルは現在の患者に完全に固有であり得る(すなわち、他の患者からのデータに基づかない)。少なくとも１つの例示的な実施形態では、別の深度モデルが患者に固有の画像及び/又は深度データ、ならびに一般的な画像及び/又は深度データを含む。例えば、患者に固有のデータが存在するが、不完全である場合、一般的なモデルからのデータを適用して、患者固有のデータのギャップを埋めることもできる。別の深度モデルは、動作316において、又は動作304から312内もしくはその前の何らかの他の点において、受信及び/又は生成され得る。
【0054】
動作316で調べられる別の深度モデルは医療処置中に内部領域の画像化されていない領域を識別するのを支援するために、予め選択された関心領域を有することができる。図４を参照して以下でより詳細に論じられるように、関心領域は医療処置の前に、又は医療処置中に(たとえば、別の深度モデルを表示するタッチディスプレイを使用して)臨床医によって選択され得る。関心領域は別の深度モデル上でのラベリング又は方向の支援の有無にかかわらず選択されることができ、そのようなラベリング又は方向はニューラルネットワーク124を使用して、及び/又は臨床医からの入力を使用して生成される。たとえば、別の深度モデルを生成した履歴画像及び/又は深度データを使用して、ニューラルネットワーク124は、方法300を支援することができる1つ又は複数の他の結論に到達するために、履歴データ及びそこから引き出された既知の結論を分析することによって、既知の問題領域(たとえば、既存の病変、成長など)及び/又は既知の可能性のある問題領域(たとえば、病変、成長などがしばしば現れる領域)を識別することを支援することができる。関心領域は、方法が完全に自動化されるか、又はユーザ制御されることを可能にするように、臨床医の支援の有無にかかわらず、ニューラルネットワーク124によって識別され得る。
【0055】
動作320において、方法300は、動作312において画像データを有さないと決定されたセクションが関心領域であるかどうかを決定する。例えば、方法300は上述の追加のセンサを使用して内部領域内の医療器具140の位置を決定し、決定された位置を別の深度モデルからの関心領域の位置と比較することができる。医療器具140の位置が別の深度モデルの関心領域の閾値距離内にある場合、内部領域のセクションは関心領域であると決定され、方法300は動作324に進む。そうでなければ、内部領域のセクションは関心領域ではないと決定され、方法300は動作304に戻り、画像及び深度データを生成し続ける。閾値距離は、経験的証拠及び/又は好みに基づく設計パラメータセットであってもよい。
【0056】
医療器具140の位置は、深度モデル、画像データ、及び/又は解剖学的構造内の位置を検出するのに役立つことが一般に知られている１つ又は複数の他のセンサの助けを借りて決定され得る。例えば、少なくとも１つの例示的な実施形態では、深度モデルは、医療処置の初期の段階では完全ではない場合があり、別の深度モデルと比較され得る。深度モデルのどの部分が、別の(完全である)深度モデルと比較して、完全であるか、不完全であるかの知識を使用して、内部領域における医療器具140の位置を推定することができる。例えば、深度モデルの完成した部分は、別の深度モデルに重ねられて、完成した別の深度モデルと比較して深度モデルが不完全になる位置として、医療器具140の位置として医療器具の位置を推定することができる。しかしながら、例示的な実施形態は、それに限定されず、医療器具140の位置を決定する任意の既知の方法が使用され得る。そのような方法は環境内の現在の位置(例えば、医療器具140の現在の位置)を追跡しながら、環境(例えば、内部領域)を同時にマッピングすることができる、simultaneous localization and mapping(SLAM)技術のためのアルゴリズムを含む。SLAMアルゴリズムは、ニューラルネットワーク124によってさらに支援され得る。
【0057】
少なくとも１つの例示的な実施形態では、内部領域のセクションが関心対象でないと判定された場合であっても、そのセクションはメモリ112に依然としてフラグを立てられ、かつ/又は記録されて、臨床医が潜在的に未検査領域を後で再訪することを可能にすることができる。例えば、システムは特定のセクションが欠落画像データであると決定されたが、関心がないと決定されたという音声及び/又は視覚通知を臨床医に提示することができる。通知は、深度モデル及び/又は(深度モデル上にオーバーレイされた画像データを含む)複合モデル上の視覚通知、ならびに医療器具140を欠落画像データであると判定されたセクションにナビゲートするための方向を含み得る。
【0058】
ここで、必要に応じて、操作316及び320を省略して、方法300を操作312から直接操作324に進めて臨床医に警告することができることを理解されたい。操作316及び320を省略又は含むことは、医療処置の前又はその間の任意の時点で、臨床医のための選択肢として提示され得る。
【0059】
動作324において、方法300は、内部領域のセクションが未検査であることを臨床医に警告する１つ又は複数の警告を生じさせる。警告は、本質的にオーディオ及び/又はビデオであってもよい。例えば、出力デバイス104は、ビープ音又は他の雑音などの音声警告、及び/又はディスプレイ上の警告メッセージ又は警告ライトなどの視覚警告を出力する。
【0060】
【0061】
例えば、動作328において、方法300は、医療処置の画像データ及び深度モデルに基づいて、内部領域の複合モデルを生成することができる。複合モデルは、深度モデル上に投影されるか、又は重ね合わされる医療処置の画像データを有する内部領域の３次元モデルを含む。深度モデル上への画像データの投影又はオーバーレイは例えば、深度モデル上の各点についての色情報を取得するために、深度モデルをカラー画像と位置合わせすることによって、既知の技法に従って実行され得る。
【0062】
動作332において、方法300はディスプレイに、複合モデルと、内部領域のセクションに関する情報とを表示させる。情報は、複合モデル上の内部領域のセクションの視覚化を含むことができる。複合モデルにおける内部領域のセクションが動作320において関心領域であると決定された場合、情報は、臨床医が内部領域のセクションに医療器具140をナビゲートするためのオーディオ及び/又はビジュアルの合図及び指示を含むことができる。複合モデルは、ディスプレイ上でインタラクティブであってもよい。例えば、複合モデルはx軸、y軸、及び/又はz軸で回転可能であり、ズームイン/ズームアウト操作を受け、特定の領域の選択を受け、及び/又は対話型３Ｄモデルについて一般に存在することが知られている他の操作を受けてもよい。相互作用は、入力デバイス128を介して、及び/又はタッチディスプレイ上で直接、臨床医によって実行され得る。
【0063】
ここで、図３の動作は、完全に自動化され得ることを理解されたい。例えば、画像及び/又は深度カメラを有する医療器具140又は他の装置を案内すること以外に、必要に応じて、操作304～332の間中、ユーザ又は臨床医の入力は不要である。この場合、動作316における別の深度モデルが自動的に生成され適用され、関心領域が自動的に選択される。別の深度モデルの自動生成及び適用、ならびに関心領域の自動選択は、ニューラルネットワーク124、データベース120、プロセッサ116、及び/又はメモリ112によって支援され得る。
【0064】
図４は、少なくとも１つの例示的な実施形態による方法400を示す。例えば、図４は、少なくとも１つの例示的な実施形態による、図３に示される動作に加えて、又はその代わりに実行され得るさらなる動作を示す。図３と同じ参照番号を有する図４に示される動作は、図３を参照して上述されたのと同じ方法で実行される。したがって、これらの動作については、以下では詳細に説明しない。図４は、動作302、310、及び314が含まれる点で、図３と異なる。図４は臨床医が検査のために関心領域を識別し、関心領域が検査されると考えられる時点を識別する例に関する。
【0065】
動作302において、方法400は、患者の内部領域内の関心領域を識別する第１の入力を臨床医から受信する。第１の入力は関心領域が開始及び終了する場所を示すために、入力デバイス128で臨床医から入力され得る。例えば、臨床医は開始点及び終了点を識別するか、又は別の方法で、操作316で論じられた別の深度モデル上の関心領域をマーク(例えば、包囲)することができ、別の深度モデルは、患者の一般的なモデル、患者の特定のモデル、又は両方の組合せである。上述のように、関心領域はニューラルネットワーク124によって決定又は支援されてもよく、ニューラルネットワークは他の医療処置における他の関心領域に関する履歴データを使用して、患者の内部領域における同じ領域も関心領域であると結論付ける。この場合、ニューラルネットワーク124は関心があり得る別の深度モデル上のエリアを識別し、臨床医は、各エリアが入力デバイス128での入力を用いて関心領域であることを確認又は不確定にすることができる。
【0066】
少なくとも１つの例示的な実施形態では、第１の入力が別の深度モデルを使用することなく、患者の内部領域内の関心領域を識別することができる。この場合、第１の入力は、内部領域に関する臨床医の一般的な知識及び内部領域における医療器具140の追跡された位置を使用して、内部領域自体における開始点及び終了点にフラグを立てることができる。言い換えれば、関心領域の開始点は、カメラ136の患者への進入点からの既知の又は推定された距離であってもよく、関心領域の終了点は進入点(又は代替的に、関心領域の開始点)からの別の既知の又は推定された距離であってもよい。既知の技術(例えば、SLAM)に従って内部領域内のカメラ136の位置を追跡することは、カメラ136が関心領域の開始点及び終了点にいつ入ったかを知ることができる。例えば、臨床医が関心領域がカメラ136の入口点から15cmで始まり、入口点から30cmで終わることを知っている場合、カメラ136上の他のセンサはプロセッサ116に情報を提供して、カメラ136が関心領域に入り、関心領域から出るときを推定することができる。臨床医は例えば、医療器具140の外部制御部分上のボタン押下によって開始点及び終了点をトリガすることができる。
【0067】
動作302は動作304の前に実行されるものとして示されているが、動作302は動作310の前の任意の時点で実行されてもよい。
【0068】
次いで、方法400は、上記の図３の説明に従って動作304及び308を実行して、画像データ及び深度データを生成し、深度データから深度モデルを生成する。動作302はまた、動作310の前の２つ以上の点において、例えば、医療処置中の第１の点において、関心領域の開始を示すために、また、医療処置中の第２の点において、関心領域の終了を示すために、実行され得る。さらに、複数の関心領域の開始点及び終了点の表示を設定することができる。
【0069】
動作310において、方法400は、医療処置中に、関心領域が内部領域で検査されたことを示す、臨床医からの第２の入力を受信する。第２の入力は、操作302における第１の入力と同じ又は同様の方法で入力デバイス128上に入力され得る。例えば、医療処置中、臨床医は、深度モデル、別の深度モデル、及び/又は複合モデルの表示を通して、動作302において選択された関心領域を知らされる。内部領域の関心領域が検査されたと臨床医が信じるとき、臨床医は医療処置中に第２の入力を提供する。動作310は、動作314に進むためのトリガとして機能する。
【0070】
動作314において、方法300は、動作310において臨床医から第２の入力を受信した後、関心領域が画像データが欠落している内部領域のセクションを含むことを決定する。言い換えれば、動作344は、関心領域全体が検査されたという臨床医の確信に対するダブルチェックとして機能する。動作314において、方法400が、データが欠落している内部領域のセクションが、関心領域内に存在すると判定した場合、方法は動作324に進み、それは図３の説明に従って実行される。そうでなければ、方法400は動作304に戻り、内部領域の画像データ及び深度データを生成し続ける。方法400が動作324に進む場合、１つ又は複数の警告は、関心領域の少なくとも一部が検査されないままであったことを臨床医に知らせる警告を含む。
【0071】
動作314は、図３の動作312と同じ又は同様の方法で実行することができる。例えば、関心領域が画像データが欠落している内部領域のセクションを含むかどうかを決定するために、方法400は動作308において生成された深度モデルにおいて、深度データの閾値量を超える量が欠落しているかどうかを評価する。このとき、欠落している深度データは、関心領域の一部に対応する領域内にある。図３の方法と同様に、方法400は、動作302で選択された関心領域を、既知の技術に従って動作308で生成された深度モデルにマッピングすることを含む。
【0072】
ここで、方法400は、関心領域を選択するための、及び/又は関心領域が完全に検査されたという臨床医の確信を二重にチェックするための入力を提供する能力を臨床医又は他のユーザに提供することを理解されたい。
【0073】
図５は、少なくとも１つの例示的な実施形態による医療処置のためのワークフロー500を示す。図５の動作は、図１～図４を参照して説明され、図１～図４の要素及び動作が患者に対する医療処置のワークフロー内にどのように適合するかを図示する。図５の動作は数値順に説明されているが、１つ又は複数の動作は図示されているものとは異なる時点で行われてもよく、及び/又は他の動作と同時に行われてもよいことを理解されたい。図３及び図４のように、図５の動作は、システム100内の１つ又は複数の要素によって実行され得る。
【0074】
動作504において、ワークフロー500は別のモデル、例えば、予め選択された関心領域を有する３Ｄ深度モデルを生成することを含む(例えば、動作302及び316を参照)。動作504は、関心領域の相対的な位置、形状、及び/又はサイズに関する情報を生成することと、その情報を、以下でより詳細に説明する動作534に渡すこととを含むことができる。
【0075】
動作508において、カメラシステム(例えば、カメラ136a及び136b)は、図１～４の考察に従って、臨床医によって実行されている医療処置の画像データ及び深度データを収集する。
【0076】
動作512では、深度及び時間データが３Ｄ深度モデルを構築するために使用され、一方、動作516では深度データを画像データと位置合わせするために、画像データ及び時間データが深度モデルとともに使用される。たとえば、画像データ及び深度データの各々のための時間データは、動作516において、プロセッサ116が画像データのタイムスタンプを深度データのタイムスタンプと一致させることができるように、カメラ136で撮影されたフレーム又は静止画像の各々のためのタイムスタンプを含むことができ、それによって、画像データ及び深度データが、それぞれの瞬間において互いに位置合わせされることを確実にする。
【0077】
動作520において、画像データは内部領域の３Ｄカラー画像モデルとして合成モデルを形成するために、深度モデル上に投影される。３Ｄ複合モデル及び時間データは、動作524において、カメラ136及び/又は医療器具140のナビゲーションを支援するために使用され、動作528において、ディスプレイのユーザインターフェースに表示され得る。
【0078】
動作524において、ワークフロー500はナビゲーション動作を実行し、ナビゲーション動作はカメラ136の現在の位置から、最も近い及び/又は最も大きい未検査領域までの方向を生成することを含み得る。指示は、動作528において、ユーザインターフェース上でオーディオ及び/又はビジュアル指示として生成され得る。例示的なオーディオ指示は可聴の「左、右、上、下」の指示を含み、一方、例示的なビデオ指示は、ユーザインターフェース上の視覚的な左、右、上、下の矢印を含む。矢印の長さ及び/又は色は、臨床医が未検査領域に向かってナビゲートすることにつれて変化し得る。例えば、矢印はカメラ136が未検査領域に近づくにつれて、より短くなり、及び/又は色を変化させることができる。
【0079】
動作528において、ユーザインターフェースは、医療処置に関する様々な情報を表示又は生成する。例えば、ユーザインターフェースはある領域が未検査であるという警告、未検査領域についての統計(例えば、未検査領域が関心のあるものを含む可能性がどれだけ高いか)、未検査領域の視覚化、内部領域の対話型３Ｄモデル、ナビゲーショングラフィック、オーディオ命令、及び/又は医療処置に関連し、臨床医にとって潜在的に有用であり得る任意の他の情報を含み得る。
【0080】
操作532は操作512から深度モデルを受信することと、例えば、上述の操作312のように、深度モデルから欠落している深度データに基づいて、内部領域の１つ又は複数の未検査領域を検出することとを含む。
【0081】
動作534は未検査領域に関する情報、例えば、未検査領域の相対位置、形状、及び/又はサイズに関する情報を受信することを含む。動作534は、動作512からの深度モデル及び動作534からの別のモデルとの特徴マッチングを実行するためにこの情報を使用することをさらに含む。モデル間の特徴マッチングは、メッシュモデリング概念、点群（point cloud）概念、スケール不変特徴変換(SIFT)概念、及び/又は同様のものを利用し得る、任意の既知の技法に従って実行され得る。
【0082】
次に、ワークフロー500は動作536に進み、動作534において、特徴マッチングに基づいて、未検査領域が関心領域であるかどうかを決定する。この決定は例えば、上述の動作320に従って実行されてもよい。未検査領域に関する情報、及びそれらが対象であるかどうかは、操作524及び528に渡される。例えば、未検査領域が関心領域である場合、その情報は、動作524において使用され、現在の位置から最も近い最大の未検査領域に臨床医を導く情報を生成する。動作524において生成された方向は、動作528においてユーザインターフェースに表示され得る。追加又は代替として、未検査領域が関心領域ではないと判定された場合、未検査領域の関心領域ではない位置に関する情報とともに、その通知がユーザインターフェースに送信され得る。これにより、臨床医は、領域が実際に関心がないかどうかを二重にチェックすることができる。次いで、臨床医は領域が関心対象であることを示すことができ、その領域への指示は、動作524におけるように生成することができる。
【0083】
図６はディスプレイ、例えば、フラットパネルディスプレイとして、出力デバイス104A及び104Bの例を示す。２つの出力デバイスが示されているが、必要に応じて、より多くの又はより少ない出力デバイスが含まれてもよい。
【0084】
少なくとも１つの例示的な実施形態では、出力デバイス104Aが現在の医療処置のライブ深度モデルを表示する。ズーム機能(イン及びアウト)、回転機能(x、y、及び/又はz軸回転)、領域選択機能、及び/又は同様のものを含み得る様々な機能が、深度モデルと相互作用するために利用可能であり得る。出力デバイス104Aは、カメラ136aからの内部領域のライブ2Dビデオ又は静止画像のフィードをさらに表示することができる。出力デバイス104Aはさらに、１つ以上の警告、例えば、ライブ深度モデルにおける欠落データに関する警告、領域が検査されていないことを示す警告などを表示することができる。出力デバイス104Aはさらに、未検査領域に医療器具140をナビゲートするためのグラフィックス、医療処置及び/又は未検査領域に関する統計など、様々な情報を表示し得る。
【0085】
出力デバイス104Bは、深度モデル上に重ね合わされた又は投影された画像データを有する対話型複合３Ｄモデルを表示することができる。ズーム機能(イン及びアウト)、回転機能(x、y、及び/又はz軸回転)、領域選択機能、及び/又は同様のものを含み得る様々な機能が、複合3Dモデルと相互作用するために利用可能であり得る。出力デバイス104Aと同様に、出力デバイス104Bは、医療処置に関する警告及び/又は他の情報を表示し得る。医療処置中にライブ深度及び画像のフィードならびに3D複合モデルを表示することは、すべての領域が検査されることを確実にするのに役立ち得る。
【0086】
出力デバイス104A及び/又は104Bは、深度モデル及び/又は複合モデル内のカメラ136を有する医療器具140及び/又は他のデバイスのリアルタイムロケーションをさらに表示し得る。未検査領域を検出する場合、前述のナビゲーション矢印は、モデル上に表示されることができ、カメラが未検査領域にどれくらい近いか、又は遠くにあるかに従って、色、それらが点滅し得る速度、及び/又は長さが変化し得る。
【0087】
【0088】
例示的な実施形態が、患者の体内で起こる医療処置に関して説明されたが、例示的な実施形態はカメラ支援される体内領域の非医療処置(例えば、外部の視点から検査することが困難な気管又は他の構造の検査)にも適用され得る。
【0089】
前述の説明に鑑みて、例示的な実施形態は解剖学的構造の潜在的な未検査領域を自動的に識別し、臨床医ユーザを未検査領域に案内するための適切な警告及び/又は指示を提供するための効率的な方法を提供し、それによって、すべての意図された領域が検査されることを確実にすることを理解されたい。
【0090】
少なくとも１つの例示的な実施形態は命令を含むメモリと、患者の内部領域で臨床医によって実行されている医療処置中に、内部領域の画像データ及び深度データを生成し、医療処置中に、深度データに基づいて患者の内部領域の深度モデルを生成し、深度モデルに基づいて医療処置の画像データが内部領域のセクションの画像データを含まないと判定し、内部領域のセクションが検査されていないことを臨床医に警告する１つ又は複数の警告を生じさせるための命令を実行するプロセッサとを含むデバイスを対象とする。
【0091】
少なくとも１つの例示的な実施形態によれば、命令はプロセッサに、医療処置の画像データ及び深度モデルに基づいて内部領域の複合モデルを生成させ、複合モデル及び内部領域のセクションに関する情報を表示させる命令を含む。
【0092】
少なくとも１つの例示的な実施形態によれば、複合モデルは、深度モデル上に投影された医療処置の画像データを有する内部領域の３次元モデルを含む。
【0093】
少なくとも１つの例示的な実施形態によれば、１つ又は複数の警告は、ディスプレイ上に表示される警告を含む。
【0094】
少なくとも１つの例示的な実施形態によれば、情報は、複合モデルの内部領域のセクションの視覚化を含む。
【0095】
少なくとも１つの例示的な実施形態によれば、情報は、臨床医に対して医療器具を内部領域のセクションにナビゲートするための視覚的及び/又は聴覚的手がかり及び指示を含む。
【0096】
少なくとも１つの例示的な実施形態によれば、命令はプロセッサに、内部領域のセクションが、内部領域に一般的な、又は内部領域に特有の別の深度モデルに基づいて関心領域であると決定させる命令を含む。１つ以上の警告は、内部領域のセクションが検査されるべきであることを臨床医に知らせる警告を含む。
【0097】
少なくとも１つの例示的な実施形態によれば、命令はプロセッサに、患者の内部領域内の関心領域を識別する第１の入力を臨床医から受信させ、医療処置中に、関心領域が検査されたことを示す第２の入力を臨床医から受信させる命令を含む。
【0098】
少なくとも１つの例示的な実施形態によれば、命令は、臨床医からの第２の入力を受信した後に、関心領域が欠損データである内部領域のセクションを含むことを、プロセッサに決定させる命令を含む。１つ以上の警告は、関心領域の少なくとも一部が検査されないままにされたことを臨床医に知らせる警告を含む。
【0099】
少なくとも１つの例示的な実施形態によれば、プロセッサは、医療処置に使用される医療器具が関心領域に入るという決定に応答して深度モデルを生成する。
【0100】
少なくとも１つの例示的な実施形態によれば、プロセッサは深度モデルの領域において閾値量を超える深度データが欠けているとき、画像データが内部領域のセクションのための画像データを含まないと判定する。
【0101】
少なくとも１つの例示的な実施形態によれば、命令はプロセッサに、第１の機械学習アルゴリズムを実行させて、内部領域内の関心領域を決定し、医療器具を関心領域にナビゲートするための経路を決定し、及び、第２の機械学習アルゴリズムを実行させて、ロボットデバイスに、医療器具を内部領域内の関心領域にナビゲートさせる命令を含む。
【0102】
少なくとも１つの例示的な実施形態は、ディスプレイと、医療器具と、デバイスとを含むシステムを対象とする。デバイスは命令を含むメモリと、患者の内部領域で臨床医によって実行されている医療処置中に、内部領域の画像データ及び深度データを生成し、医療処置中に、深度データに基づいて患者の内部領域の深度モデルを生成し、深度モデルに基づいて医療処置の画像データが内部領域のセクションの画像データを含まないと決定し、内部領域のセクションが検査されていないことを臨床医に警告するための１つ又は複数の警告を生じさせる/生成するための命令を実行するプロセッサとを含む。
【0103】
少なくとも１つの例示的な実施形態によれば、医療器具は、画像データを提供する立体カメラを含む。深度データは、画像データから導出される。
【0104】
少なくとも１つの例示的な実施形態によれば、医療器具は、深度データを提供する深度センサと、画像データを提供する画像センサとを含む。深度センサ及び画像センサは、医療器具上に重複する視野を有するように配置される。
【0105】
少なくとも１つの例示的な実施形態によれば、医療器具は、深度データを提供する深度ピクセルと、画像データを提供する撮像ピクセルとを含むセンサを含む。
【0106】
少なくとも１つの例示的な実施形態によれば、システムは、内部領域内で医療器具をナビゲートするためのロボットデバイスを含み、命令はプロセッサに、第１の機械学習アルゴリズムを実行させて、内部領域内の関心領域を決定し、医療器具を関心領域にナビゲートするための経路を決定させ、第２の機械学習アルゴリズムを実行させて、ロボットデバイスに、医療器具を内部領域内の関心領域にナビゲートさせる命令を含む。
【0107】
少なくとも１つの例示的な実施形態によれば、システムは、プロセッサが第2の機械学習アルゴリズムを実行する前に、医療器具を関心領域にナビゲートするための経路を承認するための入力を臨床医から受信する入力デバイスを含む。
【0108】
少なくとも１つの例示的な実施形態は、患者の内部領域で臨床医によって実行されている医療処置中に、内部領域のための画像データ及び深度データを生成することと、医療処置中に、深度データに基づいて患者の内部領域の深度モデルを生成することと、深度モデルに基づいて、画像データが内部領域のセクションのための画像データを含まないと判定することと、内部領域のセクションが検査されていないことを臨床医に警告する1つ又は複数の警告を行わせることとを含む方法を対象とする。
【0109】
少なくとも１つの例示的な実施形態によれば、方法は深度モデル上に投影された医療処置の画像データを用いて内部領域の対話型３次元モデルを生成することと、ディスプレイに、対話型３Ｄモデルならびに視覚的及び/又は聴覚的手がかり及び指示を表示させて、医療処置を実施する臨床医を内部領域のセクションに導くこととを含む。
【0110】
本明細書に実質的に開示される態様/実施形態のいずれか1つ又は複数。
【0111】
本明細書に実質的に開示される任意の１つ又は複数の態様/実施形態は、本明細書に実質的に開示される任意の１つ又は複数の他の態様/実施形態と任意選択で組み合わせられる。
【0112】
本明細書に実質的に開示される上記の態様/実施形態のうちの任意の１つ又は複数を実施するように適合された１つ又は複数の手段。
【0113】
「少なくとも１つの」、「１つ以上の」、「又は」、及び「及び/又は」の語句は、動作中に連結及び分離の両方である広く解釈される（open-ended）表現である。例えば、「A、B及びCの少なくとも１つ」、「A、B又はCの少なくとも１つ」、「A、B及びCの１つ以上」、「A、B又はCの１つ以上」、「A、B及び/又はC」及び「A、B又はC」の表現の各々は、A単独、B単独、C単独、A及びBの組み合わせ、A及びCの組み合わせ、B及びCの組み合わせ、又はA、B及びCの組み合わせを意味する。
【0114】
「a」又は「an」の用語の存在はは、その存在の1つ又は複数を指す。したがって、「a」(又は「an」)、「１つ又は複数」、及び「少なくとも１つ」の用語は、本明細書において互換的に使用され得る。用語「含む(comprising)」、「含む(including)」、及び「有する(having)」は、互換的に使用され得ることにも留意されたい。
【0115】
本開示の態様は完全にハードウェアである実施形態、完全にソフトウェア(ファームウェア、常駐ソフトウェア、マイクロコードなどを含む)である実施形態、又は本明細書ではすべて一般に「回路」、「モジュール」、又は「システム」と呼ばれ得るソフトウェア態様とハードウェア態様とを組み合わせる実施形態の形態をとることができ、1つ又は複数のコンピュータ可読媒体の任意の組合せが利用され得る。コンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読記憶媒体であり得る。
【0116】
コンピュータ可読記憶媒体はたとえば、電子、磁気、光学、電磁気、赤外線、もしくは半導体のシステム、装置、もしくはデバイス、又は前述のもの任意の適切な組合せであり得るが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例(非網羅的リスト)は、１つ又は複数のワイヤを有する電気接続、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、消去可能プログラマブル読取り専用メモリ(EPROM又はフラッシュメモリ)、光ファイバ、ポータブルコンパクトディスク読取り専用メモリ(CD-ROM)、光記憶デバイス、磁気記憶デバイス、又は前述の任意の適切な組合せを含む。本文書の文脈では、コンピュータ可読記憶媒体が命令実行システム、装置、又はデバイスによって、又はそれに接続して使用するためのプログラムを含むか、又は記憶することができる任意の有形媒体であり得る。
【0117】
用語「決定する」、「計算する」、「演算する」、及びそれらの変形は、本明細書で使用される場合、互換的に使用され、任意のタイプの方法論、プロセス、数学的操作又は技術を含む。
【0118】
例示的な実施形態は、以下のように構成される。
（１）命令を含むメモリと、患者の内部領域で臨床医によって実行されている医療処置中に、内部領域の画像データ及び深度データを生成し、医療処置中に、深度データに基づいて、患者の内部領域の深度モデルを生成し、深度モデルに基づいて、医療処置の画像データが内部領域のセクションの画像データを含まないと決定し、及び、内部領域のセクションが検査されていないことを臨床医に警告する１つ又は複数の警告を生じさせる命令を実行するプロセッサとを備えるデバイス。
（２）前記命令は前記プロセッサに、
前記医療処置の前記画像データ及び前記深度モデルに基づいて、前記内部領域の複合モデルを生成させ、
前記複合モデル及び前記内部領域の前記セクションに関する情報をディスプレイに表示させる命令を含む、（１）に記載のデバイス。
（３）前記複合モデルは、前記深度モデルに投影された前記医療処置の前記画像データを有する前記内部領域の３次元モデルを含む、（１）～（２）のうちの１つ又は複数のデバイス。
（４）前記１つ又は複数の警告は、前記ディスプレイに表示される警告を含む、（１）～（３）のうちの１つ又は複数のデバイス。
（５）前記情報は、前記複合モデルの前記内部領域の前記セクションの視覚化されたものを含む、（１）～（４）のうちの１つ又は複数のデバイス。
（６）前記情報は、前記臨床医が前記内部領域の前記セクションに医療器具をナビゲートするための視覚的及び/又は聴覚的な合図及び指示を含む、（１）～（５）のうちの１つ又は複数のデバイス。
（７）前記命令は前記プロセッサに、
前記内部領域の前記セクションが前記内部領域に一般的であるか又は前記内部領域に固有である別の深度モデルに基づいて関心領域であると決定させる命令を含み、 前記１つ又は複数の警告は、前記内部領域の前記セクションが検査されるべきであることを前記臨床医に通知するための警告を含む、（１）～（６）のうちの１つ又は複数のデバイス。
（８）前記命令は前記プロセッサに、
前記患者の前記内部領域内の関心領域を識別する第1の入力を前記臨床医から受信すること、及び
前記医療処置中に、前記関心領域が検査されたことを示す第２の入力を前記臨床医から受信すること
を行わせる命令を含む、（１）～（７）のうちの１つ又は複数に記載のデバイス。
（９）前記命令は、前記プロセッサに、前記臨床医から前記第２の入力を受信した後に、前記関心領域が前記内部領域の前記セクションを含むことを決定させる命令を含み、
前記１つ又は複数の警告は、前記関心領域の前記少なくとも一部が未検査のままであったことを前記臨床医に知らせる警告を含む、（１）～（８）のうちの１つ又は複数のデバイス。
（１０）前記プロセッサは、前記医療処置に使用される医療器具が前記関心領域に入るという決定に応答して、前記深度モデルを生成する、（１）～（９）のうちの１つ又は複数のデバイス。
（１１）前記プロセッサは、前記深度モデルの領域において閾値量を超える深度データが欠落している場合、前記画像データが前記内部領域の前記セクションの画像データを含まないと決定する、（１）～（１０）のうちの１つ又は複数のデバイス。
（１２）前記命令は前記プロセッサに、 前記内部領域内の関心領域を決定し、及び、前記関心領域に医療器具をナビゲートするための経路を決定するための第１の機械学習アルゴリズムを実行させ、 前記内部領域内の前記関心領域にロボットデバイスに前記医療器具をナビゲートするための第２の機械学習アルゴリズムを実行させるための命令を含む、（１）～（１１）のうちの１つ又は複数のデバイス。
（１３）ディスプレイと、
医療器具と、
デバイスと
を含み、デバイスは、
命令を含むメモリと、
患者の内部領域で臨床医によって実行されている医療処置中に、前記内部領域についての画像データ及び深度データを生成し、
前記医療処置中に、前記深度データに基づいて前記患者の前記内部領域の深さモデルを生成し、
前記深度モデルに基づいて、前記医療処置の前記画像データが前記内部領域のセクションについての画像データを含まないと決定し、及び
前記内部領域の前記セクションが検査されていないことを前記臨床医に警告する１つ又は複数の警告を生じさせる
前記命令を実行するプロセッサを備える、システム。
（１４）前記医療器具は前記画像データを提供する立体カメラを含み、前記深度データは、前記画像データから導出される、（１３）に記載のシステム。
（１５）前記医療器具は前記深度データを提供する深度センサと、前記画像データを提供する画像センサとを含み、前記深度センサ及び前記画像センサは、重複する視野を有するように前記医療器具上に配置される、（１３）～（１４）のうちの１つ又は複数のシステム。
（１６）前記医療器具が、前記深度データを提供する深度ピクセルと、前記画像データを提供する撮像ピクセルとを含むセンサを含む、（１３）～（１５）のうちの１つ又は複数のシステム。
（１７）内部領域内で医療器具をナビゲートするためのロボット機器をさらに備え、命令はプロセッサに、第１の機械学習アルゴリズムを実行させて、内部領域内の関心領域又は関心領域のセットを決定し、及び、関心領域にナビゲートするための経路を決定すること、第２の機械学習アルゴリズムを実行させて、ロボット機器に内部領域内の関心領域にナビゲートさせることとを行わせる命令を含む、（１３）～（１６）のうちの１つ又は複数のシステム。
（１８）前記プロセッサが前記第2の機械学習アルゴリズムを実行する前に、前記関心領域にナビゲートするための前記経路を承認するために、前記臨床医から入力を受信する入力デバイスをさらに備える、（１３）～（１７）のうちの１つ又は複数のシステム。
（１９）患者の内部領域で臨床医によって実行されている医療処置中に、前記内部領域のための画像データ及び深度データを生成し、
前記医療処置中に、前記深度データに基づいて、前記患者の前記内部領域の深度モデルを生成し、
前記深度モデルに基づいて、前記画像データが前記内部領域のセクションのための画像データを含まないと決定し、及び
前記内部領域の前記セクションが検査されていないことを前記臨床医に警告する１つ又は複数の警告を行わせることと を含む方法。
（２０）前記深度モデル上に投影された前記医療処置の前記画像データを用いて、前記内部領域の対話型３次元モデルを生成することと、 前記ディスプレイに、前記対話型３次元モデルと、前記医療処置を実施する臨床医を前記内部領域の前記セクションに導くための視覚的及び/又は聴覚的手がかり及び方向とを表示させることと、をさらに含む、（１９）の方法。
（１）命令を含むメモリと、患者の内部領域で臨床医によって実行されている医療処置中に、内部領域の画像データ及び深度データを生成し、医療処置中に、深度データに基づいて、患者の内部領域の深度モデルを生成し、深度モデルに基づいて、医療処置の画像データが内部領域のセクションの画像データを含まないと決定し、及び、内部領域のセクションが検査されていないことを臨床医に警告する１つ又は複数の警告を生じさせる命令を実行するプロセッサとを備えるデバイス。
（２）前記命令は前記プロセッサに、
前記医療処置の前記画像データ及び前記深度モデルに基づいて、前記内部領域の複合モデルを生成させ、
前記複合モデル及び前記内部領域の前記セクションに関する情報をディスプレイに表示させる命令を含む、（１）に記載のデバイス。
（３）前記複合モデルは、前記深度モデルに投影された前記医療処置の前記画像データを有する前記内部領域の３次元モデルを含む、（１）～（２）のうちの１つ又は複数のデバイス。
（４）前記１つ又は複数の警告は、前記ディスプレイに表示される警告を含む、（１）～（３）のうちの１つ又は複数のデバイス。
（５）前記情報は、前記複合モデルの前記内部領域の前記セクションの視覚化されたものを含む、（１）～（４）のうちの１つ又は複数のデバイス。
（６）前記情報は、前記臨床医が前記内部領域の前記セクションに医療器具をナビゲートするための視覚的及び/又は聴覚的な合図及び指示を含む、（１）～（５）のうちの１つ又は複数のデバイス。
（７）前記命令は前記プロセッサに、
前記内部領域の前記セクションが前記内部領域に一般的であるか又は前記内部領域に固有である別の深度モデルに基づいて関心領域であると決定させる命令を含み、 前記１つ又は複数の警告は、前記内部領域の前記セクションが検査されるべきであることを前記臨床医に通知するための警告を含む、（１）～（６）のうちの１つ又は複数のデバイス。
（８）前記命令は前記プロセッサに、
前記患者の前記内部領域内の関心領域を識別する第1の入力を前記臨床医から受信すること、及び
前記医療処置中に、前記関心領域が検査されたことを示す第２の入力を前記臨床医から受信すること
を行わせる命令を含む、（１）～（７）のうちの１つ又は複数に記載のデバイス。
（９）前記命令は、前記プロセッサに、前記臨床医から前記第２の入力を受信した後に、前記関心領域が前記内部領域の前記セクションを含むことを決定させる命令を含み、
前記１つ又は複数の警告は、前記関心領域の前記少なくとも一部が未検査のままであったことを前記臨床医に知らせる警告を含む、（１）～（８）のうちの１つ又は複数のデバイス。
（１０）前記プロセッサは、前記医療処置に使用される医療器具が前記関心領域に入るという決定に応答して、前記深度モデルを生成する、（１）～（９）のうちの１つ又は複数のデバイス。
（１１）前記プロセッサは、前記深度モデルの領域において閾値量を超える深度データが欠落している場合、前記画像データが前記内部領域の前記セクションの画像データを含まないと決定する、（１）～（１０）のうちの１つ又は複数のデバイス。
（１２）前記命令は前記プロセッサに、 前記内部領域内の関心領域を決定し、及び、前記関心領域に医療器具をナビゲートするための経路を決定するための第１の機械学習アルゴリズムを実行させ、 前記内部領域内の前記関心領域にロボットデバイスに前記医療器具をナビゲートするための第２の機械学習アルゴリズムを実行させるための命令を含む、（１）～（１１）のうちの１つ又は複数のデバイス。
（１３）ディスプレイと、
医療器具と、
デバイスと
を含み、デバイスは、
命令を含むメモリと、
患者の内部領域で臨床医によって実行されている医療処置中に、前記内部領域についての画像データ及び深度データを生成し、
前記医療処置中に、前記深度データに基づいて前記患者の前記内部領域の深さモデルを生成し、
前記深度モデルに基づいて、前記医療処置の前記画像データが前記内部領域のセクションについての画像データを含まないと決定し、及び
前記内部領域の前記セクションが検査されていないことを前記臨床医に警告する１つ又は複数の警告を生じさせる
前記命令を実行するプロセッサを備える、システム。
（１４）前記医療器具は前記画像データを提供する立体カメラを含み、前記深度データは、前記画像データから導出される、（１３）に記載のシステム。
（１５）前記医療器具は前記深度データを提供する深度センサと、前記画像データを提供する画像センサとを含み、前記深度センサ及び前記画像センサは、重複する視野を有するように前記医療器具上に配置される、（１３）～（１４）のうちの１つ又は複数のシステム。
（１６）前記医療器具が、前記深度データを提供する深度ピクセルと、前記画像データを提供する撮像ピクセルとを含むセンサを含む、（１３）～（１５）のうちの１つ又は複数のシステム。
（１７）内部領域内で医療器具をナビゲートするためのロボット機器をさらに備え、命令はプロセッサに、第１の機械学習アルゴリズムを実行させて、内部領域内の関心領域又は関心領域のセットを決定し、及び、関心領域にナビゲートするための経路を決定すること、第２の機械学習アルゴリズムを実行させて、ロボット機器に内部領域内の関心領域にナビゲートさせることとを行わせる命令を含む、（１３）～（１６）のうちの１つ又は複数のシステム。
（１８）前記プロセッサが前記第2の機械学習アルゴリズムを実行する前に、前記関心領域にナビゲートするための前記経路を承認するために、前記臨床医から入力を受信する入力デバイスをさらに備える、（１３）～（１７）のうちの１つ又は複数のシステム。
（１９）患者の内部領域で臨床医によって実行されている医療処置中に、前記内部領域のための画像データ及び深度データを生成し、
前記医療処置中に、前記深度データに基づいて、前記患者の前記内部領域の深度モデルを生成し、
前記深度モデルに基づいて、前記画像データが前記内部領域のセクションのための画像データを含まないと決定し、及び
前記内部領域の前記セクションが検査されていないことを前記臨床医に警告する１つ又は複数の警告を行わせることと を含む方法。
（２０）前記深度モデル上に投影された前記医療処置の前記画像データを用いて、前記内部領域の対話型３次元モデルを生成することと、 前記ディスプレイに、前記対話型３次元モデルと、前記医療処置を実施する臨床医を前記内部領域の前記セクションに導くための視覚的及び/又は聴覚的手がかり及び方向とを表示させることと、をさらに含む、（１９）の方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【国際調査報告】