特表 2025-503662 内視鏡検査用のシステム、装置、及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2025-02-04

(54)【発明の名称】内視鏡検査用のシステム、装置、及び方法

(51)【国際特許分類】

   A61B 17/00 20060101AFI20250128BHJP

   A61B 34/20 20160101ALI20250128BHJP

【ＦＩ】

A61B17/00

A61B34/20

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024541665

(86)(22)【出願日】2023-01-10

(85)【翻訳文提出日】2024-09-02

(86)【国際出願番号】 US2023010457

(87)【国際公開番号】W WO2023133339

(87)【国際公開日】2023-07-13

(31)【優先権主張番号】17/572,332

(32)【優先日】2022-01-10

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ブルートゥース

(71)【出願人】

【識別番号】524259676

【氏名又は名称】エンドルクス インコーポレイテッド

(74)【代理人】

【識別番号】100103610

【弁理士】

【氏名又は名称】▲吉▼田 和彦

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100119013

【弁理士】

【氏名又は名称】山崎 一夫

(74)【代理人】

【識別番号】100130937

【弁理士】

【氏名又は名称】山本 泰史

(74)【代理人】

【識別番号】100144451

【弁理士】

【氏名又は名称】鈴木 博子

(74)【代理人】

【識別番号】100162824

【弁理士】

【氏名又は名称】石崎 亮

(72)【発明者】

【氏名】パテル ニール

(72)【発明者】

【氏名】ジャオ フィリップ

(72)【発明者】

【氏名】ブリーム デヴォン

【テーマコード（参考）】

4C160

【Ｆターム（参考）】

4C160MM54

(57)【要約】

内視鏡手技用の撮像ユニットを備える携帯可能内視鏡システム。撮像ユニットは、内視鏡の撮像組立体から撮像情報を受け取るための撮像カプラと、撮像ユニットのハウジング内に組み込まれたディスプレイと、受け取った撮像情報を時系列の画像へと処理し、この画像をリアルタイムで表示するための撮像プロセッサと、ハウジングの動きを検出するように構成された動きセンサと、検出処理ユニットとを有する。検出処理ユニットは、時系列の各画像内の少なくとも１つの解剖学的特徴部を人工知能分類器に基づいて分類し、この分類に基づいて信頼度評価指標を決定し、検出された動きに基づいて動きベクトルを決定し、少なくとも１つの解剖学的特徴部の分類、決定された信頼度評価指標、及び決定された動きベクトルを相応する画像と共に表示するように構成される。
【選択図】図１

【特許請求の範囲】

【請求項1】

内視鏡手技用の撮像ユニットであって、
ハウジングと、
エンドエフェクタの少なくとも一部分と関心領域（ＲＯＩ）の一部分とを含む視野（ＦｏＶ）を有する撮像情報を、内視鏡の撮像組立体から受け取るための撮像カプラと、
前記ハウジング内に組み込まれたディスプレイと、
受け取った前記撮像情報を、時系列の画像を表すピクセル値へと処理し、前記画像を前記ディスプレイ上にリアルタイムで表示するための命令を有するように構成された撮像プロセッサと、
前記時系列の間に前記ハウジングの動きを検出するように構成された動きセンサと、
命令を有するように構成された検出処理ユニットと、
を備え、
前記検出処理ユニットの前記命令が、
人工知能分類器に基づいて、前記時系列の各画像内の少なくとも１つの解剖学的特徴部を分類し、
前記分類の信頼度評価指標を決定し、
検出された前記動きに基づいて動きベクトルを決定し、
前記少なくとも１つの解剖学的特徴部の前記分類、決定された前記信頼度評価指標、及び決定された前記動きベクトルを、対応する前記画像と共に表示する、
ための命令である、撮像ユニット。

【請求項2】

前記動きセンサは、少なくとも、ジャイロスコープ信号を生成するように構成されたジャイロスコープと、加速度信号を生成するように構成された加速度計とを含み、前記検出処理ユニットは、少なくとも前記ジャイロスコープ信号及び前記加速度信号に基づいて変位ベクトルを決定するように更に構成される、請求項１に記載の撮像ユニット。

【請求項3】

前記検出処理ユニットは、対応する前記分類と共に、前記変位ベクトルを表示するように構成される、請求項２に記載の撮像ユニット。

【請求項4】

前記検出処理ユニットは、分類された１又は２以上の解剖学的特徴部に対して、前記変位ベクトルを表示するように構成される、請求項２に記載の撮像ユニット。

【請求項5】

前記検出処理ユニットは、分類された固有の解剖学的特徴部に対して、複数の変位ベクトルの各１つを表示するように構成される、請求項２に記載の撮像ユニット。

【請求項6】

前記人工知能分類器は、各画像を解剖学的モデルと比較するように構成された畳み込みニューラルネットワークである、請求項１に記載の撮像ユニット。

【請求項7】

前記検出処理ユニットは、前記比較に基づいて前記信頼度評価指標を決定する、請求項６に記載の撮像ユニット。

【請求項8】

前記検出処理ユニットは更に、
分類された前記少なくとも１つの解剖学的特徴部に基づいて少なくとも１つの処置部位を特定し、
特定された前記少なくとも１つの処置部位、及び、分類された前記解剖学的特徴部と特定された前記処置部位との間の相対動きベクトルを、対応する前記画像と共に表示する、
ように構成される、請求項１に記載の撮像ユニット。

【請求項9】

前記関心領域は少なくとも前立腺尿道を含み、施される治療が前立腺処置を含み、前記検出処理ユニットは更に、前立腺病理を分類するように構成される、請求項１に記載の撮像ユニット。

【請求項10】

内視鏡撮像のための方法であって、
撮像ユニットの撮像カプラを内視鏡の観察ポートに動作可能に結合するステップと、
前記内視鏡の撮像組立体から撮像情報を受け取るステップであって、前記撮像組立体がエンドエフェクタの少なくとも一部分とＲＯＩの一部分とを含むＦｏＶを有する、ステップと、
受け取った前記撮像情報を、時系列の画像を表すピクセル値へと処理するステップと、
前記撮像ユニットのハウジング内に組み込まれたディスプレイ上に前記画像をリアルタイムで表示するステップと、
前記時系列の間に前記ハウジングの動きを検出するステップと、
前記時系列の各画像内の少なくとも１つの解剖学的特徴部を、人工知能分類器に基づいて分類するステップと、
前記分類の信頼度評価指標を決定するステップと、
検出された前記動きに基づいて動きベクトルを決定するステップと、
前記少なくとも１つの解剖学的特徴部の前記分類、決定された前記信頼度評価指標、及び決定された前記動きベクトルを、対応する前記画像と共に表示するステップと、
を含む方法。

【請求項11】

動きを検出する前記ステップは、前記ハウジングの前記動きに関するジャイロスコープ信号及び加速度信号を生成するステップを更に含み、
前記方法は更に、少なくとも前記ジャイロスコープ信号及び前記加速度信号に基づいて変位ベクトルを決定するステップを含む、
請求項１０に記載の方法。

【請求項12】

対応する前記分類と共に、前記変位ベクトルを表示するステップを更に含む、請求項１１に記載の方法。

【請求項13】

分類された１又は２以上の解剖学的特徴部に対して、前記変位ベクトルを表示するステップを更に含む、請求項１２に記載の方法。

【請求項14】

分類された固有の解剖学的特徴部に対して、複数の変位ベクトルの各１つを表示するステップを更に含む、請求項１に記載の方法。

【請求項15】

前記人工知能分類器は、各画像を解剖学的モデルと比較するように構成された畳み込みニューラルネットワークである、請求項１０に記載の方法。

【請求項16】

前記信頼度評価指標は、前記比較に基づく、請求項１６に記載の方法。

【請求項17】

分類された前記少なくとも１つの解剖学的特徴部に基づいて少なくとも１つの処置部位を特定するステップと、
特定された前記少なくとも１つの処置部位及び決定された前記動きベクトルを、対応する前記画像と共に表示するステップと、
を更に含む、請求項１０に記載の方法。

【請求項18】

前記関心領域は少なくとも前立腺尿道を含み、施される治療は前立腺処置を含み、前記方法は更に、前立腺病理を分類するステップを含む、請求項１７に記載の方法。

【請求項19】

内視鏡治療手技用キットであって、
内視鏡撮像ユニットを備え、
前記内視鏡撮像ユニットが、
ハウジングと、
エンドエフェクタの少なくとも一部分と関心領域（ＲＯＩ）の一部分とを含む視野（ＦｏＶ）を有する撮像情報を、内視鏡の撮像組立体から受け取るための撮像カプラと、
前記ハウジング内に組み込まれたディスプレイと、
画像処理ユニットと、
を含み、
前記内視鏡治療手技用キットが更に、
時系列の間に前記ハウジングの動きを検出するように構成された動きセンサと、
検出処理ユニットと、
以下の方法を実施するための命令と、
を備え、
前記方法が、
前記撮像ユニットの前記撮像カプラを前記内視鏡の観察ポートに動作可能に結合するステップと、
前記撮像組立体から前記撮像情報を受け取るステップと、
受け取った前記撮像情報を、時系列の画像を表すピクセル値へと処理するステップと、
前記画像を前記ディスプレイ上にリアルタイムで表示するステップと、
前記時系列の間に前記ハウジングの動きを検出するステップと、
前記時系列の各画像内の少なくとも１つの解剖学的特徴部を、人工知能分類器に基づいて分類するステップと、
前記分類の信頼度評価指標を決定するステップと、
検出された前記動きに基づいて動きベクトルを決定するステップと、
前記少なくとも１つの解剖学的特徴部の前記分類、決定された前記信頼度評価指標、及び決定された前記動きベクトルを、対応する前記画像と共に表示するステップと、
を含む、
内視鏡治療手技用キット。

【請求項20】

動きを検出する前記ステップは、前記ハウジングの前記動きに関するジャイロスコープ信号及び加速度信号を生成するステップを更に含み、
前記方法は、少なくとも前記ジャイロスコープ信号及び前記加速度信号に基づいて変位ベクトルを決定するステップを更に含み、
前記人工知能分類器は、各画像を解剖学的モデルと比較するように構成された畳み込みニューラルネットワークである、
請求項１９に記載のキット。

【請求項21】

方法であって、
キャビティを撮像する内視鏡から、前記キャビティ内の解剖学的特徴部を表す画像を、プロセッサによって受け取るステップと、
前記内視鏡が前記キャビティを撮像する間に、前記解剖学的特徴部に関する分類を、前記プロセッサによって実施するステップと、
前記内視鏡が前記キャビティを撮像する間に、前記分類に対する信頼度評価指標を、前記プロセッサによって決定するステップと、
前記内視鏡が前記キャビティを撮像する間に、前記キャビティを撮像する前記内視鏡に関する動きベクトルを、前記プロセッサによって決定するステップと、
前記内視鏡が前記キャビティを撮像する間に、前記画像、前記分類、前記信頼度評価指標、又は前記動きベクトルのうちの少なくとも２つを同時に提示することを、前記プロセッサによってディスプレイに要求するステップと、
を含む、方法。

【請求項22】

前記ディスプレイは、前記内視鏡が前記キャビティを撮像する間に、前記画像、前記分類、前記信頼度評価指標、又は前記動きベクトルのうちの少なくとも３つを同時に提示する、請求項２１に記載の方法。

【請求項23】

前記ディスプレイは、前記内視鏡が前記キャビティを撮像する間に、前記画像、前記分類、前記信頼度評価指標、及び前記動きベクトルを同時に提示する、請求項２２に記載の方法。

【請求項24】

前記ディスプレイは、前記内視鏡が前記キャビティを撮像する間に、前記画像と、前記分類、前記信頼度評価指標、又は前記動きベクトルのうちの少なくとも２つとを、同時に提示する、請求項２１に記載の方法。

【請求項25】

前記ディスプレイは、前記内視鏡が前記キャビティを撮像する間に、前記画像と、前記分類と、前記信頼度評価指標又は前記動きベクトルの少なくとも一方とを、同時に提示する、請求項２１に記載の方法。

【請求項26】

方法であって、
キャビティを撮像する内視鏡から、前記キャビティ内の解剖学的特徴部を表す画像を、プロセッサによって受け取るステップと、
前記内視鏡が前記キャビティを撮像する間に、前記解剖学的特徴部に関する分類を、前記プロセッサによって実施するステップと、
前記内視鏡が前記キャビティを撮像する間に、前記分類に対する信頼度評価指標を、前記プロセッサによって決定するステップと、
前記内視鏡が前記キャビティを撮像する間に、前記キャビティを撮像する前記内視鏡に関する動きベクトルを、前記プロセッサによって決定するステップと、
前記分類と前記信頼度評価指標と前記動きベクトルとに基づいて、前記プロセッサによって動作を実施するステップと、
を含む、方法。

【請求項26】

前記動作は、前記内視鏡によって撮像されている前記キャビティ内でエンドエフェクタを展開するステップを含む、請求項２５に記載の方法。

【請求項27】

前記動作は、前記キャビティ内の前記解剖学的特徴部に対するものである、請求項２５に記載の方法。

【請求項28】

前記動作は、前記キャビティ内の前記解剖学的特徴部に対するものではない、請求項２５に記載の方法。

【請求項29】

前記キャビティは、哺乳類のキャビティである、請求項２５に記載の方法。

【請求項30】

前記キャビティは、無生物のキャビティである、請求項２５に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願）
本出願は、２０２２年１月１０日に出願された米国特許出願第１７／５７２，３３２号の利益を主張し、当該特許出願の全内容が全ての目的で引用によって本明細書に組み込まれている。

【0002】

（技術分野）
本開示は、内視鏡撮像システムを利用するシステム、装置、及び方法に関する。より具体的には、本開示は、様々な内視鏡手技（医療及び非医療の）を可能にするために内視鏡システムを利用するシステム、装置、及び方法に関する。例えば、本明細書で開示する様々な技術は、良性前立腺肥大症（ＢＰＨ）を含むがそれに限定されないヒト前立腺病理或いはその他のヒト又は非ヒトの病態等の様々な哺乳類病理における病態の予防、予測、診断、改善、監視、又は処置、或いは非医療手技を可能にする。

【背景技術】

【0003】

様々な前立腺疾患がある。これらの疾患のうちの１つは、ほぼ全ての年齢のヒト男性で見つけることができる良性前立腺肥大症（ＢＰＨ）である。多くの場合に、ＢＰＨは、夜間頻尿、頻尿、尿意切迫、排尿躊躇、残尿、尿漏れ、及び尿滴下等の下部尿路症状（ＬＵＴＳ）の主要因である。一般的に、４５才と８０才との間の男性のうちの９０％は、何れかの形態のＬＵＴＳ又はＢＰＨを有し、有病率は、年齢とともにほぼ線形に上昇する。ＢＰＨは、生命を脅かすことは希であるが、尿閉、腎不全、再発性尿路感染症、失禁、血尿、及び膀胱結石を含む数多くの臨床状態を招く恐れがある。従って場合によっては、患者転帰及び生活の質を改善するために初期の介入が推奨される場合がある。

【0004】

幾つかの薬物療法が利用可能であり、ＢＰＨを処置する上で効果的であるが、その効果は、一般的に短命である。ＢＰＨに対する外科処置は、前立腺尿道吊り上げデバイス及び様々な焼灼法等の極低侵襲的な技法からより侵襲的な切除術、更には完全に侵襲的な前立腺摘出術までの範囲に及ぶ。これらの手術は、膀胱及び男性の性機能にとって重要な精丘等の繊細な構造の近くにある組織を切断又は焼灼するステップを伴う。従って、これらの手術は、繊細な構造を特定してそれに近接する処置区域を推定するという膀胱鏡法の入念な練習を必要とする。

【0005】

最小限の低侵襲性手技は、より少ない疼痛、より速い回復、より低いコスト、及び局所麻酔及び軽度の鎮静剤を使用といった利点をもたらす。経尿道前立腺手技は、膀胱鏡と呼ばれる特殊内視鏡を用いた膀胱及び尿道の粘膜の組織検査を伴う。検査中には、医師が、膀胱及び尿道の粘膜表面を可視化するために透明な流体を用いて尿道及び膀胱を拡張することになる。前立腺手技では、一般的に、膀胱頚部の遠位且つ精丘の近位にある領域が処置区域として特定される。処置区域が特定されると、医師は、前立腺外側葉、前立腺内側葉、及び前立腺前葉のうちの１又は２以上に対して処置を施すことができる。

【0006】

前立腺の焼灼術又は切除術は、専用の治療デバイスに焼灼エネルギーを供給するマイクロ波、レーザー、蒸気、又は低温療法の供給源等の高度に特殊化された機材を必要とする。更に、経尿道焼灼手技は、その特殊機材と、専門技術の必要性とに起因して高額及び／又は複雑になりがちであり、従って外来／診療室環境又はかかる機材がコスト的に利用不能な世界各地では実用的でない。最近になって、経尿道水蒸気療法（ＴＷＶＴ）が、大きい前立腺体積に対して良好な効果を有する治療モダリティとして勢いを得てきた。前立腺尿道吊り上げ（ＰＵＬ）手技も、射精機能を維持し、それと同時に最小限の麻酔しか必要としないことでここ１０年間にＢＰＨ処置の基幹技法になってきた。ＰＵＬ手技を受けた患者は、他の治療モダリティに優る一般的に良好な性機能、回復時間の改善、及び日常活動への支障の少なさを報じている。ＰＵＬデバイスは、閉塞を低減させて流れを改善するために膀胱頚部から精丘までの間の前立腺葉のうちの１又は２以上の中にチャネルを作り出すことを目的とするタック又はアンカーと同様の永久植え込み可能固定デバイスである。

【0007】

どの治療モダリティであるかに関わらず、各々は、最適で持続する結果を達成するには正確な場所特定を必要とする。例えば、ＰＵＬ手技では、理想的な開口を得るためには平均サイズの前立腺に対して一般的に４個から５個のインプラントが必要とされるが、大きい前立腺及び／又は異常な形状の前立腺では十数個のインプラントが必要な場合がある。第１のインプラントは、膀胱頚部のおよそ２ｃｍ遠位に配置され、第２のインプラントは、精丘の直前に配置され、追加のインプラントは、これらの間に配置されて一般的に前立腺の前面及び側面を通る連続的なチャネルを形成する。各インプラントは、留置された後に交換しなければならない使い捨て可能カートリッジ内に格納される。従って、カートリッジを交換して新しいインプラントを導入するためにエフェクタハンドル、カートリッジ、膀胱鏡が取り外される。シースが前立腺尿道内に配置されたままに留まっている間に、医師は、このプロセスを絶えず反復しなければならず、それによってインプラントの最適な配置に誤差が導入される可能性がある。更に、ＰＵＬデバイスの多くが、インプラントを完全に留置するのに医師が１又は２以上の制御器を複数回作動させることを必要とし、それによって最適な植え込みの達成が更に難しくなる。最後に、各患者の固有の解剖学的構造に基づいてインプラントの最適な場所を特定するステップは、極めて主観に左右されやすい可能性があがる学習曲線を必要とする。

【0008】

上記の障害及び技術課題は、ＰＵＬ方式の処置に止まらず、典型的な前立腺病理に対して現在知られている事実上全ての治療モダリティにおいて存在すると考えられる。従って、生体内で解剖学的ランドマーク及び治療部位を特定して追跡するための内視鏡治療用の軽量で携帯可能な撮像プラットフォームへの技術的要求が存在する。

【先行技術文献】

【特許文献】

【0009】

【特許文献1】米国特許出願第１７／５７２，３３２号広報

【発明の概要】

【発明が解決しようとする課題】

【0010】

本開示は、上記の障害に取り組み、医療目的（例えば、様々な哺乳類病理における病態の予防、予測、診断、改善、監視、又は処置）又は非医療目的（例えば、狭くて到達するのが困難なキャビティの目視検査を支援すること）のどちらであるかに関わらず、内視鏡検査用の様々なシステム、装置、及び方法を実現することによって上述の技術課題を解決する。本実施形態のこれら及びその他の特徴、態様、及び利点が、以下に続く詳細説明、図面、及び添付の特許請求の範囲を検討することでより明快に理解されよう。

【課題を解決するための手段】

【0011】

本開示の一例において、内視鏡手技用の撮像ユニットを提示する。撮像ユニットは、ハウジングと、ハウジング内に組み込まれたディスプレイとを備える。撮像カプラが、エンドエフェクタの少なくとも一部分と関心領域（ＲＯＩ）の一部分とを含む視野（ＦｏＶ）を有する、内視鏡の撮像組立体から撮像情報を受け取るのに適するように構成される。撮像プロセッサが、受け取った撮像情報を、時系列の画像を表すピクセル値へと処理し、この画像をディスプレイ上でリアルタイムで表示するための命令を有するように構成され、その一方で動きセンサが、時系列の間のハウジングの動きを検出するように構成される。撮像ユニットは、時系列の各画像内の少なくとも１つの解剖学的特徴部を人工知能分類器に基づいて分類し、この分類の信頼度評価指標を決定し、検出された動きに基づいて動きベクトルを決定し、少なくとも１つの解剖学的特徴部の分類、決定された信頼度評価指標、及び決定された動きベクトルを相応する画像と共に表示するための命令を有するように構成された検出処理ユニット（ＤＰＵ）を備える。

【0012】

本開示の別の例では、動きセンサは、少なくとも、ジャイロスコープ信号を生成するように構成されたジャイロスコープと、加速度信号を生成するように構成された加速度計とを含み、検出処理ユニットは、少なくともジャイロスコープ信号及び加速度信号に基づいて変位ベクトルを決定するように更に構成される。

【0013】

本開示の別の例では、ＤＰＵは、変位ベクトルを相応する分類と共に表示するように構成される。

【0014】

本開示の別の例では、検出処理ユニットは、変位ベクトルを分類された１又は２以上の解剖学的特徴部と相対的に表示するように構成される。

【0015】

本開示の別の例では、検出処理ユニットは、複数の変位ベクトルの各１つを分類された固有の解剖学的特徴部と相対的に表示するように構成される。

【0016】

本開示の別の例では、人工知能分類器は、各画像を解剖学的モデルと比較するように構成された畳み込みニューラルネットワークである。

【0017】

本開示の別の例では、検出処理ユニットは、比較に基づいて信頼度評価指標を決定する。

【0018】

本開示の別の例では、検出処理ユニットは、分類された少なくとも１つの解剖学的特徴部に基づいて少なくとも１つの処置部位を特定し、特定された少なくとも１つの処置部位及び分類された解剖学的特徴部と特定された処置部位との間の相対動きベクトルを相応する画像と共に表示するように構成される。

【0019】

本開示の別の例では、関心領域は少なくとも前立腺尿道を含み、施される治療が前立腺処置を含み、検出処理ユニットは、前立腺病理を分類するように更に構成される。

【0020】

本開示の別の例では、内視鏡撮像のための方法を提示する。方法は、撮像ユニットの撮像カプラを内視鏡の観察ポートに動作可能に結合するステップを含む。撮像情報は、内視鏡の撮像組立体から受け取られる。撮像組立体は、エンドエフェクタの少なくとも一部分とＲＯＩの一部分とを含むＦｏＶを有する。受け取った撮像情報は、時系列の画像を表すピクセル値へと処理される。画像は、撮像ユニットのハウジング内に組み込まれたディスプレイ上にリアルタイムで表示され、時系列の間のハウジングの動きが検出される。時系列の各画像内の少なくとも１つの解剖学的特徴部が、人工知能分類器に基づいて分類される。分類の信頼度評価指標が決定され、検出された動きに基づいて動きベクトルが決定され、少なくとも１つの解剖学的特徴部の分類、決定された信頼度評価指標、及び決定された動きベクトルが相応する画像と共にリアルタイムで表示される。

【0021】

本開示の別の例では、動きを検出するステップは、ハウジングの動きに関するジャイロスコープ信号及び加速度信号を生成するステップを更に含む。少なくともジャイロスコープ信号及び加速度信号に基づいて、変位ベクトルが決定される。

【0022】

本開示の別の例では、方法は、変位ベクトルを相応する分類と共に表示するステップを更に含む。

【0023】

本開示の別の例では、方法は、変位ベクトルを分類された１又は２以上の解剖学的特徴部と相対的に表示するステップを更に含む。

【0024】

本開示の別の例では、方法は、複数の変位ベクトルの各１つを分類された固有の解剖学的特徴部と相対的に表示するステップを更に含む。

【0025】

本開示の別の例では、人工知能分類器は、各画像を解剖学的モデルと比較するように構成された畳み込みニューラルネットワークである。

【0026】

本開示の別の例では、信頼度評価指標は、上記の比較に基づく。

【0027】

本開示の別の例では、方法は、分類された少なくとも１つの解剖学的特徴部に基づいて少なくとも１つの処置部位を特定するステップと、特定された少なくとも１つの処置部位及び決定された動きベクトルを相応する画像と共に表示するステップとを更に含む。

【0028】

本開示の別の例では、関心領域は少なくとも前立腺尿道を含み、施される治療は前立腺処置を含み、方法は、前立腺病理を分類するステップを更に含む。

【0029】

本開示の別の例では、内視鏡治療手技用キットを提示する。キットは、ハウジングと、ハウジング内に組み込まれたディスプレイとを備える内視鏡撮像ユニットを含む。内視鏡撮像ユニットは、エンドエフェクタの少なくとも一部分と関心領域（ＲＯＩ）の一部分とを含む視野（ＦｏＶ）を有する、内視鏡の撮像組立体から撮像情報を受け取るように構成された撮像カプラを含む。それに加えて、内視鏡撮像ユニットは、撮像プロセッサと、時系列の間のハウジングの動きを検出するように構成された動きセンサと、検出処理ユニット（ＤＰＵ）とを含む。更に、キットは、内視鏡撮像のための方法を実施するための命令を含む。方法は、撮像ユニットの撮像カプラを内視鏡の観察ポートに動作可能に結合するステップと、撮像組立体から撮像情報を受け取るステップと、受け取った撮像情報を、時系列の画像を表すピクセル値へと処理するステップと、画像をディスプレイ上にリアルタイムで表示するステップと、時系列の間のハウジングの動きを検出するステップと、時系列の各画像内の少なくとも１つの解剖学的特徴部を人工知能分類器に基づいて分類するステップと、分類の信頼度評価指標を決定するステップと、検出された動きに基づいて動きベクトルを決定するステップと、少なくとも１つの解剖学的特徴部の分類、決定された信頼度評価指標、及び決定された動きベクトルを相応する画像と共に表示するステップとを含む。

【0030】

本開示の別の例では、動きを検出するステップは、ハウジングの動きに関するジャイロスコープ信号及び加速度信号を生成するステップと、少なくともジャイロスコープ信号及び加速度信号に基づいて変位ベクトルを決定するステップとを更に含む。人工知能分類器は、各画像を解剖学的モデルと比較するように構成された畳み込みニューラルネットワークである。

【0031】

ある実施形態では、方法は、キャビティを撮像する内視鏡から、キャビティ内の解剖学的特徴部を描示する画像をプロセッサによって受け取るステップと、内視鏡がキャビティを撮像する間に解剖学的特徴部に関する分類をプロセッサによって実施するステップと、内視鏡がキャビティを撮像する間に分類に対する信頼度評価指標をプロセッサによって決定するステップと、内視鏡がキャビティを撮像する間にキャビティを撮像する内視鏡に関する動きベクトルをプロセッサによって決定するステップと、内視鏡がキャビティを撮像する間に画像、分類、信頼度評価指標、又は動きベクトルの内の少なくとも２つを同時に提示することをプロセッサによってディスプレイに要求するステップと、を含むことができる。

【0032】

ある実施形態では、方法は、キャビティを撮像する内視鏡から、キャビティ内の解剖学的特徴部を描示する画像をプロセッサによって受け取るステップと、内視鏡がキャビティを撮像する間に解剖学的特徴部に関する分類をプロセッサによって実施するステップと、内視鏡がキャビティを撮像する間に分類に対する信頼度評価指標をプロセッサによって決定するステップと、内視鏡がキャビティを撮像する間にキャビティを撮像する内視鏡に関する動きベクトルをプロセッサによって決定するステップと、分類と信頼度評価指標と動きベクトルとに基づいてプロセッサによって動作を実施するステップとを含むことができる。

【0033】

本開示の上記及びその他の利点及び目的が得られるように、上記で簡単に説明した本開示のより具体的な説明を、添付図面に例示する特定の実施形態を参照することによって示すことにする。これらの図面が本開示の典型的な実施形態しか描示しておらず、従って本開示の範囲を限定すると考えるべきでないという理解の下に、本開示を、添付図面を用いることによって更に具体的且つ詳細に記述し、説明することにする。

【図面の簡単な説明】

【0034】

【図1】携帯型システムのある実施形態の構造図である。

【図2】関心領域内に配置された携帯型システムのある実施形態の構造図である。

【図3】携帯型システムの無線撮像ユニットのある実施形態のブロックダイアグラムである。

【図4】携帯型システムのある実施形態を例示するネットワーク図である。

【図5A】携帯型システム上に表示される関心領域を例示する内視鏡視野図である。

【図5B】携帯型システム上に表示される関心領域を例示する内視鏡視野図である。

【図5C】携帯型システム上に表示される関心領域を例示する内視鏡視野図である。

【図5D】携帯型システム上に表示される関心領域を例示する内視鏡視野図である。

【図6A】解剖学モデルをトレーニングするための実施形態のフローチャートである。

【図6B】解剖学モデルをトレーニングするための実施形態のフローチャートである。

【図7】内視鏡手技を実施するための方法のフローチャートである。

【図8】内視鏡手技を実施するためのキットの構造図である。

【発明を実施するための形態】

【0035】

以下では、当業者が本開示を直ちに実施することができるように、本開示の様々な実施形態を、添付図面を参照しながら詳細に説明することにする。しかしながら、本開示はこれらの実施形態に限定されず、様々な他の手法で具現化又は実施することが可能であることに注意されたい。図面では、説明に無関係な部分を説明の簡略化の目的で省略しており、同様の参照番号が、本明細書の全体を通して同様の部分を表す。

【0036】

本明細書で用いる様々な用語法が、直接的又は間接的、全体的又は部分的、一時的又は永続的、活動又は不活動を意味する場合があることに注意されたい。例えば、ある要素が、別の要素の「上」にある、それに「接続」される、又は「結合」されると記す場合には、この要素は、直接的にもう一方の要素の上にある、それに接続される、又は結合される場合がある、或いは介在要素が、間接的又は直接的な変化形態を含んで存在する場合がある。それとは対照的に、ある要素が、別の要素に「直接的に接続」される、又は「直接的に結合」されると記す場合には、介在要素は存在しない。

【0037】

同様に、本明細書で用いる場合、「又は」、「或いは」という用語は、排他的な「又は」、「或いは」ではなく包含的な「又は」、「或いは」を意味することを意図したものである。すなわち、別途指定しない又は状況から明確でない限り、「Ｘは、Ａ又はＢを用いる」は、自然な包含的置換表現のうちの何れかを意味することを意図したものである。すなわち、ＸがＡを用いる場合、ＸがＢを用いる場合、又はＸがＡとＢとの両方を用いる場合に、これらの事例の何れにおいても「Ｘは、Ａ又はＢを用いる」が満たされる。

【0038】

同様に、本明細書で用いる場合、数量詞を伴わない指示物は、状況が別途明確に示さない限り、様々な単数形態の指示物と、様々な複数形態の指示物とを含むことを意図したものである。例えば、本明細書では「１又は２以上」という句を用いるが、「ある指示物」又は単純に「指示物」も、「１又はそれ以上の指示物」を意味するものとする。例えば、「１又は２以上」は、１個、２個、３個、４個、５個、６個、７個、８個、９個、１０個、数十個、数百個、数千個、又はそれ以上を含み、更にこれらの個数同士の間にある全ての中間の整数値又は小数値の個数を含む。

【0039】

更に、本明細書で用いる場合の「備える」、「含む」、又はその活用形は、記述する特徴、完全体、段階、動作、要素、又は構成要素の存在を明示するが、１又は２以上の他の特徴、完全体、段階、動作、要素、構成要素、又はこれらの群の存在及び／又は追加を除外しない。更に、本開示であるものが別のあるものに「基づく」と記述する場合には、かかる記述は、１又は２以上の他のものにも基づく可能性がある依拠を意味する。言い換えれば、別途明示しない限り、本明細書で用いる場合の「～に基づく」は、「～に少なくとも一部が基づく」又は「～に少なくとも部分的に基づく」ことを包含的に意味する。

【0040】

追加的に、本明細書では様々な要素、構成要素、領域、層、又は区分を説明する上で第１、第２、及びその他の用語を用いる場合があるが、これらの要素、構成要素、領域、層、又は区分は、かかる用語によって必ずしも限定されないものとする。言い換えれば、これらの用語は、１つの要素、構成要素、領域、層、又は区分を別の要素、構成要素、領域、層、又は区分から区別するために用いるものである。従って、本開示から逸脱することなく、下記で解説する第１の要素、構成要素、領域、層、又は区分を第２の要素、構成要素、領域、層、又は区分と呼ぶことができると考えられる。

【0041】

また、別途定義しない限り、本明細書で用いる全ての用語（科学技術用語を含む）は、本開示が属する技術における当業者によって一般的に理解されるものと同じ意味を有する。従って、一般的に用いられる辞書で定義されているもの等の用語が、関連技術の状況での当該用語の意味と合致した意味を有すると解釈すべきであり、本明細書で明示的に定義しない限り、理想的又は過度に形式的な意味で解釈すべきではない。

【0042】

以下に続く解説の過程で考案する時に添付図面を参照することによって本開示の様々な特徴及び態様が最も明快に理解されよう。

【0043】

図面を参照すると、図１は、診断手技又は治療手技（或いは医療又は非医療のどちらのものでもよい別の種類の手技）とすることができる内視鏡手技の間に用いられる携帯型システム１０の主構成要素を示している。内視鏡１２が患者１４（例えば、哺乳類、ヒト、動物、ペット、鳥類、魚類、雄、雌）の体内の組織、臓器、身体部位、又は何れか他の生体内特徴部等の関心領域（ＲＯＩ）１６まで挿入されるが、非医療用途は、チューブ、キャビティ、トンネル、亀裂、孔、チャネル、或いはその他関連の非患者又は無生物のＲＯＩ等の非患者又は無生物の物体を用いる場合がある。関心領域１６は、内視鏡１２のチューブに沿って遠位先端部１４にある照明レンズまで延びる光ファイバ等の照明経路に沿って入射光を導く外部光源１８によって照明される。照明された関心領域１６は、入射光を遠位先端部１４にある撮像レンズへと反射して戻し、反射光を光ファイバ等の撮像経路に沿って接眼部等の観察ポート２０へと伝達する。反射光は、観察ポート１８を通って無線撮像ユニット（ＷＩＵ）２２によって受け取られる。ＷＩＵ２２は、反射光を、後に処理してディスプレイ２４上に表示することができる撮像データに変換するデジタル撮像センサを含むことができる。

【0044】

他の実施形態では、内視鏡１２は、先端部装着チップ配列を有するデジタル内視鏡とすることができる。例えば、内視鏡１２は、ＲＯＩ１６を照明するために遠位先端部１４に配置された１又は２以上の発光ダイオード（ＬＥＤ）を含むことができる。この配列では、外部光源１８は存在しない。遠位先端部１４は、ＲＯＩ１６の撮像データを生成するためのデジタル撮像センサを含むこともできる。照明経路及び撮像経路の代わりに内視鏡１２のチューブに沿う通信経路が、ＬＥＤ及びデジタル撮像センサを制御するための制御信号を送受信することができる。ＷＩＵ２２は、撮像データをデジタル撮像センサから観察ポート２０を通して受信することができる。一実施形態では、観察ポート２０は接眼部等の光学観察ポートとしての働きをし、それに対して別の実施形態では撮像データを電子的に伝達するためのデジタルコネクタ等のデジタルインターフェースの形態をとることができる。観察ポート２０は、撮像カプラ２６を介してＷＩＵ２２とインターフェース接続する。例示している実施形態では、撮像カプラ２６は、ＷＩＵ２２を内視鏡１２の観察ポート２０に光学的に結合する。先述した先端部装着チップ実施形態では、撮像カプラ２６は、遠位先端部１４にあるＬＥＤ及び／又はデジタル撮像センサを制御するための様々なデータチャネル及び／又は電気チャネルを有する電気コネクタを通してＷＩＵ２２を観察ポート２０にデジタルに結合する。ＷＩＵ２２は、観察ポート２２と、ディスプレイ２４と、撮像カプラ２６と、光源１８とを単一のデバイスへと統合し、それと同時に電子回路構成要素、電源、熱管理部、及び同様のもの等であるがそれらに限定されない様々な内部構成要素を保護するように構成されたハウジング２８を含む。

【0045】

携帯型システム１０は、生体内でＲＯＩ１６内に配置され、その中で内視鏡１２と連携して治療（或いは別の動作又は技法）を施すように構成された治療デバイス３０を含む。例えば、この治療は、内視鏡１２を生体内でＲＯＩ１６の中に配置することによる又は配置している間の病態の予防、予測、診断、改善、監視、又は処置を含むことができる。従って、これらの状況では、デバイス３０を、適宜（例えば、診断デバイス３０、予測デバイス３０、予防デバイス３０、及び同様のものとして）標記／構成することができる。非医療の状況においても、デバイス３０は適宜構成される。治療デバイス３０は、治療（或いは別の動作又は技法）を送達するエンドエフェクタ３２を含み、エンドエフェクタ３２は、治療（或いは別の動作又は技法）を開始するためのアクチュエータ３４を含むエンドエフェクタ３２を含む。例示している実施形態では、ＲＯＩ１６は、少なくとも前立腺尿道４０と、前立腺４２と、膀胱４４とを含むが、この包含は例示的であり、他の身体部位、臓器、又は組織を用いることができる（又は医療用途に無生物ＲＯＩ１６を用いることができる）。この実施形態では、治療デバイス３０は、良性前立腺肥大症（ＢＰＨ）及び同様のもの等であるがそれらに限定されない前立腺病理に関係する病態を処置するための治療を施すように構成されるが、非前立腺病理を用いることもできる。治療デバイス３０は、切除、切開、焼灼、熱療法、核摘出、植え込み、冷凍療法、蒸気療法、塞栓療法、及び同様のもの等の治療処置のうちの１又は２以上を施すように構成することができる。例示している実施形態ではハンドル３６とアクチュエータ３４とを有する治療デバイス３０を示しているが、治療デバイス３０は、送達対象治療によって指定される様々な形状、サイズ、及び設計を具現化することができることを察知されたい。例えば、治療デバイス３０は、ハンドル３６によってピストル形として具現化されるが、この形状因子が必要とされるわけではなく、他の形状因子を用いることができる。例えば、ハンドル３６を除外することができ、アクチュエータ３４を、ハンドル３６に向かって又はそこから遠ざかるように旋回するレバーとは別様に（例えば、押圧可能／押下可能ボタン、回転ノブ、回転スリーブとして）具現化することができる。

【0046】

ＷＩＵ２２は、１又は２以上の外部デバイス４８への同時又は実質的に同時の直接的（又は間接的）な高速双方向データ通信等の無線（例えば、無線周波数、見通し線）通信４６の能力を有する。外部デバイス４８は、治療手技に関係するデジタル画像、デジタルビデオ、又はその他の情報等のデータを直接的（又は間接的）に受信する能力を有する。外部デバイス４８は、ＷＩＵ２２をリモート制御するための制御データ又は制御信号をＷＩＵ２２に直接的（又は間接的）に送信することもできる。外部デバイス４８は、患者データ等の治療（或いはその他の動作又は技法の）手技に関する治療（或いはその他の動作又は手技）情報を電子医療記録（ＥＭＲ）又は手技を実施するための指示等の手技データの形態で送信することもできる。外部デバイス４８の例は、デスクトップコンピュータ等のパーソナルコンピューティングデバイス、スマートデバイス、スマート電話、携帯情報端末、タブレットコンピュータ、手首装着ディスプレイ、スマート腕時計、又は同様のもの等の携帯可能デバイス、ラップトップコンピュータ又は携帯可能コンピュータ、ヘッドマウントディスプレイ、或いはまだ企図されていない他のコンピューティングデバイスを含むことができる。

【0047】

図２を参照すると、ＲＯＩ１６の拡大図が例示されている。ある例証的実施形態では、携帯型システム１０は、ＢＰＨの治療に適するように構成されるが、ＢＰＨ又は非ＢＰＨの予防、予測、診断、改善、監視、又は処置が可能である。一般的にＢＰＨ治療は、拡大した前立腺４２が前立腺尿道４０に対して有する効果を低減させる段階を含む。この例証的実施形態では、治療デバイス３０は、例えば膀胱４４からの流れを改善するために前立腺組織を吊り上げて又は引っ張って尿道チャネル５０から離すための前立腺尿道吊り上げ（ＰＵＬ）インプラントを前立腺尿道４０に沿う様々な処置部位に留置するように構成される。処置部位の場所は、手技を実施する施術者が、内視鏡１２を通して可視化された吊り上げの達成度等の主観的な基準に基づく自由裁量で選ぶ。この主観性は、ＰＵＬインプラントの非最適配置を生じる可能性があり、その結果、コストが嵩む余分なインプラント留置、患者が所望の転帰を達成しないような不十分なインプラント留置、精丘等の繊細な解剖学的構造を損傷して又は膀胱頚部を穿通して性機能障害及び／又は膀胱機能障害等の想定外の成り行きを生じる不適正な配置、並びに同様のものを生じる恐れがある。ＰＵＬ植え込みの主観的な性質に起因して、施術者は、手技を適確に実施するほど手技に熟達するまで多大な訓練及び監督指導を受けなければならない。施術者がどのような訓練を受けたとしても、手技が結果を長続きさせるのに最適であるようには実施されない可能性が依然として存在する。

【0048】

手技の間に、施術者は、ＲＯＩ１６を特定するために内視鏡１２の遠位先端部１４を導入する。施術者は、ＲＯＩ１６を特定しながら同時に又はＲＯＩ１６が特定された後に治療デバイス３０のエンドエフェクタ３２を導入することができる。ＲＯＩ１６を特定するために、施術者は、発光体５４によって入射光で照明されたＲＯＩ１６から撮像組立体５２が受け取ったリアルタイム撮像情報をディスプレイ２４上で観察する。撮像組立体４６は、ＲＯＩ１６の少なくとも一部分と治療デバイス３０のエンドエフェクタ３２の一部分とを含む視野（ＦｏＶ）５６内のＲＯＩ１６からの反射光を検出する。

【0049】

遠位先端部１４が特定されたＲＯＩ１６の中に置かれると、施術者は、上記の繊細な解剖学的特徴部を損傷しないような処置領域５８を膀胱頚部６０と精丘６２との間で特定する。膀胱頚部６０は、膀胱を尿道に接続する筋肉群であり、主に尿を膀胱内に保持する役割を担い、損傷を受けると失禁及びその他の問題を招く恐れがある。精丘６２は、前立腺尿道床内の隆起部であり、射精管の入口を特定するのに役立つ重要な遠位ランドマークである。

【0050】

特定し終えると、施術者は、十分な近位開口を得るために、膀胱頚部６０のおよそ２ｃｍ遠位までの移動を近位処置部位６４ａ、６４ｂまで引き戻す。しかしながら、これらの近位処置部位６４ａ、６４ｂは、主に患者の特定の前立腺解剖学的構造、例えば、形状、サイズ、密度、及び同様のものに基づいて患者同士間で大きく異なる。膀胱頚部６０が損傷を受けた場合には、かかる損傷は、失禁、膀胱漏出、及びその他の問題を招く恐れがある。膀胱頚部６０の過度に近位にある部位を選んだ場合には、施術者は、膀胱頚部６０を穿通してかかる機能障害を引き起こす可能性がある。膀胱頚部の過度に遠位にある部位を選んだ場合には、十分な近位開口が得られず、尿閉及び／又は残尿感等のＢＰＨの症状を軽減することができない。しかしながら、近位処置部位６４ａ、６４ｂと遠位処置部位６６ａ、６６ｂとにおいて最適な配置が果たされた場合であっても、施術者は、中間処置部位６８ａ、６８ｂを特定することもでき、それによって近位処置部位６４ａ、６４ｂと遠位処置部位６６ａ、６６ｂとの間で前面を通る連続チャネルが得られる。前立腺の前面を通るチャネルを作り出すことを一般的に選ぶ理由は、この前面が一般的に線維筋性組織で形成され、一般的に繊細な腺組織が不在であることにある。この前チャネルを得るために、施術者によって根強い閉塞の更なる区域が特定され、これらの中間処置部位６８ａ、６８ｂに追加のインプラントが留置される。場合によって、治療手技を実施する前に、患者の前立腺のサイズ及び形状、例えば、長身の、長い、短い閉塞葉及び同様のものを特定するために前立腺の全範囲を分析すべきことが提案される場合がある。前立腺の全範囲を可視化することによって、施術者は、望ましい前チャネルをシミュレーションすることができる。しかしながら、ある特定の条件下では、この反復方式は、施術者がこれらの特定された最適部位を再訪しようとする時に基準点がない場合には植え込み誤差を生じる可能性がある。例えば、最初の分析の間に、患者が長い前立腺長を有し、最適な場所が近位処置部位６４ａ、６４ｂから２ｃｍ遠位にあることを施術者がメモしたが、これらの部位を再訪した後に、施術者が、インプラントを膀胱頚部６０から２．５ｃｍという過度に遠位のところに留置した場合には、膀胱における最適な近位開口は得られない。従って、最適に留置されなかったインプラントを補正するために、本来あるべきではないインプラントを留置しなければならない可能性がある。

【0051】

携帯型システム１０は、様々な解剖学的特徴部４０、４２、４４、６０をＲＯＩ１６内で特定して追跡し、ＲＯＩ１６内にある解剖学的特徴部を特定するようにトレーニングされた人工知能モデルと、ＷＩＵ２２の動きベクトルを追跡し、従って内視鏡１２の遠位先端部１４及び／又は治療デバイス３０のエンドエフェクタ３２の動きを追跡するように構成された追跡システムとに基づいて最適な処置部位６４ａ、６４ｂ、６６ａ、６６ｂ、６８ａ、６８ｂを決定することによって植え込み誤差を最小限に抑えることを目指している。患者固有の解剖学的構造に基づいて最適な処置部位を特定することによって効率を高め、手技時間を短縮し、非最適な植え込み誤差を低減させることで、本治療手技は、コストを低く維持しながら永続的な結果を達成することができる。

【0052】

図３を参照すると、ＷＩＵ２２のブロックダイアグラムが例示されている。先述したＷＩＵ２２の電子回路は、ＷＩＵ２２を制御し、それに給電するように構成されたシステムコントローラ７０を含む。システムコントローラ７０は、ＷＩＵ２２の態様を制御する役割を受け持つ複数の回路構成要素を含む。システムコントローラ７０は、ＷＩＵ２２の機能の様々な態様を制御するための命令を送受信するための幾つかの電子構成要素とインターフェース接続するマイクロプロセッサ７２を含む。システムコントローラ７０は、マイクロプロセッサ７２によって実行されることになるプログラム命令を記憶するためのコンピュータ読み出し可能媒体（例えば、持続性メモリ、フラッシュメモリ、埋め込みメモリ、ＲＯＭ、ＲＡＭ）等のメモリデバイスである記憶デバイス７４を含む。プログラム命令に加えて、記憶デバイス７４は、解剖学的モデル、治療手技を実施することに関連する手技データ、電子医療記録（ＥＭＲ）関連データ、及び同様のものを記憶することができる。システムコントローラ７０は、ディスプレイ２４を覆うように重ね合わせられた又はディスプレイ２４の中に含められたタッチ画面７６からユーザ入力を受け取るように構成されたタッチ画面入力コントローラ７６を含む。施術者は、ディスプレイ２４上に表示されたユーザインターフェースを介してＷＩＵ２２の様々な態様を制御するためにタッチ画面７６と対話することができる。

【0053】

システムコントローラ７０は、発光体５４からの入射光の強度又は輝度及び／又は発光体５４から生成される入射光の１又は２以上の周波数成分を調節するための命令をマイクロプロセッサ７２から受け取る照明コントローラ７６を更に含む。発光体５４は、ＲＯＩ１６内への入射光を生成するための１又は２以上のＬＥＤを含むことができる、又は入射光を発光体５４に伝達するための光源１８に光学的に結合することができることを察知されたい。

【0054】

撮像処理ユニット（ＩＰＵ）８０は、様々な撮像関連機能を実施するための、記憶デバイス７４に記憶された命令を含むこと又はそれを実行するように構成することができる。例えば、ＩＰＵ８０は、ＦｏＶ５６の撮像組立体５２から撮像情報を受け取るように構成される。撮像組立体５２は、ＲＯＩ１６からの反射光を内視鏡１２の観察ポート２２（例えば接眼部）へと導く光学組立体とすることができる。この例証的実施形態では、ＷＩＵ２２は、ハウジング２８の中に組み込まれてＩＰＵ８０との直接通信状態にある撮像センサ９０を含む。別の実施形態（先端部装着チップ配列）では、撮像組立体５２は撮像センサ９０を含み、内視鏡１２の遠位先端部１４に配置される。この配列では、撮像センサ９０は、撮像情報に関係するアナログ信号、デジタル信号、又はアナログ信号とデジタル信号との組み合わせのうちの少なくとも１つを観察ポート２２に送信し、この信号は、更にＩＰＵ８０に送信することができる。

【0055】

撮像センサ９０は、相補的金属酸化物半導体（ＣＭＯＳ）、電荷結合デバイス（ＣＣＤ）、又はまだ企図されておらず、将来開発される他の撮像センサデバイスの１つを含むことができる。撮像情報は、ＦｏＶ５６の時系列の画像を表すピクセル値を形成するためのデジタル信号か、又はＩＰＵ８０のアナログデジタルコンバータ（ＡＤＣ）によってデジタル信号に変換されるアナログ信号かの一方とすることができる。

【0056】

ＩＰＵ８０は、時系列の画像に対して幾つかの画像処理機能及び後処理機能をリアルタイム又は実質的にリアルタイムで実施するように構成することもできる。画像品質を高めるための画像処理技法の例は、エッジ検出、幾何学変換、遠近補正、色補正、色校正、動き補償、データ圧縮、ノイズ低減、フィルタ処理、及び同様のものを含む。ＩＰＵ８０は、撮像センサ９０の機能を制御する、例えば、組み込み自動焦点機構、ピクセルクロック、感度、オフセット、信号増幅、利得、ガンマ、及び同様のものを制御することによって焦点深度を調節するように構成することもできる。更にＩＰＵ８０は、外部デバイス４８とディスプレイ２４との間の画面解像度及び画面サイズの違いに起因して外部デバイス４８上で表示される画像のサイズを調節するように構成することができる。更にＩＰＵ８０は、使用されるディスプレイがディスプレイ２４又は外部デバイス４８のディスプレイのどちらであるかに関わらず、ディスプレイのサイズ及び／又は解像度とは独立して画像がディスプレイ内で中心に位置決めされるように画像同士を自動的に整列させるように構成することができる。ＩＰＵ８０は、ディスプレイ情報をマイクロプロセッサ７２から受け取って出力画像を相応的にフォーマットする。後処理された画像は、続いて、後にローカルにディスプレイ２４又は外部デバイス上で見るための検索取得に向けて画像メモリ１０２に記憶することができる。

【0057】

ＷＩＵ２２は、無線接続４６によって外部デバイス４８と直接的に通信するため、又はリモートデバイス１０４、機関サーバ１０６、クラウド記憶システム１０８、及び同様のものとインターネット１０２を介して間接的に通信するための無線トランシーバ１００を有するように構成することもできる。しかしながら、トランシーバ１００は除外することができ、受信器と送信器とを設けること、或いは受信器か送信器かを設けることができることに注意されたい。リモートデバイス１０４は、内視鏡の画像、ビデオ、又は検査データを見ること、或いは対照及び／又はＥＭＲデータをリモート受信することに適するように構成することができる。ＥＭＲデータは、デジタルフォーマットで電子的に記憶された患者及び集団の健康情報の集合である。ＥＭＲデータは、人口統計学的情報、治療歴、投薬、アレルギー、ワクチン接種状況、臨床検査結果、放射線画像、バイタルサイン、個人統計、請求情報、及びリンク等の様々な患者情報を含むことができる。ＥＭＲデータは、病院、保険会社、政府機関、又は同様のところに設置されたもの等の機関サーバ１０６に記憶することができる。ＥＭＲデータは、クラウド記憶システム８８に記憶することもできる。クラウド記憶システム１０８は、冗長性、耐障害性、及びデータ耐久性を確実にするために分散方式で複数のサーバに跨がり、多くの場合に複数の離散場所に跨がる複数の物理的記憶媒体の論理プールを含むデータ記憶システムとすることができる。機関サーバ１０６及びクラウド記憶システム１０８は、医用デジタル撮像通信（ＤＩＣＯＭ）フォーマット等の汎用画像フォーマットを用いて複数の撮像手段からの医療画像の記憶及びアクセスを提供する能力を有する画像保存通信システム（ＰＡＣＳ）を含むことができる。

【0058】

幾つかの状況では、健康機関サーバ１０６及びクラウド記憶システム８８は、米国内の医療保険の相互運用性と説明責任に関する法律（Ｈｅａｌｔｈ Ｉｎｓｕｒａｎｃｅ Ｐｏｒｔａｂｉｌｉｔｙ ａｎｄ Ａｃｃｏｕｎｔａｂｉｌｉｔｙ Ａｃｔ）（ＨＩＰＡＡ）、欧州連合国内の一般データ保護規則（Ｇｅｎｅｒａｌ Ｄａｔａ Ｐｒｏｔｅｃｔｉｏｎ Ｒｅｇｕｌａｔｉｏｎ）（ＧＤＰＲ）、カナダ国内の個人情報保護及び電子文書法（Ｐｅｒｓｏｎａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｔｅｃｔｉｏｎ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃ Ｄｏｃｕｍｅｎｔｓ Ａｃｔ）（ＰＩＰＥＤＡ）、インド保険規制開発局（ＩＲＤＡＩ）によって設定された国民健康ポータルコンプライアンス（Ｎａｔｉｏｎａｌ Ｈｅａｌｔｈ Ｐｏｒｔａｌ ｃｏｍｐｌｉａｎｃｅ）、又は世界中で制定されている他のコンプライアンス規制等のデータ保護及びプライバシー規制に準拠することに注意されたい。

【0059】

図４を参照すると、携帯型システム１０のある実施形態のネットワーク図が描示されている。ＷＩＵ２２は、無線アクセスポイント１１２を介し、８０２．１１変調技法系列、ＩＥＥＥ８０２．１５．４ａ超広帯域（ＵＷＢ）、及び同様のもの（ブルートゥース）等の無線送信プロトコルを用いてローカルネットワーク１１０に無線結合されるが、適切な有線又は導波管の接続／ハードウェアが可能である。ローカルネットワーク１１０は、通信用にイーサネット規格を利用することができるケーブル、スイッチ、及びルータを含むことができる。少なくとも１つの機関サーバ１０６を、ローカルネットワーク１１０との通信状態にすることができる。例えば、機関サーバ１０６は、ＷＩＵ２２によってアクセスされる可能性があるＥＭＲデータを記憶すること又はそれへのアクセスを有することができる。追加的に、ローカルネットワーク１０４は、画像保存通信システム（ＰＡＣＳ）１１４につなぐことができ、画像保存通信システム（ＰＡＣＳ）１１４を機関サーバ１０６及びＷＩＵ２２との通信状態にすることができる。少なくとも１つの外部デバイス４８が、直接的に物理的接続によるか、又は無線アクセスポイント１１２を介しての無線によるかのどちらかでローカルネットワークとの通信状態にある。それに加えて、インターネット１０２へのアクセスを制御するために、ローカルネットワーク１１０にファイアウォール１１６又はその他のネットワークセキュリティ技術を接続することができる。例えば、ファイアウォール１１６によって容易になったセキュア接続を利用して、インターネット１０２を介してローカルネットワーク１１０にアクセスする権限をリモートデバイス１０４に付与することができる。それに加えて、クラウド記憶システム１０８を、データを記憶及び検索取得するように構成することができ、クラウド記憶システム１０８に対して、ファイアウォール１１６によって容易になったインターネット１０２を介してのアクセスを行うことができる。

【0060】

図３の参照に戻ると、ＷＩＵは、動きセンサ１２２からの動き信号を受信するための、記憶デバイス７４に記憶された命令を含むこと又はそれを実行するように構成することができる動き処理ユニット（ＭＰＵ）１２０を含む。動きセンサ１２２は、ジャイロスコープ信号を生成するように構成されたジャイロスコープセンサ及び加速度信号を生成するように構成された加速度計のうちの少なくとも一方を含む。動き信号（例えばジャイロスコープ信号及び加速度信号）は、治療（或いは別の動作又は技法の）手技の間に遠位先端部１４及び／又はエンドエフェクタ３２の動きを推定するために用いることができるハウジング２８の動きを検出する。

【0061】

ＷＩＵ２２は、記憶デバイス７４に記憶された、様々な検出関連機能を実施するための命令を含むこと又はそれを実行するように構成することができる検出処理ユニット（ＤＰＵ）１３０を含む。例えば、これらの命令は、ＤＰＵ１３０が、時系列の各画像内の少なくとも１つの解剖学的特徴部を分類するために、時系列の画像をＲＯＩ１６の解剖学的モデルに基づく人工知能分類器（ＡＩＣ）と比較することを可能にすることができる。例えば、ＡＩＣは、畳み込みニューラルネットワーク（ＣＮＮ）、回帰型ニューラルネットワーク（ＲＮＮ）、又はその他の適切なＡＮＮを含むことができる人工ニューラルネットワーク（ＡＮＮ）に基づくことができる。例えば、記憶デバイス７４は、ＡＩＣをローカルに記憶することができ、それによってエッジコンピューティングを可能にすることができるエッジコンピューティングは、ネットワーク接続を不十分にしか又は全く含むことができない様々な環境において技術的に有益である可能性がある。例証的実施形態では、ＲＯＩ１６は、前立腺尿道４０、前立腺４２、膀胱４４、精丘５２、及び膀胱頚部６０といった解剖学的特徴部を含む。しかしながら、陰茎部尿道、膜様部尿道／外尿道括約筋、球部尿道、中葉、側葉、尿管口、尿管膀胱移行部、尿管、腎盂尿管移行部、腎盂、右／左の尿管口、漏斗部、腎杯、及び同様のもの等であるがそれらに限定されない他の尿路解剖学的特徴部も見込んでいる。解剖学的特徴部は、肥大、肉柱形成、腫瘍／病変、結石、憩室、及び同様のもの等であるがそれらに限定されない病理を含むこともできる。同様に、本明細書で開示するように、解剖学的特徴部は、医療又は非医療のどちらの特徴部であるかに関わらず、解剖学的であってもなくてもよい。

【0062】

ＤＰＵ１３０は、リアルタイム又は実質的にリアルタイムとすることができるＩＰＵ８０からの時系列の各画像の受け取りを行い、リアルタイム又は実質的にリアルタイムとすることができる解剖学的モデルとの各受け取り画像の比較を行い、リアルタイム又は実質的にリアルタイムとすることができる比較に基づく信頼度評価指標の決定を行う。この例証的実施形態では、ＤＰＵは、深層畳み込みニューラルネットワーク（ＤＬＣＮＮ）等のＡＩＣに基づくニューラルネットワークに関する命令を含むが、知覚、単純ベイズ分類器、決定木、ロジスティック回帰、Ｋ近傍法、サポートベクターマシン、ＣＮＮ、ＲＮＮ、及び同様のもの等であるがそれらに限定されない他の分類器も見込んでいることを察知されたい。ＡＩＣは、最初に、同様の且つ／又は隣接するＲＯＩからそれまでに取り込まれた時系列の個々のフレームに基づいて解剖学的モデルをトレーニングする。トレーニングは、ＷＩＵ２２自体の上で実施することができるが、解剖学的モデルは、外部デバイス４８、リモートデバイス１０４、機関サービス１０６、又はクラウド記憶システム１０８上でトレーニングすることもできる。続いてトレーニングされた解剖学的モデルは、ＤＰＵ１３０の作業メモリ又は記憶デバイス７４に無線トランシーバ１００を介して転送することができる。それによって、エッジコンピューティングを可能にすることができる。ＤＰＵ１３０は、時系列の各画像をトレーニングされた解剖学的モデルとリアルタイム又は実質的にリアルタイムで比較し、この比較に基づいて各画像に関する分類と信頼度評価指標とをリアルタイム又は実質的にリアルタイムで決定する。ＤＰＵ１３０は、分類された解剖学的特徴部を相応する画像と共にディスプレイ２４上に表示するようにＩＰＵ８０に命令するように構成される。

【0063】

更にＤＰＵ１３０は、ＭＰＵ１２０から動き信号をリアルタイム又は実質的にリアルタイムで受け取り、ハウジング２８の動きベクトルをリアルタイム又は実質的にリアルタイムで決定し、続いてこの動きベクトルを用いて内視鏡１２の遠位先端部１４及び／又は治療デバイス３０のエンドエフェクタ３２の動きベクトルをリアルタイム又は実質的にリアルタイムで推定することができる。動きベクトルは、変位ベクトル、加速度ベクトル、速度ベクトル、回転ベクトル、又は同様のものとすることができる。例えば、ＤＰＵ１３０は、ＲＯＩ１６の中に配置された携帯型システム１０の一部分の変位及び方向を、検出したハウジング２８の動きに基づいてリアルタイム又は実質的にリアルタイムで推定することができる。ＤＰＵ１３０は、決定された動きベクトル及び／又は分類された解剖学的特徴部を相応する画像と共にディスプレイ２４上にリアルタイムで表示するようにＩＰＵ８０に命令するように構成される。

【0064】

図２及び図３を参照すると、ＤＰＵ１３０は、ＲＯＩ１６の中で処置領域５８をリアルタイム又は実質的にリアルタイムで特定するように構成することができる。この例証的実施形態では、処置領域５８は、精丘６２の近位且つ膀胱頚部６０の遠位にある領域とし、従ってこれらの解剖学的特徴部を回避することができる。ＲＯＩ１６の中で特定された処置領域５８と分類された解剖学的特徴部４０、４２、４４、６０、６２とに基づいて、ＤＰＵ１３０は、１又は２以上の処置部位６４ａ、６４ｂ、６６ａ、６６ｂ、６８ａ、６８ｂをリアルタイム又は実質的にリアルタイムで決定するように構成することもできる。ＤＰＵ１３０は、決定された動きベクトル、分類された解剖学的特徴部４０、４２、４４、６０、６２、及び／又は決定された処置部位６４ａ、６４ｂ、６６ａ、６６ｂ、６８ａ、６８ｂを相応する画像と共にディスプレイ２４上にリアルタイム又は実質的にリアルタイムで表示するようにＩＰＵ８０に命令するように構成される。

【0065】

図５Ａ～図５Ｄを参照すると、ディスプレイ２４上に表示された、治療手技の上記の例証的実施形態のＲＯＩ１６の内視鏡視野が描示されている。施術者は、指定治療手技に向けて解剖学的特徴部４０、４２、４４、５２、５４を分類するために全体のＲＯＩ１６を見ることになる。施術者は、望ましい治療手技を選択するためにディスプレイ２４上に表示されたユーザインターフェースとタッチ画面７８を介して対話する（例えばタッチによって）ことができるが、デフォルト手技が選択済みとすることができる又はデフォルト手技は選択されない。続いてＤＰＵ１３０が、ユーザ入力に基づいて望ましい解剖学的モデルを特定し、記憶デバイス７４、外部デバイス１０２、リモートデバイス１０４、機関サーバ１０６、又はクラウド記憶システム１０８の何れか１つから解剖学的モデルを検索取得する。施術者は、ユーザインターフェースを通じてのタッチコマンド又は助手による外部コマンドによって手技を開始する。それに応じて、マイクロコントローラ７２が、時系列の画像を収集し始めるようにＩＰＵ８０に命令し、ハウジング２８の動き信号の収集を始めるようにＭＰＵ１２０に命令する。マイクロプロセッサ７２は、記憶デバイス７４、外部デバイス４８、外部デバイス１０２、リモートデバイス１０４、機関サーバ１０６、又はクラウド記憶システム１０８の１つから手技データ及び／又はＥＭＲデータを検索取得することもでき、施術者が手技を開始する前に精査するためにこの手技データをディスプレイ２４上に表示する。施術者は、手技データによって規定されている通りにＲＯＩ１６の全域を撮像するために携帯可能治療システムをＲＯＩ１６の中に導入することによって手技を開始する。解剖学的特徴部４０、４２、４４、５２、５４がリアルタイム又は実質的にリアルタイムで分類された後に、施術者は、表示された分類された解剖学的特徴部１４０、動きベクトル１４２、及び信頼度評価指標１４４に基づいて手技を手動で実施すべきか否かを選ぶことができる、又は決定された処置領域５８と決定された処置部位６４ａ、６４ｂ、６６ａ、６６ｂ、６８ａ、６８ｂとに基づいて手技を半自動方式で実施することを選ぶことができ、これについては下記でより詳細に説明することにする。

【0066】

手動手技の間には、施術者は、近位処置部位５６ａ、５６ｂに処置を施すために、例えば膀胱頚部６０等からの相対動きベクトル１４６を拠り所とすることができる。施術者は、例えば、図５Ａに例示しているように相応する解剖学的特徴部を示す文字インジケータ及び表示された信頼度評価指標１４４が施術者の期待に沿う時である、膀胱５４及び膀胱頚部６０が分類された解剖学的特徴部１４０としてリアルタイム又は実質的にリアルタイムで表示される時まで遠位先端部１４及びエンドエフェクタ３２をＲＯＩ１６の中に導入することになる。続いて施術者は、ディスプレイ２４のタッチ画面７８と対話して、そこから相対動きベクトル１４６を開始し、図５Ｂに例示しているように近位処置部位６４ａ、６４ｂにとって最適な場所を探し出すのに十分な変位及び／又は回転を相対動きベクトル１４６が示すまで遠位先端部１４及び／又はエンドエフェクタ３２を後退させることができる。施術者は、アクチュエータ３４を作動させてこの場所で処置を展開する。

【0067】

同様に、施術者は、精丘６２及び遠位処置部位６６ａ、６６ｂにおいてこのプロセスを繰り返して処置を展開することができる。近位処置部位６４ａ、６４ｂにおいて治療を展開した後に、施術者は、精丘６２が分類された解剖学的特徴部１４０としてリアルタイム又は実質的にリアルタイムで表示されるまで遠位先端部１４及び／又はエンドエフェクタ３２を後退させる。そこから、施術者は、図５Ｃに例示しているように遠位処置部位６６ａ、６６ｂにとって最適な場所を探し出すのに十分な変位及び／又は回転を相対動きベクトル１４６がリアルタイム又は実質的にリアルタイムで示すまで遠位先端部１４及び／又はエンドエフェクタ３２を延ばすことになる。

【0068】

最後に、施術者は、中間処置部位６８ａ、６６ｂに治療を施すのに必要なだけ上記のプロセスを繰り返すことになる。遠位処置部位６６ａ、６６ｂで治療を展開した後に、施術者は、過度の閉塞領域を特定し、１又は２以上の中間処置部位６８ａ、６６ｂを特定するために遠位先端部１４及び／又はエンドエフェクタ３２を処置領域５８に沿って延ばす。施術者は、それまでに処置された処置部位６４ａ、６４ｂ、６６ａ、６６ｂ、６８ａ、６８ｂに隣接するところで不要な膨張部を作り出すことなく前立腺尿道４０の前面を通る最適で切れ目のないチャネルを得るのに十分な間隔で後続の中間処置部位６８ａ、６６ｂが置かれることを確実にするために相対動きベクトル１４４を拠り所とすることができる。

【0069】

半自動手技の間には、施術者は、自動的に分類された処置領域５８とＤＰＵ１３０によってリアルタイム又は実質的にリアルタイムで決定された処置部位６４ａ、６４ｂ、６６ａ、６６ｂ、６８ａ、６８ｂとを拠り所とすることができる。全体のＲＯＩ１６が撮像され、解剖学的特徴部４０、４２、４４、６０、６２がＤＰＵ１３０によってリアルタイム又は実質的にリアルタイムで分類された後に、続いてＤＰＵ１３０は、処置部位６４ａ、６４ｂ、６６ａ、６６ｂ、６８ａ、６８ｂにとって最適な場所をリアルタイム又は実質的にリアルタイムで決定する。施術者は、自分が十分であると見なす信頼度評価指標１４４で表示処置部位１４６にリアルタイム又は実質的にリアルタイムで到達するまで遠位先端部１４及びエンドエフェクタをＲＯＩ１６の中に再導入する。最適な場所に到達すると、施術者は、アクチュエータ３４を作動させてこの場所で処置を展開する。手動手技と同様に、施術者は、処置を最初に近位処置部位６４ａ、６４ｂで展開し、続いて遠位処置部位６６ａ、６６ｂで展開し、更に前立腺尿道４０の前面を通る切れ目のないチャネルが得られるまで中間処置部位６８ａ、６８ｂに展開する。

【0070】

図６Ａを参照すると、ＤＰＵ１３０によって解剖学的モデルをトレーニングするための方法のある実施形態２００のフローチャートが描示されている。治療（或いは別の動作又は技法の）手技の間にリアルタイム又は実質的にリアルタイムで取り込まれ、リアルタイム又は実質的にリアルタイムで分類された画像は、相応する分類及び信頼度評価指標のメタデータ（又は別の形態のデータ編成）と一緒にトレーニングデータとして画像メモリ８２に記憶される（Ｓ１０）。トレーニングデータは、相応する解剖学的モデルを再トレーニング（或いは補強又は更新）するために用いることができる。トレーニングデータは、事前決定信頼度評価指標閾値に基づいてＤＰＵ１３０によってビニングされる（Ｓ１２）。事前決定信頼度評価指標閾値を超える（又は満たす）信頼度評価指標を有する分類された画像は、高信頼度画像と見なされ、更なる介入なしに相応する解剖学的モデルを再トレーニング（或いは補強又は更新）するために用いることができる。しかしながら、信頼度評価指標閾値を充足しない（又は満たさない）分類された画像は低信頼度画像と見なされ、ディスプレイ２４又は外部デバイス４８、リモートデバイス１０４、機関サービス１０６、又はクラウド記憶システム１０８を用いたユーザによる更なる手動検証（例えば物理的又は仮想のキーボードを介しての）に向けてビニングされる。これらのデバイスは、手動検証に向けてビニングされた低信頼度画像を画像メモリ８２からネットワーク１０４又はインターネット１０２を介して検索取得することができる。ＤＰＵ１３０は、高信頼度画像としてビニングされた分類された画像を検索取得し（Ｓ１４）、解剖学的モデルを再トレーニング（或いは補強又は更新）する（Ｓ１６）ように構成される。続いて、再トレーニングされた（或いは補強された又は更新された）解剖学的モデルは、将来の治療（或いは他の動作又は技法の）手技に向けて記憶デバイス７４に記憶される（Ｓ１８）。再トレーニングされた（或いは補強された又は更新された）解剖学的モデルは、将来の治療（或いは他の動作又は技法の）手技に向けて外部デバイス１０２、リモートデバイス１０４、機関サーバ１０６、又はクラウド記憶システム１０８の１又は２以上に記憶することもできることを察知されたい。

【0071】

図３を参照すると、別の実施形態では、携帯型システム１０は、解剖学的モデルの再トレーニング（或いは補強又は更新）を実施する外部デバイス１０２、リモートデバイス８４、機関サービス８６、又はクラウド記憶システム８８のうちの少なくとも１つの中に配置されたトレーニング処理ユニット（ＴＰＵ）１５０を含む。図６Ｂを参照すると、ＴＰＵ１５０によって解剖学的モデルをトレーニングするための方法の別の実施形態２０２が描示されている。トレーニングデータは、外部デバイス１０２、リモートデバイス８４、機関サービス８６、又はクラウド記憶システム８８の何れか１つのＴＰＵ１５０によって検索取得される（Ｓ２０）同様に、ＴＰＵ１５０は、事前決定信頼度評価指標閾値に基づいてトレーニングデータの画像を高信頼度ビンと低信頼度ビンとにビニングする（Ｓ２２）。ＴＰＵ１５０は、高信頼度画像としてビニングされた分類された画像を検索取得し（Ｓ２４）、解剖学的モデルを再トレーニング（或いは補強又は更新）する（Ｓ２６）ように構成される。続いて再トレーニングされた（或いは補強された又は更新された）解剖学的モデルは、将来の治療（或いは他の動作又は技法の）手技に向けて外部デバイス１０２、リモートデバイス１０４、機関サーバ１０６、又はクラウド記憶システム１０８の何れか１つの記憶デバイスに記憶される（Ｓ２８）。外部デバイス１０２、リモートデバイス１０４、機関サーバ１０６、又はクラウド記憶システム１０８の何れか１つに記憶されている再トレーニングされた（或いは補強された又は更新された）解剖学的モデルをＷＩＵ２２が検索取得し、それを将来の治療（或いは他の動作又は技法の）手技に向けて記憶デバイス６４に記憶することができることを察知されたい。

【0072】

図７を参照すると、内視鏡治療（或いはその他の動作又は技法の）手技を実施するための方法３００のフローチャートが描示されている。施術者（例えば、ユーザ、医師、技術者）が、ＷＩＵ２２の撮像カプラ２６を内視鏡１２の観察ポート２０に動作可能に結合する（Ｓ３０）。ディスプレイ２４のユーザインターフェースを介して、施術者は、望ましい治療（或いはその他の動作又は技法の）手技を選択する（Ｓ３２）。施術者の入力に基づいて、ＷＩＵ２２のＤＰＵ１３０が、望ましい治療（或いはその他の動作又は技法の）手技に相応する解剖学的モデルを決定し、記憶デバイス７４、外部デバイス１０２、リモートデバイス１０４、機関サーバ１０６、又はクラウド記憶システム１０８の何れか１つから検索取得する（Ｓ３４）。施術者は、ユーザインターフェースを通じてのタッチコマンドによって手技を開始し、それに応じて、マイクロコントローラ７２が、撮像情報を収集し始めるようにＩＰＵ８０に命令し、ハウジング２８の動き信号の収集を始めるようにＭＰＵ１２０に命令する（Ｓ３６）。ＷＩＵ２２が、治療（或いはその他の動作又は技法の）デバイス３０のエンドエフェクタ３２の少なくとも一部分とＲＯＩ１６の一部分とを含むＦｏＶ５６の撮像情報を受け取り（Ｓ３８）、この情報は、時系列の画像にリアルタイム又は実質的にリアルタイムで変換されてディスプレイ２４上にリアルタイムで表示される。それと同時に、ＤＰＵ１３０が、ハウジング２８の動きをリアルタイム又は実質的にリアルタイムで検出し、検出したこれらの動き信号に基づいて内視鏡１２及び／又はエンドエフェクタ３２の動きベクトルをリアルタイム又は実質的にリアルタイムで推定する（Ｓ４０）。受け取り撮像情報と検索取得解剖学的モデルとのリアルタイム又は実質的にリアルタイムの比較に基づいて、ＤＰＵ１３０の人工知能分類器が、時系列の各画像内の少なくとも１つの解剖学的特徴部をリアルタイム又は実質的にリアルタイムで分類する（Ｓ４２）。ＤＰＵ１３０は、少なくとも１つの解剖学的特徴部１４０の分類、決定された信頼度評価指標１４４、及び決定された動きベクトル１４２を時系列の相応する画像と共に表示するようにマイクロプロセッサ７２に命令する（Ｓ４４）。

【0073】

図８を参照すると、内視鏡手技を実施するためのキットが例示されている。キット４００は、少なくとも、上記で説明した実施形態のうちの何れか１つによるＷＩＵ２２と、ＤＰＵ１３０によって解剖学的モデルをトレーニングするための方法２００、ＴＰＵ１５０によって解剖学的モデルをトレーニングするための方法２０２、或いは幾つかの状況では上記で説明した実施形態のうちの何れか１つによる又はそれに適合化された内視鏡治療手技とすることができる内視鏡手技を実施するための方法３００の少なくとも１つを実施するための命令４０２とを含む。例えば、キット４００は、上記で説明した実施形態のうちの何れか１つによるＷＩＵ２２を収容する容器（例えば、ボックス、プラスチックバッグ、パッケージ、ケース）と、内視鏡手技が医療手技（例えば、様々な哺乳類病理における病態の予防、予測、診断、改善、監視、又は処置に適する）であるか、又は非医療手技（例えば、狭くて到達するのが困難なキャビティの目視検査を支援するための）であるかに関わらず、上記で説明した実施形態のうちの何れか１つに従って内視鏡手技を実施するための命令とを含むことができる。容器は、本明細書で開示する又は開示しないシステムコントローラ７０、光源１８、観察ポート２０、撮像センサ９０、動きセンサ１２２、タッチ画面７８、Ｉ／Ｏポート１５６、ディスプレイ２４、外部デバイス４８、又はその他のものの少なくとも１つを含むこともできる。

【0074】

例えば、本明細書で開示する内視鏡手技は、当業者には理解され、単に簡潔化の目的で本明細書では省略する癲癇、一次性又は二次性のどちらであるか、群発性又は緊張性のどちらであるかに関わらない頭痛／片頭痛、神経痛、発作、回転性目眩、浮動性目眩、脳震盪、動脈瘤、麻痺、パーキンソン病、アルツハイマー病、又はその他のもの等の神経学的状態を予防、診断、監視、改善、又は処置するために用いることができる。例えば、本明細書で開示する内視鏡手技は、当業者には理解され、単に簡潔化の目的で本明細書では省略するアルツハイマー病、パーキンソン病、多発性硬化症、術後認知機能障害、及び術後譫妄、又はその他のもの等の神経変性疾患を予防、診断、監視、改善、又は処置するために用いることができる。例えば、本明細書で開示する内視鏡手技は、当業者には理解され、単に簡潔化の目的で本明細書では省略するアルツハイマー病、強直性脊椎炎、関節炎（変形性関節症）、関節リウマチ（ＲＡ）、シェーグレン症候群、側頭動脈炎、２型糖尿病、乾癬性関節炎、喘息、アテローム性動脈硬化症、クローン病、大腸炎、皮膚炎、憩室炎、線維筋痛症、肝炎、過敏性腸症候群（ＩＢＳ）、全身性エリテマトーデス（ＳＬＥ）、腎炎、線維筋痛症、セリアック病、パーキンソン病、潰瘍性大腸炎、慢性消化性潰瘍、結核、歯周炎、副鼻腔炎、肝炎、バセドウ病、乾癬、悪性貧血（ＰＡ）、末梢神経障害、狼瘡、又はその他のもの等の炎症性疾患又は炎症性障害を予防、診断、監視、改善、又は処置するために用いることができる。例えば、本明細書で開示する内視鏡手技は、当業者には理解され、単に簡潔化の目的で本明細書では省略する腸閉塞、過敏性腸症候群、クローン病、潰瘍性大腸炎、憩室炎、胃食道逆流症又はその他のもの等の胃腸状態を予防、診断、監視、改善、又は処置するために用いることができる。例えば、本明細書で開示する内視鏡手技は、当業者には理解され、単に簡潔化の目的で本明細書では省略する喘息、気管支炎、肺炎、又はその他のもの等の気管支障害を予防、診断、監視、改善、又は処置するために用いることができる。例えば、本明細書で開示する内視鏡手技は、当業者には理解され、単に簡潔化の目的で本明細書では省略する冠動脈疾患、心臓発作、不整脈、心筋症、又はその他のものを予防、診断、監視、改善、又は処置するために用いることができる。例えば、本明細書で開示する内視鏡手技は、当業者には理解され、単に簡潔化の目的で本明細書では省略する尿失禁、尿検査、過活動膀胱、又はその他のもの等の排尿障害を予防、診断、監視、改善、又は処置するために用いることができる。例えば、本明細書で開示する内視鏡手技は、当業者には理解され、単に簡潔化の目的で本明細書では省略する膀胱がん、乳がん、前立腺がん、肺がん、結腸がん又は直腸がん、皮膚がん、甲状腺がん、悪性脳腫瘍、白血病、肝臓がん、リンパ腫、膵臓がん、又はその他のもの等のがんを予防、診断、監視、改善、又は処置するために用いることができる。例えば、本明細書で開示する内視鏡手技は、当業者には理解され、単に簡潔化の目的で本明細書では省略する糖尿病（１型、２型、又は妊娠性）、ゴーシェ病、鎌状赤血球貧血症、嚢胞性繊維症、ヘモクロマトーシス、又はその他のもの等の代謝障害を予防、診断、監視、改善、又は処置するために用いることができる。例えば、非医療内視鏡手技は、ターゲット区域が他の手段によってはアクセス不能である又はアクセス性が、破壊的である、時間を要する、且つ／又は高額な経費を要する活動を必要とする可能性がある目視検査作業に用いることができる。例えば、非医療内視鏡手技は、欠陥又は不完全性を認識するための非破壊検査技法（例えば、航空機エンジン、ガスタービン、蒸気タービン、ディーゼルエンジン、自動車エンジン、トラックエンジン、機械加工部品又は鋳造部品、表面仕上げ、完全貫通孔の目視検査、法執行における犯罪科学用途、建物検査、銃器製造における火器の内腔検査）に用いることができる。医療又は非医療のどちらであるかに関わらず、上記の状況では、ＲＯＩ１６、モデル、デバイス３０、インプラント、及び関連のハードウェア／ソフトウェア、並びに製造及び使用の技法が、適宜適合化される。幾つかの実施形態は、幾つかの実施形態は、キャビティを撮像する内視鏡から、キャビティ内の解剖学的特徴部を描示する画像をプロセッサによって受け取るステップと、内視鏡がキャビティを撮像する間に解剖学的特徴部に関する分類をプロセッサによって実施するステップと、内視鏡がキャビティを撮像する間に分類に対する信頼度評価指標をプロセッサによって決定するステップと、内視鏡がキャビティを撮像する間にキャビティを撮像する内視鏡に関する動きベクトルをプロセッサによって決定するステップと、内視鏡がキャビティを撮像する間に画像、分類、信頼度評価指標、又は動きベクトルの内の少なくとも２つを同時に提示することをプロセッサによってディスプレイに要求するステップとを含む方法を含むことができる。ディスプレイは、内視鏡がキャビティを撮像する間に画像、分類、信頼度評価指標、又は動きベクトルの少なくとも３つを同時に提示することができる。ディスプレイは、内視鏡がキャビティを撮像する間に画像と、分類と、信頼度評価指標と、動きベクトルとを同時に提示することができる。ディスプレイは、内視鏡がキャビティを撮像する間に画像と、分類、信頼度評価指標、又は動きベクトルのうちの少なくとも２つとを同時に提示することができる。ディスプレイは、内視鏡がキャビティを撮像する間に画像と、分類と、信頼度評価指標又は動きベクトルの少なくとも一方とを同時に提示することができる。

【0075】

幾つかの実施形態は、キャビティを撮像する内視鏡から、キャビティ内の解剖学的特徴部を描示する画像をプロセッサによって受け取るステップと、内視鏡がキャビティを撮像する間に解剖学的特徴部に関する分類をプロセッサによって実施するステップと、内視鏡がキャビティを撮像する間に分類に対する信頼度評価指標をプロセッサによって決定するステップと、内視鏡がキャビティを撮像する間にキャビティを撮像する内視鏡に関する動きベクトルをプロセッサによって決定するステップと、分類と信頼度評価指標と動きベクトルとに基づいてプロセッサによって動作を実施するステップとを含む方法を含むことができる。動作は、内視鏡によって撮像されているキャビティ内でエンドエフェクタを展開する（例えば、移動させる、延ばす、調節する、動力を供給する、把持する、切断する）段階を含むことができる。例えば、エンドエフェクタは、ロボットアームの構成要素とすることができる（例えば、手術手技、キャビティの調査の間に）。動作は、キャビティ内の解剖学的特徴部に対するものとする（例えば、エンドエフェクタによって解剖学的特徴部に接触する）ことができる。動作は、キャビティ内の解剖学的特徴部に対するものとしない（例えば、別の解剖学的特徴部、キャビティの内部の物体、キャビティの外部の物体とする）ことができる。キャビティは、哺乳類のキャビティ又は無生物のキャビティとすることができる。動作は、内視鏡がキャビティを撮像する間に画像、分類、信頼度評価指標、又は動きベクトルの内の少なくとも２つを同時に提示することをプロセッサによってディスプレイに要求することを含むことができる。ディスプレイは、内視鏡がキャビティを撮像する間に画像、分類、信頼度評価指標、又は動きベクトルの少なくとも３つを同時に提示することができる。ディスプレイは、内視鏡がキャビティを撮像する間に画像と、分類と、信頼度評価指標と、動きベクトルとを同時に提示することができる。ディスプレイは、内視鏡がキャビティを撮像する間に画像と、分類、信頼度評価指標、又は動きベクトルのうちの少なくとも２つとを同時に提示することができる。ディスプレイは、内視鏡がキャビティを撮像する間に画像と、分類と、信頼度評価指標又は動きベクトルの少なくとも一方とを同時に提示することができる。

【0076】

本開示の様々な実施形態を、プログラムコードを記憶及び／又は実行するのに適し、メモリ要素に直接的に又はシステムバスを通じて間接的に結合された少なくとも１つのプロセッサを含むデータ処理システム内に実装することができる。メモリ要素は、例えば、プログラムコードの実際の実行中に用いられるローカルメモリと、バルクストレージと、実行中にコードをバルクストレージから検索取得しなければならない回数を低減させるために少なくとも幾分かのプログラムコードの一時的な記憶を可能にするキャッシュメモリとを含む。

【0077】

システムには、直接的か又は介在Ｉ／Ｏコントローラを通してかのどちらかでＩ／Ｏデバイス（キーボード、ディスプレイ、ポインティングデバイス、ＤＡＳＤ、テープ、ＣＤ、ＤＶＤ、サムドライブ、及び他のメモリ媒体等）を結合することができる。システムには、データ処理システムが、介在する私設ネットワーク又は公衆ネットワークを通して他のデータ処理システム、リモートプリンタ、又は記憶デバイスに結合された状態になることを可能にするためのネットワークアダプタを結合することもできる。モデム、ケーブルモデム、及びイーサネットカードが、利用可能な種類のネットワークアダプタのうちのごく一部である。

【0078】

本開示内容は、システム、方法、及び／又はコンピュータプログラム製品で具現化することができる。コンピュータプログラム製品は、プロセッサに本開示の態様を実施させるためのコンピュータ読み出し可能プログラム命令を有する１つ（又は複数）のコンピュータ読み出し可能記憶媒体を含むことができる。コンピュータ読み出し可能記憶媒体は、命令実行デバイスが用いるための命令を保持及び記憶することができる有形デバイスとすることができる。コンピュータ読み出し可能記憶媒体は、例えば、電子記憶デバイス、磁気記憶デバイス、光記憶デバイス、電磁記憶デバイス、半導体記憶デバイス、又はこれらの何れか適切な組み合わせとすることができるが、それらに限定されない。コンピュータ読み出し可能記憶媒体のより具体的な例の非網羅的リストは、携帯可能コンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラミング可能読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、携帯可能コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、命令が記録されたパンチカード又は溝の中の隆起構造等の機械的コード化デバイス、及び何れか適切な組み合わせを含む。本明細書で説明するコンピュータ読み出し可能プログラム命令は、コンピュータ読み出し可能記憶媒体からそれぞれのコンピューティング／処理デバイスに、或いは例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、及び／又は無線ネットワークを介して外部コンピュータ又は外部記憶デバイスにダウンロードすることができる。ネットワークは、銅線送信ケーブル、光送信ファイバ、無線送信、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ、及び／又はエッジサーバを備えることができる。各コンピューティング／処理デバイス内にあるネットワークアダプタカード又はネットワークインターフェースは、ネットワークからコンピュータ読み取り可能プログラム命令を受信し、それをそれぞれのコンピューティング／処理デバイス内のコンピュータ読み出し可能記憶媒体への記憶に向けて転送する。

【0079】

本開示の動作を実施するためのコンピュータ読み取り可能プログラム命令は、アッセンブラ命令、命令セットアーキテクチ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、或いはスモールトーク、Ｃ＋＋、又は同様のもの等のオブジェクト指向プログラミング文言及び「Ｃ」プログラミング文言又は同様のプログラミング文言等の従来の手続き型プログラミング文言を含む１又は２以上のプログラミング文言の何れかの組み合わせで書かれたソースコード又はオブジェクトコードのどちらかとすることができる。コードセグメント又は機械実行可能命令が、プロシージャ、関数、サブプログラム、プログラム、ルーチン、サブルーチン、モジュール、ソフトウェアパッケージ、クラス、或いは命令、データ構造、又はプログラムステートメントの何れかの組み合わせを表すことができる。コードセグメントは、情報、データ、引数、パラメータ、又はメモリ内容を受け渡す且つ／又は受け取ることによって別のコードセグメント又はハードウェアに結合することができる。情報、引数、パラメータ、データ等は、とりわけ、メモリ共有、メッセージの受け渡し、トークンの受け渡し、ネットワーク送信を含む何れか適切な手段によって受け渡すこと、転送すること、又は送信することができる。コンピュータ読み出し可能プログラム命令は、スタンドアローンソフトウェアパッケージとして命令の全部をユーザのコンピュータ上で、一部をユーザのコンピュータ上で実行すること、一部をユーザのコンピュータ上で実行し、一部をリモートコンピュータ上で実行すること、又は全部をリモートコンピュータ又はリモートサーバ上で実行することができる。一部又は全部をリモートコンピュータ又はリモートサーバ上で実行するシナリオでは、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、又はインターネットサービスプロバイダを含何れかの種類のネットワークを通じてリモートコンピュータをユーザのコンピュータに接続することができる。幾つかの実施形態では、例えば、プログラミング可能論理回路、現場プログラミング可能ゲートアレイ（ＦＰＧＡ）、又はプログラミング可能論理アレイ（ＰＬＡ）を含む電子回路が、本開示の態様を実施するためにコンピュータ読み出し可能プログラム命令の状態情報を利用して電子回路を個別化することによってコンピュータ読み出し可能プログラム命令を実行することができる。

【0080】

本明細書では、本開示の複数の実施形態による方法、装置（システム）、及びコンピュータプログラム製品のフローチャート図及び／又はブロックダイアグラムを参照しながら本開示の態様を説明した。フローチャート図及び／又はブロックダイアグラムの各ブロック並びにフローチャート及び／又はブロックダイアグラムに記載のブロックの組み合わせを、コンピュータ読み出し可能プログラム命令によって実装することができる。本明細書で開示する複数の実施形態に関連して説明した種々の例示的な論理ブロック、モジュール、回路、及びアルゴリズム段階は、電子ハードウェア、コンピュータソフトウェア、又はこれら両方の組み合わせとして実装することができる。ハードウェアとソフトウェアとのこの可換性を明確に例示するために、種々の例示的な構成要素、ブロック、モジュール、回路、及び段階を、一般的にこれらの機能に関して上記で説明した。かかる機能がハードウェア又はソフトウェアのどちらとして実装されるかは、特定の用途と、全体のシステムに課される設計制約条件とに依存する。当業者は、説明した機能を、各特定の用途に適した様々な手法で実装することができるが、かかる実装の決定は、本開示の範囲からの逸脱を引き起こすものと解釈すべきではない。

【0081】

図に記載のフローチャート及びブロックダイアグラムは、本開示の様々な実施形態によるシステム、方法、及びコンピュータプログラム製品の可能な実装のアーキテクチャ、機能、及び動作を例示している。この点に関して、フローチャート及びブロックダイアグラム内にある各ブロックは、指定の論理関数を実装するための１又は２以上の実行可能命令を含むモジュール、セグメント、又は命令の一部分を表すことができる。幾つかの代替的実装では、ブロック内に記載した機能は、図に記載した順序以外の順序で行うことができる。例えば、連続して示す２つのブロックは、実際にはフローチャート図に依存して実質的に同時に実行することができ又は場合によっては逆の順序で実行することができ、ブロックダイアグラム及び／又はフローチャート図内にあるブロックの組み合わせを、指定された機能又は行為を実施する又は専用ハードウェアとコンピュータ命令との組み合わせを実施する専用ハードウェアベースのシステムによって実装することができる。

【0082】

「続いて」、「次に」等のような言葉は、段階の順序を限定することを意図したものではなく、方法の説明を通して閲読者を導くために用いるものに過ぎない。プロセスフローダイアグラムでは動作を順次プロセスとして説明する場合があるが、これらの動作のうちの多くのものは、並列又は同時に実施することができる。それに加えて、動作の順序は、再配列することができる。プロセスは、方法、関数、プロシージャ、サブルーチン、サブプログラム等に相応する場合がある。プロセスが関数に相応する場合には、その終了は、呼び出し関数又はメイン関数への関数の復帰に相応する場合がある。

【0083】

ある特定の例示的実施形態に関して説明した特徴又は機能を、様々な他の例示的実施形態において且つ／又はこれらの実施形態と組み合わせること及び部分的に組み合わせることができる。また、本明細書で開示した例示的実施形態の様々な態様及び／又は要素を、同様の方式で組み合わせること及び部分的に組み合わせることもできる。更に、幾つかの例示的実施形態は、個別的及び／又は集合的のどちらであるかに関わらず、より大きいシステムの構成要素にすることができ、この場合、そのプロシージャを他のプロシージャが引き継ぐこと及び／又は別途当該プロシージャの適用を改変することができる。追加的に、幾つかの段階が、本明細書で開示する例示的実施形態の前、後、及び／又はそれと同時に必要とされる場合がある。少なくとも本明細書で開示する何れか且つ／又は全ての方法及び／又はプロセスを、少なくとも１つの実体又は行為者が何れかの方式で少なくとも部分的に実施することができることに注意されたい。

【0084】

上記を明瞭化の目的である程度詳細に説明したが、ある特定の変更及び改変を、本開示の原理から逸脱することなく加えることができることを察知されよう。本明細書で説明したプロセスと装置との両方を実装する代替的な手法が数多く存在することに注意されたい。従って、本実施形態は、限定的ではなく例示的なものと見なすべきであり、本明細書で説明した研究開発の主要部は、本明細書で提示した詳細内容に限定されず、添付の特許請求の範囲内及び均等物の範囲内で改変することができる。

【符号の説明】

【0085】

１０ 携帯型システム
１２ 内視鏡
１４ 患者
１６ 関心領域（ＲＯＩ）
１８ 外部光源
２０ 観察ポート
２２ 無線撮像ユニット（ＷＩＵ）
２４ ディスプレイ
２６ 撮像カプラ
２８ ハウジング
３０ 治療デバイス
３２ エンドエフェクタ
３４ アクチュエータ
３６ ハンドル
４０ 前立腺尿道
４２ 前立腺
４４ 膀胱
４６ 無線通信
４８ 外部デバイス

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図5C】

【図5D】

【図6A】

【図6B】

【図7】

【図8】

【手続補正書】

【提出日】2024-09-02

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

方法であって、
キャビティを撮像する内視鏡から、前記キャビティ内の解剖学的特徴部を表す画像を、プロセッサによって受け取るステップと、
前記内視鏡が前記キャビティを撮像する間に、前記解剖学的特徴部に関する分類を、前記プロセッサによって実施するステップと、
前記内視鏡が前記キャビティを撮像する間に、前記分類に対する信頼度評価指標を、前記プロセッサによって決定するステップと、
前記内視鏡が前記キャビティを撮像する間に、前記キャビティを撮像する前記内視鏡に関する動きベクトルを、前記プロセッサによって決定するステップと、
前記内視鏡が前記キャビティを撮像する間に、前記画像、前記分類、前記信頼度評価指標、又は前記動きベクトルのうちの少なくとも２つを同時に提示することを、前記プロセッサによってディスプレイに要求するステップと、
を含む、方法。

【請求項2】

前記ディスプレイは、前記内視鏡が前記キャビティを撮像する間に、前記画像、前記分類、前記信頼度評価指標、又は前記動きベクトルのうちの少なくとも３つを同時に提示する、請求項１に記載の方法。

【請求項3】

前記ディスプレイは、前記内視鏡が前記キャビティを撮像する間に、前記画像、前記分類、前記信頼度評価指標、及び前記動きベクトルを同時に提示する、請求項２に記載の方法。

【請求項4】

前記ディスプレイは、前記内視鏡が前記キャビティを撮像する間に、前記画像と、前記分類、前記信頼度評価指標、又は前記動きベクトルのうちの少なくとも２つとを、同時に提示する、請求項１に記載の方法。

【請求項5】

前記ディスプレイは、前記内視鏡が前記キャビティを撮像する間に、前記画像と、前記分類と、前記信頼度評価指標又は前記動きベクトルの少なくとも一方とを、同時に提示する、請求項１に記載の方法。

【請求項6】

方法であって、
キャビティを撮像する内視鏡から、前記キャビティ内の解剖学的特徴部を表す画像を、プロセッサによって受け取るステップと、
前記内視鏡が前記キャビティを撮像する間に、前記解剖学的特徴部に関する分類を、前記プロセッサによって実施するステップと、
前記内視鏡が前記キャビティを撮像する間に、前記分類に対する信頼度評価指標を、前記プロセッサによって決定するステップと、
前記内視鏡が前記キャビティを撮像する間に、前記キャビティを撮像する前記内視鏡に関する動きベクトルを、前記プロセッサによって決定するステップと、
前記分類と前記信頼度評価指標と前記動きベクトルとに基づいて、前記プロセッサによって動作を実施するステップと、
を含む、方法。

【請求項7】

前記動作は、前記内視鏡によって撮像されている前記キャビティ内でエンドエフェクタを展開するステップを含む、請求項６に記載の方法。

【請求項8】

前記動作は、前記キャビティ内の前記解剖学的特徴部に対するものである、請求項６に記載の方法。

【請求項9】

前記動作は、前記キャビティ内の前記解剖学的特徴部に対するものではない、請求項６に記載の方法。

【請求項10】

前記キャビティは、哺乳類のキャビティである、請求項６に記載の方法。

【請求項11】

前記キャビティは、無生物のキャビティである、請求項６に記載の方法。

【国際調査報告】