(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-08
(45)【発行日】2024-03-18
(54)【発明の名称】器具画像信頼性システム及び方法
(51)【国際特許分類】
A61B 34/20 20160101AFI20240311BHJP
A61B 34/30 20160101ALI20240311BHJP
A61B 1/00 20060101ALI20240311BHJP
A61B 1/045 20060101ALI20240311BHJP
【ＦＩ】
A61B34/20
A61B34/30
A61B1/00 552
A61B1/045 614
【請求項の数】
19
(21)【出願番号】P 2022513189
(86)(22)【出願日】2020-08-27
(65)【公表番号】
(43)【公表日】2022-11-04
(86)【国際出願番号】 IB2020058023
(87)【国際公開番号】W WO2021038495
(87)【国際公開日】2021-03-04
【審査請求日】2023-08-17
(31)【優先権主張番号】62/894,601
(32)【優先日】2019-08-30
(33)【優先権主張国・地域又は機関】US
【早期審査対象出願】
(73)【特許権者】
【識別番号】518083032
【氏名又は名称】オーリス ヘルス インコーポレイテッド
(74)【代理人】
【識別番号】100088605
【弁理士】
【氏名又は名称】加藤 公延
(74)【代理人】
【識別番号】100130384
【弁理士】
【氏名又は名称】大島 孝文
(72)【発明者】
【氏名】イ・メンロン
【審査官】北村 龍平
(56)【参考文献】
【文献】米国特許出願公開第２０１９／０１１０８４３（ＵＳ，Ａ１）
【文献】特表２０１０－５１２１７３（ＪＰ，Ａ）
【文献】特表２０１７－５３４３２２（ＪＰ，Ａ）
【文献】特開２０１６－１６３６０９（ＪＰ，Ａ）
【文献】特開２０１７－０５５９５４（ＪＰ，Ａ）
【文献】特許第５７１５３１２（ＪＰ，Ｂ２）
【文献】米国特許出願公開第２０１８／０２９６２８１（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ３４／００ － ３４／３７
１／００
１／０４５
(57)【特許請求の範囲】
【請求項1】
システムであって、器具であって、
管腔ネットワークに挿入されるように構成された細長い本体と、
前記細長い本体の遠位先端部上に位置付けられた撮像デバイスと、
を備える、器具と、
実行可能な命令を記憶している少なくとも１つのコンピュータ可読メモリと、
１つ又は２つ以上のプロセッサであって、前記少なくとも１つのコンピュータ可読メモリと通信しており、かつ前記命令を実行して、前記システムに、少なくとも、
前記撮像デバイスから、前記細長い本体が前記管腔ネットワーク内にあるときにキャプチャされた１つ又は２つ以上の画像を受信することと、
前記１つ又は２つ以上の画像の各々について、前記管腔ネットワーク内の前記細長い本体の前記遠位先端部の位置特定のための画像の信頼性を示す複数のメトリックを判定することと、
前記複数のメトリックの各々について信頼性閾値を判定することと、
前記１つ又は２つ以上の画像のうちの第１の画像について判定された前記複数のメトリックのうち少なくとも１つが、前記複数のメトリックの各々に対応する前記信頼性閾値を満たさないことに応答して、前記第１の画像を破棄することと、
前記１つ又は２つ以上の画像のうちの第２の画像について判定された前記複数のメトリックの全てが、前記複数のメトリックの各々に対応する前記信頼性閾値を満たすことに応答して、前記遠位先端部の前記位置特定のために前記第２の画像を利用することと、を行わせるように構成されている、プロセッサと、を備える、システム。
【請求項2】
前記１つ又は２つ以上のプロセッサが、前記命令を実行して、前記システムに、少なくとも、前記複数のメトリックの各々に対応する前記信頼性閾値を満たす画像の機械学習モデルにアクセスすることと、
前記機械学習モデルに基づいて、前記１つ又は２つ以上のキャプチャされた画像の各々についての前記複数のメトリックが、前記複数のメトリックの各々に対応する前記信頼性閾値を満たすかどうかを判定することと、を行わせるように構成されている、請求項１に記載のシステム。
【請求項3】
前記機械学習モデルが、（ｉ）前記複数のメトリックの各々に対応する前記信頼性閾値を満たす１つ又は２つ以上のメトリックを有する画像と、（ｉｉ）前記複数のメトリックの各々に対応する前記信頼性閾値を満たさない１つ又は２つ以上のメトリックを有する画像と、を区別するようにトレーニングされた畳み込みニューラルネットワークを含む、請求項２に記載のシステム。
【請求項4】
前記複数のメトリックが、各画像内のぼやけのレベルを示す第１のメトリックと、
各画像内の鏡面ハイライトの量を示す第２のメトリックと、
各画像内の視覚的特徴の利用可能性を示す第３のメトリックと、のうちの少なくとも１つを含む、請求項１に記載のシステム。
【請求項5】
前記第２の画像の前記利用が、第１の重み付けパラメータを前記第１のメトリックに割り当てることと、
第２の重み付けパラメータを前記第２のメトリックに割り当てることと、
第３の重み付けパラメータを前記第３のメトリックに割り当てることと、
前記第１のメトリック、前記第２のメトリック、及び前記第３のメトリックの、前記それぞれの第１の重み付けパラメータ、第２の重み付けパラメータ、及び第３の重み付けパラメータとの線形の組み合わせに基づいて、複合メトリックを判定することであって、前記複合メトリックが、前記遠位先端部の前記位置特定のための前記第２の画像の信頼性を示す、判定することと、を含む、請求項４に記載のシステム。
【請求項6】
前記複数のメトリックを判定することが、各画像の二次元座標に対応する画像値を特定することを含み、
各画像値が、対応する座標における色値に基づく、請求項４に記載のシステム。
【請求項7】
前記複数のメトリックを判定することが、各画像上でラプラシアン演算子を実行して、行列を取得することと、
各画像に関連付けられた前記行列の分散を判定することと、に基づいて、前記第１のメトリックを判定することを含む、請求項６に記載のシステム。
【請求項8】
前記複数のメトリックを判定することが、各画像の彩度及び明度値を判定することと、
各画像の面積に対する彩度又は明度値のうちの少なくとも一方の比を判定することと、に基づいて、前記第２のメトリックを判定することを含む、請求項６に記載のシステム。
【請求項9】
前記第２のメトリックを判定することが、各画像の第１の点と第２の点との間の明度値の分散を判定することを含み、前記第１の点及び前記第２の点が互いに隣接している、請求項８に記載のシステム。
【請求項10】
前記第２のメトリックを判定することが、閾値彩度レベルを下回る彩度値を有する画素の数を特定することを含む、請求項８に記載のシステム。
【請求項11】
前記複数のメトリックを判定することが、ＳＩＦＴ、ＳＵＲＦ、ＢＲＩＥＦ、ＢＲＩＳＫ、又はＦＡＳＴのうちの少なくとも１つを使用して、各画像内の特徴の数を特定することに基づいて、前記第３のメトリックを判定することを含む、請求項６に記載のシステム。
【請求項12】
特徴の数を特定することが、各画像内の縁又は角部のうちの少なくとも一方を特定することを含む、請求項１１に記載のシステム。
【請求項13】
前記第２の画像の前記利用が、前記１つ又は２つ以上の画像の各々に信頼性係数を割り当てることを含み、前記信頼性係数が、前記複数のメトリックに基づいており、かつ前記遠位先端部の前記位置特定のための前記第２の画像の信頼性を示す、請求項１に記載のシステム。
【請求項14】
前記１つ又は２つ以上のプロセッサが、前記命令を実行して、前記システムに、前記複数のメトリックに対応する前記信頼性閾値の各々をユーザから受信させるように更に構成されている、請求項１に記載のシステム。
【請求項15】
前記１つ又は２つ以上のプロセッサが、前記命令を実行して、前記システムに、前記複数のメトリックの対応する第１のメトリック及び第２のメトリックに基づいて、第２の信頼性閾値よりも高い第１の信頼性閾値を自動的に設定させるように更に構成され、
前記第１及び第２のメトリックは、同じ種類のメトリックである、請求項１に記載のシステム。
【請求項16】
前記１つ又は２つ以上のプロセッサが、前記命令を実行して、前記システムに、仮想画像を含む術前モデルデータにアクセスさせるように更に構成されている、請求項１に記載のシステム。
【請求項17】
術前モデルデータにアクセスすることが、前記細長い本体が前記管腔ネットワーク内にあるときにキャプチャされた前記１つ又は２つ以上の画像を前記仮想画像と比較することを含む、請求項１６に記載のシステム。
【請求項18】
前記１つ又は２つ以上のプロセッサが、前記命令を実行して、前記システムに、前記管腔ネットワーク内の前記細長い本体の位置を、前記細長い本体が前記管腔ネットワーク内にあるときにキャプチャされた前記１つ又は２つ以上の画像を前記仮想画像と比較することに基づいて判定させるように更に構成されている、請求項１７に記載のシステム。
【請求項19】
システムであって、器具であって、
管腔ネットワークに挿入されるように構成された細長い本体と、
前記細長い本体の遠位先端部上に位置付けられている撮像デバイスと、
を備える、器具と、
実行可能命令を記憶している少なくとも１つのコンピュータ可読メモリと、
１つ又は２つ以上のプロセッサであって、前記少なくとも１つのコンピュータ可読メモリと通信しており、かつ前記命令を実行して、前記システムに、少なくとも、
前記撮像デバイスから、前記細長い本体が前記管腔ネットワーク内にあるときにキャプチャされた１つ又は２つ以上の画像を受信することと、
前記１つ又は２つ以上の画像の各々について、前記管腔ネットワーク内の前記細長い本体の前記遠位先端部の位置特定のための画像の信頼性を示す複数のメトリックを判定することであって、前記複数のメトリックが、前記画像内のぼやけのレベルを示す少なくとも第１のメトリックを含む、判定することと、
前記複数のメトリックの各々について信頼性閾値を判定することと、
前記１つ又は２つ以上の画像のうちの第１の画像について、前記複数のメトリックのうち少なくとも１つが、前記複数のメトリックの各々に対応する前記信頼性閾値を満たさないことに応答して、前記第１の画像を破棄することと、
前記１つ又は２つ以上の画像のうち第２の画像について、前記複数のメトリックの全てが、前記複数のメトリックの各々に対応する前記信頼性閾値を満たすことに応答して、前記遠位先端部の前記位置特定のために前記第２の画像を利用することと、を行わせるように構成されている、プロセッサと、を備える、システム。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本出願は、２０１９年８月３０日に出願の米国仮出願第６２／８９４，６０１号の利益を主張し、参照によりその全体が本明細書に組み込まれる。
本出願は、２０１９年８月３０日に出願の米国仮出願第６２／８９４，６０１号の利益を主張し、参照によりその全体が本明細書に組み込まれる。
【0002】
（発明の分野）
本開示は、概して、医療器具のナビゲーションのためのシステム及び方法に関し、より具体的には、ロボット制御式の医療器具をナビゲートするための画像ベースの分析に関する。
本開示は、概して、医療器具のナビゲーションのためのシステム及び方法に関し、より具体的には、ロボット制御式の医療器具をナビゲートするための画像ベースの分析に関する。
【背景技術】
【0003】
内視鏡検査（例えば、気管支鏡検査）などの医療処置では、診断及び／又は治療目的で患者の管腔（例えば、気道）の内部にアクセスし可視化を行う場合がある。処置中に、内視鏡などの可撓性の管状ツール又は器具を患者の体内に挿入され得る。いくつかの場合には、第２の器具を、内視鏡を通して診断及び／又は治療のために特定された組織部位に到達させることができる。
【0004】
気管支鏡検査は、医師が気管支及び細気管支などの患者の肺内の気道の内部状態を検査することを可能とする医療処置である。この医療処置では、気管支鏡として知られる細い可撓性の管状ツール又は器具を患者の口に挿入し、患者の喉から肺気道内へと、その後の診断及び／又は治療を行うために特定された組織部位に向かって通すことができる。気管支鏡は、組織部位への経路を提供する内部ルーメン（「作業チャネル」）を有することができ、作業チャネルを通してカテーテル及び様々な医療ツールを組織部位に挿入することができる。
【0005】
いくつかの医療処置では、外科用ロボットシステムは、外科用ツールの挿入及び／又は操作を制御するために使用され得る。外科用ロボットシステムは、処置中の外科用ツールの位置付けを制御するために使用されるマニピュレータアセンブリを有する少なくとも１つのロボットアーム又は他の器具位置付けデバイスを含むことができる。
【図面の簡単な説明】
【0006】
開示される態様は、以下、添付の図面と併せて説明され、開示された態様を例示するが、限定するものではなく、同様の称号は同様の要素を示す。
【図1】診断及び／又は治療用気管支鏡検査処置のために配置されたカートベースのロボットシステムの実施形態を示す。
【図5】気管支鏡検査処置のために配置されたテーブルベースのロボットシステムの実施形態を示す。
【図7】ロボットアームを収納するように構成された例示的なシステムを示す。
【図8】尿管鏡検査処置のために構成されたテーブルベースのロボットシステムの実施形態を示す。
【図9】腹腔鏡処置のために構成されたテーブルベースのロボットシステムの実施形態を示す。
【図12】テーブルベースのロボットシステムの代替的な実施形態を示す。
【図14】ロボットアームが取り付けられた、テーブルベースのロボットシステムの端面図を示す。
【図15】例示的な器具ドライバを示す。
【図16】ペアの器具ドライバを備えた例示的な医療器具を示す。
【図17】駆動ユニットの軸が器具の細長いシャフトの軸に平行である、器具ドライバ及び器具の代替的な設計を示す。
【図18】器具ベースの挿入アーキテクチャを有する器具を示す。
【図19】例示的なコントローラを示す。
【図21】患者の例示的な管腔ネットワークを示す。
【図22】本明細書に記載のロボットシステムのいくつかの実装態様と共に使用することができる例示的なコマンドコンソールを示す。
【図23】例示的な医療器具の遠位端部の詳細図を示す。
【図24】管腔ネットワークの枝の内部の例示的な画像を示す。
【図25】分析システム及び医療機器を含む例示的な画像管理システムを示す。
【図26】本明細書に記載の医療システムと組み合わせて使用することができるマッピングシステムを示す。
【図27】上述の画像管理システムを実装するための例示的な方法を示す。
【発明を実施するための形態】
【0007】
Ｉ．概要
本開示の態様は、腹腔鏡などの低侵襲性、及び内視鏡などの非侵襲性の両方の処置を含む、様々な医療処置を行うことができるロボットで使用可能な医療システムに統合され得る。内視鏡処置のうち、システムは、気管支鏡検査、尿管鏡検査、胃鏡検査などを行うことができる。
本開示の態様は、腹腔鏡などの低侵襲性、及び内視鏡などの非侵襲性の両方の処置を含む、様々な医療処置を行うことができるロボットで使用可能な医療システムに統合され得る。内視鏡処置のうち、システムは、気管支鏡検査、尿管鏡検査、胃鏡検査などを行うことができる。
【0008】
幅広い処置を行うことに加えて、システムは、医師を支援するための強調された撮像及び誘導などの追加の利益を提供し得る。追加的に、システムは、厄介な腕の動作及び姿勢を必要とせずに、人間工学的位置から処置を行う能力を医師に提供し得る。また更に、システムは、システムの器具のうちの１つ又は２つ以上が単一のユーザによって制御され得るように、改善された使いやすさで処置を行う能力を医師に提供し得る。
【0009】
以下、説明を目的として、図面と併せて、様々な実施形態が説明される。開示される概念の多くの他の実装態様が可能であり、開示される実装態様で様々な利点が達成され得ることを理解されたい。見出しが、参照のために本明細書に含まれ、様々なセクションの位置を特定する支援となる。これらの見出しは、それに関して説明される概念の範囲を限定することを意図するものではない。そのような概念は、本明細書全体にわたって適用可能性を有し得る。
【0010】
Ａ．ロボットシステム－カート
ロボットで使用可能な医療システムは、特定の処置に応じて様々な方法で構成され得る。図１は、診断及び／又は治療用気管支鏡検査処置のために配置されたカートベースのロボット制御可能なシステム１０の実施形態を示す。気管支鏡検査の間、システム１０は、気管支鏡検査のための処置専用気管支鏡であり得る操縦可能な内視鏡１３などの医療器具を、診断及び／又は治療用具を送達するための自然開口部アクセスポイント（すなわち、本実施例ではテーブル上に位置付けられている患者の口）に送達するための１つ又は２つ以上のロボットアーム１２を有するカート１１を備え得る。示されるように、カート１１は、アクセスポイントへのアクセスを提供するために、患者の上部胴体に近接して位置付けられ得る。同様に、ロボットアーム１２は、アクセスポイントに対して気管支鏡を位置付けるために作動させることができる。図１の配置はまた、胃腸管（ＧＩ）処置を、ＧＩ処置のための特殊な内視鏡である胃鏡を用いて行うときに利用され得る。図２は、カートの例示的な実施形態をより詳細に示す。
ロボットで使用可能な医療システムは、特定の処置に応じて様々な方法で構成され得る。図１は、診断及び／又は治療用気管支鏡検査処置のために配置されたカートベースのロボット制御可能なシステム１０の実施形態を示す。気管支鏡検査の間、システム１０は、気管支鏡検査のための処置専用気管支鏡であり得る操縦可能な内視鏡１３などの医療器具を、診断及び／又は治療用具を送達するための自然開口部アクセスポイント（すなわち、本実施例ではテーブル上に位置付けられている患者の口）に送達するための１つ又は２つ以上のロボットアーム１２を有するカート１１を備え得る。示されるように、カート１１は、アクセスポイントへのアクセスを提供するために、患者の上部胴体に近接して位置付けられ得る。同様に、ロボットアーム１２は、アクセスポイントに対して気管支鏡を位置付けるために作動させることができる。図１の配置はまた、胃腸管（ＧＩ）処置を、ＧＩ処置のための特殊な内視鏡である胃鏡を用いて行うときに利用され得る。図２は、カートの例示的な実施形態をより詳細に示す。
【0011】
図１を引き続き参照し、カート１１が適切に位置付けられると、ロボットアーム１２は、操縦可能な内視鏡１３をロボットで、手動で、又はそれらの組み合わせで患者内に挿入し得る。示されるように、操縦可能な内視鏡１３は、内側リーダ部分及び外側シース部分などの少なくとも２つの入れ子式部品を含み得、各部分は、器具ドライバの組２８から別個の器具ドライバに連結され、各器具ドライバは、個々のロボットアームの遠位端部に連結されている。リーダ部分をシース部分と同軸上に位置合わせするのを容易にする、器具ドライバ２８のこの直線配置は、１つ又は２つ以上のロボットアーム１２を異なる角度及び／又は位置に操作することによって空間内に再位置付けされ得る「仮想レール」２９を作成する。本明細書に記載される仮想レールは、破線を使用して図に示されており、したがって破線は、システムの物理的構造を示さない。仮想レール２９に沿った器具ドライバ２８の並進は、外側シース部分に対して内側リーダ部分を入れ子にするか、又は内視鏡１３を患者から前進若しくは後退させる。仮想レール２９の角度は、臨床用途又は医師の選好に基づいて、調整、並進、及び枢動され得る。例えば、気管支鏡検査では、示されるような仮想レール２９の角度及び位置は、内視鏡１３を患者の口内に曲げ入れることによる摩擦を最小限に抑えながら内視鏡１３への医師のアクセスを提供する妥協を表す。
【0012】
内視鏡１３は、標的の目的地又は手術部位に到達するまで、ロボットシステムからの正確なコマンドを使用して挿入後に患者の気管及び肺の下方に方向付けられ得る。患者の肺網を通したナビゲーションを高め、及び／又は所望の標的に到達するために、内視鏡１３は、操縦され得て、内側リーダ部分を外側シース部分から入れ子状に延在させて、高められた関節運動及びより大きな曲げ半径を得る。別個の器具ドライバ２８の使用により、リーダ部分及びシース部分が互いに独立して駆動されることも可能となる。
【0013】
例えば、内視鏡１３は、例えば、患者の肺内の病変又は小結節などの標的に生検針を送達するように方向付けられ得る。針は、内視鏡の長さにわたる作業チャネルの下方に展開されて、病理医によって分析される組織サンプルが得られ得る。病理の結果に応じて、追加の生検のために追加のツールが内視鏡の作業チャネルの下方に展開され得る。小結節を悪性と識別した後、内視鏡１３は、潜在的な癌組織を切除するために器具を内視鏡的に送達し得る。場合によっては、診断及び治療的処置は、別々の手順で提供することができる。これらの状況において、内視鏡１３はまた、標的小結節の場所を「マーク」するために基準を送達するのに使用され得る。他の例では、診断及び治療的処置は、同じ処置中に送達され得る。
【0014】
システム１０はまた、カート１１に支持ケーブルを介して接続されて、カート１１への制御、電子機器、流体工学、光学系、センサ、及び／又は電力のためのサポートを提供し得る移動可能なタワー３０を含み得る。タワー３０内にこのような機能を置くことにより、動作を行う医師及びそのスタッフがより容易に調整及び／又は再位置付けられ得るより小さいフォームファクタのカート１１が可能となる。追加的に、カート／テーブルと支持タワー３０との間の機能の分割は、手術室の乱雑さを低減し、臨床ワークフローの改善を促進する。カート１１は患者に近接して位置付けられ得るが、タワー３０は、処置中に邪魔にならないように離れた場所に収納され得る。
【0015】
上述のロボットシステムのサポートにおいて、タワー３０は、例えば、永続的な磁気記憶ドライブ、ソリッドステートドライブなどの非一時的コンピュータ可読記憶媒体内にコンピュータプログラム命令を記憶するコンピュータベースの制御システムの構成要素を含み得る。これらの命令の実行は、実行がタワー３０内で行われるのか又はカート１１で行われるのかにかかわらず、システム全体又はそのサブシステムを制御し得る。例えば、コンピュータシステムのプロセッサによって実行されるとき、命令は、ロボットシステムの構成要素に、関連するキャリッジ及びアームマウントを作動させ、ロボットアームを作動させ、医療器具を制御させ得る。例えば、制御信号を受信したことに応答して、ロボットアームの関節内のモータは、アームをある特定の姿勢に位置付け得る。
【0016】
タワー３０は、内視鏡１３を通して配備され得るシステムに、制御された灌注及び吸引機能を提供するために、ポンプ、流量計、弁制御、及び／又は流体アクセスも含むことができる。これらの構成要素はまた、タワー３０のコンピュータシステムを使用して制御され得る。いくつかの実施形態では、灌注及び吸引能力は、別個のケーブルを通して内視鏡１３に直接送達され得る。
【0017】
タワー３０は、フィルタリングされ、保護された電力をカート１１に提供するように設計された電圧及びサージ保護具を含み得、それによって、カート１１内に電力変圧器及び他の補助電力構成要素を配置することが回避され、カート１１はより小さく、より移動可能になる。
【0018】
タワー３０は、ロボットシステム１０全体に配備されたセンサのための支持機器も含み得る。例えば、タワー３０は、ロボットシステム１０全体の光センサ又はカメラから受信したデータを検出、受信、及び処理するためのオプトエレクトロニクス機器を含み得る。制御システムと組み合わせて、このようなオプトエレクトロニクス機器は、タワー３０内を含むシステム全体に展開された任意の数のコンソール内に表示するためのリアルタイム画像を生成するために使用され得る。同様に、タワー３０はまた、展開された電磁（ＥＭ）センサから信号を受信し、受信した信号を処理するための電子サブシステムも含み得る。タワー３０はまた、医療器具内又は医療器具上のＥＭセンサによる検出のためにＥＭ場発生器を収容し、位置付けるためにも使用され得る。
【0019】
タワー３０はまた、システムの残りの部分で利用可能な他のコンソール、例えば、カートの上部上に装着されたコンソールに追加して、コンソール３１を含み得る。コンソール３１は、オペレータである医師のためのユーザインターフェース及びタッチスクリーンなどの表示画面を含み得る。システム１０内のコンソールは、一般に、ロボット制御、並びに内視鏡１３のナビゲーション情報及び位置特定情報などの処置の術前及びリアルタイム情報の両方を提供するように設計される。コンソール３１が医師に利用可能な唯一のコンソールではない場合、コンソール３１は、看護師などの第２のオペレータによって使用されて、患者の健康又はバイタル、及びシステム１０の動作を監視し、並びにナビゲーション及び位置特定情報などの処置固有のデータを提供し得る。他の実施形態では、コンソール３０は、タワー３０とは別個の本体内に収容される。
【0020】
タワー３０は、１つ又は２つ以上のケーブル又は接続（図示せず）を介してカート１１及び内視鏡１３に結合され得る。いくつかの実施形態では、タワー３０からの支持機能は、単一ケーブルを通してカート１１に提供されることにより、手術室を簡略化し、整理整頓し得る。他の実施形態では、特定の機能は、別個の配線及び接続部で連結され得る。例えば、単一の電力ケーブルを通してカート１１に電力が提供され得る一方、制御、光学、流体工学、及び／又はナビゲーションのためのサポートは、別個のケーブルを通して提供され得る。
【0021】
図２は、図１に示されるロボットで使用可能なカートベースのシステムからのカート１１の実施形態の詳細な図を提供する。カート１１は、概して、細長い支持構造１４（「カラム」と称されることが多い）、カート基部１５、及びカラム１４の頂部にあるコンソール１６を含む。カラム１４は、１つ又は２つ以上のロボットアーム１２（図２には３つ示されている）の展開を支持するためのキャリッジ１７（代替的に「アーム支持体」）などの１つ又は２つ以上のキャリッジを含み得る。キャリッジ１７は、患者に対してより良好に位置付けるために垂直軸に沿って回転してロボットアーム１２の基部を調整する、個別に構成可能なアームマウントを含み得る。キャリッジ１７はまた、キャリッジ１７がカラム１４に沿って垂直方向に並進することを可能にするキャリッジインターフェース１９を含む。
【0022】
キャリッジインターフェース１９は、キャリッジ１７の垂直方向の並進を誘導するためにカラム１４の両側に位置付けられているスロット２０などのスロットを通してカラム１４に接続されている。スロット２０は、カート基部１５に対して様々な垂直方向の高さでキャリッジ１７を位置付け、保持するための垂直方向の並進インターフェースを含む。キャリッジ１７の垂直方向の並進により、カート１１は、様々なテーブルの高さ、患者のサイズ、及び医師の好みを満たすようにロボットアーム１２のリーチを調整することが可能となる。同様に、キャリッジ１７上の個別に構成可能なアームマウントにより、ロボットアーム１２のロボットアーム基部２１を様々な構成で角度付けすることが可能となる。
【0023】
いくつかの実施形態では、キャリッジ１７が垂直方向に並進するときにカラム１４の内部チャンバ及び垂直方向の並進インターフェース内に汚れ及び流体が侵入するのを防止するために、スロット２０には、スロット表面と同一平面及び平行であるスロットカバーが追加され得る。スロットカバーは、スロット２０の垂直方向の頂部及び底部付近に位置付けられているばねスプールの対を通じて展開され得る。カバーは、キャリッジ１７が上下に垂直方向に並進するにつれてコイル状から伸縮するように展開されるまで、スプール内でコイル巻きにされている。スプールのばね荷重は、キャリッジ１７がスプールに向かって並進する場合にカバーをスプールに引き込む力を提供し、一方、キャリッジ１７がスプールから離れて並進する場合にはぴったりとした封止も維持する。カバーは、キャリッジ１７が並進するときにカバーが適切に伸縮するのを確実にするために、例えば、キャリッジインターフェース１９内のブラケットを使用してキャリッジ１７に接続され得る。
【0024】
カラム１４は、例えば、コンソール１６からの入力などのユーザ入力に応答して生成された制御信号に応答してキャリッジ１７を機械的に並進させるために垂直方向に位置合わせされた主ねじを使用するように設計された、ギア及びモータなどの機構を内部に含み得る。
【0025】
ロボットアーム１２は、一般に、一連の関節２４によって接続されている一連のリンク２３によって分離されたロボットアーム基部２１及びエンドエフェクタ２２を含み得、各関節は独立したアクチュエータを含み、各アクチュエータは、独立して制御可能なモータを含む。独立して制御可能な各関節は、ロボットアーム１２が利用可能な独立した自由度を表す。ロボットアーム１２の各々は、７つの関節を有し得、したがって、７つの自由度を提供することが可能である。多数の関節は、多数の自由度をもたらし、「冗長」自由度を可能にする。冗長自由度を有することにより、ロボットアーム１２は、異なるリンク位置及び関節角度を使用して空間内の特定の位置、配向、及び軌道で、それらのそれぞれのエンドエフェクタ２２を位置付けることが可能となる。これにより、システムが空間内の所望のポイントから医療器具を位置付け、方向付けることが可能になると同時に、医師がアーム関節を患者から離れる臨床的に有利な位置へと移動させて、アームの衝突を回避しながらよりよいアクセスを生み出すことを可能にする。
【0026】
カート基部１５は、床の上のカラム１４、キャリッジ１７、及びロボットアーム１２の重量の釣り合いをとる。したがって、カート基部１５は、電子機器、モータ、電源、並びにカート１１の移動及び／又は固定化のいずれかを可能にする構成要素などの、より重い部品を収容する。例えば、カート基部１５は、処置前にカート１１が部屋中をあちこちに容易に移動することを可能にする、転動可能なホイール形状のキャスタ２５を含む。適切な位置に到達した後、キャスタ２５は、処置中にカート１１を所定の場所に保持するためのホイールロックを使用して静止させられ得る。
【0027】
カラム１４の垂直方向の端部に位置付けられたコンソール１６は、ユーザ入力を受信するためのユーザインターフェース及び表示画面（又は、例えば、タッチスクリーン２６などの二重目的デバイス）の両方を可能にして、術前データ及び術中データの両方を医師であるユーザに提供する。タッチスクリーン２６上の潜在的な術前データは、術前計画、術前コンピュータ断層撮影（ＣＴ）スキャンから導出されたナビゲーション及びマッピングデータ、並びに／又は術前の患者への問診からのメモを含み得る。ディスプレイ上の術中データは、ツールから提供される光学情報、センサからのセンサ及び座標情報、並びに呼吸、心拍数、及び／又はパルスなどの不可欠な患者統計を含み得る。コンソール１６は、医師が、キャリッジ１７の反対側のカラム１４側からコンソール１６にアクセスすることを可能にするように位置付け及び傾斜され得る。この位置から、医師は、コンソール１６をカート１１の背後から操作しながら、コンソール１６、ロボットアーム１２、及び患者を見ることができる。示されるように、コンソール１６はまた、カート１１の操作及び安定化を支援するハンドル２７を含む。
【0028】
図３は、尿管鏡検査のために配置された、ロボットで使用可能なシステム１０の実施形態を示す。尿管鏡検査処置では、カート１１は、患者の尿道及び尿管を横断するように設計された処置専用内視鏡である尿管鏡３２を患者の下腹部領域に送達するように位置付けられ得る。尿管鏡検査では、尿管鏡３２が患者の尿道と直接位置合わせされ、領域内の敏感な解剖学的構造に対する摩擦及び力を低減することが望ましいことがある。示されるように、カート１１は、ロボットアーム１２が尿管鏡３２を、患者の尿道に直線状に直接アクセスするために位置付けることを可能にするように、テーブルの脚部に位置合わせされ得る。テーブルの脚部から、ロボットアーム１２は、尿道を通して患者の下腹部に直接、仮想レール３３に沿って尿管鏡３２を挿入し得る。
【0029】
気管支鏡検査におけるのと同様の制御技法を使用して尿道に挿入した後、尿管鏡３２は、診断及び／又は治療用途のために、膀胱、尿管、及び／又は腎臓にナビゲートされ得る。例えば、尿管鏡３２を尿管及び腎臓に方向付けて、尿管鏡３２の作業チャネルの下方に配備されたレーザー又は超音波結石破砕デバイスを使用して、腎臓結石の蓄積を破砕し得る。砕石術が完了した後、結果として得られた結石片は、尿管鏡３２の下方に配備されたバスケットを使用して除去され得る。
【0030】
図４は、血管処置のために同様に配置された、ロボットで使用可能なシステム１０の実施形態を示す。血管処置において、システム１０は、カート１１が、操縦可能なカテーテルなどの医療器具３４を、患者の脚内の大腿動脈内のアクセスポイントに送達し得るように構成され得る。大腿動脈は、ナビゲーションのためのより大きな直径と、患者の心臓への、遠回りが比較的少ない曲がりくねった経路の両方を示すが、これはナビゲーションを簡素化する。尿管鏡検査処置のように、カート１１は、患者の脚及び下腹部に向かって位置付けられて、ロボットアーム１２が患者の大腿／腰領域内の大腿動脈アクセスポイントへの直接的な線形アクセスで仮想レール３５を提供することを可能にし得る。動脈内への挿入後、器具ドライバ２８を並進させることによって医療器具３４が方向付けられ、挿入され得る。代替的に、カート１１は、例えば、肩及び手首付近の頚動脈及び腕動脈などの代替的な血管アクセスポイントに到達するために、患者の上腹部の周囲に位置付けられ得る。
【0031】
Ｂ．ロボットシステム－テーブル
ロボットで使用可能な医療システムの実施形態は、患者テーブルも組み込み得る。テーブルの組み込みは、カートをなくすことによって手術室内の資本設備の量を低減し、患者へのより大きなアクセスを可能にする。図５は、気管支鏡検査処置のために配置されたこうしたロボット制御可能なシステムの一実施形態を示す。システム３６は、床の上にプラットフォーム３８（「テーブル」又は「ベッド」として図示）を支持するための支持構造体又はカラム３７を含む。カートベースのシステムと同様に、システム３６のロボットアーム３９のエンドエフェクタは、器具ドライバ４２の線形整列から形成された仮想レール４１を通して、又はそれに沿って、図５の気管支鏡４０などの細長い医療器具を操縦するように設計された器具ドライバ４２を含む。実際には、蛍光透視撮像を提供するためのＣアームは、放射器及び検出器をテーブル３８の周囲に置くことによって、患者の上部腹部領域の上方に位置付けられ得る。
ロボットで使用可能な医療システムの実施形態は、患者テーブルも組み込み得る。テーブルの組み込みは、カートをなくすことによって手術室内の資本設備の量を低減し、患者へのより大きなアクセスを可能にする。図５は、気管支鏡検査処置のために配置されたこうしたロボット制御可能なシステムの一実施形態を示す。システム３６は、床の上にプラットフォーム３８（「テーブル」又は「ベッド」として図示）を支持するための支持構造体又はカラム３７を含む。カートベースのシステムと同様に、システム３６のロボットアーム３９のエンドエフェクタは、器具ドライバ４２の線形整列から形成された仮想レール４１を通して、又はそれに沿って、図５の気管支鏡４０などの細長い医療器具を操縦するように設計された器具ドライバ４２を含む。実際には、蛍光透視撮像を提供するためのＣアームは、放射器及び検出器をテーブル３８の周囲に置くことによって、患者の上部腹部領域の上方に位置付けられ得る。
【0032】
図６は、説明を目的として、患者及び医療器具なしのシステム３６の代替的な図を提供する。示されるように、カラム３７は、１つ又は２つ以上のロボットアーム３９の基部となり得る、システム３６内でリング形状として図示される１つ又は２つ以上のキャリッジ４３を含み得る。キャリッジ４３は、カラム３７の長さにわたる垂直方向のカラムインターフェース４４に沿って並進して、ロボットアーム３９が患者に到達するように位置付けられ得る異なるバンテージポイントを提供し得る。キャリッジ４３は、カラム３７内に位置付けられている機械的モータを使用してカラム３７の周りを回転して、ロボットアーム３９が、例えば、患者の両側などのテーブル３８の多数の側部へのアクセスを有することを可能にし得る。複数のキャリッジを有する実施形態では、キャリッジはカラム上に個別に位置付けられ得、他のキャリッジとは独立して並進及び／又は回転し得る。キャリッジ４３はカラム３７を取り囲む必要はなく、又は更には円形である必要もないが、図示されるようなリング形状は、構造的バランスを維持しながらカラム３７の周りでのキャリッジ４３の回転を容易にする。キャリッジ４３の回転及び並進により、システム３６は、内視鏡及び腹腔鏡などの医療器具を患者の異なるアクセスポイントに位置合わせすることを可能にする。他の実施形態（図示せず）では、システム３６は、並行して延在するバー又はレールの形態の調整可能なアーム支持体を有する患者テーブル又はベッドを含むことができる。１つ又は２つ以上のロボットアーム３９を、（例えば、肘関節を有する肩部を介して）垂直方向に調整することができる調整可能なアーム支持体に取り付けることができる。垂直方向の調節を提供することによって、ロボットアーム３９は、有利には、患者テーブル又はベッドの下にコンパクトに収納されることが可能であり、その後、処置中に引き上げられることが可能である。
【0033】
ロボットアーム３９は、ロボットアーム３９に追加の構成可能性を提供するために個別に回転及び／又は入れ子式に延在し得る一連の関節を含むアームマウント４５の組を介してキャリッジ４３に装着され得る。追加的に、アームマウント４５は、キャリッジ４３が適切に回転されると、アームマウント４５がテーブル３８の同じ側（図６に示すように）、テーブル３８の両側（図９に示すように）、又はテーブル３８の隣接する側部（図示せず）のいずれかに位置付けられ得るように、キャリッジ４３上に位置付けられ得る。
【0034】
カラム３７は、テーブル３８の支持及びキャリッジ４３の垂直方向の並進のための経路を構造的に提供する。内部に、カラム３７は、キャリッジ４３の垂直方向の並進を誘導するための主ねじ、及び主ねじに基づくキャリッジ４３の並進を機械化するためのモータを備え得る。カラム３７はまた、キャリッジ４３及びその上に装着されたロボットアーム３９に電力及び制御信号を伝達し得る。
【0035】
テーブル基部４６は、図２に示すカート１１のカート基部１５と同様の機能を果たし、テーブル／ベッド３８、カラム３７、キャリッジ４３、及びロボットアーム３９の釣り合いをとるためにより重い構成要素を収容する。テーブル基部４６はまた、処置中に安定性を提供するために剛性キャスタを組み込み得る。テーブル基部４６の底部から展開されるキャスタは、基部４６の両側で反対方向に延在し、システム３６を移動させる必要があるときに引き込み得る。
【0036】
引き続き図６を参照すると、システム３６はまた、テーブルとタワーとの間でシステム３６の機能を分割して、テーブルのフォームファクタ及びバルクを低減するタワー（図示せず）を含み得る。先に開示された実施形態と同様に、タワーは、処理、計算、及び制御能力、電力、流体工学、並びに／又は光学及びセンサ処理などの様々なサポート機能をテーブルに提供し得る。タワーはまた、医師のアクセスを改善し、手術室を整理整頓するために、患者から離れて位置付けられるように移動可能であり得る。追加的に、タワー内に構成要素を配置することにより、ロボットアーム３９の潜在的な収納のために、テーブル基部４６内により多くの保管空間を可能にする。タワーはまた、キーボード及び／又はペンダントなどのユーザ入力のためのユーザインターフェースと、リアルタイム撮像、ナビゲーション、及び追跡情報などの術前及び術中情報のための表示画面（又はタッチスクリーン）との両方を提供するマスターコントローラ又はコンソールも含み得る。いくつかの実施形態では、タワーはまた、送気のために使用されるガスタンク用のホルダを含み得る。
【0037】
いくつかの実施形態では、テーブル基部は、使用されていないときにロボットアームを収納及び格納し得る。図７は、テーブルベースのシステムの実施形態におけるロボットアームを収納するシステム４７を示す。システム４７では、キャリッジ４８は、ロボットアーム５０、アームマウント５１、及びキャリッジ４８を基部４９内に収納するために、基部４９内へと垂直方向に並進され得る。基部カバー５２は、並進及び後退して、キャリッジ４８、アームマウント５１、及びロボットアーム５０をカラム５３の周りに展開させるように開き、使用されていないときにそれらを収納して保護するように閉じられ得る。基部カバー５２は、閉じたときに汚れ及び流体の侵入を防止するために、その開口部の縁部に沿って膜５４で封止され得る。
【0038】
図８は、尿管鏡検査処置のために構成されたロボット制御可能なテーブルベースのシステムの一実施形態を示す。尿管鏡検査では、テーブル３８は、患者をカラム３７及びテーブル基部４６からオフアングルに位置付けるためのスイベル部分５５を含み得る。スイベル部分５５は、スイベル部分５５の底部をカラム３７から離すように位置付けるために、枢動点（例えば、患者の頭部の下方に配置）を中心に回転又は枢動し得る。例えば、スイベル部分５５の旋回により、Ｃアーム（図示せず）が、テーブル３８の下のカラム（図示せず）と空間を奪い合うことなく、患者の下部腹部の上方に位置付けられることを可能にする。カラム３７の周りにキャリッジ３５（図示せず）を回転させることにより、ロボットアーム３９は、尿道に到達するように、仮想レール５７に沿って、患者の鼠径部領域に尿管鏡５６を直接挿入し得る。尿管鏡検査では、処置中に患者の脚の位置を支持し、患者の鼠径部領域への明確なアクセスを可能にするために、テーブル３８のスイベル部分５５にあぶみ５８が固定され得る。
【0039】
腹腔鏡検査処置では、患者の腹壁内の小さな切開部を通して、低侵襲性器具を患者の解剖学的構造に挿入し得る。いくつかの実施形態では、低侵襲性器具は、患者内の解剖学的構造にアクセスするために使用されるシャフトなどの細長い剛性部材を含む。患者の腹腔の膨張後、器具は、把持、切断、アブレーション、縫合などの外科的又は医療的タスクを実施するように方向付けられ得る。いくつかの実施形態では、器具は、腹腔鏡などのスコープを備えることができる。図９は、腹腔鏡検査処置のために構成されたロボット制御可能なテーブルベースのシステムの一実施形態を示す。図示のように、システム３６のキャリッジ４３は回転し、垂直方向に調整されて、器具５９が患者の両側の最小切開部を通過して患者の腹腔に到達するようにアームマウント４５を使用して位置付けられ得るように、ロボットアーム３９の対をテーブル３８の両側に位置付けられ得る。
【0040】
腹腔鏡検査処置に対応するために、ロボット制御可能なテーブルシステムはまた、プラットフォームを所望の角度に傾斜し得る。図１０は、ピッチ又は傾斜調整を有するロボットで使用可能な医療システムの実施形態を示す。図１０に示されるように、システム３６は、テーブル３８の傾斜に適応して、テーブルの一方の部分を他方の部分より床から離れた距離に位置付け得る。追加的に、アームマウント４５は、ロボットアーム３９がテーブル３８と同じ平面関係を維持するように、傾斜に一致するように回転し得る。より急な角度に適応するために、カラム３７はまた、テーブル３８が床に接触すること、又はテーブル基部４６と衝突することを防ぐためにカラム３７が垂直方向に延在するのを可能にする入れ子部分６０を含み得る。
【0041】
図１１は、テーブル３８とカラム３７との間のインターフェースの詳細な図を提供する。ピッチ回転機構６１は、カラム３７に対するテーブル３８のピッチ角を複数の自由度で変更するように構成され得る。ピッチ回転機構６１は、カラム－テーブルインターフェースでの直交軸１、２の位置付けによって可能にされ得、各軸は、電気ピッチ角コマンドに応答して別個のモータ３、４によって作動される。一方のねじ５に沿った回転は、一方の軸１における傾斜調整を可能にし、他方のねじ６に沿った回転は、他方の軸２に沿った傾斜調整を可能にする。いくつかの実施形態では、カラム３７に対するテーブル３８のピッチ角を複数の自由度で変更するために、玉継ぎ手が使用され得る。
【0042】
例えば、ピッチ調整は、テーブルをトレンデレンブルグ位置に位置付けようとするときに、すなわち下腹部手術のために患者の下腹部を患者の上腹部よりも床からより高い位置に位置付けようとするときに、特に有用である。トレンデレンブルグ位置は、重力によって患者の内臓を患者の上腹部に向かって摺動させ、低侵襲性ツールが入って腹腔鏡前立腺切除術などの下腹部の外科又は医療処置を行うために、腹腔を空にする。
【0043】
図１２及び図１３は、テーブルベースの外科用ロボットシステム１００の代替的な実施形態の等角図及び端面図を示す。外科用ロボットシステム１００は、テーブル１０１に対して１つ又は２つ以上のロボットアームを支持するように構成され得る１つ又は２つ以上の調節可能なアーム支持体１０５（例えば、図１４参照）を含む。図示される実施形態では、単一の調整可能なアーム支持体１０５が示されているが、テーブル１０１の反対側に追加のアーム支持体を設けることができる。調整可能アームサポート１０５は、テーブル１０１に対して移動して、調整可能アーム支持体１０５及び／又はテーブル１０１に対してそれに装着された任意のロボットアームの位置を調節及び／又は変更できるように構成され得る。例えば、調整可能なアーム支持体１０５は、テーブル１０１に対して１つ又は２つ以上の自由度で調節され得る。調整可能なアーム支持体１０５は、１つ又は２つ以上の調整可能なアーム支持体１０５及びそれに取り付けられた任意のロボットアームをテーブル１０１の下に容易に収納する能力を含む、システム１００への高い汎用性を提供する。調整可能なアーム支持体１０５は、収納位置からテーブル１０１の上面の下の位置まで上昇させることができる。他の実施形態では、調整可能なアーム支持体１０５は、収納位置からテーブル１０１の上面の上方の位置まで上昇させることができる。
【0044】
調節可能なアーム支持体１０５は、リフト、横方向並進、傾斜などを含む、いくつかの自由度を提供することができる。図１２及び図１３の図示の実施形態では、アーム支持体１０５は、４自由度で構成され、図１２に矢印で示されている。第１の自由度は、ｚ方向における調整可能なアーム支持体１０５の調節（「Ｚリフト」）を可能にする。例えば、調整可能なアーム支持体１０５は、テーブル１０１を支持するカラム１０２に沿って、又はそれに対して上下に動くように構成されたキャリッジ１０９を含むことができる。第２の自由度は、調整可能なアーム支持体１０５が傾斜することを可能にする。例えば、調整可能なアーム支持体１０５は、回転接合部を含むことができ、それは、調整可能なアーム支持体１０５を、トレンデレンブルグ位置のベッドと位置合わせすることを可能にできる。第３の自由度は、調整可能なアーム支持体１０５が「上方枢動する」ことを可能にすることができ、それを使用して、テーブル１０１の側部と調整可能なアーム支持体１０５との間の距離を調節することができる。第４の自由度は、テーブルの長手方向の長さに沿って調整可能なアーム支持体１０５の並進を可能にする。
【0045】
図１２及び図１３の外科用ロボットシステム１００は、基部１０３に装着されたカラム１０２によって支持されるテーブルを含むことができる。基部１０３及びカラム１０２は、支持面に対してテーブル１０１を支持する。床軸１３１及び支持軸１３３は、図１３に示される。
【0046】
調整可能なアーム支持体１０５は、カラム１０２に装着することができる。他の実施形態では、アーム支持体１０５は、テーブル１０１又は基部１０３に装着することができる。調整可能なアーム支持体１０５は、キャリッジ１０９、バー又はレールコネクタ１１１、及びバー又はレール１０７を含むことができる。いくつかの実施形態では、レール１０７に装着された１つ又は２つ以上のロボットアームは、互いに対して並進及び移動することができる。
【0047】
キャリッジ１０９は、第１の接合部１１３によってカラム１０２に取り付けられ得、それにより、キャリッジ１０９がカラム１０２に対して移動することが可能になる（例えば、第１又は垂直軸１２３の上下など）。第１の接合部１１３は、調整可能なアーム支持体１０５に第１の自由度（「Ｚリフト」）を提供することができる。調整可能なアーム支持体１０５は、第２の自由度（傾斜）を調整可能なアーム支持体１０５に提供する第２の接合部１１５を含むことができる。調整可能なアーム支持体１０５は、第３の自由度（「上方枢動」）を調整可能なアーム支持体１０５に提供することができる第３の接合部１１７を含むことができる。レールコネクタ１１１が第３の軸１２７を中心にして回転させられるときにレール１０７の方向を維持するように第３の接合部１１７を機械的に拘束する、追加の接合部１１９（図１３に示す）を設けることができる。調整可能なアーム支持体１０５は、第４の自由度（並進）を第４の軸１２９に沿って調整可能なアーム支持体１０５に提供することができる第４の接合部１２１を含むことができる。
【0048】
図１４は、テーブル１０１の両側に装着された２つの調節可能なアーム支持体１０５Ａ、１０５Ｂを有する、外科用ロボットシステム１４０Ａの端面図を示す。第１のロボットアーム１４２Ａは、第１の調整可能なアーム支持体１０５Ｂのバー又はレール１０７Ａに取り付けられる。第１のロボットアーム１４２Ａは、レール１０７Ａに取り付けられた基部１４４Ａを含む。第１のロボットアーム１４２Ａの遠位端部は、１つ又は２つ以上のロボット医療器具又はツールに取り付けることができる器具駆動機構１４６Ａを含む。同様に、第２のロボットアーム１４２Ｂは、レール１０７Ｂに取り付けられた基部１４４Ｂを含む。第２のロボットアーム１４２Ｂの遠位端部は、器具駆動機構１４６Ｂを含む。器具駆動機構１４６Ｂは、１つ又は２つ以上のロボット医療器具又はツールに取り付けるように構成され得る。
【0049】
いくつかの実施形態では、ロボットアーム１４２Ａ、１４２Ｂのうちの１つ又は２つ以上は、７以上の自由度を有するアームを含む。いくつかの実施形態では、ロボットアーム１４２Ａ、１４２Ｂのうちの１つ又は２つ以上は、挿入軸（挿入を含む１自由度）、リスト（リストピッチ、ヨー及びロールを含む３自由度）、エルボ（エルボピッチを含む１自由度）、ショルダ（ショルダピッチ及びヨーを含む２自由度）、及び基部１４４Ａ、１４４Ｂ（並進を含む１自由度）、を含む８自由度を含むことができる。いくつかの実施形態では、挿入自由度は、ロボットアーム１４２Ａ、１４２Ｂによって提供することができるが、他の実施形態では、器具自体は、器具ベースの挿入アーキテクチャを介して挿入を提供する。
【0050】
Ｃ．器具ドライバ及びインターフェース
システムのロボットアームのエンドエフェクタは、（ｉ）医療器具を作動させるための電気機械的手段を組み込む器具ドライバ（代替的に、「器具駆動機構」又は「器具デバイスマニピュレータ」と称される）と、（ｉｉ）モータなどの任意の電気機械的構成要素を欠き得る除去可能な又は取り外し可能な医療器具と、を含み得る。この二分法は、医療処置に使用される医療器具を滅菌する必要性、それらの複雑な機械的アセンブリ及び繊細な電子機器により、高価な資本設備を十分に滅菌することができないことを根拠とする場合がある。したがって、医療器具は、医師又は医師のスタッフによる個々の滅菌又は廃棄のために、器具ドライバ（したがってそのシステム）から取り外され、除去され、及び交換されるように設計され得る。対照的に、器具ドライバは、交換又は滅菌される必要がなく、保護のために掛け布され得る。
システムのロボットアームのエンドエフェクタは、（ｉ）医療器具を作動させるための電気機械的手段を組み込む器具ドライバ（代替的に、「器具駆動機構」又は「器具デバイスマニピュレータ」と称される）と、（ｉｉ）モータなどの任意の電気機械的構成要素を欠き得る除去可能な又は取り外し可能な医療器具と、を含み得る。この二分法は、医療処置に使用される医療器具を滅菌する必要性、それらの複雑な機械的アセンブリ及び繊細な電子機器により、高価な資本設備を十分に滅菌することができないことを根拠とする場合がある。したがって、医療器具は、医師又は医師のスタッフによる個々の滅菌又は廃棄のために、器具ドライバ（したがってそのシステム）から取り外され、除去され、及び交換されるように設計され得る。対照的に、器具ドライバは、交換又は滅菌される必要がなく、保護のために掛け布され得る。
【0051】
図１５は、例示的な器具ドライバを示す。ロボットアームの遠位端部に位置付けられる器具ドライバ６２は、駆動シャフト６４を介して医療器具に制御されたトルクを提供するために平行軸を伴って配置された１つ又は２つ以上の駆動ユニット６３を含む。各駆動ユニット６３は、器具と相互作用するための個々の駆動シャフト６４と、モータシャフトの回転を所望のトルクに変換するためのギアヘッド６５と、駆動トルクを生成するためのモータ６６と、モータシャフトの速度を測定し、制御回路にフィードバックを提供するエンコーダ６７と、制御信号を受信し、駆動ユニットを作動させるための制御回路６８と、を含む。各駆動ユニット６３は独立して制御及び電動化され得、器具ドライバ６２は、複数（例えば図１６及び図１７に示すように４つなど）の独立した駆動出力を医療器具に提供し得る。動作中、制御回路６８は、制御信号を受信し、モータ６６にモータ信号を送信し、エンコーダ６７によって測定された結果として得られたモータ速度を所望の速度と比較し、モータ信号を変調して所望のトルクを生成する。
【0052】
無菌環境を必要とする処置のために、ロボットシステムは、器具ドライバと医療器具との間に位置する、滅菌ドレープに接続された滅菌アダプタなどの駆動インターフェースを組み込み得る。滅菌アダプタの主な目的は、器具ドライバの駆動シャフトから器具の駆動入力部に角度運動を伝達する一方で、駆動シャフトと駆動入力部との間の物理的分離、したがって無菌性を維持することである。したがって、例示的な滅菌アダプタは、器具ドライバの駆動シャフトと嵌合されることが意図された一連の回転入力部及び出力部と、器具に対する駆動入力部と、を含み得る。滅菌アダプタに接続される滅菌ドレープは、透明又は半透明プラスチックなどの薄い可撓性材料で構成され、器具ドライバ、ロボットアーム、及び（カートベースのシステムにおける）カート又は（テーブルベースのシステムにおける）テーブルなどの資本設備を覆うように設計される。ドレープの使用により、滅菌を必要としない領域（すなわち、非滅菌野）に依然として位置付けられている間に、資本設備を患者に近接して位置付けることが可能となる。滅菌ドレープの反対側では、医療器具は、滅菌を必要とする領域（すなわち、滅菌野）において患者とインターフェースし得る。
【0053】
Ｄ．医療器具
図１６は、ペアの器具ドライバを備えた例示的な医療器具を示す。ロボットシステムと共に使用するために設計された他の器具と同様に、医療器具７０は、細長いシャフト７１（又は細長い本体）及び器具基部７２を含む。医師による手動相互作用が意図されているその設計により「器具ハンドル」とも称される器具基部７２は、概して、ロボットアーム７６の遠位端において器具ドライバ７５上の駆動インターフェースを通って延在する駆動出力部７４と嵌合するように設計された、回転可能な駆動入力部７３、例えば、レセプタクル、プーリー、又はスプールを含み得る。物理的に接続、ラッチ、及び／又は連結される場合、器具基部７２の嵌合された駆動入力部７３は、器具ドライバ７５における駆動出力部７４と回転軸を共有して、駆動出力部７４から駆動入力部７３へのトルクの伝達を可能とし得る。いくつかの実施形態では、駆動出力部７４は、駆動入力部７３上のレセプタクルと嵌合するように設計されたスプラインを含み得る。
図１６は、ペアの器具ドライバを備えた例示的な医療器具を示す。ロボットシステムと共に使用するために設計された他の器具と同様に、医療器具７０は、細長いシャフト７１（又は細長い本体）及び器具基部７２を含む。医師による手動相互作用が意図されているその設計により「器具ハンドル」とも称される器具基部７２は、概して、ロボットアーム７６の遠位端において器具ドライバ７５上の駆動インターフェースを通って延在する駆動出力部７４と嵌合するように設計された、回転可能な駆動入力部７３、例えば、レセプタクル、プーリー、又はスプールを含み得る。物理的に接続、ラッチ、及び／又は連結される場合、器具基部７２の嵌合された駆動入力部７３は、器具ドライバ７５における駆動出力部７４と回転軸を共有して、駆動出力部７４から駆動入力部７３へのトルクの伝達を可能とし得る。いくつかの実施形態では、駆動出力部７４は、駆動入力部７３上のレセプタクルと嵌合するように設計されたスプラインを含み得る。
【0054】
細長いシャフト７１は、例えば、内視鏡におけるような解剖学的開口部若しくは管腔、又は腹腔鏡検査におけるような低侵襲性切開部のいずれかを通して送達されるように設計される。細長いシャフト７１は、可撓性（例えば、内視鏡と同様の特性を有する）若しくは剛性（例えば、腹腔鏡と同様の特性を有する）のいずれかであり得るか、又は可撓性部分及び剛性部分の両方のカスタマイズされた組み合わせを含み得る。腹腔鏡検査のために設計される場合、剛性の細長いシャフトの遠位端は、少なくとも１つの自由度を有するクレビスから形成された接合された手首から延在するエンドエフェクタ、及び駆動入力部が器具ドライバ７５の駆動出力部７４から受け取ったトルクに応答して回転する際に、腱からの力に基づいて作動され得る、例えば、把持具又ははさみなどの手術ツール又は医療器具に接続され得る。内視鏡検査のために設計される場合、可撓性の細長いシャフトの遠位端は、器具ドライバ７５の駆動出力部７４から受信したトルクに基づいて関節運動及び屈曲され得る操縦可能又は制御可能な屈曲部を含み得る。
【0055】
器具ドライバ７５からのトルクは、細長いシャフト７１に沿った腱を使用して細長いシャフト７１の下流に伝達される。プルワイヤなどのこれらの個々の腱は、器具ハンドル７２内の個々の駆動入力部７３に個別に固定され得る。ハンドル７２から、腱は、細長いシャフト７１に沿って１つ又は２つ以上のプルルーメン（pull lumen）を下方に誘導され、細長いシャフト７１の遠位部分、又は細長いシャフト７１の遠位部分の手首内に固定される。腹腔鏡、内視鏡、又はハイブリッド処置などの外科処置中、これらの腱は、リスト、把持具、又ははさみなどの遠位に装着されたエンドエフェクタに連結され得る。このような構成の下で、駆動入力部７３に及ぼされるトルクは、腱に張力を伝達し、それによってエンドエフェクタを何らかの方法で作動させる。腹腔鏡検査では、腱は、関節を軸周りに回転させることができ、それによってエンドエフェクタをいずれかの方向に移動させる。代替的に、腱は、細長いシャフト７１の遠位端で把持具の１つ又は２つ以上のジョーに接続され得、腱からの張力によって把持具が閉鎖される。
【0056】
内視鏡検査では、腱は、接着剤、制御リング、又は他の機械的固定を介して、細長いシャフト７１に沿って（例えば、遠位端部に）位置付けられている屈曲部又は関節運動部に連結され得る。屈曲部の遠位端部に固定的に取り付けられる場合、駆動入力部７３に及ぼされるトルクは、腱の下流に伝達され、より軟質の屈曲部（関節運動可能部又は関節運動可能領域と称されることがある）を屈曲又は関節運動させる。非屈曲部分に沿って、個々の腱を内視鏡シャフトの壁に沿って（又は内側に）指向する個々のプルルーメンをねじ状又は渦巻状にして、プルワイヤにおける張力からもたらされる半径方向の力の釣り合いをとることが有利であり得る。これらの間のねじ及び／又は間隔の角度は、特定の目的のために変更又は設計され得、より狭いねじは負荷力下でより小さいシャフト圧縮を呈する一方で、より少ない量のねじは負荷力下でより大きなシャフト圧縮をもたらすが、屈曲をより制限する。スペクトルの他方の端部では、プルルーメンは、細長いシャフト７１の長手方向軸に平行に方向付けられて、所望の屈曲部又は関節運動可能部における制御された関節運動を可能にし得る。
【0057】
内視鏡検査では、細長いシャフト７１は、ロボット処置を支援するいくつかの構成要素を収容する。シャフト７１は、シャフト７１の遠位端部における手術領域に対して外科用ツール（又は医療器具）を展開、灌注、及び／又は吸引するための作業チャネルを含み得る。シャフト７１はまた、光学カメラを含み得る遠位先端部の光学アセンブリとの間で信号の授受を行うために、ワイヤ及び／又は光ファイバを収容し得る。シャフト７１はまた、発光ダイオードなどの近位に位置する光源からシャフト７１の遠位端部に光を搬送するための光ファイバを収容し得る。
【0058】
器具７０の遠位端部では、遠位先端部は、診断及び／又は治療、灌注、及び吸引のためにツールを手術部位に送達するための作業チャネルの開口部を含み得る。遠位先端部はまた、内部解剖学的空間の画像をキャプチャするために、ファイバスコープ又はデジタルカメラなどのカメラのためのポートを含み得る。関連して、遠位先端部はまた、カメラを使用する場合に解剖学的空間を照明するための光源用のポートを含み得る。
【0059】
図１６の例では、駆動シャフト軸、すなわち駆動入力軸は、細長いシャフト７１の軸に直交する。しかしながら、この配置は、細長いシャフト７１のロール能力を複雑にする。駆動入力部７３を静止させながら、細長いシャフト７１をその軸に沿ってロールさせることにより、腱が駆動入力部７３から延在し、細長いシャフト７１内のプルルーメンに入るときに、腱の望ましくない絡まりをもたらす。結果として生じるそのような腱の絡まりは、内視鏡検査処置中に可撓性の細長いシャフト７１の移動を予測することが意図される任意の制御アルゴリズムを妨害することがある。
【0060】
図１７は、駆動ユニットの軸が器具の細長いシャフトの軸に平行である、器具ドライバ及び器具の代替的な設計を示す。示されるように、円形の器具ドライバ８０は、ロボットアーム８２の端部において平行に位置合わせされた駆動出力部８１を備える４つの駆動ユニットを含む。駆動ユニット及びそれらのそれぞれの駆動出力部８１は、アセンブリ８３内の駆動ユニットのうちの１つによって駆動される器具ドライバ８０の回転アセンブリ８３内に収容される。回転駆動ユニットによって提供されるトルクに応答して、回転アセンブリ８３は、回転アセンブリ８３を器具ドライバ８０の非回転部分８４に接続する円形ベアリングに沿って回転する。電力及び制御信号は、ブラシ付きスリップリング接続（図示せず）による回転を通して維持され得る電気接点を介して、器具ドライバ８０の非回転部分８４から回転アセンブリ８３に伝達され得る。他の実施形態では、回転アセンブリ８３は、非回転可能部分８４に一体化され、したがって他の駆動ユニットと平行ではない別個の駆動ユニットに応答し得る。回転機構８３は、器具ドライバ８０が、器具ドライバ軸８５周りの単一ユニットとして、駆動ユニット及びそれらのそれぞれの駆動出力部８１を回転させることを可能にする。
【0061】
先に開示した実施形態と同様に、器具８６は、細長いシャフト部分８８と、器具ドライバ８０内の駆動出力部８１を受け入れるように構成された複数の駆動入力部８９（レセプタクル、プーリー、及びスプールなど）を含む器具基部８７（説明目的のために透明な外部スキンで示される）と、を含み得る。先の開示された実施形態とは異なり、器具シャフト８８は、器具基部８７の中心から延在し、軸は駆動入力部８９の軸に実質的に平行であり、図１６の設計にあるように直交してはいない。
【0062】
器具ドライバ８０の回転アセンブリ８３に連結されると、器具基部８７及び器具シャフト８８を含む医療器具８６は、器具ドライバ軸８５を中心にして回転アセンブリ８３と一緒に回転する。器具シャフト８８は器具基部８７の中心に位置付けられているため、器具シャフト８８は、取り付けられたときに器具ドライバ軸８５と同軸である。したがって、回転アセンブリ８３の回転により、器具シャフト８８は、それ自体の長手方向軸を中心に回転する。更に、器具基部８７が器具シャフト８８と共に回転すると、器具基部８７内の駆動入力部８９に接続されたいずれかの腱は、回転中に絡まらない。したがって、駆動出力部８１、駆動入力部８９、及び器具シャフト８８の軸の平行性は、制御腱を絡めることなくシャフト回転を可能にする。
【0063】
図１８は、いくつかの実施形態による、器具ベースの挿入アーキテクチャを有する器具を示す。器具１５０は、上述の器具ドライバのいずれかに連結することができる。器具１５０は、細長いシャフト１５２と、シャフト１５２に接続されたエンドエフェクタ１６２と、シャフト１５２に連結されたハンドル１７０と、を含む。細長いシャフト１５２は、近位部分１５４及び遠位部分１５６を有する管状部材を含む。細長いシャフト１５２は、その外側表面に沿った１つ又は２つ以上のチャネル又は溝１５８を含む。溝１５８は、１つ又は２つ以上のワイヤ又はケーブル１８０をそれを通して受け入れるように構成されている。したがって、１つ又は２つ以上のケーブル１８０は、細長いシャフト１５２の外側表面に沿って延びる。他の実施形態では、ケーブル１８０は、細長いシャフト１５２を通って延びることもできる。ケーブル１８０のうちの１つ又は２つ以上の操作（例えば、器具ドライバを介して）により、エンドエフェクタ１６２の作動がもたらされる。
【0064】
器具基部とも称され得る器具ハンドル１７０は、一般に、器具ドライバの取り付け面上で１つ又は２つ以上のトルクカプラと往復嵌合するように設計された１つ又は２つ以上の機械的入力部１７４、例えばレセプタクル、プーリー又はスプールを有する取り付けインターフェース１７２を含むことができる。
【0065】
いくつかの実施形態では、器具１５０は、細長いシャフト１５２がハンドル１７０に対して並進することを可能にする一連のプーリー又はケーブルを含む。換言すれば、器具１５０自体は器具の挿入に適応する器具ベースの挿入アーキテクチャを含み、それによって器具１５０の挿入を提供するためにロボットアームへの依存を最小化する。他の実施形態では、ロボットアームは、器具の挿入に大きく関与し得る。
【0066】
Ｅ．コントローラ
本明細書に記載の任意のロボットシステムは、ロボットアームに取り付けられた器具を操作するための入力デバイス又はコントローラを含むことができる。いくつかの実施形態では、コントローラは、器具と連結（例えば、通信的に、電子的に、電気的に、無線的に、及び／又は機械的に）することができ、それによりコントローラの操作は、例えば、マスタースレーブ制御を介して、器具の対応する操作を引き起こす。
本明細書に記載の任意のロボットシステムは、ロボットアームに取り付けられた器具を操作するための入力デバイス又はコントローラを含むことができる。いくつかの実施形態では、コントローラは、器具と連結（例えば、通信的に、電子的に、電気的に、無線的に、及び／又は機械的に）することができ、それによりコントローラの操作は、例えば、マスタースレーブ制御を介して、器具の対応する操作を引き起こす。
【0067】
図１９は、コントローラ１８２の実施形態の斜視図である。本実施形態では、コントローラ１８２は、インピーダンス制御及びアドミタンス制御の両方を有することができるハイブリッドコントローラを含む。他の実施形態では、コントローラ１８２は、インピーダンス又は受動的制御だけを利用することができる。他の実施形態では、コントローラ１８２は、アドミタンス制御だけを利用することができる。ハイブリッドコントローラであることにより、コントローラ１８２は、有利には、使用中、より低い知覚慣性を有することができる。
【0068】
図示される実施形態では、コントローラ１８２は、２つの医療器具の操作を可能にするように構成され、２つのハンドル１８４を含む。ハンドル１８４の各々は、ジンバル１８６に接続されている。各ジンバル１８６は、位置付けプラットフォーム１８８に接続されている。
【0069】
図１９に示されるように、各位置付けプラットフォーム１８８は、プリズム接合部１９６によってカラム１９４に連結されたＳＣＡＲＡアーム（selective compliance assembly robot arm）１９８を含む。プリズム接合部１９６は、（例えば、レール１９７に沿って）カラム１９４に沿って並進して、ハンドル１８４の各々がｚ方向に並進され、第１の自由度を提供するように構成されている。ＳＣＡＲＡアーム１９８は、ｘ－ｙ平面におけるハンドル１８４の動作を可能にし、２つの更なる自由度を提供するように構成されている。
【0070】
いくつかの実施形態では、１つ又は２つ以上のロードセルがコントローラ内に位置付けられる。例えば、いくつかの実施形態では、ロードセル（図示せず）は、ジンバル１８６の各々の本体内に位置付けられる。ロードセルを設けることによって、コントローラ１８２の一部分は、アドミタンス制御下で動作することができ、それによって、使用中にコントローラの知覚慣性を有利に低減する。いくつかの実施形態では、位置付けプラットフォーム１８８はアドミタンス制御用に構成され、一方、ジンバル１８６はインピーダンス制御用に構成されている。他の実施形態では、ジンバル１８６はアドミタンス制御用に構成され、位置付けプラットフォーム１８８はインピーダンス制御用に構成されている。したがって、いくつかの実施形態では、位置付けプラットフォーム１８８の並進又は位置自由度は、アドミタンス制御に依存し得、一方、ジンバル１８６の回転自由度はインピーダンス制御に依存する。
【0071】
Ｆ．ナビゲーション及び制御
従来の内視鏡検査は、オペレータである医師に腔内誘導を提供するために、蛍光透視法（例えば、Ｃアームを通して送達され得るような）、及び他の形態の放射線ベースの撮像モダリティの使用を伴い得る。対照的に、本開示によって企図されるロボットシステムは、放射線への医師の曝露を低減し、手術室内の機器の量を低減するために、非放射線ベースのナビゲーション及び位置特定手段を提供することができる。本明細書で使用するとき、「位置特定」という用語は、基準座標系内のオブジェクトの位置を判定及び／又は監視することを指し得る。術前マッピング、コンピュータビジョン、リアルタイムＥＭ追跡、及びロボットコマンドデータなどの技術は、放射線を含まない動作環境を達成するために個別に又は組み合わせて使用され得る。放射線ベースの撮像モダリティが依然として使用される他の場合、術前マッピング、コンピュータビジョン、リアルタイムＥＭ追跡、及びロボットコマンドデータは、放射線ベースの撮像モダリティによってのみ取得される情報を改善するために、個別に又は組み合わせて使用され得る。
従来の内視鏡検査は、オペレータである医師に腔内誘導を提供するために、蛍光透視法（例えば、Ｃアームを通して送達され得るような）、及び他の形態の放射線ベースの撮像モダリティの使用を伴い得る。対照的に、本開示によって企図されるロボットシステムは、放射線への医師の曝露を低減し、手術室内の機器の量を低減するために、非放射線ベースのナビゲーション及び位置特定手段を提供することができる。本明細書で使用するとき、「位置特定」という用語は、基準座標系内のオブジェクトの位置を判定及び／又は監視することを指し得る。術前マッピング、コンピュータビジョン、リアルタイムＥＭ追跡、及びロボットコマンドデータなどの技術は、放射線を含まない動作環境を達成するために個別に又は組み合わせて使用され得る。放射線ベースの撮像モダリティが依然として使用される他の場合、術前マッピング、コンピュータビジョン、リアルタイムＥＭ追跡、及びロボットコマンドデータは、放射線ベースの撮像モダリティによってのみ取得される情報を改善するために、個別に又は組み合わせて使用され得る。
【0072】
図２０は、例示的な実施形態にかかる、器具の場所など、ロボットシステムの１つ又は２つ以上の要素の場所を推定する位置特定システム９０を示すブロック図である。位置特定システム９０は、１つ又は２つ以上の命令を実行するように構成されている１つ又は２つ以上のコンピュータデバイスの組であってもよい。コンピュータデバイスは、上で考察された１つ又は２つ以上の構成要素内のプロセッサ（又は複数のプロセッサ）及びコンピュータ可読メモリによって具現化され得る。例として、限定するものではないが、コンピュータデバイスは、図１に示されるタワー３０内にあっても、図１～図４に示されるカート１１内にあっても、図５～図１４に示されるベッド内にあってもよい。
【0073】
図２０に示されるように、位置特定システム９０は、入力データ９１～９４を処理して医療器具の遠位先端部の場所データ９６を生成する位置特定モジュール９５を含み得る。場所データ９６は、基準系に対する器具の遠位端部の場所及び／又は配向を表すデータ又は論理であってもよい。基準系は、患者の解剖学的構造、又はＥＭ場発生器（ＥＭ場発生器についての以下の考察を参照）などの既知の物体に対する基準系とすることができる。
【0074】
ここで、様々な入力データ９１～９４についてより詳細に説明する。術前マッピングは、低用量ＣＴスキャンの群を使用して達成され得る。術前ＣＴスキャンは、例えば、患者の内部解剖学的構造の断面図の「スライス」として可視化される三次元画像へと再構成される。全体として分析される場合、患者の肺網などの患者の解剖学的構造の解剖学的空腔、空間、及び構造のための画像ベースのモデルが生成され得る。中心線形状（center-line geometry）などの手法をＣＴ画像から判定及び近似して、モデルデータ９１（術前ＣＴスキャンのみを使用して生成された場合は「術前モデルデータ」とも称される）と称される患者の解剖学的構造の三次元ボリュームを作成し得る。いくつかの実施形態では、術前モデルデータ９１は、例えば、蛍光透視法、磁気共鳴撮像法（magnetic resonance imaging、ＭＲＩ）、超音波撮像、及び／又はＸ線からのデータを含み得る。中心線形状の使用は、米国特許出願第１４／５２３，７６０号で考察されており、その内容はその全体が本明細書に組み込まれる。ネットワーク位相モデルもまた、ＣＴ画像から導出され得、気管支鏡検査に特に適している。
【0075】
いくつかの実施形態では、器具はカメラを装備して、視覚データ（又は画像データ）９２を提供し得る。位置特定モジュール９５は、視覚データ９２を処理して、１つ又は２つ以上の視覚ベースの（又は画像ベースの）位置追跡モジュール又は機能を有効にし得る。例えば、術前モデルデータ９１は、医療器具（例えば、内視鏡又は内視鏡の作業チャネルを通って前進する器具）のコンピュータビジョンベースの追跡を可能にするために、視覚データ９２と共に使用され得る。例えば、術前モデルデータ９１を使用して、ロボットシステムは、内視鏡の予想される移動経路に基づいて、モデルから、予測される内視鏡画像のライブラリを生成し得、各画像はモデル内の場所にリンクされる。手術中に、このライブラリは、カメラ（例えば、内視鏡の遠位端部でのカメラ）でキャプチャされたリアルタイム画像を画像ライブラリ内のものと比較して、位置特定を支援するために、ロボットシステムによって参照され得る。
【0076】
他のコンピュータビジョンベースの追跡技術は、追跡機能を使用して、カメラ、したがって内視鏡の動作を判定する。位置特定モジュール９５のいくつかの特徴は、解剖学的管腔に対応する術前モデルデータ９１内の円形幾何学形状を特定し、それらの幾何学的形状の変化を追跡して、どの解剖学的管腔が選択されたか、並びにカメラの相対的な回転及び／又は並進運動を判定し得る。位相マップの使用は、視覚ベースのアルゴリズム又は技術を更に向上させ得る。
【0077】
光学フロー、別のコンピュータビジョンベースの技術は、カメラの移動を推測するために、視覚データ９２内のビデオシーケンス内の画像ピクセルの変位及び並進を分析し得る。光学フロー技術の例としては、動き検出、オブジェクトセグメンテーション計算、輝度、動き補償符号化、立体視差測定などを挙げることができる。複数の反復にわたり複数のフレームを比較することにより、カメラ（及びしたがって内視鏡）の動き及び位置が判定され得る。
【0078】
位置特定モジュール９５は、リアルタイムＥＭ追跡を使用して、術前モデルによって表される患者の解剖学的構造に登録され得るグローバル座標系内に、内視鏡のリアルタイムの場所を生成し得る。ＥＭ追跡では、医療器具（例えば、内視鏡器具）内の１つ又は２つ以上の位置及び配向に埋め込まれた１つ又は２つ以上のセンサコイルを含むＥＭセンサ（又はトラッカー）は、既知の位置に位置付けられた１つ又は２つ以上の静的ＥＭ場発生器によって生成されるＥＭ場の変動を測定する。ＥＭセンサによって検出された位置情報は、ＥＭデータ９３として記憶される。ＥＭ場発生器（又は送信機）は、埋め込まれたセンサが検出し得る低強度磁場を生成するために、患者に近接して配置され得る。磁場はＥＭセンサのセンサコイル内に小さな電流を誘導し、ＥＭセンサとＥＭ場発生器との間の距離及び角度を判定するためにこの電流が分析され得る。これらの距離及び配向は、患者の解剖学的構造の術前モデル内の位置と座標系内の単一の場所を位置合わせする幾何学的変換を判定するために、患者の解剖学的構造（例えば、術前モデル）に術中「登録」され得る。一旦登録されると、医療器具の１つ又は２つ以上の位置（例えば、内視鏡の遠位先端部）に埋め込まれたＥＭトラッカは、患者の解剖学的構造を通る医療器具の進行のリアルタイム表示を提供し得る。
【0079】
ロボットコマンド及び運動学データ９４はまた、ロボットシステムのための位置特定データ９６を提供するために、位置特定モジュール９５によって使用され得る。関節運動コマンドから生じるデバイスピッチ及びヨーは、術前較正中に判定され得る。術中、これらの較正測定値は、既知の挿入深度情報と組み合わせて使用されて、器具の位置を推定し得る。代替的に、これらの計算は、ＥＭ、視覚、及び／又は位相モデリングと組み合わせて分析して、ネットワーク内の医療器具の位置を推定し得る。
【0080】
図２０が示すように、多くの他の入力データは、位置特定モジュール９５によって使用することができる。例えば、図２０には示していないが、形状感知ファイバを利用する器具は、位置特定モジュール９５が器具の場所及び形状を判定するために使用し得る形状データを提供することができる。
【0081】
位置特定モジュール９５は、入力データ９１～９４を組み合わせて使用し得る。場合によっては、このような組み合わせは、位置特定モジュール９５が入力データ９１～９４の各々から判定された位置に信頼重みを割り当てる確率的アプローチを使用し得る。したがって、ＥＭデータが信頼でき得ない場合（ＥＭ干渉が存在する場合など）、ＥＭデータ９３によって判定された場所の信頼性を低下させることになり、位置特定モジュール９５は、視覚データ９２並びに／又はロボットコマンド及び運動学データ９４により重く依存し得る。
【0082】
上で考察されるように、本明細書で考察されるロボットシステムは、上述の技術のうちの１つ又は２つ以上の組み合わせを組み込むように設計され得る。タワー、ベッド、及び／又はカートに基づいて、ロボットシステムのコンピュータベースの制御システムは、例えば、永続的な磁気記憶ドライブ、ソリッドステートドライブなどの非一時的コンピュータ可読記憶媒体内に、コンピュータプログラム命令を記憶し得、コンピュータプログラム命令は、実行されると、システムに、センサデータ及びユーザコマンドを受信及び分析させ、システム全体の制御信号を生成させ、グローバル座標系内の器具の位置、解剖学的マップなどのナビゲーション及び位置特定データを表示させる。
【0083】
ＩＩ．管腔ネットワークのナビゲーション
上述の様々なロボットシステムを使用して、内視鏡処置及び腹腔鏡検査処置などの様々な医療処置を行うことができる。いくつかの処置では、ロボット制御式の医療器具などの医療器具が患者の体内に挿入される。患者の体内で、器具は、患者の管腔ネットワーク内に位置付けられ得る。本明細書で使用するとき、「管腔ネットワーク」という用語は、（例えば、肺などにおける複数の分枝管腔若しくは血管などの）複数の管腔若しくは枝、又は（例えば、消化管内などの）単一の管腔若しくは枝を含むかどうかに関わらず、体内の任意の空洞構造を指す。処置中、器具は、管腔ネットワークを通って１つ又は２つ以上の対象領域に移動（例えば、ナビゲート、誘導、駆動など）され得る。システムを通る器具の移動は、ロボットシステムを制御する医師に器具に関する位置情報を提供することができる上述のナビゲーション又は位置特定システム９０によって支援され得る。
上述の様々なロボットシステムを使用して、内視鏡処置及び腹腔鏡検査処置などの様々な医療処置を行うことができる。いくつかの処置では、ロボット制御式の医療器具などの医療器具が患者の体内に挿入される。患者の体内で、器具は、患者の管腔ネットワーク内に位置付けられ得る。本明細書で使用するとき、「管腔ネットワーク」という用語は、（例えば、肺などにおける複数の分枝管腔若しくは血管などの）複数の管腔若しくは枝、又は（例えば、消化管内などの）単一の管腔若しくは枝を含むかどうかに関わらず、体内の任意の空洞構造を指す。処置中、器具は、管腔ネットワークを通って１つ又は２つ以上の対象領域に移動（例えば、ナビゲート、誘導、駆動など）され得る。システムを通る器具の移動は、ロボットシステムを制御する医師に器具に関する位置情報を提供することができる上述のナビゲーション又は位置特定システム９０によって支援され得る。
【0084】
図２１は、患者の例示的な管腔ネットワーク１３０を示す。図示の実施形態では、管腔ネットワーク１３０は、患者の肺の経路１５１の気管支ネットワーク（すなわち、管腔、枝）である。図示の管腔ネットワーク１３０は、患者の肺内の気道の気管支網であるが、本開示は、図示の例のみに限定されない。本明細書に記載のロボットシステム及び方法は、気管支網、腎臓網、心血管網（例えば、動脈及び静脈）、消化管、尿路などの任意の種類の管腔ネットワークをナビゲートするために使用され得る。
【0085】
図示のように、管腔ネットワーク１３０は、枝構造内に位置付けられている複数の経路１５１を備える。一般に、管腔ネットワーク１３０は、三次元構造を含む。説明を容易にするために、図２１は、管腔ネットワーク１３０を二次元構造として表す。これは、本開示を二次元管腔ネットワークに限定するものと解釈されるべきではない。
【0086】
図２１は、管腔ネットワーク１３０内に位置付けられている医療器具の一例も示す。医療器具は、診断及び／又は治療のために、管腔ネットワーク１３０を通って対象領域（例えば、小結節１５５）に向かってナビゲートされる。図示の例では、小結節１５５は経路１５１の周辺に位置しているが、対象領域は、患者及び処置に応じて、管腔ネットワーク１３０内のどの場所にも位置付けられ得る。
【0087】
図示される例では、医療器具は、内視鏡１１６を備える。内視鏡１１６は、シース１２０及びリーダ１４５を含み得る。いくつかの実施形態では、シース１２０及びリーダ１４５は、入れ子式に配置され得る。例えば、リーダ１４５は、シース１２０の作業チャネルの内側に摺動可能に位置付けられ得る。シース１２０は第１の直径を有し得、その遠位端部は、小結節１５５周辺のより小さな直径の経路１５１を通して位置付けることができない場合がある。したがって、リーダ１４５は、シース１２０の作業チャネルから、小結節１５５までの残りの距離だけ延伸するように構成され得る。リーダ１４５は、器具、例えば生検針、細胞ブラシ、及び／又は組織サンプリング鉗子を小結節１５５の標的組織部位まで通すことができる管腔を有し得る。そのような実装態様では、シース１２０の遠位端部及びリーダ１４５の遠位端部のどちらにも、経路１５１内のそれらのそれぞれの位置を追跡するためのＥＭ器具センサ（例えば図２３のＥＭ器具センサ３０５など）を設けることができる。シース１２０及びリーダ１４５のこの入れ子式構成は、内視鏡１１６をより薄く設計することを可能にし得、シース１２０を介して構造を支持しながら内視鏡１１６の曲げ半径を改善し得る。
【0088】
他の実施形態では、内視鏡１１６の全体の直径は、入れ子式構成でなくても周辺部に到達できる程度に十分に小さいか、又は、（例えば、約２．５～３ｃｍ以内など）周辺に接近して、操縦不可能なカテーテルを通して医療器具を展開できる程度に十分に小さくてもよい。内視鏡１１６を通して展開される医療器具に、ＥＭ器具センサ（例えば、図２３のＥＭ器具センサ３０５）が設けられ得、また、以下に説明する画像ベースの経路分析及びマッピング技術が、このような医療器具に適用され得る。
【0089】
図示のように、小結節１５５に到達するためには、器具（例えば、内視鏡１１６）は、管腔ネットワークの経路１５１を通ってナビゲート又は誘導されなければならない。操作者（医師など）は、ロボットシステムを制御して、器具を小結節１５５にナビゲートすることができる。操作者は、ロボットシステムを制御するための入力を提供することができる。
【0090】
図２２は、本明細書に記載のロボットシステムのいくつかの実装態様と共に使用することができる例示的なコマンドコンソール２００を示す。操作者は、例えば、ロボットシステムを制御するための入力を提供して、コマンドコンソール２００を介して小結節１５５などの対象領域に器具をナビゲート又は誘導することができる。コマンドコンソール２００は、多種多様な配置又は構成で具現化することができる。図示の例では、コマンドコンソール２００は、コンソール基部２０１、ディスプレイ２０２（例えばモニタ）及び１つ又は２つ以上の制御モジュール（例えば、キーボード２０３及びジョイスティック２０４）を含む。ユーザ２０５（例えば、医師又は他の操作者）は、コマンドコンソール２００を使用して、人間工学的位置から医療用ロボットシステム（例えば、図１～図２０を参照して説明したシステム）を遠隔制御することができる。
【0091】
ディスプレイ２０２としては、電子モニタ（例えば、液晶ディスプレイ、ＬＥＤディスプレイ、タッチセンシティブディスプレイ）、仮想現実視覚デバイス（例えばゴーグル若しくは眼鏡）、及び／又は他のディスプレイデバイスが挙げられ得る。いくつかの実施形態では、ディスプレイ２０２のうちの１つ又は２つ以上は、例えば、位置特定システム９０（図２０）によって判定された、器具に関する位置情報を表示する。いくつかの実施形態では、ディスプレイ２０２のうちの１つ又は２つ以上は、患者の管腔ネットワーク１３０の術前モデルを表示する。位置情報は、術前モデルに重ね合わせることができる。ディスプレイ２０２はまた、管腔ネットワーク１３０内の器具上に位置付けられたカメラ又は別の感知デバイスから受信した画像情報を表示することもできる。いくつかの実施形態では、器具のモデル又は表現が術前モデルと共に表示されて、外科処置又は医療処置の状態を示す助けとなる。
【0092】
いくつかの実施形態では、コンソール基部２０１は、中央処理ユニット（例えば、ＣＰＵ又はプロセッサ）と、メモリユニット（例えば、コンピュータ可読メモリ）と、データバスと、例えば、患者の管腔ネットワーク内に位置付けられた医療器具から、カメラ画像及び追跡センサデータなどの信号を解釈及び処理する役割を担う関連データ通信ポートと、を含む。
【0093】
コンソール基部２０１はまた、ユーザ２０５によって制御モジュール２０３、２０４を通じて提供されるコマンド及び命令を処理し得る。図２２に示されるキーボード２０３及びジョイスティック２０４に加えて、制御モジュールは、コンピュータマウス、トラックパッド、トラックボール、制御パッド、ハンドヘルドリモートコントローラなどのコントローラ、並びにハンドジェスチャ及び指ジェスチャをキャプチャするセンサ（例えば、モーションセンサ又はカメラ）などの他のデバイスを含み得る。コントローラは、器具の動作（例えば、関節運動、駆動、灌水など）にマッピングされた一組のユーザ入力（例えば、ボタン、ジョイスティック、方向パッドなど）を含むことができる。コマンドコンソール２００の制御モジュール２０３、２０４を使用して、ユーザ２０５は、管腔ネットワーク１３０を通して器具をナビゲートすることができる。
【0094】
図２３は、例示的な医療器具３００の遠位端部の詳細図である。医療器具３００は、図２１の内視鏡１１６又はリーダ１４５を表し得る。医療器具３００は、図１の内視鏡１３、図３の尿管鏡３２、図９の腹腔鏡５９などの、本開示全体を通して説明される任意の医療器具を表し得る。図２３では、器具３００の遠位端部は、撮像デバイス３１５、照明源３１０及び、ＥＭ器具センサを形成するＥＭセンサコイル３０５の端部を含む。遠位端は、器具３００の作業チャネル３２０への開口部を更に含み、この開口部を通して、生検針、細胞学的ブラシ、鉗子などの外科用器具が器具シャフトに沿って挿入され、器具先端付近の領域へのアクセスを可能にし得る。
【0095】
器具３００の遠位端上に配置されたＥＭコイル３０５をＥＭ追跡システムと共に使用して、管腔ネットワーク内に位置付けられている間の器具３００の遠位端の位置及び配向を検出し得る。いくつかの実施形態では、コイル３０５は、異なる軸に沿ったＥＭ場に対する感度を提供するように角度付けられ、開示されたナビゲーションシステムに、６つの自由度（degrees of freedom、ＤｏＦ）、すなわち３つの位置ＤｏＦ及び３つの角度ＤｏＦの全てを測定する能力を与え得る。他の実施形態では、単一のコイル３０５のみが遠位端の上又は中に配置され、その軸が器具のシャフトに沿って配向され得る。そのようなシステムの回転対称性のために、軸を中心とした回転は感知できない場合があり、そのような実装態様においては、５つの自由度だけが検出され得る。代替的に又は追加的に、他の種類の位置センサが用いられ得る。
【0096】
照明源３１０は、解剖学的空間の一部を照明するための光を提供する。照明源３１０は、それぞれ、選択された波長又は波長範囲の光を放射するように構成された１つ又は２つ以上の発光デバイスであり得る。波長は、２～３例を挙げると、例えば、可視スペクトル光、赤外光、（例えば蛍光透視法用の）Ｘ線などの任意の好適な波長であってもよい。いくつかの実施形態では、照明源３１０は、器具３００の遠位端に配置された発光ダイオード（ＬＥＤ）を含むことができる。いくつかの実施形態では、照明源３１０は、内視鏡の長さを通って延在し、例えばＸ線発生器などの遠隔光源からの光を遠位端を通して透過させることができる、１つ又は２つ以上の光ファイバを含む。遠位端が複数の照明源３１０を含む場合、これらはそれぞれ、互いに同じ又は異なる波長の光を放射するように構成することができる。
【0097】
撮像デバイス３１５は、受信した光を表すエネルギーを電気信号、例えば、電荷結合素子（charge-coupled device、ＣＣＤ）又は相補型金属酸化膜半導体（complementary metal-oxide semiconductor、ＣＭＯＳ）画像センサに変換するように構成された任意の感光性基板又は構造を含み得る。撮像デバイス３１５のいくつかの例は、内視鏡の遠位端３００から内視鏡の近位端付近の接眼レンズ及び／又は画像センサに画像を表す光を送信するように構成された、例えば、光ファイバ束などの１つ又は２つ以上の光ファイバを含むことができる。撮像デバイス３１５は、様々な光学設計の必要に応じて、１つ若しくは２つ以上のレンズ及び／又は波長通過フィルタ若しくは波長遮断フィルタを更に含むことができる。照明源３１０から放射された光は、撮像デバイス３１５が患者の管腔ネットワークの内部の画像をキャプチャすることを可能にする。これらの画像は次いで、個々のフレーム又は一連の連続するフレーム（例えば、ビデオ）として、コマンドコンソール２００などのコンピュータシステムに送信され得る。上述のように、また以下でより詳細に説明するように、撮像デバイス３１５によってキャプチャされた画像（例えば、図２０の視覚データ９２）は、ナビゲーション又は位置特定システム９５によって、管腔ネットワーク内での器具の位置（例えば、器具３００の遠位先端部の位置）を判定又は推定するために利用され得る。
【0098】
ＩＩＩ．画像管理。
本開示の実施形態は、経路（例えば、気道）分析及び／又はマッピング中に得た画像管理のためのシステム及び技術に関する。画像管理は、本明細書に記載のように、内視鏡から得られた画像を特定、分析、フィルタリング、利用、及び／又は修正することを指し得る。例えば、画像管理システムは、管腔ネットワーク内の器具上に位置付けられている撮像デバイスを使用して、管腔ネットワークの内部の画像をキャプチャすることができ、画像ベースの経路分析システムは、画像を分析して、画像に示される１つ又は２つ以上の気道を特定し得る。画像管理システムは、術前モデルデータ（例えば、機械学習アルゴリズムからトレーニングされたモデル）を使用して、画像の管理を支持し得る。例えば、画像管理システムは、十分に信頼できる、明確な、及び／又は他の品質画像に対応する所与の管腔ネットワークの画像を特定するように構成され得る。いくつかの実装態様では、これらのシステム及び技術は、（例えば、図２０を参照して上述したように）様々な他のナビゲーション及び位置特定モダリティと共に使用され得る。
本開示の実施形態は、経路（例えば、気道）分析及び／又はマッピング中に得た画像管理のためのシステム及び技術に関する。画像管理は、本明細書に記載のように、内視鏡から得られた画像を特定、分析、フィルタリング、利用、及び／又は修正することを指し得る。例えば、画像管理システムは、管腔ネットワーク内の器具上に位置付けられている撮像デバイスを使用して、管腔ネットワークの内部の画像をキャプチャすることができ、画像ベースの経路分析システムは、画像を分析して、画像に示される１つ又は２つ以上の気道を特定し得る。画像管理システムは、術前モデルデータ（例えば、機械学習アルゴリズムからトレーニングされたモデル）を使用して、画像の管理を支持し得る。例えば、画像管理システムは、十分に信頼できる、明確な、及び／又は他の品質画像に対応する所与の管腔ネットワークの画像を特定するように構成され得る。いくつかの実装態様では、これらのシステム及び技術は、（例えば、図２０を参照して上述したように）様々な他のナビゲーション及び位置特定モダリティと共に使用され得る。
【0099】
Ａ．画像解析
医療処置中、画像は、医療器具の撮像デバイス（例えば、内視鏡）からディスプレイ及び／又はメモリデバイスに転送され得る。内視鏡画像デバイスは、ナビゲーション中に臨床医に直視下知覚を提供する。追加的又は代替的に、画像は、（例えば、位置特定モジュール９５を使用して）管腔ネットワーク内の医療デバイスの位置を判定するために、処理アルゴリズムによって分析され得る。しかしながら、内視鏡検査中にキャプチャされた画像、特に無情報である画像は、解釈することが困難であり得る。内視鏡検査では、非情報画像は、例えば、速いカメラの動きによるものであり得る、高度の流体アーチファクト、鏡面反射、及び／又はぼやけ（又は不鮮明さ）を提示する画像を含み得る。これらの無益な画像を自動的に特定するためのコンピュータ化されたアルゴリズムから、臨床医は恩恵を受けるであろう。例えば、そのような画像は、無情報、信頼性がない、及び／又は低品質として廃棄及び／又はラベル付けされ得る。臨床医はまた、本明細書に記載の後続の画像処理アルゴリズムから恩恵を受けることができる。画像管理システムは、有利には、ユーザ（例えば、外科医、医療従事者など）が、撮像デバイスから取得され得る非有用な画像を回避することを可能にする。追加的又は代替的に、システムは、コンピュータ化されたアルゴリズムが、管腔ネットワーク内の医療器具の位置をより良好に判定することを可能にすることができる。
医療処置中、画像は、医療器具の撮像デバイス（例えば、内視鏡）からディスプレイ及び／又はメモリデバイスに転送され得る。内視鏡画像デバイスは、ナビゲーション中に臨床医に直視下知覚を提供する。追加的又は代替的に、画像は、（例えば、位置特定モジュール９５を使用して）管腔ネットワーク内の医療デバイスの位置を判定するために、処理アルゴリズムによって分析され得る。しかしながら、内視鏡検査中にキャプチャされた画像、特に無情報である画像は、解釈することが困難であり得る。内視鏡検査では、非情報画像は、例えば、速いカメラの動きによるものであり得る、高度の流体アーチファクト、鏡面反射、及び／又はぼやけ（又は不鮮明さ）を提示する画像を含み得る。これらの無益な画像を自動的に特定するためのコンピュータ化されたアルゴリズムから、臨床医は恩恵を受けるであろう。例えば、そのような画像は、無情報、信頼性がない、及び／又は低品質として廃棄及び／又はラベル付けされ得る。臨床医はまた、本明細書に記載の後続の画像処理アルゴリズムから恩恵を受けることができる。画像管理システムは、有利には、ユーザ（例えば、外科医、医療従事者など）が、撮像デバイスから取得され得る非有用な画像を回避することを可能にする。追加的又は代替的に、システムは、コンピュータ化されたアルゴリズムが、管腔ネットワーク内の医療器具の位置をより良好に判定することを可能にすることができる。
【0100】
管腔ネットワーク内部をナビゲートする能力は、本明細書に記載のロボット制御式の外科用システムの特徴であり得ると共に、位置特定を伴い得る。本明細書で使用するとき、位置特定は、管腔ネットワーク内の器具の位置を特定又は判定することを指し得る。判定された位置は、器具を管腔ネットワーク内の１つ又は２つ以上の特定の対象領域に誘導するのを補助するために使用され得る。いくつかの実施形態では、ロボット制御式の外科用システムは、器具の術中ナビゲーションを提供するために、１つ又は２つ以上の独立した感知モダリティを利用する。図２０に示すように、独立した感知モダリティは、位置データ（例えば、ＥＭデータ９３）、視覚データ９２、及び／又はロボットコマンド及び運動学データ９４を提供することができる。これらの独立した感知モダリティは、独立した推定位置を提供するように構成された推定モジュールを含み得る。次いで、独立した推定結果は、例えば、位置特定モジュール９５を使用して、システムによって使用することができる、又はユーザに表示することができる、１つのナビゲーション出力へと組み合わされ得る。画像ベースの気道分析及びマッピングは、視覚データ９２に基づいて、独立した推定位置を提供することができる独立した感知モダリティを提供することができる。特に、いくつかの場合には、画像ベースの気道分析及びマッピングは、感知モダリティと、器具の撮像デバイスが管腔ネットワークのどの管腔又は枝に位置しているのかを、撮像デバイスによってキャプチャされた１つ又は２つ以上の画像に基づいて推定する状態／位置推定モジュールとの組み合わせを提供する。いくつかの実施形態では、画像ベースの気道分析及びマッピングによって提供される推定結果を、単独で、又は他の推定位置と共に使用して、システムによって使用することができる、又はユーザに表示することができる、最終的な推定位置を判定し得る。いくつかの実施形態では、本明細書に記載の画像ベースの経路分析及びマッピングシステム及び方法は、複数の感知モダリティを使用して計算された過去の推定位置に基づいてその推定を行い得る。したがって、より高い品質及び／又はより信頼性の高い画像は、初期及びその後の位置推定プロセスを支持及び改良することができる。画像管理システム及び方法は、本明細書に記載の他の画像処理システム及び方法を補完することができる。無情報及び／又は信頼性がない画像を特定することにより、更なる処理からそれらを除去することができ、したがって、その後の処理の必要性を低減し、非有用な、又は不正確な結果の数を潜在的に低減する（例えば、不十分な画質のため）。
【0101】
画像管理は、管腔ネットワーク内に位置付けられている器具の撮像デバイス３１５によってキャプチャされた１つ又は２つ以上の画像管理画像を分析して、画像内の１つ又は２つ以上の気道を検出することを含み得る。図２４は、管腔ネットワークの枝の内部の例示的な画像３８０を示す。図示の例では、画像３８０は肺の経路の内部画像であるが、画像３８０は、任意の種類の管腔ネットワークを表すことができる。２つの後続の気道３８４が画像３８０に示されている。気道３８４は、画像がキャプチャされた現在の気道に接続されている。
【0102】
Ｂ．例示的な画像管理方法及びシステム
図２４とは対照的に、いくつかの画像は、（人間及び／又はコンピュータアルゴリズムに対して）十分にクリア又は信頼性がない場合がある。したがって、画像管理システムは、明確で信頼性の高い、及び／又はそうでなければ高品質の画像を特定及び利用するために有利に採用され得る。図２５は、分析システム４１０及び医療機器４２０を含む例示的な画像管理システム４００を示す。分析システム４１０は、医療器具に結合され得る。例えば、分析システム４１０は、医療器具４２０に電子的に接続され得る。いくつかの構成では、分析システム４１０及び医療器具４２０は、同じハウジング内に収容される。
図２４とは対照的に、いくつかの画像は、（人間及び／又はコンピュータアルゴリズムに対して）十分にクリア又は信頼性がない場合がある。したがって、画像管理システムは、明確で信頼性の高い、及び／又はそうでなければ高品質の画像を特定及び利用するために有利に採用され得る。図２５は、分析システム４１０及び医療機器４２０を含む例示的な画像管理システム４００を示す。分析システム４１０は、医療器具に結合され得る。例えば、分析システム４１０は、医療器具４２０に電子的に接続され得る。いくつかの構成では、分析システム４１０及び医療器具４２０は、同じハウジング内に収容される。
【0103】
分析システム４１０は、コンピュータ可読メモリ４１２及び１つ又は２つ以上のプロセッサ４１４を含み得る。メモリ４１２は、非一時的であり得、プロセッサによって実行されるときに画像管理システム４００に様々な機能を実行させるように構成された実行可能な命令を含み得る。１つ又は２つ以上のプロセッサ４１４は、メモリ４１２と通信することができ、本明細書に記載の様々な機能を実行するための命令を実行するように構成され得る。例として、限定するものではないが、メモリ４１２及び／又はプロセッサ４１４は、図１に示されるタワー３０内にあっても、図１～図４に示されるカート１１内にあっても、図５～図１４に示されるベッド内にあってもよい。
【0104】
医療器具４２０は、器具基部４２２、細長い本体４２４、及び／又は撮像デバイス４２８を含み得る。医療器具４２０は、図２１の内視鏡１１６、図２３の医療器具３００、図１の内視鏡１３、図３の尿管鏡３２、図９のラパロスコープ５９などのいくつかの機能性を共有し得る。
【0105】
医療器具４２０は、器具基部４２２に結合された細長い本体４２４を含み得る。細長い本体４２４の遠位端部（例えば、遠位先端部）は、撮像デバイス４２８を含み得る。細長い本体４２４の遠位端部は、追加的又は代替的に、管腔ネットワークを照明するように構成された１つ又は２つ以上の照明源（図示せず）を含み得る。本明細書に記載の他の医療器具と同様に、細長い本体４２４の遠位端部は、外科用器具４２０の作業チャネルへの開口部を更に含むことができ、これにより、外科用器具が器具シャフトに沿って及び／又は器具シャフト内に挿入され得、器具先端部の近くの管腔ネットワークの領域へのアクセスを可能にする。撮像デバイス４２８は、撮像デバイス３１５に関して上述した様々な機能を含み得る。
【0106】
図２６は、本明細書に記載の医療システムと組み合わせて使用することができるマッピングシステム４５０を示す。マッピングシステム４５０は、仮想ビュー生成器モジュール４６２、記述子抽出モジュール４６６、画像品質検出器４７４、記述子抽出モジュール４７８、及び／又は記述子整合モジュール４８２を含み得る。アルゴリズムの第１のセットは、仮想ビュー生成器モジュール４６２及び／又は記述子抽出モジュール４６６を含むことができ、他のアルゴリズムが１つ又は２つ以上の画像センサ（例えば、カメラ画像データ４７０）から取得された画像データ内の特徴を特定するのを助けるために使用され得る仮想（例えば、コンピュータ生成、シミュレート、人工、など）画像を生成及び分析することができる。第１の組のアルゴリズムは、例えば、医療処置の前に、ＣＴモデル４５４及び／又はナビゲーション融合データ４５８に適用され得る。したがって、記述子抽出モジュール４６６からの出力は、術前データとして記憶することができる。
【0107】
マッピングシステム４５０は、ＣＴモデル４５４、ナビゲーション融合データ４５８、及び／又はカメラ画像データ４７０を含むデータを受信するように構成され得る。ＣＴモデル４５４は、ＣＴに基づくか、又はＣＴをモデル化する仮想画像を含み得る。ＣＴモデル４５４は、コンピュータアルゴリズム（例えば、仮想ビュー生成器モジュール４６２、記述子抽出モジュール４６６、記述子整合モジュール４８２など）によってアクセスすることができる術前画像のデータベースを含み得る。ナビゲーション融合データ４５８は、画像データ、ＥＭデータなどの追加のデータ、及び／又はカメラ画像（例えば、カメラ画像データ４７０）との比較からの結果を含み得る。
【0108】
ＣＴモデル４５４及び／又はナビゲーション融合データ４５８からのデータは、仮想ビュー生成器モジュール４６２に渡され得る。仮想ビュー生成器モジュール４６２は、データを受信し、管腔ネットワークの仮想モデル、例えば、管腔ネットワークの二次元（２Ｄ）モデル又は３次元（３Ｄ）モデルを生成することができる。仮想ビュー生成器モジュール４６２は、医療処置中に取得され得る画像ビューをモデル化又は模倣するように構成することができる。生成された画像／モデルは、記述子抽出モジュール又はアルゴリズム４６６に渡すことができる。記述子抽出モジュール４６６は、生成された画像／モデルを受信し、画像から顕著又は有意義な特徴（例えば、記述子）を特定するように構成され得る。例えば、記述子抽出モジュール４６６は、画像（例えば、仮想画像）のエッジ、形状、色の段階、及び／又は他の態様を特定するように構成することができる。仮想モデル生成及び分析に関連する追加情報は、２０１９年４月１８日に公開された米国特許出願公開第２０１９／０１１０８４３号に更に説明されており、その全体が参照により本明細書に組み込まれる。記述子抽出モジュール４６６から得られたデータは、例えば、処置中に利用可能であるように、記述子整合モジュール４８２に渡され得る。
【0109】
第２の組のアルゴリズムは、最終的には、第１の組のアルゴリズムから出力を比較して、画像センサから取得された画像データ内の有意義な特徴（例えば、記述子）を特定するために使用され得るカメラ画像データ４７０を分析するように構成することができる。上記のように、医療器具４２０の遠位先端部／部分におけるカメラ又は他の撮像デバイス４２８からのリアルタイム画像データの分析を通じて、情報を含まない画像データは廃棄され得る一方で、情報を含む画像データを保持し、医療器具４２０を位置特定するために使用し、かつ／又は医療器具４２０を管腔ネットワークを通してナビゲートするのを助けることができる。第２の組のアルゴリズムは、情報を含む画像と情報を含まない画像の膨大なセットを選別し、保持された画像は何であれ、医療機器４２０をより効率的に、迅速に、正確に位置特定するために使用される。システムは、以下で詳しく説明する１つ又は２つ以上の品質メトリック（ぼやけ、スペキュラネス、フィーチャネスなど）に依存して、画像が情報を含まないか、したがって画像を破棄すべきかどうかを判断することができる。各画質メトリック内で、画像が画像品質メトリックを満たしているか否かに関わらず、分析の感度レベルを確立するように閾値を設定することができる。この分析の結果に基づいて、画像は、位置特定及び／又はナビゲーションで使用するために保持され得、又は画像は、医療器具４２０の位置特定における注意散漫及び／又は不正確さを防ぐために廃棄され得る。第２の組のアルゴリズムは、画像品質検出器４７４、記述子抽出モジュール４７８、及び／又は記述子整合モジュール４８２を含み得る。画像品質検出器４７４は、カメラ画像データ４７０を受信し、それを分析して、カメラ画像データ４７０が１つ又は２つ以上の品質メトリックを満たすかどうかを判定することができる。画像品質検出器４７４の特徴を、以下に（例えば、図２７を参照して）更に詳細に記載する。例えば、画像品質検出器４７４は、受信された画像に関連する、ぼやけの程度、スペキュラネスの程度、及び／又はフィーチャネスの程度を特定するように構成され得る。画像が１つ又は２つ以上の対応する画像品質メトリックに基づいて１つ又は２つ以上の閾値品質メトリックに合格しない場合、画像は拒否及び／又は廃棄され得る。いくつかの実施形態では、品質メトリックに合格した画像は、記述子抽出モジュール４７８によって更に分析され得る。画像は、１つ又は２つ以上の品質メトリックの目標数（例えば、１つ、２つ、３つ、４つなど）及び／又は目標の組み合わせがそれぞれの１つ又は２つ以上の閾値品質メトリックを満たす場合、十分に信頼性が高く、情報を含み、及び／又は高品質であると判定し得る。
【0110】
記述子抽出モジュール４７８は、受信された画像から１つ又は２つ以上の特徴（例えば、記述子）を特定するように構成することができる。例えば、記述子抽出モジュール４７８は、受信された画像内の分岐、曲率、不規則性、又は他の顕著な特徴を特定するように構成され得る。次いで、記述子抽出モジュール４７８は、画像及び／又は関連付けられた記述子データを記述子整合モジュール４８２に渡し得る。
【0111】
記述子整合モジュール４８２は、記述子抽出モジュール４７８から及び／又は記述子抽出モジュール４６６から画像及び／又は記述子データを受信することができる。記述子整合モジュール４８２は、本明細書に記載のような、管腔ネットワーク内の医療機器（例えば、内視鏡）の位置を特定することができる。例えば、記述子整合４８２は、記述子抽出モジュール４６６から取得された１つ又は２つ以上の特徴を、記述子抽出モジュール４７８からデータ内で特定された特徴で比較することができる。いくつかの例では、記述子整合モジュール４８２は、予想される位置データ（例えば、モジュール４８２及び／又はモジュール４８２がアクセス可能なメモリに事前にロード又は事前に記憶された）を含み、記述子抽出４６６、４７８から受信した特徴の比較を効率化し得る。したがって、マッピングシステム４５０を使用して、医療システムは、１つ又は２つ以上のデータ源、例えば、ＣＴモデル４５４、ナビゲーション融合データ４５８、及び／又はカメラ画像データ４７０から抽出された記述子に基づいて、管腔ネットワーク内の医療器具の位置を特定及び／又は推定することができる。
【0112】
図２７は、上述の画像管理システムを実装するための例示的な方法５００を示す。方法５００は、本開示全体を通して説明される様々なロボット制御式のシステムで実装され得る。方法５００は、管腔ネットワークに挿入されるように構成された細長い本体を有する器具を含むロボットシステムと共に実装され得る。撮像デバイスは、細長い本体上（例えば、細長い本体の遠位端上）に位置付けることができる。器具は、管腔ネットワークを通して器具を移動させるように構成された器具位置付けデバイス（例えば、ロボットアーム）に取り付けることができる。方法５００を使用するシステムが、プロセッサに方法５００を実行させる命令で構成されたプロセッサを含み得る。方法５００は、単なる例として提供されており、画像管理方法は、図２７に示す工程とは異なる工程を使用して実装することができる。簡潔にするために、図２７に示す工程は、システム（例えば、本明細書に記載のシステムのうちの１つ、又は本明細書に記載の技術のうちの１つ又は２つ以上を実行するように構成されたシステム）によって実行されるものとして説明されているが、このステップは、このようなシステムの１つ又は２つ以上の構成要素又はプロセッサによって行われ得る。
【0113】
ブロック５０４において、画像管理のためのシステムは、デバイス（例えば、撮像デバイス４２８）から、細長い本体が管腔ネットワーク内にあるときにキャプチャされた１つ又は２つ以上の画像を受信する。ブロック５０８で、システムは、１つ又は２つ以上の画像の各々について、管腔ネットワーク内の細長い本体の遠位先端部又は部分の位置特定のための画像の信頼性を示す１つ又は２つ以上の品質メトリックを判定する。品質メトリックの例を下記に示す。ブロック５１２で、システムは、１つ又は２つ以上の品質メトリックの各々について信頼性閾値を判定する。信頼性閾値は、ユーザによって供給することができ、及び／又は品質メトリック及び／又は品質メトリックの値に基づいて判定することができる。例えば、閾値は、重要な品質メトリックに対して比較的高く設定することができるが、重要でない品質メトリックについてはより低く設定することができる。他の構成も可能である。ブロック５１６において、対応する信頼性閾値を満たす画像の１つ又は２つ以上のメトリックの各々に応答して、システムは、遠位先端部の位置の画像を利用する。システムは、画像を使用して、器具の遠位先端部の位置を判定し得る。位置判定は、図２６に関して説明されたアルゴリズム及び／又は本明細書に記載の他のアルゴリズム（例えば、図２０に関して）に部分的に基づくことができる。システムは、対応する信頼性閾値を満たさない画像の品質メトリックのうちの１つ又は２つ以上に応答して、器具の遠位先端部の位置を判定するために画像を廃棄しても、あるいは利用しなくてもよいことに留意されたい。
【0114】
いくつかの例では、システムは術前モデルデータにアクセスする。システムは、例えば、１つ又は２つ以上の信頼性閾値を満たす画像の機械学習モデルにアクセスし得る。追加的又は代替的に、機械学習モデルは、１つ又は２つ以上の信頼性閾値を満たさない画像のモデルを含み得る。機械学習モデルに基づいて、システムは、１つ又は２つ以上のキャプチャされた画像の各々についての１つ又は２つ以上のメトリックが対応する信頼性閾値を満たすかどうかを判定し得る。術前モデルデータは、（例えば、医療器具の位置に対応する気道のカウント及び／又はランドマークを使用して）管腔システム内の医療デバイスの予想位置を示すデータ（例えば、画像データ）などの他のデータを含み得る。例えば、図２７には示されていないが、システムは、管腔ネットワーク内に位置付けられている器具の推定位置状態にアクセスし得る。位置状態推定は、器具が現在位置付けられている分岐の特定を含むことができる。位置状態は、ＣＴスキャンを通して取得された画像データに基づき得る。位置状態推定値及び術前モデルデータ（例えば、機械学習モデル、ＣＴ画像）に基づいて、システムは、医療器具の位置を判定し得る。推定位置状態は、例えば、図２０のナビゲーション及び位置特定システム９０によって判定することができる。推定位置状態を、例えば、術前モデルデータ９１、視覚データ９２、ＥＭデータ９３（若しくは他の位置感知データ）、並びに／又はロボットコマンド及び運動学データ９４などの様々な及び／又は複数の位置感知モダリティ及び情報に基づいて判定することができる。術前モデルデータを使用した経路の位置判定及びマッピングに関連する追加情報は、２０１９年４月１８日に公開された米国特許出願公開第２０１９／０１１０８４３号で更に説明されており、その全体が参照により本明細書に組み込まれる。
【0115】
システムは、複数の画像品質メトリックを使用して、画像が信頼できるか、情報を含むか、及び／又はそうでなければ十分に高品質であるかを特定し得る。例えば、３つ以上の品質メトリックが使用され得る。各画像について、システムは、２Ｄ画像を画像内の画像位置の集合に変換することができる。画像位置は、画像内の画素に対応し得る。画素は、２つの軸に沿ってグリッドに配置され得る。画像位置は、
【0116】
【数1】
【0117】
画像品質メトリックは、様々なメトリックに関連し得る。１つの要因は、画像又はその中の特徴がぼやけている程度に関連し得、これは、ぼやけ、若しくは、不鮮明さと称され得る。別の因子は、画像がどのように飽和及び／又は洗浄されるかに関連し得る。特に、係数は、（例えば、光源からの）光のカメラへの反射によって引き起こされる鏡面ハイライトに関連し得る。この係数は、スペキュラネスと称され得る。更に別の要因は、フィーチャネスと称され得る画像内の視覚的特徴の顕著性がどのようであるかに関連し得る。視覚的特徴の顕著性は、画像内で検出された視覚的特徴の数に関連し得る。
【0118】
ぼやけは、様々な方法で取得され得る。例えば、システムは、入力ＲＧＢ画像をグレースケール画像に変換し得る。したがって、画像は、黒色度又は暗さの程度などの単一のチャネルに基づいて変化し得る。システムは、画像上の近く及び／又は隣接する点の分散を判定し得る。分散は、各画像位置に関連付けられたベクトル上でラプラシアン演算子を実行することによって取得され得る。ラプラシアン演算子は、行列
【0119】
【数2】
【0120】
【数3】
【0121】
【数4】
【0122】
スペキュラネスは、画像全体と比較して、鏡面ハイライトを有する画像内の点の比率を見つけることによって得られ得る。したがって、スペキュラネスは、画像内の鏡面ハイライト領域の比又は割合であり得る。スペキュラネスは、画像内の各点の彩度及び／又は値に関連し得る。「彩度」とは、一般的に、同様に照明された白の明るさに対する点のカラフルさを指し得る。「値」は、色の知覚の変動の程度を指し得る。スペキュラネスは、１つ又は２つ以上の閾値を満たす点（例えば、画素）の数を判定することによって取得することができる。例えば、鏡面点は、閾値彩度レベル未満の彩度を有する点を指し得、及び／又は閾値レベルを超える値を有し得る。
【0123】
画像のスペキュラネスを判定することには、画像を異なるタイプの画像に変換することを含み得る。変換は、マルチチャネル画像を異なるタイプのマルチチャネル画像（例えば、ＨＳＶ画像）に変換することを含み得る。例えば、ＲＧＢ画像は、ＨＳＶ画像に変換し得る。いくつかの実施形態では、Ｒ、Ｇ、Ｂチャネル値は、０～１の範囲であり得、以下の式に従って変換され得る。
【0124】
【数5】
【0125】
頭字語ＨＳＶは、色相、彩度、及び値を表す。画像の各位置は、そのレベルの鏡面ハイライトについて分析され得る。彩度閾値σＳａｔ及び／又は値閾値σＶａｌは、十分な鏡面ハイライトを有する点（例えば、画素）を特定するように設定され得る。例えば、画素が両方とも（１）彩度閾値σＶａｌ未満の彩度値を有する、及び（２）彩度閾値σＳａｔ未満の値量を有する場合に、十分な鏡面ハイライトを有していると特定され得る。十分な鏡面ハイライトを有する点（例えば、画素）の総数に基づいて、点が、σＳａｔより低い彩度了及びσＶａｌより高い値量を有する場合には、比率は、
【0126】
【数6】
【0127】
フィーチャネスは、特定の画像内の特徴の数を特定することによって判定され得る。特徴の数は、スケール不変特徴変換（ＳＩＦＴ）、堅牢な特徴のスピードアップ（ＳＵＲＦ）、バイナリロバストな独立した基本特徴（ＢＲＩＥＦ）、加速セグメント試験からの特徴（ＦＡＳＴ）、配向ＦＡＳＴ、及び回転ＢＲＩＥＦ（ＯＲＢ）及び／又はバイナリロバストな不変スケーラブルキーポイント（ＢＲＩＳＫ）などのような１つ又は２つ以上の特徴検出アルゴリズムを使用して判定され得る。いくつかの実装態様では、ハリスのアルゴリズム（例えば、ハリスのアフィン領域検出器）を使用して、画像内の角部などの特徴の態様を特定し得る。例えば、ガウスカーネルフィルタリングは、１つ若しくは２つ以上のスケールで使用され得、かつ／又は顕著な特徴（例えば、角、縁、ブロブ、隆起など）を位置特定することを更に含み得る。追加的又は代替的に、（例えば、ソーベル演算子を使用する）ソーベルフィルタなどのフィルタを使用して、エッジなどの特徴の態様を特定及び／又は検出することを助けることができる。特徴は、管腔ネットワークの断面、管腔又は分岐の不規則性、又は関心のあるいくつかの他の特徴であり得る。画像内の特徴は、環境内のエッジ、コーナー、及び／又は他の特定可能な要素を含み得る。したがって、そのような態様が特定されて、画像内の特徴の存在を判定し得る。
【0128】
上記のように、１つ又は２つ以上の品質メトリックを使用して、信頼性のある、及び／又は情報を含む画像を特定することができる。いくつかの構成では、方法５００は、上記の品質メトリックの組み合わせ（例えば、線形組み合わせ）を使用することを含み得る。例えば、画像は、（１）ぼやけθが、ぼやけの閾値σｂｌｕｒよりも大きい場合、（２）スペキュラネスφが、スペキュラネス閾値σｓｐｅｃよりも大きい場合、及び／又は（３）フィーチャネスδは、フィーチャネスの閾値σｆｅａｔ未満である場合には、情報を含まない、及び／又は信頼性がないものとして分類できる。したがって、例えば、いくつかの実装態様では、画像は、θ＞σｂｌｕｒ、φ＞σｓｐｅｃ、及びδ＜σｆｅａｔである場合には信頼性がないと判定される。いくつかの構成では、品質メトリックの線形の組み合わせが、複合閾値を下回る複合メトリックとなる場合、画像は信頼性がないと判定し得る。複合メトリックρは、それぞれの品質メトリックに対応する１つ又は２つ以上の重み付け係数を使用して判定され得る。重み付け係数は、線形重み付け係数であり得るが、他の変形が可能である。例えば、複合メトリックρは、
【0129】
【数7】
【0130】
上記のように、いくつかの構成では、システムは、追加的又は代替的に、機械学習（ＭＬ）アルゴリズムを実装して、上記の品質メトリックのうちの１つ又は２つ以上を判定し得る。機械学習アルゴリズムは、粒度の粗い（例えば、画素レベルの）画像データに追加的又は代替的に、画像の全体的な情報をキャプチャするように構成することができる。ＭＬアルゴリズムは、信頼性及び／又は情報を含む画像を特定するように構成することができる。追加的又は代替的に、ＭＬアルゴリズムは、信頼性がない及び／又は情報を含まない画像を特定するように構成することができる。
【0131】
ＭＬアルゴリズムは、「良好」（例えば、情報を含む、信頼性がある）及び／又は「悪い」（例えば、情報がない、信頼性がない）画像で以前にトレーニングされ得る。トレーニングアルゴリズムは、ランダムフォレスト、サポートベクターマシン、又は畳み込みニューラルネットワーク（ＣＮＮ）などの分類子を使用し得る。したがって、「良好」及び／又は「悪い」画像は、トレーニングされた分類子に基づいて判定され得る。
【0132】
トレーニングされると、ＭＬアルゴリズム又はモデルを、システム（例えば、メモリ４１２）に記憶することができる。機械学習アルゴリズムの例としては、回帰アルゴリズム（例えば、Ｏｒｄｉｎａｒｙ Ｌｅａｓｔ Ｓｑｕａｒｅｓ Ｒｅｇｒｅｓｓｉｏｎなど）、インスタンスベースのアルゴリズム（例えば、Ｌｅａｒｎｉｎｇ Ｖｅｃｔｏｒ Ｑｕａｎｔｉｚａｔｉｏｎ（学習ベクトル量子化）など）、判定木アルゴリズム（例えば、分類木及び回帰木など）、ベイズ・アルゴリズム（例えば、ナイーブ・ベイズなど）、クラスタリングアルゴリズム（例えば、ｋ－平均クラスタリングなど）、アソシエーションルール学習アルゴリズム（例えば、演繹的アルゴリズムなど）、人工ニューラルネットワークアルゴリズム（例えば、パーセプトロンなど）、深層学習アルゴリズム（例えば、深層ボルツマンマシン、深層ニューラルネットワークなど）、次元削減アルゴリズム（例えば、主成分分析など）、アンサンブルアルゴリズム（例えば、積層ジェネラライゼーションなど）、及び／又は他の機械学習アルゴリズムのような教師あり又は教師なしの機械学習アルゴリズムがある。
【0133】
上記のように、方法５００は、機械学習モデルにアクセスし、モデルを使用して、各画像の品質メトリックが対応する信頼性閾値を満たすかどうかを判定することを含み得る。機械学習モデルは、１つ又は２つ以上の管腔ネットワーク内の分岐を特定するようにトレーニングされた畳み込みニューラルネットワークを含み得る。機械学習モデルは、管腔ネットワークの模擬画像に少なくとも部分的に基づくことができる。例えば、模擬画像は、２つ又は３つの寸法にわたる管腔ネットワークの少なくとも１つのコンピュータ生成画像を含み得る。例えば、機械学習モデルは、ＣＴスキャンから収集された画像に少なくとも部分的に基づくことができる。模擬画像は、管腔ネットワーク内からシミュレートされた視点を描写し得る。追加的又は代替的に、画像データは、ビデオ画像（例えば、患者内の気管支ネットワークから）を含み得る。
【0134】
ＭＬアルゴリズムは、様々な方法でトレーニングされ得る。例えば、システムは、管腔ネットワークの３Ｄ表現にアクセスし得る。システムは、管腔ネットワークの内部の１つ又は２つ以上の画像にアクセスし得る。いくつかの構成では、システムは、管腔ネットワークの内部及び管腔ネットワークの３Ｄ表現の画像に基づいて、各画像と３Ｄ表現内の対応する場所との間のマッピングを判定し得る。システムは、マッピングに基づいて、重み付けパラメータを設定して、ＭＬアルゴリズムに提示された画像データ内で、管腔ネットワークの対応する分岐及び／又は管腔ネットワーク内の対応する分岐の位置を特定し得る。追加的又は代替的に、システムは、粒子フィルタに基づいて、画像内の１つ又は２つ以上の特徴を予測することができる。
【0135】
ＩＶ．システムの実装及び用語
本明細書に開示の実装態様は、ロボット制御式の医療器具のナビゲーションのための画像管理のためのシステム、方法及びデバイスを提供する。本明細書に記載の様々な実装態様は、管腔ネットワークの改善された画像管理とナビゲーションを提供する。
本明細書に開示の実装態様は、ロボット制御式の医療器具のナビゲーションのための画像管理のためのシステム、方法及びデバイスを提供する。本明細書に記載の様々な実装態様は、管腔ネットワークの改善された画像管理とナビゲーションを提供する。
【0136】
本明細書で使用するとき、「連結する」、「連結している」、「連結された」という用語、又は連結という語の他の変形は、間接的接続又は直接的接続のいずれかを示し得ることに留意されたい。例えば、第１の構成要素が第２の構成要素に「連結される」場合、第１の構成要素は、別の構成要素を介して第２の構成要素に間接的に接続される、又は第２の構成要素に直接的に接続される、のいずれかであってもよい。
【0137】
本明細書に記載の画像データ、分析及び／又は管理アルゴリズム、機械学習モデル、位置推定、及び／又はロボットモーションアクチュエーション機能は、プロセッサ可読媒体又はコンピュータ可読媒体上の１つ又は２つ以上の命令として記憶され得る。「コンピュータ可読媒体」という用語は、コンピュータ又はプロセッサによってアクセスすることができる任意の利用可能な媒体を指す。一例として、限定するものではないが、このような媒体は、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、電気的消去可能プログラム可能読み出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、コンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、又は他の光ディスク記憶装置、磁気ディスク記憶装置、若しくは他の磁気記憶デバイス、又は命令若しくはデータ構造の形態で所望のプログラムコードを記憶するために使用することができ、コンピュータによってアクセスすることができる任意の他の媒体を含み得る。コンピュータ可読媒体は、有形であり、非一時的であってもよいことに留意されたい。本明細書で使用するとき、「コード」という用語は、コンピューティング装置又はプロセッサによって実行可能であるソフトウェア、命令、コード、又はデータを指し得る。
【0138】
本明細書に開示される方法は、記載される方法を達成するための１つ又は２つ以上のステップ又は行為を含む。方法ステップ及び／又は行為は、特許請求の範囲から逸脱することなく互いに交換され得る。換言すれば、記載されている方法の適切な動作のために特定の順序のステップ又は行為が必要とされない限り、特許請求の範囲から逸脱することなく、特定のステップ及び／又は行為の順序及び／又は使用を修正され得る。
【0139】
本明細書で使用するとき、「複数」という用語は、２つ又は３つ以上を示す。例えば、複数の構成要素は、２つ又は３つ以上の構成要素を示す。「判定する」という用語は、多種多様な行為を包含し、したがって、「判定する」は、計算すること、演算すること、処理すること、算出すること、調査すること、ルックアップすること（例えば、テーブル、データベース又は別のデータ構造を見ること）、確認することなどを含むことができる。また、「判定する」は、受信する（例えば、情報を受信すること）、アクセスする（例えば、メモリ内のデータにアクセスすること）などを含むことができる。また、「判定する」は、解決する、選択する、選出する、確立するなどを含むことができる。
【0140】
「基づく」という句は、別途明示的に指定されない限り、「のみに基づく」ことを意味しない。換言すれば、「基づく」という句は、「のみに基づく」及び「少なくとも基づく」の両方を記載する。
【0141】
開示される実装態様の前述の説明は、任意の当業者が本発明を製造すること、又は使用することを可能にするために提供される。これらの実装態様に対する様々な修正は、当業者には容易に明らかになり、かつ、本明細書において定義される一般的な原理は、本発明の範囲から逸脱することなく、他の実装態様に適用され得る。例えば、当業者であれば、締結、装着、連結、又は係合ツール構成要素の均等の方法、特定の作動運動を生み出すための均等の機構、及び電気エネルギーを送達するための均等の機構など、多くの対応する代替的かつ均等の構造的詳細を採用することができると理解されるであろう。したがって、本発明は、本明細書に示される実装態様に限定されることを意図するものではなく、本明細書に開示される原則及び新規な特徴と一致する最も広い範囲が与えられるものである。
【0142】
〔実施の態様〕
（１） システムであって、
器具であって、
管腔ネットワークに挿入されるように構成された細長い本体と、
前記細長い本体の遠位先端部上に位置付けられた撮像デバイスと、
を備える、器具と、
実行可能命令を記憶している少なくとも１つのコンピュータ可読メモリと、
１つ又は２つ以上のプロセッサであって、前記少なくとも１つのコンピュータ可読メモリと通信しており、かつ前記命令を実行して、前記システムに、少なくとも、
前記撮像デバイスから、前記細長い本体が前記管腔ネットワーク内にあるときにキャプチャされた１つ又は２つ以上の画像を受信することと、
前記１つ又は２つ以上の画像の各々について、前記管腔ネットワーク内の前記細長い本体の前記遠位先端部の位置特定のための画像の信頼性を示す１つ又は２つ以上のメトリックを判定することと、
前記１つ又は２つ以上のメトリックの各々について信頼性閾値を判定することと、
対応する信頼性閾値を満たす前記画像の前記１つ又は２つ以上のメトリックの各々に応答して、前記遠位先端部の前記位置特定のために前記画像を利用することと、を行わせるように構成されている、プロセッサと、を備える、システム。
（２） 前記１つ又は２つ以上のプロセッサが、前記命令を実行して、前記システムに、少なくとも、
１つ又は２つ以上の信頼性閾値を満たす画像の機械学習モデルにアクセスすることと、
前記機械学習モデルに基づいて、前記１つ又は２つ以上のキャプチャされた画像の各々についての前記１つ又は２つ以上のメトリックが、前記対応する信頼性閾値を満たすかどうかを判定することと、を行わせるように構成されている、実施態様１に記載のシステム。
（３） 前記機械学習モデルが、（ｉ）前記対応する信頼性閾値を満たす１つ又は２つ以上のメトリックを有する画像と、（ｉｉ）前記対応する信頼性閾値を満たさない１つ又は２つ以上のメトリックを有する画像と、を区別するようにトレーニングされた畳み込みニューラルネットワークを含む、実施態様２に記載のシステム。
（４） 前記１つ又は２つ以上のメトリックが、
前記画像内のぼやけのレベルを示す第１のメトリックと、
前記画像内の鏡面ハイライトの量を示す第２のメトリックと、
前記画像内の視覚的特徴の利用可能性を示す第３のメトリックと、のうちの少なくとも１つを含む、実施態様１に記載のシステム。
（５） 前記画像の前記利用が、
第１の重み付けパラメータを前記第１のメトリックに割り当てることと、
第２の重み付けパラメータを前記第２のメトリックに割り当てることと、
第３の重み付けパラメータを前記第３のメトリックに割り当てることと、
前記第１のメトリック、前記第２のメトリック、及び前記第３のメトリックの、前記それぞれの第１の重み付けパラメータ、第２の重み付けパラメータ、及び第３の重み付けパラメータとの線形の組み合わせに基づいて、複合メトリックを判定することであって、前記複合メトリックが、前記遠位先端部の前記位置特定のための前記画像の信頼性を示す、判定することと、を含む、実施態様４に記載のシステム。
（１） システムであって、
器具であって、
管腔ネットワークに挿入されるように構成された細長い本体と、
前記細長い本体の遠位先端部上に位置付けられた撮像デバイスと、
を備える、器具と、
実行可能命令を記憶している少なくとも１つのコンピュータ可読メモリと、
１つ又は２つ以上のプロセッサであって、前記少なくとも１つのコンピュータ可読メモリと通信しており、かつ前記命令を実行して、前記システムに、少なくとも、
前記撮像デバイスから、前記細長い本体が前記管腔ネットワーク内にあるときにキャプチャされた１つ又は２つ以上の画像を受信することと、
前記１つ又は２つ以上の画像の各々について、前記管腔ネットワーク内の前記細長い本体の前記遠位先端部の位置特定のための画像の信頼性を示す１つ又は２つ以上のメトリックを判定することと、
前記１つ又は２つ以上のメトリックの各々について信頼性閾値を判定することと、
対応する信頼性閾値を満たす前記画像の前記１つ又は２つ以上のメトリックの各々に応答して、前記遠位先端部の前記位置特定のために前記画像を利用することと、を行わせるように構成されている、プロセッサと、を備える、システム。
（２） 前記１つ又は２つ以上のプロセッサが、前記命令を実行して、前記システムに、少なくとも、
１つ又は２つ以上の信頼性閾値を満たす画像の機械学習モデルにアクセスすることと、
前記機械学習モデルに基づいて、前記１つ又は２つ以上のキャプチャされた画像の各々についての前記１つ又は２つ以上のメトリックが、前記対応する信頼性閾値を満たすかどうかを判定することと、を行わせるように構成されている、実施態様１に記載のシステム。
（３） 前記機械学習モデルが、（ｉ）前記対応する信頼性閾値を満たす１つ又は２つ以上のメトリックを有する画像と、（ｉｉ）前記対応する信頼性閾値を満たさない１つ又は２つ以上のメトリックを有する画像と、を区別するようにトレーニングされた畳み込みニューラルネットワークを含む、実施態様２に記載のシステム。
（４） 前記１つ又は２つ以上のメトリックが、
前記画像内のぼやけのレベルを示す第１のメトリックと、
前記画像内の鏡面ハイライトの量を示す第２のメトリックと、
前記画像内の視覚的特徴の利用可能性を示す第３のメトリックと、のうちの少なくとも１つを含む、実施態様１に記載のシステム。
（５） 前記画像の前記利用が、
第１の重み付けパラメータを前記第１のメトリックに割り当てることと、
第２の重み付けパラメータを前記第２のメトリックに割り当てることと、
第３の重み付けパラメータを前記第３のメトリックに割り当てることと、
前記第１のメトリック、前記第２のメトリック、及び前記第３のメトリックの、前記それぞれの第１の重み付けパラメータ、第２の重み付けパラメータ、及び第３の重み付けパラメータとの線形の組み合わせに基づいて、複合メトリックを判定することであって、前記複合メトリックが、前記遠位先端部の前記位置特定のための前記画像の信頼性を示す、判定することと、を含む、実施態様４に記載のシステム。
【0143】
（６） 前記１つ又は２つ以上のメトリックを判定することが、
前記画像の二次元座標に対応する画像値を特定することを含み、
各画像値が、対応する座標における色値に基づく、実施態様４に記載のシステム。
（７） 前記１つ又は２つ以上のメトリックを判定することが、
前記画像の修正画像上でラプラシアン演算子を実行して、行列を取得することと、
前記修正画像に関連付けられた前記行列の分散を判定することと、に基づいて、前記第１のメトリックを判定することを含む、実施態様６に記載のシステム。
（８） 前記１つ又は２つ以上のメトリックを判定することが、
前記画像の彩度及び明度値を判定することと、
前記画像の面積に対する彩度又は値のうちの少なくとも一方の比を判定することと、に基づいて、前記第２のメトリックを判定することを含む、実施態様６に記載のシステム。
（９） 前記第２のメトリックを判定することが、前記画像の第１の点と第２の点との間の明度値の分散を判定することを含み、前記第１の点及び前記第２の点が互いに隣接している、実施態様８に記載のシステム。
（１０） 前記第２のメトリックを判定することが、閾値彩度レベルを下回る彩度値を有する画素の数を特定することを含む、実施態様８に記載のシステム。
前記画像の二次元座標に対応する画像値を特定することを含み、
各画像値が、対応する座標における色値に基づく、実施態様４に記載のシステム。
（７） 前記１つ又は２つ以上のメトリックを判定することが、
前記画像の修正画像上でラプラシアン演算子を実行して、行列を取得することと、
前記修正画像に関連付けられた前記行列の分散を判定することと、に基づいて、前記第１のメトリックを判定することを含む、実施態様６に記載のシステム。
（８） 前記１つ又は２つ以上のメトリックを判定することが、
前記画像の彩度及び明度値を判定することと、
前記画像の面積に対する彩度又は値のうちの少なくとも一方の比を判定することと、に基づいて、前記第２のメトリックを判定することを含む、実施態様６に記載のシステム。
（９） 前記第２のメトリックを判定することが、前記画像の第１の点と第２の点との間の明度値の分散を判定することを含み、前記第１の点及び前記第２の点が互いに隣接している、実施態様８に記載のシステム。
（１０） 前記第２のメトリックを判定することが、閾値彩度レベルを下回る彩度値を有する画素の数を特定することを含む、実施態様８に記載のシステム。
【0144】
（１１） 前記１つ又は２つ以上のメトリックを判定することが、
ＳＩＦＴ、ＳＵＲＦ、ＢＲＩＥＦ、ＢＲＩＳＫ、又はＦＡＳＴのうちの少なくとも１つを使用して、前記画像内の特徴の数を特定することに基づいて、前記第３のメトリックを判定することを含む、実施態様６に記載のシステム。
（１２） 特徴の数を特定することが、前記画像内の縁又は角部のうちの少なくとも一方を特定することを含む、実施態様６に記載のシステム。
（１３） 前記画像の前記利用が、前記１つ又は２つ以上の画像の各々に信頼性係数を割り当てることを含み、前記信頼性係数が、前記１つ又は２つ以上のメトリックに基づいており、かつ前記遠位先端部の前記位置特定のための前記画像の信頼性を示す、実施態様１に記載のシステム。
（１４） 前記１つ又は２つ以上のプロセッサが、前記命令を実行して、前記システムに、前記１つ又は２つ以上のメトリックに対応する前記信頼性閾値の各々をユーザから受信させるように更に構成されている、実施態様１に記載のシステム。
（１５） 前記１つ又は２つ以上のプロセッサが、前記命令を実行して、前記システムに、前記１つ又は２つ以上のメトリックの対応する第１のメトリック及び第２のメトリックに基づいて、第２の信頼性閾値よりも高い第１の信頼性閾値を自動的に設定させるように更に構成されている、実施態様１に記載のシステム。
ＳＩＦＴ、ＳＵＲＦ、ＢＲＩＥＦ、ＢＲＩＳＫ、又はＦＡＳＴのうちの少なくとも１つを使用して、前記画像内の特徴の数を特定することに基づいて、前記第３のメトリックを判定することを含む、実施態様６に記載のシステム。
（１２） 特徴の数を特定することが、前記画像内の縁又は角部のうちの少なくとも一方を特定することを含む、実施態様６に記載のシステム。
（１３） 前記画像の前記利用が、前記１つ又は２つ以上の画像の各々に信頼性係数を割り当てることを含み、前記信頼性係数が、前記１つ又は２つ以上のメトリックに基づいており、かつ前記遠位先端部の前記位置特定のための前記画像の信頼性を示す、実施態様１に記載のシステム。
（１４） 前記１つ又は２つ以上のプロセッサが、前記命令を実行して、前記システムに、前記１つ又は２つ以上のメトリックに対応する前記信頼性閾値の各々をユーザから受信させるように更に構成されている、実施態様１に記載のシステム。
（１５） 前記１つ又は２つ以上のプロセッサが、前記命令を実行して、前記システムに、前記１つ又は２つ以上のメトリックの対応する第１のメトリック及び第２のメトリックに基づいて、第２の信頼性閾値よりも高い第１の信頼性閾値を自動的に設定させるように更に構成されている、実施態様１に記載のシステム。
【0145】
（１６） 前記１つ又は２つ以上のプロセッサが、前記命令を実行して、前記システムに、仮想画像を含む術前モデルデータにアクセスさせるように更に構成されている、実施態様１に記載のシステム。
（１７） 術前モデルデータにアクセスすることが、前記細長い本体が前記管腔ネットワーク内にあるときにキャプチャされた前記１つ又は２つ以上の画像を前記仮想画像と比較することを含む、実施態様１６に記載のシステム。
（１８） 前記１つ又は２つ以上のプロセッサが、前記命令を実行して、前記システムに、前記管腔ネットワーク内の前記細長い本体の位置を、前記細長い本体が前記管腔ネットワーク内にあるときにキャプチャされた前記１つ又は２つ以上の画像を前記仮想画像と比較することに基づいて判定させるように更に構成されている、実施態様１７に記載のシステム。
（１９） 方法であって、
細長い器具の遠位端部に位置付けられている画像デバイスを使用して、前記細長い器具が管腔ネットワーク内にあるときにキャプチャされた１つ又は２つ以上の画像を受信することと、
１つ又は２つ以上の閾値品質メトリックを満たす画像でトレーニングされた機械学習モデルにアクセスすることと、
前記機械学習モデルに基づいて、前記１つ又は２つ以上の画像が前記１つ又は２つ以上の閾値品質メトリックを満たすかどうかを判定することと、を含む、方法。
（２０） 前記機械学習モデルに基づいて、前記管腔ネットワーク内の前記細長い器具の前記遠位端部の位置特定のための画像の信頼性を示す１つ又は２つ以上の品質メトリックを判定することを更に含む、実施態様１９に記載の方法。
（１７） 術前モデルデータにアクセスすることが、前記細長い本体が前記管腔ネットワーク内にあるときにキャプチャされた前記１つ又は２つ以上の画像を前記仮想画像と比較することを含む、実施態様１６に記載のシステム。
（１８） 前記１つ又は２つ以上のプロセッサが、前記命令を実行して、前記システムに、前記管腔ネットワーク内の前記細長い本体の位置を、前記細長い本体が前記管腔ネットワーク内にあるときにキャプチャされた前記１つ又は２つ以上の画像を前記仮想画像と比較することに基づいて判定させるように更に構成されている、実施態様１７に記載のシステム。
（１９） 方法であって、
細長い器具の遠位端部に位置付けられている画像デバイスを使用して、前記細長い器具が管腔ネットワーク内にあるときにキャプチャされた１つ又は２つ以上の画像を受信することと、
１つ又は２つ以上の閾値品質メトリックを満たす画像でトレーニングされた機械学習モデルにアクセスすることと、
前記機械学習モデルに基づいて、前記１つ又は２つ以上の画像が前記１つ又は２つ以上の閾値品質メトリックを満たすかどうかを判定することと、を含む、方法。
（２０） 前記機械学習モデルに基づいて、前記管腔ネットワーク内の前記細長い器具の前記遠位端部の位置特定のための画像の信頼性を示す１つ又は２つ以上の品質メトリックを判定することを更に含む、実施態様１９に記載の方法。
【0146】
（２１） 前記１つ又は２つ以上の閾値品質メトリックを判定することを更に含む、実施態様１９に記載の方法。
（２２） 前記画像の前記１つ又は２つ以上の品質メトリックのうちの少なくとも１つが前記対応する１つ又は２つ以上の閾値品質メトリックを満たすことができないという判定に応答して、前記遠位端部の前記位置特定に使用されることから前記画像をフィルタリングすることを更に含む、実施態様１９に記載の方法。
（２３） 前記管腔ネットワーク内の前記細長い器具の位置を判定することを更に含む、実施態様１９に記載の方法。
（２４） 前記管腔ネットワーク内の前記細長い器具の前記位置を判定することが、前記１つ又は２つ以上のキャプチャされた画像を管腔ネットワークの術前画像と比較することを含む、実施態様２３に記載の方法。
（２５） 前記術前画像が、コンピュータ生成画像を含む、実施態様２４に記載の方法。
（２２） 前記画像の前記１つ又は２つ以上の品質メトリックのうちの少なくとも１つが前記対応する１つ又は２つ以上の閾値品質メトリックを満たすことができないという判定に応答して、前記遠位端部の前記位置特定に使用されることから前記画像をフィルタリングすることを更に含む、実施態様１９に記載の方法。
（２３） 前記管腔ネットワーク内の前記細長い器具の位置を判定することを更に含む、実施態様１９に記載の方法。
（２４） 前記管腔ネットワーク内の前記細長い器具の前記位置を判定することが、前記１つ又は２つ以上のキャプチャされた画像を管腔ネットワークの術前画像と比較することを含む、実施態様２３に記載の方法。
（２５） 前記術前画像が、コンピュータ生成画像を含む、実施態様２４に記載の方法。
【0147】
（２６） 前記術前画像が、コンピュータ断層撮影（ＣＴ）スキャンから得られた画像を含む、実施態様２４に記載の方法。
（２７） システムであって、
器具であって、
管腔ネットワークに挿入されるように構成された細長い本体と、
前記細長い本体の遠位先端部上に位置付けられている撮像デバイスと、
を備える、器具と、
実行可能命令を記憶している少なくとも１つのコンピュータ可読メモリと、
１つ又は２つ以上のプロセッサであって、前記少なくとも１つのコンピュータ可読メモリと通信しており、かつ前記命令を実行して、前記システムに、少なくとも、
前記撮像デバイスから、前記細長い本体が前記管腔ネットワーク内にあるときにキャプチャされた１つ又は２つ以上の画像を受信することと、
前記１つ又は２つ以上の画像の各々について、前記管腔ネットワーク内の前記細長い本体の前記遠位先端部の位置特定のための画像の信頼性を示す１つ又は２つ以上のメトリックを判定することであって、前記１つ又は２つ以上のメトリックが、前記画像内のぼやけのレベルを示す少なくとも第１のメトリックを含む、判定することと、
前記１つ又は２つ以上のメトリックの各々について信頼性閾値を判定することと、
対応する信頼性閾値を満たす前記画像の前記１つ又は２つ以上のメトリックの各々に応答して、前記遠位先端部の前記位置特定のために前記画像を利用することと、を行わせるように構成されている、プロセッサと、を備える、システム。
（２７） システムであって、
器具であって、
管腔ネットワークに挿入されるように構成された細長い本体と、
前記細長い本体の遠位先端部上に位置付けられている撮像デバイスと、
を備える、器具と、
実行可能命令を記憶している少なくとも１つのコンピュータ可読メモリと、
１つ又は２つ以上のプロセッサであって、前記少なくとも１つのコンピュータ可読メモリと通信しており、かつ前記命令を実行して、前記システムに、少なくとも、
前記撮像デバイスから、前記細長い本体が前記管腔ネットワーク内にあるときにキャプチャされた１つ又は２つ以上の画像を受信することと、
前記１つ又は２つ以上の画像の各々について、前記管腔ネットワーク内の前記細長い本体の前記遠位先端部の位置特定のための画像の信頼性を示す１つ又は２つ以上のメトリックを判定することであって、前記１つ又は２つ以上のメトリックが、前記画像内のぼやけのレベルを示す少なくとも第１のメトリックを含む、判定することと、
前記１つ又は２つ以上のメトリックの各々について信頼性閾値を判定することと、
対応する信頼性閾値を満たす前記画像の前記１つ又は２つ以上のメトリックの各々に応答して、前記遠位先端部の前記位置特定のために前記画像を利用することと、を行わせるように構成されている、プロセッサと、を備える、システム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】