(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023061921
(43)【公開日】2023-05-02
(54)【発明の名称】内視鏡検査における自動位置決めおよび力調整
(51)【国際特許分類】
A61B 1/01 20060101AFI20230425BHJP
A61B 1/00 20060101ALI20230425BHJP
A61B 1/045 20060101ALI20230425BHJP
A61B 1/273 20060101ALI20230425BHJP
A61B 6/00 20060101ALI20230425BHJP
A61B 34/20 20160101ALI20230425BHJP
A61B 34/30 20160101ALI20230425BHJP
【ＦＩ】
A61B1/01
A61B1/00 552
A61B1/045 614
A61B1/045 623
A61B1/273
A61B1/00 655
A61B6/00 331A
A61B6/00 370
A61B6/00 350D
A61B34/20
A61B34/30
【審査請求】未請求
【請求項の数】24
【出願形態】ＯＬ
(21)【出願番号】P 2022168469
(22)【出願日】2022-10-20
(31)【優先権主張番号】63/262,794
(32)【優先日】2021-10-20
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/263,732
(32)【優先日】2021-11-08
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/363,446
(32)【優先日】2022-04-22
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】000000376
【氏名又は名称】オリンパス株式会社
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100139686
【弁理士】
【氏名又は名称】鈴木 史朗
(74)【代理人】
【識別番号】100147267
【弁理士】
【氏名又は名称】大槻 真紀子
(74)【代理人】
【識別番号】100207789
【弁理士】
【氏名又は名称】石田 良平
(72)【発明者】
【氏名】美濃 宏行
(72)【発明者】
【氏名】堀尾 大和
(72)【発明者】
【氏名】坂口 誠一郎
(72)【発明者】
【氏名】石掛 真人
【テーマコード（参考）】
4C093
4C161
【Ｆターム（参考）】
4C093AA01
4C093AA24
4C093CA16
4C093DA01
4C093FF17
4C161AA01
4C161AA06
4C161BB03
4C161BB08
4C161HH55
4C161WW02
4C161YY12
(57)【要約】
【課題】ロボット支援内視鏡処置におけるカニューレ挿入および内視鏡ナビゲーションおよび自動撮像スキャン制御のためのシステム、デバイス、および方法を提供する。
【解決手段】標的解剖学的構造内で操縦可能な細長い器具をロボット操作し、標的解剖学的構造の撮像スキャンを制御するためのシステム、デバイス、および方法が開示される。内視鏡システムは、標的解剖学的構造内でロボットによって位置決めされナビゲートされる操縦可能な細長い器具と、標的解剖学的構造の内視鏡画像を含む患者情報を受信し、内視鏡画像を少なくとも１つの訓練済み機械学習（ＭＬ）モデルに適用して、標的解剖学的構造を認識し、造影剤投与および撮像スキャンのための１つまたは複数の造影およびスキャンパラメータの値を推定するコントローラと、を備える。
【選択図】図１
【解決手段】標的解剖学的構造内で操縦可能な細長い器具をロボット操作し、標的解剖学的構造の撮像スキャンを制御するためのシステム、デバイス、および方法が開示される。内視鏡システムは、標的解剖学的構造内でロボットによって位置決めされナビゲートされる操縦可能な細長い器具と、標的解剖学的構造の内視鏡画像を含む患者情報を受信し、内視鏡画像を少なくとも１つの訓練済み機械学習（ＭＬ）モデルに適用して、標的解剖学的構造を認識し、造影剤投与および撮像スキャンのための１つまたは複数の造影およびスキャンパラメータの値を推定するコントローラと、を備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
患者の標的解剖学的構造内に位置決めされナビゲートされるように構成された操縦可能な細長い器具と、
前記標的解剖学的構造の画像を含む患者情報を受信し、
前記標的解剖学的構造の前記画像を少なくとも１つの訓練済み機械学習モデル（訓練済みＭＬモデル）に適用して、前記標的解剖学的構造を認識し、前記標的解剖学的構造の撮像スキャンのための１つまたは複数の造影およびスキャンパラメータを推定し、
前記推定された１つまたは複数の造影およびスキャンパラメータをユーザまたはプロセスに提供する
ように構成されたコントローラ回路と、
を備える、内視鏡システム。
前記標的解剖学的構造の画像を含む患者情報を受信し、
前記標的解剖学的構造の前記画像を少なくとも１つの訓練済み機械学習モデル（訓練済みＭＬモデル）に適用して、前記標的解剖学的構造を認識し、前記標的解剖学的構造の撮像スキャンのための１つまたは複数の造影およびスキャンパラメータを推定し、
前記推定された１つまたは複数の造影およびスキャンパラメータをユーザまたはプロセスに提供する
ように構成されたコントローラ回路と、
を備える、内視鏡システム。
【請求項2】
前記標的解剖学的構造の受信画像が、内視鏡画像を含む、請求項１に記載の内視鏡システム。
【請求項3】
前記少なくとも１つの訓練済みＭＬモデルが、第１の訓練済みＭＬモデルと、前記第１の訓練済みＭＬモデルとは異なる第２の訓練済みＭＬモデルと、を含み、
前記コントローラ回路が、前記標的解剖学的構造の前記画像を前記第１の訓練済みＭＬモデルに適用して、前記標的解剖学的構造を認識し、かつ前記標的解剖学的構造の前記画像を前記第２の訓練済みＭＬモデルに適用して、前記標的解剖学的構造の前記撮像スキャンのための前記１つまたは複数の造影およびスキャンパラメータを推定するように構成される、請求項１または２に記載の内視鏡システム。
前記コントローラ回路が、前記標的解剖学的構造の前記画像を前記第１の訓練済みＭＬモデルに適用して、前記標的解剖学的構造を認識し、かつ前記標的解剖学的構造の前記画像を前記第２の訓練済みＭＬモデルに適用して、前記標的解剖学的構造の前記撮像スキャンのための前記１つまたは複数の造影およびスキャンパラメータを推定するように構成される、請求項１または２に記載の内視鏡システム。
【請求項4】
前記コントローラ回路が、制御信号をアクチュエータに提供して、（ｉ）前記操縦可能な細長い器具を介した造影剤の投与、または（ｉｉ）前記推定された１つもしくは複数の造影およびスキャンパラメータにしたがって前記標的解剖学的構造の撮像をロボットで容易にするようにさらに構成される、請求項１または２に記載の内視鏡システム。
【請求項5】
前記操縦可能な細長い器具が、内視鏡または操縦可能な注入デバイスを含み、前記推定された１つまたは複数の造影およびスキャンパラメータが、造影剤パラメータを含み、
前記コントローラ回路が、前記制御信号を前記アクチュエータに提供して、前記操縦可能な細長い器具の動作をロボットで容易にして、前記造影剤パラメータにしたがって前記造影剤を投与するように構成される、
請求項４に記載の内視鏡システム。
前記コントローラ回路が、前記制御信号を前記アクチュエータに提供して、前記操縦可能な細長い器具の動作をロボットで容易にして、前記造影剤パラメータにしたがって前記造影剤を投与するように構成される、
請求項４に記載の内視鏡システム。
【請求項6】
前記造影剤パラメータが、前記造影剤の体積、流速、または注入期間のうちの１つまたは複数を含む、請求項５に記載の内視鏡システム。
【請求項7】
前記標的解剖学的構造が、前記患者の膵胆道系の一部を含み、前記造影剤パラメータが、前記膵胆道系の造影剤注入部位を含む、請求項５に記載の内視鏡システム。
【請求項8】
前記推定された１つまたは複数の造影およびスキャンパラメータが、前記標的解剖学的構造を撮像するためのスキャンパラメータを含み、
前記コントローラ回路が、前記制御信号を前記アクチュエータに提供して、撮像デバイスの動作をロボットで容易にして、前記スキャンパラメータにしたがって前記標的解剖学的構造の撮像スキャンを行うように構成される、
請求項４に記載の内視鏡システム。
前記コントローラ回路が、前記制御信号を前記アクチュエータに提供して、撮像デバイスの動作をロボットで容易にして、前記スキャンパラメータにしたがって前記標的解剖学的構造の撮像スキャンを行うように構成される、
請求項４に記載の内視鏡システム。
【請求項9】
前記スキャンパラメータが、前記造影剤の前記投与に関するスキャンタイミング、スキャン期間、スキャン方向、またはスキャン遅延のうちの１つまたは複数を含む、請求項８に記載の内視鏡システム。
【請求項10】
前記標的解剖学的構造が、前記患者の膵胆道系の一部を含み、
前記コントローラ回路が、前記標的解剖学的構造の前記画像を前記訓練済みＭＬモデルに適用して、前記膵胆道系における狭窄を認識するように構成される、
請求項１または２に記載の内視鏡システム。
前記コントローラ回路が、前記標的解剖学的構造の前記画像を前記訓練済みＭＬモデルに適用して、前記膵胆道系における狭窄を認識するように構成される、
請求項１または２に記載の内視鏡システム。
【請求項11】
複数の患者に対する過去の内視鏡処置からの処置データを含む訓練データセットを使用して、ＭＬモデルを訓練するように構成された訓練モジュールを含み、前記処置データが、（ｉ）前記複数の患者の標的解剖学的構造の内視鏡画像と、（ｉｉ）前記内視鏡画像を生成するために使用されるそれぞれの造影およびスキャンパラメータの評価と、を含む、請求項１または２に記載の内視鏡システム。
【請求項12】
前記訓練モジュールが、教師あり学習または深層学習を使用して、前記ＭＬモデルを訓練するように構成される、請求項１１に記載の内視鏡システム。
【請求項13】
前記コントローラ回路が、造影剤の粘度情報をさらに使用して、前記１つまたは複数の造影およびスキャンパラメータを推定するように構成される、請求項１または２に記載の内視鏡システム。
【請求項14】
前記推定された１つまたは複数の造影およびスキャンパラメータをユーザに提示して、前記ユーザが造影剤を投与すること、または前記標的解剖学的構造を撮像することを支援するように構成された出力ユニットを備える、請求項１または２に記載の内視鏡システム。
【請求項15】
標的解剖学的構造内で操縦可能な細長い器具をロボット操作し、内視鏡システムを介して前記標的解剖学的構造の撮像スキャンを制御する方法であって、
前記標的解剖学的構造の画像を含む患者情報を提供するステップと、
前記標的解剖学的構造の画像を少なくとも１つの訓練済み機械学習（ＭＬ）モデルに適用し、前記標的解剖学的構造を認識し、前記標的解剖学的構造の撮像スキャンのための１つまたは複数の造影およびスキャンパラメータを推定するステップと、
前記推定された１つまたは複数の造影およびスキャンパラメータをユーザまたはプロセスに提供するステップと、
を含む、方法。
前記標的解剖学的構造の画像を含む患者情報を提供するステップと、
前記標的解剖学的構造の画像を少なくとも１つの訓練済み機械学習（ＭＬ）モデルに適用し、前記標的解剖学的構造を認識し、前記標的解剖学的構造の撮像スキャンのための１つまたは複数の造影およびスキャンパラメータを推定するステップと、
前記推定された１つまたは複数の造影およびスキャンパラメータをユーザまたはプロセスに提供するステップと、
を含む、方法。
【請求項16】
前記標的解剖学的構造画像を少なくとも１つの訓練済みＭＬモデルに適用するステップが、
前記標的解剖学的構造の前記画像を第１の訓練済みＭＬモデルに適用して、前記標的解剖学的構造を認識するステップと、
前記標的解剖学的構造の前記画像を第２の訓練済みＭＬモデルに適用して、前記標的解剖学的構造の前記撮像スキャンのための前記１つまたは複数の造影およびスキャンパラメータを推定するステップであって、前記第２の訓練済みＭＬモデルが、前記第１の訓練済みＭＬモデルとは異なる、ステップと、
を含む、請求項１５に記載の方法。
前記標的解剖学的構造の前記画像を第１の訓練済みＭＬモデルに適用して、前記標的解剖学的構造を認識するステップと、
前記標的解剖学的構造の前記画像を第２の訓練済みＭＬモデルに適用して、前記標的解剖学的構造の前記撮像スキャンのための前記１つまたは複数の造影およびスキャンパラメータを推定するステップであって、前記第２の訓練済みＭＬモデルが、前記第１の訓練済みＭＬモデルとは異なる、ステップと、
を含む、請求項１５に記載の方法。
【請求項17】
制御信号をアクチュエータに提供して、（ｉ）前記操縦可能な細長い器具を介した造影剤の投与、または（ｉｉ）前記推定された１つもしくは複数の造影およびスキャンパラメータにしたがって前記標的解剖学的構造の撮像をロボットで容易にするステップをさらに含む、請求項１５または１６に記載の方法。
【請求項18】
前記推定された１つまたは複数の造影およびスキャンパラメータが、造影剤を投与するための造影剤パラメータを含み、
前記制御信号が、前記アクチュエータに提供されて、前記操縦可能な細長い器具の動作をロボットで容易にして、前記造影剤パラメータにしたがって前記造影剤を投与する、
請求項１７に記載の方法。
前記制御信号が、前記アクチュエータに提供されて、前記操縦可能な細長い器具の動作をロボットで容易にして、前記造影剤パラメータにしたがって前記造影剤を投与する、
請求項１７に記載の方法。
【請求項19】
前記造影剤パラメータが、前記造影剤の体積、流速、または注入期間のうちの１つまたは複数を含む、請求項１８に記載の方法。
【請求項20】
前記標的解剖学的構造が、患者の膵胆道系の一部を含み、前記造影剤パラメータが、前記膵胆道系の造影剤注入部位を含む、請求項１８に記載の方法。
【請求項21】
前記推定された１つまたは複数の造影およびスキャンパラメータが、前記標的解剖学的構造を撮像するためのスキャンパラメータを含み、
前記制御信号が、前記アクチュエータに提供されて、撮像デバイスの動作をロボットで容易にして、前記スキャンパラメータにしたがって前記標的解剖学的構造の撮像スキャンを行う、
請求項１７に記載の方法。
前記制御信号が、前記アクチュエータに提供されて、撮像デバイスの動作をロボットで容易にして、前記スキャンパラメータにしたがって前記標的解剖学的構造の撮像スキャンを行う、
請求項１７に記載の方法。
【請求項22】
前記スキャンパラメータが、前記造影剤の前記投与に関するスキャンタイミング、スキャン期間、スキャン方向、またはスキャン遅延のうちの１つまたは複数を含む、請求項２１に記載の方法。
【請求項23】
複数の患者の保管された内視鏡処置データを含む訓練データセットを使用して、前記内視鏡システムの訓練モジュールを介して、ＭＬモデルを訓練するステップを含み、前記保管されたデータが、（ｉ）前記複数の患者の標的解剖学的構造の内視鏡画像と、（ｉｉ）前記内視鏡画像を生成するために使用されるそれぞれの造影およびスキャンパラメータの評価と、を含む、請求項１５または１６に記載の方法。
【請求項24】
前記推定された１つまたは複数の造影およびスキャンパラメータを出力ユニットを介してユーザに提示して、前記ユーザが造影剤を投与すること、または前記標的解剖学的構造を撮像することを支援するステップを含む、請求項１５または１６に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、２０２１年１０月２０日に出願された米国仮特許出願第６３／２６２，７９４号、２０２１年１１月８日に出願された米国仮特許出願第６３／２６３，７３２号、および２０２２年４月２２日に出願された米国仮特許出願第６３／３６３，４４６号に基づいており、それらの優先権の利益を主張し、それらの内容全体が参照により本明細書に組み込まれる。
本出願は、２０２１年１０月２０日に出願された米国仮特許出願第６３／２６２，７９４号、２０２１年１１月８日に出願された米国仮特許出願第６３／２６３，７３２号、および２０２２年４月２２日に出願された米国仮特許出願第６３／３６３，４４６号に基づいており、それらの優先権の利益を主張し、それらの内容全体が参照により本明細書に組み込まれる。
【0002】
本明細書は、一般に、内視鏡システムに関し、より詳細には、内視鏡処置においてカニューレ挿入または内視鏡ナビゲーションおよび撮像スキャンを自動的に調整するためのロボット内視鏡システムおよび技術に関する。
【背景技術】
【0003】
内視鏡は、例えば、他の処置の中でも、１つまたは複数の疾患状態の照明、撮像、検出、および診断、解剖学的領域に向けて流体送達（例えば、流体チャネルを介した生理食塩水または他の調製物）の提供、解剖学的領域をサンプリングまたは治療するための１つまたは複数の治療デバイスまたは生体物質収集デバイスの（例えば、作業チャネルを介した）通路の提供、ならびに流体（例えば、生理食塩水または他の調製物）を収集するための吸引通路の提供を含む、様々な臨床処置において使用されてきた。
そのような解剖学的領域の例としては、胃腸管（例えば、食道、胃、十二指腸、膵胆管、腸、結腸など）、腎臓領域（例えば、腎臓、尿管、膀胱、尿道）、および他の内臓（例えば、生殖器系、副鼻腔、粘膜下領域、気道）などを挙げることができる。
そのような解剖学的領域の例としては、胃腸管（例えば、食道、胃、十二指腸、膵胆管、腸、結腸など）、腎臓領域（例えば、腎臓、尿管、膀胱、尿道）、および他の内臓（例えば、生殖器系、副鼻腔、粘膜下領域、気道）などを挙げることができる。
【0004】
従来の内視鏡検査では、内視鏡の遠位部分は、エレベータを使用するなどして治療デバイスを支持および配向するように構成することができる。いくつかのシステムでは、２つの内視鏡は、エレベータの助けを借りてその中に挿入された第２の内視鏡を誘導する第１の内視鏡と協働することができる。そのようなシステムは、到達するのが困難な体内の解剖学的場所に内視鏡を誘導するのに役立ち得る。例えば、いくつかの解剖学的場所は、遠回しの経路を通って挿入された後に内視鏡でのみアクセスできる。
【0005】
経口胆管鏡検査は、十二指腸内視鏡の付属ポートを通して挿入された小型内視鏡およびカテーテルを使用して、患者の胆道および膵管系の様々な障害の直接内視鏡による視覚化、診断、および治療を可能にする技術である。経口胆管鏡検査は、内視鏡的逆行性胆管膵管造影（ＥＲＣＰ）処置で使用されるように、十二指腸内視鏡の付属チャネルを通して進められる専用胆管鏡を使用して実行できる。ＥＲＣＰは、内視鏡検査と蛍光透視法とを組み合わせて、肝臓、胆嚢、胆管、膵臓、または膵管を含む胆道または膵管系の特定の問題を診断および治療する技術である。ＥＲＣＰでは、胆管鏡（補助スコープまたは「ドーター」スコープとも呼ばれる）を十二指腸内視鏡（メインスコープまたは「マザー」スコープとも呼ばれる）の作業チャネルに取り付け、それを通って前進させることができる。典型的には、２人の別々の内視鏡医が「マザードーター」スコープのそれぞれを操作する。胆道カニューレ挿入は胆管鏡の先端で直接行うことができるが、ほとんどの内視鏡医は、ガイドワイヤよりもカニューレ挿入を好む。組織回収デバイスを、胆管鏡を通して挿入して、生体物質（例えば、胆石、胆管結石、癌性組織）を回収し、または胆管の狭窄もしくは閉塞を管理することができる。
【0006】
経口胆管鏡検査はまた、直接経口胆管鏡検査（ＤＰＯＣ）処置などで、小径専用内視鏡を胆管に直接挿入することによって実行することができる。ＤＰＯＣでは、細型内視鏡（胆管鏡）を患者の口に挿入し、上部消化管を通過して総胆管に入れ、胆道系および膵管系の障害の視覚化、診断、および治療を行うことができる。
【発明の概要】
【発明が解決しようとする課題】
【0007】
操縦可能な器具（例えば、内視鏡、カテーテル、またはカニューレ）の正確な位置決めおよびナビゲーションは、ＥＲＣＰおよびＤＰＯＣのような内視鏡処置を成功させるために重要である。従来、手術医は、内視鏡画像および蛍光透視法画像ならびにそれらの経験に基づいて、内視鏡または他の器具を手動で位置決めし、ナビゲートする。場合によっては、特に処置を受ける患者が外科的に変更された、またはそうでなければ困難な解剖学的構造を有する場合、これは経験の浅い医師にとって困難であり得る。
【課題を解決するための手段】
【0008】
本開示は、サンプル生体物質の診断および回収に使用される十二指腸内視鏡などの従来の内視鏡で解決されるべきいくつかの技術的問題を認識する。そのような問題の１つは、内視鏡および内視鏡に挿入された器具を、患者の体内の深部の解剖学的領域の場所までナビゲートすることがますます困難になることである。例えば、ＥＲＣＰ処置では、十二指腸内視鏡、胆管鏡、および組織回収デバイスが、次第に小さくなる管腔に順次挿入されるため、次第に小さくなるので、患者の解剖学的構造を通して内視鏡を操作およびナビゲートし、内視鏡の安定性を維持し、狭いスペース（例えば、胆管）で正しいカニューレ挿入位置を維持することがより困難になっている。また、スコープエレベータの自由度が制限されているため、適切なカニューレ挿入角度を維持することも困難であり得る。カニューレ挿入および内視鏡ナビゲーションは、高度な外科技術および手先の器用さが必要であり、これは、経験の浅い手術医（例えば、外科医または内視鏡医）にとって特に困難であり得る。
【0009】
従来の内視鏡検査における別の課題は、患者の解剖学的構造、特に外科的に変更された、またはそうでなければ困難な解剖学的構造を有する患者の高度なばらつきである。例えば、ＥＲＣＰ処置では、一部の患者は、消化管または膵胆道系（例えば、膨大部）の一部の解剖学的構造を変更している場合がある。一部の患者では、膵臓の前方の狭窄は、胃および十二指腸の一部を圧迫する場合があり、圧迫された十二指腸の制限された管腔内で十二指腸内視鏡をナビゲートすること、および十二指腸乳頭（膵管および胆管（ファーター膨大部）の拡張接合部が十二指腸に入る点）に到達するように胆管鏡をナビゲートすることを困難にする。別の例では、一部の患者は、乳頭の解剖学的構造が交互になっている。十二指腸内で安定するように設計された十二指腸内視鏡では、外科的に変更された解剖学的構造で十二指腸乳頭に到達することがより困難な場合がある。従来の内視鏡システムは、一般に、患者固有の解剖学的構造に基づいてカニューレ挿入および内視鏡ナビゲーション誘導を提供する機能を欠いている。
【0010】
従来の内視鏡システムは、一般に、処置中の自動内視鏡位置決めならびに力および動きの調整の機能を欠いている。手術医は、リアルタイムの内視鏡画像および蛍光透視法画像ならびにそれらの経験に基づいて、内視鏡を手動で位置決めし、ナビゲートする。これは、一般に、長年にわたる広範な訓練および経験が必要であり、上述したように、経験の浅い医師にとって、特に困難なまたは外科的に変更された解剖学的構造を有する患者では困難な場合がある。手動による内視鏡の操作はまた、手術医（例えば、外科医または内視鏡医）が通常、処置全体を通して内視鏡を保持しなければならないため、労働集約的であり得る。手の振戦は、内視鏡の位置決めおよびナビゲーションの精度を低下させ、内視鏡の視野を不安定にする場合がある。これにより、処置の正確さ、効率、および成功率が低下する場合がある。
【0011】
ＥＲＣＰなどのいくつかの内視鏡処置は、蛍光透視法が本質的に必要であり、特徴として、標準的なＸ線撮影と、急速に変化する放射線被曝レベルを利用するＸ線映画撮影との両方を含む。少量の放射線を受けた患者は、すぐに徴候または症状を経験しない場合があるが、処置中の過剰な放射線被曝は、潜在的な発がん作用のために大きな懸念事項である。ＥＲＣＰなどの現在の画像誘導内視鏡処置では、蛍光透視時間は多くの場合、操作者の好みに応じて操作者によって管理される。ＥＲＣＰなどの処置中の放射線被曝を自動的かつ効果的に低減する必要性が満たされていない。
【0012】
蛍光透視法は、典型的には、研究対象の臓器または構造の視覚化を向上し、患者への放射線被曝を最小限に抑えるために、放射線不透過性造影剤の投与を伴う。一部の患者では、造影剤の投与により、有害作用、例えば造影剤誘発性急性腎障害のリスクが生じる場合がある。腎毒性の発生率を低減するために、利用する造影剤の量は可能な限り最小限に抑え、計算された最大許容造影剤投与量を超えてはならない。臨床的には、通常の生理食塩水による水分補給は、腎毒性のリスクがあるほとんどの患者にとって好適な戦略である。一方、ＥＲＣＰなどの処置では、解剖学的部位が制限されて、または限られているため、胆管への造影剤の注入が困難な場合がある。造影剤の適切な量（体積）、流速、注入期間、および注入部位の決定を含む自動造影剤投与は、蛍光透視法下で適切な視覚化を確保しながら、造影剤誘発性有害作用のリスクを低減するのに役立ち得る。
【0013】
本開示は、ロボット支援内視鏡処置におけるカニューレ挿入および内視鏡ナビゲーションおよび自動撮像スキャン制御のためのシステム、デバイス、および方法を提供することによって、これらおよび他の問題を解決するのに役立ち得る。自動カニューレ挿入および内視鏡ナビゲーションは、人工知能（ＡＩ）プラットフォームを使用して行うことができる。一例によれば、内視鏡システムは、内視鏡システムは、ロボットアームに含まれるようなアクチュエータを介して、患者の標的解剖学的構造内にロボットで位置決めされナビゲートされるように構成された操縦可能な細長い器具を備える。システムは、標的解剖学的構造の画像を含む患者情報を受信し、標的解剖学的構造画像を（任意選択的に、他の患者およびデバイス情報と一緒に）少なくとも１つの訓練済み機械学習（ＭＬ）モデルに適用して、標的解剖学的構造を認識し、１つまたは複数のカニューレ挿入またはナビゲーションパラメータの値（例えば、力、角度など）を推定するためのコントローラを備える。コントローラは、制御信号をアクチュエータに提供して、カニューレ挿入またはナビゲーションパラメータの推定値にしたがって、標的解剖学的構造内での操縦可能な細長い器具の動作（例えば、位置決めまたはナビゲーション）をロボットで容易にすることができる。さらに、アクチュエータの動作は、処置中に取得された患者の解剖学的構造の情報（例えば、撮像データ）に基づいて操縦可能な細長い器具をナビゲートするようにリアルタイムで調整され得る。
【0014】
別の例によれば、内視鏡システムは、患者の標的解剖学的構造内に位置決めされナビゲートされるように構成された操縦可能な細長い器具と、コントローラ回路と、を備える。コントローラ回路は、標的解剖学的構造の画像を含む患者情報を受信し、標的解剖学的構造の画像を少なくとも１つの訓練済み機械学習（ＭＬ）モデルに適用して、標的解剖学的構造を認識し、１つもしくは複数の造影剤パラメータ（例えば、造影剤の体積、流速、または注入期間）、または１つもしくは複数のスキャンパラメータ（例えば、造影剤の投与に関するスキャンタイミング、スキャン期間、スキャン方向、またはスキャン遅延）を推定するように構成することができる。コントローラ回路は、推定された１つまたは複数の造影およびスキャンパラメータをユーザまたはプロセスに提供することができる。一例では、コントローラは、制御信号をアクチュエータに提供して、操縦可能な細長い器具を介した造影剤の投与、または推定された１つもしくは複数の造影およびスキャンパラメータにしたがって標的解剖学的構造の撮像をロボットで容易にすることができる。
【0015】
本開示で説明するＡＩベースの自動位置決めおよびナビゲーションシステムは、標的解剖学的構造認識（例えば、十二指腸乳頭および管系）ならびに内視鏡ナビゲーションの正確さおよび効率（例えば、十二指腸乳頭へのナビゲート、タイトな狭窄、または肝門の通過など）を改善でき、正しいカニューレの位置および内視鏡の安定性を維持するのに役立ち得る。内視鏡処置の自動化を強化することで、医師の手動による手術計画の負担を軽減し、手術医（例えば、外科医または内視鏡医）の経験および器用さの違いによる処置結果のばらつきを低減し、内視鏡処置の予後の予測可能性を改善するのに役立ち得る。造影およびスキャンパラメータのＡＩベースの決定または調整は、ＥＲＣＰなどの画像誘導内視鏡処置中の放射線被曝を低減するのに役立ち得る。手動の処置と比較して、本明細書で説明するロボティクスおよびＡＩベースの位置決めおよびナビゲーションは、医師の疲労を軽減し、手の震えを防ぎ、処置の効率、正確さ、患者の安全性、および全体的な内視鏡処置の成功率を向上させることができる。
【0016】
実施例１は、患者の標的解剖学的構造内に位置決めされナビゲートされるように構成された操縦可能な細長い器具と、標的解剖学的構造の画像を含む患者情報を受信し、標的解剖学的構造の画像を少なくとも１つの訓練済み機械学習（ＭＬ）モデルに適用して、標的解剖学的構造を認識し、標的解剖学的構造の撮像スキャンのための１つまたは複数の造影およびスキャンパラメータを推定し、推定された１つまたは複数の造影およびスキャンパラメータをユーザまたはプロセスに提供するように構成されたコントローラ回路と、を備える、内視鏡システムである。
【0017】
実施例２では、実施例１の主題は、任意選択的に、内視鏡画像を含み得る標的解剖学的構造の受信画像を含む。
【0018】
実施例３では、実施例１または２のいずれか１つまたは複数の主題は、任意選択的に、第１の訓練済みＭＬモデルと、第１の訓練済みＭＬモデルとは異なる第２の訓練済みＭＬモデルと、を含み得る、少なくとも１つの訓練済みＭＬモデル、ならびに標的解剖学的構造の画像を第１の訓練済みＭＬモデルに適用して、標的解剖学的構造を認識し、かつ標的解剖学的構造の画像を第２の訓練済みＭＬモデルに適用して、標的解剖学的構造の撮像スキャンのための１つまたは複数の造影およびスキャンパラメータを推定するように構成され得る、コントローラ回路を含む。
【0019】
実施例４では、実施例１から３のいずれか１つまたは複数の主題は、任意選択的に、制御信号をアクチュエータに提供して、（ｉ）操縦可能な細長い器具を介した造影剤の投与、または（ｉｉ）推定された１つもしくは複数の造影およびスキャンパラメータにしたがって標的解剖学的構造の撮像をロボットで容易にするようにさらに構成され得る、コントローラ回路を含む。
【0020】
実施例５では、実施例４の主題は、任意選択的に、内視鏡または操縦可能な注入デバイスを含み得る、操縦可能な細長い器具と、造影剤パラメータを含み得る、推定された１つまたは複数の造影およびスキャンパラメータと、制御信号をアクチュエータに提供して、操縦可能な細長い器具の動作をロボットで容易にして、造影剤パラメータにしたがって造影剤を投与するように構成され得る、コントローラ回路と、を含む。
【0021】
実施例６では、実施例５の主題は、任意選択的に、造影剤の体積、流速、または注入期間のうちの１つまたは複数を含み得る、造影剤パラメータを含む。
【0022】
実施例７では、実施例５または６のいずれか１つまたは複数の主題は、任意選択的に、患者の膵胆道系の一部を含み得る、標的解剖学的構造と、膵胆道系の造影剤注入部位を含み得る、造影剤パラメータと、を含む。
【0023】
実施例８では、実施例４から７のいずれか１つまたは複数の主題は、任意選択的に、標的解剖学的構造を撮像するためのスキャンパラメータを含み得る、推定された１つまたは複数の造影およびスキャンパラメータと、制御信号をアクチュエータに提供して、撮像デバイスの動作をロボットで容易にして、スキャンパラメータにしたがって標的解剖学的構造の撮像スキャンを行うように構成され得る、コントローラ回路と、を含む。
【0024】
実施例９では、実施例８の主題は、任意選択的に、造影剤の投与に関するスキャンタイミング、スキャン期間、スキャン方向、またはスキャン遅延のうちの１つまたは複数を含み得る、スキャンパラメータを含む。
【0025】
実施例１０では、実施例１から９のいずれか１つまたは複数の主題は、任意選択的に、患者の膵胆道系の一部を含み得る、標的解剖学的構造と、標的解剖学的構造の画像を訓練済みＭＬモデルに適用して、膵胆道系における狭窄を認識するように構成され得る、コントローラ回路と、を含む。
【0026】
実施例１１では、実施例１から１０のいずれか１つまたは複数の主題は、任意選択的に、複数の患者に対する過去の内視鏡処置からの処置データを含む訓練データセットを使用して、ＭＬモデルを訓練するように構成された訓練モジュールを含み、処置データが、（ｉ）複数の患者の標的解剖学的構造の内視鏡画像と、（ｉｉ）内視鏡画像を生成するために使用されるそれぞれの造影およびスキャンパラメータの評価と、を含む。
【0027】
実施例１２では、実施例１１の主題は、任意選択的に、教師あり学習または深層学習を使用して、ＭＬモデルを訓練するように構成され得る、訓練モジュールを含む。
【0028】
実施例１３では、実施例１から１２のいずれか１つまたは複数の主題は、任意選択的に、造影剤の粘度情報をさらに使用して、１つまたは複数の造影およびスキャンパラメータを推定するように構成され得る、コントローラ回路を含む。
【0029】
実施例１４では、実施例１から１３のいずれか１つまたは複数の主題は、任意選択的に、推定された１つまたは複数の造影およびスキャンパラメータをユーザに提示して、ユーザが造影剤を投与すること、または標的解剖学的構造を撮像することを支援するように構成された出力ユニットを含む。
【0030】
実施例１５は、標的解剖学的構造内で操縦可能な細長い器具をロボット操作し、内視鏡システムを介して標的解剖学的構造の撮像スキャンを制御する方法であって、標的解剖学的構造の画像を含む患者情報を提供するステップと、標的解剖学的構造画像を少なくとも１つの訓練済み機械学習（ＭＬ）モデルに適用し、標的解剖学的構造を認識し、標的解剖学的構造の撮像スキャンのための１つまたは複数の造影およびスキャンパラメータを推定するステップと、推定された１つまたは複数の造影およびスキャンパラメータをユーザまたはプロセスに提供するステップと、を含む、方法である。
【0031】
実施例１６では、実施例１５の主題は、任意選択的に、標的解剖学的構造の画像を第１の訓練済みＭＬモデルに適用して、標的解剖学的構造を認識するステップと、標的解剖学的構造の画像を第２の訓練済みＭＬモデルに適用して、標的解剖学的構造の撮像スキャンのための１つまたは複数の造影およびスキャンパラメータを推定するステップであって、第２の訓練済みＭＬモデルが、第１の訓練済みＭＬモデルとは異なる、ステップと、を含み得る、標的解剖学的構造画像を少なくとも１つの訓練済みＭＬモデルに適用するステップを含む。
【0032】
実施例１７では、実施例１５または１６のいずれか１つまたは複数の主題は、任意選択的に、制御信号をアクチュエータに提供して、（ｉ）操縦可能な細長い器具を介した造影剤の投与、または（ｉｉ）推定された１つもしくは複数の造影およびスキャンパラメータにしたがって標的解剖学的構造の撮像をロボットで容易にするステップを含む。
【0033】
実施例１８では、実施例１７の主題は、任意選択的に、造影剤を投与するための造影剤パラメータを含み得る、推定された１つまたは複数の造影およびスキャンパラメータと、アクチュエータに提供されて、操縦可能な細長い器具の動作をロボットで容易にして、造影剤パラメータにしたがって造影剤を投与し得る、制御信号と、を含む。
【0034】
実施例１９では、実施例１８の主題は、任意選択的に、造影剤の体積、流速、または注入期間のうちの１つまたは複数を含み得る、造影剤パラメータを含む。
【0035】
実施例２０では、実施例１８または１９のいずれか１つまたは複数の主題は、任意選択的に、患者の膵胆道系の一部を含み得る、標的解剖学的構造と、膵胆道系の造影剤注入部位を含み得る、造影剤パラメータと、を含む。
【0036】
実施例２１では、実施例１７から２０のいずれか１つまたは複数の主題は、任意選択的に、標的解剖学的構造を撮像するためのスキャンパラメータを含み得る、推定された１つまたは複数の造影およびスキャンパラメータと、アクチュエータに提供されて、撮像デバイスの動作をロボットで容易にして、スキャンパラメータにしたがって標的解剖学的構造の撮像スキャンを行い得る、制御信号と、を含む。
【0037】
実施例２２では、実施例２１の主題は、任意選択的に、造影剤の投与に関するスキャンタイミング、スキャン期間、スキャン方向、またはスキャン遅延のうちの１つまたは複数を含み得る、スキャンパラメータを含む。
【0038】
実施例２３では、実施例１５から２２のいずれか１つまたは複数の主題は、任意選択的に、複数の患者の保管された内視鏡処置データを含む訓練データセットを使用して、内視鏡システムの訓練モジュールを介して、ＭＬモデルを訓練するステップを含み、保管されたデータが、（ｉ）複数の患者の標的解剖学的構造の内視鏡画像と、（ｉｉ）内視鏡画像を生成するために使用されるそれぞれの造影およびスキャンパラメータの評価と、を含む。
【0039】
実施例２４では、実施例１５から２３のいずれか１つまたは複数の主題は、任意選択的に、推定された１つまたは複数の造影およびスキャンパラメータを出力ユニットを介してユーザに提示して、ユーザが造影剤を投与すること、または標的解剖学的構造を撮像することを支援するステップを含む。
【0040】
提示された技術は、健康関連の処置の観点から説明されているが、それだけに限定されない。この概要は、本出願の教示の一部の概要であり、本主題の排他的または網羅的な扱いを意図するものではない。本主題に関するさらなる詳細は、発明を実施するための形態および添付の特許請求の範囲に見出される。本開示の他の態様は、以下の発明を実施するための形態を読んで理解し、その一部を形成する図面を見れば、当業者には明らかであり、その各々は限定的な意味で解釈されるべきではない。本開示の範囲は、添付の特許請求の範囲およびそれらの法的均等物によって定義される。
【図面の簡単な説明】
【0041】
【図1】ＥＲＣＰ処置などの内視鏡処置に使用するための内視鏡検査システムの一例を示す概略図である。
【図2】ＥＲＣＰ処置などの内視鏡処置に使用するための内視鏡検査システムの一例を示す概略図である。
【図3A】ＤＰＯＣ処置におけるような胆管鏡を患者の胆管に直接挿入する経口胆管鏡検査の一例、および処置が実行される患者の解剖学的構造の一部を示す図である。
【図3B】ＤＰＯＣ処置におけるような胆管鏡を患者の胆管に直接挿入する経口胆管鏡検査の一例、および処置が実行される患者の解剖学的構造の一部を示す図である。
【図4】ＥＲＣＰ処置で使用されるマザードーター内視鏡の一例、および処置が実行される患者の解剖学的構造の一部を示す図である。
【図5】ロボット内視鏡手術システムの一例、およびシステムが動作する環境の少なくとも一部を一般に示す。
【図6】ロボット支援カニューレ挿入およびナビゲーションシステムの一例を示すブロック図である。
【図7A】乳頭認識のためにＭＬモデルを訓練し、訓練済みＭＬモデルを使用してライブ内視鏡画像から乳頭を検出および位置特定する一例を示す図である。
【図7B】乳頭認識のためにＭＬモデルを訓練し、訓練済みＭＬモデルを使用してライブ内視鏡画像から乳頭を検出および位置特定する一例を示す図である。
【図7C】標的解剖学的構造の撮像スキャンのための１つまたは複数の造影およびスキャンパラメータを推定するためにＭＬモデルを訓練する一例を示す図である。
【図7D】標的解剖学的構造の撮像スキャンのための１つまたは複数の造影およびスキャンパラメータを推定するためにＭＬモデルを訓練する一例を示す図である。
【図8】内視鏡システムを介して標的解剖学的構造内で操縦可能な細長い器具をロボットで位置決めし、ナビゲートするための１つの例示的な方法を示すフローチャートである。
【図9】本明細書で説明する技術（例えば、方法論）のうちのいずれか１つまたは複数が実行され得る１つの例示的なマシンを示すブロック図である。
【発明を実施するための形態】
【0042】
本明細書は、人工知能（ＡＩ）技術を使用するロボット支援内視鏡処置における自動カニューレ挿入および内視鏡ナビゲーションのためのシステム、デバイス、および方法を記載する。一実施形態によれば、内視鏡システムは、内視鏡システムは、ロボットアームに含まれるようなアクチュエータを介して、患者の標的解剖学的構造内にロボットで位置決めされナビゲートされるように構成された操縦可能な細長い器具を備える。システムは、標的解剖学的構造の画像を含む患者情報を受信し、標的解剖学的構造画像を（任意選択的に、他の患者およびデバイス情報と一緒に）少なくとも１つの訓練済み機械学習（ＭＬ）モデルに適用して、標的解剖学的構造を認識し、１つまたは複数のカニューレ挿入またはナビゲーションパラメータの値（例えば、力、角度など）を推定するためのコントローラを備える。コントローラは、制御信号をアクチュエータに提供して、カニューレ挿入またはナビゲーションパラメータの推定値にしたがって、標的解剖学的構造内での操縦可能な細長い器具の動作（例えば、位置決めおよびナビゲーション）をロボットで容易にすることができる。いくつかの例では、アクチュエータの動作は、処置中に取得された患者の解剖学的構造の情報（例えば、撮像データ）に基づいて操縦可能な細長い器具をナビゲートするようにリアルタイムで調整され得る。
【0043】
本明細書におけるロボット支援および自動カニューレ挿入またはナビゲーションの説明は、ＥＲＣＰまたはＤＰＯＣ処置で使用されるものなどの内視鏡に焦点を当てているが、本明細書に記載のシステム、装置、および方法、特に自動カニューレ挿入および内視鏡ナビゲーション調整を、例えばとりわけ、カニューレ、カテーテル、ガイドワイヤ、またはガイドシースを含み得る、診断または治療用内視鏡を超えた操縦可能な管腔内器具の使用を伴う、多種多様なロボット支援処置で使用することができる。
【0044】
図１は、ＥＲＣＰ処置などの内視鏡処置に使用するための内視鏡検査システム１０の一例を示す概略図である。システム１０は、撮像および制御システム１２と、内視鏡１４と、を備える。
内視鏡検査システム１０は、本明細書に記載のシステム、デバイス、および方法を使用した患者の診断および／または治療に好適な内視鏡検査システムの例示的な例、例えば、患者の分析または治療のために患者から除去される組織または他の生体物質のサンプルを取得するために使用できる、テザリングされ光学的に強化された生体物質および組織の収集、回収、および保管デバイス、ならびに生検器具である。いくつかの例によれば、内視鏡１４は、撮像のために解剖学的領域に挿入可能であり、および／または生検のための１つもしくは複数のサンプリングデバイス、または解剖学的領域に関連する疾患状態の治療のための１つもしくは複数の治療デバイスの通過または取り付け（例えば、テザリングを介して）を提供することができる。
内視鏡検査システム１０は、本明細書に記載のシステム、デバイス、および方法を使用した患者の診断および／または治療に好適な内視鏡検査システムの例示的な例、例えば、患者の分析または治療のために患者から除去される組織または他の生体物質のサンプルを取得するために使用できる、テザリングされ光学的に強化された生体物質および組織の収集、回収、および保管デバイス、ならびに生検器具である。いくつかの例によれば、内視鏡１４は、撮像のために解剖学的領域に挿入可能であり、および／または生検のための１つもしくは複数のサンプリングデバイス、または解剖学的領域に関連する疾患状態の治療のための１つもしくは複数の治療デバイスの通過または取り付け（例えば、テザリングを介して）を提供することができる。
【0045】
撮像および制御システム１２は、制御ユニット１６、出力ユニット１８、入力ユニット２０、光源２２、流体源２４、および吸引ポンプ２６を備えることができる。撮像および制御システム１２は、内視鏡検査システム１０と結合するための様々なポートを含むことができる。例えば、制御ユニット１６は、内視鏡１４からデータを受信し、内視鏡１４にデータを通信するためのデータ入力／出力ポートを含むことができる。光源２２は、光ファイバーリンクなどを介して光を内視鏡１４に伝送するための出力ポートを含むことができる。流体源２４は、空気、生理食塩水、または他の流体の１つまたは複数の供給源、ならびに関連する流体経路（例えば、空気チャネル、灌注チャネル、吸引チャネル）およびコネクタ（バーブフィッティング、流体シール、バルブなど）を備えることができる。流体源２４は、制御ユニット１６と連通することができ、ポートを介して内視鏡１４に空気または流体の１つまたは複数の供給源を伝送することができる。流体源２４は、流体のポンプおよびタンクを備えることができ、または外部タンク、容器、または保管ユニットに接続することができる。吸引ポンプ２６は、内視鏡１４が挿入される解剖学的領域から流体を引き出すなどのために、内視鏡１４から真空を引いて吸引を生成するために使用されるポートを備えることができる。
【0046】
出力ユニット１８および入力ユニット２０は、内視鏡検査システム１０の機能を制御し、内視鏡１４の出力を表示するために、内視鏡検査システム１０の人間のオペレータおよび／またはロボットオペレータによって使用され得る。いくつかの例では、制御ユニット１６は、内視鏡１４が挿入される解剖学的領域を治療するための信号または他の出力を生成するためにさらに使用され得る。そのような信号または出力の例としては、電気出力、音響出力、高周波エネルギー出力、流体出力などが挙げられ、例えば、焼灼、切断、凍結などで解剖学的領域を治療することができる。
【0047】
内視鏡１４は、連結部３６を介して撮像および制御システム１２とインターフェースし、接続することができる。図示の例では、内視鏡１４は、ＥＲＣＰ処置で使用できる十二指腸内視鏡を含むが、他のタイプの内視鏡を本開示の特徴および教示と共に使用することができる。内視鏡１４は、挿入部２８、機能部３０、およびハンドル部３２を備えることができ、ケーブル部３４および連結部３６に連結することができる。
【0048】
挿入部２８は、ハンドル部３２から遠位に延びることができ、ケーブル部３４は、ハンドル部３２から近位に延びることができる。挿入部２８は細長く、屈曲部と、機能部３０を取り付けることができる遠位端と、を含むことができる。屈曲部は、曲がりくねった解剖学的通路（例えば、胃、十二指腸、腎臓、尿管など）を通して遠位端を操作するために（例えば、ハンドル部３２の制御ノブ３８によって）制御可能であり得る。挿入部２８はまた、細長く、図４に示されるような胆管鏡などの機能部３０の１つまたは複数の治療ツールの挿入をサポートすることができる、１つまたは複数の作業チャネル（例えば、内腔）を含むことができる。作業チャネルは、ハンドル部３２と機能部３０との間に延びることができる。流体通路、ガイドワイヤ、およびプルワイヤなどの追加の機能はまた、挿入部２８によって（例えば、吸引または灌注通路などを介して）提供することができる。
【0049】
ハンドル部３２は、制御ノブ３８と、ポート４０と、を備えることができる。ポート４０は、挿入部２８と連結するために、様々な電気ケーブル、ガイドワイヤ、補助スコープ、本開示の組織収集デバイス、流体チューブなどをハンドル部３２に連結するように構成することができる。制御ノブ３８は、挿入部２８を通って延びるプルワイヤまたは他の作動機構に連結することができる。制御ノブ３８は、ユーザが内視鏡１４の挿入部２８を手動で進退させたり、挿入部２８の遠位端の屈曲部の湾曲を調整したりするために使用することができる。いくつかの例では、任意選択の駆動ユニット４６（図２）を使用して、制御ユニット１６の制御下で内視鏡１４の遠位部分を前進させる電動駆動を提供することができる。
【0050】
撮像および制御システム１２は、例によれば、光源２２、吸引ポンプ２６、画像処理ユニット４２（図２）などを収容するための棚を備えた移動プラットフォーム（例えば、カート４１）上に設けることができる。あるいは、図１および図２に示される撮像および制御システム１２のいくつかのコンポーネントは、内視鏡が「内蔵型」であるように、内視鏡１４上に直接設けることができる。
【0051】
機能部３０は、患者の解剖学的構造を治療および診断するためのコンポーネントを備えることができる。機能部３０は、撮像デバイスと、照明デバイスと、エレベータと、を備えることができる。機能部３０は、光学的に強化された生体物質と、組織収集および回収デバイスと、をさらに備えることができる。例えば、機能部３０は、ハンドル部３２に導電的に接続され、撮像および制御システム１２に機能的に接続されて、撮像および制御システム１２に保管された比較生体データに基づいて電極と接触する生体物質を分析する１つまたは複数の電極を備えることができる。他の例では、機能部３０は、組織コレクタを直接組み込むことができる。
【0052】
いくつかの例では、内視鏡１４は、それに取り付けられたロボットアームなどによってロボット制御することができる。ロボットアームは、アクチュエータを介して標的解剖学的構造内で内視鏡１４の細長い部分（機能部３０および／または挿入部２８を含む）を自動的に、または半自動的に（例えば、特定のユーザ手動制御またはコマンドで）位置決めし、ナビゲートすることができる。本明細書で説明されている様々な例にしたがって、コントローラは、人工知能（ＡＩ）技術を使用して、ロボット支援内視鏡処置で使用するためのカニューレ挿入および内視鏡ナビゲーションパラメータを決定し、ロボットアームのアクチュエータへの制御信号を生成して、決定されたカニューレ挿入またはナビゲーションパラメータにしたがって、標的解剖学的構造内での内視鏡の細長い部分の動作（例えば、位置、角度、力、および／またはナビゲーションを調整する）を容易にすることができる。
【0053】
図２は、図１に示される内視鏡検査システム１０の概略図であり、撮像および制御システム１２と、内視鏡１４と、を備える。図２は、図示の例では、十二指腸内視鏡を備える内視鏡１４に連結された撮像および制御システム１２のコンポーネントを概略的に示す。撮像および制御システム１２は、制御ユニット１６を備えることができ、画像処理ユニット４２、治療生成器４４、および駆動ユニット４６、ならびに図１を参照して上述したように、光源２２、入力ユニット２０、および出力ユニット１８を含むことができる、またはそれらに連結することができる。制御ユニット１６は、組織に係合し、その組織の一部を収集および保存するように構成され、これを通して、光学的に強化された材料およびコンポーネントを含めることにより、撮像デバイス（例えば、カメラ）が標的組織を表示できるデバイスを備えた手術器具２００を含むことができるか、またはこれと通信することができる。制御ユニット１６は、内視鏡１４の機能部で撮像デバイス（例えば、カメラ）をアクティブ化して、手術器具２００および内視鏡検査システム１０の遠位の標的組織を表示するように構成することができ、これは、カメラが組織回収デバイスによって遮られたり、部分的に遮られたりすることによる影響を最小限に抑えるために、半透明材料で作製することができる。同様に、制御ユニット１６は、光源２２をアクティブ化して手術器具２００に光を当てるように構成することができ、これは、反射粒子で強化された組織カッターなど、特定の手法で光を反射するように構成された選択コンポーネントを含むことができる。
【0054】
画像処理ユニット４２および光源２２はそれぞれ、有線または無線の電気接続によって内視鏡１４と（例えば、機能部３０で）インターフェースすることができる。したがって、撮像および制御システム１２は、光源２２を使用して解剖学的領域を照明し、解剖学的領域を表す信号を収集し、画像処理ユニット４２を使用して解剖学的領域を表す信号を処理し、解剖学的領域を表す画像を出力ユニット１８に表示することができる。撮像および制御システム１２は、光源２２を含んで、所望のスペクトルの光（例えば、広帯域白色光、好ましい電磁波長を使用する狭帯域撮像など）を使用して解剖学的領域を照明することができる。撮像および制御システム１２は、信号伝送（例えば、光源から出力される光、内視鏡１４の遠位部分に位置決めされたような撮像デバイスからのビデオ信号、診断デバイスからの診断およびセンサ信号など）のために内視鏡１４に（例えば、内視鏡コネクタを介して）接続することができる。
【0055】
治療生成器４４は、制御ユニット１６が内視鏡１４の動作を制御するため、または内視鏡処置中に内視鏡１４を操作するための誘導を手術医に提供するために使用できる治療計画を生成することができる。一例では、治療生成器４４は、標的解剖学的構造の画像を含む患者情報を使用して、操縦可能な細長い器具を操作するための１つまたは複数のカニューレ挿入またはナビゲーションパラメータ（例えば、角度、力など）の推定値を含む、内視鏡ナビゲーション計画を生成することができる。内視鏡ナビゲーション計画は、手術医が患者の解剖学的構造内でカニューレ挿入して内視鏡をナビゲートするのに役立ち得る。内視鏡ナビゲーション計画は、内視鏡または他の器具の位置、角度、力、および／またはナビゲーションをロボットで調整するために、追加的または代替的に使用することができる。ＡＩベースの標的解剖学的構造認識およびカニューレ挿入またはナビゲーションパラメータ推定、ならびに内視鏡処置におけるロボットによる位置決めおよびナビゲーションの例は、図４から図６を参照して以下で議論される。
【0056】
図３Ａおよび図３Ｂは、ＤＰＯＣ処置におけるような胆管鏡３２４を胆管に直接挿入することによって実行される経口胆管鏡検査の一例、および処置が実行される患者の解剖学的構造の一部を示す図である。胆管鏡３２４は、ガイドシース３２２の内側に入れ子にされ、十二指腸３０８に到達するように患者に経口的に挿入される。十二指腸３０８は、小腸の上部を含む。ガイドシース３２２は、口３０１内に延び、食道３０６を通って、胃３０７を通って、十二指腸３０８に到達することができる。
腸３０９に到達する前に、ガイドシース３２２は、胆管鏡３２４を総胆管３１２に近接して位置決めすることができる。総胆管３１２は、胆嚢３０５および肝臓３０４から胆汁を運び、胆汁をオッディ括約筋３１０を通して十二指腸３０８に排出する（図３Ｂ）。胆管鏡３２４は、ガイドシース３２２から延びて、総胆管３１２内に延びることができる。いくつかの例では、ガイドシース３２２の操縦機能（例えば、プルワイヤ）を使用して、プルワイヤを介した胆管鏡３２４の直接操縦に加えて、胃３０７を通る胆管鏡３２４のナビゲートおよび屈曲を容易にすることができる。例えば、幽門管および幽門括約筋のナビゲーションは、内視鏡のみを使用してナビゲートするのが困難な場合がある。したがって、ガイドシース３２２を使用して、幽門括約筋の横断を容易にするために、胆管鏡３２４の細長い本体を曲げるもしくは屈曲させる、またはプルワイヤによって必要とされる胆管鏡３２４の細長い本体の操縦もしくは屈曲の量を低減することができる。
腸３０９に到達する前に、ガイドシース３２２は、胆管鏡３２４を総胆管３１２に近接して位置決めすることができる。総胆管３１２は、胆嚢３０５および肝臓３０４から胆汁を運び、胆汁をオッディ括約筋３１０を通して十二指腸３０８に排出する（図３Ｂ）。胆管鏡３２４は、ガイドシース３２２から延びて、総胆管３１２内に延びることができる。いくつかの例では、ガイドシース３２２の操縦機能（例えば、プルワイヤ）を使用して、プルワイヤを介した胆管鏡３２４の直接操縦に加えて、胃３０７を通る胆管鏡３２４のナビゲートおよび屈曲を容易にすることができる。例えば、幽門管および幽門括約筋のナビゲーションは、内視鏡のみを使用してナビゲートするのが困難な場合がある。したがって、ガイドシース３２２を使用して、幽門括約筋の横断を容易にするために、胆管鏡３２４の細長い本体を曲げるもしくは屈曲させる、またはプルワイヤによって必要とされる胆管鏡３２４の細長い本体の操縦もしくは屈曲の量を低減することができる。
【0057】
図３Ｂは、十二指腸乳頭３１４を介して総胆管３１２に接続された十二指腸３０８の概略図である。総胆管３１２は、膵管３１６および胆嚢管３１１に分岐することができる。十二指腸乳頭３１４は、腸（十二指腸）への胆汁および膵液の流れを制御するオッディ括約筋３１０を含むことができる。膵管３１６は、膵臓３０３に至ることができる。膵管３１６は、膵液を膵臓３０３から総胆管３１２に運ぶ。
胆嚢管３１１は、胆嚢３０５に至ることができる。一部の患者では、手術器具を十二指腸乳頭３１４までナビゲートすることが困難な場合がある。十二指腸乳頭３１４を介して挿入することにより、手術器具を総胆管３１２内にナビゲートすることもまた困難な場合がある。したがって、医療処置中に、オッディ括約筋３１０を切断して十二指腸乳頭３１４を拡大し、総胆管３１２への器具のアクセスを容易にすることが一般的である。
胆嚢管３１１は、胆嚢３０５に至ることができる。一部の患者では、手術器具を十二指腸乳頭３１４までナビゲートすることが困難な場合がある。十二指腸乳頭３１４を介して挿入することにより、手術器具を総胆管３１２内にナビゲートすることもまた困難な場合がある。したがって、医療処置中に、オッディ括約筋３１０を切断して十二指腸乳頭３１４を拡大し、総胆管３１２への器具のアクセスを容易にすることが一般的である。
【0058】
図４は、ＥＲＣＰ処置で使用されるマザードーター内視鏡の一例、および処置が実行される患者の解剖学的構造の一部を示す図である。マザードーター内視鏡は、メインスコープ４００（十二指腸内視鏡）の管腔４３２に取り付けられ、それを通って前進する補助スコープ４３４（胆管鏡）を備える。補助スコープ４３４は、管腔４３６を備えることができる。患者の十二指腸３０８に位置決めされたメインスコープ４００の遠位部分は、機能モジュール４０２、挿入部モジュール４０４、および制御モジュール４０６を備える。制御モジュール４０６は、コントローラ４０８を含む、またはそれに連結することができる。図１に関する上記の説明と同様に、制御モジュール４０６は、内視鏡検査システム１０（図１）および制御ユニット１６（図２）に関して説明したものなど、他のコンポーネントを含むことができる。さらに、制御モジュール４０６は、撮像デバイス（例えば、カメラ）と、撮像ユニット４１０、照明ユニット４１２、および電源ユニット４１４など、補助スコープ４３４に接続された光源と、を制御するためのコンポーネントを備えることができる。メインスコープ４００は、図１および図２の内視鏡１４と同様に構成することができる。
【0059】
メインスコープ４００の機能モジュール４０２は、エレベータ部分４３０を備えることができる。補助スコープ４３４自体は、機能コンポーネント、例えば、カメラレンズ４３７と、制御モジュール４０６に連結されたライトレンズ（図示せず）と、を含むことができ、メインスコープ４００から解剖学的構造を通る補助スコープ４３４のナビゲーションを容易にし、管腔４３２から延びるコンポーネントの観察を容易にする。
【0060】
ＥＲＣＰでは、補助スコープ４３４は、オッディ括約筋３１０内に誘導することができる。そこから、補助スコープ４３４を操作する外科医は、補助スコープ４３４をメインスコープの管腔４３２を通して胆嚢３０５、肝臓３０４、または胃腸系の他の場所に向かってナビゲートして、様々な処置を実行することができる。いくつかの例では、補助スコープ４３４を使用して、管腔４３６を通過する、または管腔４３６に取り付けることなどによって、追加のデバイスを解剖学的構造に誘導して、生体物質（例えば、組織）を取得することができる。
【0061】
生体サンプル物質は、典型的には補助デバイスから追加デバイスを除去することによって患者から除去することができ、除去された生体物質を分析して患者の１つまたは複数の状態を診断することができる。いくつかの例によれば、マザードーター内視鏡アセンブリ（メインスコープ４００および補助スコープ４３４を含む）は、追加のデバイス機能、例えば、癌性または前癌性物質（例えば、癌腫、肉腫、骨髄腫、白血病、リンパ腫など）を採取して除去するため、または子宮内膜症の評価、胆管生検などを実行するための鉗子またはオーガを含むことができる。
【0062】
コントローラ４０８は、内視鏡処置データ生成器４５０、および治療計画生成器４６０を含む、またはそれらに連結することができる。内視鏡処置データ生成器４５０は、十二指腸乳頭または胆道および膵管系の一部などの標的解剖学的構造の画像を生成することができる。一例では、内視鏡処置データ生成器４５０は、内視鏡１４の機能部３０に配置されたカメラなどの内視鏡上の撮像センサを使用して、十二指腸乳頭およびその周囲環境のリアルタイム内視鏡画像を生成することができる。いくつかの例では、内視鏡処置データ生成器４５０は、センサ情報（例えば、内視鏡に関連するセンサ）、デバイス情報、患者の病歴などを含む、他の処置関連情報を取得できる。いくつかの例では、内視鏡処置データ生成器４５０は、データベースなどから、複数の患者に対して複数の医師によって実行された過去の内視鏡処置の保管された制御ログデータ（例えば、時系列データ）を検索することができる。制御ログデータは、様々な経験レベルを有する医師の好ましいカニューレ挿入および内視鏡ナビゲーションアプローチおよび習慣を表すことができる。
【0063】
図２に示されるような治療生成器４４の一例である治療計画生成器４６０は、内視鏡処置データ生成器４５０によって生成される内視鏡画像に基づいて、任意選択的に他の情報にも基づいて、治療計画を自動的に生成することができる。内視鏡ナビゲーション計画は、それぞれの値を有する１つまたは複数のカニューレ挿入またはナビゲーションパラメータ（例えば、位置、力、および／または角度）を含むことができる。様々な例によれば、少なくとも１つの訓練済み機械学習（ＭＬ）モデルを使用して、内視鏡ナビゲーション計画（例えば、カニューレ挿入またはナビゲーションパラメータ値）を生成または更新することができる。カニューレ挿入またはナビゲーションパラメータは、ロボットデバイス（例えば、ロボットアーム）によって使用されて、内視鏡または他の操縦可能な細長い器具（例えば、カニューレ、カテーテル、ガイドワイヤ、またはガイドシース）の位置またはナビゲーションを標的解剖学的構造内で自動的に開始または調整することができる。いくつかの例では、標的解剖学的構造の内視鏡画像、ナビゲーション計画、ならびに操縦可能な細長い器具の位置決めおよびナビゲーションの状態を手術医に表示することができる。
【0064】
図５は、ロボット内視鏡手術システム５００の一例、およびシステムが動作する環境の少なくとも一部を一般に示す。外科医５０１は、ロボットアーム５２０に通信可能に連結された制御コンソール５１０を操作することができる。ロボットアーム５２０は、図３Ａおよび図３Ｂならびに図４を参照して上述したように、操縦可能な器具５３０、例えば、可撓性内視鏡に取り外し可能に係合することができる。外科医５０１は、ロボットアーム５２０の動きを制御する制御コンソール５１０を介して、患者５０２に内視鏡処置を実行することができる。ロボットアーム５２０は、操縦可能な器具５３０を患者５０２の管腔空間に渡し、操縦可能な器具５３０を標的解剖学的場所に位置決めし、ナビゲーションすることができる。いくつかの例では、操縦可能な器具５３０は、標的解剖学的構造の内視鏡画像（またはビデオ）などの患者の解剖学的情報を収集するように構成されたセンサを含むことができる。収集された情報は、制御コンソール５１０に統合されたモニタ上に表示されるなどして、外科医５０１に提供することができる。本明細書で説明する様々な例によれば、制御コンソール５１０は、受信された患者情報（例えば、他のセンサ情報の中でも、内視鏡画像、病歴など）を処理し、１つまたは複数のカニューレ挿入またはナビゲーションパラメータ（例えば、位置、力、角度）の値を推定することができる、人工知能（ＡＩ）ベースの自動カニューレ挿入および内視鏡ナビゲーションシステムを含むことができる。外科医は、操縦可能な器具５３０に加えられる位置、方向、または力を調整するなど、ロボットアーム５２０を介して操縦可能な器具５３０を調整するための基準として、推定されたパラメータ値を使用することができる。あるいは、外科医は、ロボットアーム５２０に命令して、推定されたパラメータ値にしたがって操縦可能な器具５３０の動きを自動的にアクティブ化または調整することができる。いくつかの例では、制御コンソール５１０は、ロボットアーム５２０に自動的に命令して、人間の介入をほとんど、またはまったく必要とせずに、推定されたパラメータ値にしたがって動きをアクティブ化または調整することができる。例えば、外科医は処置を監視し、必要に応じて（手動オーバーライドを介して）介入することができる。
【0065】
図６は、限定ではなく例として、ロボット支援カニューレ挿入およびナビゲーションシステム６００を示すブロック図である。システム６００の少なくとも一部は、ロボット内視鏡手術システム５００の制御コンソール５１０に実装することができる。システム６００は、内視鏡処置データ生成器４５０および治療計画生成器４６０などの他のデバイスまたは機能ユニットと共に、図１の制御ユニット１６、または図４のコントローラ４０８の一部であり得る。
【0066】
ロボット支援ナビゲーションシステム６００は、コントローラ６０１、入力データ源６３０、および操縦可能な細長い器具６０２に連結された１つまたは複数のアクチュエータ６０３を含んで、内視鏡処置中にその位置、方向、またはそれに加えられる力を調整することができる。いくつかの例では、ロボット支援ナビゲーションシステム６００は、ユーザインターフェースデバイス６４０を含むことができる。
【0067】
コントローラ６０１は、ナビゲーション計画ユニット６１０およびナビゲーションコントローラ６２０を含む、１つまたは複数の他の回路またはサブ回路を備える回路セットを含むことができる。これらの回路は、単独でまたは組み合わせて、本明細書に記載の機能、方法、または技術を実行することができる。一例では、コントローラ６０１およびその中の回路セットは、マイクロプロセッサ回路の一部として実装されてもよく、これは、専用のプロセッサ、例えば、デジタル信号プロセッサ、特定用途向け集積回路（ＡＳＩＣ）、マイクロプロセッサ、または身体活動情報を含む情報を処理するための他のタイプのプロセッサであり得る。
あるいは、マイクロプロセッサ回路は、本明細書に記載の機能、方法、または技術を実行する一連の命令を受信して実行できる汎用プロセッサであってもよい。一例では、回路セットのハードウェアは、特定の動作を実行するように不変に設計されてもよい（例えば、ハードワイヤード）。一例では、回路セットのハードウェアは、特定の動作の命令をエンコードするために物理的に変更された（例えば、不変質量粒子の磁気的、電気的、可動配置など）コンピュータ可読媒体を含む、可変的に接続された物理コンポーネント（例えば、実行ユニット、トランジスタ、単純な回路など）を含むことができる。物理コンポーネントを接続する際に、ハードウェア構成要素の基礎となる電気的特性が、例えば、絶縁体から導体に、またはその逆に変更される。この命令により、組み込みハードウェア（例えば、実行ユニットまたはローディングメカニズム）は、可変接続を介してハードウェアに回路セットの部材を作製して、動作時に特定の動作の一部を実行することを可能にする。したがって、コンピュータ可読媒体は、デバイスが動作しているとき、回路セット部材の他のコンポーネントに通信可能に連結される。一例では、物理コンポーネントのいずれも、２つ以上の回路セットの２つ以上の部材で使用することができる。例えば、動作中、実行ユニットは、ある時点で第１の回路セットの第１の回路で使用され、第１の回路セット内の第２の回路によって、または異なる時点で第２の回路セット内の第３の回路によって再使用され得る。
あるいは、マイクロプロセッサ回路は、本明細書に記載の機能、方法、または技術を実行する一連の命令を受信して実行できる汎用プロセッサであってもよい。一例では、回路セットのハードウェアは、特定の動作を実行するように不変に設計されてもよい（例えば、ハードワイヤード）。一例では、回路セットのハードウェアは、特定の動作の命令をエンコードするために物理的に変更された（例えば、不変質量粒子の磁気的、電気的、可動配置など）コンピュータ可読媒体を含む、可変的に接続された物理コンポーネント（例えば、実行ユニット、トランジスタ、単純な回路など）を含むことができる。物理コンポーネントを接続する際に、ハードウェア構成要素の基礎となる電気的特性が、例えば、絶縁体から導体に、またはその逆に変更される。この命令により、組み込みハードウェア（例えば、実行ユニットまたはローディングメカニズム）は、可変接続を介してハードウェアに回路セットの部材を作製して、動作時に特定の動作の一部を実行することを可能にする。したがって、コンピュータ可読媒体は、デバイスが動作しているとき、回路セット部材の他のコンポーネントに通信可能に連結される。一例では、物理コンポーネントのいずれも、２つ以上の回路セットの２つ以上の部材で使用することができる。例えば、動作中、実行ユニットは、ある時点で第１の回路セットの第１の回路で使用され、第１の回路セット内の第２の回路によって、または異なる時点で第２の回路セット内の第３の回路によって再使用され得る。
【0068】
ナビゲーション計画ユニット６１０は、１つまたは複数の入力データ源からの情報を使用して、関心のある解剖学的標的（例えば、十二指腸乳頭）に関する内視鏡ナビゲーション計画を生成することができる。限定ではなく例として、入力データ源６３０は、図６に示されるように、標的解剖学的構造の内視鏡画像６３１、外部画像源６３２、体内治療デバイス情報６３３、センサ信号６３４、または医師／患者情報６３５のうちの１つまたは複数を含むことができる。内視鏡画像６３１は、それぞれ、図３Ａおよび図３Ｂならびに図４を参照して上述したように、ＤＰＯＣ処置またはＥＲＣＰ処置などの内視鏡処置中に内視鏡上の撮像センサによってキャプチャされた十二指腸乳頭およびその周囲環境のリアルタイム内視鏡画像を含むことができる。外部画像源６３２は、（内視鏡以外の）他の撮像デバイスによって取得された画像を含むことができ、とりわけ、例えば、Ｘ線もしくは蛍光透視法画像、電位マップもしくは電気インピーダンスマップ、ＣＴ画像、ＭＲＩ画像、例えば、磁気共鳴胆道膵管造影（ＭＲＣＰ）処置から得られる画像、または音響画像、例えば、超音波内視鏡（ＥＵＳ）画像を含むことができる。体内治療デバイス情報６３３は、ＥＲＣＰ処置で使用される内視鏡、または他の操縦可能な器具、例えば、カニューレ、カテーテル、もしくはガイドワイヤの寸法、形状、および構造を含む仕様データを含むことができる。そのようなデバイス仕様情報を使用して、カニューレ挿入またはナビゲーションパラメータ値、例えば、デバイスに加えられる角度および／または力を決定することができる。センサ信号６３４は、内視鏡に連結された、またはそうでなければ患者に関連付けられたセンサによって取得することができる。一例では、センサ信号６３４は、内視鏡の遠位部分にある近接センサによって取得することができる。センサ信号６３４の例としては、十二指腸乳頭に対する内視鏡の遠位部分の位置、方向、または近接が挙げられ得る。医師／患者情報６３５は、操縦可能な細長い器具６０２を使用する手術医の習慣または好み、例えば、カニューレ挿入および内視鏡ナビゲーションの好ましいアプローチ、または医師によって実行された現在の処置と類似したタイプの過去の処置、および対応する処置結果（例えば、成功／失敗、処置時間、予後および合併症）を含むことができる。医師／患者情報６３５は、患者情報、例えば、内視鏡画像または他のセンサ情報、患者の病歴などを含むことができる。内視鏡制御ログデータ６３６は、処置中に操作される内視鏡画像上のデバイス（例えば、内視鏡、カテーテル、またはカニューレ）の動きおよびたわみの変化を表す時系列データを含むことができる。
【0069】
ナビゲーション計画ユニット６１０は、入力画像（例えば、内視鏡画像６３１および／または外部画像源６３２）などから関心のある解剖学的標的を自動的に認識することができる標的解剖学的構造認識ユニット６１４、１つまたは複数のカニューレ挿入またはナビゲーションパラメータの値を自動的に推定できるカニューレ挿入およびナビゲーションパラメータ推定ユニット６１６、ならびに造影剤の投与を制御するための１つもしくは複数の造影剤パラメータの値、および／または解剖学的標的もしくは他の関心領域の撮像スキャン（例えば、他の放射線撮像検査の中でも、Ｘ線、蛍光透視スキャン、ＣＴスキャン、ＭＲＩスキャン）を行うための１つもしくは複数のスキャンパラメータの値を推定できる造影およびスキャンパラメータ推定ユニット６１８のうちの１つまたは複数を含むことができる。ナビゲーション計画ユニット６１０ならびにカニューレ挿入およびナビゲーションパラメータ推定ユニット６１６は、それぞれの訓練済み機械学習（ＭＬ）モデルを使用して、それぞれの標的認識およびパラメータ推定タスクを実行することができる。ＭＬモデル６１２は、教師あり学習、教師なし学習、または強化学習を使用して訓練することができる。ＭＬモデルのアーキテクチャおよびアルゴリズムの例としては、例えば、決定木、ニューラルネットワーク、サポートベクターマシン、または深層学習ネットワークなどが挙げられ得る。深層学習ネットワークの例としては、畳み込みニューラルネットワーク（ＣＮＮ）、回帰型ニューラルネットワーク（ＲＮＮ）、ディープビリーフネットワーク（ＤＢＮ）、または異なるタイプもしくは異なるモデル構成の２つ以上のニューラルネットワークモデルを含むハイブリッドニューラルネットワークが挙げられる。
【0070】
ＭＬモデル６１２は、例えば、入力データ源６３０のうちの１つまたは複数を含む様々な情報源を使用して訓練することができる。いくつかの例では、ＭＬモデル６１２は、内視鏡処置データベース６０６内に保管された過去の処置データを使用して訓練することができる。データベース６０６内に保管された過去の処置データは、複数の患者に対して複数の医師によって実行されたそれぞれの内視鏡処置中に取得された処置データを含むことができる。内視鏡処置は、現在の患者に対して実行される内視鏡処置と同じタイプのものであり得る。保管された処置データは、処置ごとに、他の情報の中でも、患者の解剖学的構造、カニューレ挿入および内視鏡ナビゲーション経路、カニューレ挿入またはナビゲーションの進捗を示す内視鏡画像またはビデオを含むことができる。一例では、保管された処置データは、処置ごとに、処置中に記録された、または内視鏡画像またはビデオのオフライン分析によって取得された、１つまたは複数のカニューレ挿入またはナビゲーションパラメータを含むことができる。
【0071】
ＭＬモデルを訓練するために、訓練データセットは、入力データ源６３０、および過去の内視鏡処置データ、例えば、内視鏡処置データベース６０６から選択および検索されたものなどのうちの１つまたは複数を使用して構築することができる。一例では、訓練データは、特定の医師（例えば、手術医と実質的に類似した経験レベルを有する医師）によって実行された処置のデータ、および／または特別な要件を有する特定の患者（例えば、現在の患者と実質的に類似した解剖学的構造または患者の医療情報を有する患者）に対する処置のデータのみが訓練データセットに含まれるようにスクリーニングすることができる。一例では、訓練データは、指定された試行回数内で望ましい成功率が達成された処置のデータのみが訓練データセットに含まれるように、カニューレ挿入またはナビゲーションが成功するまでの試行回数を含む、処置の成功率に基づいてスクリーニングすることができる。別の例では、訓練データは、患者に関連する合併症に基づいてスクリーニングすることができる。いくつかの例では、特に小さい訓練データセット（例えば、データスクリーニングによる）の場合、ＭＬモデルを訓練して、訓練データを外挿、内挿、またはブートストラップすることによって治療計画を生成し、それによって特定の患者および医師に合わせて特別に調整された治療計画を作製することができる。ＭＬモデルの訓練は、追加の処置データが利用可能になると、継続的または定期的に、またはほぼリアルタイムで実行することができる。訓練は、訓練されるＭＬモデルが指定された訓練収束基準を満たすまで、１つまたは複数のＭＬモデルパラメータをアルゴリズム的に調整することを含む。
【0072】
カニューレ挿入およびナビゲーションパラメータ推定ユニット６１６は、１つまたは複数のカニューレ挿入またはナビゲーションパラメータの値を自動的に推定することができ、これは例えば、とりわけ、内視鏡の遠位部分から十二指腸乳頭までの距離など、関心のある解剖学的標的に対する内視鏡または他の操縦可能な細長い器具の遠位部分（例えば、図１に示す内視鏡１４の機能部３０）の位置；解剖学的標的に対する操縦可能な細長い器具の遠位部分の進行方向；カニューレまたはカニューレ挿入に使用される手術要素の挿入角度；カニューレまたは手術要素の突出量；内視鏡の遠位部分または手術要素に加えられる速度または力；手術要素の回転方向または切断領域；を含むことができる。いくつかの例では、ナビゲーション計画は、関心のある解剖学的標的に向かって投影されたナビゲーション経路を含むことができる。
【0073】
ナビゲーションコントローラ６２０は、ロボットアームを作動させるモータなどの１つまたは複数のアクチュエータ６０３への制御信号を生成することができる。１つまたは複数のアクチュエータ６０３は、操縦可能な細長い器具６０２、例えば、その近位部分に連結することができる。操縦可能な管腔内器具６０２の例としては、とりわけ、診断用または治療用の内視鏡、カニューレ、カテーテル、ガイドワイヤ、またはガイドシースを含むことができる。制御信号に応答して、１つまたは複数のアクチュエータ６０３は、カニューレ挿入およびナビゲーションパラメータ推定ユニット６１６によって推定された１つまたは複数のカニューレ挿入またはナビゲーションパラメータにしたがって、標的解剖学的構造内の操縦可能な細長い器具６０２の位置またはナビゲーションをロボットで調整することができる。カニューレまたはＧＷに関連するカニューレ挿入またはナビゲーションパラメータ（例えば、位置、角度、方向、ナビゲーション経路）のいくつかは、撮像システムによって生成された画像（例えば、内視鏡画像または他の画像）に基づいて決定されるため、そのようなカニューレ挿入またはナビゲーションパラメータは、撮像システムの座標を参照する。カニューレ挿入またはナビゲーションパラメータにしたがって、カニューレまたはＧＷのロボット制御を容易にするために、いくつかの例では、撮像システムの座標における解剖学的位置をロボットシステムの座標における対応する位置にマッピングできるように、ロボットシステムの座標を撮像システムの座標に位置合わせすることができる。そのような位置合わせは、例えば、それぞれの座標系で位置が既知である別個のランドマークを使用することによって実行することができる。位置合わせは、強度ベースまたは特徴ベースであってもよく、撮像システムの座標をロボットシステムの座標にマッピングする変換モデル（線形または非線形モデル）によって表すことができる。
【0074】
一例では、カニューレ挿入およびナビゲーションパラメータ推定ユニット６１６は、カニューレ／ＧＷの遠位先端から十二指腸乳頭までの距離に基づいて、カニューレまたはＧＷ（操縦可能な細長い器具６０２の一例）に加えられる力を決定することができる。そのような距離は、カニューレ／ＧＷの先端にある近接センサなどを介して、センサ信号６３４を使用して決定することができる。別の例では、距離は、十二指腸乳頭への挿入の長さを測定する、アクチュエータ６０３またはカニューレ／ＧＷに連結するロボットアーム上に配置された変位センサによって測定することができる。追加的または代替的に、距離は、内視鏡画像６３１から推定することができる。カニューレ／ＧＷの遠位先端と十二指腸乳頭との距離に関する情報を用いて、カニューレ挿入およびナビゲーションパラメータ推定ユニット６１６は、カニューレ／ＧＷの遠位先端が十二指腸乳頭に近づくにつれて、カニューレ／ＧＷに加えられるより低い力を決定することができる。一例では、加えられる力は、当該距離に反比例し得る。カニューレ／ＧＷの遠位先端が十二指腸乳頭に挿入され通過した後、ナビゲーションパラメータ推定ユニット６１６は、挿入前の力のレベルまたは範囲よりも低いレベルまたは範囲の力を決定することができる。次いで、ナビゲーションコントローラ６２０は、アクチュエータ６０３（またはロボットアーム）を制御して、上記で決定された距離依存の力をカニューレ／ＧＷに加えることができる。本明細書に記載されているように、重要な解剖学的構造（例えば、十二指腸乳頭、総胆管、および膵臓）までの距離に基づいて力を動的に調整することで、カニューレ／ＧＷによって引き起こされる膵臓実質への損傷を回避または軽減できる。ロボット支援により、重要な解剖学的構造での、またはその近くでのカニューレ／ＧＷの位置決めおよび前進の精度が向上し、不適切なカニューレ挿入による組織損傷のリスクをさらに低減することができる。
【0075】
一例では、カニューレ挿入およびナビゲーションパラメータ推定ユニット６１６は、少なくとも体内治療デバイス情報６３３に基づいて、カニューレもしくはＧＷ（操縦可能な細長い器具６０２の一例）の挿入角度、および／またはカニューレもしくはＧＷに加えられる力を決定することができる。そのようなデバイス情報には、体内治療デバイスの仕様、例えば、とりわけ、内径および外径、先端の形状、先端の負荷および／または剛性、トルク性（同調抵抗に打ち勝つための回転要素の能力）、曲げ角度、ワイヤサポート（曲げ力に対する測定またはワイヤの抵抗）を含むことができる。ＭＬモデルは、カニューレまたはＧＷの仕様と、それに加えられる適切な挿入角度または力との間を確立するように訓練することができる。カニューレ挿入およびナビゲーションパラメータ推定ユニット６１６は、処置で現在使用されているカニューレまたはＧＷの仕様を訓練済みＭＬモデルに供給して、カニューレまたはＧＷに加えられる適切な挿入角度および／または力を推定することができる。
【0076】
一例では、カニューレ／ＧＷが十二指腸乳頭に挿入された後、カニューレ挿入およびナビゲーションパラメータ推定ユニット６１６は、総胆管または膵胆道系の他の部分内でカニューレ／ＧＷを前進させるための方向、またはナビゲーション経路を決定することができる。そのような方向またはナビゲーション経路は、内視鏡画像６３１および／または外部画像源６３２、例えば、総胆管または膵胆道系の他の部分の画像に基づいて決定することができる。画像は、とりわけ、ＥＲＣＰ処置の前または最中に得られた内視鏡画像、ＭＲＣＰ処置の前または最中に得られたＭＲＩ画像のうちの１つまたは複数を含むことができる。カニューレ挿入およびナビゲーションパラメータ推定ユニット６１６は、訓練済みＭＬモデル６１２を使用して方向を決定することができる。一例では、ＭＬモデル６１２は、強化学習を使用して訓練することができる。強化学習は、行動ポリシーに関連する累積報酬を最大化するために、環境内の特定の状態で行動ポリシー（例えば、カニューレ／ＧＷの進行方向）を作製するための機械学習アプローチである。ラベル付き入力／出力ペアを使用してモデルを訓練する教師あり学習とは対照的に、強化学習は、モデル訓練プロセス中に未知の領域（例えば、総胆管または膵胆道系内で取るべき様々な進行方向または経路）の探索と、現在の知識の活用との間のバランスを維持する。例えば、強化学習により、訓練中のモデルは、外部からの介入を必要とせずにパフォーマンスが低い状況で能動的に経験を採取することができ、報酬関数を通じて行動パフォーマンスを直接最適化することができる。カニューレ／ＧＷの進行方向またはナビゲーション経路のＭＬベースの決定の上記の例では、強化学習は、複数の医師が複数の患者に対して実行した過去の処置などからのラベル付き訓練データがない場合に特に有利であり得る。ナビゲーションコントローラ６２０は、アクチュエータ６０３（またはロボットアーム）を制御して、決定された方向にしたがってカニューレ／ＧＷの遠位部分を配向し、決定されたナビゲーション経路にしたがって膵胆道系をナビゲートすることができる。
【0077】
いくつかの例では、カニューレ挿入およびナビゲーションパラメータ推定ユニット６１６は、内視鏡処置データベース６０６に保管された過去の内視鏡処置データに基づいて、カニューレ／ＧＷ（操縦可能な細長い器具６０２の一例）の挿入角度を決定することができる。保管された処置データは、処置ごとに、他の情報の中でも、患者の解剖学的構造、カニューレ挿入および内視鏡ナビゲーション経路、カニューレ挿入およびナビゲーションの進捗、医師の情報を示す内視鏡画像またはビデオを含むことができる。一例では、保管された処置データは、処置ごとに、処置中に記録された、または内視鏡画像またはビデオのオフライン分析によって取得された、１つまたは複数のカニューレ挿入またはナビゲーションパラメータを含むことができる。保管された処置データはまた、医師の習慣または好ましい処置アプローチの指示を含むことができる。様々な実施形態では、保管された処置データの少なくとも一部は、後で実行される処置のカニューレ挿入およびナビゲーションパラメータ（複数可）を予測するＭＬモデルを訓練するための訓練セットとして使用される。一例では、訓練データは、特定の医師（例えば、手術医と実質的に類似した経験レベルを有する医師）によって実行された処置のデータ、および／または特別な要件を有する特定の患者（例えば、現在の患者と実質的に類似した解剖学的構造または患者の医療情報を有する患者）に対する処置のデータのみが訓練データセットに含まれるようにスクリーニングすることができる。さらに、いくつかの例では、ＥＲＣＰ処置で使用される内視鏡などの体内治療デバイス情報６３３は、ＭＬモデル訓練プロセスに含まれ得る。カニューレ挿入およびナビゲーションパラメータ推定ユニット６１６は、例えば、訓練済みＭＬモデルを使用してカニューレ／ＧＷの挿入角度を決定することができる。次いで、ナビゲーションコントローラ６２０は、アクチュエータ６０３（またはロボットアーム）を制御して、カニューレ／ＧＷの遠位部分を位置決めし、決定された挿入角度にしたがって十二指腸乳頭に挿入することができる。
【0078】
いくつかの例では、ＭＬモデルは、内視鏡処置データベース６０６内に保管された過去の撮像データおよび処置データを使用して訓練されて、多数の参照制御パターン、例えば、操縦可能な細長い器具６０２（例えば、カニューレ／ＧＷ）に適用する多数の参照進行方向もしくは参照ナビゲーション経路、多数の挿入角度、または多数の力レベルもしくは力範囲を生成することができる。多数の参照制御パターンは、他の条件の中でも、成功率、患者の結果および予後、処置時間のうちの１つまたは複数に基づいて、仕分けする、またはそうでなければグループに分類することができる。カニューレ挿入およびナビゲーションパラメータ推定ユニット６１６は、現在の患者の撮像データに基づいて、参照制御パターンから、例えば、最高の成功率または指定された成功率（例えば、成功率が９０％を超える）に対応する少なくとも１つを選択することができる。次いで、ナビゲーションコントローラ６２０は、アクチュエータ６０３（またはロボットアーム）を制御して、選択された参照制御パターンにしたがってカニューレ／ＧＷの位置決めおよび動作を制御することができる。さらに、ライブ処置から受信したフィードバックに基づいて、カニューレ挿入およびナビゲーションパラメータ推定ユニット６１６は、１つの参照制御パターンから異なる参照制御パターンに切り替えることができる。
【0079】
いくつかの例によれば、２つ以上の異なるＭＬモデルを、例えば、とりわけ、標的解剖学的構造認識、カニューレ挿入またはナビゲーションパラメータ推定、自動内視鏡の位置決めおよびナビゲーション、標的解剖学的構造へのカニューレまたはガイドワイヤ（以下、「カニューレ／ＧＷ」）の自動挿入を含む様々な用途で、個別に訓練、検証し、および使用することができる。例えば、ＥＲＣＰ処置は、内視鏡を十二指腸まで通すステップ、十二指腸乳頭を認識するステップ、カニューレ／ＧＷを乳頭に挿入するステップ、カニューレ／ＧＷの方向または力を調整して膵臓への過剰な圧力を回避するステップを含む、多数のステップを含むことができる。異なるＭＬモデルを訓練し、ＥＲＣＰ処置のそれぞれのステップで使用することができる。一例では、乳頭の場所を特定し、内視鏡を乳頭の前に配置するために、強化学習モデルを、乳頭の内視鏡画像６３１および内視鏡制御ログデータ６３６を使用して訓練して、乳頭に対する内視鏡の正確な場所を決定することができる。カニューレ挿入およびナビゲーションパラメータ推定ユニット６１６は、当該強化学習モデルを使用して、内視鏡が乳頭の前にあるかどうかを決定することができる。ナビゲーションコントローラ６２０は、内視鏡が乳頭の前にないと判定された場合、内視鏡の位置決めを誘導するための制御信号を生成することができる。
【0080】
別の例では、分離されたＭＬモデルは、異なる機能、例えば、関心領域を認識するように訓練される第１のＭＬモデル、および認識された関心領域に関連する最適なカニューレ挿入パラメータを決定するために訓練される第２のＭＬモデルを実行するように訓練することができる。例えば、乳頭が内視鏡画像の中心でキャプチャされるように内視鏡を制御するため、および最適な方向または位置から乳頭の中心にカニューレ／ＧＷの挿入を誘導するために、第１の教師あり学習モデルは、内視鏡アクセスまたはカニューレ挿入のための乳頭の中心など、その特定の空間的または幾何学的特徴を有する十二指腸乳頭を認識するように訓練することができる。さらに、第２の強化学習モデルは、内視鏡を動かして乳頭の中心をキャプチャするための最適な方向を決定するように訓練することができる。第１の教師あり学習モデルおよび第２の強化学習モデルは、乳頭の内視鏡画像６３１、胆管のＭＲＩ画像などの外部画像源６３２、および内視鏡制御ログデータ６３６のうちの１つまたは複数をそれぞれ使用して、別々に訓練することができる。
標的解剖学的構造認識ユニット６１４は、訓練済み教師あり学習モデルを使用して、十二指腸乳頭の中心を位置特定することができる。図７Ａ、図７Ｂは、ＭＬベースの乳頭認識モデルを訓練し、訓練済みＭＬモデルを使用してライブ内視鏡画像から乳頭を検出および位置特定する一例を示す図である。図７Ａは、その間に、ＭＬモデル７２０（例えば、教師あり学習モデル）が、複数の内視鏡画像７１０を使用して訓練されて、内視鏡画像から、高確率で乳頭中心を取り囲む、長方形７１２などの特定の形状の境界ゾーンを決定することができる、ＭＬモデル訓練（または学習）フェーズを示す。図７Ｂは、その間に、訓練済みＭＬモデル７２０がライブ内視鏡画像７３１に適用されてライブ内視鏡画像から乳頭中心を検出および位置特定する推論フェーズを示す。一例では、標的解剖学的構造認識ユニット６１４は、ライブ内視鏡画像７３１上に長方形７１２などの境界ゾーンを重ね合わせ、境界ゾーン内の十二指腸乳頭の中心を検出することができる。カニューレ挿入およびナビゲーションパラメータ推定ユニット６１６は、訓練済み強化学習モデルを使用して、内視鏡が乳頭の中心をキャプチャするのに最適な方向にあるかどうかを決定することができる。ナビゲーションコントローラ６２０は、内視鏡が乳頭の中心をキャプチャするのに最適な位置にないと判定された場合、内視鏡の位置決めを誘導するための制御信号を生成することができる。
標的解剖学的構造認識ユニット６１４は、訓練済み教師あり学習モデルを使用して、十二指腸乳頭の中心を位置特定することができる。図７Ａ、図７Ｂは、ＭＬベースの乳頭認識モデルを訓練し、訓練済みＭＬモデルを使用してライブ内視鏡画像から乳頭を検出および位置特定する一例を示す図である。図７Ａは、その間に、ＭＬモデル７２０（例えば、教師あり学習モデル）が、複数の内視鏡画像７１０を使用して訓練されて、内視鏡画像から、高確率で乳頭中心を取り囲む、長方形７１２などの特定の形状の境界ゾーンを決定することができる、ＭＬモデル訓練（または学習）フェーズを示す。図７Ｂは、その間に、訓練済みＭＬモデル７２０がライブ内視鏡画像７３１に適用されてライブ内視鏡画像から乳頭中心を検出および位置特定する推論フェーズを示す。一例では、標的解剖学的構造認識ユニット６１４は、ライブ内視鏡画像７３１上に長方形７１２などの境界ゾーンを重ね合わせ、境界ゾーン内の十二指腸乳頭の中心を検出することができる。カニューレ挿入およびナビゲーションパラメータ推定ユニット６１６は、訓練済み強化学習モデルを使用して、内視鏡が乳頭の中心をキャプチャするのに最適な方向にあるかどうかを決定することができる。ナビゲーションコントローラ６２０は、内視鏡が乳頭の中心をキャプチャするのに最適な位置にないと判定された場合、内視鏡の位置決めを誘導するための制御信号を生成することができる。
【0081】
さらに別の例では、カニューレ／ＧＷを十二指腸乳頭を通して総胆管まで通した後、カニューレ／ＧＷに加えられる方向または力を調整して、膵臓に加えられる過剰な圧力および潜在的な組織損傷を回避するために、第１の教師あり学習モデルは、カニューレ／ＧＷにかかる力または負荷を推定するように訓練することができる。さらに、第２の強化学習モデルは、総胆管内にカニューレ／ＧＷを挿入するための最適な挿入角度および力を決定するように訓練することができる。第１の教師あり学習モデルおよび第２の強化学習モデルは、乳頭の内視鏡画像６３１、乳頭に隣接する領域のＭＲＩ画像などの外部画像源６３２、カニューレ／ＧＷの遠位部分に配置されたセンサ（例えば、歪みゲージ、圧電センサ、誘導センサ、または静電容量センサ）によって感知される力などのセンサ信号６３４、および内視鏡制御ログデータ６３６（例えば、内視鏡画像上でのカニューレ／ＧＷの動きおよびたわみの時系列変化）を使用して、それぞれ個別に訓練することができる。カニューレ挿入およびナビゲーションパラメータ推定ユニット６１６は、訓練済み教師あり学習モデルを使用して、カニューレ／ＧＷに対する力または負荷を推定することができ、訓練済み強化学習モデルを使用して、挿入角度およびカニューレ／ＧＷに加えられる力を推定することができる。ナビゲーションコントローラ６２０は、カニューレ／ＧＷの位置決めを誘導するための制御信号を生成することができる。
【0082】
造影およびスキャンパラメータ推定ユニット６１８は、訓練済みＭＬモデル、例えば、訓練済みＭＬモデル６１２またはその一部を使用して、１つまたは複数の造影およびスキャンパラメータを自動的に推定することができる。限定ではなく例として、造影およびスキャンパラメータは、他のパラメータの中でも、投与される造影剤の体積（投与量）、造影剤の流速、注入期間、および造影剤を投与するための注入部位（例えば、乳頭を介して）を含むことができる。造影剤が送達ツール、例えば、内視鏡または他の注入デバイスを介して投与される例では、造影およびスキャンパラメータは、注入デバイスまたは内視鏡の位置、方向、向き、または姿勢を含むことができる。造影およびスキャンパラメータとしては、追加的または代替的に、他のパラメータの中でも、スキャンタイミング（すなわち、解剖学的標的または関心のある他の領域の画像を撮影するタイミング）、スキャン期間（放射線量）、スキャン方向、造影剤ボーラス到着時間、または造影剤注入からのスキャン遅延が挙げられ得る。例えば、高品質の画像を取得するために、撮像スキャンのタイミングは、標的となる関心領域の造影強調のピーク時またはその付近に設定することができる。
【0083】
上述したように、ＭＬモデルは、他のアルゴリズムまたは方法論の中でも、教師あり学習、深層学習、教師なし学習、または強化学習を使用して訓練することができる。ＭＬベースの造影およびスキャンパラメータモデルを訓練するには、訓練データセットは、例えば、複数の患者から収集された、内視鏡画像６３１、過去の撮像検査（例えば、Ｘ線、蛍光透視法、ＣＴ、またはＭＲＩスキャン）中の外部画像源６３２、および患者情報６３５を含む、入力データ源６３０からの過去の患者データを使用して構築することができる。訓練データセットはまた、訓練データセット内の各内視鏡画像について、内視鏡画像の撮影時に放射線画像（例えば、Ｘ線、蛍光透視法、ＣＴ、またはＭＲＩ画像）を生成するために使用される造影およびスキャンパラメータを含むことができる。いくつかの例では、患者情報（例えば、標的解剖学的構造内の狭窄（ｓｔｅｎｏｓｉｓ）または狭窄（ｓｔｒｉｃｔｕｒｅ）の存在などの形態学的特徴）、デバイス情報（例えば、サイズ、形状、遠位端曲率などの内視鏡または造影剤注入デバイスの仕様）、および造影剤の特徴（例えば、造影剤の粘性）をまた、訓練データセット内に含むことができる。上述したように、いくつかの例では、訓練データは、他の考慮事項の中でも、同じまたは類似のタイプの処置を実行する医師、現在の患者と実質的に類似の解剖学的構造または医療情報を有する患者、処置の成功率、または患者に関連する合併症に基づいてスクリーニングすることができる。ＭＬモデルの訓練は、訓練されるＭＬモデルが指定された訓練収束基準を満たすまで、１つまたは複数のＭＬモデルパラメータをアルゴリズム的に調整することを含む。
【0084】
訓練済みＭＬモデルは、内視鏡画像（任意選択的に、外部画像、患者情報、デバイス情報、造影剤の特徴などの他の情報と共に）と、最適なまたは所望の造影およびスキャンパラメータとの間の対応を確立することができる。訓練済みＭＬモデルは、造影およびスキャンパラメータ推定ユニット６１８によって使用されて、標的解剖学的構造（例えば、ＥＲＣＰなどの内視鏡処置中に得られるリアルタイムの内視鏡画像）および特定の内視鏡または注入デバイスの所与の画像について、最適な造影およびスキャンパラメータ、例えば、造影剤の最適な投与量、造影剤を投与するための最適な場所、造影剤を注入するための注入デバイスまたは内視鏡の最適な位置および向き、または撮像スキャンを行うための最適なタイミングのうちの１つまたは複数を推定することができる。
【0085】
ナビゲーションコントローラ６２０は、アクチュエータ６０３（例えば、ロボットアーム）を制御して、内視鏡（操縦可能な細長い器具６０２の一例）または注入デバイスの動作をロボットで容易にして、決定された造影およびスキャンパラメータにしたがって、最適な場所に、かつ最適な手法で、最適な投与量の造影剤を送達することができる。追加的または代替的に、ナビゲーションコントローラ６２０は、制御信号を撮像デバイスまたはシステム（例えば、内視鏡撮像デバイス、Ｘ線または蛍光透視法システム）に提供して、決定された造影およびスキャンパラメータにしたがって、撮像デバイスまたはシステムが画像を撮影するタイミングを計る、または造影剤注入に関するスキャン期間、スキャン方向、またはスキャン遅延を決定することができる。
【0086】
本明細書に記載の造影剤投与および撮像／スキャンタイミングに関するＭＬモデルベースの推定または造影およびスキャンパラメータは、造影および放射線管理の効率を改善し、画質を維持しながら放射線被曝を低減し、それによって患者の安全性および診断有効性を高めることができる。
【0087】
図７Ｃ、図７Ｄは、ＭＬモデルを訓練し、訓練済みＭＬモデルを使用して、標的領域の所与の内視鏡画像について１つまたは複数の造影およびスキャンパラメータを推定する一例を示す図である。推定された造影およびスキャンパラメータを使用して、内視鏡処置中の撮像スキャンを誘導することができる。図７Ｃは、その間に、ＭＬモデル７４０（例えば、教師あり学習モデル）が、複数の内視鏡画像７１０ならびに各画像に関連付けられた造影およびスキャンパラメータ７１５を使用して訓練することができる、ＭＬモデル訓練（または学習）フェーズを示す。図７Ｄは、その間に、訓練済みＭＬモデル７４０がライブ内視鏡画像７３１に適用されて、造影およびスキャンパラメータ推定ユニット６１８を使用することなどによって、１つまたは複数の「最適な」または所望の造影およびスキャンパラメータ７４２を推定する、推論フェーズを示す。ナビゲーションコントローラ６２０は、内視鏡または注入デバイスの動作をロボットで容易にして、「最適な」または所望の造影およびスキャンパラメータ７４２にしたがって、造影剤を投与することができる。追加的または代替的に、ナビゲーションコントローラ６２０は、制御信号を撮像デバイスまたはシステムに提供して、推定された１つまたは複数のスキャンパラメータにしたがって、標的解剖学的構造の撮像を調整することができる。
【0088】
ユーザインターフェースデバイス６４０は、出力ユニット６４２と入力ユニット６４５とを含むことができ、これらは、図２に示されるように、それぞれ出力ユニット１８および入力ユニット２０の例である。出力ユニット６４２は、標的解剖学的構造認識ユニット６１４によって認識された標的解剖学的構造の画像を表示することができるディスプレイ６４３を含むことができる。いくつかの例では、ディスプレイ６４３は、カニューレ挿入およびナビゲーションパラメータ推定ユニット６１６によって生成されたカニューレ挿入およびナビゲーションパラメータの視覚的提示を提示することができる。一例では、標的解剖学的構造画像の表示領域は、解剖学的標的に対する内視鏡の遠位端の位置または方向にしたがって自動的に調整することができる。例えば、出力ユニット６４２は、内視鏡の先端が乳頭に近づくにつれて画像を自動的にズームインして、乳頭の詳細を示すことができる。あるいは、ズーミング機能は、入力ユニット６４５を介して、ユーザ（例えば、手術医）によって手動でアクティブ化および調整することができる。一例では、出力ユニット６４２は、入力ユニット６４５を介するなど、ユーザによって指定された方向に解剖学的構造の断面図を表示することができる。一例では、ユーザは、視野角を調整し（例えば、ビューを回転させる）、入力ユニット６４５を介して再構成または統合された３Ｄ画像の３６０度のビューを有することができる。一例では、入力ユニット６４５の少なくとも一部を内視鏡、例えば、内視鏡１４のハンドル部３２に組み込んで、処置中のユーザ動作を容易にすることができる。
【0089】
いくつかの例では、ディスプレイ６４３は、標的解剖学的構造に対する撮像デバイス（例えば、カメラ）の距離および視角に基づいて、視野領域内の標的解剖学的構造を自動的に中心に配置することができる。一例では、コントローラ６０１は、内視鏡の位置決めおよび方向を制御して、撮像デバイスの視野角を調整して、標的解剖学的構造の自動センタリングを達成することができる。追加的または代替的に、コントローラ６０１は、画像プロセッサを制御して、取得された画像を後処理することができ、この後処理には、識別された標的解剖学的構造を視野領域の中心に再位置決めすることが含まれる。
【0090】
いくつかの例では、出力ユニット６４２は、標的解剖学的構造（例えば、十二指腸乳頭）の視覚的指示、標的解剖学的構造に向かって投影されたナビゲーション経路；または投影されたナビゲーション経路に沿って標的解剖学的構造に向かう内視鏡の進行を画像上に表示することができる。表示設定は、ユーザが入力ユニット６４５を介して調整することができる。視覚的指示は、他の視覚的インジケータの中でも、マーカ、注釈（アイコン、テキスト、またはグラフ）、ハイライト、またはアニメーションの形式を取ることができる。例えば、様々な形状、色、形、またはサイズのマーカを再構成または統合された画像上に表示して、様々な組織、解剖学的領域、それらのアクセス可能性または重要性を区別することができる。
【0091】
いくつかの例では、出力ユニット６４２は、造影およびスキャンパラメータ推定ユニット６１８によって生成された推定された造影およびスキャンパラメータをユーザ（例えば、内視鏡医）に表示することができる。ユーザは、推定された造影およびスキャンパラメータをガイドとして使用して、造影剤の投与または内視鏡処置中の標的解剖学的構造の撮像スキャンの取得を支援することができる。
【0092】
出力ユニット６４２は、ナビゲーション計画を参照して、カニューレ挿入またはナビゲーションの状態または進捗に関して、手術医への警告、通知、または他の形式の人間が知覚可能なフィードバックを生成することができる警告およびフィードバック生成器６４４を含むことができる。例えば、不適切なカニューレ挿入に関連する組織損傷のリスクを示す警告を生成することができる。フィードバックは、音声フィードバック、視覚フィードバック、または触覚フィードバックのうちの１つまたは複数の形式であり得る。例えば、内視鏡の先端が「重要ゾーン」に入る、または近づくとき（例えば、閾値距離よりも短い関心のある重要な解剖学的構造までの距離を検出する近接センサ）、重要ゾーンは、そのような距離を表すために様々な色で表示できる（例えば、内視鏡が重要ゾーンに近づくにつれて、緑色ゾーン、黄色ゾーン、および赤色ゾーン）。追加的または代替的に、触覚フィードバック、例えば、タッチまたは振動が生成され、手術医が感じることができる。一例では、警告およびフィードバック生成器６４４は、重要ゾーンまでの距離にしたがって振動強度を自動的に調整することができる。例えば、内視鏡の先端が緑色ゾーンにある場合、低い振動を生成させることができる。システムが、内視鏡の現在の進行速度および方向に基づいて、内視鏡の先端が所定の閾値よりも短い時間で重要ゾーンに到達すると予測した場合、次いで、警告およびフィードバック生成器６４４は、内視鏡の先端が黄色ゾーンに到達すると中程度の振動を加え、内視鏡の先端が赤色ゾーンに到達すると高い振動を加えて、組織損傷のリスクを示すことができる。本明細書に記載の画像誘導内視鏡処置におけるリアルタイムの警告およびフィードバックは、特に経験の浅い医師にとって、カニューレ挿入および内視鏡ナビゲーションの効率を向上させることができ、内視鏡処置の成功率および患者の結果を改善することができる。
【0093】
図８は、内視鏡システムを介して標的解剖学的構造内で操縦可能な細長い器具をロボットで位置決めし、ナビゲートするための１つの例示的な方法８００を示すフローチャートである。操縦可能な管腔内器具としては、とりわけ、診断用または治療用の内視鏡、カニューレ、カテーテル、ガイドワイヤ、またはガイドシースを含むことができる。方法８００は、ロボット内視鏡手術システム５００によって実装および実行することができる。方法８００のプロセスは１つのフローチャートに描かれているが、それらは特定の順序で実行される必要はない。様々な例では、プロセスのいくつかは、本明細書に示される順序とは異なる順序で実行することができる。
【0094】
８１０では、標的解剖学的構造の画像を含む患者情報を、ロボット支援内視鏡処置で使用するために提供することができる。標的解剖学的構造の画像は、内視鏡処置中に内視鏡上の撮像センサによってキャプチャされた十二指腸乳頭およびその周辺環境の内視鏡画像、または例えば、とりわけ、Ｘ線もしくは蛍光透視法画像、電位マップもしくは電気インピーダンスマップ、ＣＴ画像、ＭＲＩ画像、例えば、磁気共鳴胆道膵管造影（ＭＲＣＰ）処置から得られる画像、もしくは音響画像、例えば、超音波内視鏡（ＥＵＳ）画像を含む、他の源からの画像を含むことができる。標的解剖学的構造の画像に加えて、他の情報は、ロボット支援内視鏡処置で使用することができ、これは、図６を参照して上述したように、体内治療デバイス情報、センサ信号、医師情報（例えば、操縦可能な細長い器具を使用する手術医の習慣または好み）、および内視鏡制御ログデータを含むことができる。
【0095】
８２０では、標的解剖学的構造の画像、および任意選択的にステップ８１０で受信された他の情報を、訓練済み機械学習（ＭＬ）モデルに提供して、標的解剖学的構造を認識し、操縦可能な細長い器具を操作するための１つもしくは複数のカニューレ挿入もしくはナビゲーションパラメータ、ならびに／または標的解剖学的構造の撮像スキャンのための１つもしくは複数の造影およびスキャンパラメータを推定することができる。カニューレ挿入またはナビゲーションパラメータの例としては、内視鏡の遠位部分から十二指腸乳頭までの距離など、関心のある解剖学的標的に対する内視鏡または他の操縦可能な細長い器具の遠位部分（例えば、図１に示す内視鏡１４の機能部３０）の位置；解剖学的標的に対する操縦可能な細長い器具の遠位部分の進行方向；カニューレまたはカニューレ挿入に使用される手術要素の挿入角度；カニューレまたは手術要素の突出量；内視鏡の遠位部分または手術要素に加えられる速度または力；手術要素の回転方向または切断領域；および関心のある解剖学的標的に向かって投影されたナビゲーション経路を含むことができる。造影およびスキャンパラメータの例としては、他のパラメータの中でも、造影剤の体積（投与量）；造影剤の流速、注入期間；造影剤を投与するための注入部位（例えば、乳頭を介して）；注入デバイスまたは内視鏡の位置、方向、向き、または姿勢；スキャンタイミング（すなわち、解剖学的標的または関心のある他の領域の画像を撮影するタイミング）；スキャン期間（放射線量）；スキャン方向；造影剤ボーラス到着時間；または造影剤注入からのスキャン遅延が挙げられ得る。
【0096】
ＭＬモデルは、教師あり学習、教師なし学習、または強化学習を使用して訓練することができる。ＭＬモデルは、内視鏡処置データベース６０６内に保管された過去の処置データを使用して訓練することができる。過去の処置データは、複数の患者に対して複数の医師によって実行されたそれぞれの内視鏡処置中に取得された処置データを保管するデータベース内に保管された。
【0097】
８３０では、制御信号をアクチュエータに（ロボットアームを作動させるモータとして）提供して、ステップ８２０で決定された１つまたは複数のカニューレ挿入またはナビゲーションパラメータにしたがって、標的解剖学的構造内での操縦可能な細長い器具の動作（例えば、位置またはナビゲーションの調整）をロボットで容易にすることができる。一例では、制御信号をアクチュエータに提供して、内視鏡または注入デバイスの動作をロボットで支援して、決定された造影およびスキャンパラメータにしたがって、最適な場所に、かつ最適な手法で、最適な投与量の造影剤を送達することができる。一例では、制御信号をアクチュエータに提供して、決定された造影およびスキャンパラメータにしたがって、撮像スキャンのタイミングを計る、または造影剤注入に関するスキャン期間、スキャン方向、またはスキャン遅延を決定する際に、撮像デバイスまたはシステムの動作をロボットで支援することができる。
【0098】
カニューレ挿入またはナビゲーションパラメータ推定、およびロボット支援による位置決めおよびナビゲーションの様々な例について、本明細書で論じる。一例では、訓練済みＭＬモデルを使用して、カニューレ／ＧＷの遠位先端から十二指腸乳頭までの距離に基づいて、カニューレまたはＧＷ（操縦可能な細長い器具の一例）に加えられる力を推定することができる。距離は、近接センサを使用して測定する、または内視鏡画像から推定することができる。カニューレまたはＧＷに加えられる力は、当該距離に反比例し得る。本明細書に記載されているように、重要な解剖学的構造（例えば、十二指腸乳頭、総胆管、および膵臓）までの距離に基づいて力を動的に調整することで、カニューレ／ＧＷによって引き起こされる膵臓実質への損傷を回避または軽減できる。別の例では、ＭＬモデルは、強化学習を使用して訓練し、総胆管または膵胆道系の他の部分内でカニューレ／ＧＷを前進させるための方向、またはナビゲーション経路を決定するために使用することができる。さらに別の例では、ＭＬモデルは、内視鏡処置データベース内に保管された過去の内視鏡処置データに基づいて、カニューレ／ＧＷの挿入角度を推定するように訓練することができる。
【0099】
一例では、ＭＬモデルは、強化学習を使用して訓練し、乳頭に対する内視鏡の正確な場所を決定し、内視鏡が乳頭の前にあるかどうかを決定することができる。内視鏡が乳頭の前にない場合、制御信号をアクチュエータに提供して、内視鏡の位置を自動的に調整することができる。
【0100】
別の例では、乳頭が内視鏡画像の中心でキャプチャされるように内視鏡を制御するため、および最適な方向または位置から乳頭の中心にカニューレ／ＧＷの挿入を誘導するために、第１のＭＬモデルは、教師あり学習を使用して、内視鏡アクセスまたはカニューレ挿入のための乳頭の中心など、その特定の空間的または幾何学的特徴を有する十二指腸乳頭を認識するように訓練することができる。第２のＭＬモデルは、強化学習を使用して、内視鏡を動かして乳頭の中心をキャプチャするための最適な方向を決定するように訓練することができる。
【0101】
さらに別の例では、カニューレ／ＧＷを十二指腸乳頭を通して総胆管まで通した後、カニューレ／ＧＷに加えられる方向または力を調整して、膵臓に加えられる過剰な圧力および潜在的な組織損傷を回避するために、第１のＭＬモデルは、教師あり学習を使用して、カニューレ／ＧＷにかかる力または負荷を推定するように訓練することができる。さらに、第２のＭＬモデルは、強化学習を使用して、総胆管内にカニューレ／ＧＷを挿入するための最適な挿入角度および力を決定するように訓練することができる。制御信号をアクチュエータに提供して、カニューレ／ＧＷの位置決めをロボット制御することができる。
【0102】
８４０では、標的解剖学的構造、ならびに標的解剖学的構造内での操縦可能な細長い器具の位置決めおよびナビゲーションのプロセスを、出力ユニットに表示することができる。カニューレ挿入およびナビゲーションパラメータの視覚的提示もまた、表示することができる。一例では、標的解剖学的構造画像の表示領域は、解剖学的標的に対する内視鏡の遠位端の位置または方向にしたがって自動的に調整することができる。そのような自動調整は、標的解剖学的構造の自動ズーム、視野領域内の標的解剖学的構造の自動センタリング、および視野角の自動調整を含むことができる。一例では、解剖学的標的、解剖学的標的に向かって投影されたナビゲーション経路、または投影されたナビゲーション経路に沿って解剖学的標的に向かって前進する内視鏡の進捗のうちの１つまたは複数の視覚的指示を、出力ユニットに表示中の画像に重ねて表示することができる。いくつかの例では、推定された造影およびスキャンパラメータを、ユーザに表示して、造影剤の投与または内視鏡処置中の標的解剖学的構造の撮像スキャンの取得を支援することができる。いくつかの例では、警告、通知、または他の形式の人間が知覚可能なフィードバックを手術医に提供して、カニューレ挿入またはナビゲーションの状態または進捗を示すことができる。
【0103】
図９は、一般に、本明細書で説明する技術（例えば、方法論）のうちのいずれか１つまたは複数が実行され得る１つの例示的なマシン９００のブロック図を示す。この説明の一部は、ナビゲーション計画ユニット６１０など、ロボット支援ナビゲーションシステム６００の様々な部分のコンピューティングフレームワークに適用することができる。
【0104】
代替的な実施形態では、マシン９００は、スタンドアロンデバイスとして動作してもよく、または他のマシンに接続（例えば、ネットワーク接続）されてもよい。ネットワーク配置では、マシン９００は、サーバクライアントネットワーク環境において、サーバマシン、クライアントマシン、またはその両方の能力で動作することができる。一例では、マシン９００は、ピアツーピア（Ｐ２Ｐ）（または他の分散型）ネットワーク環境においてピアマシンとして機能することができる。マシン９００は、パーソナルコンピュータ（ＰＣ）、タブレットＰＣ、セットトップボックス（ＳＴＢ）、携帯情報端末（ＰＤＡ）、携帯電話、Ｗｅｂアプライアンス、ネットワークルータ、スイッチもしくはブリッジ、またはそのマシンによって実行されるアクションを指定する命令（順次またはその他）を実行できる任意のマシンであり得る。さらに、単一のマシンのみが示されているが、用語「マシン」はまた、クラウドコンピューティング、サービスとしてのソフトウェア（ＳａａＳ）、他のコンピュータクラスタ構成など、本明細書で説明する方法論のいずれか１つまたは複数を実行するために命令のセット（または多数のセット）を個別にまたは共同で実行するマシンの任意の集合を含むものと解釈されるべきである。
【0105】
本明細書で説明する例は、論理もしくは多数のコンポーネント、または機構を含んでもよく、またはそれらによって動作してもよい。回路セットは、ハードウェア（例えば、単純な回路、ゲート、論理など）を含む有形のエンティティに実装された回路の集合である。回路セットの部材構成は、時間および基になるハードウェアのばらつきに応じて柔軟であり得る。回路セットは、動作時に指定された動作を単独または組み合わせて実行できる部材を含む。一例では、回路セットのハードウェアは、特定の動作を実行するように不変に設計されてもよい（例えば、ハードワイヤード）。一例では、回路セットのハードウェアは、特定の動作の命令をエンコードするために物理的に変更された（例えば、不変質量粒子の磁気的、電気的、可動配置など）コンピュータ可読媒体を含む、可変的に接続された物理コンポーネント（例えば、実行ユニット、トランジスタ、単純な回路など）を含むことができる。物理コンポーネントを接続する際に、ハードウェア構成要素の基礎となる電気的特性が、例えば、絶縁体から導体に、またはその逆に変更される。この命令により、組み込みハードウェア（例えば、実行ユニットまたはローディングメカニズム）は、可変接続を介してハードウェアに回路セットの部材を作製して、動作時に特定の動作の一部を実行することを可能にする。したがって、コンピュータ可読媒体は、デバイスが動作しているとき、回路セット部材の他のコンポーネントに通信可能に連結される。一例では、物理コンポーネントのいずれも、２つ以上の回路セットの２つ以上の部材で使用することができる。例えば、動作中、実行ユニットは、ある時点で第１の回路セットの第１の回路で使用され、第１の回路セット内の第２の回路によって、または異なる時点で第２の回路セット内の第３の回路によって再使用され得る。
【0106】
マシン（例えば、コンピュータシステム）９００は、ハードウェアプロセッサ９０２（例えば、中央処理装置（ＣＰＵ）、グラフィックス処理装置（ＧＰＵ）、ハードウェアプロセッサコア、またはそれらの任意の組み合わせ）、メインメモリ９０４、およびスタティックメモリ９０６を含むことができ、それらの一部または全ては、インターリンク（例えば、バス）９０８を介して互いに通信することができる。マシン９００は、ディスプレイユニット９１０（例えば、ラスタディスプレイ、ベクトルディスプレイ、ホログラフィックディスプレイなど）、英数字入力デバイス９１２（例えば、キーボード）、およびユーザインターフェース（ＵＩ）ナビゲーションデバイス９１４（例えば、マウス）をさらに含むことができる。一例では、ディスプレイユニット９１０、入力デバイス９１２、およびＵＩナビゲーションデバイス９１４は、タッチスクリーンディスプレイであってもよい。マシン９００は、保管デバイス（例えば、駆動ユニット）９１６、信号生成デバイス９１８（例えば、スピーカ）、ネットワークインターフェースデバイス９２０、および１つまたは複数のセンサ９２１、例えば、全地球測位システム（ＧＰＳ）センサ、コンパス、加速度計、または他のセンサをさらに含むことができる。マシン９００は、１つまたは複数の周辺デバイス（例えば、プリンタ、カードリーダなど）と通信または制御するために、出力コントローラ９２８、例えば、シリアル（例えば、ユニバーサルシリアルバス（ＵＳＢ））、パラレル、または他の有線もしくは無線（例えば、赤外線（ＩＲ）、近距離通信（ＮＦＣ）など）接続を含むことができる。
【0107】
保管デバイス９１６は、本明細書に記載の技術または機能のいずれか１つまたは複数によって具現化または利用するデータ構造または命令９２４（例えば、ソフトウェア）の１つまたは複数のセットが保管される機械可読媒体９２２を含むことができる。命令９２４はまた、マシン９００によるその実行中に、メインメモリ９０４内、スタティックメモリ９０６内、またはハードウェアプロセッサ９０２内に、完全にまたは少なくとも部分的に常駐することができる。一例では、ハードウェアプロセッサ９０２、メインメモリ９０４、スタティックメモリ９０６、または保管デバイス９１６の１つまたは任意の組み合わせが、機械可読媒体を構成することができる。
【0108】
機械可読媒体９２２は単一の媒体として示されているが、用語「機械可読媒体」は、１つまたは複数の命令９２４を保管するように構成された単一の媒体または多数の媒体（例えば、集中型もしくは分散型データベース、ならびに／または関連するキャッシュおよびサーバ）を含むことができる。
【0109】
用語「機械可読媒体」は、マシン９００による実行のために命令を保管、エンコード、または運ぶことができ、かつマシン９００に本開示の技術のうちの任意の１つまたは複数を実行させ、またはそのような命令によって使用される、もしくはそのような命令に関連するデータ構造を保管、エンコード、または運ぶことができる、任意の媒体を含むことができる。非限定的な機械可読媒体の例としては、ソリッドステートメモリ、ならびに光学および磁気媒体が挙げられ得る。一例では、質量機械可読媒体は、不変（例えば、静止）質量を有する複数の粒子を有する機械可読媒体を含む。したがって、質量機械可読媒体は、一時的な伝播信号ではない。質量機械可読媒体の具体例としては、不揮発性メモリ、例えば、半導体メモリデバイス（例えば、電気的にプログラム可能な読み出し専用メモリ（ＥＰＲＯＭ）、電気的に消去可能なプログラム可能な読み出し専用メモリ（ＥＰＳＯＭ））、およびフラッシュメモリデバイス；磁気ディスク、例えば、内蔵ハードディスク、およびリムーバブルディスク；光磁気ディスク；ならびにＣＤ－ＲＯＭおよびＤＶＤ－ＲＯＭディスクが挙げられ得る。
【0110】
命令９２４はさらに、多数の転送プロトコル（例えば、フレームリレー、インターネットプロトコル（ＩＰ）、伝送制御プロトコル（ＴＣＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）など）のうちのいずれか１つを利用するネットワークインターフェースデバイス９２０を介して、伝送媒体を使用して通信ネットワーク９２６を介して伝送または受信することができる。例示的な通信ネットワークとしては、とりわけ、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、パケットデータネットワーク（例えば、インターネット）、携帯電話ネットワーク（例えば、セルラーネットワーク）、基本電話（ＰＯＴＳ）ネットワーク、および無線データネットワーク（例えば、ＷｉＦｉ（登録商標）として知られるＩｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ（ＩＥＥＥ）８０２．１１ファミリの規格、ＷｉＭａｘ（登録商標）として知られるＩＥＥＥ ８０２．１６ファミリの規格）、ＩＥＥＥ ８０２．１５．４ファミリの規格、ピアツーピア（Ｐ２Ｐ）ネットワークが挙げられる。一例では、ネットワークインターフェースデバイス９２０は、通信ネットワーク９２６に接続するために、１つもしくは複数の物理ジャック（例えば、イーサネット、同軸、または電話ジャック）または１つもしくは複数のアンテナを含むことができる。一例では、ネットワークインターフェースデバイス９２０は、単入力多出力（ＳＩＭＯ）、多入力多出力（ＭＩＭＯ）、または多入力単出力（ＭＩＳＯ）技術のうちの少なくとも１つを使用して無線通信するための複数のアンテナを含むことができる。用語「伝送媒体」は、マシン９００による実行のための命令を保管、エンコード、または運ぶことができる任意の無形媒体を含み、そのようなソフトウェアの通信を容易にするためのデジタルもしくはアナログ通信信号または他の無形媒体を含むものと解釈されるべきである。
【0111】
（付記）
上記の発明を実施するための形態は、詳細な説明の一部を形成する添付の図面への参照を含む。図面は、例示として、本発明を実施できる特定の実施形態を示している。これらの実施形態はまた、本明細書では「例」とも呼ばれる。そのような例は、図示または記載のものに加えて要素を含むことができる。
しかし、本発明者らはまた、図示または記載の要素のみが提供される例も企図する。さらに、本発明者らはまた、特定の例（またはその１つまたは複数の態様）に関して、または本明細書に図示または記載の他の例（またはその１つまたは複数の態様）に関してのいずれかで、図示または説明した要素（またはその１つまたは複数の態様）の任意の組み合わせまたは順列を使用する例を企図する。
上記の発明を実施するための形態は、詳細な説明の一部を形成する添付の図面への参照を含む。図面は、例示として、本発明を実施できる特定の実施形態を示している。これらの実施形態はまた、本明細書では「例」とも呼ばれる。そのような例は、図示または記載のものに加えて要素を含むことができる。
しかし、本発明者らはまた、図示または記載の要素のみが提供される例も企図する。さらに、本発明者らはまた、特定の例（またはその１つまたは複数の態様）に関して、または本明細書に図示または記載の他の例（またはその１つまたは複数の態様）に関してのいずれかで、図示または説明した要素（またはその１つまたは複数の態様）の任意の組み合わせまたは順列を使用する例を企図する。
【0112】
本明細書では、用語「１つ（ａ）」または「１つ（ａｎ）」は、特許文書で一般的であるように、「少なくとも１つ」または「１つまたは複数」の他の例または用法とは無関係に、１つまたは複数を含むために使用される。本明細書では、用語「または（ｏｒ）」は、特に明記しない限り、「ＡまたはＢ（Ａ ｏｒ Ｂ）」が、「ＡであるがＢではない（Ａ ｂｕｔ ｎｏｔ Ｂ）」、「ＢであるがＡではない（Ｂ ｂｕｔ ｎｏｔ Ａ）」、および「ＡおよびＢ（Ａ ａｎｄ Ｂ）」を含むように、非排他的なまたは（ｏｒ）を指すために使用される。本明細書では、用語「含む（ｉｎｃｌｕｄｉｎｇ）」および「そこにおいて（ｉｎ ｗｈｉｃｈ）」は、用語「含む（ｃｏｍｐｒｉｓｉｎｇ）」および「そこにおいて（ｗｈｅｒｅｉｎ）」というそれぞれの平易な英語の同等物として使用される。また、以下の特許請求の範囲において、用語「含む（ｉｎｃｌｕｄｉｎｇ）」および「含む（ｃｏｍｐｒｉｓｉｎｇ）」はオープンエンドであり、すなわち、特許請求の範囲内のそのような用語の後にリストされている要素に加えて要素を含むシステム、デバイス、物品、組成物、配合物、またはプロセスは、依然としてその特許請求の範囲内にあると見なされる。さらに、以下の特許請求の範囲では、用語「第１の」、「第２の」、および「第３の」などは単にラベルとして使用されており、それらの対象に数値要件を課すことを意図しない。
【0113】
上記の説明は、例示を意図したものであり、限定を意図したものではない。例えば、上述の例（またはその１つまたは複数の態様）は、互いに組み合わせて使用することができる。上記の説明を検討する当業者などによって、他の実施形態を使用することができる。要約は、読者が技術的開示の性質を迅速に確認できるように、３７Ｃ．Ｆ．Ｒ．§１．７２（ｂ）に準拠するように提供される。特許請求の範囲または意味を解釈または限定するために使用されないことを理解して提出される。また、上記の発明を実施するための形態では、本開示を合理化するために、様々な特徴を一緒にグループ化することができる。これは、特許請求されていない開示された特徴が任意の特許請求の範囲に必須であることを意図していると解釈されるべきではない。むしろ、本発明の主題は、特定の開示された実施形態の全ての特徴よりも少ない特徴にあり得る。したがって、以下の特許請求の範囲は、例または実施形態として発明を実施するための形態に組み込まれ、各請求項は別個の実施形態として独立しており、そのような実施形態は、様々な組み合わせまたは順列で互いに組み合わせることができると企図される。本発明の範囲は、添付の特許請求の範囲を参照して、そのような特許請求の範囲が権利を与えられている均等物の全範囲と共に決定されるべきである。
【符号の説明】
【0114】
１０ 内視鏡検査システム
１２ 撮像および制御システム
１４ 内視鏡
１６ 制御ユニット
１８ 出力ユニット
２０ 入力ユニット
２２ 光源
２４ 流体源
２６ 吸引ポンプ
２８ 挿入部
３０ 機能部
３２ ハンドル部
３４ ケーブル部
３６ 連結部
３８ 制御ノブ
４０ ポート
４１ カート
４２ 画像処理ユニット
４４ 治療生成器
４６ 駆動ユニット
２００ 手術器具
３０１ 口
３０３ 膵臓
３０４ 肝臓
３０５ 胆嚢
３０６ 食道
３０７ 胃
３０８ 十二指腸
３０９ 腸
３１０ オッディ括約筋
３１１ 胆嚢管
３１２ 総胆管
３１４ 十二指腸乳頭
３１６ 膵管
３２２ ガイドシース
３２４ 胆管鏡
４００ メインスコープ
４０２ 機能モジュール
４０４ 挿入部モジュール
４０６ 制御モジュール
４０８ コントローラ
４１０ 撮像ユニット
４１２ 照明ユニット
４１４ 電源ユニット
４３０ エレベータ部分
４３２ 管腔
４３４ 補助スコープ
４３６ 管腔
４３７ カメラレンズ
４５０ 内視鏡処置データ生成器
４６０ 治療計画生成器
５００ ロボット内視鏡手術システム
５０１ 外科医
５０２ 患者
５１０ 制御コンソール
５２０ ロボットアーム
５３０ 器具
６００ ロボット支援ナビゲーションシステム
６０１ コントローラ
６０２ 器具
６０３ アクチュエータ
６０６ 内視鏡処置データベース
６１０ ナビゲーション計画ユニット
６１２ ＭＬモデル
６１４ 標的解剖学的構造認識ユニット
６１６ カニューレ挿入およびナビゲーションパラメータ推定ユニット
６１８ 造影およびスキャンパラメータ推定ユニット
６２０ ナビゲーションコントローラ
６３０ 入力データ源
６３１ 内視鏡画像
６３２ 外部画像源
６３３ 体内治療デバイス情報
６３４ センサ信号
６３５ 医師／患者情報
６３６ 内視鏡制御ログデータ
６４０ ユーザインターフェースデバイス
６４２ 出力ユニット
６４３ ディスプレイ
６４４ 警告およびフィードバック生成器
６４５ 入力ユニット
７１０ 内視鏡画像
７１２ 長方形
７１５ 造影およびスキャンパラメータ
７２０ ＭＬモデル
７３１ ライブ内視鏡画像
７４０ ＭＬモデル
７４２ 造影およびスキャンパラメータ
８００ 方法
９００ マシン
９０２ ハードウェアプロセッサ
９０４ メインメモリ
９０６ スタティックメモリ
９１０ ディスプレイデバイス
９１２ 英数字入力デバイス
９１４ ＵＩナビゲーションデバイス
９１６ 保管デバイス
９１８ 信号生成デバイス
９２０ ネットワークインターフェースデバイス
９２１ センサ
９２２ 機械可読媒体
９２４ 命令
９２６ 通信ネットワーク
９２８ 出力コントローラ
１２ 撮像および制御システム
１４ 内視鏡
１６ 制御ユニット
１８ 出力ユニット
２０ 入力ユニット
２２ 光源
２４ 流体源
２６ 吸引ポンプ
２８ 挿入部
３０ 機能部
３２ ハンドル部
３４ ケーブル部
３６ 連結部
３８ 制御ノブ
４０ ポート
４１ カート
４２ 画像処理ユニット
４４ 治療生成器
４６ 駆動ユニット
２００ 手術器具
３０１ 口
３０３ 膵臓
３０４ 肝臓
３０５ 胆嚢
３０６ 食道
３０７ 胃
３０８ 十二指腸
３０９ 腸
３１０ オッディ括約筋
３１１ 胆嚢管
３１２ 総胆管
３１４ 十二指腸乳頭
３１６ 膵管
３２２ ガイドシース
３２４ 胆管鏡
４００ メインスコープ
４０２ 機能モジュール
４０４ 挿入部モジュール
４０６ 制御モジュール
４０８ コントローラ
４１０ 撮像ユニット
４１２ 照明ユニット
４１４ 電源ユニット
４３０ エレベータ部分
４３２ 管腔
４３４ 補助スコープ
４３６ 管腔
４３７ カメラレンズ
４５０ 内視鏡処置データ生成器
４６０ 治療計画生成器
５００ ロボット内視鏡手術システム
５０１ 外科医
５０２ 患者
５１０ 制御コンソール
５２０ ロボットアーム
５３０ 器具
６００ ロボット支援ナビゲーションシステム
６０１ コントローラ
６０２ 器具
６０３ アクチュエータ
６０６ 内視鏡処置データベース
６１０ ナビゲーション計画ユニット
６１２ ＭＬモデル
６１４ 標的解剖学的構造認識ユニット
６１６ カニューレ挿入およびナビゲーションパラメータ推定ユニット
６１８ 造影およびスキャンパラメータ推定ユニット
６２０ ナビゲーションコントローラ
６３０ 入力データ源
６３１ 内視鏡画像
６３２ 外部画像源
６３３ 体内治療デバイス情報
６３４ センサ信号
６３５ 医師／患者情報
６３６ 内視鏡制御ログデータ
６４０ ユーザインターフェースデバイス
６４２ 出力ユニット
６４３ ディスプレイ
６４４ 警告およびフィードバック生成器
６４５ 入力ユニット
７１０ 内視鏡画像
７１２ 長方形
７１５ 造影およびスキャンパラメータ
７２０ ＭＬモデル
７３１ ライブ内視鏡画像
７４０ ＭＬモデル
７４２ 造影およびスキャンパラメータ
８００ 方法
９００ マシン
９０２ ハードウェアプロセッサ
９０４ メインメモリ
９０６ スタティックメモリ
９１０ ディスプレイデバイス
９１２ 英数字入力デバイス
９１４ ＵＩナビゲーションデバイス
９１６ 保管デバイス
９１８ 信号生成デバイス
９２０ ネットワークインターフェースデバイス
９２１ センサ
９２２ 機械可読媒体
９２４ 命令
９２６ 通信ネットワーク
９２８ 出力コントローラ
【図1】
【図2】
【図3A】
【図3B】
【図4】
【図5】
【図6】
【図7A】
【図7B】
【図7C】
【図7D】
【図8】
【図9】