特表 2024-506107 連続体ロボット装置、方法及び媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-02-08

(54)【発明の名称】連続体ロボット装置、方法及び媒体

(51)【国際特許分類】

   A61B 1/045 20060101AFI20240201BHJP

【ＦＩ】

A61B1/045 610

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023549847

(86)(22)【出願日】2022-02-16

(85)【翻訳文提出日】2023-10-12

(86)【国際出願番号】 US2022016660

(87)【国際公開番号】W WO2022178031

(87)【国際公開日】2022-08-25

(31)【優先権主張番号】63/150,859

(32)【優先日】2021-02-18

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】596130705

【氏名又は名称】キヤノン ユーエスエイ，インコーポレイテッド

【氏名又は名称原語表記】ＣＡＮＯＮ Ｕ．Ｓ．Ａ．，ＩＮＣ

(71)【出願人】

【識別番号】503146324

【氏名又は名称】ザ ブリガム アンド ウィメンズ ホスピタル インコーポレイテッド

【氏名又は名称原語表記】Ｔｈｅ Ｂｒｉｇｈａｍ ａｎｄ Ｗｏｍｅｎ’ｓ Ｈｏｓｐｉｔａｌ， Ｉｎｃ．

(74)【代理人】

【識別番号】100090273

【弁理士】

【氏名又は名称】國分 孝悦

(72)【発明者】

【氏名】正木 文太郎

(72)【発明者】

【氏名】キング フランクリン

(72)【発明者】

【氏名】加藤 貴久

(72)【発明者】

【氏名】ニンニ ブライアン

(72)【発明者】

【氏名】チャン フアレイ シェリー

(72)【発明者】

【氏名】波多 伸彦

【テーマコード（参考）】

4C161

【Ｆターム（参考）】

4C161AA07

4C161CC06

4C161FF43

4C161HH47

4C161HH51

4C161HH55

4C161WW06

(57)【要約】

表示画像が回転した場合に、ツールチャネル又はカメラの動く方向又は曲がる方向の補正を行うための装置。本装置は、少なくとも１つのメモリと、メモリに格納された命令を実行する少なくとも１つのプロセッサとを備え、命令は、カメラのキャプチャ方向の方向コマンドを受け取る命令と、受け取られた方向コマンドに従って、カメラのキャプチャ方向を動かす命令と、モニタに表示されたキャプチャ画像の回転量を検出する命令であって、キャプチャ画像はカメラによってキャプチャされる、検出する命令と、検出された回転量に基づいて、カメラを動かすための特定の方向コマンド又は方向座標に対応する方向情報を補正する命令と、を含み、方向情報は、カメラのキャプチャ方向を動かすために用いられる。
【選択図】図４

【特許請求の範囲】

【請求項1】

表示画像が回転した場合に、ツールチャネル又はカメラの動く方向又は曲がる方向の補正を行うための装置であって、前記装置は、
少なくとも１つのメモリと、
前記メモリに格納された命令を実行する少なくとも１つのプロセッサと、
を備え、
前記命令は、
カメラのキャプチャ方向の方向コマンドを受け取る命令と、
受け取られた前記方向コマンドに従って、前記カメラの前記キャプチャ方向を動かす命令と、
モニタに表示されたキャプチャ画像の回転量を検出することであって、前記キャプチャ画像は前記カメラによってキャプチャされる、検出する命令と、
検出された前記回転量に基づいて、前記カメラを動かすための特定の方向コマンド又は方向座標に対応する方向情報を補正する命令と、
を含み、
前記方向情報は、前記カメラの前記キャプチャ方向を動かすために用いられる、
装置。

【請求項2】

入力機器を更に備える、請求項１に記載の装置。

【請求項3】

ガイド部を更に備える、請求項１に記載の装置。

【請求項4】

コントローラを更に備える、請求項１に記載の装置。

【請求項5】

ディスプレイを更に備える、請求項１に記載の装置。

【請求項6】

回転機構を更に備える、請求項１に記載の装置。

【請求項7】

連続体ロボット又は光ファイバカメラである、請求項１に記載の装置。

【請求項8】

前記少なくとも１つのプロセッサは、フォローザリーダープロセスを更に実行する、
請求項１に記載の装置。

【請求項9】

前記少なくとも１つのプロセッサは、基底座標制御を更に実行する、
請求項１に記載の装置。

【請求項10】

前記少なくとも１つのプロセッサは、人工知能又は機械学習を更に実行する、
請求項１に記載の装置。

【請求項11】

前記人工知能又は機械学習は反復型（iterative）である、請求項１０に記載の装置。

【請求項12】

表示画像が回転した場合に、ツールチャネル又はカメラの動く方向又は曲がる方向の補正を行うための装置の作動方法であって、前記方法は、
カメラのキャプチャ方向の方向コマンドを受け取るステップと、
受け取られた前記方向コマンドに従って、前記カメラの前記キャプチャ方向を動かすステップと、
モニタに表示されたキャプチャ画像の回転量を検出するステップであって、前記キャプチャ画像は前記カメラによってキャプチャされる、検出するステップと、
検出された前記回転量に基づいて、前記カメラを動かすための特定の方向コマンド又は方向座標に対応する方向情報を補正するステップと、
を含み、
前記方向情報は、前記カメラの前記キャプチャ方向を動かすために用いられる、
方法。

【請求項13】

前記装置に入力機器を設けるステップを更に含む、請求項１２に記載の方法。

【請求項14】

前記装置にガイド部を設けるステップを更に含む、請求項１２に記載の方法。

【請求項15】

前記装置にコントローラを設けるステップを更に含む、請求項１２に記載の方法。

【請求項16】

前記装置にディスプレイを設けるステップを更に含む、請求項１２に記載の方法。

【請求項17】

前記装置に回転機構を設けるステップを更に含む、請求項１２に記載の方法。

【請求項18】

前記装置は、連続体ロボット又は光ファイバカメラである、
請求項１２に記載の方法。

【請求項19】

フォローザリーダープロセスを実行するステップを更に含む、請求項１２に記載の方法。

【請求項20】

基底座標制御を実行するステップを更に含む、請求項１２に記載の方法。

【請求項21】

人工知能又は機械学習を実行するステップを更に含む、請求項１２に記載の方法。

【請求項22】

前記人工知能又は機械学習は反復型である、請求項２１に記載の方法。

【請求項23】

表示画像が回転した場合に、ツールチャネル又はカメラの動く方向又は曲がる方向の補正を行うための装置の作動方法をコンピュータに実行させるプログラムを格納している記憶媒体であって、前記方法は、
カメラのキャプチャ方向の方向コマンドを受け取るステップと、
受け取られた前記方向コマンドに従って、前記カメラの前記キャプチャ方向を動かすステップと、
モニタに表示されたキャプチャ画像の回転量を検出するステップであって、前記キャプチャ画像は前記カメラによってキャプチャされる、検出するステップと、
検出された前記回転量に基づいて、前記カメラを動かすための特定の方向コマンド又は方向座標に対応する方向情報を補正するステップと、
を含み、
前記方向情報は、前記カメラの前記キャプチャ方向を動かすために用いられる、
記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願への相互参照
本願は、２０２１年２月１８日に出願された米国仮特許出願第６３／１５０，８５９号（その全体が参照により本明細書に援用される）からの優先権の利益を主張する。

【0002】

本開示は、一般にイメージングに関し、より具体的には、表示画像が回転した場合に、ツールチャネル又はカメラの動く方向又は曲がる方向の自動補正を実施するための連続体ロボット装置、方法及び記憶媒体に関する。

【背景技術】

【0003】

内視鏡検査や気管支鏡検査、その他の医療手技により、体内を容易に見ることができる。そのような手技では、軟性の医用ツールを患者の体内に挿入し、ツールに器具を通して、体内の領域を検査したり治療したりすることができる。気管支鏡は、患者の気道の中を見るための内視鏡器具である。カテーテルや他の医用ツールは、気管支鏡のツールチャネルを通して挿入され、診断や治療等の対象となる患者の標的領域までの経路を提供することができる。

【0004】

気管支鏡内にカメラ等の撮像機器を配置して、患者内部の画像をキャプチャすることができ、ディスプレイやモニタを用いて、キャプチャされた画像を見ることができる。カメラの動きと画面上のキャプチャ画像の動きとの間で、キャリブレーションを行うことができる。キャリブレーションが実行された後にキャプチャ画像が表示座標上で回転すると、表示画像の位置とモニタの位置との関係が変化する。一方、位置を移動又は変化させるための特定のコマンド、例えばツールチャネル又はカメラ、或いはカメラのキャプチャ方向を動かしたり変化させたりするコマンドが受信された場合、ツールチャネル又はカメラは、表示画像の回転に関係なく、同じように動いたり曲がったりする可能性がある。これにより、モニタの位置と、特定のコマンド（例えばジョイスティックを上下左右に傾ける）に従ってツールチャネル又はカメラがモニタ上で動く方向との関係に変化が生じる。例えば、キャリブレーションが実行されると、ジョイスティックを上方向に傾けることにより、ツールチャネル又はカメラは、モニタの上部に対応する方向に曲がることができる。しかしながら、ディスプレイ上のキャプチャ画像が回転した後では、ジョイスティックを上方向に傾けることにより、ツールチャネル又はカメラは、モニタの上部に対応する方向には曲がらずに、モニタの斜め上の方向に曲がる可能性がある。このように、カメラとモニタの間のユーザインタラクションが複雑になってしまう。

【0005】

このような懸念を克服し、表示画像が回転した場合にツールチャネル又はカメラの動く方向又は曲がる方向の自動補正を実施することが有益であろう。

【発明の概要】

【0006】

本開示の態様に係る、表示画像が回転した場合に、ツールチャネル又はカメラの動く方向又は曲がる方向の補正を行うための装置。本装置は、少なくとも１つのメモリと、メモリに格納された命令を実行する少なくとも１つのプロセッサとを備え、命令は、カメラのキャプチャ方向の方向コマンドを受け取る命令と、受け取られた方向コマンドに従って、カメラのキャプチャ方向を動かす命令と、モニタに表示されたキャプチャ画像の回転量を検出する命令であって、キャプチャ画像はカメラによってキャプチャされる、検出する命令と、検出された回転量に基づいて、カメラを動かすための特定の方向コマンド又は方向座標に対応する方向情報を補正する命令と、を含み、方向情報は、カメラのキャプチャ方向を動かすために用いられる。

【0007】

本開示の更なる特徴は、添付の図面を参照する例示の実施形態の以下の説明から明らかになるであろう。

【図面の簡単な説明】

【0008】

【図1】図１（図１（ａ）～図１（ｈ）を含む）は、例示の実施形態に係る、ツールチャネル又はカメラの曲げ方向の自動補正を実行しない場合の、表示されたカメラ画像の回転を図示する。

【図2】図２（図２（ａ）～図２（ｈ）を含む）は、例示の実施形態に係る、ツールチャネル又はカメラの曲げ方向の自動補正を実行する場合の、表示されたカメラ画像の回転を図示する。

【図3】図３（図３（ａ）～図３（ｈ）を含む）は、例示の実施形態に係る、ツールチャネル又はカメラの曲げ方向の自動補正の代替方法を実行する場合の、表示されたカメラ画像の回転を図示する。

【図4】図４は、例示の実施形態に係る、気管支鏡の曲げ方向の自動補正についてのフローチャートを図示する。

【図5】図５は、例示の実施形態に係る連続体ロボット装置の図を示す。

【図6】図６は、例示の実施形態に係る連続体ロボット装置のブロック図を示す。

【図7】図７は、例示の実施形態に係る制御部のブロック図を示す。

【図8(a)】図８（ａ）は、例示の実施形態に係る術語（nomenclature）を図示する。

【図8(b)】図８（ｂ）は、例示の実施形態に係る術語を図示する。

【図9】図９は、例示の実施形態に係る第１の実施形態のブロック図を示す。

【図10】図１０は、例示の実施形態に係る、気管支鏡の曲げ方向の自動補正についての第１の実施形態のフローチャートを図示する。

【図11】図１１は、例示の実施形態に係る、ロールが補正されていないカメラビューを図示する。

【図12】図１２は、例示の実施形態に係る、左主気管支と右主気管支が横並びに整列しているカメラビューを図示する。

【図13】図１３は、例示の実施形態に係る、カメラビュー上に矢印インジケータがオーバーレイされているカメラビューを図示する。

【図14】図１４は、例示の実施形態に係る、位置Ｓまでのカメラの引戻しを図示する。

【図15】図１５は、例示の実施形態に係る、位置Ｓでのカメラビューを図示する。

【図16】図１６は、例示の実施形態に係る、気管支鏡の曲げ方向の自動補正についての第２の実施形態のフローチャートを図示する。

【図17】図１７は、例示の実施形態に係る、カメラビューの下部に参照カラーマークＲが見えているカメラビューを図示する。

【図18】図１８は、例示の実施形態に係る、ロールが補正されていないカメラビューを図示する。

【図19】図１９は、例示の実施形態に係る、回転機構を備える第３の実施形態のブロック図を示す。

【図20】図２０は、例示の実施形態に係る、鼻参照マークＮを用いてカメラを位置Ｓまで引き戻す様子を図示する。

【図21】図２１は、例示の実施形態に係る第３の実施形態のフローチャートを図示する。

【発明を実施するための形態】

【0009】

図面を参照して、本開示の様々な例示の実施形態、特徴及び態様を説明する。

【0010】

以下の実施形態では、軟性内視鏡と機能的に相互作用し得る連続体ロボット構成を説明する。説明される連続体ロボット構成は、様々な特性、利点、欠点、性能パラメータ等を有する場合がある。本開示は、いかなる特定の構成にも限定されない。

【0011】

一部の実施形態によれば、表示画像が回転した場合に、ツールチャネル又はカメラの動く方向又は曲がる方向が自動的に補正される。後述する連続体ロボット構成により、表示画像が回転した場合であっても、モニタ上の方向（モニタの上下左右）と、特定の方向コマンド（上下左右）に従ってツールチャネル又はカメラがモニタ上で動く方向との対応を維持することが可能となる。

【0012】

一部の実施形態によれば、連続体ロボット装置構成は、撮像機器及び医用ツールのためのツールチャネルを備え得るロボット気管支鏡装置として説明され、撮像機器及び医用ツールは、それらを挿入及び引戻しすることによって交換される。撮像機器は、カメラその他の撮像機器である場合があり、医用ツールは、生検ツールその他の医用機器である場合がある。

【0013】

ロボット気管支鏡装置は、１つ以上の表示装置及び制御装置に関連して使用される。

【0014】

表示装置は、モニタ上に、カメラによってキャプチャされた画像を表示する。また、表示装置は、キャプチャ画像の表示に用いられる表示座標を有する。例えば、モニタの上下左右は、表示座標の軸によって規定され、モニタに対するキャプチャ画像の相対位置は、表示座標上で規定される。

【0015】

また、制御装置は、ツールチャネル又はカメラの動作方向を制御する。例えば、ツールチャネル又はカメラは、制御システムの制御に従って曲がる。制御装置は、操作コントローラ（例えばゲームパッドやジョイスティック等）と、制御座標とを有する。制御座標は、ツールチャネル又はカメラの動く（又は曲がる）方向を規定する。制御座標は、操作コントローラによって特定のコマンドが入力されたときにツールチャネル又はカメラが動く方向又は曲がる方向を規定する。例えば、ユーザが操作コントローラを介して「上」コマンドを入力すると、ツールチャネル又はカメラは、制御座標によって上方向として規定された方向に向かって動く。

【0016】

ユーザがロボット気管支鏡を操作する前に、キャリブレーションが実行される。キャリブレーションにより、特定のコマンド（上下左右）に従ってツールチャネル又はカメラが動いたり曲がったりする方向が、ディスプレイ（又は表示座標）上の方向（上下左右）に一致するように調節される。

【0017】

例えば、表示座標上の表示画像の上方向が、制御座標上の上方向（ツールチャネル又はカメラが「上」コマンドに従って動く方向）に対応するように、キャリブレーションが実行される。

【0018】

キャリブレーションにより、ユーザがツールチャネル又はカメラの「上」コマンドを入力した場合に、ツールチャネル又はカメラは、制御座標上の上方向に曲がる。ツールチャネル又はカメラが曲がる方向は、ディスプレイに表示されたキャプチャ画像の上方向に対応する。

【0019】

更に、表示座標上のキャプチャ画像の表示の回転機能が実行される場合がある。例えば、カメラが配備されるとき、カメラビューの向き（上下左右）は、医師その他の医療従事者が通常の気管支鏡手技において一般に目にする気管支鏡カメラビューの従来の向きと一致するべきである。すなわち、左右の主気管支は、モニタ上で横並びに表示されるべきである。そして、キャプチャ画像内の左右の主気管支がディスプレイ上で横並びに表示されていない場合、ユーザは、左右の主気管支がモニタ上で横並びに表示されるように、表示座標上でキャプチャ画像を回転させる。

【0020】

キャリブレーションが実行された後にキャプチャ画像が表示座標上で回転すると、表示画像の上下左右とモニタの上下左右との関係が変化する。一方、特定のコマンド（例えばツールチャネル又はカメラ（或いは、カメラのキャプチャ方向）を上下左右に動かすコマンド）が受信された場合、ツールチャネル又はカメラは、表示画像の回転に関係なく、同じように動いたり曲がったりする。

【0021】

これにより、モニタの上下左右と、特定のコマンド（例えばジョイスティックを上下左右に傾ける）に従ってツールチャネル又はカメラがモニタ上で（上下左右に）動く方向との関係に、変化が生じる。例えば、キャリブレーションが実行されると、ジョイスティックを上方向に傾けることにより、ツールチャネル又はカメラは、モニタ上部の方向に対応する方向に曲がる。しかしながら、ディスプレイ上のキャプチャ画像が回転した後では、ジョイスティックを上方向に傾けることにより、ツールチャネル又はカメラは、モニタ上部の方向に対応する方向には曲がらずに、モニタの斜め上の方向に曲がる可能性がある。このように、ユーザインタラクションが複雑になってしまう。

【0022】

連続体ロボット装置にカメラが挿入されるとき、操作者は、カメラビューの向きと、ユーザインタフェース機器と、ロボットエンドエフェクタとをマッピング及びキャリブレーションすることができる。しかしながら、これは気管支鏡検査者にとって十分ではない。なぜなら、（１）この場合、左右の主気管支は任意の方向に表示され、（２）気管支鏡検査者は、気管支鏡をナビゲートするために気管支の見た目を当てにし、一般に、左右の主気管支の見た目を用いて気管支鏡の位置を確認するからである。

【0023】

一部の実施形態によれば、表示画像が回転した場合に、ツールチャネル又はカメラの動く方向又は曲がる方向が自動的に補正される。後述する連続体ロボット構成の実施形態により、表示画像が回転した場合であっても、モニタ上の方向（モニタの上下左右）と、特定の方向コマンド（上下左右）に従ってツールチャネル又はカメラがモニタ上で動く方向と、ユーザインタフェース機器との対応を維持することが可能となる。

【0024】

図１、図２及び図３を用いて、例示の実施形態の概観を説明する。

【0025】

図１（ａ）及び図１（ｅ）は、ツールチャネル又はカメラの曲げ方向の自動補正を実行しない場合の、表示されたカメラ画像１００の回転を示す。カメラ画像１００は、カメラによってキャプチャされた画像である。例えば、カメラは、内視鏡又は気管支鏡であってよい。カメラは、ツールチャネルを用いて人体（例えば気道や肺）に挿入される場合がある。ツールチャネルは、カテーテルであり得る。このような実施形態では、カメラとカテーテルを組み合わせたものを気管支鏡１０１と呼ぶ。

【0026】

図１（ａ）は、回転される前のカメラ画像１００を示す。カメラ画像１００は、モニタ１０２上に表示される。カメラ画像１００内には、左主気管支１０３と右主気管支１０４がある。軸１０５と軸１０６は、表示座標の座標軸である。軸１０５は、モニタ１０２の上下（垂直方向）を規定する。軸１０６は、モニタ１０２の左右（水平方向）を規定する。

【0027】

図１（ｂ）は、気管支鏡１０１が気道１０７内で左主気管支１０３と右主気管支１０４に面している様子を示す。軸１０８と軸１０９は、制御座標（方向座標）の座標軸である。軸１０８は、制御座標の上方向と下方向（垂直方向）を規定する。軸１０９は、制御座標の右方向と左方向（水平方向）を規定する。

【0028】

図１（ｃ）は、気管支鏡１０１が制御座標の上方向に向かって曲がっている様子を示す。

【0029】

図１（ｄ）は、ゲームパッド（操作コントローラ）１１０を示す。ゲームパッド１１０は、ユーザが気道１０７内の気管支鏡１０１を動かす際に使用される。ゲームパッド１１０はジョイスティック１１１を含む。ユーザは、ジョイスティック１１１を操作することによって、気管支鏡１０１の曲げ方向を制御することができる。例えば、ユーザがジョイスティック１１１を上方向（図１（ｄ）の矢印１１２によって示される方向）に動かすと、気管支鏡１０１は、図１（ｃ）の矢印１１３によって示されるように、制御座標の上方向（軸１０８に沿った方向）に向かって曲がる。気管支鏡１０１が上方向に曲がると、カメラ画像１００の視点は、モニタの上部に向かって（矢印１１４（方向情報）によって示される方向に）移動する。すなわち、気管支鏡１０１の先端が、モニタ上の上方向に向かって（軸１０５に沿って）動く。

【0030】

図１（ａ）では、左主気管支１０３と右主気管支１０４は、モニタ１０２上で横並びに表示されていない。次に、ユーザは、主気管支１０３と右主気管支１０４がモニタ１０２上で横並びに表示されるようにカメラ画像１００を回転させるよう、表示装置に命令することができる。或いは、カメラ画像１００は、カメラ画像１００の画像分析に基づいて、主気管支１０３と右主気管支１０４がモニタ１０２上で横並びに表示されるように、自動的に回転することができる。表示装置は、カメラ画像１００内で左右の気管支を検出し、当該検出に基づいて、左右の気管支の中心を結ぶ線が水平になるようにカメラ画像１００を自動的に回転させることができる。

【0031】

図１（ｅ）は、主気管支１０３と右主気管支１０４がモニタ１０２上で横並びに表示されるように（左右の気管支の中心を結ぶ線が水平になるように）モニタ１０２上で反時計回りに回転した後のカメラ画像１００を示す。

【0032】

図１（ｆ）と図１（ｇ）は、ゲームパッド１１０によって入力された「上」コマンドに従う気管支鏡１０１の曲げ運動を示す。この例では、気管支鏡１０１は、カメラ画像１００の回転に関係なく、図１（ｂ）、図１（ｃ）及び図１（ｄ）を用いて説明したのと同じように曲がる。

【0033】

図１（ｅ）では、気管支鏡１０１が上方向に曲がると、カメラ画像１００の視点は、モニタの斜め上方向に向かって（矢印１１５（方向情報）によって示される方向に）移動する。この場合、図１（ａ）と図１（ｅ）に示されるように、カメラ画像１００が回転すると、ゲームパッド１１０によって同じコマンド（例えば「上」コマンド）が入力された場合であっても、モニタ１０２上で気管支鏡１０１が動く方向が変化する。これにより、ユーザに混乱が生じ、気管支鏡１０１の誤操作が発生するおそれがある。

【0034】

図２（ａ）及び図２（ｅ）は、気管支鏡１０１の曲げ方向の自動補正を実行する場合の、表示されたカメラ画像１００の回転を示す。

【0035】

図２（ａ）、図２（ｂ）、図２（ｃ）、図２（ｄ）の図示は、図１（ａ）、図１（ｂ）、図１（ｃ）、図１（ｄ）と同じであり、図２（ａ）は、回転される前のカメラ画像１００を示す。カメラ画像１００は、モニタ１０２上に表示される。カメラ画像１００内には、左主気管支１０３と右主気管支１０４がある。軸１０５と軸１０６は、表示座標の座標軸である。軸１０５は、モニタ１０２の上下（垂直方向）を規定する。軸１０６は、モニタ１０２の左右（水平方向）を規定する。

【0036】

図２（ｂ）は、気管支鏡１０１が気道１０７内で左主気管支１０３と右主気管支１０４に面している様子を示す。軸１０８と軸１０９は、制御座標（方向座標）の座標軸である。軸１０８は、制御座標の上方向と下方向（垂直方向）を規定する。軸１０９は、制御座標の右方向と左方向（水平方向）を規定する。

【0037】

図２（ｃ）は、気管支鏡１０１が制御座標の上方向に向かって曲がっている様子を示す。

【0038】

図２（ｄ）は、ゲームパッド（操作コントローラ）１１０を示す。ゲームパッド１１０は、ユーザが気道１０７内の気管支鏡１０１を動かす際に使用される。ゲームパッド１１０はジョイスティック１１１を含む。ユーザは、ジョイスティック１１１を操作することによって、気管支鏡１０１の曲げ方向を制御することができる。例えば、ユーザが上方向（図２（ｄ）の矢印１１２によって示される方向）に動くと、気管支鏡１０１は、図２（ｃ）の矢印１１３によって示されるように、制御座標の上方向（軸１０８に沿った方向）に向かって曲がる。気管支鏡１０１が上方向に曲がると、カメラ画像１００の視点は、モニタの上部に向かって（矢印１１４（方向情報）によって示される方向に）移動する。すなわち、気管支鏡１０１の先端が、モニタ上の上方向に向かって（軸１０５に沿って）動く。

【0039】

図２（ａ）では、左主気管支１０３と右主気管支１０４は、モニタ１０２上で横並びに表示されていない。次に、ユーザは、主気管支１０３と右主気管支１０４がモニタ１０２上で横並びに表示されるようにカメラ画像１００を回転させるよう、表示装置に命令することができる。或いは、カメラ画像１００は、カメラ画像１００の画像分析に基づいて、主気管支１０３と右主気管支１０４がモニタ１０２上で横並びに表示されるように、自動的に回転することができる。表示装置は、カメラ画像１００内で左右の気管支を検出し、当該検出に基づいて、左右の気管支の中心を結ぶ線が水平になるようにカメラ画像１００を自動的に回転させることができる。

【0040】

図２（ｅ）は、主気管支１０３と右主気管支１０４がモニタ１０２上で横並びに表示されるように（左右の気管支の中心を結ぶ線が水平になるように）モニタ１０２上で反時計回りに回転した後のカメラ画像１００を示す。

【0041】

図２（ｆ）と図２（ｇ）は、ゲームパッド１１０によって入力された「上」コマンドに従う気管支鏡１０１の曲げ運動を示す。この例では、気管支鏡１０１は、カメラ画像１００の回転に関係なく、図２（ｂ）、図２（ｃ）及び図２（ｄ）を用いて説明したのと同じように曲がる。

【0042】

図２（ｅ）では、気管支鏡１５０１が上方向に曲がると、カメラ画像１００の視点は、モニタの斜め上方向に向かって（矢印１１５（方向情報）によって示される方向に）移動する。この場合、図２（ａ）と図２（ｅ）に示されるように、カメラ画像１００が回転すると、ゲームパッド１１０によって同じコマンド（例えば「上」コマンド）が入力された場合であっても、モニタ１０２上で気管支鏡１０１が動く方向が変化する。これにより、ユーザに混乱が生じ、気管支鏡１０１の誤操作が発生するおそれがある。

【0043】

図２の実施形態では、キャプチャ画像１００が図２（ｂ）、図２（ｃ）、図２（ｆ）及び図２（ｇ）に示されるように回転する場合に、気管支鏡１０１が同じコマンド（例えば「上」コマンド）に従って曲がる方向が変化する。

【0044】

図２（ｂ）及び図２（ｃ）の矢印１１３は、図２（ｄ）に示される「上」操作に従って気管支鏡１０１が曲がる方向を示す。

【0045】

図２（ｆ）及び図２（ｇ）の矢印１０２は、モニタ１０２上に表示されたカメラ画像１００が回転した後に、図２（ｄ）に示される「上」操作に従って気管支鏡１０１が曲がる方向を示す。

【0046】

モニタ１０２上でカメラ画像１００が回転した場合、上操作に従って気管支鏡１０１が曲がる方向は、矢印１１３によって示される第１の方向から、図２（ｆ）及び図２（ｇ）の矢印１０２によって示される第２の方向に、自動的に補正される。

【0047】

気管支鏡１０１が矢印２０２に沿って動く場合、視点又は気管支鏡１０１は、モニタ１０２上では、図２（ａ）の矢印１１４と同じ方向（方向情報）を示す矢印２０１によって示されるように、モニタ１０２の上部に向かって移動する。気管支鏡が曲がる方向は、モニタ１０２上のインジケータによって示すことができる。例えば、矢印１１２によって示される方向にジョイスティック１１１が傾けられた場合、モニタ１０２上に表示されたキャプチャ画像１００に矢印２０１（インジケータ）を重ねることができる。

【0048】

このように、モニタ１０２上でカメラ画像１００が回転した場合であっても、視点又は気管支鏡１０１は、特定のコマンド（例えば気管支鏡１０１の「上」コマンド）に従って、モニタ１０２上では同じ方向に動く。これにより、ユーザの混乱を防止することができ、また、気管支鏡１０１の誤操作を防止することができる。

【0049】

図３（ａ）～図３（ｈ）は、気管支鏡１０１の曲げ方向の自動補正の代替方法を示す。

【0050】

図２（ａ）～図２（ｈ）に係る実施形態では、カメラ画像１００が回転した場合に、制御座標（方向座標）上の動作方向が補正される。

【0051】

一方、図３（ａ）～図３（ｈ）に係る実施形態では、カメラ画像１００が回転した場合であっても、制御座標上の動作方向は補正されない。代わりに、カメラ画像１００が回転した場合、制御座標（方向座標）の軸が回転する。

【0052】

図３（ａ）～図３（ｈ）に係る実施形態では、カメラ画像１００の回転に従って、制御座標の軸１０８と軸１０９が回転する。

【0053】

このように、モニタ１５０２上でカメラ画像１００が回転した場合であっても、視点又は気管支鏡１０１は、特定のコマンド（例えば気管支鏡１０１の「上」コマンド）に従って、モニタ１０２上では同じ方向に動く。これにより、ユーザの混乱を防止することができ、また、気管支鏡１０１の誤操作を防止することができる。

【0054】

気管支鏡１０１の曲げ方向の自動補正についての手順を、第１の実施形態図４を用いて説明する。図４に示される第１の実施形態のステップは、制御部の少なくとも１つのプロセッサ（例えば中央処理装置（ＣＰＵ））によって実行されてよい。制御部のＣＰＵは、制御部の少なくとも１つのメモリに格納されたプログラムを実行し、図４に示されるプロセスを実行することができる。

【0055】

ステップＳ４０１では、カメラが画像を取得する。ステップＳ４０２では、プロセッサが、モニタ１０２上に表示されたカメラ画像１００が回転したかどうかを決定する。プロセッサは、カメラ画像１００の回転コマンドが受信された場合に、カメラ画像１００が回転したと決定することができる。カメラ画像１００が回転していない場合、プロセッサはステップＳ４０２を繰り返す。カメラ画像１００が回転したと決定された場合、次に、プロセッサはステップＳ４０３に進み、カメラ画像１００の回転量を取得する。例えば、回転量は、カメラ画像１００がモニタ１０２上で回転した角度によって測定することができる。

【0056】

ステップＳ４０３において回転量が取得された場合、プロセッサは、ステップＳ４０４において、取得された回転量に基づいて、図２（ｆ）及び図２（ｇ）に示されるようなそれぞれの動作コマンド（例えば気管支鏡１０１の先端の上向き、下向き、右向き又は左向きのコマンド）に対応する各方向の補正量を決定する。

【0057】

或いは、ステップＳ４０４では、プロセッサが、取得された回転量に基づいて、図３（ｆ）及び図３（ｇ）に示されるような軸１０８及び軸１０９の傾きの補正量を決定する。

【0058】

ステップＳ４０５では、プロセッサが、ステップＳ４０４での決定結果に基づいて、それぞれの動作コマンドに対応する各方向を補正し、又は、軸１０８及び軸１０９の傾きを補正する。

【0059】

補正が実行された後、プロセスはステップＳ４０２に戻る。

【0060】

一部の実施形態に係る連続体ロボットの処理は、画像空間に対して仮想機器モデルを自動的にレジストレーションできる１つ以上のプロセス、技術、アルゴリズム等を用いて、機能を実施する。連続体ロボット構成システムは、複数のモードを提供することができる。複数のモードには、例えば、自動レジストレーションモード（第１のモード）や手動レジストレーションモード（第２のモード）等が含まれ得る。ユーザによって自動レジストレーションモードが選択された場合、キャプチャ画像が回転した場合には、図２（ｇ）、図３（ｇ）及び図４のステップＳ４０５に示されるような自動補正が実行される。一方、ユーザによって手動レジストレーションモードが選択された場合、キャプチャ画像が回転している場合であっても、自動補正は実行されない。

【0061】

図５～図７は、一部の実施形態に係る、表示画像が回転した場合にツールチャネル又はカメラが動く方向又は曲がる方向の自動補正を実施するための例示の連続体ロボット装置１０の構成の特徴を図示する。連続体ロボット装置１０により、表示画像が回転した場合であっても、モニタ上の方向（モニタの上下左右）と、特定の方向コマンド（上下左右）に従ってツールチャネル又はカメラがモニタ上で動く方向との対応を維持することが可能となる。

【0062】

図５及び図６に示されるように、連続体ロボット装置１０は、連続体ロボット１１と、画像キャプチャ部２０と、入力部３０と、ガイド部４０と、制御部５０と、ディスプレイ６０とのうちの１つ以上を含み、また、他の要素やコンポーネントを含んでよい。画像キャプチャ部２０は、カメラや他の画像キャプチャ機器であってよい。連続体ロボット１１は、互いに接続された１つ以上の軟性部分１２を含んでよく、１つ以上の軟性部分１２は、異なる方向に曲がったり回転したりできるように構成される。連続体ロボット１１は、駆動部１３、動作駆動部１４、リニアドライブ１５を含んでよく、また、他の要素やコンポーネントを含んでよい。動作駆動部１４は、リニアガイド１５に沿って駆動部１３を動作させる。

【0063】

入力部３０は、入力要素３２を有し、ユーザが連続体ロボット１１の軟性部分１２を位置的に調節することを可能にするように構成される。入力部３０は、マウス、キーボード、ジョイスティック、レバー、或いは、ユーザインタラクションを促進する別のタイプの入力構成として構成される。ユーザは、入力要素３２を介して操作入力を提供することができ、連続体ロボット装置１０は、入力要素３２及び１つ以上の入出力機器（レシーバ、トランスミッタ、スピーカ、ディスプレイ、イメージングセンサ、ユーザ入力機器を含んでよく、また、他の要素やコンポーネントを含んでよい）の情報を受け取ることができる。入力機器は、例えば、キーボード、キーパッド、マウス、位置追跡スタイラス、位置追跡プローブ、フットスイッチ、マイクロフォンを含んでよく、また、他の要素やコンポーネントを含んでよい。ガイド部４０は、１つ以上のボタン４２、ノブ４４、スイッチ等を含む機器であり、これを用いて、ユーザは、連続体ロボット１０の各種パラメータ（例えば速度その他のパラメータ）を調節することができる。

【0064】

図７は、一部の実施形態に係る制御部５０を図示する。制御部５０は、連続体ロボット装置１０の要素の全体制御を行うための制御回路又は制御回路構成として構成され、ＣＰＵ５１と、メモリ５２と、記憶装置５３と、入出力（Ｉ／Ｏ）インタフェース５４と、通信インタフェース５５とのうちの１つ以上を含んでよく、また、他の要素やコンポーネントを含んでよい。連続体ロボット装置１０は、医療機器や様々な他の機器と相互接続されてよく、また、制御部５０によって独立して、或いは外部から、或いは遠隔で制御することができる。

【0065】

メモリ５２は、作業メモリとして用いられる。記憶装置５３は、プログラム、コンピュータ命令、コード、ソフトウェア等を格納する。ＣＰＵ５１（１つ以上のプロセッサ、回路構成、又はそれらの組合わせを含み得る）は、メモリ５２に展開されたプログラム、命令、コード又はソフトウェアを実行する。Ｉ／Ｏインタフェース５４は、連続体ロボット装置１０からの情報を制御部５０に入力し、表示のための情報をディスプレイ６０に出力する。

【0066】

通信インタフェース５５は、装置１０に含まれるコンポーネントや、ネットワークを介して装置に接続された各種外部装置と通信するための回路その他の機器として構成される。例えば、通信インタフェース５５は、出力する情報を転送パケットに格納し、該転送パケットを、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）等の通信技術により、ネットワークを介して外部装置に出力することができる。本装置は、所望の通信形態に応じて、複数の通信回路を含んでよい。

【0067】

制御部５０は、例えば１つ以上のデータ記憶装置や、１つ以上の外部ユーザ入出力機器、その他の要素又はコンポーネントを含む１つ以上の外部機器と、通信可能に相互接続又はインタフェース接続される。制御部５０は、例えば、外部記憶装置やディスプレイ、キーボード、マウス、センサ、マイクロフォン、スピーカ、プロジェクタ、スキャナ、ディスプレイ、照明機器等のうちの１つ以上を含む他の要素とインタフェース接続する。

【0068】

ディスプレイ６０は、例えば、モニタ、ＬＣＤ（液晶パネルディスプレイ）、ＬＥＤディスプレイ、ＯＬＥＤ（有機ＬＥＤ）ディスプレイ、プラズマディスプレイ、有機エレクトロルミネセンスパネル、又はその他のタイプのディスプレイとして構成された表示装置である。本装置の制御に基づいて、ディスプレイ６０上に、キャプチャされている１つ以上の画像、キャプチャされた画像、記憶装置に記録されたキャプチャされた動画等を示す画面が表示されてよい。

【0069】

コンポーネントは、コンポーネントが互いに通信できるように、バス５６によって互いに接続される。バス５６は、互いに接続されたこれらのハードウェア間でデータを送受信し、或いは、ＣＰＵ５１からのコマンドを他のハードウェアへ送信する。コンポーネントは、通信チャネルを通してＣＰＵ５１に結合できる１つ以上の物理的機器によって実装される。例えば、制御部５０は、ＡＳＩＣ（特定用途向け集積回路）等の形態の回路構成を用いて実装されてよい。或いは、制御部５０は、ハードウェアとソフトウェアの組合わせとして実装されてよく、この場合ソフトウェアは、メモリから、或いはネットワーク接続を介して、プロセッサにロードされる。制御部５０の機能は記憶媒体に格納されてよく、記憶媒体としては、ＲＡＭ（ランダムアクセスメモリ）、磁気ディスク又は光ディスク、ディスケット、クラウドストレージ等が挙げられる。

【0070】

本開示を通して記載されるユニット（部）は、本開示に記載されるプロセスを実装するための例示の、かつ／又は好ましいモジュールである。本明細書で使用される「ユニット（部）」という用語は、概して、目標を達成するために使用されるファームウェア、ソフトウェア、ハードウェア又は他のコンポーネント（回路構成等）或いはそれらの組合わせを指すことがある。モジュールは、ハードウェアユニット（回路構成、ファームウェア、フィールドプログラマブルゲートアレイ、デジタルシグナルプロセッサ、特定用途向け集積回路等）及び／又はソフトウェアモジュール（コンピュータ可読プログラム等）とすることができる。様々なステップを実施するためのモジュールは、上記では網羅的に説明されていない。しかしながら、特定のプロセスを実行するステップがある場合、同じプロセスを実施するための対応する機能モジュール又はユニット（ハードウェア及び／又はソフトウェアによって実装される）が存在してよい。本開示には、記載されたステップとこれらのステップに対応するユニットの全ての組合わせによる技術的解決策が含まれる。

【0071】

一部の実施形態によれば、表示画像が回転した場合に、ツールチャネル又はカメラの動く方向又は曲がる方向が自動的に補正される。連続体ロボット装置１０により、表示画像が回転した場合であっても、モニタ上の方向（モニタの上下左右）と、特定の方向コマンド（上下左右）に従ってツールチャネル又はカメラがモニタ上で動く方向との対応を維持することが可能となる。

【0072】

図８（ａ）と図８（ｂ）は、一部の実施形態での術語を図示する。以下の実施形態での術語は、次のとおりである。

【0073】

^Aｘ：｛Ａ｝座標系内で規定されるｘ。

【0074】

^AＲ_B：｛Ａ｝に対する座標系｛Ｂ｝の回転行列。

【0075】

ａ：解剖学的構造座標系。

【0076】

ｃ：カメラ座標系。

【0077】

ｅ：エンドエフェクタ座標系。

【0078】

ｂｉ：ロボットのｉ番目のセクション（ｉ＝１：ロボットの最も近位のセクション）の基底での基底座標系。

【0079】

^Aθ：曲げ角度：｛Ａ｝座標系において規定されるｚ_A軸とロボット先端の方向ベクトルとの間の角度。

【0080】

^Aζ：曲げ平面：｛Ａ｝座標系において規定される、ｘ_A軸と、ｘ_A－ｙ_A平面に投影されたロボット先端の方向ベクトルとの間の角度。

【0081】

図８と図９は、３セクションロボットについての例を示し、（ａ）ｂ１座標系（ロボット基底座標系）において規定される曲げの角度及び平面の定義と、（ｂ）ロボットのｊ番目のセクションの基底での基底座標系とを含む。ｂ１座標系は、ロボット全体の基底に付される（＝ロボット基底座標系）。エンドエフェクタ座標系は、ロボットの先端に付される。

【0082】

解剖学的構造と整列したカメラビューを用いる一人称制御では、ツールチャネルを備えた腱駆動３セクションロボットを用いて、肺結節を診断する。ロボットは受動セクション及び湾曲セクションを有し、湾曲セクションは、３つのセクション（第１、第２及び第３のセクション）を含む。ゲームパッドは、ロボットを操作するためのユーザインタフェース機器として使用される。

【0083】

この実施形態のフローチャートを図１０に示す。各ステップの詳細は、次のとおりである。

【0084】

ステップＳ１００１：操作者が、ツールチャネルを通して光ファイバカメラをロボットに挿入し、ロボットの先端にカメラを配備する。

【0085】

ステップＳ１００２：操作者が、カメラを備えたロボットを、気管内チューブを通して患者に挿入し、気管分岐部で停止させて、左右の気管支を表示させる。この時点では、カメラビューのロールはキャリブレーションされない（図１１参照）。

【0086】

ステップＳ１００３：操作者が、ソフトウェアでのカメラビューのロール角度のオフセット（オフセット１）を調節することにより、左右の気管支が横並びに表示されるまで（図１２参照）カメラビューを回転させる。

【0087】

ステップＳ１００４：操作者が、回転後のカメラビューと、ゲームパッドのジョイスティックの方向と、ロボットとをマッピングする。

【0088】

マッピング又はキャリブレーションの後、カメラビューの方向は、ユーザインタフェース機器として使用されるゲームパッドの方向と一致するので、操作者は、カメラ座標系においてセクションの先端を操作することができる（一人称制御）。ジョイスティックの制御は、３６０°に完全に適用される。

【0089】

操作者がロボットを次の標的気管支に向けようとする場合（図１３参照）、操作者はゲームパッドのジョイスティックを傾ける。ジョイスティックが傾けられる量に応じて、カメラ座標系において規定されるロボット先端の所望の曲げ角度の量^cθ_i+1が決まり、ジョイスティックが傾けられる方向に応じて、カメラ座標系において規定されるロボット先端の所望の曲げ平面^cζ_i+1が決まる。

【0090】

カメラ座標系において規定される所望の入力（^cθ_i+1，^cζ_i+1）は、エンドエフェクタ座標系で規定される（^eθ_i+1，^eζ_i+1）に変換されてから、ｂ１座標系で規定される（^b1θ_i+1，^b1ζ_i+1）に変換される。変換後の入力（^b1θ_i+1，^b1ζ_i+1）は、後述するフォローザリーダー（ＦＴＬ）運動のためにロボットシステムのメモリに格納される。ここで、ｂ１座標系は、図８に示されるように、ロボット全体の基底に付された座標系である（ロボット基底座標系）。腱の押し引きの量は、（^b1θ_i+1，^b1ζ_i+1）から計算される。なお、（^b1θ_i+1，^b1ζ_i+1）が導出されると、他のセクションの姿勢に依存することなく、腱の押し引きの量が計算される。算出された量に基づいて腱が押し引きされ、ロボットが所望の方向に向かって曲げられる。

【0091】

カメラビューには深さ情報がないので、次の標的気管支に向かう正確な角度として^cθ_i+1を決定することは困難である。この実施形態では、操作者は、^cθ_i+1の最大増分値をジョイスティックの最大傾きとして設定し、ロボットが次の気管支に向くまで、すなわち、次の気管支がカメラビューの中央に来るまで、前述のステップを繰り返す。操作者は、操作中にジョイスティックの傾き量を調節することにより、^cθ_i+1の増分値を選択することができる。図１３に示されるように、カメラビューには矢印インジケータがオーバーレイされる。矢印のサイズと方向は、（^cθ_i+1，^cζ_i+1）を示す。操作者がよく訓練されていれば、操作者は、制御部５０のグラフィカルユーザインタフェース（ＧＵＩ）のダイアログボックスを通して、^cθ_i+1の増分値をより大きく設定することができる。先に述べた一連の反復ステップ（操作者を介した視覚フィードバックループ）は、特に、予期せぬ力がロボットに加わってロボットが変形してしまう蛇行経路において有用である。なぜなら、予期せぬ力によってロボットの運動に誤差が生じたとしても、調節可能な増分値と、操作者による試行錯誤ステップにより、ロボットは最終的に次の標的気管支の方を向くからである。増分値が十分に小さくない場合、操作者は、ＧＵＩのダイアログボックスを介して新しい値を設定することができる。これは、分岐点の全角度等の気道の形状として規定される気道の蛇行に基づいて、自動化されてよい。

【0092】

第１のセクションと第２のセクションは、ＦＴＬ（フォローザリーダー運動）アルゴリズムによって制御される。第３のセクションが通過した分岐を第１のセクションと第２のセクションが通るとき、第３のセクションに用いられた（^b1θ₃，^b1ζ₃）の履歴が他のセクションに適用される。

【0093】

生検とカメラの再挿入では、サンプリング対象の腫瘍の近くまでロボットが到達すると、カメラは、ロボット内部に描画された参照カラーマークＲを見えるようにするために、図１４の位置Ｓまで引き戻される。Ｓでのカメラビューがキャプチャされ（図１５参照）、参照カラーマークＲの回転角度が推定される。次に、ロボットからカメラが完全に引き戻され、生検のために生検ツールがツールチャネルに挿入される。生検完了後、再びカメラが位置Ｓまで挿入される。操作者は、ステップＳ１００３で決定されたオフセットを更新することにより、図１５に写っているのと同じ回転角度で参照カラーマークＲが表示されるまで、カメラビューを回転させる。

【0094】

第２の実施形態のフローチャートを図１６に示す。各ステップの詳細は、次のとおりである。

【0095】

ステップＳ１６０１では、操作者が、ツールチャネルを通して光ファイバカメラをロボットに挿入し、位置Ｓで停止させて、ロボット内部に描画された参照カラーマークＲを見えるようにする。参照カラーマークＲの位置は、先端からツールチャネルポートまで、ロボット内部のどこにあってもよい。

【0096】

ステップＳ１６０２では、操作者が、参照カラーマークＲがカメラビューの下部に見えるようになるまで、カメラを物理的に回転させる（図１７参照）。カメラの回転後、操作者は、カメラをロボットの先端まで挿入する。カメラとロボットのロール方向は設計上固定されているので、ステップＳ１００２では、カメラビューと、ロボットと、ゲームパッドのジョイスティックの方向とがマッピングされる。

【0097】

ステップＳ１６０３では、操作者が、カメラを備えたロボットを、気管内チューブを通して患者に挿入し、気管分岐部で停止させて、左右の気管支を表示させる。この時点では、カメラビューのロールはキャリブレーションされない（図１８参照）。

【0098】

ステップＳ１６０４では、操作者が、ソフトウェアでのカメラビューのロール角度のオフセット（オフセット１）を調節することにより、左右の気管支が横並びに表示されるまでカメラビューを回転させる。

【0099】

ステップＳ１６０５では、操作者が、オフセット１に基づいて、回転後のカメラビューと、ゲームパッドのジョイスティックの方向と、ロボットとを再びマッピングする。カメラが引き戻され再挿入されるたびに、カメラのロール方向は、参照カラーマークＲを用いて物理的に調節される。

【0100】

図１９に示されるように、ロボットは、図１９に示される回転軸を中心にロボット全体を回転させる回転機構を有する。第３のセクションの外壁には、鼻参照マークＮが描画される（図１９及び図２０）。

【0101】

第３の実施形態のフローチャートを図２１に示す。各ステップの詳細は、次のとおりである。

【0102】

ステップＳ２１０１では、操作者が、ツールチャネルを通して光ファイバカメラをロボットに挿入し、位置Ｓで停止させて、ロボット内部に描画された参照カラーマークＲを見えるようにする。参照カラーマークＲの位置は、先端からツールチャネルポートまで、ロボット内部のどこにあってもよい。

【0103】

ステップＳ２１０２では、操作者が、参照カラーマークＲがカメラビューの下部に見えるようになるまで、カメラを物理的に回転させる（図１７）。カメラの回転後、操作者は、カメラをロボットの先端まで挿入する。カメラとロボットのロール方向は設計上固定されているので、ステップＳ２１０２では、カメラビューと、ロボットと、ゲームパッドのジョイスティックの方向とがマッピングされる。

【0104】

ステップＳ２０１３では、操作者が、患者の口から気管内チューブを通してロボットを肺に挿入するときに、操作者が、鼻参照マークＮが患者の鼻を指すまで、回転機構を用いてロボット全体を回転させる。ステップＳ２１０３では、肺の向きを表す解剖学的構造の目印として、鼻が用いられる。このステップは、気管内チューブの入口で行われる。

【0105】

ステップＳ２１０４では、操作者が、ロボットを肺に挿入し、気管分岐部で停止させて、左右の気管支を表示させる。鼻と肺の解剖学的関係は一貫しており、鼻とロボット及びカメラのロール角度とは、設計上常に固定することができるので、左右の気管支は常に横並びに表示される。

【0106】

一部の実施形態によれば、モニタ１０２上でカメラ画像１００が回転した場合であっても、視点又は気管支鏡１０１は、特定のコマンド（例えば気管支鏡１０１の「上」コマンド）に従って、モニタ１０２上では同じ方向に動く。これにより、ユーザの混乱を防止することができ、また、気管支鏡１０１の誤操作を防止することができる。

【0107】

操作者は、回転後のカメラビューと、ゲームパッドのジョイスティックの方向と、ロボットとのマッピングされた関係を損なうことなく、カメラビューのロール角度を変更することができる。

【0108】

一部の実施形態によれば、表示画像が回転した場合に、ツールチャネル又はカメラの動く方向又は曲がる方向が自動的に補正される。連続体ロボット装置１０により、表示画像が回転した場合であっても、モニタ上の方向（モニタの上下左右）と、特定の方向コマンド（上下左右）に従ってツールチャネル又はカメラがモニタ上で動く方向との対応を維持することが可能となる。

【0109】

有利な点として、本開示の更なる特徴又は態様は、表示画像が回転した場合にツールチャネル又はカメラの動く方向又は曲がる方向の自動補正を実施するために、１つ以上のＡＩ（人工知能）又は機械学習のアルゴリズム、プロセス、技術等を実装することもできる。このようなＡＩ技術は、ニューラルネットワーク、ランダムフォレストアルゴリズム、コグニティブコンピューティングシステム、ルールベースのエンジン等を用い、データのタイプを査定して出力を生成するように一連のデータに基づいて訓練される。例えば、訓練アルゴリズムは、表示画像が回転した場合に、ツールチャネル又はカメラの動く方向又は曲がる方向の自動補正を実施するように構成されてよい。モデルは、画像を入力として受け取り、指定された画像の予測を出力として返すソフトウェアとして、構成することができる。モデルは、機械学習及び／又は最適化アルゴリズム／プロセスを用いたモデルの訓練及び選択によって取得されたモデルアーキテクチャ（パラメータ値のセット）のインスタンスとすることができる。モデルは、例えば、概して以下を含むことができる：ソースコード（例えばパラメータ化された畳込みカーネル及び活性化関数の層を含む畳込みニューラルネットワーク）と、最初に乱数値に設定されてから、所与のデータ例を考慮して訓練の間に反復的に最適化される構成値（パラメータ、重み、特徴等）とによって規定されるアーキテクチャ；関数（損失関数）；最適化アルゴリズム（オプティマイザ）等。

【0110】

カテーテル位置に対する患者の解剖学的構造の詳細な位置構成の医用画像の少なくとも一部を、入力データとして使用し、訓練アルゴリズムに提供することができる。初期画像と、出力値と、患者の解剖学的構造に対するカテーテル位置の詳細な位置構成は、新しいデータを得るための内視鏡検査手技中の局所的な組織変形の精確なリアルタイム補正を容易にするために、データベースに保存することができる。モデルに対する入力マッピング又は専門家の研究を用いて生成された機器対画像レジストレーションの可視化誘導を通して、機械学習により、ＡＩプロセス用のパラメータを見つけることができる。訓練アルゴリズムは、入力データにおける物理的関係を学習して、このような関係又は相関を最も良く記述するように構成される。データセットは、例えば得られた画像や得られた画像の数、画像の角度、画像の位置、分岐モデルに対する医用機器の詳細な位置構成等の多くの因子に基づく情報を含む。データは加重評価を用いて評価され、加重は、訓練プロセスや主題仕様（subject matter specifications）等を通して学習される。ディープラーニング機構は、ＡＩプロセスを強化して、画像データ内のインジケータ（例えば、新しいデータ画像や出力値、患者の解剖学的構造に対するカテーテル位置の位置構成等を含み得る）を識別することができる。

【0111】

一部の実施形態に係る、表示画像が回転した場合に、ツールチャネル又はカメラの動く方向又は曲がる方向の補正を行うための装置。本装置は、少なくとも１つのメモリと、メモリに格納された命令を実行する少なくとも１つのプロセッサとを備え、命令は、カメラのキャプチャ方向の方向コマンドを受け取る命令と、受け取られた方向コマンドに従って、カメラのキャプチャ方向を動かす命令と、モニタに表示されたキャプチャ画像の回転量を検出する命令であって、キャプチャ画像はカメラによってキャプチャされる、検出する命令と、検出された回転量に基づいて、カメラを動かすための特定の方向コマンド又は方向座標に対応する方向情報を補正する命令と、を含み、方向情報は、カメラのキャプチャ方向を動かすために用いられる。

【0112】

プログラムを格納している記憶媒体は、円筒状外表面を有する物体のアライメント標的を外側アライメント要素の円筒状外表面に対してアライメントする方法を、コンピュータに実行させるように構成されてよい。

【0113】

本開示の特徴は、表示画像が回転した場合に、ツールチャネル又はカメラの動く方向又は曲がる方向の自動補正を実施する。

【0114】

他の実施形態
本開示の実施形態は、記憶媒体（より完全には「非一時的なコンピュータ可読記憶媒体」と呼ぶこともできる）に記録されたコンピュータ実行可能命令（例えば１つ以上のプログラム）を読み出し実行して、前述の実施形態のうち１つ以上の機能を実行し、かつ／又は、前述の実施形態のうち１つ以上の機能を実行するための１つ以上の回路（例えば特定用途向け集積回路（ＡＳＩＣ））を含むシステム又は装置のコンピュータ化構成によって実現することもできるし、また、システム又は装置のコンピュータ化構成が、記憶媒体からコンピュータ実行可能命令を読み出し実行して、前述の実施形態のうち１つ以上の機能を実行すること、及び／又は１つ以上の回路を制御して、前述の実施形態のうち１つ以上の機能を実行することによって実行される方法によって実現することもできる。コンピュータ化構成は、１つ以上のプロセッサ、１つ以上のメモリ、回路構成又はそれらの組合わせ（例えば中央処理装置（ＣＰＵ）、マイクロ処理ユニット（ＭＰＵ）等）を含んでよく、コンピュータ実行可能命令を読み出して実行するための別個のコンピュータ又は別個のプロセッサのネットワークを含んでよい。コンピュータ実行可能命令は、例えばネットワークク又は記憶媒体から、コンピュータ化構成に提供することができる。記憶媒体は、例えば、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、分散コンピューティングシステムのストレージ、光ディスク（コンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）又はBlu-ray Disc（ＢＤ）（商標）等）、フラッシュメモリデバイス、メモリカード等のうち１つ以上を含んでよい。

【0115】

本開示は、例示の実施形態を参照して説明されたが、当然のことながら、本開示は、開示された例示の実施形態に限定されない。以下の特許請求の範囲は、そのような変更並びに均等の構造及び機能を全て包含するように、最も広い解釈が与えられるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8(a)】

【図8(b)】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【手続補正書】

【提出日】2023-10-12

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

表示画像が回転した場合に、ツールチャネル又はカメラの動く方向又は曲がる方向の補正を行うための装置であって、前記装置は、
少なくとも１つのメモリと、
前記メモリに格納された命令を実行する少なくとも１つのプロセッサと、
を備え、
前記命令は、
カメラのキャプチャ方向の方向コマンドを受け取る命令と、
受け取られた前記方向コマンドに従って、前記カメラの前記キャプチャ方向を動かす命令と、
モニタに表示されたキャプチャ画像の回転量を検出することであって、前記キャプチャ画像は前記カメラによってキャプチャされる、検出する命令と、
検出された前記回転量に基づいて、前記カメラを動かすための特定の方向コマンド又は方向座標に対応する方向情報を補正する命令と、
を含み、
前記方向情報は、前記カメラの前記キャプチャ方向を動かすために用いられる、
装置。

【請求項2】

入力機器を更に備える、請求項１に記載の装置。

【請求項3】

ガイド部を更に備える、請求項１に記載の装置。

【請求項4】

前記ツールチャネル又は前記カメラの動く方向又は曲がる方向についてのコマンドを入力するための操作コントローラを更に備える、
請求項１に記載の装置。

【請求項5】

ディスプレイを更に備える、請求項１に記載の装置。

【請求項6】

回転機構を更に備える、請求項１に記載の装置。

【請求項7】

連続体ロボット又は光ファイバカメラである、請求項１に記載の装置。

【請求項8】

前記少なくとも１つのプロセッサは、フォローザリーダープロセスを更に実行する、
請求項１に記載の装置。

【請求項9】

前記少なくとも１つのプロセッサは、基底座標制御を更に実行する、
請求項１に記載の装置。

【請求項10】

前記少なくとも１つのプロセッサは、人工知能又は機械学習を更に実行する、
請求項１に記載の装置。

【請求項11】

前記人工知能又は機械学習は反復型（iterative）である、請求項１０に記載の装置。

【請求項12】

表示画像が回転した場合に、ツールチャネル又はカメラの動く方向又は曲がる方向の補正を行うための装置の作動方法であって、前記方法は、
カメラのキャプチャ方向の方向コマンドを受け取るステップと、
受け取られた前記方向コマンドに従って、前記カメラの前記キャプチャ方向を動かすステップと、
モニタに表示されたキャプチャ画像の回転量を検出するステップであって、前記キャプチャ画像は前記カメラによってキャプチャされる、検出するステップと、
検出された前記回転量に基づいて、前記カメラを動かすための特定の方向コマンド又は方向座標に対応する方向情報を補正するステップと、
を含み、
前記方向情報は、前記カメラの前記キャプチャ方向を動かすために用いられる、
方法。

【請求項13】

前記装置は入力機器を更に備える、請求項１２に記載の方法。

【請求項14】

前記装置はガイド部を更に備える、請求項１２に記載の方法。

【請求項15】

前記装置は、前記ツールチャネル又は前記カメラの動く方向又は曲がる方向についてのコマンドを入力するための操作コントローラを更に備える、
請求項１２に記載の方法。

【請求項16】

前記装置はディスプレイを更に備える、請求項１２に記載の方法。

【請求項17】

前記装置は回転機構を更に備える、請求項１２に記載の方法。

【請求項18】

前記装置は、連続体ロボット又は光ファイバカメラである、
請求項１２に記載の方法。

【請求項19】

フォローザリーダープロセスを実行するステップを更に含む、請求項１２に記載の方法。

【請求項20】

基底座標制御を実行するステップを更に含む、請求項１２に記載の方法。

【請求項21】

人工知能又は機械学習を実行するステップを更に含む、請求項１２に記載の方法。

【請求項22】

前記人工知能又は機械学習は反復型である、請求項２１に記載の方法。

【請求項23】

表示画像が回転した場合に、ツールチャネル又はカメラの動く方向又は曲がる方向の補正を行うための装置の作動方法をコンピュータに実行させるプログラムであって、前記方法は、
カメラのキャプチャ方向の方向コマンドを受け取るステップと、
受け取られた前記方向コマンドに従って、前記カメラの前記キャプチャ方向を動かすステップと、
モニタに表示されたキャプチャ画像の回転量を検出するステップであって、前記キャプチャ画像は前記カメラによってキャプチャされる、検出するステップと、
検出された前記回転量に基づいて、前記カメラを動かすための特定の方向コマンド又は方向座標に対応する方向情報を補正するステップと、
を含み、
前記方向情報は、前記カメラの前記キャプチャ方向を動かすために用いられる、
プログラム。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】００３０

【補正方法】変更

【補正の内容】

【0030】

図１（ａ）では、左主気管支１０３と右主気管支１０４は、モニタ１０２上で横並びに表示されていない。次に、ユーザは、左主気管支１０３と右主気管支１０４がモニタ１０２上で横並びに表示されるようにカメラ画像１００を回転させるよう、表示装置に命令することができる。或いは、カメラ画像１００は、カメラ画像１００の画像分析に基づいて、左主気管支１０３と右主気管支１０４がモニタ１０２上で横並びに表示されるように、自動的に回転することができる。表示装置は、カメラ画像１００内で左右の気管支を検出し、当該検出に基づいて、左右の気管支の中心を結ぶ線が水平になるようにカメラ画像１００を自動的に回転させることができる。

【手続補正3】

【補正対象書類名】明細書

【補正対象項目名】００３１

【補正方法】変更

【補正の内容】

【0031】

図１（ｅ）は、左主気管支１０３と右主気管支１０４がモニタ１０２上で横並びに表示されるように（左右の気管支の中心を結ぶ線が水平になるように）モニタ１０２上で反時計回りに回転した後のカメラ画像１００を示す。

【手続補正4】

【補正対象書類名】明細書

【補正対象項目名】００４５

【補正方法】変更

【補正の内容】

【0045】

図２（ｆ）及び図２（ｇ）の矢印２０２は、モニタ１０２上に表示されたカメラ画像１００が回転した後に、図２（ｄ）に示される「上」操作に従って気管支鏡１０１が曲がる方向を示す。

【手続補正5】

【補正対象書類名】明細書

【補正対象項目名】００４６

【補正方法】変更

【補正の内容】

【0046】

モニタ１０２上でカメラ画像１００が回転した場合、上操作に従って気管支鏡１０１が曲がる方向は、矢印１１３によって示される第１の方向から、図２（ｆ）及び図２（ｇ）の矢印２０２によって示される第２の方向に、自動的に補正される。

【手続補正6】

【補正対象書類名】明細書

【補正対象項目名】００５３

【補正方法】変更

【補正の内容】

【0053】

このように、モニタ１０２上でカメラ画像１００が回転した場合であっても、視点又は気管支鏡１０１は、特定のコマンド（例えば気管支鏡１０１の「上」コマンド）に従って、モニタ１０２上では同じ方向に動く。これにより、ユーザの混乱を防止することができ、また、気管支鏡１０１の誤操作を防止することができる。

【手続補正7】

【補正対象書類名】明細書

【補正対象項目名】００５４

【補正方法】変更

【補正の内容】

【0054】

気管支鏡１０１の曲げ方向の自動補正についての手順を、図４を用いて説明する。図４に示される第１の実施形態のステップは、制御部の少なくとも１つのプロセッサ（例えば中央処理装置（ＣＰＵ））によって実行されてよい。制御部のＣＰＵは、制御部の少なくとも１つのメモリに格納されたプログラムを実行し、図４に示されるプロセスを実行することができる。

【手続補正書】

【提出日】2023-11-16

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

メモリと、前記メモリに格納された命令を実行するプロセッサとを有する制御部、
を備える装置であって、
前記命令は、
１つ以上の画像をキャプチャするように撮像機器を動かす命令と、
前記撮像機器によってキャプチャされた画像をモニタに表示する命令と、
ユーザによって操作されるユーザインタフェース機器から、前記撮像機器のキャプチャ方向の方向コマンドを受け取る命令と、
受け取られた前記方向コマンドに従って、前記撮像機器の前記キャプチャ方向を動かす命令と、
前記モニタに表示された前記画像の回転量を決定する命令と、
表示された前記画像の前記回転量と、前記撮像機器の前記キャプチャ方向の前記方向コマンドとに基づいて、前記撮像機器の動作の補正量を決定する命令と、
表示された前記画像の方向と前記撮像機器を動かす方向との対応を前記モニタ上で維持するように、前記補正量に基づいて、前記制御部によって前記撮像機器を自動的に動かす命令と、
を含む、装置。

【請求項2】

入力機器を更に備える、請求項１に記載の装置。

【請求項3】

ガイド部を更に備える、請求項１に記載の装置。

【請求項4】

ディスプレイを更に備える、請求項１に記載の装置。

【請求項5】

回転機構を更に備える、請求項１に記載の装置。

【請求項6】

連続体ロボット又は光ファイバカメラである、請求項１に記載の装置。

【請求項7】

前記制御部は、フォローザリーダープロセスを更に実行する、
請求項１に記載の装置。

【請求項8】

前記制御部は、基底座標制御を更に実行する、
請求項１に記載の装置。

【請求項9】

前記制御部は、人工知能又は機械学習を更に実行する、
請求項１に記載の装置。

【請求項10】

前記人工知能又は機械学習は反復型（iterative）である、請求項９に記載の装置。

【請求項11】

装置の作動方法であって、前記方法は、
１つ以上の画像をキャプチャするように撮像機器を動かすステップと、
前記撮像機器によってキャプチャされた画像をモニタに表示するステップと、
ユーザによって操作されるユーザインタフェース機器から、前記撮像機器のキャプチャ方向の方向コマンドを受け取るステップと、
受け取られた前記方向コマンドに従って、前記撮像機器の前記キャプチャ方向を動かすステップと、
前記モニタに表示された前記画像の回転量を決定するステップと、
表示された前記画像の前記回転量と、前記撮像機器の前記キャプチャ方向の前記方向コマンドとに基づいて、前記撮像機器の動作の補正量を決定するステップと、
表示された前記画像の方向と前記撮像機器を動かす方向との対応を前記モニタ上で維持するように、前記補正量に基づいて、制御部によって前記撮像機器を自動的に動かすステップと、
を含む、方法。

【請求項12】

前記装置に入力機器を設けるステップを更に備える、請求項１１に記載の方法。

【請求項13】

前記装置にガイド部を設けるステップを更に備える、請求項１１に記載の方法。

【請求項14】

前記装置にコントローラを設けるステップを更に備える、請求項１１に記載の方法。

【請求項15】

前記装置にディスプレイを設けるステップを更に備える、請求項１１に記載の方法。

【請求項16】

前記装置に回転機構を設けるステップを更に備える、請求項１１に記載の方法。

【請求項17】

前記装置は、連続体ロボット又は光ファイバカメラである、
請求項１１に記載の方法。

【請求項18】

フォローザリーダープロセスを実行するステップを更に含む、請求項１１に記載の方法。

【請求項19】

基底座標制御を実行するステップを更に含む、請求項１１に記載の方法。

【請求項20】

人工知能又は機械学習を実行するステップを更に含む、請求項１１に記載の方法。

【請求項21】

前記人工知能又は機械学習は反復型である、請求項２０に記載の方法。

【請求項22】

装置の作動方法をコンピュータに実行させるプログラムを格納している非一時的なコンピュータ可読記憶媒体であって、
前記方法は、
１つ以上の画像をキャプチャするように撮像機器を動かすステップと、
前記撮像機器によってキャプチャされた画像をモニタに表示するステップと、
ユーザによって操作されるユーザインタフェース機器から、前記撮像機器のキャプチャ方向の方向コマンドを受け取るステップと、
受け取られた前記方向コマンドに従って、前記撮像機器の前記キャプチャ方向を動かすステップと、
前記モニタに表示された前記キャプチャされた画像を動かすステップと、
前記モニタに表示された前記画像の回転量を決定するステップと、
表示された前記画像の前記回転量と、前記撮像機器の前記キャプチャ方向の前記方向コマンドとに基づいて、前記撮像機器の動作の補正量を決定するステップと、
表示された前記画像の方向と前記撮像機器を動かす方向との対応を前記モニタ上で維持するように、前記補正量に基づいて、制御部によって前記撮像機器を自動的に動かすステップと、
を含む、記憶媒体。

【国際調査報告】