特開 2025-151383 内視鏡システム、制御装置、制御方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025151383

(43)【公開日】2025-10-09

(54)【発明の名称】内視鏡システム、制御装置、制御方法およびプログラム

(51)【国際特許分類】

   A61B 1/045 20060101AFI20251002BHJP

   A61B 1/00 20060101ALI20251002BHJP

【ＦＩ】

A61B1/045 622

A61B1/00 655

A61B1/045 618

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2024052782

(22)【出願日】2024-03-28

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和５年度、国立研究開発法人日本医療研究開発機構、「医療機器等における先進的研究開発・開発体制強靱化事業」「外科手術のデジタルトランスフォーメーション：情報支援内視鏡外科手術システムの開発」委託研究開発、産業技術力強化法第１７条の適用を受ける特許出願

(71)【出願人】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(71)【出願人】

【識別番号】510097747

【氏名又は名称】国立研究開発法人国立がん研究センター

(74)【代理人】

【識別番号】100118913

【弁理士】

【氏名又は名称】上田 邦生

(74)【代理人】

【識別番号】100142789

【弁理士】

【氏名又は名称】柳 順一郎

(74)【代理人】

【識別番号】100201466

【弁理士】

【氏名又は名称】竹内 邦彦

(72)【発明者】

【氏名】原口 雅史

(72)【発明者】

【氏名】畠山 直也

(72)【発明者】

【氏名】伊藤 雅昭

(72)【発明者】

【氏名】長谷川 寛

(72)【発明者】

【氏名】北口 大地

【テーマコード（参考）】

4C161

【Ｆターム（参考）】

4C161AA24

4C161BB02

4C161BB03

4C161BB06

4C161CC06

4C161DD01

4C161DD03

4C161GG13

4C161GG27

4C161HH52

4C161SS21

4C161WW06

(57)【要約】      （修正有）

【課題】内視鏡画像を観察しながら処置具を操作する術者が、簡易に、直感的に処置し易い内視鏡画像を表示することができる内視鏡システム、制御装置、制御方法およびプログラムを提供する。
【解決手段】プロセッサが、術者が操作する第１の処置具を被検体内に挿入するための第１のポートＰ_１の第１の位置、術者が操作する第２の処置具を被検体内に挿入するための第２のポートＰ_２の第２の位置および被検体内の注目対象Ｔ_１の第３の位置を取得し、取得された第１、第２および第３の位置に基づいて、術者からみた注目対象Ｔ_１の上下方向を示す第１のベクトルＶ_１を内視鏡の視軸Ｂに直交する平面Ｃ_４に投影した第２のベクトルＶ_２の方向と、表示装置に表示される画像の上下方向とが所定の相対角度となるように、画像を回転させる内視鏡システム。
【選択図】図６

【特許請求の範囲】

【請求項1】

少なくとも１つのプロセッサと、
内視鏡と、
該内視鏡を保持し、前記プロセッサからの制御信号によって前記内視鏡の位置および姿勢を調整する移動装置と、
前記内視鏡により取得された画像を表示する表示装置と、を備え、
前記プロセッサが、
術者が操作する第１の処置具を被検体内に挿入するための第１のポートの第１の位置、前記術者が操作する第２の処置具を前記被検体内に挿入するための第２のポートの第２の位置および前記被検体内の注目対象の第３の位置を取得し、
取得された前記第１、前記第２および前記第３の位置に基づいて、前記術者からみた前記注目対象の上下方向を示す第１のベクトルを前記内視鏡の視軸に直交する平面に投影した第２のベクトルの方向と、前記表示装置に表示される前記画像の上下方向とが所定の相対角度となるように、前記画像を回転させる内視鏡システム。

【請求項2】

前記プロセッサが、前記第１、前記第２および前記第３の位置を含む平面に直交する方向に前記第１のベクトルを定義する請求項１に記載の内視鏡システム。

【請求項3】

前記所定の相対角度が０°である請求項１に記載の内視鏡システム。

【請求項4】

前記所定の相対角度が、事前に設定されたプリセット値または入力されたオフセット値の少なくとも１つである請求項１に記載の内視鏡システム。

【請求項5】

前記内視鏡が、長手軸方向に沿って延びる挿入部を備え、
前記移動装置が、前記長手軸回りに前記内視鏡を回転させる駆動機構を備え、
前記プロセッサが、前記駆動機構を作動させる前記制御信号を送信することにより、前記画像を回転させる請求項１から請求項４のいずれか１項に記載の内視鏡システム。

【請求項6】

前記プロセッサが、画像処理により前記画像を回転させる請求項１から請求項４のいずれか１項に記載の内視鏡システム。

【請求項7】

前記プロセッサが、
前記第３の位置と、前記平面上の前記第１の位置と前記第２の位置との間の第４の位置とを結ぶ第３のベクトルを算出し、
前記第３の位置が変化したときに、水平面に投影した前記第３のベクトルの角度変化の関数により算出された角度だけ、前記画像を回転させる請求項２に記載の内視鏡システム。

【請求項8】

前記内視鏡が、長手軸方向に沿って延びる挿入部を備え、
少なくとも１つのメモリを備え、
該メモリが、前記第１の位置、前記第２の位置および前記挿入部を挿入する第３のポートの位置とを記憶し、
前記プロセッサが、前記第１の位置、前記第２の位置および前記第３のポートの位置を前記メモリから取得する請求項１から請求項４のいずれか１項に記載の内視鏡システム。

【請求項9】

前記術者の頭部の傾きを検出するセンサを備え、
前記プロセッサが、前記センサにより検出された傾きに基づいて前記第１のベクトルの傾きを調整する請求項１から請求項４のいずれか１項に記載の内視鏡システム。

【請求項10】

前記内視鏡は、視軸の向きを変更可能な斜視型または湾曲部を有する内視鏡であって、
前記プロセッサが、前記第３の位置と、前記第１の位置と前記第２の位置との間の第４の位置とを結ぶ直線に、前記内視鏡の視軸を近づけるように前記移動装置および／または前記内視鏡を制御する請求項１に記載の内視鏡システム。

【請求項11】

内視鏡と、該内視鏡を保持し該内視鏡の位置および姿勢を調整する移動装置と、前記内視鏡により取得された画像を表示する表示装置と、を備える内視鏡システムの制御装置であって、
少なくとも１つのプロセッサを備え、
該プロセッサが、
術者が操作する第１の処置具を被検体内に挿入するための第１のポートの第１の位置、前記術者が操作する第２の処置具を前記被検体内に挿入するための第２のポートの第２の位置および前記被検体内の注目対象の第３の位置を取得し、
取得された前記第１、前記第２および前記第３の位置に基づいて、前記術者からみた前記注目対象の上下方向を示す第１のベクトルを前記内視鏡の視軸に直交する平面に投影した第２のベクトルの方向と、前記表示装置に表示される前記画像の上下方向とが所定の相対角度となるように、前記画像を回転させる内視鏡システムの制御装置。

【請求項12】

内視鏡と、該内視鏡を保持し前記内視鏡の位置および姿勢を調整する移動装置と、前記内視鏡により取得された画像を表示する表示装置と、を備える内視鏡システムの制御方法であって、
術者が操作する第１の処置具を被検体内に挿入するための第１のポートの第１の位置、前記術者が操作する第２の処置具を前記被検体内に挿入するための第２のポートの第２の位置および前記被検体内の注目対象の第３の位置を取得することと、
取得された前記第１、前記第２および前記第３の位置に基づいて、前記術者からみた前記注目対象の上下方向を示す第１のベクトルを前記内視鏡の視軸に直交する平面に投影した第２のベクトルの方向と、前記表示装置に表示される前記画像の上下方向とが所定の相対角度となるように、前記画像を回転させることとを含む内視鏡システムの制御方法。

【請求項13】

内視鏡と、該内視鏡を保持し前記内視鏡の位置および姿勢を調整する移動装置と、前記内視鏡により取得された画像を表示する表示装置と、を備える内視鏡システムの制御プログラムであって、
術者が操作する第１の処置具を被検体内に挿入するための第１のポートの第１の位置、前記術者が操作する第２の処置具を前記被検体内に挿入するための第２のポートの第２の位置および前記被検体内の注目対象の第３の位置を取得することと、
取得された前記第１、前記第２および前記第３の位置に基づいて、前記術者からみた前記注目対象の上下方向を示す第１のベクトルを前記内視鏡の視軸に直交する平面に投影した第２のベクトルの方向と、前記表示装置に表示される前記画像の上下方向とが所定の相対角度となるように、前記画像を回転させることとをコンピュータに実行させる内視鏡システムの制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、内視鏡システム、制御装置、制御方法およびプログラムに関するものである。

【背景技術】

【0002】

外科用内視鏡の挿入部の長手軸回りの回転角度を制御する手術ロボットが知られている（例えば、特許文献１参照。）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】米国特許出願公開第２０１５／０３２０５１４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１の手術ロボットにおいては、内視鏡の挿入部の回転角度の制御に当たり、腹腔内の環境を予めモデリングすることにより生成されたデータを用いている。しかしながら、腹腔内の環境をすべてモデリングするには膨大な処理が必要であるとともに、処置しようとする注目領域が想定されていない環境に配置されている場合には、制御が困難となる。

【0005】

本発明は、上述した事情に鑑みてなされたものであって、内視鏡画像を観察しながら処置具を操作する術者が、簡易に、直感的に処置し易い内視鏡画像を表示することができる内視鏡システム、制御装置、制御方法およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一態様は、少なくとも１つのプロセッサと、内視鏡と、該内視鏡を保持し、前記プロセッサからの制御信号によって前記内視鏡の位置および姿勢を調整する移動装置と、前記内視鏡により取得された画像を表示する表示装置と、を備え、前記プロセッサが、術者が操作する第１の処置具を被検体内に挿入するための第１のポートの第１の位置、前記術者が操作する第２の処置具を前記被検体内に挿入するための第２のポートの第２の位置および前記被検体内の注目対象の第３の位置を取得し、取得された前記第１、前記第２および前記第３の位置に基づいて、前記術者からみた前記注目対象の上下方向を示す第１のベクトルを前記内視鏡の視軸に直交する平面に投影した第２のベクトルの方向と、前記表示装置に表示される前記画像の上下方向とが所定の相対角度となるように、前記画像を回転させる内視鏡システムである。

【0007】

本発明の他の態様は、少なくとも１つのプロセッサと、内視鏡と、該内視鏡を保持し、前記プロセッサからの制御信号によって前記内視鏡の位置および姿勢を調整する移動装置と、前記内視鏡により取得された画像を表示する表示装置と、を備え、前記プロセッサが、術者が操作する第１の処置具を被検体内に挿入するための第１のポートの第１の位置、前記術者が操作する第２の処置具を前記被検体内に挿入するための第２のポートの第２の位置および前記被検体内の注目対象の第３の位置を取得し、該第３の位置と、前記第１の位置と前記第２の位置との間の第４の位置とを結ぶ直線に、前記内視鏡の視軸を近づけるように前記移動装置および／または前記内視鏡を制御する内視鏡システムである。

【0008】

本発明の他の態様は、内視鏡と、該内視鏡を保持し該内視鏡の位置および姿勢を調整する移動装置と、前記内視鏡により取得された画像を表示する表示装置と、を備える内視鏡システムの制御装置であって、少なくとも１つのプロセッサを備え、該プロセッサが、術者が操作する第１の処置具を被検体内に挿入するための第１のポートの第１の位置、前記術者が操作する第２の処置具を前記被検体内に挿入するための第２のポートの第２の位置および前記被検体内の注目対象の第３の位置を取得し、取得された前記第１、前記第２および前記第３の位置に基づいて、前記術者からみた前記注目対象の上下方向を示す第１のベクトルを前記内視鏡の視軸に直交する平面に投影した第２のベクトルの方向と、前記表示装置に表示される前記画像の上下方向とが所定の相対角度となるように、前記画像を回転させる内視鏡システムの制御装置である。

【0009】

本発明の他の態様は、内視鏡と、該内視鏡を保持し前記内視鏡の位置および姿勢を調整する移動装置と、前記内視鏡により取得された画像を表示する表示装置と、を備える内視鏡システムの制御方法であって、術者が操作する第１の処置具を被検体内に挿入するための第１のポートの第１の位置、前記術者が操作する第２の処置具を前記被検体内に挿入するための第２のポートの第２の位置および前記被検体内の注目対象の第３の位置を取得することと、取得された前記第１、前記第２および前記第３の位置に基づいて、前記術者からみた前記注目対象の上下方向を示す第１のベクトルを前記内視鏡の視軸に直交する平面に投影した第２のベクトルの方向と、前記表示装置に表示される前記画像の上下方向とが所定の相対角度となるように、前記画像を回転させることとを含む内視鏡システムの制御方法である。

【0010】

本発明の他の態様は、内視鏡と、該内視鏡を保持し前記内視鏡の位置および姿勢を調整する移動装置と、前記内視鏡により取得された画像を表示する表示装置と、を備える内視鏡システムの制御プログラムであって、術者が操作する第１の処置具を被検体内に挿入するための第１のポートの第１の位置、前記術者が操作する第２の処置具を前記被検体内に挿入するための第２のポートの第２の位置および前記被検体内の注目対象の第３の位置を取得することと、取得された前記第１、前記第２および前記第３の位置に基づいて、前記術者からみた前記注目対象の上下方向を示す第１のベクトルを前記内視鏡の視軸に直交する平面に投影した第２のベクトルの方向と、前記表示装置に表示される前記画像の上下方向とが所定の相対角度となるように、前記画像を回転させることとをコンピュータに実行させる内視鏡システムの制御プログラムである。

【図面の簡単な説明】

【0011】

【図1】本発明の一実施形態に係る内視鏡システムの全体構成図である。

【図2】図１の内視鏡システムを示すブロック図である。

【図3】図１の内視鏡システムを用いた患者の腹腔鏡手術を説明する概略図である。

【図4】図１の内視鏡システムの内視鏡とトロッカとを示す部分的な縦断面図である。

【図5】図１の内視鏡システムの制御方法を示すフローチャートである。

【図6】図５の内視鏡システムの制御方法を説明する概略図である。

【図7A】内視鏡の撮像素子の上下方向を鉛直方向に配置したときの内視鏡画像と、第２のベクトルとを重ねた図である。

【図7B】内視鏡の撮像素子の上下方向を第２のベクトルに一致させるように、図７Ａの内視鏡画像を回転させた図である。

【図8】図１の内視鏡システムにおいて、注目対象を変更する場合を説明する概略図である。

【図9A】図７Ａよりも術者に近い位置に配置される注目対象を撮影した内視鏡画像であって、内視鏡の撮像素子の上下方向を鉛直方向に配置したときの内視鏡画像と、第２のベクトルとを重ねた図である。

【図9B】内視鏡の撮像素子の上下方向を第２のベクトルに一致させるように、図９Ａの内視鏡画像を回転させた図である。

【図10】図５の制御方法の変形例を示すフローチャートである。

【図11】図５の制御方法の他の変形例を示すフローチャートである。

【図12】図１の内視鏡システムの変形例を説明する図である。

【図13】図１の内視鏡システムの変形例であって、斜視型の内視鏡を備える内視鏡システムを説明する図である。

【図14】図１の内視鏡システムの変形例であって、湾曲部を有する内視鏡を備える内視鏡システムを説明する図である。

【発明を実施するための形態】

【0012】

本発明の一実施形態に係る内視鏡システム１、制御装置５、制御方法およびプログラムについて図面を参照して説明する。
本実施形態に係る内視鏡システム１は、図１に示すように、内視鏡２および処置具７を患者（被検体）Ｄの体内に挿入し、処置具７を内視鏡２によって観察しながら処置具７によって患部等の対象部位を処置する手術、例えば、腹腔鏡手術に使用される。

【0013】

図１および図２に示されるように、内視鏡システム１は、内視鏡２と、内視鏡２を保持し移動させる移動装置３と、ユーザによって操作される操作装置４と、操作装置４からの操作信号に基づいて移動装置３を制御する制御装置５と、表示装置６とを備える。内視鏡２は、長手軸Ａに沿って延びる筒状の鏡筒部（挿入部）２ａを備え、視軸Ｂが長手軸Ａに一致する直視型の硬性鏡である。

【0014】

内視鏡２は、１以上の処置具７と共に患者Ｄの体内に挿入され、１以上の処置具７を含む内視鏡画像（画像）Ｃを取得する撮像素子２ｃを備える。内視鏡２は、撮像素子２ｃによって取得された内視鏡画像Ｃを、制御装置５を経由して表示装置６に送信する。撮像素子２ｃは、例えば、内視鏡２の基端に設けられた３次元カメラであり、ステレオ画像を内視鏡画像Ｃとして取得する。表示装置６は、液晶ディスプレイ、有機ＥＬディスプレイ等の任意のディスプレイである。術者Ｅは、表示装置６に表示される内視鏡画像Ｃを観察しながら処置具７を操作する。

【0015】

内視鏡２および処置具７は、図３および図４に示すようにトロッカ８内をそれぞれ経由して患者Ｄの体内、例えば、腹腔内に挿入される。トロッカ８は、腹壁に形成された穴Ｐ_０，Ｐ_１，Ｐ_２に取り付けられる筒状の器具であり、穴Ｐ_０，Ｐ_１，Ｐ_２近傍のピボット点を支点にして揺動可能である。

【0016】

移動装置３は、少なくとも６個の関節Ｍ_１～Ｍ_６を有する多関節のロボットアームである。移動装置３は、内視鏡２を保持する先端に、関節Ｍ_６として、内視鏡２を長手軸Ａ回りに回転駆動する駆動機構３ａを備える。内視鏡２は、移動装置３の動作によって、位置および姿勢が３次元的に調整される。移動装置３は、各関節Ｍ_１～Ｍ_６の角度を検出する角度センサ３ｂを備えている。角度センサ３ｂは、例えば、各関節Ｍ_１～Ｍ_６に設けられたエンコーダ、ポテンショメータまたはホールセンサである。

【0017】

図２に示されるように、制御装置５は、少なくとも１つのプロセッサ５ａと、少なくとも１つのメモリ５ｂと、記憶部（メモリ）５ｃと、入力インタフェース５ｄと、出力インタフェース５ｅとを備える。制御装置５は、内視鏡２、移動装置３および表示装置６に表示される内視鏡画像Ｃを制御する。また、制御装置５は、入力インタフェース５ｄおよび出力インタフェース５ｅを経由して内視鏡２、移動装置３、操作装置４および表示装置６と接続され、内視鏡画像Ｃおよび信号等を、入力インタフェース５ｄおよび出力インタフェース５ｅを経由して送受信する。

【0018】

記憶部５ｃは、コンピュータ読み取り可能な非一時的な記録媒体であり、例えば、ハードディスクドライブ、光ディスクまたはフラッシュメモリ等である。記憶部５ｃは、後述する制御方法をプロセッサ５ａに実行させる制御プログラムと、プロセッサ５ａの処理に必要なデータとを記憶している。また、記憶部５ｃには、移動装置３の各関節Ｍ_１～Ｍ_６間のリンクの長さであるリンク長が記憶されている。

【0019】

プロセッサ５ａは、記憶部５ｃからＲＡＭ（Random Access Memory）等のメモリ５ｂに読み込まれた制御プログラムに従って後述する制御方法を実行する。プロセッサ５ａが実行する後述の処理の一部は、ＦＰＧＡ（Field Programmable Gate Array）、ＳｏＣ（System-On-A-Chip）、ＡＳＩＣ（Application Specific Integrated Circuit）またはＰＬＤ（Programmable Logic Dvice）等の専用の論理回路やハードウェア等によって実現されてもよい。

【0020】

プロセッサ５ａは、追従モードおよび静止モードのいずれかによって移動装置３を制御してもよい。術者などのユーザは、制御装置５に設けられたユーザインタフェース（図示略）を使用して、静止モードおよび追従モードの一方を選択することができる。

【0021】

静止モードは、処置具７の位置に関わらず内視鏡２を一定位置に維持するモードである。
追従モードは、プロセッサ５ａが処置具７の位置に基づいて移動装置３を制御することによって、内視鏡２を処置具７に自動的に追従させるモードである。例えば、プロセッサ５ａは、処置具７の先端の位置を、内視鏡画像Ｃを用いたステレオ計測によって取得し、処置具７の先端が内視鏡画像Ｃ内に配置されるように、移動装置３を制御して内視鏡２を移動させる。

【0022】

一般には、移動装置３は、内視鏡２により取得される内視鏡画像Ｃの上下方向が変動しないように、撮像素子２ｃの上下方向を維持したまま内視鏡２の位置および姿勢を変化させる。
本実施形態に係る内視鏡システム１においては、移動装置３は、以下に説明する制御方法に従って、内視鏡２をその長手軸Ａ回りに回転させながら内視鏡２の位置および姿勢を変化させる。

【0023】

次に、本実施形態に係る内視鏡システム１の制御方法について、図面を参照して以下に説明する。
図５に示すように、プロセッサ５ａは、まず、トロッカ８を取り付けるために腹壁に形成された穴（ポート）Ｐ_０，Ｐ_１，Ｐ_２の３次元位置を取得する（ステップＳ１）。

【0024】

トロッカ８は、内視鏡２を挿入するためのカメラポートＰ_０および２つの処置具７を挿入するための第１、第２のポートＰ_１，Ｐ_２にそれぞれ取り付けられている。第１のポートＰ_１は、術者Ｅが右手で操作する処置具（第１の処置具）７を挿入するためのトロッカ８が取り付けられる穴である。第２のポートＰ_２は術者Ｅが左手で操作する処置具（第２の処置具）７を挿入するためのトロッカ８が取り付けられる穴である。図６において、平面Ｃ_１は、第１のポートＰ_１および第２のポートＰ_２が配置されている腹壁を、便宜上、水平面として概略的に示している。

【0025】

カメラポートＰ_０の３次元位置および第１、第２のポートＰ_１，Ｐ_２の３次元位置（第１、第２の位置）は、それぞれ、測定により、あるいは数値入力により取得される。各３次元位置は、例えば、先端にプローブ（図示略）を配置した移動装置３を動作させて、プローブを各ポートＰ_０，Ｐ_１，Ｐ_２に接触させたときに、角度センサ３ｂにより取得された移動装置３の各関節Ｍ_１～Ｍ_６の角度情報から取得されてもよい。

【0026】

次に、プロセッサ５ａは、腹腔内の被検体における注目対象Ｔ_１の３次元位置（第３の位置）を取得する（ステップＳ２）。注目対象Ｔ_１は、例えば、内視鏡２によって取得された内視鏡画像Ｃ内におけるいずれかの処置具７の先端点、あるいは内視鏡画像Ｃの画像中心に配置される点である。注目対象Ｔ_１の３次元位置は、カメラポートＰ_０から内視鏡２を挿入した状態における移動装置３の各関節Ｍ_１～Ｍ_６のリンク長および角度と、内視鏡画像Ｃから算出される注目対象Ｔ_１までの距離とに基づいて算出される。図６において、平面Ｃ_２は、注目対象Ｔ_１が配置されている被写体を、便宜上、水平面として概略的に示している。

【0027】

そして、プロセッサ５ａは、取得された第１、第２および第３の位置に基づいて、術者Ｅからみた注目対象Ｔ_１の上下方向を示す第１のベクトルＶ_１を算出する（ステップＳ３）。第１のベクトルＶ_１は、図６に示すように第３の位置を起点として、第１、第２および第３の位置を含む平面Ｃ_３に直交する方向に定義される。第１のベクトルＶ_１の大きさは任意でよい。

【0028】

また、術者Ｅの視線方向を示す第３のベクトルＶ_３は、上述した平面Ｃ_３上の第１のポートＰ_１と第２のポートＰ_２との間、例えば、中央位置（第４の位置）Ｐ_３と、注目対象Ｔ_１とを結ぶ直線Ｌ_１上に定義される。すなわち、術者Ｅの頭部Ｈは、右手で保持する処置具７と、左手で保持する処置具７との間に位置し、眼の高さは平面Ｃ_３の延長上に概略位置するものと設定している。第３のベクトルＶ_３の大きさも任意でよい。

【0029】

また、プロセッサ５ａは、第１のベクトルＶ_１を内視鏡２の視軸Ｂに直交する平面Ｃ_４に投影した第２のベクトルＶ_２の方向を算出する（ステップＳ４）。内視鏡２の視軸Ｂは、カメラポートＰ_０の３次元位置と、注目対象Ｔ_１の３次元位置とを結ぶ直線Ｌ_２上に定義される。

【0030】

図７Ａに、撮像素子２ｃの上下方向を鉛直方向に維持したまま取得された内視鏡画像Ｃと第２のベクトルＶ_２とを重ねた図を示す。図中、「Ｚ」は腹腔内の被写体を概略的に示している。第２のベクトルＶ_２は、表示装置６によって表示されてもされなくてもよい。

【0031】

術者Ｅの視線方向を示す第３のベクトルＶ_３は、腹壁上の中央位置Ｐ_３と、体内の注目対象Ｔ_１とを結ぶ直線Ｌ_１に沿って延びており、水平面である平面Ｃ_１，Ｃ_２に対して傾斜している。したがって、第１のベクトルＶ_１は、直線Ｌ_１に沿う方向以外の方向から見れば、鉛直方向に対して傾斜しており、直線Ｌ_１に平行ではない視軸Ｂに沿う直線Ｌ_２に直交する平面Ｃ_４に投影された第２のベクトルＶ_２も鉛直方向に対して傾斜している。

【0032】

プロセッサ５ａは、駆動機構３ａに制御信号を送り、第２のベクトルＶ_２の方向と、表示装置６に表示される内視鏡画像Ｃの上下方向とが一致する（相対角度が０°となる）ように、内視鏡２を長手軸Ａ回りに回転させる（ステップＳ５）。これにより、図７Ｂに示すように表示装置６に表示される内視鏡画像Ｃが画像中心回りに矢印の方向に回転し、第２のベクトルＶ_２が鉛直上方に向けられる。

【0033】

そして、プロセッサ５ａは、処理を終了するか否かを判定し（ステップＳ６）、終了しない場合には、ステップＳ２からの工程を繰り返す。
このように、本実施形態に係る内視鏡システム１、制御装置５、制御方法およびプログラムによれば、表示装置６に表示される内視鏡画像Ｃの上下方向に第２のベクトルＶ_２の方向を一致させるように内視鏡画像Ｃが回転させられる。

【0034】

したがって、表示装置６の内視鏡画像Ｃを確認しながら処置具７の操作を行う術者Ｅにとっての上下方向に表示される内視鏡画像Ｃの上下方向を合わせることができる。これにより、術者Ｅは、処置具７を直感的に操作することができる。例えば、処置具７の先端を術者Ｅが直感的に真っ直ぐに上下に移動させるように操作すると、表示装置６に表示された内視鏡画像Ｃ内においても、処置具７を上下に移動させることができる。

【0035】

また、追従モードにおいて、処置具７を移動させたときには、プロセッサ５ａは、処置具７の先端が内視鏡画像Ｃの、例えば、画像中心に配置されるように、移動装置３を制御して内視鏡２を移動させる。これにより、第１のベクトルＶ_１および第２のベクトルＶ_２が変化するので、プロセッサ５ａは、表示装置６に表示される内視鏡画像Ｃの上下方向を第２のベクトルＶ_２の方向に常に一致させるように駆動機構３ａを作動させる。

【0036】

例えば、図８に示すように、第１のポートＰ_１および第２のポートＰ_２から水平方向に比較的遠い位置に配置される注目対象Ｔ_１から比較的近い位置に配置される注目対象Ｔ_２に処置具７の先端を移動させた場合について説明する。注目対象Ｔ_１を撮影した内視鏡画像Ｃにおいては、図８に示すように、水平面である平面Ｃ_１，Ｃ_２に対して平面Ｃ_３のなす角度が比較的小さいため、取得された内視鏡画像Ｃの上下方向に対して第２のベクトルＶ_２のなす角度は比較的小さい。これに対して、第１のポートＰ_１および第２のポートＰ_２から水平方向に比較的近い位置に配置される注目対象Ｔ_２を撮影した内視鏡画像Ｃにおいては、平面Ｃ_１，Ｃ_２に対して平面Ｃ_３のなす角度が比較的大きくなる。このため、取得された内視鏡画像Ｃの上下方向に対して第２のベクトルＶ_２のなす角度は比較的大きくなる。

【0037】

すなわち、図７Ａおよび図９Ａに示すように、撮像素子ａの上下方向を鉛直方向に維持したまま取得された内視鏡画像Ｃをそのまま表示装置６に表示したのでは、注目対象Ｔ_１，Ｔ_２毎に内視鏡画像Ｃの上下方向に対する術者Ｅの認識する上下方向が変動する。このため、術者Ｅによる処置具７の正確な操作が困難になる。本実施形態によれば、図７Ｂ、図９Ｂに示すように、表示装置６に表示される内視鏡画像Ｃの上下方向を第２のベクトルＶ_２の方向に常に一致させるので、注目対象Ｔ_１，Ｔ_２を変更しても、術者Ｅが常に直感的に処置具７を正確に操作することができるという利点がある。

【0038】

なお、本実施形態においては、プロセッサ５ａが移動装置３の駆動機構３ａを作動させて、内視鏡２を長手軸Ａ回りに回転させることにより、撮像素子２ｃにより取得される内視鏡画像Ｃの画角自体を回転させた（ステップＳ５）。これに代えて、図１０に示すように、プロセッサ５ａが、撮像素子２ｃにより取得された内視鏡画像Ｃを画像処理によって画像中心回りに回転させてもよい（ステップＳ７）。これによれば、内視鏡２を物理的に回転させないので、移動装置３に駆動機構３ａを設けずに済み、内視鏡システム１を簡易に構成できるという利点がある。

【0039】

また、本実施形態においては、第１のポートＰ_１、第２のポートＰ_２および注目対象Ｔ_１の位置を含む平面Ｃ_３に直交する第１のベクトルＶ_１を定義し、第１のベクトルＶ_１を内視鏡２の長手軸Ａに直交する平面Ｃ_４に投影した第２のベクトルＶ_２に基づいて、内視鏡画像Ｃの回転角度を算出した。これに代えて、図１１に示すように、注目対象Ｔ_１，Ｔ_２の変化によって、術者Ｅの視線方向である第３のベクトルＶ_３が鉛直軸回りに回転する場合には、その回転角度θ_ｙａｗの関数ｆ（θ_ｙａｗ）によって求められる回転角度θ_ｒｏｌｌだけ、内視鏡画像Ｃを回転させてもよい。

【0040】

具体的には、プロセッサ５ａは術者Ｅの視線方向に第３のベクトルＶ_３を定義し、第３のベクトルＶ_３を水平面である平面Ｃ_１に投影したベクトルの注目対象Ｔ_１，Ｔ_２の変化による鉛直軸回りの回転角度θ_ｙａｗを算出する。
そして、例えば、下式により、角度θ_ｒｏｌｌを算出する。
θ_ｒｏｌｌ＝ｆ（θ_ｙａｗ）＝Ｋθ_ｙａｗ
ここで、Ｋは定数である。
これによれば、第１のベクトルＶ_１および第２のベクトルＶ_２を算出せずに済み、簡単な演算によって内視鏡画像Ｃの回転角度θ_ｒｏｌｌを求めるので、計算量が少なくて済むという利点がある。

【0041】

また、本実施形態においては、第２のベクトルＶ_２が、表示装置６に表示される内視鏡画像Ｃの上下方向に一致するように内視鏡画像Ｃを回転させることとした。これに代えて、第２のベクトルＶ_２が、表示装置６に表示される内視鏡画像Ｃの上下方向に対して所定の角度をなすように内視鏡画像Ｃを回転させてもよい。術者Ｅによっては、第２のベクトルＶ_２の方向を内視鏡画像Ｃの上下方向に一致していない方が処置具７を操作し易い場合もあるので、術者Ｅの好みの角度をプリセット値またはオフセット値の少なくとも一方に設定できるようにすればよい。

【0042】

また、第１のポートＰ_１、第２のポートＰ_２およびカメラポートＰ_０の位置を、実施する手技の種類に対応付けて予め記憶部５ｃに記憶しておいてもよい。プロセッサ５ａは、ユーザインタフェース４ａを用いて術者Ｅを含むユーザに、実施する手技の種類を入力させ、対応する位置情報を記憶部５ｃから読み出すことにより取得すればよい。

【0043】

また、内視鏡システム１が、図１２に示すように、術者Ｅの頭部Ｈに取り付けるジャイロセンサあるいは位置センサのようなセンサ９を備え、プロセッサ５ａがセンサ９により検出された頭部Ｈの傾きに基づいて第１のベクトルＶ_１の傾きを調整してもよい。頭部Ｈの左右方向の傾きαによって、術者Ｅの認識する上下方向が変動するので、傾きαを加味して第１のベクトルＶ_１を算出すればよい。これにより、術者Ｅが術中に頭部Ｈを傾けても、表示装置６に表示される内視鏡画像Ｃの上下方向を術者Ｅの認識する上下方向に一致させることができる。

【0044】

また、本実施形態においては、内視鏡２として、視軸Ｂが挿入部２ａの長手軸Ａ方向に一致する直視型の硬性鏡を例示した。これに代えて、視軸Ｂが長手軸Ａに対して傾斜している斜視型または挿入部２ａの先端に視軸Ｂの方向を変更可能な湾曲部２ｂを備える内視鏡２を採用してもよい。この場合に、プロセッサ５ａは、視軸Ｂの方向を第３のベクトルＶ_３の方向に近づけるように移動装置３および／または内視鏡２を制御してもよい。

【0045】

すなわち、内視鏡２が斜視型である場合について、図１３を参照して説明する。内視鏡２が斜視型である場合には、内視鏡２を直線Ｌ_１とは異なる方向から体内に挿入しても、内視鏡２の先端を直線Ｌ_１上に配置した状態で注目対象Ｔ_１，Ｔ_２を視野内に配置することができる。

【0046】

プロセッサ５ａは、視軸Ｂを、直線Ｌ_１に対して略平行に、かつ、距離を所定の閾値よりも小さくするように移動装置３を制御する。特に、視軸Ｂを直線Ｌ_１に一致させるように移動装置３を制御することが好ましい。これにより、撮像素子２ｃにより取得される内視鏡画像Ｃの上下方向は、術者Ｅの認識する上下方向に略一致するので、内視鏡画像Ｃを回転させる処理が不要となる。これによっても。術者Ｅが直感的に処置具７を操作することができる。なお、視軸Ｂを直線Ｌ_１に一致させるように移動装置３を制御した後、視軸Ｂと直線Ｌ_１とが完全に一致していない場合には、取得された第１、第２および第３の位置に基づいて、術者Ｅからみた注目対象の上下方向を示す第１のベクトルＶ_１を視軸Ｂに直交する平面に投影した第２のベクトルＶ_２の方向と、表示装置６に表示される内視鏡画像Ｃの上下方向とが所定の相対角度となるように、内視鏡画像Ｃを回転させてもよい。

【0047】

また、内視鏡２が湾曲部２ｂを有する場合も同様である。この場合には、図１４に示されるように、プロセッサ５ａは、視軸Ｂを、直線Ｌ_１に対して略平行に、かつ、距離を所定の閾値よりも小さくするように移動装置３および／または内視鏡２の湾曲部２ｂを制御する。これにより、内視鏡画像Ｃを回転させる処理を伴うことなく、撮像素子２ｃにより取得される内視鏡画像Ｃの上下方向を術者Ｅの認識する上下方向に簡易に一致させることができる。これによっても。術者Ｅが直感的に処置具７を操作することができる。

【0048】

以上、本発明の実施形態およびその変形例について説明したが、本発明の範囲はこれに限定されるものではなく、本発明の趣旨を逸脱しない範囲において種々の改良が可能である。

【符号の説明】

【0049】

１ 内視鏡システム
２ 内視鏡
２ａ 鏡筒部（挿入部）
３ 移動装置
３ａ 駆動機構
５ 制御装置
５ａ プロセッサ
５ｃ 記憶部（メモリ）
６ 表示装置
７ 処置具（第１の処置具、第２の処置具）
９ センサ
Ａ 長手軸
Ｂ 視軸
Ｃ 内視鏡画像（画像）
Ｃ_４ 平面
Ｄ 患者（被検体）
Ｅ 術者
Ｈ 頭部
Ｐ_０ カメラポート（第３のポート）
Ｐ_１ 第１のポート
Ｐ_２ 第２のポート
Ｔ_１ 注目対象
Ｖ_１ 第１のベクトル
Ｖ_２ 第２のベクトル
Ｖ_３ 第３のベクトル
α 傾き

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図8】

【図9A】

【図9B】

【図10】

【図11】

【図12】

【図13】

【図14】