▶ オリンパス株式会社の特許一覧 ▶ 独立行政法人国立がん研究センターの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-05
(45)【発行日】2024-08-14
(54)【発明の名称】内視鏡システム、制御装置および記録媒体
(51)【国際特許分類】
A61B 1/045 20060101AFI20240806BHJP
A61B 1/00 20060101ALI20240806BHJP
G02B 23/24 20060101ALI20240806BHJP
【ＦＩ】
A61B1/045 610
A61B1/045 618
A61B1/045 614
A61B1/00 655
G02B23/24 B
【請求項の数】
24
(21)【出願番号】P 2022547659
(86)(22)【出願日】2021-09-09
(86)【国際出願番号】 JP2021033210
(87)【国際公開番号】W WO2022054884
(87)【国際公開日】2022-03-17
【審査請求日】2023-02-06
(31)【優先権主張番号】63/076408
(32)【優先日】2020-09-10
(33)【優先権主張国・地域又は機関】US
【国等の委託研究の成果に係る記載事項】（出願人による申告）令和２年度、国立研究開発法人日本医療研究開発機構、「先進的医療機器・システム等技術開発事業」「外科手術のデジタルトランスフォーメーション：情報支援内視鏡外科手術システムの開発」委託研究開発、産業技術力強化法第１７条の適用を受ける特許出願
(73)【特許権者】
【識別番号】000000376
【氏名又は名称】オリンパス株式会社
(73)【特許権者】
【識別番号】510097747
【氏名又は名称】国立研究開発法人国立がん研究センター
(74)【代理人】
【識別番号】100118913
【弁理士】
【氏名又は名称】上田 邦生
(74)【代理人】
【識別番号】100142789
【弁理士】
【氏名又は名称】柳 順一郎
(74)【代理人】
【識別番号】100201466
【弁理士】
【氏名又は名称】竹内 邦彦
(72)【発明者】
【氏名】水谷 千春
(72)【発明者】
【氏名】柳原 勝
(72)【発明者】
【氏名】荻本 浩人
(72)【発明者】
【氏名】長谷川 寛
(72)【発明者】
【氏名】北口 大地
(72)【発明者】
【氏名】竹下 修由
(72)【発明者】
【氏名】小島 成浩
(72)【発明者】
【氏名】古澤 悠貴
(72)【発明者】
【氏名】杵淵 裕美
(72)【発明者】
【氏名】伊藤 雅昭
【審査官】▲高▼ 芳徳
(56)【参考文献】
【文献】特開２０１９－１６２２３１（ＪＰ，Ａ）
【文献】特開平０６－３１９６９７（ＪＰ，Ａ）
【文献】特開２００５－０５５７５６（ＪＰ，Ａ）
【文献】米国特許出願公開第２００２／０１６１２８０（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１９／００９０７２８（ＵＳ，Ａ１）
【文献】米国特許出願公開第２００５／０１２３１７９（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ １／００ － １／３２
Ｇ０２Ｂ ２３／２４ － ２３／２６
(57)【特許請求の範囲】
【請求項1】
被検体内に挿入され該被検体内の内視鏡画像を取得する内視鏡と、該内視鏡を保持し該内視鏡を移動させる移動装置と、
記憶部と、
少なくとも１つのプロセッサを有する制御装置と、を備え、
前記記憶部が、前記被検体内の第１領域の第１位置情報および第１回転角情報と、前記被検体内の前記第１領域とは異なる第２領域の第２位置情報および第２回転角情報と、を記憶し、前記第１回転角情報は、前記第１領域の前記内視鏡画像の回転角を規定する情報であり、前記第２回転角情報は、前記第２領域の前記内視鏡画像の回転角を規定する情報であり、
前記少なくとも１つのプロセッサは、
前記被検体内の第３領域の第３位置情報と前記第１および第２位置情報との間の位置関係を算出し、
該位置関係、前記第１回転角情報および前記第２回転角情報に基づいて、前記第３領域の第３回転角情報を算出し、
前記第３領域は前記第１および第２領域とは異なる領域であり、
前記内視鏡によって現在撮像されている現在の撮像領域が前記第３領域に含まれる場合、前記第３回転角情報に基づいて前記内視鏡画像を回転させ、
回転された前記内視鏡画像を表示装置に出力する、内視鏡システム。
【請求項2】
前記少なくとも１つのプロセッサが、前記内視鏡画像を画像処理によって回転させる、請求項１に記載の内視鏡システム。
【請求項3】
前記移動装置が、前記内視鏡の光軸回りに該内視鏡を回転させることが可能であり、前記少なくとも１つのプロセッサが、前記移動装置を制御し前記内視鏡を前記光軸回りに回転させることによって前記内視鏡画像を回転させる、請求項１に記載の内視鏡システム。
【請求項4】
前記少なくとも１つのプロセッサが、ユーザによる前記内視鏡の操作を許可するマニュアルモードで動作可能であり、前記マニュアルモードにおいて、前記少なくとも１つのプロセッサは、前記第１位置情報、前記第１回転角情報、前記第２位置情報および前記第２回転角情報を決定し前記記憶部に記憶させる、請求項１に記載の内視鏡システム。
【請求項5】
前記少なくとも１つのプロセッサが、前記内視鏡画像内に含まれる第１特定組織に基づいて前記第１位置情報および前記第１回転角情報を決定し、
前記内視鏡画像内に含まれる第２特定組織に基づいて前記第２位置情報および前記第２回転角情報を決定する、請求項４に記載の内視鏡システム。
【請求項6】
前記記憶部が、特定組織を含む画像と該特定組織の種類との対応関係を機械学習した学習済みモデルを記憶し、前記少なくとも１つのプロセッサが、
前記記憶部に記憶された前記学習済みモデルを使用して前記内視鏡画像内の前記第１特定組織および前記第２特定組織を認識し、
前記第１特定組織が認識された前記内視鏡画像の撮像領域の位置に基づいて前記第１位置情報を決定するとともに、前記内視鏡画像内の前記第１特定組織の回転角に基づいて前記第１回転角情報を決定し、
前記第２特定組織が認識された前記内視鏡画像の撮像領域の位置に基づいて前記第２位置情報を決定するとともに、前記内視鏡画像内の前記第２特定組織の回転角に基づいて前記第２回転角情報を決定する、請求項５に記載の内視鏡システム。
【請求項7】
前記制御装置が、ユーザの指示を受け付けるユーザインタフェースをさらに備え、前記少なくとも１つのプロセッサは、
前記ユーザインタフェースが第１指示を受け付けたときの前記撮像領域の位置に基づいて前記第１位置情報を決定するとともに、前記ユーザインタフェースが前記第１指示を受け付けたときの前記内視鏡の光軸回りの回転角に基づいて前記第１回転角情報を決定し、
前記ユーザインタフェースが第２指示を受け付けたときの前記撮像領域の位置に基づいて前記第２位置情報を決定するとともに、前記ユーザインタフェースが前記第２指示を受け付けたときの前記内視鏡の光軸回りの回転角に基づいて前記第２回転角情報を決定する、請求項４に記載の内視鏡システム。
【請求項8】
前記少なくとも１つのプロセッサが、前記第１領域を撮像した内視鏡画像である第１内視鏡画像および前記第２領域を撮像した前記内視鏡画像である第２内視鏡画像を前記記憶部に保存する、請求項４に記載の内視鏡システム。
【請求項9】
前記少なくとも１つのプロセッサが、前記記憶部に保存された前記第１内視鏡画像および前記第２内視鏡画像に基づいて、前記現在の撮像領域が前記第１領域、前記第２領域および前記第３領域のいずれに含まれるかを判定する、請求項８に記載の内視鏡システム。
【請求項10】
前記記憶部に、術前に取得された前記被検体内の検査画像に基づいて決定された前記第１位置情報および前記第２位置情報が、予め記憶されている、請求項１に記載の内視鏡システム。
【請求項11】
前記少なくとも１つのプロセッサは、前記現在の撮像領域が前記第１領域に含まれる場合、前記第１回転角情報に基づいて前記内視鏡画像を回転させ、
前記現在の撮像領域が前記第２領域に含まれる場合、前記第２回転角情報に基づいて前記内視鏡画像を回転させる、請求項１に記載の内視鏡システム。
【請求項12】
前記プロセッサが、前記撮像領域の位置、前記第１位置情報および前記第２位置情報に基づいて、前記現在の撮像領域が前記第１領域、前記第２領域および前記第３領域のいずれに含まれるかを判定する、請求項１１に記載の内視鏡システム。
【請求項13】
前記内視鏡が、前記被検体に対して固定された所定のピボット点において第１ピボット軸回りに揺動可能に支持され、該第１ピボット軸回りの前記内視鏡の揺動によって前記撮像領域が前記第１領域と前記第２領域との間で移動可能であり、前記第１位置情報、前記第２位置情報および前記第３位置情報の各々が、前記第１ピボット軸回りの前記内視鏡の回転角度を含む、請求項１に記載の内視鏡システム。
【請求項14】
前記内視鏡が、前記所定のピボット点において第２ピボット軸回りに揺動可能に支持され、該第２ピボット軸は前記第１ピボット軸と直交し、前記第１位置情報、前記第２位置情報および前記第３位置情報の各々が、３次元情報であり、前記第２ピボット軸回りの前記内視鏡の回転角度をさらに含む、請求項１３に記載の内視鏡システム。
【請求項15】
前記移動装置が、１以上の関節と、該１以上の関節の各々の回転角度を検出する１以上の角度センサとを有し、前記プロセッサが、前記１以上の角度センサによって検出された回転角度に基づいて、前記第１ピボット軸回りの前記内視鏡の回転角度を算出する、請求項１３に記載の内視鏡システム。
【請求項16】
前記記憶部に、特定組織の種類と回転角情報とが対応付けられたデータベースが記憶され、前記第３領域の前記内視鏡画像内に前記特定組織が含まれる場合、前記プロセッサは、
前記内視鏡画像内の前記特定組織の種類と対応する前記回転角情報を前記データベースから読み出し、
読み出された前記回転角情報に基づいて前記内視鏡画像を回転させる、請求項１に記載の内視鏡システム。
【請求項17】
前記少なくとも１つのプロセッサは、前記内視鏡の前記光軸回りの回転角が所定の回転可能範囲の限界角に達した場合、前記内視鏡画像を画像処理によって回転させる、請求項３に記載の内視鏡システム。
【請求項18】
前記内視鏡が、直視型内視鏡または斜視型内視鏡である、請求項１に記載の内視鏡システム。
【請求項19】
前記内視鏡が、該内視鏡の先端部に電動で湾曲可能な湾曲部を有する、請求項１に記載の内視鏡システム。
【請求項20】
前記少なくとも１つのプロセッサは、前記現在の撮像領域が前記第１領域に含まれる場合、前記第１位置情報または前記第１回転角情報を、現在の撮像領域の位置情報または回転角情報に更新可能であり、
前記現在の撮像領域が前記第２領域に含まれる場合、前記第２位置情報または前記第２回転角情報を、現在の撮像領域の位置情報または回転角情報に更新可能である、請求項１に記載の内視鏡システム。
【請求項21】
前記マニュアルモードにおいて、前記少なくとも１つのプロセッサは、前記第３位置情報および前記第３回転角情報を算出し前記記憶部に記憶させる請求項４に記載の内視鏡システム。
【請求項22】
前記少なくとも１つのプロセッサは、前記移動装置を制御することによって前記内視鏡を自律的に移動させる自律モードで動作可能であり、
前記第３位置情報および前記第３回転角情報を前記自律モード中に算出する請求項１に記載の内視鏡システム。
【請求項23】
内視鏡によって取得され表示装置に表示される内視鏡画像を制御する制御装置であって、記憶部と、
少なくとも１つのプロセッサと、を備え、
前記記憶部が、被検体内の第１領域の第１位置情報および第１回転角情報と、前記被検体内の前記第１領域とは異なる第２領域の第２位置情報および第２回転角情報と、を記憶し、前記第１回転角情報は、前記第１領域の前記内視鏡画像の回転角を規定する情報であり、前記第２回転角情報は、前記第２領域の前記内視鏡画像の回転角を規定する情報であり、
前記少なくとも１つのプロセッサは、
前記被検体内の第３領域の第３位置情報と前記第１および第２位置情報との間の位置関係を算出し、
該位置関係、前記第１回転角情報および前記第２回転角情報に基づいて、前記第３領域の第３回転角情報を算出し、
前記第３領域は前記第１および第２領域とは異なる領域であり、
前記内視鏡によって現在撮像されている現在の撮像領域が前記第３領域に含まれる場合、前記第３回転角情報に基づいて前記内視鏡画像を回転させ、
回転された前記内視鏡画像を表示装置に出力する、制御装置。
【請求項24】
内視鏡によって取得され表示装置に表示される内視鏡画像を、被検体内の第１領域の第１位置情報および第１回転角情報と前記被検体内の前記第１領域とは異なる第２領域の第２位置情報および第２回転角情報とを用いて制御する制御方法をコンピュータに実行させるための制御プログラムを記憶した、コンピュータにより読み取り可能な非一時的な記録媒体であって、
前記第１回転角情報は、前記第１領域の前記内視鏡画像の回転角を規定する情報であり、前記第２回転角情報は、前記第２領域の前記内視鏡画像の回転角を規定する情報であり、
前記制御方法が、
前記被検体内の第３領域の第３位置情報と前記第１および第２位置情報との間の位置関係を算出し、該位置関係、前記第１回転角情報および前記第２回転角情報に基づいて、前記第３領域の第３回転角情報を算出し、前記第３領域は前記第１および第２領域とは異なる領域である、工程と、
前記内視鏡によって現在撮像されている現在の撮像領域が前記第３領域に含まれる場合、前記第３回転角情報に基づいて前記内視鏡画像を回転させる工程と、
回転された前記内視鏡画像を表示装置に出力する工程と、を含む記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、内視鏡システム、制御装置、制御方法および記録媒体に関するものである。
本出願は、２０２０年９月１０日にアメリカ合衆国に仮出願された米国特許仮出願第６３／０７６，４０８号に基づいて優先権を主張し、その内容をここに援用する。
本出願は、２０２０年９月１０日にアメリカ合衆国に仮出願された米国特許仮出願第６３／０７６，４０８号に基づいて優先権を主張し、その内容をここに援用する。
【背景技術】
【0002】
従来、電動のホルダを制御することによって、ホルダに保持された内視鏡を移動させる内視鏡システムが知られている（例えば、特許文献１参照。）
特許文献１の内視鏡システムは、手動モードにおいて操作者が内視鏡を移動させている間のホルダの各関節の回転角度の時系列変化を記憶し、自動復帰モードにおいて、各関節の回転角度の時系列変化を逆再生する。これにより、内視鏡は、手動モードにおける移動軌跡を逆方向に移動し、初期の位置および姿勢に自動的に復帰する。
特許文献１の内視鏡システムは、手動モードにおいて操作者が内視鏡を移動させている間のホルダの各関節の回転角度の時系列変化を記憶し、自動復帰モードにおいて、各関節の回転角度の時系列変化を逆再生する。これにより、内視鏡は、手動モードにおける移動軌跡を逆方向に移動し、初期の位置および姿勢に自動的に復帰する。
【先行技術文献】
【特許文献】
【0003】
【文献】特許第６１６１６８７号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
術者が表示装置に表示される内視鏡画像を観察しながら患部の手術を行うとき、表示装置上の内視鏡画像の上下方向が重要である。内視鏡画像の上下方向は、内視鏡画像内の被写体の回転角を示し、別の表現では天地方向とも言う。内視鏡画像の上下方向に応じて臓器の配置および組織の見え方が異なる。したがって、術者が表示装置上の内視鏡画像内の臓器および組織を正確に認識することができるようにするために、適切な上下方向の内視鏡画像が表示装置に表示されること
が望ましい。
が望ましい。
【0005】
しかし、体内での内視鏡の移動に伴って内視鏡画像の上下方向は変化する。さらに、術者にとって望ましい内視鏡画像の上下方向は観察位置や手技内容に応じて異なる。特許文献１の内視鏡システムは、手動モードにおける移動軌跡を再現するのみで、内視鏡の位置または観察位置に応じて内視鏡画像の上下方向を調整する機能を有しない。したがって、内視鏡画像の上下方向を調整するために、術者は、操作中の処置具から一旦手を放して処置を中断し、内視鏡を手動で操作して内視鏡の姿勢を調整する必要がある。
【0006】
本発明は、上述した事情に鑑みてなされたものであって、内視鏡画像の上下方向を自動的に調整することができる内視鏡システム、制御装置、制御方法および記録媒体を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の一態様は、被検体（患者体腔内）内に挿入され該被検体内の内視鏡画像を取得する内視鏡と、該内視鏡を保持し該内視鏡を移動させる移動装置と、記憶部と、少なくとも１つのプロセッサを有する制御装置と、を備え、前記記憶部が、前記被検体内の第１領域の第１位置情報および第１回転角情報と、前記被検体内の前記第１領域とは異なる第２領域の第２位置情報および第２回転角情報と、を記憶し、前記第１回転角情報は、前記第１領域の前記内視鏡画像の回転角を規定する情報であり、前記第２回転角情報は、前記第２領域の前記内視鏡画像の回転角を規定する情報であり、前記少なくとも１つのプロセッサは、前記被検体内の第３領域の第３位置情報と前記第１および第２位置情報との間の位置関係を算出し、該位置関係、前記第１回転角情報および前記第２回転角情報に基づいて、前記第３領域の第３回転角情報を算出し、前記第３領域は前記第１および第２領域とは異なる領域であり、前記内視鏡によって現在撮像されている現在の撮像領域が前記第３領域に含まれる場合、前記第３回転角情報に基づいて前記内視鏡画像を回転させ、回転された前記内視鏡画像を表示装置に出力する、内視鏡システムである。
【0008】
本発明の他の態様は、内視鏡によって取得され表示装置に表示される内視鏡画像を制御する制御装置であって、記憶部と、少なくとも１つのプロセッサと、を備え、前記記憶部が、被検体内の第１領域の第１位置情報および第１回転角情報と、前記被検体内の前記第１領域とは異なる第２領域の第２位置情報および第２回転角情報と、を記憶し、前記第１回転角情報は、前記第１領域の前記内視鏡画像の回転角を規定する情報であり、前記第２回転角情報は、前記第２領域の前記内視鏡画像の回転角を規定する情報であり、前記少なくとも１つのプロセッサは、前記被検体内の第３領域の第３位置情報と前記第１および第２位置情報との間の位置関係を算出し、該位置関係、前記第１回転角情報および前記第２回転角情報に基づいて、前記第３領域の第３回転角情報を算出し、前記第３領域は前記第１および第２領域とは異なる領域であり、前記内視鏡によって現在撮像されている現在の撮像領域が前記第３領域に含まれる場合、前記第３回転角情報に基づいて前記内視鏡画像を回転させ、回転された前記内視鏡画像を表示装置に出力する、制御装置である。
【0009】
本発明の参考例としての発明の一参考態様は、内視鏡によって取得され表示装置に表示される内視鏡画像を、被検体内の第１領域の第１位置情報および第１回転角情報と前記被検体内の前記第１領域とは異なる第２領域の第２位置情報および第２回転角情報とを用いて制御する制御方法であって、前記第１回転角情報は、前記第１領域の前記内視鏡画像の回転角を規定する情報であり、前記第２回転角情報は、前記第２領域の前記内視鏡画像の回転角を規定する情報であり、前記被検体内の第３領域の第３回転角情報を前記第１位置情報、前記第１回転角情報、前記第２位置情報、前記第２回転角情報および前記第３領域の第３位置情報に基づいて算出し、前記第３領域は前記第１および第２領域とは異なる領域である、工程と、前記内視鏡によって現在撮像されている現在の撮像領域が前記第３領域に含まれる場合、前記第３回転角情報に基づいて前記内視鏡画像を回転させる工程と、回転された前記内視鏡画像を表示装置に出力する工程と、を含む制御方法である。
【0010】
本発明の他の態様は、内視鏡によって取得され表示装置に表示される内視鏡画像を、被検体内の第１領域の第１位置情報および第１回転角情報と前記被検体内の前記第１領域とは異なる第２領域の第２位置情報および第２回転角情報とを用いて制御する制御方法をコンピュータに実行させるための制御プログラムを記録した、コンピュータにより読み取り可能な非一時的な記録媒体であって、前記第１回転角情報は、前記第１領域の前記内視鏡画像の回転角を規定する情報であり、前記第２回転角情報は、前記第２領域の前記内視鏡画像の回転角を規定する情報であり、前記制御方法が、前記被検体内の第３領域の第３位置情報と前記第１および第２位置情報との間の位置関係を算出し、該位置関係、前記第１回転角情報および前記第２回転角情報に基づいて、前記第３領域の第３回転角情報を算出し、前記第３領域は前記第１および第２領域とは異なる領域である、工程と、前記内視鏡によって現在撮像されている現在の撮像領域が前記第３領域に含まれる場合、前記第３回転角情報に基づいて前記内視鏡画像を回転させる工程と、回転された前記内視鏡画像を表示装置に出力する工程と、を含む記録媒体である。
【発明の効果】
【0011】
本発明によれば、被検体内の観察位置に応じて適切な上下方向の内視鏡画像を操作者に提供することができるという効果を奏する。
【図面の簡単な説明】
【0012】
【図1A】内視鏡システムの全体構成を示す外観図である。
【図1B】腹腔内に挿入された内視鏡の移動を説明する図である。
【図1C】ロボットアームの先端部と内視鏡とを示す図である
【図2】内視鏡システムの全体構成を示すブロック図である。
【図3A】第１実施形態に係る制御方法を示すシーケンス図であり、マニュアルモードにおけるユーザの操作とプロセッサの処理とを説明する図である。
【図3B】第１実施形態に係る制御方法を示すフローチャートであり、自律モードにおけるプロセッサの処理を説明する図である。
【図4A】第１位置情報および第１回転角情報を決定する工程における内視鏡の操作を説明する図である。
【図4B】第２位置情報および第２回転角情報を決定する工程における内視鏡の操作を説明する図である。
【図5A】Ｏ点における内視鏡画像を示す図である。
【図5B】Ｂ点における内視鏡画像を示す図である。
【図6A】Ａ点における内視鏡画像を示す図である。
【図7】マニュアルモードにおいて記憶部に記憶される位置情報および回転角情報を示す図である。
【図8A】第２実施形態に係る制御方法を示すシーケンス図であり、マニュアルモードにおけるユーザの操作とプロセッサの処理とを説明する図である。
【図8B】第２実施形態に係る制御方法を示すフローチャートであり、自律モードにおけるプロセッサの処理を説明する図である。
【図9】第３実施形態に係る制御方法を示すフローチャートであり、自律モードにおけるプロセッサの処理を説明する図である。
【図10】第１変形例の斜視型内視鏡を示す図である。
【図11A】第１変形例に係る制御方法を示すシーケンス図であり、マニュアルモードにおけるユーザの操作とプロセッサの処理とを説明する図である。
【図11B】第１変形例に係る制御方法を示すフローチャートであり、自律モードにおけるプロセッサの処理を説明する図である。
【図12】第２変形例の湾曲部を有する内視鏡を示す図である。
【図13A】他の変形例に係る制御方法を示すシーケンス図であり、マニュアルモードにおけるユーザの操作とプロセッサの処理とを説明する図である。
【図13B】他の変形例に係る制御方法を示すフローチャートであり、自律モードにおけるプロセッサの処理を説明する図である。
【発明を実施するための形態】
【0013】
（第１実施形態）
本発明の第１実施形態に係る内視鏡システム、制御装置、制御方法および記録媒体について図面を参照して説明する。
図１Ａに示されるように、本実施形態に係る内視鏡システム１０は、内視鏡２および１以上の処置具６を被検体である患者Ｘの体内に挿入し、処置具６を内視鏡２によって観察しながら処置具６で処置部位を処置する手術に使用され、例えば、腹腔鏡下手術に使用される。
本発明の第１実施形態に係る内視鏡システム、制御装置、制御方法および記録媒体について図面を参照して説明する。
図１Ａに示されるように、本実施形態に係る内視鏡システム１０は、内視鏡２および１以上の処置具６を被検体である患者Ｘの体内に挿入し、処置具６を内視鏡２によって観察しながら処置具６で処置部位を処置する手術に使用され、例えば、腹腔鏡下手術に使用される。
【0014】
図１Ｂに示されるように、内視鏡２は、体壁に形成された穴Ｈを経由して被検体内、例えば腹腔内に挿入される。これにより、内視鏡２は、被検体に対して固定されピボット点である穴Ｈの位置において体壁によって支持され、ピボット点Ｈを通るピボット軸（第１ピボット軸）Ｐ１回りに揺動可能である。図１Ａおよび図１Ｂに示される腹腔鏡下手術において、ピボット軸Ｐ１は、腹側から背側へ向かう患者Ｘの前後方向に延びている。ピボット軸Ｐ１回りの内視鏡２の揺動によって、内視鏡２によって撮像される撮像領域は、大動脈Ｆを含む第１領域と骨盤Ｇを含む第２領域との間で移動することができる。
内視鏡２および処置具６は、穴Ｈを貫通するトロッカ内を経由して被検体内に挿入されてもよい。トロッカは、両端において開口する筒状の器具である。この場合、内視鏡２は、穴Ｈの位置においてトロッカによって支持される。
内視鏡２および処置具６は、穴Ｈを貫通するトロッカ内を経由して被検体内に挿入されてもよい。トロッカは、両端において開口する筒状の器具である。この場合、内視鏡２は、穴Ｈの位置においてトロッカによって支持される。
【0015】
図１Ａおよび図２に示されるように、内視鏡システム１０は、内視鏡２と、内視鏡２を保持し内視鏡２を被検体内で移動させる移動装置３と、内視鏡２と接続され内視鏡２によって撮像された内視鏡画像Ｅを処理する内視鏡プロセッサ４と、移動装置３および内視鏡プロセッサ４と接続され移動装置３を制御する制御装置１と、内視鏡プロセッサ４と接続され内視鏡画像Ｅを表示する表示装置５とを備える。
【0016】
内視鏡２は、内視鏡２の長手軸Ｉと同軸の視軸（光軸）Ｃを有する直視型内視鏡であり、例えば硬性鏡である。内視鏡２は、撮像素子２ａを有し、被検体Ｘ内、例えば腹腔内を撮像し、処置具６の先端を含む内視鏡画像Ｅ（図５Ａから図６Ｂ参照。）を取得する。撮像素子２ａは、例えば内視鏡２の先端部に設けられた３次元カメラであり、ステレオ画像を内視鏡画像Ｅとして撮像する。撮像素子２ａは、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどのイメージセンサであり、所定領域から受光した光を光電変換により電気信号に変換することで、所定領域の画像を生成する。内視鏡画像Ｅであるステレオ画像は、視差を有する２つの画像を内視鏡プロセッサ４等によって画像処理することで生成される。この場合、内視鏡２の先端部は、ステレオ光学系を有する。
【0017】
内視鏡画像Ｅは、内視鏡２から内視鏡プロセッサ４に送信され、内視鏡プロセッサ４において必要な処理が施され、内視鏡プロセッサ４から表示装置５に送信され、表示装置５の表示画面５ａに表示される。表示装置５は、液晶ディスプレイ、有機ＥＬディスプレイ等の任意のディスプレイである。術者は、表示画面５ａに表示される内視鏡画像Ｅを観察しながら体内に挿入された処置具６を操作する。表示装置５は、スピーカ等の音声装置を備えていてもよい。
表示装置５以外に、ユーザによって使用され制御装置１および内視鏡プロセッサ４と通信ネットワークを通じて通信する端末が設けられ、端末に内視鏡画像Ｅが表示されてもよい。端末は、特に限定しないが、ノート型コンピュータ、ラップトップ型コンピュータ、タブレット型コンピュータまたはスマートフォンなどである。
表示装置５以外に、ユーザによって使用され制御装置１および内視鏡プロセッサ４と通信ネットワークを通じて通信する端末が設けられ、端末に内視鏡画像Ｅが表示されてもよい。端末は、特に限定しないが、ノート型コンピュータ、ラップトップ型コンピュータ、タブレット型コンピュータまたはスマートフォンなどである。
【0018】
移動装置３は、内視鏡２を保持し内視鏡２の位置および姿勢を３次元的に制御するロボットアーム３ａ（電動スコープホルダを含む）を備える。移動装置３は、複数の関節３ｂ，３ｃを有し、複数の関節３ｂ，３ｃの動作によって、ピボット軸Ｐ１を支点として内視鏡２を移動させ内視鏡２の位置および姿勢を３次元的に変更することができる。
【0019】
図１Ｃに示されるように、関節３ｃは、内視鏡２を長手軸Ｉ回りに回転させる回転関節であり、例えばロボットアーム３ａの先端部に設けられている。関節３ｃの回転によって内視鏡２が長手軸Ｉと同軸の光軸Ｃ回りに回転し、それにより、内視鏡画像Ｅ内の被写体の回転角、すなわち、内視鏡画像Ｅの上下方向が変化する。
移動装置３は、複数の関節３ｂ，３ｃの各々の回転角度を検出する複数の角度センサ３ｄを備える。角度センサ３ｄは、例えば、各関節３ｂ，３ｃに設けられたエンコーダ、ポテンショメータまたはホールセンサなどである。
移動装置３は、複数の関節３ｂ，３ｃの各々の回転角度を検出する複数の角度センサ３ｄを備える。角度センサ３ｄは、例えば、各関節３ｂ，３ｃに設けられたエンコーダ、ポテンショメータまたはホールセンサなどである。
【0020】
図２に示されるように、制御装置１は、中央演算処理装置のような少なくとも１つのプロセッサ１１と、メモリ１２と、記憶部１３と、入力インタフェース１４と、出力インタフェース１５と、ユーザインタフェース１６とを備える。制御装置１は、例えば、デスクトップ型コンピュータ、タブレット型コンピュータ、ラップトップ型コンピュータ、スマートフォンまたは携帯電話などでよい。
【0021】
プロセッサ１１は、シングルプロセッサ、マルチプロセッサまたはマルチコアプロセッサであってもよい。プロセッサ１１は、記憶部１３に格納されているプログラムを読み出して実行する。
メモリ１２は、例えば、ＲＯＭ（read-only memory）、または、ＲＡＭ（Random Access Memory）領域を含む半導体メモリである。メモリ１２も、後述する記憶部１３と同様に、プロセッサ１１の処理に必要なデータを記憶してもよい(すなわち、「記憶部」として動作してもよい。)。
メモリ１２は、例えば、ＲＯＭ（read-only memory）、または、ＲＡＭ（Random Access Memory）領域を含む半導体メモリである。メモリ１２も、後述する記憶部１３と同様に、プロセッサ１１の処理に必要なデータを記憶してもよい(すなわち、「記憶部」として動作してもよい。)。
【0022】
記憶部１３は、コンピュータにより読み取り可能な非一時的な記録媒体であり、例えば、ハードディスクまたはフラッシュメモリ等の半導体メモリを含む不揮発性の記録媒体である。記憶部１３は、追従制御プログラム（図示略）および画像制御プログラム（制御プログラム）１ａを含む各種のプログラムと、プロセッサ１１の処理に必要なデータとを記憶している。プロセッサ１１が実行する後述の処理の一部は、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、およびＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）など専用の論理回路やハードウェア等によって実現されてもよい。
【0023】
記憶部１３は、制御装置１に内蔵された記録媒体に代えて、通信インタフェースを備えた制御装置１と通信ネットワークを経由して接続された、クラウドサーバのようなサーバであってもよい。通信ネットワークは、例えば、インターネットなどの公衆回線、専用回線、または、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）であってもよい。各種装置の接続は、有線接続および無線接続のいずれであってもよい。
【0024】
なお、内視鏡画像Ｅを処理する内視鏡プロセッサ４が、プロセッサ１１を備えることとしてもよい。すなわち、制御装置１に含まれるプロセッサ１１と同様に、内視鏡プロセッサ４が、プロセッサや専用の論理回路またはハードウェアを備え、プロセッサ１１と同様に後述の処理を行うこととしてもよい。内視鏡プロセッサ４と制御装置１は、一体であってもよい。内視鏡プロセッサ４と制御装置１に、それぞれ１つ以上のプロセッサが設けられていてもよい。
制御装置１が備える上記少なくとも１つのプロセッサ１１、メモリ１２、記憶部１３、入力インタフェース１４、出力インタフェース１５およびユーザインタフェース１６のいずれかの構成は、内視鏡プロセッサ４および制御装置１とは別に、ユーザが使用する端末にさらに備えられていてもよい。また、制御装置１は、移動装置３と一体であってもよい。
制御装置１が備える上記少なくとも１つのプロセッサ１１、メモリ１２、記憶部１３、入力インタフェース１４、出力インタフェース１５およびユーザインタフェース１６のいずれかの構成は、内視鏡プロセッサ４および制御装置１とは別に、ユーザが使用する端末にさらに備えられていてもよい。また、制御装置１は、移動装置３と一体であってもよい。
【0025】
入力インタフェース１４および出力インタフェース１５は内視鏡プロセッサ４と接続されている。制御装置１は、内視鏡２から内視鏡プロセッサ４を経由して内視鏡画像Ｅを取得することができ、内視鏡画像Ｅを内視鏡プロセッサ４を経由して表示装置５に出力することができる。制御装置１が内視鏡２から内視鏡画像Ｅを直接取得し、内視鏡画像Ｅを表示装置５に直接出力することができるように、入力インタフェース１４は内視鏡２と直接接続され、出力インタフェース１５は表示装置５と直接接続されていてもよい。
また、入力インタフェース１４および出力インタフェース１５は移動装置３と接続されている。制御装置１は、角度センサ３ｄによって検出された関節３ｂ，３ｃの回転角度の情報を移動装置３から取得し、関節３ｂ，３ｃを駆動させるための制御信号を移動装置３に送信する。
また、入力インタフェース１４および出力インタフェース１５は移動装置３と接続されている。制御装置１は、角度センサ３ｄによって検出された関節３ｂ，３ｃの回転角度の情報を移動装置３から取得し、関節３ｂ，３ｃを駆動させるための制御信号を移動装置３に送信する。
【0026】
ユーザインタフェース１６は、術者等のユーザがユーザインタフェース１６に入力を行うための、ボタン、マウス、キーボードおよびタッチパネル等の入力デバイスを有し、ユーザからの入力を受け付ける。
また、ユーザインタフェース１６は、ユーザが後述のマニュアルモードと自律モードとを切り替えるための手段、例えばスイッチを有する。
また、ユーザインタフェース１６は、ユーザの第１指示および第２指示を受け付けることができるように構成されている。第１指示および第２指示は、後述する位置情報および回転角情報の登録を制御装置１に実行させるための指示である。例えば、ユーザインタフェース１６は、操作者によって操作されるボタンを有し、ボタンが１回目に操作されることによって第１指示を受け付け、ボタンが２回目に操作されることによって第２指示を受け付ける。
また、ユーザインタフェース１６は、ユーザが後述のマニュアルモードと自律モードとを切り替えるための手段、例えばスイッチを有する。
また、ユーザインタフェース１６は、ユーザの第１指示および第２指示を受け付けることができるように構成されている。第１指示および第２指示は、後述する位置情報および回転角情報の登録を制御装置１に実行させるための指示である。例えば、ユーザインタフェース１６は、操作者によって操作されるボタンを有し、ボタンが１回目に操作されることによって第１指示を受け付け、ボタンが２回目に操作されることによって第２指示を受け付ける。
【0027】
プロセッサ１１は、マニュアルモードおよび自律モードのいずれかで動作可能である。
マニュアルモードは、術者等のユーザによる内視鏡２の操作を許可するモードである。マニュアルモードにおいて、術者は、内視鏡２の基端部を手で把持し、内視鏡２を手動で移動させることができる。または、術者は、移動装置３と接続された操作装置を使用して内視鏡２を遠隔操作することができる。操作装置は、ボタン、ジョイスティックおよびタッチパネルなどを含むことができる。
マニュアルモードは、術者等のユーザによる内視鏡２の操作を許可するモードである。マニュアルモードにおいて、術者は、内視鏡２の基端部を手で把持し、内視鏡２を手動で移動させることができる。または、術者は、移動装置３と接続された操作装置を使用して内視鏡２を遠隔操作することができる。操作装置は、ボタン、ジョイスティックおよびタッチパネルなどを含むことができる。
【0028】
自律モードは、内視鏡画像Ｅ内に映った処置具６の位置に基づいて移動装置３を制御することによって、内視鏡２を処置具６に自動的に追従させるモードである。自律モードにおいて、プロセッサ１１は、処置具６の先端の３次元位置を内視鏡画像Ｅから取得し、処置具６の先端の３次元位置と内視鏡２の視野内に設定された所定の目標点の３次元位置とに基づいて移動装置３を制御する。目標点は、例えば、内視鏡画像Ｅの中心点と対応する光軸Ｃ上の点である。これにより、制御装置１は、内視鏡２の移動を制御し、処置具６の先端が内視鏡画像Ｅ内の中心点に配置されるように処置具６に内視鏡２を追従させる。
【0029】
さらに、自律モードにおいて、プロセッサ１１は、メモリ１２に読み込まれた画像制御プログラム１ａに従って図３Ａおよび図３Ｂに示される制御方法を実行することによって、表示画面５ａに表示される内視鏡画像Ｅの回転角を制御する。
【0030】
次に、プロセッサ１１が実行する制御方法について説明する。
図３Ａおよび図３Ｂに示されるように、本実施形態に係る制御方法は、内視鏡２の初期位置を設定する工程ＳＢ２と、被検体内の第１領域の第１位置情報および第１回転角情報を決定する工程ＳＢ３，ＳＢ４と、被検体内の第２領域の第２位置情報および第２回転角情報を決定する工程ＳＢ５，ＳＢ６と、被検体内の第３領域の第３位置情報および第３回転角情報を算出する工程ＳＢ７，ＳＢ８と、位置情報および回転角情報を記憶部１３に記憶させる工程ＳＢ９と、内視鏡２によって現在撮像されている現在の撮像領域に応じて内視鏡画像Ｅを回転させる工程ＳＣ４～ＳＣ９と、回転された内視鏡画像Ｅを表示装置５に出力する工程ＳＣ１０と、を含む。
図３Ａに示されるように、工程ＳＢ２～ＳＢ９はマニュアルモードにおいて実行され、図３Ｂに示されるように、工程ＳＣ３～ＳＣ１０は自律モードにおいて実行される。
図３Ａおよび図３Ｂに示されるように、本実施形態に係る制御方法は、内視鏡２の初期位置を設定する工程ＳＢ２と、被検体内の第１領域の第１位置情報および第１回転角情報を決定する工程ＳＢ３，ＳＢ４と、被検体内の第２領域の第２位置情報および第２回転角情報を決定する工程ＳＢ５，ＳＢ６と、被検体内の第３領域の第３位置情報および第３回転角情報を算出する工程ＳＢ７，ＳＢ８と、位置情報および回転角情報を記憶部１３に記憶させる工程ＳＢ９と、内視鏡２によって現在撮像されている現在の撮像領域に応じて内視鏡画像Ｅを回転させる工程ＳＣ４～ＳＣ９と、回転された内視鏡画像Ｅを表示装置５に出力する工程ＳＣ１０と、を含む。
図３Ａに示されるように、工程ＳＢ２～ＳＢ９はマニュアルモードにおいて実行され、図３Ｂに示されるように、工程ＳＣ３～ＳＣ１０は自律モードにおいて実行される。
【0031】
術者等のユーザは、移動装置３に保持された内視鏡２を腹腔内に挿入した後、マニュアルモードに切り替え（ＳＡ１，ＳＢ１）、内視鏡２を腹腔内で移動させることによって見回しを開始する（ＳＡ３）。見回しは、腹腔内の全体を観察し、臓器および組織の位置等を確認する作業である。患者毎に臓器および組織の位置が異なるため、挿入毎にこの作業は必要となる。見回しにおいて、術者は、ピボット軸Ｐ１回りに内視鏡２を回転させることによって、解剖学的に特徴を有する少なくとも２つの特定組織を含む範囲を内視鏡２によって観察する。本実施形態において、特定組織は、大動脈Ｆおよび骨盤Ｇである。
【0032】
図３Ａに示されるように、見回しの前に、術者は、内視鏡２の初期位置を制御装置１に登録する（ＳＡ２）。例えば、術者は、内視鏡２を所望の初期位置に配置し、ユーザインタフェース１６の所定のボタンを操作する。プロセッサ１１は、所定のボタンが操作されたことに応答し、内視鏡２の現在の位置φを算出し、現在の位置φを初期位置φ＝０°として記憶部１３に記憶する（ＳＢ２）。位置φは、内視鏡２の、ピボット軸Ｐ１回りの周方向の位置であり、角度センサ３ｄによって検出される関節３ｂ，３ｃの回転角度から算出される。位置φは、撮像領域の、ピボット軸Ｐ１回りの周方向の位置を表す。
【0033】
次に、図４Ａおよび図５Ａに示されるように、術者は、大動脈Ｆを正面から撮像する位置（Ｏ点）に内視鏡２を配置し、大動脈Ｆが内視鏡画像Ｅ内の所望の回転角に配置されるように光軸Ｃ回りの内視鏡２の回転角ωを調整する（ＳＡ４）。ここでの大動脈Ｆの回転角は、内視鏡画像Ｅの中心点回りの周方向の位置である。本実施形態において、図５Ａに示されるように、大動脈Ｆが内視鏡画像Ｅ内において水平に配置されるように回転角ωが調整される。次に、術者は、ユーザインタフェース１６に第１指示を入力する（ＳＡ５）。
【0034】
第１指示の入力後、術者は、Ｏ点において調整された回転角ωを維持しながら内視鏡２をＯ点からピボット軸Ｐ１回りに回転させることによって、大動脈Ｆの全体を内視鏡２によって観察する。図５Ａおよび図５Ｂに示されるように、内視鏡２がＯ点からＢ点に向かって回転するにつれて、内視鏡画像Ｅ内で大動脈Ｆが回転移動する。Ｂ点は、内視鏡画像Ｅ内に大動脈Ｆが観察される範囲の端点である。
【0035】
ユーザインタフェース１６が第１指示を受け付けたことに応答し、プロセッサ１１は、内視鏡画像Ｅに基づいて大動脈（第１特定組織）Ｆを含む第１領域の第１位置情報および第１回転角情報を決定する（ＳＢ３，ＳＢ４）。第１回転角情報は、第１領域の内視鏡画像Ｅの回転角を規定する情報である。
【0036】
具体的には、記憶部１３には、特定組織を含む画像と特定組織の種類との対応関係を機械学習した学習済みモデル１ｂが記憶されている。工程ＳＢ３において、プロセッサ１１は、学習済みモデル１ｂを使用して内視鏡画像Ｅ内の大動脈Ｆを認識し、大動脈Ｆが内視鏡画像Ｅ内に含まれる内視鏡２の位置φの範囲を第１位置情報として決定する。すなわち、第１領域は、Ｏ点とＢ点との間の領域である。
例えば、第１位置情報はφ＝０°～２０°である。このように、工程ＳＡ２，ＳＢ２による初期位置の設定に代えて、プロセッサ１１は、第１指示が受け付けられた時点での内視鏡２の位置φを、初期位置φ＝０°に設定してもよい。すなわち、ユーザの所望のタイミングおよび場所で初期位置が決定される。
また、プロセッサ１１は、学習済みモデル１ｂによる処理を経ずに、第１指示が受け付けられた時点での内視鏡２の位置φを、第１位置情報として設定してもよい。すなわち、ユーザの所望のタイミングおよび場所で第１位置情報が決定される。
例えば、第１位置情報はφ＝０°～２０°である。このように、工程ＳＡ２，ＳＢ２による初期位置の設定に代えて、プロセッサ１１は、第１指示が受け付けられた時点での内視鏡２の位置φを、初期位置φ＝０°に設定してもよい。すなわち、ユーザの所望のタイミングおよび場所で初期位置が決定される。
また、プロセッサ１１は、学習済みモデル１ｂによる処理を経ずに、第１指示が受け付けられた時点での内視鏡２の位置φを、第１位置情報として設定してもよい。すなわち、ユーザの所望のタイミングおよび場所で第１位置情報が決定される。
【0037】
次に、工程ＳＢ４において、プロセッサ１１は、ユーザインタフェース１６が第１指示を受け付けた時点での内視鏡画像Ｅおよび内視鏡２の回転角ωを、第１基準内視鏡画像および第１基準回転角にそれぞれ設定し、第１基準内視鏡画像および第１基準回転角に基づいて第１回転角情報を決定する。
具体的には、プロセッサ１１は、所定の初期回転角ω＝０°に対する第１基準回転角を、第１指示を受け付けた時点の位置φでの内視鏡画像Ｅの目標回転角θｔとして算出する。算出された目標回転角θｔは、第１指示を受け付けた時点の位置φにおいて、大動脈Ｆを内視鏡画像Ｅ内において水平に配置するのに必要な内視鏡画像Ｅの回転量を表す。本実施形態において、第１基準回転角ωを初期回転角０°に設定している。
具体的には、プロセッサ１１は、所定の初期回転角ω＝０°に対する第１基準回転角を、第１指示を受け付けた時点の位置φでの内視鏡画像Ｅの目標回転角θｔとして算出する。算出された目標回転角θｔは、第１指示を受け付けた時点の位置φにおいて、大動脈Ｆを内視鏡画像Ｅ内において水平に配置するのに必要な内視鏡画像Ｅの回転量を表す。本実施形態において、第１基準回転角ωを初期回転角０°に設定している。
【0038】
次に、プロセッサ１１は、第１位置情報に含まれる他の位置φにおいて取得された内視鏡画像Ｅについて、内視鏡画像Ｅ内の大動脈Ｆを第１基準内視鏡画像内の大動脈Ｆに一致させるために必要な内視鏡画像Ｅの回転量Δθを算出する。次に、プロセッサ１１は、回転量Δθを第１基準回転角に加算することによって、他の位置φでの目標回転角θｔを算出する。算出された目標回転角θｔは、他の位置φにおいて、大動脈Ｆを内視鏡画像Ｅ内において水平に配置するのに必要な内視鏡画像Ｅの回転量を表す。図５Ｃは、Ｂ点での目標角度θｔだけ回転された図５Ｂの内視鏡画像Ｅを示す。
【0039】
以上のようにして、プロセッサ１１は、第１位置情報に含まれる各位置φ＝０°，…，２０°において大動脈Ｆを水平に配置するための内視鏡画像Ｅの目標回転角θｔを算出し、各位置φ＝０°，…，２０°での目標回転角θｔを第１回転角情報として決定する。図７には、第１回転角情報として、φ＝０°，２０°における目標回転角θｔ＝０°，－１０°のみが代表して記載されている。
【0040】
次に、図４Ｂに示されるように、術者は、骨盤Ｇを撮像する位置（Ｄ点）に内視鏡２を配置する。初期回転角ω＝０°で骨盤Ｇを観察した場合、図６Ａに示されるように、骨盤Ｇが内視鏡画像Ｅ内において不適切な位置に配置され得る。術者は、骨盤Ｇが内視鏡画像Ｅ内の所望の回転角に配置されるように内視鏡２の光軸Ｃ回りの回転角ωを調整し（ＳＡ６）、ユーザインタフェース１６に第２指示を入力する（ＳＡ７）。本実施形態において、図６Ｂに示されるように、骨盤Ｇが内視鏡画像Ｅ内において上方に配置されるように回転角ωが調整される。
【0041】
第２指示の入力後、術者は、Ｄ点において調整された回転角ωを維持しながら内視鏡２をＤ点からピボット軸Ｐ１回りに回転させることによって、骨盤Ｇの全体を内視鏡２によって観察する。このときも、内視鏡２がＤ点からＡ点に向かって回転するにつれて、内視鏡画像Ｅ内で骨盤Ｇが回転移動する。Ａ点は、内視鏡画像Ｅ内に骨盤Ｇが観察される範囲の端点である。
【0042】
ユーザインタフェース１６が第２指示を受け付けたことに応答し、プロセッサ１１は、内視鏡画像Ｅに基づいて骨盤（第２特定組織）Ｇを含む第２領域の第２位置情報および第２回転角情報を決定する（ＳＢ５，ＳＢ６）。第２回転角情報は、第２領域の内視鏡画像Ｅの回転角を規定する情報である。
【0043】
具体的には、工程ＳＢ５において、プロセッサ１１は、学習済みモデル１ｂを使用して内視鏡画像Ｅ内の骨盤Ｇを認識し、骨盤Ｇが内視鏡画像Ｅ内に含まれる内視鏡２の位置φの範囲を第２位置情報として決定する。すなわち、第２領域は、Ｄ点とＡ点との間の領域である。例えば、第２位置情報はφ＝７０°～９０°である。
なお、第２位置情報に関しても、プロセッサ１１は、学習済みモデル１ｂによる処理を経ずに、第２指示が受け付けられた時点での内視鏡２の位置φを、第２位置情報として設定してもよい。すなわち、ユーザの所望のタイミングおよび場所で第２位置情報が決定される。
なお、第２位置情報に関しても、プロセッサ１１は、学習済みモデル１ｂによる処理を経ずに、第２指示が受け付けられた時点での内視鏡２の位置φを、第２位置情報として設定してもよい。すなわち、ユーザの所望のタイミングおよび場所で第２位置情報が決定される。
【0044】
次に、工程ＳＢ６において、プロセッサ１１は、ユーザインタフェース１６が第２指示を受け付けた時点での内視鏡画像Ｅおよび内視鏡２の回転角ωを、第２基準内視鏡画像および第２基準回転角にそれぞれ設定し、第２基準内視鏡画像および第２基準回転角に基づいて第２回転角情報を決定する。
具体的には、プロセッサ１１は、初期回転角ω＝０°に対する第２基準回転角を、第２指示を受け付けた時点の位置φでの内視鏡画像Ｅの目標回転角θｔとして算出する。算出された目標回転角θｔは、第２指示を受け付けた時点の位置φにおいて、骨盤Ｇを内視鏡画像Ｅ内において上方に配置するのに必要な内視鏡画像Ｅの回転量を表す。
具体的には、プロセッサ１１は、初期回転角ω＝０°に対する第２基準回転角を、第２指示を受け付けた時点の位置φでの内視鏡画像Ｅの目標回転角θｔとして算出する。算出された目標回転角θｔは、第２指示を受け付けた時点の位置φにおいて、骨盤Ｇを内視鏡画像Ｅ内において上方に配置するのに必要な内視鏡画像Ｅの回転量を表す。
【0045】
次に、プロセッサ１１は、第２位置情報に含まれる他の位置φにおいて取得された内視鏡画像Ｅについて、内視鏡画像Ｅ内の骨盤Ｇを第２基準内視鏡画像内の骨盤Ｇに一致させるために必要な内視鏡画像Ｅの回転量Δθを算出する。次に、プロセッサ１１は、回転量Δθを第２基準回転角に加算することによって、他の位置φでの目標回転角θｔを算出する。算出された目標回転角θｔは、他の位置φにおいて、骨盤Ｇを内視鏡画像Ｅ内において上方に配置するのに必要な内視鏡画像Ｅの回転量を表す。
【0046】
以上のようにして、プロセッサ１１は、第２位置情報に含まれる各位置φ＝７０°，…，９０°において骨盤Ｇを上方に配置するための内視鏡画像Ｅの目標回転角θｔを算出し、各位置φ＝７０°，…，９０°での目標回転角θｔを第２回転角情報として決定する。図７には、第２回転角情報として、φ＝７０°，９０°における目標回転角θｔ＝１００°，９０°のみが代表して記載されている。
【0047】
次に、プロセッサ１１は、第３領域の第３位置情報および第３回転角情報を、第１位置情報、第１回転角情報、第２位置情報および第２回転角情報に基づいて算出する（ＳＢ７，ＳＢ８）。第３領域は、第１領域および第２領域とは異なる領域であり、本実施形態において、Ａ点とＢ点との間の領域である。
工程ＳＢ７において、プロセッサ１１は、第１位置情報と第２位置情報との間の位置φの範囲を第３位置情報として決定する。例えば、第３位置情報はφ＝２０°～７０°である。
工程ＳＢ７において、プロセッサ１１は、第１位置情報と第２位置情報との間の位置φの範囲を第３位置情報として決定する。例えば、第３位置情報はφ＝２０°～７０°である。
【0048】
次に、工程ＳＢ８において、プロセッサ１１は、第１、第２、第３位置情報および第１、第２回転角情報に基づいて第３回転角情報を算出する。第３回転角情報は、第３領域の内視鏡画像Ｅの回転角を規定する情報である。
具体的には、プロセッサ１１は、第３位置情報と第１および第２位置情報との間の位置関係を算出し、位置関係、第１回転角情報および第２回転角情報に基づいて第３回転角情報を算出する。
具体的には、プロセッサ１１は、第３位置情報と第１および第２位置情報との間の位置関係を算出し、位置関係、第１回転角情報および第２回転角情報に基づいて第３回転角情報を算出する。
【0049】
一例として、第３位置情報の各位置φ（Ｍ点）がＡ点とＢ点との間の軌跡をｍ：ｎに内分する内分点であると考える。プロセッサ１１は、比ｍ：ｎ、Ａ点の回転角１００°およびＢ点の回転角－１０°に基づいて、各位置φでの目標回転角θｔを算出する。例えば、位置φ＝４５°は、Ａ点とＢ点との間の軌跡を１：１に内分するので、位置φ＝４５°での目標回転角θｔは、－１０°と１００°との間の中央値である４５°である。
【0050】
これにより、位置φがＢ点からＡ点に向かって変化するにつれて、１００°から－１０°に向かって漸次変化する目標回転角θｔが算出される。
プロセッサ１１は、各位置φ＝２０°，…，７０°での目標回転角θｔを第３回転角情報として決定する。図７には、第３回転角情報として、φ＝４５°における目標回転角θｔ＝４５°のみが代表して記載されている。
プロセッサ１１は、各位置φ＝２０°，…，７０°での目標回転角θｔを第３回転角情報として決定する。図７には、第３回転角情報として、φ＝４５°における目標回転角θｔ＝４５°のみが代表して記載されている。
【0051】
すなわち、第３領域は、第１領域および第２領域における骨盤Ｇや大動脈Ｆのように、内視鏡画像Ｅの回転角の指標となる特定組織が内視鏡画像内に映らない領域である。このような領域では、学習済みモデル１ｂによる特定組織の認識およびユーザによる所望の回転角の決定が困難である。そのため、第１領域および第２領域の第１および第２位置情報ならびに第１および第２回転角情報に基づいた第３位置情報および第３回転角情報の算出が必要となる。
【0052】
次に、工程ＳＢ９において、プロセッサ１１は、工程ＳＢ３～ＳＢ８において決定された第１位置情報、第１回転角情報、第２位置情報、第２回転角情報、第３位置情報および第３回転角情報を、記憶部１３に記憶させる。これにより、図７に示されるように、撮像領域の位置を表す内視鏡２の回転角度φと、各回転角度φにおける内視鏡画像Ｅの目標回転角θｔとを含むデータが記憶部１３に生成される。
【0053】
見回しが終了した後、術者は、マニュアルモードから自律モードへ切り替え、大動脈Ｆおよび骨盤Ｇを処置具６によって処置する。図３Ｂに示されるように、術者によって自律モードに切り替えられると（ＳＣ２）、プロセッサ１１は、回転関節３ｃを回転させることによって内視鏡２の回転角ωを初期回転角０°に一致させ、回転角ωを０°に維持しながら、移動装置３を制御することによって処置具６の先端に内視鏡２を追従させる（ＳＣ３）。また、プロセッサ１１は、内視鏡２の追従と並行して、表示画面５ａに表示される内視鏡画像Ｅの上下方向を制御する（ＳＣ４～ＳＣ１０）。
【0054】
プロセッサ１１は、装置１，３の起動中、関節３ｂ，３ｃの回転角度を移動装置３から逐次受信し、関節３ｂ，３ｃの回転角度から内視鏡２の現在位置φを算出する（ＳＣ１）。
プロセッサ１１は、内視鏡２の現在位置、第１位置情報および第２位置情報に基づいて、現在の撮像領域が第１領域、第２領域および第３領域のいずれに含まれるかを判定する（ＳＣ４，ＳＣ６，ＳＣ８）。
プロセッサ１１は、内視鏡２の現在位置、第１位置情報および第２位置情報に基づいて、現在の撮像領域が第１領域、第２領域および第３領域のいずれに含まれるかを判定する（ＳＣ４，ＳＣ６，ＳＣ８）。
【0055】
具体的には、現在位置φが第１位置情報（φ＝０°～２０°）に含まれる場合、プロセッサ１１は、現在の撮像領域が第１領域に含まれると判定する（ＳＣ４のＹＥＳ）。次に、プロセッサ１１は、記憶部１３に記憶されている第１回転角情報に基づいて、内視鏡画像Ｅを該内視鏡画像Ｅの平面内において回転させる（ＳＣ５）。具体的には、プロセッサ１１は、現在位置φの目標回転角θｔを記憶部１３から読み出し、目標回転角θｔだけ内視鏡画像Ｅを画像処理によって回転させる。次に、プロセッサ１１は、回転された内視鏡画像Ｅを制御装置１から表示装置５に出力し表示画面５ａに表示させる（ＳＣ１０）。
【0056】
回転された内視鏡画像Ｅにおいて、大動脈Ｆは水平に配置される。したがって、内視鏡２がφ＝０°～２０°の範囲内を移動し大動脈Ｆを含む内視鏡画像Ｅを取得している間、表示画面５ａに表示される内視鏡画像Ｅ内の大動脈Ｆは水平に維持される。例えば、Ｏ点からＢ点まで内視鏡２がピボット軸Ｐ１回りに２０°揺動した場合、内視鏡画像Ｅは０°から－１０°まで回転する。
【0057】
現在位置φが第２位置情報（φ＝７０°～９０°）に含まれる場合、プロセッサ１１は、現在の撮像領域が第２領域に含まれると判定する（ＳＣ４のＮＯかつＳＣ６のＹＥＳ）。次に、プロセッサ１１は、記憶部１３に記憶されている第２回転角情報に基づいて、内視鏡画像Ｅを該内視鏡画像Ｅの平面内において回転させる（ＳＣ７）。具体的には、プロセッサ１１は、現在位置φの目標回転角θｔを記憶部１３から読み出し、目標回転角θｔだけ画像処理によって内視鏡画像Ｅを回転させる。次に、プロセッサ１１は、回転された内視鏡画像Ｅを制御装置１から表示装置５に出力し表示画面５ａに表示させる（ＳＣ１０）。
【0058】
回転された内視鏡画像Ｅにおいて、骨盤Ｇは上方に配置される。したがって、内視鏡２がφ＝７０°～９０°の範囲内を移動し骨盤Ｇを含む内視鏡画像Ｅを取得している間、表示画面５ａに表示される内視鏡画像Ｅ内の骨盤Ｇは上方に維持される。例えば、Ａ点からＤ点まで内視鏡２がピボット軸Ｐ１回りに２０°揺動した場合、内視鏡画像Ｅは１００°から９０°まで回転する。
【0059】
現在位置φが第１位置情報および第２位置情報のいずれにも含まれない場合（ＳＣ４のＮＯかつＳＣ６のＮＯ）、プロセッサ１１は、現在の撮像領域が第３領域に含まれると判定する（ＳＣ８）。次に、プロセッサ１１は、記憶部１３に記憶されている第３回転角情報に基づいて、内視鏡画像Ｅを該内視鏡画像Ｅの平面内において回転させる（ＳＣ９）。具体的には、プロセッサ１１は、現在位置φの回転角を記憶部１３から読み出し、回転角だけ内視鏡画像Ｅを画像処理によって回転させる。次に、プロセッサ１１は、回転された内視鏡画像Ｅを制御装置１から表示装置５に出力し表示画面５ａに表示させる（ＳＣ１０）。
【0060】
表示画面５ａに表示される内視鏡画像Ｅは、位置φに応じた目標回転角θｔだけ回転されており、位置φが第１領域側から第２領域側へ変化するにつれて、目標回転角θｔが第１領域の目標回転角から第２領域の目標回転角へ向かって次第に変化する。したがって、例えば、内視鏡２がＢ点からＡ点までピボット軸Ｐ１回りに揺動した場合、表示画面５ａに表示される内視鏡画像Ｅは－１０°から１００°まで一方向に回転する。
【0061】
以上説明したように、本実施形態によれば、特定組織Ｆを含む第１領域の第１位置情報と、特定組織Ｆを術者が所望する回転角に配置するための内視鏡画像Ｅの目標回転角θｔを規定する第１回転角情報とが、記憶部１３に記憶される。また、特定組織Ｇを含む第２領域の第２位置情報と、特定組織Ｇを術者が所望する回転角に配置するための内視鏡画像Ｅの目標回転角θｔを規定する第２回転角情報とが、記憶部１３に記憶される。さらに、第１領域と第２領域との間の第３領域の第３回転角情報として、第１回転角情報の目標回転角θｔと第２回転角情報の目標回転角θｔとの間で漸次変化する目標回転角θｔが補間され、記憶部１３に記憶される。
【0062】
その後、自律モードにおいて、現在の撮像領域の位置φに応じた目標回転角θｔだけ内視鏡画像Ｅが回転されることによって、内視鏡画像Ｅの上下方向が自動的に調整される。具体的には、現在の撮像領域が特定組織Ｆ，Ｇを含む第１または第２領域であるときには、特定組織Ｆ，Ｇが所定の回転角で配置される目標回転角θｔだけ内視鏡画像Ｅが自動的に回転させられる。現在の撮像領域が特定組織Ｆ，Ｇを含まない第３領域であるときには、第１および第２回転角情報から推定される適切な目標回転角θｔだけ内視鏡画像Ｅが自動的に回転させられる。
【0063】
このように、腹腔内の現在の撮像領域の位置に応じた適切な上下方向の内視鏡画像Ｅを操作者に提供することができる。
また、内視鏡画像Ｅの上下方向が自動的に調整されることによって、術者のストレスを軽減することができるとともに、処置時間を短縮することができる。すなわち、内視鏡画像Ｅの上下方向を術者が自身で調整する場合、術者は、操作中の処置具６から手を一旦放し、内視鏡２を手動で回転させなければならない。本実施形態によれば、上下方向の調整のために術者が内視鏡２を操作する必要が無いので、術者は、処置を中断することなく継続することができる。
また、内視鏡画像Ｅの上下方向が自動的に調整されることによって、術者のストレスを軽減することができるとともに、処置時間を短縮することができる。すなわち、内視鏡画像Ｅの上下方向を術者が自身で調整する場合、術者は、操作中の処置具６から手を一旦放し、内視鏡２を手動で回転させなければならない。本実施形態によれば、上下方向の調整のために術者が内視鏡２を操作する必要が無いので、術者は、処置を中断することなく継続することができる。
【0064】
（第２実施形態）
次に、本発明の第２実施形態に係る内視鏡システム、制御装置、制御方法および記録媒体について図面を参照して説明する。
本実施形態は、プロセッサ１１が、画像処理に代えて内視鏡２の回転によって内視鏡画像Ｅを回転させる点において、第１実施形態と相違する。本実施形態においては、第１実施形態と相違する構成について説明し、第１実施形態と共通の構成については同一の符号を付して説明を省略する。
次に、本発明の第２実施形態に係る内視鏡システム、制御装置、制御方法および記録媒体について図面を参照して説明する。
本実施形態は、プロセッサ１１が、画像処理に代えて内視鏡２の回転によって内視鏡画像Ｅを回転させる点において、第１実施形態と相違する。本実施形態においては、第１実施形態と相違する構成について説明し、第１実施形態と共通の構成については同一の符号を付して説明を省略する。
【0065】
本実施形態に係る内視鏡システム１０は、第１実施形態と同様、制御装置１、内視鏡２、移動装置３、内視鏡プロセッサ４および表示装置５を備える。
図８Ａおよび図８Ｂは、本実施形態においてプロセッサ１１が実行する制御方法を示している。
図８Ａおよび図８Ｂは、本実施形態においてプロセッサ１１が実行する制御方法を示している。
【0066】
図８Ａおよび図８Ｂに示されるように、本実施形態に係る制御方法は、内視鏡２の初期位置を決定する工程ＳＢ２と、被検体内の第１領域の第１位置情報および第１回転角情報を決定する工程ＳＢ３，ＳＢ４’と、被検体内の第２領域の第２位置情報および第２回転角情報を決定する工程ＳＢ５，ＳＢ６’と、被検体内の第３領域の第３位置情報および第３回転角情報を算出する工程ＳＢ７，ＳＢ８’と、位置情報および回転角情報を記憶部１３に記憶させる工程ＳＢ９と、内視鏡２によって現在撮像されている現在の撮像領域に応じて内視鏡画像Ｅを回転させる工程ＳＣ４～ＳＣ９’と、回転した内視鏡画像Ｅを表示装置５に出力する工程ＳＣ１０と、を含む。
図８Ａに示されるように、工程ＳＢ２～ＳＢ９はマニュアルモードにおいて実行され、図８Ｂに示されるように、工程ＳＣ４～ＳＣ１０は自律モードにおいて実行される。
図８Ａに示されるように、工程ＳＢ２～ＳＢ９はマニュアルモードにおいて実行され、図８Ｂに示されるように、工程ＳＣ４～ＳＣ１０は自律モードにおいて実行される。
【0067】
第１実施形態と同様、ユーザは、工程ＳＡ１～ＳＡ５を行う。ユーザインタフェース１６が第１指示を受け付けたことに応答し、プロセッサ１１は、内視鏡画像Ｅに基づいて第１領域の第１位置情報および第１回転角情報を決定する（ＳＢ３，ＳＢ４’）。
具体的には、工程ＳＢ３の次の工程ＳＢ４’において、プロセッサ１１は、ユーザインタフェース１６が第１指示を受け付けた時点での内視鏡画像Ｅおよび内視鏡２の回転角ωを、第１基準内視鏡画像および第１基準回転角にそれぞれ設定する。
具体的には、工程ＳＢ３の次の工程ＳＢ４’において、プロセッサ１１は、ユーザインタフェース１６が第１指示を受け付けた時点での内視鏡画像Ｅおよび内視鏡２の回転角ωを、第１基準内視鏡画像および第１基準回転角にそれぞれ設定する。
【0068】
次に、プロセッサ１１は、所定の初期回転角ω＝０°に対する第１基準回転角を、第１指示を受け付けた時点の位置φでの内視鏡２の目標回転角ωｔとして算出する。
次に、プロセッサ１１は、第１位置情報に含まれる他の位置φにおいて取得された内視鏡画像Ｅについて、内視鏡画像Ｅ内の大動脈Ｆを第１基準内視鏡画像内の大動脈Ｆに一致させるために必要な内視鏡画像Ｅの回転量Δθを算出する。次に、プロセッサ１１は、回転量Δθを第１基準回転角に加算することによって、他の位置φでの内視鏡２の目標回転角ωｔを算出する。
以上のようにして、プロセッサ１１は、第１位置情報に含まれる各位置φ＝０°，…，２０°において大動脈Ｆを水平に配置するための内視鏡２の目標回転角ωｔを算出し、各位置φ＝０°，…，２０°での目標回転角ωｔを第１回転角情報として決定する。
次に、プロセッサ１１は、第１位置情報に含まれる他の位置φにおいて取得された内視鏡画像Ｅについて、内視鏡画像Ｅ内の大動脈Ｆを第１基準内視鏡画像内の大動脈Ｆに一致させるために必要な内視鏡画像Ｅの回転量Δθを算出する。次に、プロセッサ１１は、回転量Δθを第１基準回転角に加算することによって、他の位置φでの内視鏡２の目標回転角ωｔを算出する。
以上のようにして、プロセッサ１１は、第１位置情報に含まれる各位置φ＝０°，…，２０°において大動脈Ｆを水平に配置するための内視鏡２の目標回転角ωｔを算出し、各位置φ＝０°，…，２０°での目標回転角ωｔを第１回転角情報として決定する。
【0069】
次に、ユーザは、工程ＳＡ６，ＳＡ７を行う。ユーザインタフェース１６が第２指示を受け付けたことに応答し、プロセッサ１１は、内視鏡画像Ｅに基づいて第２領域の第２位置情報および第２回転角情報を決定する（ＳＢ５，ＳＢ６’）。
具体的には、工程ＳＢ５の次の工程ＳＢ６’において、プロセッサ１１は、ユーザインタフェース１６が第２指示を受け付けた時点での内視鏡画像Ｅおよび内視鏡２の回転角ωを、第２基準内視鏡画像および第２基準回転角にそれぞれ設定する。
具体的には、工程ＳＢ５の次の工程ＳＢ６’において、プロセッサ１１は、ユーザインタフェース１６が第２指示を受け付けた時点での内視鏡画像Ｅおよび内視鏡２の回転角ωを、第２基準内視鏡画像および第２基準回転角にそれぞれ設定する。
【0070】
次に、プロセッサ１１は、初期回転角ω＝０°に対する第２基準回転角を、第２指示を受け付けた時点の位置φでの内視鏡２の目標回転角ωｔとして算出する。
次に、プロセッサ１１は、第２位置情報に含まれる他の位置φにおいて取得された内視鏡画像Ｅについて、内視鏡画像Ｅ内の骨盤Ｇを第２基準内視鏡画像内の大動脈Ｇに一致させるために必要な内視鏡画像Ｅの回転量Δθを算出する。次に、プロセッサ１１は、回転量Δθを第２基準回転角に加算することによって、他の位置φでの内視鏡２の目標回転角ωｔを算出する。
以上のようにして、プロセッサ１１は、第２位置情報に含まれる各位置φ＝７０°，…，９０°において骨盤Ｇを上方に配置するための内視鏡２の目標回転角ωｔを算出し、各位置φ＝７０°，…，９０°での目標回転角ωｔを第２回転角情報として決定する。
次に、プロセッサ１１は、第２位置情報に含まれる他の位置φにおいて取得された内視鏡画像Ｅについて、内視鏡画像Ｅ内の骨盤Ｇを第２基準内視鏡画像内の大動脈Ｇに一致させるために必要な内視鏡画像Ｅの回転量Δθを算出する。次に、プロセッサ１１は、回転量Δθを第２基準回転角に加算することによって、他の位置φでの内視鏡２の目標回転角ωｔを算出する。
以上のようにして、プロセッサ１１は、第２位置情報に含まれる各位置φ＝７０°，…，９０°において骨盤Ｇを上方に配置するための内視鏡２の目標回転角ωｔを算出し、各位置φ＝７０°，…，９０°での目標回転角ωｔを第２回転角情報として決定する。
【0071】
次に、プロセッサ１１は、第３領域の第３位置情報および第３回転角情報を、第１位置情報、第１回転角情報、第２位置情報および第２回転角情報に基づいて算出する（ＳＢ７，ＳＢ８’）。具体的には、工程ＳＢ７の次の工程ＳＢ８’において、プロセッサ１１は、工程ＳＢ８’と同様にして、第３位置情報の各位置φ＝２０°，…，７０°での目標回転角ωｔを第３回転角情報として決定する。
【0072】
次に、工程ＳＢ９において、プロセッサ１１は、工程ＳＢ３，ＳＢ４’，ＳＢ５，ＳＢ６’，ＳＢ７，ＳＢ８’において決定された位置情報および回転角情報を、記憶部１３に記憶させる。これにより、撮像領域の位置を表す内視鏡２の回転角度φと、各回転角度φにおける内視鏡２の目標回転角ωｔとを含むデータが記憶部１３に生成される。
【0073】
続いて、図８Ｂに示されるように、プロセッサ１１は、内視鏡２の現在位置φを算出する（ＳＣ１）。自律モードに切り替えられると（ＳＣ２のＹＥＳ）、プロセッサ１１は、現在の撮像領域が第１領域、第２領域および第３領域のいずれに含まれるかを判定する（ＳＣ４，ＳＣ６，ＳＣ８）。
【0074】
現在の撮像領域が第１領域に含まれると判定した場合（ＳＣ４のＹＥＳ）、プロセッサ１１は、記憶部１３に記憶されている第１回転角情報に基づいて内視鏡２を回転させる（ＳＣ５’）。具体的には、プロセッサ１１は、現在位置φの目標回転角ωｔを記憶部１３から読み出し、目標回転角ωｔに内視鏡２を回転させることによって内視鏡画像Ｅを回転させる。
【0075】
現在の撮像領域が第２領域に含まれると判定した場合（ＳＣ４のＮＯかつＳＣ６のＹＥＳ）、プロセッサ１１は、記憶部１３に記憶されている第２回転角情報に基づいて内視鏡２を回転させる（ＳＣ７’）。具体的には、プロセッサ１１は、現在位置φの目標回転角ωｔを記憶部１３から読み出し、目標回転角ωｔだけ内視鏡２を回転させることによって内視鏡画像Ｅを回転させる。
【0076】
現在の撮像領域が第３領域に含まれると判定した場合（ＳＣ７）、プロセッサ１１は、記憶部１３に記憶されている第３回転角情報に基づいて内視鏡２を回転させる（ＳＣ８’）。具体的には、プロセッサ１１は、現在位置φの目標回転角ωｔを記憶部１３から読み出し、目標回転角ωｔだけ内視鏡２を回転させることによって内視鏡画像Ｅを回転させる。
工程ＳＣ５’、ＳＣ７’またはＳＣ９’の次に、プロセッサ１１は、回転された内視鏡画像Ｅを制御装置１から表示装置５に出力し表示画面５ａに表示させる（ＳＣ１０）。
工程ＳＣ５’、ＳＣ７’またはＳＣ９’の次に、プロセッサ１１は、回転された内視鏡画像Ｅを制御装置１から表示装置５に出力し表示画面５ａに表示させる（ＳＣ１０）。
【0077】
以上説明したように、本実施形態によれば、第１実施形態と同様、自律モードにおいて、現在の撮像領域の位置φに応じた目標回転角ωｔに内視鏡２が回転されることによって、内視鏡画像Ｅの上下方向が自動的に調整される。具体的には、現在の撮像領域が特定組織Ｆ，Ｇを含む第１または第２領域であるときには、特定組織Ｆ，Ｇが所定の回転角で配置される目標回転角ωｔに内視鏡２が自動的に回転させられる。現在の撮像領域が特定組織Ｆ，Ｇを含まない第３領域であるときには、第１および第２回転角情報から推定される適切な目標回転角ωｔに内視鏡２が自動的に回転させられる。
このように、腹腔内の現在の撮像領域の位置に応じた適切な上下方向の内視鏡画像Ｅを操作者に提供することができる。また、内視鏡画像Ｅの上下方向が自動的に調整されることによって、術者のストレスを軽減することができるとともに、処置時間を短縮することができる。
このように、腹腔内の現在の撮像領域の位置に応じた適切な上下方向の内視鏡画像Ｅを操作者に提供することができる。また、内視鏡画像Ｅの上下方向が自動的に調整されることによって、術者のストレスを軽減することができるとともに、処置時間を短縮することができる。
【0078】
また、本実施形態によれば、光軸Ｃ回りの内視鏡２の回転によって内視鏡画像Ｅを回転させることによって、内視鏡画像Ｅを回転させるための画像処理を無くすことができ、プロセッサ１１の負荷を減らすことができる。また、ユーザは、内視鏡２の体外に配置される部分の回転角ωを目視で確認することによって、内視鏡画像Ｅの上下方向を感覚的に認識することができる。
【0079】
本実施形態において、光軸Ｃ回りの内視鏡２全体の回転によって内視鏡画像Ｅを回転させることとしたが、これに代えて、光軸Ｃ回りの内視鏡２の回転角ωを維持しながら撮像素子２ａを光軸Ｃ回りに回転させてもよい。この場合、撮像素子２ａを回転させるための回転機構が内視鏡２に設けられる。
内視鏡２の本体に対する撮像素子２ａの回転によっても、内視鏡２全体を回転させたときと同様に内視鏡画像Ｅを回転させることができる。
内視鏡２の本体に対する撮像素子２ａの回転によっても、内視鏡２全体を回転させたときと同様に内視鏡画像Ｅを回転させることができる。
【0080】
（第３実施形態）
次に、本発明の第３実施形態に係る内視鏡システム、制御装置、制御方法および記録媒体について図面を参照して説明する。
本実施形態は、光軸Ｃ回りの内視鏡２の回転および画像処理の組み合わせによって内視鏡画像Ｅを回転させる点において、第１および第２実施形態と相違する。本実施形態においては、第１および第２実施形態と相違する構成について説明し、第１および第２実施形態と共通の構成については同一の符号を付して説明を省略する。
次に、本発明の第３実施形態に係る内視鏡システム、制御装置、制御方法および記録媒体について図面を参照して説明する。
本実施形態は、光軸Ｃ回りの内視鏡２の回転および画像処理の組み合わせによって内視鏡画像Ｅを回転させる点において、第１および第２実施形態と相違する。本実施形態においては、第１および第２実施形態と相違する構成について説明し、第１および第２実施形態と共通の構成については同一の符号を付して説明を省略する。
【0081】
本実施形態に係る内視鏡システム１０は、第１実施形態と同様、制御装置１、内視鏡２、移動装置３、内視鏡プロセッサ４および表示装置５を備える。
図９は、本実施形態において、プロセッサ１１が自律モードで実行する制御方法を示している。本実施形態に係る制御方法は、第２実施形態において説明した工程ＳＢ２，ＳＢ３，ＳＢ４’，ＳＢ５，ＳＢ６’，ＳＢ７，ＳＢ８’，ＳＢ９，ＳＣ１～ＳＣ４，ＳＣ５’，ＳＣ６，ＳＣ７’，ＳＣ８，ＳＣ９’に加えて、内視鏡２の回転角ωが所定の限界角であるか否かを判断する工程ＳＣ１１と、内視鏡画像Ｅを画像処理によって回転させる工程ＳＣ１２と、を含む。
図９は、本実施形態において、プロセッサ１１が自律モードで実行する制御方法を示している。本実施形態に係る制御方法は、第２実施形態において説明した工程ＳＢ２，ＳＢ３，ＳＢ４’，ＳＢ５，ＳＢ６’，ＳＢ７，ＳＢ８’，ＳＢ９，ＳＣ１～ＳＣ４，ＳＣ５’，ＳＣ６，ＳＣ７’，ＳＣ８，ＳＣ９’に加えて、内視鏡２の回転角ωが所定の限界角であるか否かを判断する工程ＳＣ１１と、内視鏡画像Ｅを画像処理によって回転させる工程ＳＣ１２と、を含む。
【0082】
工程ＳＢ９の後、図９に示されるように、プロセッサ１１は、内視鏡２の現在位置φを算出する（ＳＣ１）。自律モードに切り替えられると（ＳＣ２のＹＥＳ）、プロセッサ１１は、工程ＳＣ１～ＳＣ４，ＳＣ５’，ＳＣ６，ＳＣ７’，ＳＣ８，ＳＣ９’を実行する。
【0083】
工程ＳＣ５‘，ＳＣ７’，ＳＣ９’において、プロセッサ１１は、角度センサ３ｄによって検出される回転関節３ｃの回転角度に基づいて、内視鏡２の回転角ωが内視鏡２の回転可能範囲の限界角に達しているか否かを判断する（ＳＣ１１）。内視鏡２が回転することができる回転可能範囲は、物理的な制約等によって制限されることがある。例えば、内視鏡２および移動装置３の内部のケーブルには内視鏡２の回転によってねじれが発生するので、過度なねじれが生じないように内視鏡２の回転可能範囲が設定される。
【0084】
回転角ωが限界角に達することなく内視鏡２が目標回転角ωｔまで回転した場合（ＳＣ１１のＮＯ）、プロセッサ１１は、回転した内視鏡画像Ｅを表示装置５に出力する（ＳＣ１０）。
一方、回転角ωが目標回転角ωｔに達する前に限界角に達した場合（ＳＣ１１のＹＥＳ）、プロセッサ１１は、内視鏡２の回転を限界角において停止させ、次に、目標回転角ωｔまで足りない回転角だけ内視鏡画像Ｅを画像処理によって回転させ（ＳＣ１２）、回転された内視鏡画像Ｅを表示装置５に出力する（ＳＣ１０）。
一方、回転角ωが目標回転角ωｔに達する前に限界角に達した場合（ＳＣ１１のＹＥＳ）、プロセッサ１１は、内視鏡２の回転を限界角において停止させ、次に、目標回転角ωｔまで足りない回転角だけ内視鏡画像Ｅを画像処理によって回転させ（ＳＣ１２）、回転された内視鏡画像Ｅを表示装置５に出力する（ＳＣ１０）。
【0085】
以上説明したように、本実施形態によれば、光軸Ｃ回りの内視鏡２の回転と画像処理とを組み合わせることによって、内視鏡２の回転のみでは達成することが難しい内視鏡画像Ｅの回転を実現することができる。
本実施形態のその他の効果は第１および第２実施形態と同一であるので、説明を省略する。
本実施形態のその他の効果は第１および第２実施形態と同一であるので、説明を省略する。
【0086】
（第１変形例）
次に、第１から第３実施形態に係る内視鏡システム１０、制御装置１、制御方法および記録媒体の第１変形例について説明する。
図１０に示されるように、本変形例は、内視鏡２が斜視型である点において、上述した第１から第３実施形態と相違する。
次に、第１から第３実施形態に係る内視鏡システム１０、制御装置１、制御方法および記録媒体の第１変形例について説明する。
図１０に示されるように、本変形例は、内視鏡２が斜視型である点において、上述した第１から第３実施形態と相違する。
【0087】
斜視型の内視鏡２は、長手軸Ｉを有し被検体内に挿入される長尺の挿入部２ｂと、撮像素子２ａを含み挿入部２ｂの基端に接続された撮像部２ｃとを有する。回転関節３ｃの回転によって挿入部２ｂおよび撮像部２ｃは長手軸Ｉ回りに一体的に回転する。なお、分離型の斜視型鏡の場合、カメラヘッド（撮像部２ｃ）および光学視管（挿入部２ｂ）が別々の回転角情報を有するが、本変形例では、カメラヘッドおよび光学視管を一体的に回転させることによって共通の回転角情報として処理を行う。
【0088】
直視型の内視鏡２の場合、視軸（光軸）Ｃが長手軸Ｉと同軸であるため、内視鏡２が長手軸Ｉ回りに回転しても視軸Ｃの位置は維持される。一方、斜視型の内視鏡２の場合、視軸Ｃが長手軸Ｉに対して傾斜するため、長手軸Ｉ回りの内視鏡２の回転に伴って視軸Ｃが長手軸Ｉ回りに回転移動し、撮像領域が移動する。
【0089】
図１１Ａおよび図１１Ｂは、本変形例においてプロセッサ１１が実行する制御方法を示している。図１１Ａおよび図１１Ｂに示されるように、本変形例に係る制御方法は、工程ＳＢ２’，ＳＢ３～ＳＢ９と、工程ＳＣ３’，ＳＣ４～ＳＣ１０と、を含む。
工程ＳＢ２’において、プロセッサ１１は、内視鏡２の現在位置φを初期位置φ＝０°に設定し、内視鏡２の現在姿勢ωを初期姿勢ω＝０°に設定する。内視鏡２の姿勢ωは、長手軸Ｉ回りの回転角であり、長手軸Ｉに対する視軸Ｃの姿勢に相当する。
工程ＳＢ２’において、プロセッサ１１は、内視鏡２の現在位置φを初期位置φ＝０°に設定し、内視鏡２の現在姿勢ωを初期姿勢ω＝０°に設定する。内視鏡２の姿勢ωは、長手軸Ｉ回りの回転角であり、長手軸Ｉに対する視軸Ｃの姿勢に相当する。
【0090】
次に、ユーザインタフェース１６が第１指示を受け付けたことに応答し（ＳＡ５）、プロセッサ１１は、第１位置情報および第１回転角情報を決定し（ＳＢ３，ＳＢ４）、さらに、第１指示を受け付けた時点での内視鏡２の第１姿勢の情報を保持する。
次に、ユーザインタフェース１６が第２指示を受け付けたことに応答し（ＳＡ７）、プロセッサ１１は、第２位置情報および第２回転角情報を決定し（ＳＢ５，ＳＢ６）、さらに、第２指示を受け付けた時点での内視鏡２の第２姿勢の情報を保持する。
次に、ユーザインタフェース１６が第２指示を受け付けたことに応答し（ＳＡ７）、プロセッサ１１は、第２位置情報および第２回転角情報を決定し（ＳＢ５，ＳＢ６）、さらに、第２指示を受け付けた時点での内視鏡２の第２姿勢の情報を保持する。
【0091】
工程ＳＢ９において、プロセッサ１１は、位置情報および回転角情報に加えて、第１姿勢および第２姿勢を記憶部１３に記憶させる。これにより、撮像領域の位置を表す内視鏡２の回転角度φと、各回転角度φにおける内視鏡画像Ｅの目標回転角θｔと、各撮像領域に対応する内視鏡２の第１姿勢および第２姿勢と、を含むデータが記憶部１３に生成される。
【0092】
続いて、自律モードにおいて、プロセッサ１１は、移動装置３を制御することによって内視鏡２の位置および姿勢を制御し、処置具６の先端に内視鏡２を追従させる（ＳＣ３’）。ここで、プロセッサ１１は、記憶部１３に記憶された第１および第２位置情報と第１および第２姿勢とに基づいて内視鏡２の位置および姿勢を制御することによって、撮像領域が第１領域に含まれるときは内視鏡２の姿勢ωを第１姿勢に制御し、撮像領域が第２領域に含まれるときは内視鏡２の姿勢ωを第２姿勢に制御する。
そして、第１実施形態と同様、プロセッサ１１は、現在の撮像領域に応じて内視鏡画像Ｅを画像処理によって目標回転角θｔだけ回転させる（ＳＣ４～ＳＣ９）。
そして、第１実施形態と同様、プロセッサ１１は、現在の撮像領域に応じて内視鏡画像Ｅを画像処理によって目標回転角θｔだけ回転させる（ＳＣ４～ＳＣ９）。
【0093】
前述したように、斜視型内視鏡２の場合、長手軸Ｉ回りの内視鏡２の回転によって撮像領域が移動する。そのため、内視鏡２の回転によって内視鏡画像Ｅを回転させる第２実施形態の制御方法のみでは、内視鏡画像Ｅの上下方向を制御することが難しい。
【0094】
本変形例によれば、マニュアルモードにおいて、第１領域を撮像するときの内視鏡２の第１姿勢と、第２領域を撮像するときの内視鏡２の第２姿勢とが記憶される。そして、自律モードにおいて、第１領域の撮像時には、内視鏡２の姿勢が第１姿勢に制御されるとともに内視鏡画像Ｅの上下方向が画像処理による回転によって調整される。また、自律モードにおいて、第２領域の撮像時には、内視鏡２の姿勢が第２姿勢に制御されるとともに内視鏡画像Ｅの上下方向が画像処理による回転によって調整される。これにより、斜視型内視鏡２によって取得される内視鏡画像Ｅの上下方向を適切に制御することができる。
【0095】
（第２変形例）
次に、第１から第３実施形態に係る内視鏡システム１０、制御装置１、制御方法及び記録媒体１３の第２変形例について説明する。
図１２に示されるように、本変形例は、内視鏡２が湾曲部２ｄを有する点において、上述した第１から第３実施形態と相違する。
次に、第１から第３実施形態に係る内視鏡システム１０、制御装置１、制御方法及び記録媒体１３の第２変形例について説明する。
図１２に示されるように、本変形例は、内視鏡２が湾曲部２ｄを有する点において、上述した第１から第３実施形態と相違する。
【0096】
内視鏡２は、被検体内に挿入される長尺の挿入部２ｂと、挿入部２ｂの先端部に設けられ挿入部２ｂの長手軸Ｉに交差する方向に湾曲可能である湾曲部２ｄとを有する。湾曲部２ｄが湾曲している場合、視軸Ｃが長手軸Ｉに対して傾斜するため、長手軸Ｉ回りの内視鏡２の回転に伴って視軸Ｃが長手軸Ｉ回りに回転移動し、撮像領域が移動する。さらに、長手軸Ｉに対する視軸Ｃの傾斜方向および傾斜角度は、湾曲部２ｄの湾曲方向および湾曲角度に応じて異なる。
【0097】
本変形例においてプロセッサ１１が実行する制御方法は、第１変形例と同様、工程ＳＢ２’，ＳＢ３～ＳＢ９と、工程ＳＣ３’，ＳＣ４～ＳＣ１０と、を含む。ただし、内視鏡２の姿勢として、長手軸Ｉ回りの回転角ωに代えて、湾曲部２ｄの回転方向および回転角度が用いられる。
【0098】
すなわち、工程ＳＢ２’において、プロセッサ１１は、湾曲部２ｄの現在の湾曲方向および湾曲角度を初期姿勢として設定する。そして、工程ＳＢ９において、プロセッサ１１は、第１指示を受け付けた時点での湾曲部２ｄの湾曲方向および湾曲角度を第１姿勢として記憶部１３に記憶させ、第２指示を受け付けた時点での湾曲部２ｄの湾曲方向および湾曲角度を第２姿勢として記憶部１３に記憶させる。
【0099】
また、自律モードの工程ＳＣ３’において、プロセッサ１１は、記憶部１３に記憶された第１および第２位置情報と第１および第２姿勢とに基づいて内視鏡２の位置および姿勢を制御することによって、撮像領域が第１領域に含まれるときは湾曲部２ｄの湾曲方向および湾曲角度を第１姿勢に制御し、撮像領域が第２領域に含まれるときは湾曲部２ｄの湾曲方向および湾曲角度を第２姿勢に制御する（ＳＣ３’）。
【0100】
前述したように、湾曲部２ｄを有する内視鏡２の場合、湾曲部２ｄの湾曲方向および湾曲角度に応じて、撮像領域が内視鏡２の回転によって回転移動する。そのため、内視鏡２の回転によって内視鏡画像Ｅを回転させる第２実施形態の制御方法によって内視鏡画像Ｅの上下方向を制御することが難しい。
【0101】
本変形例によれば、第１変形例と同様、自律モードにおいて、第１領域の撮像時には、内視鏡２の姿勢がマニュアルモードにおいて記憶された第１姿勢に制御されるとともに内視鏡画像Ｅの上下方向が画像処理による回転によって調整される。また、自律モードにおいて、第２領域の撮像時には、内視鏡２の姿勢がマニュアルモードにおいて記憶された第２姿勢に制御されるとともに内視鏡画像Ｅの上下方向が画像処理による回転によって調整される。これにより、湾曲部２ｄを有する内視鏡２によって取得される内視鏡画像Ｅの上下方向を適切に制御することができる。
【0102】
上記各実施形態および各変形例において、プロセッサ１１が、第３回転角情報をマニュアルモードにおいて計算し記憶部１３に記憶させることとしたが、これに代えて、図１３Ａおよび図１３Ｂに示されるように、自律モードの実行中に第３回転角情報をプロセッサ１１がリアルタイムに計算してもよい（ＳＣ１３）。言い換えれば、プロセッサ１１は、マニュアルモードにおいて、第３位置情報および第３回転角情報の決定および記憶を行わない。この場合、第３領域とは、第１領域および第２領域ではない領域という意味になる。
【0103】
各実施形態および各変形例の自律モードにおいて、現在の撮像領域が第３領域に含まれる（第１領域および第２領域のいずれでもない）と判定された場合、プロセッサ１１は、内視鏡２の現在位置φにおける目標回転角θｔまたはωｔを、現在位置φ、第１位置情報、第１回転角情報、第２位置情報および第２回転角情報に基づいてリアルタイムに算出してもよい（ＳＣ１３）。さらに、現在の撮像領域が第１領域および第２領域のいずれかに含まれる（第３領域に含まれない）場合、プロセッサ１１は、目標回転角θｔまたはωｔをリアルタイムに算出せず、第１回転角情報または第２回転角情報に一致させればよい。このようにすることで、マニュアルモード時に記憶部１３に記憶させる位置情報および回転角情報の量を減らすことができ、自律モードの操作時に必要となった第３位置情報および第３回転角情報のみを算出すれば良いので、システムへの負荷が軽減される。
【0104】
また、プロセッサ１１は、現在の撮像領域が第１領域または第２領域に含まれる場合は、事前に記憶されている第１位置情報または第２位置情報、または第１回転角情報または第２回転角情報を、現在の位置情報および回転角情報にアップデートしてもよい。アップデート後に内視鏡２を移動させ、現在の撮像領域が第１領域または第２領域に含まれていると判断された場合、アップデートした第１位置情報、第２位置情報、第１回転角情報、第２回転角情報を使用することができる。アップデートを行う場合、ユーザは、ユーザインタフェース１６からアップデート指示を行えばよい。このようにすることで、気腹または体位の調整等に因り患者の体の一部が変形した場合でも、位置情報および回転角情報を現在の状況に応じた正しい情報に更新することが可能となる。
【0105】
上記各実施形態および各変形例において、プロセッサ１１が、内視鏡画像Ｅ内の特定組織を認識し、認識された特定組織に基づいて各位置情報および各回転角情報を決定することとしたが、これに代えて、各指示が受け付けられた時点での内視鏡２の位置φおよび回転角ωに基づいて各位置情報および各回転角情報を決定してもよい。
すなわち、マニュアルモードにおいて、術者は、所望の位置に所望の回転角ωで内視鏡２を配置し、第１指示を入力する。プロセッサ１１は、ユーザインタフェース１６が第１指示を受け付けた時点での内視鏡２の位置φの周辺範囲を第１位置情報に決定し、ユーザインタフェース１６が第２指示を受け付けた時点での内視鏡２の回転角ωを第１回転角情報に決定する。
すなわち、マニュアルモードにおいて、術者は、所望の位置に所望の回転角ωで内視鏡２を配置し、第１指示を入力する。プロセッサ１１は、ユーザインタフェース１６が第１指示を受け付けた時点での内視鏡２の位置φの周辺範囲を第１位置情報に決定し、ユーザインタフェース１６が第２指示を受け付けた時点での内視鏡２の回転角ωを第１回転角情報に決定する。
【0106】
同様に、術者は、他の所望の位置に所望の回転角ωで内視鏡２を配置し、第２指示を入力する。プロセッサ１１は、ユーザインタフェース１６が第２指示を受け付けた時点での内視鏡２の位置φの周辺範囲を第２位置情報に決定し、ユーザインタフェース１６が第２指示を受け付けた時点での内視鏡２の回転角ωを第２回転角情報に決定する。
この構成によれば、術者が、被検体内の任意の領域を第１領域および第２領域として登録することができ、より術者の感覚に沿った位置情報および回転角情報の決定が可能になる。また、第１および第２領域に特定組織が含まれない場合においても、学習済みモデル１ｂの処理を行わずに、第１および第２領域の位置情報および回転角情報を任意に決定し記憶することができる。
この構成によれば、術者が、被検体内の任意の領域を第１領域および第２領域として登録することができ、より術者の感覚に沿った位置情報および回転角情報の決定が可能になる。また、第１および第２領域に特定組織が含まれない場合においても、学習済みモデル１ｂの処理を行わずに、第１および第２領域の位置情報および回転角情報を任意に決定し記憶することができる。
【0107】
内視鏡画像Ｅ内の特定組織に基づく位置情報および回転角情報の決定と、指示が受け付けられた時点での内視鏡２の位置φおよび回転角ωに基づく位置情報および回転角情報の決定と、が併用されてもよい。
例えば、プロセッサ１１は、第１から第３実施形態およびこれらの変形例において説明したように内視鏡画像Ｅ内の特定組織Ｆ，Ｇに基づいて第１および第２位置情報と第１および第２回転角情報とを決定した後、術者の指示に基づいて、第１および第２領域とは異なる任意の領域の位置情報および回転角情報をさらに決定してもよい。
例えば、プロセッサ１１は、第１から第３実施形態およびこれらの変形例において説明したように内視鏡画像Ｅ内の特定組織Ｆ，Ｇに基づいて第１および第２位置情報と第１および第２回転角情報とを決定した後、術者の指示に基づいて、第１および第２領域とは異なる任意の領域の位置情報および回転角情報をさらに決定してもよい。
【0108】
上記各実施形態および各変形例において、特定組織が大動脈Ｆおよび骨盤Ｇであることとしたが、特定組織は、解剖学的に特徴を有する任意の臓器または組織であればよく、例えば子宮であってもよい。
上記各実施形態および各変形例において、２つの領域の位置情報および回転角情報を記憶することとしたが、これに代えて、３以上の領域の位置情報および回転角情報を記憶してもよい。これにより、事前に記憶された情報に基づいて位置情報および回転角情報を算出する場合の精度を向上させることが出来る。
上記各実施形態および各変形例において、２つの領域の位置情報および回転角情報を記憶することとしたが、これに代えて、３以上の領域の位置情報および回転角情報を記憶してもよい。これにより、事前に記憶された情報に基づいて位置情報および回転角情報を算出する場合の精度を向上させることが出来る。
【0109】
上記各実施形態および各変形例において、撮像領域の位置を表す内視鏡２の位置φが、ピボット点Ｈを原点とする２次元極座標系で表現されることとしたが、これに代えて、３次元極座標系で表現されてもよい。すなわち、内視鏡２が、ピボット点Ｈを通り第１ピボット軸Ｐ１と直交する第２ピボット軸Ｐ２回りに揺動可能に支持され、撮像領域の位置が（φ１，φ２）として表現されてもよい。φ１は第１ピボット軸Ｐ１回りの回転角度であり、φ２は第２ピボット軸Ｐ２回りの回転角度である。この場合、第１位置情報、第２位置情報および第３位置情報の各々は、回転角度φ１，φ２を含む３次元情報である。
【0110】
上記各実施形態および各変形例において、撮像領域の位置が、極座標系に代えて、他の種類の座標系で表されてもよい。例えば、撮像領域の位置が、穴Ｈを原点するデカルト座標系で表現されてもよい。
上記各実施形態および各変形例において、撮像領域の位置φの座標系が、被検体に対して固定されたグローバル座標系であることとしたが、これに代えて、内視鏡２の先端に対する相対座標系であってもよい。
上記各実施形態および各変形例において、撮像領域の位置φの座標系が、被検体に対して固定されたグローバル座標系であることとしたが、これに代えて、内視鏡２の先端に対する相対座標系であってもよい。
【0111】
上記各実施形態および各変形例において、第１および第２位置情報がマニュアルモードにおいて決定され記憶部１３に記憶されることとしたが、これに代えて、第１および第２位置情報が、手術前に記憶部１３に予め記憶されていてもよい。
術前、処置部位を含む範囲の検査画像、例えば腹部のＣＴ画像が取得されることがある。多数のＣＴ画像をデコンボリューション処理することによって、腹腔内の３次元画像が生成される。このような術前の３次元画像に基づいて、術前に第１および第２位置情報を決定し記憶部１３に記憶させてもよい。この場合、マニュアルモードにおいて、工程ＳＢ４，ＳＢ６は省略される。
この構成によれば、マニュアルモードでのプロセッサ１１の計算量を減らすことができる。
術前、処置部位を含む範囲の検査画像、例えば腹部のＣＴ画像が取得されることがある。多数のＣＴ画像をデコンボリューション処理することによって、腹腔内の３次元画像が生成される。このような術前の３次元画像に基づいて、術前に第１および第２位置情報を決定し記憶部１３に記憶させてもよい。この場合、マニュアルモードにおいて、工程ＳＢ４，ＳＢ６は省略される。
この構成によれば、マニュアルモードでのプロセッサ１１の計算量を減らすことができる。
【0112】
上記各実施形態および変形例において、プロセッサ１１は、マニュアルモードにおいて、第１領域を撮像した内視鏡画像Ｅである第１内視鏡画像と、第２領域を撮像した内視鏡画像Ｅである第２内視鏡画像と、を記憶部１３に保存してもよい。例えば、工程ＳＢ３において、プロセッサ１１は、大動脈Ｆが認識された１以上の内視鏡画像Ｅを第１内視鏡画像として記憶部１３に保存する。また、工程ＳＢ６において、プロセッサ１１は、骨盤Ｇが認識された１以上の内視鏡画像Ｅを第２内視鏡画像として記憶部１３に保存する。
【0113】
この場合、プロセッサ１１は、自律モードにおいて、第１内視鏡画像および第２内視鏡画像に基づいて、現在の撮像領域が第１、第２および第３領域のいずれに含まれるかを判定してもよい。すなわち、プロセッサ１１は、現在の内視鏡画像Ｅを第１内視鏡画像および第２内視鏡画像と比較する。そして、プロセッサ１１は、現在の内視鏡画像Ｅと同一または類似の第１内視鏡画像が存在する場合に現在の撮像領域が第１領域に含まれると判定し、現在の内視鏡画像Ｅと同一または類似の第２内視鏡画像が存在する場合に現在の撮像領域が第２領域に含まれると判定する。
【0114】
上記各実施形態および各変形例において、内視鏡画像Ｅ内に特定組織が含まれる場合、プロセッサ１１は、記憶部１３に記憶されたデータベース１ｃから特定組織の回転角に関する情報を読み出し、読み出された回転角に関する情報に基づいて内視鏡画像Ｅを回転させてもよい。回転角は、内視鏡画像Ｅの中心点回りの角度である。この構成によれば、内視鏡画像Ｅ内の特定組織が所定の回転角に配置されるように内視鏡画像Ｅを回転させることができる。
【0115】
例えば、データベース１ｃには、大動脈Ｆおよび骨盤Ｇ以外の１以上の特定組織の種類と、各種類の回転角とが登録されている。プロセッサ１１は、内視鏡画像Ｅ内の特定組織を認識し、特定組織の回転角をデータベース１ｃから読み出し、特定組織が回転角に配置されるように内視鏡画像Ｅを回転させる。
一例として、特定組織である子宮Ｊは内視鏡画像Ｅ内の上方に配置されることが好ましいので、データベース１ｃには、子宮Ｊの回転角として、１２時の位置に相当する９０°が登録される。プロセッサ１１は、認識された子宮Ｊが９０°の位置に配置されるように内視鏡画像Ｅを回転させる。これにより、内視鏡画像Ｅ内に子宮Ｊが含まれる場合、子宮Ｊが９０°の位置に配置されるように内視鏡画像Ｅの上下方向が自動的に調整される。
一例として、特定組織である子宮Ｊは内視鏡画像Ｅ内の上方に配置されることが好ましいので、データベース１ｃには、子宮Ｊの回転角として、１２時の位置に相当する９０°が登録される。プロセッサ１１は、認識された子宮Ｊが９０°の位置に配置されるように内視鏡画像Ｅを回転させる。これにより、内視鏡画像Ｅ内に子宮Ｊが含まれる場合、子宮Ｊが９０°の位置に配置されるように内視鏡画像Ｅの上下方向が自動的に調整される。
【0116】
上記各実施形態および各変形例において、内視鏡画像Ｅ内の特定組織Ｆ，Ｇに基づいて内視鏡画像Ｅの回転を制御することとしたが、これに加えて、内視鏡画像Ｅ内の処置具６に基づいて内視鏡画像Ｅの回転を制御してもよい。
例えば、プロセッサ１１は、特定組織Ｆ，Ｇに基づいて内視鏡画像Ｅの回転を制御する第１回転モードと、処置具６に基づいて内視鏡画像Ｅの回転を制御する第２回転モードとで動作可能である。術者等のユーザは、ユーザインタフェース１６を使用して、第１回転モードと第２回転モードとを切り替えることができる。
例えば、プロセッサ１１は、特定組織Ｆ，Ｇに基づいて内視鏡画像Ｅの回転を制御する第１回転モードと、処置具６に基づいて内視鏡画像Ｅの回転を制御する第２回転モードとで動作可能である。術者等のユーザは、ユーザインタフェース１６を使用して、第１回転モードと第２回転モードとを切り替えることができる。
【0117】
第２モードにおいて、プロセッサ１１は、現在の内視鏡画像Ｅ内の処置具６の角度を検出し、内視鏡２の回転または画像処理によって、処置具６の角度が所定の目標角度と等しくなるように内視鏡画像Ｅを回転させ、回転された内視鏡画像Ｅを表示装置５に出力し表示画面５ａに表示させる。処置具６の角度は、例えば、内視鏡画像Ｅの水平線に対する処置具６のシャフトの長手軸の角度である。
【0118】
術者が内視鏡画像Ｅを観察しながら処置具６を適切に操作するためには、表示画面５ａに表示される内視鏡画像Ｅ内の処置具６の角度が適切であることが重要である。しかし、術者が処置具６を移動させることによって、または、処置具６に追従する内視鏡２の姿勢が変化することによって、内視鏡画像Ｅ内の処置具６の角度が変化する。
術者は、必要に応じて第１回転モードから第２回転モードへ切り替えることによって、内視鏡画像Ｅ内の処置具６を表示画面５ａ上に目標角度で表示させることができる。
術者は、必要に応じて第１回転モードから第２回転モードへ切り替えることによって、内視鏡画像Ｅ内の処置具６を表示画面５ａ上に目標角度で表示させることができる。
【0119】
上記各実施形態および各変形例において、術者が処置具６を手に把持し手動で操作することとしたが、これに代えて、図１４Ａおよび図１４Ｂに示されるように、処置具６は、移動装置３とは異なる第２移動装置３１によって保持および制御されてもよい。この場合、制御装置１は、内視鏡２を移動させる移動装置３および処置具６を移動させる第２移動装置３１から、内視鏡２および処置具６の位置の情報をそれぞれ取得してもよい。第２移動装置３１は、移動装置３と同様、ロボットアームまたは電動ホルダによって処置具６を保持し、制御装置１０１による制御に従って処置具６の位置および姿勢を３次元的に変更する。処置具６は、図１４Ａに示されるように、ロボットアームの先端に接続されロボットアームと一体であってもよく、図１４Ｂに示されるように、ロボットアームとは別体でありロボットアームによって把持されていてもよい。
【符号の説明】
【0120】
１ 制御装置
１１ プロセッサ
１２ メモリ
１３ 記憶部、記録媒体
１４ 入力インタフェース
１５ 出力インタフェース
１６ ユーザインタフェース
１ａ 画像制御プログラム
１ｂ 学習済みモデル
１ｃ データベース
２ 内視鏡
２ａ 撮像素子
３ 移動装置
３ａ ロボットアーム
３ｂ，３ｃ 関節
３ｄ 角度センサ
４ 内視鏡プロセッサ
５ 表示装置
５ａ 表示画面
６ 処置具
Ａ，Ｂ，Ｄ，Ｏ 位置
Ｃ 光軸、視軸
Ｐ１ 第１ピボット軸
Ｐ２ 第２ピボット軸
Ｅ 内視鏡画像
Ｆ 大動脈、第１特定組織
Ｇ 骨盤、第２特定組織
Ｈ 穴
１１ プロセッサ
１２ メモリ
１３ 記憶部、記録媒体
１４ 入力インタフェース
１５ 出力インタフェース
１６ ユーザインタフェース
１ａ 画像制御プログラム
１ｂ 学習済みモデル
１ｃ データベース
２ 内視鏡
２ａ 撮像素子
３ 移動装置
３ａ ロボットアーム
３ｂ，３ｃ 関節
３ｄ 角度センサ
４ 内視鏡プロセッサ
５ 表示装置
５ａ 表示画面
６ 処置具
Ａ，Ｂ，Ｄ，Ｏ 位置
Ｃ 光軸、視軸
Ｐ１ 第１ピボット軸
Ｐ２ 第２ピボット軸
Ｅ 内視鏡画像
Ｆ 大動脈、第１特定組織
Ｇ 骨盤、第２特定組織
Ｈ 穴
【図1A】
【図1B】
【図1C】
【図2】
【図3A】
【図3B】
【図4A】
【図4B】
【図5A】
【図5B】
【図5C】
【図6A】
【図6B】
【図7】
【図8A】
【図8B】
【図9】
【図10】
【図11A】
【図11B】
【図12】
【図13A】
【図13B】
【図14A】
【図14B】