知財求人 - 知財ポータルサイト「IP Force」
▶ オリンパス株式会社の特許一覧 ▶ 独立行政法人国立がん研究センターの特許一覧
特開2025-151384医療システム、制御装置、制御方法および制御プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025151384
(43)【公開日】2025-10-09
(54)【発明の名称】医療システム、制御装置、制御方法および制御プログラム
(51)【国際特許分類】
A61B 1/045 20060101AFI20251002BHJP
A61B 1/00 20060101ALI20251002BHJP
【ＦＩ】
A61B1/045 618
A61B1/00 655
【審査請求】未請求
【請求項の数】13
【出願形態】ＯＬ
(21)【出願番号】P 2024052783
(22)【出願日】2024-03-28
【国等の委託研究の成果に係る記載事項】（出願人による申告）令和５年度、国立研究開発法人日本医療研究開発機構、「医療機器等における先進的研究開発・開発体制強靱化事業」「外科手術のデジタルトランスフォーメーション：情報支援内視鏡外科手術システムの開発」委託研究開発、産業技術力強化法第１７条の適用を受ける特許出願
(71)【出願人】
【識別番号】000000376
【氏名又は名称】オリンパス株式会社
(71)【出願人】
【識別番号】510097747
【氏名又は名称】国立研究開発法人国立がん研究センター
(74)【代理人】
【識別番号】100118913
【弁理士】
【氏名又は名称】上田 邦生
(74)【代理人】
【識別番号】100142789
【弁理士】
【氏名又は名称】柳 順一郎
(74)【代理人】
【識別番号】100201466
【弁理士】
【氏名又は名称】竹内 邦彦
(72)【発明者】
【氏名】畠山 直也
(72)【発明者】
【氏名】原口 雅史
(72)【発明者】
【氏名】伊藤 雅昭
(72)【発明者】
【氏名】鈴木 悠太
【テーマコード（参考）】
4C161
【Ｆターム（参考）】
4C161BB06
4C161CC06
4C161DD01
4C161GG13
4C161HH51
4C161JJ11
4C161LL02
4C161WW02
4C161WW13
(57)【要約】 （修正有）
【課題】先端レンズに汚れが付着しても、汚れを避けて観察を続ける制御装置、制御方法、制御プログラムを提供する。
【解決手段】内視鏡が、注目対象を含む画像Ｄを取得し、少なくとも１つのプロセッサを備え、プロセッサが、内視鏡の視野内における注目対象の位置を取得し、視野内における内視鏡の汚れの位置を算出し、汚れの位置とは異なる位置に目標領域Ｂを設定し、目標領域の位置および注目対象の位置に基づいて、注目対象が目標領域内に配置されるように内視鏡を注目対象に追従させるように制御する制御装置。
【選択図】図７Ａ
【解決手段】内視鏡が、注目対象を含む画像Ｄを取得し、少なくとも１つのプロセッサを備え、プロセッサが、内視鏡の視野内における注目対象の位置を取得し、視野内における内視鏡の汚れの位置を算出し、汚れの位置とは異なる位置に目標領域Ｂを設定し、目標領域の位置および注目対象の位置に基づいて、注目対象が目標領域内に配置されるように内視鏡を注目対象に追従させるように制御する制御装置。
【選択図】図７Ａ
【特許請求の範囲】
【請求項1】
内視鏡の移動を制御する制御装置であって、
前記内視鏡が、注目対象を含む画像を取得し、
少なくとも１つのプロセッサを備え、
該プロセッサが、
前記内視鏡の視野内における前記注目対象の位置を取得し、
前記視野内における前記内視鏡の汚れの位置を算出し、
前記汚れの位置とは異なる位置に目標領域を設定し、
該目標領域の位置および前記注目対象の位置に基づいて、前記注目対象が前記目標領域内に配置されるように前記内視鏡を前記注目対象に追従させる、制御装置。
前記内視鏡が、注目対象を含む画像を取得し、
少なくとも１つのプロセッサを備え、
該プロセッサが、
前記内視鏡の視野内における前記注目対象の位置を取得し、
前記視野内における前記内視鏡の汚れの位置を算出し、
前記汚れの位置とは異なる位置に目標領域を設定し、
該目標領域の位置および前記注目対象の位置に基づいて、前記注目対象が前記目標領域内に配置されるように前記内視鏡を前記注目対象に追従させる、制御装置。
【請求項2】
前記プロセッサが、
前記汚れの位置と、前記視野の端とを結ぶ直線上に前記目標領域の中心を設定する、請求項１に記載の制御装置。
前記汚れの位置と、前記視野の端とを結ぶ直線上に前記目標領域の中心を設定する、請求項１に記載の制御装置。
【請求項3】
前記視野の端が、前記汚れの位置から最も遠い端である、請求項２に記載の制御装置。
【請求項4】
前記プロセッサが、
前記視野内に存在する複数の汚れ間の距離に基づいて、
該距離が所定の閾値以下である場合には、前記汚れの位置として、前記複数の汚れの代表位置を算出し、
前記距離が前記閾値よりも大きい場合には、前記汚れの位置として、前記複数の汚れの位置をそれぞれ算出する、請求項１に記載の制御装置。
前記視野内に存在する複数の汚れ間の距離に基づいて、
該距離が所定の閾値以下である場合には、前記汚れの位置として、前記複数の汚れの代表位置を算出し、
前記距離が前記閾値よりも大きい場合には、前記汚れの位置として、前記複数の汚れの位置をそれぞれ算出する、請求項１に記載の制御装置。
【請求項5】
前記プロセッサが、
前記複数の汚れの位置をそれぞれ算出した場合に、各前記汚れの位置と前記視野の端とを結ぶ複数の直線の中心の中央値に、前記目標領域の中心を設定する、請求項４に記載の制御装置。
前記複数の汚れの位置をそれぞれ算出した場合に、各前記汚れの位置と前記視野の端とを結ぶ複数の直線の中心の中央値に、前記目標領域の中心を設定する、請求項４に記載の制御装置。
【請求項6】
前記プロセッサが、
前記複数の汚れの位置を通過する多角形、円または楕円の重心位置に、前記目標領域の中心を設定する、請求項４に記載の制御装置。
前記複数の汚れの位置を通過する多角形、円または楕円の重心位置に、前記目標領域の中心を設定する、請求項４に記載の制御装置。
【請求項7】
前記プロセッサが、
前記汚れの面積を算出し、
該汚れの面積が所定の閾値よりも大きい場合にのみ、前記汚れの位置を算出する、請求項１に記載の制御装置。
前記汚れの面積を算出し、
該汚れの面積が所定の閾値よりも大きい場合にのみ、前記汚れの位置を算出する、請求項１に記載の制御装置。
【請求項8】
少なくとも１つのメモリを備え、
該メモリが、前記視野内において前記目標領域として設定可能な設定可能領域を記憶し、
前記プロセッサが、前記設定可能領域内において前記目標領域を設定する、請求項１に記載の制御装置。
該メモリが、前記視野内において前記目標領域として設定可能な設定可能領域を記憶し、
前記プロセッサが、前記設定可能領域内において前記目標領域を設定する、請求項１に記載の制御装置。
【請求項9】
少なくとも１つのメモリを備え、
該メモリが、前記視野内において前記目標領域として設定可能な複数の候補領域を記憶し、
前記プロセッサが、算出された前記汚れの位置を含まない前記候補領域のいずれかに前記目標領域を設定する、請求項１に記載の制御装置。
該メモリが、前記視野内において前記目標領域として設定可能な複数の候補領域を記憶し、
前記プロセッサが、算出された前記汚れの位置を含まない前記候補領域のいずれかに前記目標領域を設定する、請求項１に記載の制御装置。
【請求項10】
前記プロセッサが、前記視野内において、算出された前記汚れの位置から周囲に向かって小さくなる重みを付与することにより重みの勾配を形成し、重みが最も低くなる位置に前記目標領域の中心を設定する、請求項１に記載の制御装置。
【請求項11】
注目対象を含む画像を取得する内視鏡と、
該内視鏡を移動させる移動装置と、
前記画像内の前記注目対象の位置に基づいて前記移動装置を制御する制御装置と、
を備え、
該制御装置が、
少なくとも１つのプロセッサを備え、
該プロセッサが、
前記内視鏡の視野内における前記注目対象の位置を含む位置情報を取得し、
前記視野内における前記内視鏡の汚れの位置を算出し、
前記汚れの位置とは異なる位置に目標領域を設定し、
該目標領域の位置および前記注目対象の位置に基づいて、前記注目対象が前記目標領域内に配置されるように前記内視鏡を前記注目対象に追従させる、医療システム。
該内視鏡を移動させる移動装置と、
前記画像内の前記注目対象の位置に基づいて前記移動装置を制御する制御装置と、
を備え、
該制御装置が、
少なくとも１つのプロセッサを備え、
該プロセッサが、
前記内視鏡の視野内における前記注目対象の位置を含む位置情報を取得し、
前記視野内における前記内視鏡の汚れの位置を算出し、
前記汚れの位置とは異なる位置に目標領域を設定し、
該目標領域の位置および前記注目対象の位置に基づいて、前記注目対象が前記目標領域内に配置されるように前記内視鏡を前記注目対象に追従させる、医療システム。
【請求項12】
プロセッサが、
内視鏡の視野内における注目対象の位置を取得することと、
前記視野内における前記内視鏡の汚れの位置を算出することと、
前記汚れの位置とは異なる位置に目標領域を設定することと、
該目標領域の位置および前記注目対象の位置に基づいて、前記注目対象が前記目標領域内に配置されるように前記内視鏡を前記注目対象に追従させることとを含む、制御方法。
内視鏡の視野内における注目対象の位置を取得することと、
前記視野内における前記内視鏡の汚れの位置を算出することと、
前記汚れの位置とは異なる位置に目標領域を設定することと、
該目標領域の位置および前記注目対象の位置に基づいて、前記注目対象が前記目標領域内に配置されるように前記内視鏡を前記注目対象に追従させることとを含む、制御方法。
【請求項13】
内視鏡の視野内における注目対象の位置を取得することと、
前記視野内における前記内視鏡の汚れの位置を算出することと、
前記汚れの位置とは異なる位置に目標領域を設定することと、
該目標領域の位置および前記注目対象の位置に基づいて、前記注目対象が前記目標領域内に配置されるように前記内視鏡を前記注目対象に追従させることとをプロセッサに実行させる、制御プログラム。
前記視野内における前記内視鏡の汚れの位置を算出することと、
前記汚れの位置とは異なる位置に目標領域を設定することと、
該目標領域の位置および前記注目対象の位置に基づいて、前記注目対象が前記目標領域内に配置されるように前記内視鏡を前記注目対象に追従させることとをプロセッサに実行させる、制御プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、医療システム、制御装置、制御方法および制御プログラムに関するものである。
【背景技術】
【0002】
従来、対象物を含む画像を内視鏡により取得し、内視鏡の視野内に設定された所定の３次元領域によって、内視鏡を処置具等の注目対象に追従させる医療システムが知られている（例えば、特許文献１参照。）。また、処置シーンを検出して、所定の３次元領域の位置をオフセットすることにより、剥離先などを見易くしながら内視鏡を注目対象に追従させる技術が知られている（例えば、特許文献２参照。）。さらに、手術用カメラの先端レンズを回転させる前後に取得された映像情報を分析してレンズに付着した汚れを検出する技術が知られている（例えば、特許文献３参照。）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】国際公開第２０２２／５４４２８号公報
【特許文献2】国際公開第２０２２／５４８８２号公報
【特許文献3】特開２０１３－１９７６５２号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
内視鏡を注目対象に追従させながら処置している場合に、処置によって発生した飛散物が内視鏡先端のレンズに付着して、注目対象の視認性が悪くなる場合がある。汚れによって注目対象の視認性が悪くなった場合に、汚れによる影響を抑えて、内視鏡を注目対象に追従させて処置を継続できることが望まれている。
【課題を解決するための手段】
【0005】
本発明の一態様は、内視鏡の移動を制御する制御装置であって、前記内視鏡が、注目対象を含む画像を取得し、少なくとも１つのプロセッサを備え、該プロセッサが、前記内視鏡の視野内における前記注目対象の位置を取得し、前記視野内における前記内視鏡の汚れの位置を算出し、前記汚れの位置とは異なる位置に目標領域を設定し、該目標領域の位置および前記注目対象の位置に基づいて、前記注目対象が前記目標領域内に配置されるように前記内視鏡を前記注目対象に追従させる、制御装置である。
【0006】
本発明の他の態様は、注目対象を含む画像を取得する内視鏡と、該内視鏡を移動させる移動装置と、前記画像内の前記注目対象の位置に基づいて前記移動装置を制御する制御装置と、備え、該制御装置が、少なくとも１つのプロセッサを備え、該プロセッサが、前記内視鏡の視野内における前記注目対象の位置を含む位置情報を取得し、前記視野内における前記内視鏡の汚れの位置を算出し、前記汚れの位置とは異なる位置に目標領域を設定し、該目標領域の位置および前記注目対象の位置に基づいて、前記注目対象が前記目標領域内に配置されるように前記内視鏡を前記注目対象に追従させる、医療システムである。
【0007】
本発明の他の態様は、プロセッサが、内視鏡の視野内における注目対象の位置を取得することと、前記視野内における前記内視鏡の汚れの位置を算出することと、前記汚れの位置とは異なる位置に目標領域を設定することと、該目標領域の位置および前記注目対象の位置に基づいて、前記注目対象が前記目標領域内に配置されるように前記内視鏡を前記注目対象に追従させることとを含む、制御方法である。
【0008】
本発明の他の態様は、内視鏡の視野内における注目対象の位置を取得することと、前記視野内における前記内視鏡の汚れの位置を算出することと、前記汚れの位置とは異なる位置に目標領域を設定することと、該目標領域の位置および前記注目対象の位置に基づいて、前記注目対象が前記目標領域内に配置されるように前記内視鏡を前記注目対象に追従させることとをプロセッサに実行させる、制御プログラムである。
【図面の簡単な説明】
【0009】
【図1】本発明の一実施形態に係る医療システムの外観図である。
【図3】内視鏡の視野内に設定される３次元の目標領域を示す図である。
【図6A】距離が近い２つの汚れにおいて、両方の汚れの重心位置を汚れの位置として算出する例を示す図である。
【図6B】距離が近い２つの汚れにおいて、各汚れの重心位置を汚れの位置として算出する例を示す図である。
【図7A】視野内に１つの汚れがある場合の新たな目標領域の設定方法の一例を示す図である。
【図7B】視野内に複数の汚れがある場合の新たな目標領域の設定方法の一例を示す図である。
【図9A】視野内に複数の汚れがある場合の新たな目標領域の設定方法の他の例を示す図である。
【図9B】視野内に複数の汚れがある場合の新たな目標領域の設定方法のさらに他の例を示す図である。
【図10】内視鏡の視野を見上げる視野に設定する場合の内視鏡の移動の一例を示す図である。
【図11A】内視鏡の視野を見上げる視野に設定する場合の内視鏡画像の一例を示す図である。
【図11B】内視鏡の視野を見下ろす視野に設定する場合の内視鏡画像の一例を示す図である。
【図12A】内視鏡の視野を見上げる視野に設定した場合であって、汚れがなく、上半分の中央に目標領域を配置した内視鏡画像の一例を示す図である。
【図13A】内視鏡の視野を左半分に設定した場合であって、汚れがなく、左半分の中央に目標領域を配置した内視鏡画像の一例を示す図である。
【図14】複数の候補領域が予め設定された内視鏡画像の一例を示す図である。
【図15】人口ポテンシャル法のポテンシャル勾配と同様にして、汚れ等に付された重みの勾配によって新たな目標領域を設定するために、内視鏡画像上における重みの分布の一例を示す斜視図である。
【発明を実施するための形態】
【0010】
本発明の一実施形態に係る医療システム１０、制御装置４、制御方法および制御プログラムについて図面を参照して説明する。
本実施形態に係る医療システム１０は、図１に示すように、患者Ｐの体内に挿入される内視鏡１および処置具２と、内視鏡１を保持し内視鏡１を体内で移動させる移動装置３と、内視鏡１および移動装置３と接続され移動装置３を制御する制御装置４と、内視鏡画像Ｄを表示する表示装置５とを備える。
本実施形態に係る医療システム１０は、図１に示すように、患者Ｐの体内に挿入される内視鏡１および処置具２と、内視鏡１を保持し内視鏡１を体内で移動させる移動装置３と、内視鏡１および移動装置３と接続され移動装置３を制御する制御装置４と、内視鏡画像Ｄを表示する表示装置５とを備える。
【0011】
内視鏡１は、例えば、先端レンズを有する硬性鏡であり、撮像素子を有し内視鏡画像Ｄ（図４参照。）を取得する撮像部１ａ（図２参照。）を備える。内視鏡１は、処置具２の先端２ａ（以下、注目対象とも言う。）を含む内視鏡画像Ｄを撮像部１ａによって取得し、内視鏡画像Ｄを制御装置４に送信する。撮像部１ａは、例えば、内視鏡１の先端部に設けられた３次元カメラであり、処置具２の先端２ａの３次元位置の情報を含むステレオ画像を内視鏡画像Ｄとして取得する。
【0012】
移動装置３は、複数の関節３ａを有するロボットアームであって、ロボットアームの先端部において内視鏡１の基端部を保持する。一例において、移動装置３は、図３に示すように、Ｘ軸に沿う前後の直線移動、Ｙ軸回りの回転（ピッチ）およびＺ軸回りの回転（ヨー）の３つの運動の自由度を有し、好ましくはＸ軸回りの回転（ロール）の運動の自由度をさらに有する。Ｘ軸は、内視鏡１の光軸Ａと同一の直線上の軸であり、Ｙ軸およびＺ軸は、光軸Ａと直交し内視鏡画像Ｄの横方向および縦方向に対応する方向にそれぞれ延びる軸である。
【0013】
制御装置４は、図２に示すように、中央演算処理装置のような少なくとも１つのプロセッサ４ａと、メモリ４ｂと、記憶部４ｃと、入力インタフェース４ｄと、出力インタフェース４ｅと、ネットワークインタフェース４ｆとを備える。
内視鏡１から送信された内視鏡画像Ｄは、入力インタフェース４ｄを経由して制御装置４に逐次入力され、出力インタフェース４ｅを経由して表示装置５に逐次出力され、表示装置５に表示される。術者等の操作者は、表示装置５に表示される内視鏡画像Ｄを観察しながら体内に挿入された処置具２を操作し、処置具２によって体内の患部の処置を行う。
内視鏡１から送信された内視鏡画像Ｄは、入力インタフェース４ｄを経由して制御装置４に逐次入力され、出力インタフェース４ｅを経由して表示装置５に逐次出力され、表示装置５に表示される。術者等の操作者は、表示装置５に表示される内視鏡画像Ｄを観察しながら体内に挿入された処置具２を操作し、処置具２によって体内の患部の処置を行う。
【0014】
メモリ４ｂは、ＲＡＭ（random access memory）のような揮発性の記憶装置からなり、プロセッサ４ａの作業領域として使用される。
記憶部４ｃは、コンピュータ読み取り可能な非一時的な記憶媒体であり、例えば、公知の磁気ディスク、光ディスク、フラッシュメモリまたはＲＯＭ（read-only memory）等である。
記憶部４ｃは、コンピュータ読み取り可能な非一時的な記憶媒体であり、例えば、公知の磁気ディスク、光ディスク、フラッシュメモリまたはＲＯＭ（read-only memory）等である。
【0015】
記憶部４ｃは、プロセッサ４ａに処理を実行させるために必要なプログラムおよびデータを記憶している。制御装置４の後述の機能は、プログラムがメモリ４ｂに読み込まれプロセッサ４ａによって実行されることによって、実現される。制御装置４の一部の機能は、専用の論理回路等によって実現されてもよい。
【0016】
制御装置４は、マニュアルモードおよび追従モードを有する。マニュアルモードは、術者等の操作者が内視鏡１を手動で操作するモードであり、追従モードは、制御装置４が処置具２の先端２ａに内視鏡１を自動的に追従させるモードである。
【0017】
制御装置４は、操作者からの指示に基づいてマニュアルモードと追従モードとを切り替える。例えば、制御装置４は、人間の音声を認識することができる人工知能を備え、「マニュアルモード」の音声を認識したときにマニュアルモードへ切り替え、「追従モード」の音声を認識したときに追従モードへ切り替える。制御装置４は、内視鏡１に設けられたマニュアル操作スイッチ（図示略）のオンオフに従ってマニュアルモードと追従モードとを切り替えてもよい。
【0018】
マニュアルモードにおいて、例えば、術者等の操作者は、制御装置４に接続された操作装置（図示略）を操作することによって、移動装置３を遠隔操作することができる。
追従モードにおいて、制御装置４は、処置具２の先端２ａの３次元位置に基づいて移動装置３を制御することによって、処置具２の先端２ａが目標領域Ｂの中心に向かって移動するように、処置具２の先端２ａに内視鏡１を３次元的に追従させる。
追従モードにおいて、制御装置４は、処置具２の先端２ａの３次元位置に基づいて移動装置３を制御することによって、処置具２の先端２ａが目標領域Ｂの中心に向かって移動するように、処置具２の先端２ａに内視鏡１を３次元的に追従させる。
【0019】
具体的には、制御装置４は、内視鏡画像Ｄ内の処置具２を認識し、内視鏡画像Ｄを用いて処置具２の先端２ａの３次元位置を算出する。次いで、制御装置４は、内視鏡１の光軸Ａが、処置具２の先端２ａに向かって光軸Ａに交差する方向に移動し、かつ、内視鏡１の先端が先端２ａから所定の観察距離だけ離れた位置へ向かって光軸Ａに沿う奥行方向に移動するように、各関節３ａを動作させる。
【0020】
目標領域Ｂは、内視鏡１の視野Ｆ内に設定され、相互に直交するＸ方向、Ｙ方向およびＺ方向に寸法を有する所定の３次元領域である。Ｘ方向は、内視鏡１の光軸Ａに平行な奥行方向である。Ｙ方向およびＺ方向は、光軸Ａに直交する方向であり、内視鏡画像Ｄの横方向および縦方向にそれぞれ平行な方向である。
【0021】
目標領域Ｂは、図３および図４に示すように、内視鏡１の先端からＸ方向に離れた位置に配置され、Ｘ方向において視野Ｆの一部の範囲に設定される。また、目標領域Ｂは、横断面が内視鏡１の先端に近付く程小さくなる３次元形状を有する。内視鏡画像Ｄ上における目標領域Ｂは、特に指定されていない初期状態において、内視鏡画像Ｄの中心を含む中央部分の領域である。光軸Ａに直交する目標領域Ｂの横断面の形状は、矩形、円形および楕円形のいずれであってもよく、多角形等の他の形状であってもよい。目標領域Ｂは、内視鏡画像Ｄに重畳表示されてもよく、非表示であってもよい。
【0022】
一例において、目標領域Ｂの横断面の形状は、内視鏡画像Ｄの形状に相似する形状である。例えば、内視鏡画像Ｄが矩形である場合、目標領域Ｂの横断面も矩形である。内視鏡画像Ｄ上に表示される目標領域Ｂは内視鏡画像Ｄの観察を妨げる可能性があるので、目標領域Ｂは非表示であることが好ましい。目標領域Ｂが内視鏡画像Ｄと相似形状である場合、術者は、非表示である目標領域Ｂの位置を認識し易くなる。
【0023】
一般に、内視鏡１の視野Ｆは、内視鏡１の先端または先端の近傍に頂点を有する錐状である。目標領域Ｂは、内視鏡１の視野Ｆと共通の頂点を有する錐台状であることが好ましい。このような目標領域Ｂによれば、図５Ａ～図５Ｃに示すように、Ｘ方向の位置Ｘ１，Ｘ２，Ｘ３に関わらず、内視鏡画像Ｄ上における目標領域Ｂの見かけのサイズおよび位置は一定である。
【0024】
プロセッサ４ａは、内視鏡１から送られてきた内視鏡画像Ｄを処理して、公知の方法により、内視鏡１の先端レンズに付着している汚れを検出し、検出した汚れのＹＺ方向の位置を算出する。汚れの位置は、内視鏡画像Ｄ上における検出された汚れが配置されている画素（ピクセル）位置（座標）であり、例えば、以下の汚れ検出ルールに従って算出される。
【0025】
＜汚れ検出ルール＞
（ａ）汚れが単一の画素または連続する複数画素範囲に及ぶ場合であってその画素数（面積）が第１閾値以下である場合には、汚れは存在しないものとみなす。
（ｂ）汚れが連続する複数画素範囲に及びその画素数が、第１閾値よりも大きい場合には、汚れの位置は、その複数画素にわたる範囲の重心となる画素位置である。
（ａ）汚れが単一の画素または連続する複数画素範囲に及ぶ場合であってその画素数（面積）が第１閾値以下である場合には、汚れは存在しないものとみなす。
（ｂ）汚れが連続する複数画素範囲に及びその画素数が、第１閾値よりも大きい場合には、汚れの位置は、その複数画素にわたる範囲の重心となる画素位置である。
【0026】
（ｃ）図６Ａに示すように、汚れが連続しない複数画素範囲に及ぶ場合には、各汚れ範囲Ｈ１，Ｈ２間の距離ｄが、第２閾値以下であれば、単一の汚れの範囲とみなす。そして、それらの汚れ範囲Ｈ１，Ｈ２の面積割合に応じた重心位置ＯＨ（代表値）となる画素位置を汚れの位置とする。図中、簡略化のため、汚れを円によって示しているが、検出される汚れは任意の形状でよい。
【0027】
（ｄ）図６Ｂに示すように、汚れが連続しない複数画素範囲に及び、各汚れ範囲Ｈ１，Ｈ２間の距離ｄが、第２閾値よりも大きければ、各汚れ範囲Ｈ１，Ｈ２の重心位置ＯＨとなる画素位置をそれぞれ汚れの位置とする。
【0028】
プロセッサ４ａは、内視鏡１から送られてきた内視鏡画像Ｄに基づいて処置具２の先端２ａの位置を算出する。さらに、プロセッサ４ａは、算出された汚れの位置ＯＨに基づいて新たな目標領域Ｂの位置を設定する。
新たな目標領域Ｂの位置は、例えば、以下の目標位置設定ルールに従って設定される。
新たな目標領域Ｂの位置は、例えば、以下の目標位置設定ルールに従って設定される。
【0029】
＜目標位置設定ルール＞
（ｅ）プロセッサ４ａは、単一の汚れ範囲ＯＨのみが検出された場合には、図７Ａに示すように、その汚れ範囲Ｈの重心位置ＯＨである汚れの位置と、内視鏡画像Ｄの４隅（視野の端）とを結ぶ４本の直線Ｌ１～Ｌ４の長さを算出する。そして、プロセッサ４ａは、４本の直線Ｌ１～Ｌ４の内、最も長い直線（ここではＬ２）の中央位置ＬＡを、新たな目標領域Ｂの位置（中心位置）として設定する。
（ｅ）プロセッサ４ａは、単一の汚れ範囲ＯＨのみが検出された場合には、図７Ａに示すように、その汚れ範囲Ｈの重心位置ＯＨである汚れの位置と、内視鏡画像Ｄの４隅（視野の端）とを結ぶ４本の直線Ｌ１～Ｌ４の長さを算出する。そして、プロセッサ４ａは、４本の直線Ｌ１～Ｌ４の内、最も長い直線（ここではＬ２）の中央位置ＬＡを、新たな目標領域Ｂの位置（中心位置）として設定する。
【0030】
（ｆ）プロセッサ４ａは、複数の汚れ範囲Ｈが検出された場合には、図７Ｂに示すように、各汚れ範囲Ｈ１，Ｈ２について、上記と同様にして最も長い直線ＬＭＡＸ，ＬＭＡＸ２の中央位置ＬＡ１，ＬＡ２を算出する。そして、プロセッサ４ａは、全ての最も長い直線ＬＭＡＸ，ＬＭＡＸ２の中央位置ＬＡ１，ＬＡ２の中央値ＬＯを新たな目標領域Ｂの位置として設定する。
【0031】
プロセッサ４ａは、設定された目標領域Ｂの位置と、算出された処置具２の先端２ａの位置とに基づいて、移動装置３の各関節３ｂの駆動量を算出し、移動装置３を作動させる。これにより、汚れＨ，Ｈ１，Ｈ２の位置とは異なる位置に目標領域Ｂが設定され、検出された処置具２の先端２ａが設定された目標領域Ｂに配置されるように、内視鏡１が処置具２に追従して移動させられる。
【0032】
次に、本実施形態に係る医療システム１０の作用について、図面を参照して以下に説明する。
術者は、表示装置５に表示される内視鏡画像Ｄを観察しながら、患者Ｐの体内に挿入された処置具２を操作することによって処置を行う。処置中、術者等の操作者は、例えば音声によって、マニュアルモードから追従モードへ、または、追従モードからマニュアルモードへ切り替える。
術者は、表示装置５に表示される内視鏡画像Ｄを観察しながら、患者Ｐの体内に挿入された処置具２を操作することによって処置を行う。処置中、術者等の操作者は、例えば音声によって、マニュアルモードから追従モードへ、または、追従モードからマニュアルモードへ切り替える。
【0033】
図８に示されるように、ステップＳ１において追従モードに切り替えられたとき、プロセッサは、ステップＳ２～Ｓ１０の制御方法を実行し、追従モードで移動装置３を制御する。
本実施形態に係る制御方法は、まず、プロセッサ４ａが、内視鏡画像Ｄに基づいて、処置具の先端２ａの位置を算出する（ステップＳ２）。次いで、プロセッサ４ａは、内視鏡画像Ｄに基づいて、内視鏡１の先端レンズの汚れを検出するための処理を実施し（ステップＳ３）、汚れの有無を判定する（ステップＳ４）。先端レンズに汚れがあると判定された場合には、プロセッサ４ａが、汚れの位置を算出する（ステップＳ５）。
本実施形態に係る制御方法は、まず、プロセッサ４ａが、内視鏡画像Ｄに基づいて、処置具の先端２ａの位置を算出する（ステップＳ２）。次いで、プロセッサ４ａは、内視鏡画像Ｄに基づいて、内視鏡１の先端レンズの汚れを検出するための処理を実施し（ステップＳ３）、汚れの有無を判定する（ステップＳ４）。先端レンズに汚れがあると判定された場合には、プロセッサ４ａが、汚れの位置を算出する（ステップＳ５）。
【0034】
次いで、プロセッサ４ａは、汚れの位置に基づいて、上記目標位置設定ルールに従って新たな目標領域Ｂの位置を算出し（ステップＳ６）、算出された位置に目標領域Ｂを設定する（ステップＳ７）。そして、設定された目標領域Ｂ内に、処置具２の先端２ａが配置されるように、移動装置３を作動させる（ステップＳ８）。新たな目標領域Ｂ内に処置具２の先端２ａが配置されたか否かが判定され（ステップＳ９）、配置されていない場合には、ステップＳ８からの工程が繰り返される。
【0035】
そして、術者等の操作者が、例えば音声によって、追従モードからマニュアルモードへ切り替えたか否かが判定され（ステップＳ１０）、切り替えられていない場合には、ステップＳ２からの工程が繰り返される。
このように、本実施形態によれば、新たな目標領域Ｂが、視野内の汚れていない領域に設定されるので、先端レンズに汚れが付着しても、汚れを避けて処置具２の先端２ａを捉えることができる。これにより、処置具２の先端２ａの周辺に汚れによって阻害されていない広い視野を確保して、術者が処置を継続し易くすることができるという利点がある。
このように、本実施形態によれば、新たな目標領域Ｂが、視野内の汚れていない領域に設定されるので、先端レンズに汚れが付着しても、汚れを避けて処置具２の先端２ａを捉えることができる。これにより、処置具２の先端２ａの周辺に汚れによって阻害されていない広い視野を確保して、術者が処置を継続し易くすることができるという利点がある。
【0036】
また、本実施形態によれば、汚れが単一の画素または連続する複数画素範囲に及ぶ場合であってその画素数が第１閾値以下である場合に、汚れは存在しないものとみなした。これにより、視野を阻害しない程度の小さな汚れによって目標領域Ｂを移動させる無駄な処理を防止し、かつ、目標領域Ｂの無駄な移動を防止して処置し易さを向上することができる。
【0037】
また、汚れが連続する複数画素範囲に及びその画素数が、第１閾値よりも大きい場合には、汚れの位置は、その複数画素にわたる範囲の重心となる画素位置としたので、比較的大きな汚れの塊を１つの汚れとして処理することができる。さらに、複数の汚れの範囲が近接している場合に、単一の汚れとみなしているので、処理を簡易化することができる。
【0038】
また、本実施形態によれば、視野内において検出された汚れと、内視鏡画像Ｄの４隅とを結んだ直線Ｌ１～Ｌ４の内、最も長い直線ＬＭＡＸの中央位置ＬＡに新たな目標領域Ｂの中央位置を設定した。さらに、複数の汚れ範囲が検出された場合には、各汚れ範囲について、最も長い直線ＬＭＡＸ１，ＬＭＡＸ２の中央位置ＬＡ１，ＬＡ２の中央値ＬＯを新たな目標領域Ｂの位置として設定した。これにより、簡易な方法で、新たな目標領域Ｂを視野内の汚れていない領域に配置できる。
【0039】
なお、本実施形態においては、視野内において検出された汚れと、内視鏡画像Ｄの４隅とを結んだ直線の内、最も長い直線ＬＭＡＸの中央点に新たな目標領域Ｂの中央位置を設定した。これに代えて、直線ＬＭＡＸの中央点ではない直線ＬＭＡＸ上の他の位置に新たな目標領域Ｂを設定してもよい。また、最長の直線ＬＭＡＸに限られず、所定の長さ以上の直線の内の何れかの直線上に新たな目標領域Ｂを設定してもよい。
【0040】
また、図９Ａに示すように、比較的離れた複数の汚れＨ１，Ｈ２，Ｈ３が存在する場合に、汚れＨ１，Ｈ２，Ｈ３の位置を通る円の中心位置に、新たな目標領域Ｂの中心位置を設定してもよい。円に代えて、楕円あるいは、図９Ｂに示すように、内視鏡画像Ｄのいずれかの隅を含めた多角形の中心に目標領域Ｂを設定してもよい。これによれば、汚れによって視野が阻害されない比較的広い領域に新たな目標領域Ｂを設定でき、より広い視野で処置具２の先端２ａを観察しながら処置を継続することができる。なお、例としてここでは汚れは、汚れＨ１，Ｈ２，Ｈ３が存在する場合で説明したが、汚れは３つの場合に限らず、複数の汚れであればいくつの汚れが存在する場合でも本手法のような目標領域Ｂの設定が可能である。
【0041】
また、新たな目標領域Ｂが内視鏡画像Ｄからはみ出してしまうことを防止するために、算出される新たな目標領域Ｂの中心位置のとり得る座標を内視鏡画像Ｄの中央の所定範囲に制限してもよい。
【0042】
また、内視鏡１の視野Ｆは、図３に示すように、内視鏡１の先端または先端の近傍に頂点を有する錐状であるため、視野Ｆの上半分は処置しようとする組織等の観察対象を見上げる視野となり、視野Ｆの下半分は観察対象を見下ろす視野となる。処置の種類によっては、見上げる視野または見下ろす視野によって実施したい場合がある。
【0043】
すなわち、見上げる視野で処置したい場合には、術者等の操作者からの指示に基づいて、プロセッサ４ａが、図１０に示すように、視野の上側において観察対象を捉えるように、内視鏡１を移動させるよう移動装置３を作動させる。図１０によれば、目標領域を視野の中央に配置した場合に処置具２が組織によって隠れている場合であっても、見上げる視野に設定することにより、組織を回避して処置具２を観察することが可能となる。
【0044】
一方、見下ろす視野で処置したい場合には、術者等の操作者からの指示に基づいて、プロセッサ４ａが視野の下側において観察対象を捉えるように、内視鏡１を移動させるよう移動装置３を作動させる。これにより、図１１Ａに示すように、目標領域Ｂは視野Ｆの上半分の中央に配置され、見下ろす視野で処置したい場合には、例えば、図１１Ｂに示すように、目標領域Ｂは視野Ｆの下半分の中央に配置される。
【0045】
これらの場合に、汚れの検出に応じて目標領域Ｂを移動する場合には、新たな目標領域Ｂも見上げる視野または見下ろす視野が継続されるように設定されることが好ましい。したがって、これらの場合に対応するために、例えば、メモリ４ｂ内に目標領域Ｂとして設定可能な設定可能領域を記憶し、プロセッサ４ａが、設定可能領域内において新たな目標領域Ｂを設定することにしてもよい。
【0046】
すなわち、見上げる視野によって処置を行う場合には、図１２Ａに示すように、視野の上半分が設定可能領域としてメモリ４ｂに記憶され、新たな目標領域Ｂは視野の上半分内に限定される。この状態において、図１２Ｂに示すように汚れが検出された場合には、図１２Ｃに示すように、目標領域Ｂは視野の上半分において主として左右（図の場合には右側）に移動した位置に設定される。そして、図１２Ｄに示すように、新たに設定された目標領域Ｂ内に処置具２の先端２ａが配置されるように、内視鏡１が移動させられる。
【0047】
同様に、見下ろす視野によって処置を行う場合には、視野の下半分が設定可能領域としてメモリに記憶され、新たな目標領域Ｂは視野の下半分内に限定される。したがって、目標領域Ｂは視野の下半分において主として左右に移動するように設定される。
【0048】
また、図１３Ａに示すように、内視鏡画像Ｄ内において処置具を左から右へ移動させながら組織を切開するような処置を行う場合には、処置具２の移動方向前方（図の場合には右方向）の切開先（領域Ｅ）に広い視野を確保することが要求される。このような場合には、プロセッサ４ａは操作者の指示に応じて視野の左側において処置具２の先端２ａを捉えるように内視鏡１を移動させるよう移動装置３を作動させ、目標領域Ｂは視野の左半分の中央に配置される。
【0049】
したがって、汚れの検出に応じて目標領域Ｂを移動する場合には、視野の左半分が設定可能領域としてメモリ４ｂに記憶され、新たな目標領域Ｂも視野の左半分内において主として上下に移動するように設定される。すなわち、図１３Ｂに示すように汚れが検出された場合には、図１３Ｃに示すように、目標領域Ｂは視野の左半分において主として上下（図の場合には上側）に移動した位置に設定される。そして、図１３Ｄに示すように、新たに設定された目標領域Ｂ内に処置具２の先端２ａが配置されるように、内視鏡１が移動させられる。
【0050】
同様にして視野の左方向に広い視野を確保することが求められる処置においては、視野の右半分が設定可能領域としてメモリ４ｂに記憶され、新たな目標領域Ｂも視野の右半分内において主として上下に移動するように設定される。
【0051】
このようにすることで、先端レンズに汚れが付着しても、同じ条件の視野を確保しながら、汚れを避けて処置具２の先端２ａを捕らえることができる。
設定可能領域を記憶して、新たな目標領域Ｂを設定可能領域内に制限することに代えて、汚れの検出に応じた目標領域Ｂの移動方向を制限することによっても同様の効果を得ることができる。また、設定可能領域は、視野の上半分、下半分、左半分または右半分に限られるものではなく、視野を左右または上下に３以上に分割したいずれかの視野に設定されてもよい。
設定可能領域を記憶して、新たな目標領域Ｂを設定可能領域内に制限することに代えて、汚れの検出に応じた目標領域Ｂの移動方向を制限することによっても同様の効果を得ることができる。また、設定可能領域は、視野の上半分、下半分、左半分または右半分に限られるものではなく、視野を左右または上下に３以上に分割したいずれかの視野に設定されてもよい。
【0052】
また、設定可能領域を記憶することに代えて、視野内において目標領域Ｂとして設定可能な複数の候補領域Ｂａを予めメモリ４ｂに記憶しておき、プロセッサ４ａが、汚れを含まない候補領域Ｂａのいずれかを新たな目標領域Ｂとして設定してもよい。図１４に示す例では、９個の黒丸で示すように、視野内の左右３箇所、上下３箇所の合計９箇所に等間隔を開けて、候補領域Ｂａの中心位置が設定されている。
【0053】
予め記憶しておいた候補領域Ｂａの中から新たな目標領域Ｂを選ぶので、内視鏡画像Ｄ外に目標領域Ｂの一部がはみ出してしまうことを防止でき、観察し易さを維持することができる。候補領域Ｂａが相互に重複しない例を示したが、これに代えて、候補領域Ｂａは相互に重複していてもよいし、隙間をあけて配置されていてもよい。
【0054】
また、人口ポテンシャル法のポテンシャル勾配と同様にして、内視鏡画像Ｄ内の各位置に重みを付与し、重みが小さいほど汚れから遠ざかる重みの勾配を設定することにより、新たな目標領域を重みの最も小さい領域に設定してもよい。例えば、図１５に示すように、算出された汚れの位置において最も高く、その周辺に向かって低くなる重みを付与することにより、汚れから遠ざかるほど低くなる重みの勾配を設定できる。図１５における細線は重みの等高線を示している。また、例えば、上述した見上げる視野の場合には、視野の下半分に上側に向かって低くなる重みの勾配を設定することにより、汚れと同じ仕組みで、視野の下半分に新たな目標領域がされないようにすることができる。
【0055】
また、目標領域Ｂを移動させた後、内視鏡１を患者Ｐの体内から抜去したタイミングまたは抜去した内視鏡１を再度患者Ｐの体内に挿入するタイミングで、目標領域Ｂを視野の中央にリセットしてもよい。内視鏡１を患者Ｐの体内から抜去する直前に、見上げる視野、見下ろす視野、あるいは左右方向に広く見せる視野のように視野をオフセットしていた場合には、リセットされる目標領域Ｂの位置は、元のオフセットされた方向に復帰してもよい。
【0056】
上記実施形態において、内視鏡１が、３次元のステレオ画像を内視鏡画像Ｄとして取得することとしたが、これに代えて、２次元の内視鏡画像Ｄを取得してもよい。この場合、例えば、内視鏡１の先端に設けられた距離センサ等の他の測距手段によって、処置具２の先端２ａのＸ方向の位置を測定してもよい。
【0057】
上記実施形態において、内視鏡１の追従の注目対象を処置具２としたが、注目対象はこれに限定されるものではなく、手術中に内視鏡画像Ｄ内に映る任意の物体であってもよい。例えば、注目対象は、病変部、臓器、血管、マーカ、ガーゼ等の医用材料、または、処置具２以外の医療器具であってもよい。
【0058】
以上、本発明の実施形態およびその変形例について図面を参照して詳述したが、本発明の具体的な構成は上記実施形態および変形例に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の設計変更が可能である。また、上述の実施形態及び変形例において示した構成要素は、適宜組み合わせることが可能である。
例えば、被写体は、大腸以外の管腔であってもよく、内視鏡検査の対象となり得る管腔以外の臓器であってもよい。関心領域は、被写体に応じて設定されてもよい。
例えば、被写体は、大腸以外の管腔であってもよく、内視鏡検査の対象となり得る管腔以外の臓器であってもよい。関心領域は、被写体に応じて設定されてもよい。
【符号の説明】
【0059】
１ 内視鏡
２ 処置具
２ａ 先端（注目対象）
３ 移動装置
４ 制御装置
４ａ プロセッサ
４ｂ メモリ
１０ 医療システム
Ｄ 内視鏡画像（画像）
２ 処置具
２ａ 先端（注目対象）
３ 移動装置
４ 制御装置
４ａ プロセッサ
４ｂ メモリ
１０ 医療システム
Ｄ 内視鏡画像（画像）
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図5C】
【図6A】
【図6B】
【図7A】
【図7B】
【図8】
【図9A】
【図9B】
【図10】
【図11A】
【図11B】
【図12A】
【図12B】
【図12C】
【図12D】
【図13A】
【図13B】
【図13C】
【図13D】
【図14】
【図15】