特許 7637794 内視鏡システムおよび内視鏡システムの作動方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-02-19

(45)【発行日】2025-02-28

(54)【発明の名称】内視鏡システムおよび内視鏡システムの作動方法

(51)【国際特許分類】

   A61B 1/00 20060101AFI20250220BHJP

   A61B 1/045 20060101ALI20250220BHJP

【ＦＩ】

A61B1/00 655

A61B1/00 553

A61B1/045 615

【請求項の数】 20

(21)【出願番号】P 2023564292

(86)(22)【出願日】2021-11-30

(86)【国際出願番号】 JP2021043828

(87)【国際公開番号】W WO2023100234

(87)【国際公開日】2023-06-08

【審査請求日】2024-04-30

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】100118913

【弁理士】

【氏名又は名称】上田 邦生

(74)【代理人】

【識別番号】100142789

【弁理士】

【氏名又は名称】柳 順一郎

(74)【代理人】

【識別番号】100201466

【弁理士】

【氏名又は名称】竹内 邦彦

(72)【発明者】

【氏名】佐々井 亮太

【審査官】門田 宏

(56)【参考文献】

【文献】特開２０２０－１６２６３３（ＪＰ，Ａ）

【文献】特表２０１７－５１５５２３（ＪＰ，Ａ）

【文献】特表２０１４－５２０３５１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １／００－ １／３１７

Ａ６１Ｂ ３４／３０

Ｇ０２Ｂ ２３／２４－２３／２６

(57)【特許請求の範囲】

【請求項1】

内視鏡と、
該内視鏡を保持し移動させる移動装置と、
１以上のプロセッサとを備え、
該１以上のプロセッサが、
前記移動装置によって移動させられる前記内視鏡の、前記移動装置の座標系における移動方向を検出し、
前記内視鏡によって撮像された画像内の動体の領域を推定し、
該動体の領域を除いた前記画像の他の領域に基づいて、前記画像内の被写体の移動方向を検出し、
前記内視鏡の移動方向と前記被写体の移動方向とに基づいて前記内視鏡の座標系と前記移動装置の座標系との間のずれを算出し、
算出された前記ずれに基づいて前記移動装置の座標系を補正する、内視鏡システム。

【請求項2】

前記移動装置が、前記内視鏡を該内視鏡の長手軸回りに回転可能に保持し、
前記内視鏡の座標系と前記移動装置の座標系との間の前記ずれが、前記長手軸に対応する軸回りの回転方向のずれを含む、請求項１に記載の内視鏡システム。

【請求項3】

前記１以上のプロセッサが、
前記他の領域の被写体の移動方向を検出し、
前記内視鏡の移動方向と前記他の領域の被写体の移動方向とに基づいて前記ずれを算出する、請求項１に記載の内視鏡システム。

【請求項4】

前記１以上のプロセッサが、
前記他の領域の被写体の移動ベクトルを検出し、
前記内視鏡の移動方向と前記他の領域の被写体の移動ベクトルとに基づいて前記ずれを算出する、請求項１に記載の内視鏡システム。

【請求項5】

ユーザからのトリガの入力を受け付けるユーザインタフェースを備え、
前記１以上のプロセッサは、前記ユーザインタフェースが前記トリガを受け付けたことに応答して、前記移動装置の座標系を補正するための処理を実行する、請求項１に記載の内視鏡システム。

【請求項6】

前記１以上のプロセッサが、異なる時刻に撮像された２以上の画像に基づいて前記被写体の移動方向を検出し、
前記２以上の画像のうちの１つは、前記トリガが受け付けられた時点の画像である請求項５に記載の内視鏡システム。

【請求項7】

前記１以上のプロセッサが、
前記内視鏡によって撮像される画像を所定の時間間隔毎に取得し、
前記画像を新たに取得する度に、新たに取得された画像と過去に取得された画像とに基づいて前記被写体の移動方向を検出する、請求項５に記載の内視鏡システム。

【請求項8】

前記１以上のプロセッサが、
前記被写体の移動ベクトルを検出し、
前記被写体の移動ベクトルの大きさが所定の閾値以上である場合に、前記ずれの算出および前記移動装置の座標系の補正を実行する、請求項１に記載の内視鏡システム。

【請求項9】

前記１以上のプロセッサが、
前記他の領域内の複数の位置の複数の移動ベクトルを検出し、
該複数の移動ベクトルから前記被写体の移動ベクトルを算出する、請求項４に記載の内視鏡システム。

【請求項10】

前記１以上のプロセッサが、
前記他の領域内の複数の位置の複数の移動方向を検出し、
該複数の移動方向から前記被写体の移動方向を算出する、請求項３に記載の内視鏡システム。

【請求項11】

前記１以上のプロセッサが、
前記移動ベクトルの個数を方向毎に数え、
前記複数の移動ベクトルの中から、個数が最多の移動ベクトルおよび該最多の移動ベクトルと方向が近い移動ベクトルを選択し、
選択された前記移動ベクトルから前記被写体の移動ベクトルを算出する、請求項９に記載の内視鏡システム。

【請求項12】

前記１以上のプロセッサが、
前記移動方向の個数を方向毎に数え、
前記複数の移動方向の中から、個数が最多の移動方向および該最多の移動方向と近い移動方向を選択し、
選択された前記移動方向から前記被写体の移動方向を算出する、請求項１０に記載の内視鏡システム。

【請求項13】

前記内視鏡は、長尺の鏡筒部と、該鏡筒部の基端に接続され撮像素子を保持する操作部とを有する斜視型の内視鏡であり、前記操作部が前記鏡筒部に対して該鏡筒部の長手軸回りに回転可能であり、
前記１以上のプロセッサが、前記内視鏡の移動方向と前記被写体の移動方向とに基づいて、前記移動装置に対する前記内視鏡の前記長手軸回りの回転角度および前記鏡筒部に対する前記操作部の前記長手軸回りの回転角度を、前記ずれとして算出する、請求項２に記載の内視鏡システム。

【請求項14】

前記内視鏡は、長尺の鏡筒部と、該鏡筒部の基端に接続され撮像素子を保持する操作部とを有する斜視型の内視鏡であり、前記操作部が前記鏡筒部に対して該鏡筒部の長手軸回りに回転可能であり、
前記１以上のプロセッサが、
前記画像内の前記被写体の３次元位置情報を取得し、
該３次元位置情報から３次元の前記移動ベクトルを検出する請求項４に記載の内視鏡システム。

【請求項15】

前記内視鏡が、前記画像としてステレオ画像を取得可能であり、
前記１以上のプロセッサが、前記ステレオ画像から前記３次元位置情報を取得する請求項１４に記載の内視鏡システム。

【請求項16】

前記１以上のプロセッサが、
前記被写体の特徴を強調する強調処理を前記画像に施し、
前記強調処理が施された画像から前記被写体の移動方向を検出する請求項１に記載の内視鏡システム。

【請求項17】

前記１以上のプロセッサが、前記動体の領域にマージンを加えた領域を除いた前記他の領域に基づいて、前記被写体の移動方向を検出する、請求項１に記載の内視鏡システム。

【請求項18】

前記１以上のプロセッサが、
前記画像内の各位置の移動ベクトルを推定し、
該各位置の移動ベクトルに基づいて前記動体の領域を推定する、請求項１に記載の内視鏡システム。

【請求項19】

内視鏡と、
該内視鏡を保持し移動させる移動装置と、
１以上のプロセッサとを備え、
該１以上のプロセッサが、
前記移動装置によって移動させられる前記内視鏡の、前記移動装置の座標系における移動方向を検出し、
前記内視鏡によって撮像された画像内の各位置の移動ベクトルを推定し、
前記移動ベクトルの大きさが所定の閾値以上である領域を除いた前記画像の他の領域に基づいて、前記画像内の被写体の移動方向を検出し、
前記内視鏡の移動方向と前記被写体の移動方向とに基づいて前記内視鏡の座標系と前記移動装置の座標系との間のずれを算出し、
算出された前記ずれに基づいて前記移動装置の座標系を補正する、内視鏡システム。

【請求項20】

移動装置によって移動した内視鏡の、前記移動装置の座標系における移動方向を検出し、
前記内視鏡によって撮像された画像内の動体の領域を推定し、
該動体の領域を除いた前記画像の他の領域に基づいて、前記画像内の被写体の移動方向を検出し、
前記内視鏡の移動方向と前記被写体の移動方向とに基づいて前記内視鏡の座標系と前記移動装置の座標系との間のずれを算出し、
算出された前記ずれに基づいて前記移動装置の座標系を補正する内視鏡システムの作動方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、内視鏡システムおよび座標系補正方法に関するものである。

【背景技術】

【0002】

従来、電動ホルダのような移動装置によって内視鏡を移動させる内視鏡システムが知られている。内視鏡を正確に移動させるために、内視鏡の座標系と移動装置の座標系とが相互に一致していることが望ましい。
例えば、術者がユーザインタフェースを使用して電動ホルダを遠隔操作するとき、術者は、内視鏡画像に基づいて内視鏡の所望の移動方向をユーザインタフェースに入力する。内視鏡の座標系と移動装置の座標系とが一致している場合、ユーザは内視鏡を所望の方向に直感的にかつ正確に移動させることができる。一方、内視鏡の座標系と移動装置の座標系とが一致していない場合、内視鏡の実際の移動方向がユーザインタフェースに入力される移動方向とは異なるので、ユーザは内視鏡を所望の方向に直感的にかつ正確に移動させることが難しい。

【0003】

一方、可動アームにカメラシステムが取り付けられたロボットシステムにおいて、ロボットの座標系とカメラシステムの座標系との間の変換を補正する方法が知られている（例えば、特許文献１参照。）。特許文献１では、ターゲットの画像をカメラシステムによって取得し、画像を取得したときの可動アームの位置と画像内のターゲットの特徴点の位置とから前記変換を決定する。

【先行技術文献】

【特許文献】

【0004】

【文献】米国特許第９１８８９７３号明細書

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１の場合、被写体であるターゲットの位置が固定されている条件でしか、座標系間の変換を決定することができない。すなわち、特許文献１は、動く被写体を考慮しておらず、画像内の被写体が動く場合には、ロボットの座標系とカメラシステムの座標系との間の変換を正確に補正することができない。
一方、内視鏡画像は動く被写体を含むことが多い。したがって、特許文献１の方法を内視鏡システムに適用した場合、座標系の補正を正確に行うことが難しい。

【0006】

本発明は、上述した事情に鑑みてなされたものであって、画像内に動く被写体が存在する場合においても座標系を正確に補正することができる内視鏡システムおよび座標系補正方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の一態様は、内視鏡と、該内視鏡を保持し移動させる移動装置と、１以上のプロセッサとを備え、該１以上のプロセッサが、前記移動装置によって移動させられる前記内視鏡の、前記移動装置の座標系における移動方向を検出し、前記内視鏡によって撮像された画像内の動体の領域を推定し、該動体の領域を除いた前記画像の他の領域に基づいて、前記画像内の被写体の移動方向を検出し、前記内視鏡の移動方向と前記被写体の移動方向とに基づいて前記内視鏡の座標系と前記移動装置の座標系との間のずれを算出し、算出された前記ずれに基づいて前記移動装置の座標系を補正する、内視鏡システムである。

【0008】

本発明の他の態様は、内視鏡と、該内視鏡を保持し移動させる移動装置と、１以上のプロセッサとを備え、該１以上のプロセッサが、前記移動装置によって移動させられる前記内視鏡の、前記移動装置の座標系における移動方向を検出し、前記内視鏡によって撮像された画像内の各位置の移動ベクトルを推定し、前記移動ベクトルの大きさが所定の閾値以上である領域を除いた前記画像の他の領域に基づいて、前記画像内の被写体の移動方向を検出し、前記内視鏡の移動方向と前記被写体の移動方向とに基づいて前記内視鏡の座標系と前記移動装置の座標系との間のずれを算出し、算出された前記ずれに基づいて前記移動装置の座標系を補正する、内視鏡システムである。

【0009】

本発明の他の態様は、移動装置によって移動した内視鏡の、前記移動装置の座標系における移動方向を検出し、前記内視鏡によって撮像された画像内の動体の領域を推定し、該動体の領域を除いた前記画像の他の領域に基づいて、前記画像内の被写体の移動方向を検出し、前記内視鏡の移動方向と前記被写体の移動方向とに基づいて前記内視鏡の座標系と前記移動装置の座標系との間のずれを算出し、算出された前記ずれに基づいて前記移動装置の座標系を補正する内視鏡システムの作動方法である。

【発明の効果】

【0010】

本発明によれば、画像内に動く被写体が存在する場合においても座標系を正確に補正することができるという効果を奏する。

【図面の簡単な説明】

【0011】

【図1】本発明の第１実施形態に係る内視鏡システムの全体構成図である。

【図2】図１の内視鏡システムの全体構成を示すブロック図である。

【図3A】表示装置に表示される内視鏡画像の一例を示す図であり、内視鏡座標系とホルダ座標系との関係を説明する図である。

【図3B】表示装置に表示される内視鏡画像の一例を示す図であり、回転した内視鏡座標系とホルダ座標系との関係を説明する図である。

【図3C】表示装置に表示される内視鏡の移動後の内視鏡画像の一例を示す図であり、回転した内視鏡座標系とホルダ座標系との関係を説明する図である。

【図4A】内視鏡画像内の処置具領域および他の領域の一例を示す図である。

【図4B】内視鏡画像内の処置具領域、マージンおよび他の領域の一例を示す図である。

【図5】本発明の第１実施形態に係る座標系補正方法のフローチャートである。

【図6】本発明の第２実施形態に係る内視鏡システムにおける斜視型の内視鏡を示す図である。

【図7】斜視型の内視鏡の内視鏡座標系の算出方法を説明する図である。

【図8】本発明の第３実施形態に係る内視鏡システムによる被写体の移動ベクトルの推定方法を説明する図であり、内視鏡画像内の各位置の移動ベクトルを示す図である。

【図9】本発明の第４実施形態に係る内視鏡システムによる被写体の移動ベクトルの推定方法を説明する図であり、移動ベクトルの方向と個数とを示す表である。

【図10】本発明の第５実施形態に係る内視鏡システムによる被写体の移動ベクトルの推定方法を説明する図であり、強調処理された内視鏡画像内の各位置の移動ベクトルを示す図である。

【発明を実施するための形態】

【0012】

（第１実施形態）
本発明の第１実施形態に係る内視鏡システムおよび座標系補正方法について図面を参照して説明する。
図１および図２に示されるように、本実施形態に係る内視鏡システム１は、内視鏡２と、内視鏡２を保持し移動させる移動装置３と、ユーザによって操作される操作装置４と、操作装置４からの操作信号に基づいて移動装置３を制御する制御装置５と、表示装置６とを備える。

【0013】

内視鏡２は、長尺かつ硬性の鏡筒部２ａと、鏡筒部２ａ内に配置され被写体からの光を集光する光学系２ｂと、鏡筒部２ａに対して固定され集光された光を撮像する撮像素子２ｃと、を有する硬性鏡である。また、内視鏡２は、鏡筒部２ａの長手軸Ａと同軸の視軸（光軸）Ｂを有する直視型の内視鏡である。撮像素子２ｃは、ＣＣＤ（Charge Coupled Device）イメージセンサまたはＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等のイメージセンサである。

【0014】

内視鏡２は、１以上の処置具７と共に体内に挿入され、１以上の処置具７を含む内視鏡画像Ｃ（図３Ａから図３Ｃ参照。）を撮像素子２ｃによって取得し、内視鏡画像Ｃを表示装置６に送信する。表示装置６は、液晶ディスプレイ、有機ＥＬディスプレイ等の任意のディスプレイである。術者は、表示装置６に表示される内視鏡画像Ｃを観察しながら処置具７を操作する。

【0015】

移動装置３は、内視鏡２の位置および姿勢を３次元的に制御する電動ホルダ３ａを備える。電動ホルダ３ａは、複数の関節３ｂを有するロボットアームであり、電動ホルダ３ａの先端部に内視鏡２の基端部が長手軸Ａ回りに回転可能に保持されている。複数の関節３ｂの動作によって電動ホルダ３ａの先端および内視鏡２が一体的に移動し、内視鏡２の位置および姿勢が３次元的に変更される。移動装置３は、複数の関節３ｂの各々の回転角度を検出する角度センサ３ｃを備える。角度センサ３ｃは、例えば、各関節３ｂに設けられたエンコーダ、ポテンショメータまたはホールセンサである。

【0016】

操作装置４は、キー、ジョイスティック、ボタンおよびタッチパネル等の入力デバイスを含むユーザインタフェース４ａを有する。操作者は、ユーザインタフェース４ａを操作することによって、内視鏡２を移動させるための指示を操作装置４に入力することができる。操作装置４は、ユーザインタフェース４ａの操作に基づく操作信号を制御装置５に送信する。
また、ユーザインタフェース４ａは、ユーザからのトリガの入力を受け付けることができる。トリガは、後述するように、ホルダ座標系Σｒを補正する処理を実行させるためのものである。

【0017】

図２に示されるように、制御装置５は、少なくとも１つのプロセッサ５ａと、メモリ５ｂと、記憶部５ｃと、入力インタフェース５ｄと、出力インタフェース５ｅとを備える。
制御装置５は、入力インタフェース５ｄおよび出力インタフェース５ｅを経由して周囲の他の装置２，３，４，６と接続され、内視鏡画像Ｃ、関節３ｂの回転角度の情報および信号等をインタフェース５ｄ，５ｅを経由して送受信する。

【0018】

メモリ５ｂは、例えば、ＲＯＭ（read-only memory）またはＲＡＭ（Random Access Memory）領域を含む半導体メモリである。
記憶部５ｃは、コンピュータにより読み取り可能な非一時的な記録媒体であり、例えば、ハードディスクまたはフラッシュメモリ等の半導体メモリを含む不揮発性の記録媒体である。
プロセッサ５ａは、操作装置４からの操作信号に基づいて移動装置３を制御することによって、操作者がユーザインタフェース４ａに入力した指示に従って内視鏡２を移動させる。

【0019】

ここで、図３Ａに示されるように、ホルダ座標系Σｒと内視鏡座標系Σｅとが相互に一致するように、ホルダ座標系Σｒは初期設定される。内視鏡座標系Σｅは、鏡筒部２ａおよび撮像素子２ｃに対して固定された座標系であり、ホルダ座標系Σｒは、電動ホルダ３ａの先端に対して固定された座標系である。

【0020】

一例において、内視鏡座標系Σｅは、相互に直交するＸｅ軸、Ｙｅ軸およびＺｅ軸を有する直交座標系であり、ホルダ座標系Σｒは、相互に直交するＸｒ軸、Ｙｒ軸およびＺｒ軸を有する直交座標系である。Ｘｅ軸およびＸｒ軸は長手軸Ａと一致し、Ｙｅ軸およびＹｒ軸は、内視鏡画像Ｃの水平方向（左右方向）に平行であり、Ｚｅ軸およびＺｒ軸は内視鏡画像Ｃの鉛直方向（上下方向）に平行である。ホルダ座標系Σｒと内視鏡座標系Σｅとが相互に一致するとは、Ｘｅ軸およびＸｒ軸の方向が相互に一致し、Ｙｅ軸およびＹｒ軸の方向が相互に一致し、かつ、Ｚｅ軸およびＺｒ軸の方向が相互に一致することを意味する。

【0021】

ただし、図３Ｂに示されるように、移動装置３に対して内視鏡２が長手軸Ａ回りに回転させられることによって、内視鏡座標系Σｅとホルダ座標系Σｒとの間にずれが生じる。すなわち、内視鏡座標系Σｅが長手軸Ａに対応するＸｅ軸回りに回転し、内視鏡座標系Σｅが、Ｘｅ軸回りの回転方向に内視鏡２の回転角度θだけホルダ座標系Σｒに対してずれる。

【0022】

このように内視鏡座標系Σｅがホルダ座標系Σｒと一致していない場合、表示装置６に表示される内視鏡画像Ｃを観察しているユーザは、ユーザインタフェース４ａの操作によって内視鏡２を所望の方向に直感的にかつ正確に移動させることが難しい。
例えば、内視鏡座標系Σｅがホルダ座標系Σｒに対して９０°回転している場合、内視鏡画像Ｃの上方向に内視鏡２を移動させるための指示をユーザがユーザインタフェース４ａに入力すると、移動装置３は内視鏡画像Ｃの左方向に内視鏡２を移動させてしまう。

【0023】

プロセッサ５ａは、座標系Σｅ，Σｒ間のずれに基づいてホルダ座標系Σｒを補正する処理を実行することができる。
具体的には、図２に示されるように、プロセッサ５ａは、内視鏡画像Ｃ内の処置具領域（動体領域）Ｄを推定する処置具領域推定部（動体領域推定部）５１と、内視鏡画像Ｃ内の被写体Ｓの移動方向を検出する被写体移動検出部５２と、電動ホルダ３ａの先端の移動方向を検出するホルダ移動検出部５３と、被写体Ｓの移動方向および電動ホルダ３ａの先端の移動方向に基づいて座標系Σｅ，Σｒ間のずれを算出するずれ算出部５４と、推定されたずれに基づいてホルダ座標系Σｒを補正する座標系補正部５５と、ホルダ座標系Σｒに基づいて移動装置３を制御する制御部５６と、を備える。

【0024】

プロセッサ５ａは、記憶部５ｃに記録されメモリ５ｂに読み出された座標系補正プログラム（図示略）に従って処理を実行することによって、各部５１，５２，５３，５４，５５，５６の後述の機能を実現する。

【0025】

図４Ａに示されるように、処置具領域推定部５１は、人工知能による画像認識等の公知の方法を用いて内視鏡画像Ｃ内の処置具（動体）７を認識し、処置具７の領域を処置具領域Ｄとして推定する。
被写体移動検出部５２は、処置具領域Ｄを除いた内視鏡画像Ｃの他の領域Ｅに基づいて、被写体Ｓの移動方向を検出する。具体的には、被写体移動検出部５２は、オプティカルフローまたはVisual SLAM等の公知の方法を使用し、異なる時刻に撮像された２以上の内視鏡画像Ｃから、他の領域Ｅの被写体Ｓの移動ベクトルＶｏｂｊを推定する。移動ベクトルＶｏｂｊは、Ｘｅ軸に直交するＹｅＺｅ平面内での被写体Ｓの移動方向を表す２次元ベクトルであり、内視鏡座標系Σｅにおける内視鏡２の移動方向を表す。具体的には、移動ベクトルＶｏｂｊと内視鏡２の移動方向は、相互に逆方向となる。

【0026】

ホルダ移動検出部５３は、角度センサ３ｃによって検出された関節３ｂの回転角度を移動装置３から取得し、関節３ｂの回転角度から電動ホルダ３ａの先端の位置を算出し、位置の時間変化から電動ホルダ３ａの先端の速度Ｖｔｉｐを算出する。速度Ｖｔｉｐは、Ｘｒ軸に直交するＹｒＺｒ平面内での電動ホルダ３ａの先端の移動方向を表す２次元ベクトルであり、ホルダ座標系Σｒにおける内視鏡２の移動方向を表す。

【0027】

ずれ算出部５４は、移動ベクトルＶｏｂｊおよび速度Ｖｔｉｐを用いて下式（１）から座標系Σｅ，Σｒ間のずれθを算出する。ずれθは、電動ホルダ３ａに対する内視鏡２の長手軸Ａ回りの回転角度θに相当する。

【数1】

【0028】

座標系補正部５５は、ずれθに基づいてホルダ座標系Σｒを補正することによって、ホルダ座標系Σｒを内視鏡座標系Σｅに一致させる。具体的には、座標系補正部５５は、ホルダ座標系Σｒが内視鏡座標系Σｅに一致するように、ずれθに基づいて電動ホルダ３ａのＤＨ（Denavit-Hartenberg）パラメータを補正する。
制御部５６は、補正されたホルダ座標系Σｒに基づいて移動装置３を制御する。

【0029】

次に、プロセッサ５ａが実行する座標系補正方法について、図５を参照して説明する。
ユーザは、ホルダ座標系Σｒの補正を行いたい任意のタイミングでユーザインタフェース４ａにトリガを入力する。例えば、ユーザは、表示装置６に表示される内視鏡画像Ｃ内の被写体Ｓの向きを調整するために電動ホルダ３ａに対して内視鏡２を長手軸Ａ回りに手動で回転させ、その後、トリガをユーザインタフェース４ａに入力する。
続いて、ユーザは、操作装置４を操作することによって、電動ホルダ３ａの先端および内視鏡２を移動させる。

【0030】

ユーザインタフェース４ａがトリガを受け付けたことに応答し（ステップＳ１のＹＥＳ）、プロセッサ５ａは、ホルダ座標系Σｒを補正するための処理Ｓ２～Ｓ１２を実行する。
具体的には、電動ホルダ３ａの先端および内視鏡２の移動中、プロセッサ５ａは、所定の時間間隔毎に内視鏡画像Ｃを取得し（ステップＳ２）、取得された内視鏡画像Ｃをメモリ５ｂまたは記憶部５ｃに記録する（ステップＳ４，Ｓ６）。

【0031】

トリガが受け付けられた時点の内視鏡画像Ｃが１フレーム目として最初に取得および記憶され（ステップＳ３のＹＥＳ、ステップＳ４）、１フレーム目の内視鏡画像Ｃ内の処置具領域Ｄが処置具領域推定部５１によって推定される（ステップＳ５）。
その後、新たな内視鏡画像Ｃが取得される度に（ステップＳ２）、新たに取得された内視鏡画像（すなわち、現在の内視鏡画像）Ｃが記憶され（ステップＳ６）、現在の内視鏡画像Ｃ内の処置具領域Ｄが処置具領域推定部５１によって推定され（ステップＳ７）、現在の内視鏡画像Ｃと過去に取得された１フレーム目の内視鏡画像Ｃとを用いて移動ベクトルＶｏｂｊが被写体移動検出部５２によって検出される（ステップＳ８）。ここで、ステップＳ８において、現在および１フレーム目の２つの内視鏡画像Ｃの各々から処置具領域Ｄが除外され、２つの内視鏡画像Ｃの他の領域Ｅのみに基づいて移動ベクトルＶｏｂｊが推定される。

【0032】

移動ベクトルＶｏｂｊの大きさが閾値以上である場合（ステップＳ９のＹＥＳ）、続いて、１フレーム目の内視鏡画像Ｃの撮像時から現在の内視鏡画像Ｃの撮像時までの電動ホルダ３ａの先端の位置の時間変化から、電動ホルダ３ａの先端の速度Ｖｔｉｐがホルダ移動検出部５３によって検出される（ステップＳ１０）。
次に、速度Ｖｔｉｐおよび移動ベクトルＶｏｂｊから座標系Σｅ，Σｒ間のずれθがずれ算出部５４によって算出される（ステップＳ１１）。
次に、ずれθに基づいてホルダ座標系Σｒが座標系補正部５５によって補正され、ホルダ座標系Σｒが内視鏡座標系Σｅに一致させられる（ステップＳ１２）。

【0033】

一方、移動ベクトルＶｏｂｊの大きさが閾値未満である場合（ステップＳ９のＮＯ）、ステップＳ１０～Ｓ１２を行うことなくステップＳ２に戻り、移動ベクトルＶｏｂｊの大きさが閾値以上になるまで、ステップＳ２，Ｓ６，Ｓ７，Ｓ８が繰り返される。
ステップＳ１２の後、移動装置３が、ユーザインタフェース４ａに入力された指示に従い、補正されたホルダ座標系Σｒに基づいて制御部５６によって制御される。

【0034】

内視鏡画像Ｃには、静止した被写体Ｓの他に動く被写体（動体）が含まれ得る。動く被写体は移動ベクトルＶｏｂｊの精度に影響し、動く被写体を含む内視鏡画像Ｃから、内視鏡２の移動方向を正確に表す被写体の移動ベクトルを推定することは難しい。特に、手術中の内視鏡画像Ｃにおいて処置具７が動く。

【0035】

本実施形態によれば、内視鏡画像Ｃの内、処置具領域Ｄを除いた他の領域Ｅが移動ベクトルＶｏｂｊの推定に使用される。これにより、内視鏡画像Ｃ内に動く処置具７が存在する場合においても、内視鏡２の移動方向を正確に表す高精度の移動ベクトルＶｏｂｊが推定される。このような高精度の移動ベクトルＶｏｂｊに基づいて座標系Σｅ，Σｒ間の正確なずれθを算出し、ホルダ座標系Σｒを正確に補正することができる。さらに、正確に補正されたホルダ座標系Σｒに基づいて、ユーザが操作装置４に入力した方向と正確に対応する方向に移動装置３によって内視鏡２を移動させることができる。

【0036】

また、座標系Σｅ，Σｒ間のずれθが、２以上の内視鏡画像Ｃおよび電動ホルダ３ａの先端の位置の情報のみから算出される。すなわち、ずれθを検出するためにセンサ等の機器の追加は不要であり、ずれθをセンサレスで推定することができる。したがって、電動ホルダ３ａの改良が不要であると共に、電動ホルダ３ａの細径化および小型化が容易である。

【0037】

内視鏡２の回転角度θを検出するセンサ等の機器を電動ホルダ３ａに追加することによって、ずれθの計測を容易に実現することができる。しかし、この場合には、従来の電動ホルダを使用することができず、電動ホルダの改良が必要である。また、電動ホルダの外径、サイズおよび重量が増大し、電動ホルダ３ａが手術の邪魔になり得る。

【0038】

本実施形態において、図４Ｂに示されるように、処置具領域推定部５１が、処置具領域ＤにマージンＦを加えた領域を除いた他の領域Ｅ’に基づいて、被写体Ｓの移動方向を推定してもよい。
マージンＦは、処置具領域Ｄの輪郭に沿って延び処置具領域Ｄを囲む領域であり、例えば、所定の幅を有する帯状の領域である。

【0039】

処置具７の近傍において、被写体Ｓの移動が処置具７の動きに影響される可能性がある。例えば、処置具７に押し引きされることによって、処置具７の近傍において被写体Ｓが部分的に動くことがある。
処置具領域ＤにマージンＦを加えた領域を除外することによって、被写体Ｓの移動ベクトルＶｏｂｊの推定精度を向上し、座標系Σｅ，Σｒ間のずれθをさらに正確に推定することができる。

【0040】

（第２実施形態）
次に、本発明の第２実施形態に係る内視鏡システムおよび座標系補正方法について説明する。
本実施形態は、内視鏡２１が斜視型である点において、第１実施形態と相違する。本実施形態において、第１実施形態と異なる点について説明し、第１実施形態と共通の構成については同一の符号を付して説明を省略する。

【0041】

本実施形態に係る内視鏡システムは、内視鏡２１、移動装置３、操作装置４、制御装置５および表示装置６を備える。
図６に示されるように、内視鏡２１は、長手軸Ａに対して傾斜する視軸Ｂを有する斜視型の硬性鏡である。内視鏡２１は、長尺かつ硬性の鏡筒部２ａと、鏡筒部２ａの基端に接続された操作部２ｄとを有する。操作部２ｄは、鏡筒部２ａに対して長手軸Ａ回りに回転可能であり、撮像素子２ｃは、操作部２ｄの内部に保持され、操作部２ｄに対して固定されている。電動ホルダ３ａは、鏡筒部２ａを長手軸Ａ回りに回転可能に保持する。撮像素子２ｃは、３次元カメラであり、被写体Ｓの３次元位置情報を含むステレオ画像を内視鏡画像Ｃとして取得することができる。

【0042】

鏡筒部２ａが操作部２ｄと一体的に電動ホルダ３ａに対して回転することによって、視軸Ｂが長手軸Ａ回りに回転移動し視軸Ｂの方向が変更される。また、操作部２ｄが鏡筒部２ａおよび電動ホルダ３ａに対して回転することによって、撮像素子２ｃが長手軸Ａ回りに回転し表示装置６に表示される内視鏡画像Ｃが回転する。

【0043】

このように、本実施形態において、内視鏡座標系Σｅは、電動ホルダ３ａに対する鏡筒部２ａの回転、および、鏡筒部２ａに対する操作部２ｄの回転によって、ホルダ座標系Σｒに対して回転する。したがって、内視鏡座標系Σｅとホルダ座標系Σｒとの間のずれは、長手軸Ａ回りの鏡筒部２ａの回転角度θおよび長手軸Ａ回りの操作部２ｄの回転角度βから算出される。

【0044】

図７は、鏡筒部２ａの回転角度θおよび操作部２ｄの回転角度βを算出する方法を説明している。
内視鏡２１の先端に、ＸｂａｓｅＹｂａｓｅＺｂａｓｅ基準座標系を設定する。Ｘｂａｓｅ軸は、長手軸Ａと一致する。ＸｂａｓｅＹｂａｓｅＺｂａｓｅ基準座標系をＸｂａｓｅ軸回りにθだけ回転させた座標系を、Ｘ１Ｙ１Ｚ１座標系とする。Ｘｂａｓｅ軸回りの回転は、鏡筒部２ａの回転に相当する。Ｘ１Ｙ１Ｚ１座標系をＹ１軸回りに、視軸Ｂの傾斜角度α（例えば、－３０ｄｅｇ）だけ回転させた座標系を、Ｘ２Ｙ２Ｚ２座標系とする。Ｘ２Ｙ２Ｚ２座標系をＸ２軸回りにβだけ回転させた座標系を、Ｘ３Ｙ３Ｚ３座標系とする。Ｘ２軸回りの回転は、操作部２ｄの回転に相当する。Ｘ３Ｙ３Ｚ３座標系は、鏡筒部２ａおよび操作部２ｄの回転後の内視鏡座標系Σｅである。

【0045】

上記の定義を踏まえると、下式が成立する。

【数2】

【0046】

ただし、Ｖ＝（ｖｘ，ｖｙ，ｖｚ）^Ｔは、ホルダ座標系Σｒにおける内視鏡２１の３次元速度であり、ホルダ移動検出部５３によって検出される電動ホルダ３ａの先端の速度Ｖｔｉｐである。Ｖ’＝（ｖｘ’，ｖｙ’，ｖｚ’）^Ｔは、回転角度θ，βおよび速度Ｖに基づいて算出される、内視鏡座標系Σｅにおける内視鏡２１の計算上の速度である。Ｈ^ｉ _ｉ－１は、ｉ－１座標系からｉ座標系への同次変換行列である。また、Ｃθ＝ｃｏｓθ、Ｓθ＝ｓｉｎθである。

【0047】

内視鏡画像Ｃに基づいて算出される内視鏡座標系Σｅにおける内視鏡２１の速度をＶ”とすると、下式（２）に示すように、Ｖ’とＶ”との間の誤差が最小となる回転角度θ，βを求めることによって、鏡筒部２ａの回転角度θおよび操作部２ｄの回転角度βを推定することができる。

【数3】

【0048】

速度Ｖ”は、被写体移動検出部５２によって検出される被写体Ｓの移動速度Ｖｏｂｊである。ステップＳ８において、被写体移動検出部５２は、被写体Ｓの３次元位置情報を複数の内視鏡画像Ｃの各々から取得し、ＳｆＭ（Structure from Motion）またはVisual SLAM等の公知の画像処理技術を用いて複数の内視鏡画像Ｃから内視鏡２１の位置および姿勢を推定し、推定された位置および姿勢の変化量から内視鏡座標系Σｅにおける内視鏡２１の速度Ｖ”＝Ｖｏｂｊを算出する。

【0049】

ステップＳ１１において、ずれ算出部５４は、回転角度θ，βを網羅的に変化させることによって、Ｖ’とＶ”との間の誤差が最小となる回転角度θ，βをずれとして算出する。
ステップＳ１２において、座標系補正部５５は、回転角度θ，βに基づいてホルダ座標系Σｒを補正することによって、ホルダ座標系Σｒを内視鏡座標系Σｅに一致させる。具体的には、座標系補正部５５は、ホルダ座標系Σｒが内視鏡座標系Σｅに一致するように、回転角度θ，βに基づいて電動ホルダ３ａのＤＨ（Denavit-Hartenberg）パラメータを補正する。

【0050】

この場合に、本実施形態のステップＳ８においても、内視鏡画像Ｃの内、処置具領域Ｄを除いた他の領域Ｅが移動ベクトルＶｏｂｊの推定に使用される。したがって、内視鏡画像Ｃ内に動く処置具７が存在する場合においても、斜視型の内視鏡２１の移動方向を正確に表す高精度の移動ベクトルＶｏｂｊが推定することができる。このような高精度の移動ベクトルＶｏｂｊに基づいて座標系Σｅ，Σｒ間の正確なずれθ，βを算出し、ホルダ座標系Σｒを正確に補正することができる。
本実施形態のその他の作用および効果は、第１実施形態と同一であるので説明を省略する。
本実施形態においても、第１実施形態と同様に、処置具領域ＤにマージンＦを加えた領域を除いた他の領域Ｅ’に基づいて、被写体Ｓの移動方向Ｖｏｂｊを推定してもよい。

【0051】

（第３実施形態）
次に、本発明の第３実施形態に係る内視鏡システムおよび座標系補正方法について説明する。
本実施形態は、被写体Ｓの移動方向を検出する方法において、第１実施形態と相違する。本実施形態において、第１実施形態と異なる点について説明し、第１実施形態と共通の構成については同一の符号を付して説明を省略する。

【0052】

第１実施形態と同様に、本実施形態に係る内視鏡システム１は、内視鏡２、移動装置３、操作装置４、制御装置５および表示装置６を備える。
図８に示されるように、ステップＳ８において、被写体移動検出部５２は、内視鏡画像Ｃ内の各位置の移動ベクトルｕ（矢印参照。）を推定し、処置具領域Ｄを除く他の領域Ｅ内の位置の移動ベクトルｕを選択し、選択された移動ベクトルｕから被写体Ｓの移動ベクトルＶｏｂｊを推定する。例えば、移動ベクトルＶｏｂｊは、選択された移動ベクトルｕの平均である。

【0053】

図８の内視鏡画像Ｃ内の黒いドットは、エッジのような特徴（階調値の変化）が無いまたは少ないことが原因で移動ベクトルｕが推定されなかった位置を示している。移動ベクトルが推定されなかった位置も、被写体Ｓの移動ベクトルＶｏｂｊの推定において除外されてもよい。

【0054】

実際の手術シーンにおいて、他の領域Ｅ内の臓器等の被写体Ｓは完全に静止しているとは限らず、例えば、処置具７によって押し引きされることによって他の領域Ｅ内の被写体Ｓが部分的に動くことがある。このような被写体Ｓの動きは、移動ベクトルＶｏｂｊの推定誤差の原因となる。
本実施形態によれば、他の領域Ｅ内の複数の位置の移動ベクトルｕを用いることによって、被写体Ｓの移動ベクトルＶｏｂｊの推定誤差を低減することができる。

【0055】

本実施形態のその他の作用および効果は、第１実施形態と同一であるので説明を省略する。
本実施形態においても、第１実施形態と同様に、処置具領域ＤにマージンＦを加えた領域を除いた他の領域Ｅ’に基づいて、被写体Ｓの移動方向Ｖｏｂｊを推定してもよい。すなわち、被写体移動検出部５２は、他の領域Ｅ’内の位置の移動ベクトルｕを選択し、選択された移動ベクトルｕから被写体Ｓの移動ベクトルＶｏｂｊを推定してもよい。

【0056】

（第４実施形態）
次に、本発明の第４実施形態に係る内視鏡システムおよび座標系補正方法について説明する。
本実施形態は、他の領域Ｅ内の位置の移動ベクトルｕの中から方向に基づいて選択された移動ベクトルｕのみを被写体Ｓの移動ベクトルＶｏｂｊの推定に使用する点において、第３実施形態と相違する。本実施形態において、第１および第３実施形態と異なる点について説明し、第１および第３実施形態と共通の構成については同一の符号を付して説明を省略する。

【0057】

本実施形態のステップＳ８において、図９に示されるように、被写体移動検出部５２は、他の領域Ｅ内の位置の移動ベクトルｕを選択した後、移動ベクトルｕの方向ｄｉ（ｉ＝１，２，３，…）に基づいて移動ベクトルｕをさらに選択する。
具体的には、被写体移動検出部５２は、移動ベクトルｕの個数ｎｉ（ｉ＝１，２，３，…）を方向ｄｉ（ｉ＝１，２，３，…）毎に数える。

【0058】

次に、被写体移動検出部５２は、個数が最多である移動ベクトルｕと、最多の移動ベクトルｕと方向が近い移動ベクトルとを選択する。例えば、最多の移動ベクトルｕに対して方向が±δ°以内である移動ベクトルｕが選択される。δは、適宜設定される値である。図９の例において、方向ｄ３の移動ベクトルｕの数ｎ３が最多であり、方向ｄ３の移動ベクトルｕと方向ｄ２，ｄ４の移動ベクトルとが選択される。
次に、被写体移動検出部５２は、選択された移動ベクトルｕのみから被写体Ｓの移動ベクトルＶｏｂｊを推定する。

【0059】

前述したように、他の領域Ｅ内の被写体Ｓが、内視鏡２の移動とは関係なく部分的に動くことがある。
本実施形態によれば、他の領域Ｅ内の移動ベクトルｕの中から、内視鏡２の移動に因る被写体Ｓの移動方向ｄ３とは異なる方向ｄ１，ｄ５，ｄ６の移動ベクトルｕが除外され、内視鏡２の移動に因る被写体Ｓの移動方向ｄ３およびこれに近い方向ｄ２，ｄ４の移動ベクトルｕのみが移動ベクトルＶｏｂｊの推定に使用される。これにより、第３実施形態と比較して、被写体Ｓの移動ベクトルＶｏｂｊの推定誤差をさらに低減することができる。

【0060】

本実施形態のその他の作用および効果は、第１実施形態と同一であるので説明を省略する。
本実施形態においても、第１実施形態と同様に、処置具領域ＤにマージンＦを加えた領域を除いた他の領域Ｅ’に基づいて、被写体Ｓの移動方向Ｖｏｂｊを推定してもよい。

【0061】

（第５実施形態）
次に、本発明の第５実施形態に係る内視鏡システムおよび座標系補正方法について説明する。
本実施形態は、移動ベクトルＶｏｂｊの推定に使用する内視鏡画像Ｃに強調処理を施す点において、第３および第４実施形態と相違する。本実施形態において、第１、第３および第４実施形態と異なる点について説明し、第１、第３および第４実施形態と共通の構成については同一の符号を付して説明を省略する。

【0062】

前述したように、特徴が無いまたは少ない位置の移動ベクトルｕを推定することは難しい。被写体移動検出部５２は、エッジ強調処理またはコントラスト強調処理等、特徴を強調するための強調処理を、内視鏡画像Ｃに施す。例えば、被写体移動検出部５２は、内視鏡画像ＣをＮ×Ｍの複数の領域に分割し、複数の領域の輝度値のヒストグラムが同等となるように領域毎に強調処理を施す。必要に応じて、被写体移動検出部５２は、強調処理の前に、グレースケール変換等の前処理をカラーの内視鏡画像Ｃに施してもよい。

【0063】

次に、被写体移動検出部５２は、強調処理が施された２以上の内視鏡画像Ｃを使用して移動ベクトルＶｏｂｊを推定する。図１０は、強調処理が施された内視鏡画像Ｃ内の移動ベクトルｕを示している。図８および図１０に示されるように、強調処理が施されていない内視鏡画像Ｃでは移動ベクトルｕが推定されなかった位置においても、強調処理が施された内視鏡画像Ｃでは移動ベクトルｕが推定される。

【0064】

このように、本実施形態によれば、特徴を強調する処理を内視鏡画像Ｃを施すことによって、移動ベクトルｕが推定される領域が拡大し、被写体Ｓの移動ベクトルＶｏｂｊの正しい推定に寄与する領域が増える。これにより、第３および第４実施形態と比較して、被写体Ｓの移動ベクトルＶｏｂｊの推定誤差をさらに低減することができる。

【0065】

本実施形態のその他の作用および効果は、第１実施形態と同一であるので説明を省略する。
本実施形態においても、第１実施形態と同様に、処置具領域ＤにマージンＦを加えた領域を除いた他の領域Ｅ’に基づいて、被写体Ｓの移動方向Ｖｏｂｊを推定してもよい。

【0066】

上記第１から第５実施形態において、動体が、処置具７であることとしたが、動体は、処置具７に限定されるものではなく、内視鏡画像Ｃ内で動く任意の被写体であってもよい。例えば、動体は、トロッカまたはサージカルテープのような手術器具、蠕動する腸または呼吸によって動く横隔膜のような臓器、または、処置具等によって組織を焼灼したときに発生する煙であってもよい。

【0067】

上記第１から第５実施形態において、処置具領域推定部５１が、人工知能による画像認識によって処置具７のような動体の領域を推定することとしたが、これに代えて、内視鏡画像Ｃ内の各位置の移動ベクトルｕに基づいて動体の領域を推定してもよい。例えば、処置具領域推定部５１は、移動ベクトルｕの大きさが閾値以上である位置を動体の領域として推定してもよい。

【0068】

この構成によっても、動く処置具７の領域を推定することができる。また、処置具７に代えてまたはこれに加えて他の動体が内視鏡画像Ｃ内に含まれる場合、他の任意の動体の領域も移動ベクトルｕに基づいて推定することができる。したがって、内視鏡画像Ｃ内に他の動体が存在する場合、他の動体の領域を除いた他の領域に基づいて、内視鏡２の移動方向を正確に表す高精度の移動ベクトルＶｏｂｊを推定することができる。

【0069】

上記第１から第５実施形態において、移動装置３に対する内視鏡２，２１の長手軸Ａ回りの回転によって、座標系Σｅ，Σｒ間にずれが生じることとしたが、本発明は、内視鏡２，２１および移動装置３の任意の相対運動によって座標系Σｅ，Σｒ間にずれが生じる場合にも適用することができる。すなわち、電動ホルダ３によって移動させられる内視鏡２のホルダ座標系Σｒでの移動方向と、内視鏡画像Ｃ内の被写体Ｓの移動方向とから、座標系Σｅ，Σｒ間の任意の方向のずれを算出することができる。したがって、算出されたずれに基づいて、内視鏡座標系Σｅとホルダ座標系Σｒとが相互に一致するように、内視鏡座標系Σｅおよびホルダ座標系Σｒの少なくとも一方を補正することができる。

【符号の説明】

【0070】

１ 内視鏡システム
２，２１ 内視鏡
２ａ 鏡筒部
２ｃ 撮像素子
２ｄ 操作部
３ 移動装置
３ａ 電動ホルダ、ロボットアーム
４ 操作装置
４ａ ユーザインタフェース
５ 制御装置
５ａ プロセッサ
７ 処置具（動体）
Ａ 内視鏡の長手軸
Ｂ 内視鏡の視軸
Ｃ 内視鏡画像
Ｄ 処置具領域（動体領域）
Ｅ，Ｅ’ 他の領域
Ｆ マージン
Ｓ 被写体
Σｒ ホルダ座標系（移動装置の座標系）
Σｅ 内視鏡座標系（内視鏡の座標系）

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】