知財求人 - 知財ポータルサイト「IP Force」
特開2024-169386内視鏡システム、内視鏡移動制御装置、方法およびプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024169386
(43)【公開日】2024-12-05
(54)【発明の名称】内視鏡システム、内視鏡移動制御装置、方法およびプログラム
(51)【国際特許分類】
A61B 1/00 20060101AFI20241128BHJP
A61B 1/045 20060101ALI20241128BHJP
【ＦＩ】
A61B1/00 655
A61B1/045 623
A61B1/00 552
【審査請求】未請求
【請求項の数】13
【出願形態】ＯＬ
(21)【出願番号】P 2024083855
(22)【出願日】2024-05-23
(31)【優先権主張番号】63/468906
(32)【優先日】2023-05-25
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】000000376
【氏名又は名称】オリンパス株式会社
(74)【代理人】
【識別番号】100118913
【弁理士】
【氏名又は名称】上田 邦生
(74)【代理人】
【識別番号】100142789
【弁理士】
【氏名又は名称】柳 順一郎
(74)【代理人】
【識別番号】100201466
【弁理士】
【氏名又は名称】竹内 邦彦
(72)【発明者】
【氏名】佐々井 亮太
(72)【発明者】
【氏名】高山 裕行
【テーマコード（参考）】
4C161
【Ｆターム（参考）】
4C161GG13
4C161HH55
(57)【要約】 （修正有）
【課題】挿入部の長手軸方向と、先端の光軸方向とが異なる場合でも、内視鏡画像から直感的に内視鏡を所望の方向に移動させることができる内視鏡システムを提供する。
【解決手段】挿入部２ａと、その基端に長手軸回りに回転可能に配置された撮像素子２ｅと、長手軸方向とは異なる方向に光軸を傾ける光学素子２ｂとを備える内視鏡２と、内視鏡を長手軸回りに回転可能に保持して移動させる移動装置と、プロセッサとを備え、移動装置に対し内視鏡を長手軸方向に移動させる第１の信号を送信し、送信前後の画像を用いて被写体の第１の移動方向Ｍ１を検出し、光学素子の長手軸回りの第１の回転量を推定し、移動装置に対し内視鏡を長手軸方向に直交する方向に移動させる第２の信号を送信し、送信前後の画像を用いて被写体の第２の移動方向Ｍ２を検出し、第２の移動方向および第１の回転量に基づいて移動装置と内視鏡との間の長手軸回りの第２の回転量を推定する。
【選択図】図４
【解決手段】挿入部２ａと、その基端に長手軸回りに回転可能に配置された撮像素子２ｅと、長手軸方向とは異なる方向に光軸を傾ける光学素子２ｂとを備える内視鏡２と、内視鏡を長手軸回りに回転可能に保持して移動させる移動装置と、プロセッサとを備え、移動装置に対し内視鏡を長手軸方向に移動させる第１の信号を送信し、送信前後の画像を用いて被写体の第１の移動方向Ｍ１を検出し、光学素子の長手軸回りの第１の回転量を推定し、移動装置に対し内視鏡を長手軸方向に直交する方向に移動させる第２の信号を送信し、送信前後の画像を用いて被写体の第２の移動方向Ｍ２を検出し、第２の移動方向および第１の回転量に基づいて移動装置と内視鏡との間の長手軸回りの第２の回転量を推定する。
【選択図】図４
【特許請求の範囲】
【請求項1】
長手軸方向に延びる筒状の挿入部と、該挿入部の基端に前記長手軸回りに回転可能に配置された撮像素子と、前記挿入部に設けられ前記長手軸方向とは異なる方向に光軸を傾ける光学素子と、を備える内視鏡と、
該内視鏡を前記長手軸回りに回転可能に保持して移動させる移動装置と、
少なくとも１つのプロセッサと、を備え、
該プロセッサが、
前記移動装置に対し、前記内視鏡を前記長手軸方向に移動させるための第１の信号を送信し、
該第１の信号の送信前後において前記撮像素子により取得された２つの画像を用いて該画像内における被写体の第１の移動方向を検出し、
該第１の移動方向に基づいて前記撮像素子に対する前記光学素子の前記長手軸回りの第１の回転量を推定し、
前記移動装置に対し、前記内視鏡を前記長手軸方向に直交する方向に移動させる第２の信号を送信し、
該第２の信号の送信前後において前記撮像素子により取得された２つの前記画像を用いて該画像内における前記被写体の第２の移動方向を検出し、
該第２の移動方向および前記第１の回転量に基づいて前記移動装置と前記内視鏡との間の前記長手軸回りの第２の回転量を推定する内視鏡システム。
該内視鏡を前記長手軸回りに回転可能に保持して移動させる移動装置と、
少なくとも１つのプロセッサと、を備え、
該プロセッサが、
前記移動装置に対し、前記内視鏡を前記長手軸方向に移動させるための第１の信号を送信し、
該第１の信号の送信前後において前記撮像素子により取得された２つの画像を用いて該画像内における被写体の第１の移動方向を検出し、
該第１の移動方向に基づいて前記撮像素子に対する前記光学素子の前記長手軸回りの第１の回転量を推定し、
前記移動装置に対し、前記内視鏡を前記長手軸方向に直交する方向に移動させる第２の信号を送信し、
該第２の信号の送信前後において前記撮像素子により取得された２つの前記画像を用いて該画像内における前記被写体の第２の移動方向を検出し、
該第２の移動方向および前記第１の回転量に基づいて前記移動装置と前記内視鏡との間の前記長手軸回りの第２の回転量を推定する内視鏡システム。
【請求項2】
前記プロセッサが、
前記画像内の前記被写体における複数の特徴点の移動方向を前記第１の移動方向として検出するとともに、前記複数の特徴点の各前記第１の移動方向に沿う直線の交点の位置を算出し、
該交点の位置に基づいて前記第１の回転量を推定する請求項１に記載の内視鏡システム。
前記画像内の前記被写体における複数の特徴点の移動方向を前記第１の移動方向として検出するとともに、前記複数の特徴点の各前記第１の移動方向に沿う直線の交点の位置を算出し、
該交点の位置に基づいて前記第１の回転量を推定する請求項１に記載の内視鏡システム。
【請求項3】
前記プロセッサが、
前記第２の信号の送信により前記移動装置が移動した方向と前記第２の移動方向との差を考慮して前記第２の回転量を推定する、請求項１に記載の内視鏡システム。
前記第２の信号の送信により前記移動装置が移動した方向と前記第２の移動方向との差を考慮して前記第２の回転量を推定する、請求項１に記載の内視鏡システム。
【請求項4】
前記プロセッサが、
前記第２の信号の送信による前記画像内における前記被写体の移動方向を前記第２の回転量を可変パラメータとした複数パターンのシミュレーションにより算出し、前記第２の移動方向と一致するシミュレーション結果における前記可変パラメータの値を前記第２の回転量として推定する、請求項１に記載の内視鏡システム。
前記第２の信号の送信による前記画像内における前記被写体の移動方向を前記第２の回転量を可変パラメータとした複数パターンのシミュレーションにより算出し、前記第２の移動方向と一致するシミュレーション結果における前記可変パラメータの値を前記第２の回転量として推定する、請求項１に記載の内視鏡システム。
【請求項5】
前記撮像素子が、前記長手軸方向に直交して配置された撮像面を備え、
前記長手軸が、前記撮像面の撮像中心を通過する請求項１に記載の内視鏡システム。
前記長手軸が、前記撮像面の撮像中心を通過する請求項１に記載の内視鏡システム。
【請求項6】
前記移動装置が、複数の関節を備え、
前記プロセッサからの信号により前記複数の関節のうち少なくとも１つを駆動することによって、前記挿入部の先端を３次元空間の所定の位置に移動させると同時に、前記挿入部の姿勢を前記長手軸回りの回転を除き制御可能である請求項５に記載の内視鏡システム。
前記プロセッサからの信号により前記複数の関節のうち少なくとも１つを駆動することによって、前記挿入部の先端を３次元空間の所定の位置に移動させると同時に、前記挿入部の姿勢を前記長手軸回りの回転を除き制御可能である請求項５に記載の内視鏡システム。
【請求項7】
前記プロセッサが、
前記第２の信号の送信前後に取得された２つの前記画像の前記長手軸回りの角度が一致するように、前記第２の信号の送信前後に取得された２つの前記画像の少なくとも一方を画像処理によって回転させて前記第２の移動方向を検出する請求項６に記載の内視鏡システム。
前記第２の信号の送信前後に取得された２つの前記画像の前記長手軸回りの角度が一致するように、前記第２の信号の送信前後に取得された２つの前記画像の少なくとも一方を画像処理によって回転させて前記第２の移動方向を検出する請求項６に記載の内視鏡システム。
【請求項8】
前記複数の関節が、前記信号により駆動可能な３つの関節と、２つの受動関節とからなり、
前記挿入部がトロッカに挿通され、
前記プロセッサが、
前記移動装置に対し、第３の信号を送信して、前記挿入部が前記トロッカから所定の閾値以上の反力を受けるまで前記長手軸方向の傾斜角度を変化させた後に、前記第１の移動方向の検出を行う請求項６に記載の内視鏡システム。
前記挿入部がトロッカに挿通され、
前記プロセッサが、
前記移動装置に対し、第３の信号を送信して、前記挿入部が前記トロッカから所定の閾値以上の反力を受けるまで前記長手軸方向の傾斜角度を変化させた後に、前記第１の移動方向の検出を行う請求項６に記載の内視鏡システム。
【請求項9】
前記内視鏡が、前記挿入部に固定された操作環を備え、
前記第１の回転量が、前記操作環の前記撮像素子に対する前記長手軸回りの回転角度の変化量である請求項６に記載の内視鏡システム。
前記第１の回転量が、前記操作環の前記撮像素子に対する前記長手軸回りの回転角度の変化量である請求項６に記載の内視鏡システム。
【請求項10】
前記プロセッサが、前記第１の移動方向および前記第２の移動方向をオプティカルフローによって計算する請求項１に記載の内視鏡システム。
【請求項11】
内視鏡を移動させる移動装置を制御する内視鏡移動制御装置であって、
前記内視鏡が、長手軸方向に延びる筒状の挿入部と、該挿入部の基端に前記長手軸回りに回転可能に配置された撮像素子と、前記挿入部に設けられ前記長手軸方向とは異なる方向に光軸を傾ける光学素子とを備え、
前記移動装置が、前記内視鏡を前記長手軸回りに回転可能に保持し、
少なくとも１つのプロセッサを備え、
該プロセッサが、
前記移動装置に対し、前記内視鏡を前記長手軸方向に移動させる第１の信号を送信し、
該第１の信号の送信前後において前記撮像素子により取得された２つの画像を用いて該画像内における被写体の第１の移動方向を検出し、
該第１の移動方向に基づいて前記撮像素子に対する前記光学素子の前記長手軸回りの第１の回転量を推定し、
前記移動装置に対し、前記内視鏡を前記長手軸方向に直交する方向に移動させる第２の信号を送信し、
該第２の信号の送信前後において前記撮像素子により取得された２つの前記画像を用いて該画像内における前記被写体の第２の移動方向を検出し、
該第２の移動方向および前記第１の回転量に基づいて前記移動装置と前記内視鏡との間の前記長手軸回りの第２の回転量を推定する内視鏡移動制御装置。
前記内視鏡が、長手軸方向に延びる筒状の挿入部と、該挿入部の基端に前記長手軸回りに回転可能に配置された撮像素子と、前記挿入部に設けられ前記長手軸方向とは異なる方向に光軸を傾ける光学素子とを備え、
前記移動装置が、前記内視鏡を前記長手軸回りに回転可能に保持し、
少なくとも１つのプロセッサを備え、
該プロセッサが、
前記移動装置に対し、前記内視鏡を前記長手軸方向に移動させる第１の信号を送信し、
該第１の信号の送信前後において前記撮像素子により取得された２つの画像を用いて該画像内における被写体の第１の移動方向を検出し、
該第１の移動方向に基づいて前記撮像素子に対する前記光学素子の前記長手軸回りの第１の回転量を推定し、
前記移動装置に対し、前記内視鏡を前記長手軸方向に直交する方向に移動させる第２の信号を送信し、
該第２の信号の送信前後において前記撮像素子により取得された２つの前記画像を用いて該画像内における前記被写体の第２の移動方向を検出し、
該第２の移動方向および前記第１の回転量に基づいて前記移動装置と前記内視鏡との間の前記長手軸回りの第２の回転量を推定する内視鏡移動制御装置。
【請求項12】
内視鏡を移動させる移動装置を制御する内視鏡移動制御方法であって、
前記内視鏡が、長手軸方向に延びる筒状の挿入部と、該挿入部の基端に前記長手軸回りに回転可能に配置された撮像素子と、前記挿入部に設けられ前記長手軸方向とは異なる方向に光軸を傾ける光学素子とを備え、
前記移動装置が、前記内視鏡を前記長手軸回りに回転可能に保持し、
前記移動装置によって前記内視鏡を前記長手軸方向に移動させることと、
前記長手軸方向の移動の前後において前記撮像素子により取得された２つの画像を用いて該画像内における被写体の第１の移動方向を検出することと、
該第１の移動方向に基づいて前記撮像素子に対する前記光学素子の前記長手軸回りの第１の回転量を推定することと、
移動装置によって前記内視鏡を前記長手軸方向に直交する方向に移動させることと、
前記長手軸方向に直交する方向の移動の前後において前記撮像素子により取得された２つの前記画像を用いて該画像内における前記被写体の第２の移動方向を検出することと、
該第２の移動方向および前記第１の回転量に基づいて前記移動装置と前記内視鏡との間の前記長手軸回りの第２の回転量を推定することとを含む内視鏡移動制御方法。
前記内視鏡が、長手軸方向に延びる筒状の挿入部と、該挿入部の基端に前記長手軸回りに回転可能に配置された撮像素子と、前記挿入部に設けられ前記長手軸方向とは異なる方向に光軸を傾ける光学素子とを備え、
前記移動装置が、前記内視鏡を前記長手軸回りに回転可能に保持し、
前記移動装置によって前記内視鏡を前記長手軸方向に移動させることと、
前記長手軸方向の移動の前後において前記撮像素子により取得された２つの画像を用いて該画像内における被写体の第１の移動方向を検出することと、
該第１の移動方向に基づいて前記撮像素子に対する前記光学素子の前記長手軸回りの第１の回転量を推定することと、
移動装置によって前記内視鏡を前記長手軸方向に直交する方向に移動させることと、
前記長手軸方向に直交する方向の移動の前後において前記撮像素子により取得された２つの前記画像を用いて該画像内における前記被写体の第２の移動方向を検出することと、
該第２の移動方向および前記第１の回転量に基づいて前記移動装置と前記内視鏡との間の前記長手軸回りの第２の回転量を推定することとを含む内視鏡移動制御方法。
【請求項13】
内視鏡を移動させる移動装置を制御する内視鏡移動制御プログラムであって、
前記内視鏡が、長手軸方向に延びる筒状の挿入部と、該挿入部の基端に前記長手軸回りに回転可能に配置された撮像素子と、前記挿入部に設けられ前記長手軸方向とは異なる方向に光軸を傾ける光学素子とを備え、
前記移動装置が、前記内視鏡を前記長手軸回りに回転可能に保持し、
前記移動装置によって前記内視鏡を前記長手軸方向に移動させることと、
前記長手軸方向の移動の前後において前記撮像素子により取得された２つの画像を用いて該画像内における被写体の第１の移動方向を検出することと、
該第１の移動方向に基づいて前記撮像素子に対する前記光学素子の前記長手軸回りの第１の回転量を推定することと、
移動装置によって前記内視鏡を前記長手軸方向に直交する方向に移動させることと、
前記長手軸方向に直交する方向の移動の前後において前記撮像素子により取得された２つの前記画像を用いて該画像内における前記被写体の第２の移動方向を検出することと、
該第２の移動方向および前記第１の回転量に基づいて前記移動装置と前記内視鏡との間の前記長手軸回りの第２の回転量を推定することとをコンピュータに実行させる内視鏡移動制御プログラム。
前記内視鏡が、長手軸方向に延びる筒状の挿入部と、該挿入部の基端に前記長手軸回りに回転可能に配置された撮像素子と、前記挿入部に設けられ前記長手軸方向とは異なる方向に光軸を傾ける光学素子とを備え、
前記移動装置が、前記内視鏡を前記長手軸回りに回転可能に保持し、
前記移動装置によって前記内視鏡を前記長手軸方向に移動させることと、
前記長手軸方向の移動の前後において前記撮像素子により取得された２つの画像を用いて該画像内における被写体の第１の移動方向を検出することと、
該第１の移動方向に基づいて前記撮像素子に対する前記光学素子の前記長手軸回りの第１の回転量を推定することと、
移動装置によって前記内視鏡を前記長手軸方向に直交する方向に移動させることと、
前記長手軸方向に直交する方向の移動の前後において前記撮像素子により取得された２つの前記画像を用いて該画像内における前記被写体の第２の移動方向を検出することと、
該第２の移動方向および前記第１の回転量に基づいて前記移動装置と前記内視鏡との間の前記長手軸回りの第２の回転量を推定することとをコンピュータに実行させる内視鏡移動制御プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、内視鏡システム、内視鏡移動制御装置、方法およびプログラムに関するものである。
【背景技術】
【0002】
従来、電動ホルダのような移動装置によって内視鏡を移動させる内視鏡システムが知られている。内視鏡を正確に移動させるために、内視鏡の座標系と移動装置の座標系とが相互に一致していることが望ましい。
例えば、術者がユーザインタフェースを使用して電動ホルダを遠隔操作するとき、術者は、内視鏡画像に基づいて内視鏡の所望の移動方向をユーザインタフェースに入力する。内視鏡の座標系と移動装置の座標系とが一致している場合、ユーザは内視鏡を所望の方向に直感的にかつ正確に移動させることができる。一方、内視鏡の座標系と移動装置の座標系とが一致していない場合、内視鏡の実際の移動方向がユーザインタフェースに入力される移動方向とは異なるので、ユーザは内視鏡を所望の方向に直感的にかつ正確に移動させることが難しい。
例えば、術者がユーザインタフェースを使用して電動ホルダを遠隔操作するとき、術者は、内視鏡画像に基づいて内視鏡の所望の移動方向をユーザインタフェースに入力する。内視鏡の座標系と移動装置の座標系とが一致している場合、ユーザは内視鏡を所望の方向に直感的にかつ正確に移動させることができる。一方、内視鏡の座標系と移動装置の座標系とが一致していない場合、内視鏡の実際の移動方向がユーザインタフェースに入力される移動方向とは異なるので、ユーザは内視鏡を所望の方向に直感的にかつ正確に移動させることが難しい。
【0003】
可動アームにカメラシステムが取り付けられたロボットシステムにおいて、ロボットの座標系とカメラシステムの座標系との間の変換を補正する方法が知られている（例えば、特許文献１参照。）。特許文献１では、ターゲットの画像をカメラシステムによって取得し、画像を取得したときの可動アームの位置と画像内のターゲットの特徴点の位置とから前記変換を決定する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】米国特許第９１８８９７３号明細書
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、内視鏡の挿入部の長手軸方向と、内視鏡先端の光軸方向とが異なる内視鏡システムの場合には、内視鏡の可動アームへの取付角度および内視鏡先端の光軸方向によっては、内視鏡画像を見ながら直感的に内視鏡を所望の方向に移動させることが困難である。
【0006】
本発明は、上述した事情に鑑みてなされたものであって、内視鏡の挿入部の長手軸方向と、内視鏡先端の光軸方向とが異なる場合においても、内視鏡画像を見ながら直感的に内視鏡を所望の方向に移動させることができる内視鏡システム、内視鏡回転量推定方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の一態様は、長手軸方向に延びる筒状の挿入部と、該挿入部の基端に前記長手軸回りに回転可能に配置された撮像素子と、前記挿入部に設けられ前記長手軸方向とは異なる方向に光軸を傾ける光学素子と、を備える内視鏡と、該内視鏡を前記長手軸回りに回転可能に保持して移動させる移動装置と、少なくとも１つのプロセッサと、を備え、該プロセッサが、前記移動装置に対し、前記内視鏡を前記長手軸方向に移動させるための第１の信号を送信し、該第１の信号の送信前後において前記撮像素子により取得された２つの画像を用いて該画像内における被写体の第１の移動方向を検出し、該第１の移動方向に基づいて前記撮像素子に対する前記光学素子の前記長手軸回りの第１の回転量を推定し、前記移動装置に対し、前記内視鏡を前記長手軸方向に直交する方向に移動させる第２の信号を送信し、該第２の信号の送信前後において前記撮像素子により取得された２つの前記画像を用いて該画像内における前記被写体の第２の移動方向を検出し、該第２の移動方向および前記第１の回転量に基づいて前記移動装置と前記内視鏡との間の前記長手軸回りの第２の回転量を推定する内視鏡システムである。
【0008】
本発明の他の態様は、内視鏡を移動させる移動装置を制御する内視鏡移動制御装置であって、前記内視鏡が、長手軸方向に延びる筒状の挿入部と、該挿入部の基端に前記長手軸回りに回転可能に配置された撮像素子と、前記挿入部に設けられ前記長手軸方向とは異なる方向に光軸を傾ける光学素子とを備え、前記移動装置が、前記内視鏡を前記長手軸回りに回転可能に保持し、少なくとも１つのプロセッサを備え、該プロセッサが、前記移動装置に対し、前記内視鏡を前記長手軸方向に移動させる第１の信号を送信し、該第１の信号の送信前後において前記撮像素子により取得された２つの画像を用いて該画像内における被写体の第１の移動方向を検出し、該第１の移動方向に基づいて前記撮像素子に対する前記光学素子の前記長手軸回りの第１の回転量を推定し、前記移動装置に対し、前記内視鏡を前記長手軸方向に直交する方向に移動させる第２の信号を送信し、該第２の信号の送信前後において前記撮像素子により取得された２つの前記画像を用いて該画像内における前記被写体の第２の移動方向を検出し、該第２の移動方向および前記第１の回転量に基づいて前記移動装置と前記内視鏡との間の前記長手軸回りの第２の回転量を推定する内視鏡移動制御装置である。
【0009】
本発明の他の態様は、内視鏡を移動させる移動装置を制御する内視鏡移動制御方法であって、前記内視鏡が、長手軸方向に延びる筒状の挿入部と、該挿入部の基端に前記長手軸回りに回転可能に配置された撮像素子と、前記挿入部に設けられ前記長手軸方向とは異なる方向に光軸を傾ける光学素子とを備え、前記移動装置が、前記内視鏡を前記長手軸回りに回転可能に保持し、前記移動装置によって前記内視鏡を前記長手軸方向に移動させることと、前記長手軸方向の移動の前後において前記撮像素子により取得された２つの画像を用いて該画像内における被写体の第１の移動方向を検出することと、該第１の移動方向に基づいて前記撮像素子に対する前記光学素子の前記長手軸回りの第１の回転量を推定することと、移動装置によって前記内視鏡を前記長手軸方向に直交する方向に移動させることと、前記長手軸方向に直交する方向の移動の前後において前記撮像素子により取得された２つの前記画像を用いて該画像内における前記被写体の第２の移動方向を検出することと、該第２の移動方向および前記第１の回転量に基づいて前記移動装置と前記内視鏡との間の前記長手軸回りの第２の回転量を推定することとを含む内視鏡移動制御方法である。
【0010】
また、本発明の他の態様は、内視鏡を移動させる移動装置を制御する内視鏡移動制御プログラムであって、前記内視鏡が、長手軸方向に延びる筒状の挿入部と、該挿入部の基端に前記長手軸回りに回転可能に配置された撮像素子と、前記挿入部に設けられ前記長手軸方向とは異なる方向に光軸を傾ける光学素子とを備え、前記移動装置が、前記内視鏡を前記長手軸回りに回転可能に保持し、前記移動装置によって前記内視鏡を前記長手軸方向に移動させることと、前記長手軸方向の移動の前後において前記撮像素子により取得された２つの画像を用いて該画像内における被写体の第１の移動方向を検出することと、該第１の移動方向に基づいて前記撮像素子に対する前記光学素子の前記長手軸回りの第１の回転量を推定することと、移動装置によって前記内視鏡を前記長手軸方向に直交する方向に移動させることと、前記長手軸方向に直交する方向の移動の前後において前記撮像素子により取得された２つの前記画像を用いて該画像内における前記被写体の第２の移動方向を検出することと、該第２の移動方向および前記第１の回転量に基づいて前記移動装置と前記内視鏡との間の前記長手軸回りの第２の回転量を推定することとをコンピュータに実行させる内視鏡移動制御プログラムである。
【発明の効果】
【0011】
本発明によれば、内視鏡の挿入部の長手軸方向と、内視鏡先端の光軸方向とが異なる場合においても、内視鏡画像を見ながら直感的に内視鏡を所望の方向に移動させることができるという効果を奏する。
【図面の簡単な説明】
【0012】
【図1】本発明の第１実施形態に係る内視鏡システムの全体構成図である。
【図3】内視鏡画像内の処置具領域および他の領域の一例を示す図である。
【図6】内視鏡画像から算出された移動ベクトルの一例を示す図である。
【図7】内視鏡画像に設定された仮消失点の一例を示す図である。
【図8】内視鏡の画角と消失点との関係を示す図である。
【図10】内視鏡の長手軸に直交する方向への移動前後の内視鏡画像から取得された移動ベクトルから回転量θを求める処理を説明する図である。
【図22】本発明の第２実施形態に係る内視鏡システムにおける内視鏡の湾曲関節の角度、画角および消失点の関係を示す図である。
【発明を実施するための形態】
【0013】
（第１実施形態）
本発明の第１実施形態に係る内視鏡システム１、内視鏡移動制御装置５、方法およびプログラムおよび記録媒体について図面を参照して説明する。
図１に示されるように、本実施形態に係る内視鏡システム１は、内視鏡２と、内視鏡２を保持し移動させる移動装置３と、ユーザによって操作される操作装置４と、操作装置４からの操作信号に基づいて移動装置３を制御する制御装置（内視鏡移動制御装置）５と、表示装置６とを備える。
本発明の第１実施形態に係る内視鏡システム１、内視鏡移動制御装置５、方法およびプログラムおよび記録媒体について図面を参照して説明する。
図１に示されるように、本実施形態に係る内視鏡システム１は、内視鏡２と、内視鏡２を保持し移動させる移動装置３と、ユーザによって操作される操作装置４と、操作装置４からの操作信号に基づいて移動装置３を制御する制御装置（内視鏡移動制御装置）５と、表示装置６とを備える。
【0014】
内視鏡２は、長尺かつ硬性の鏡筒部（挿入部）２ａと、鏡筒部２ａ内に配置された光学系（光学素子）２ｂと、鏡筒部２ａの基端に配置されたカメラヘッド２ｃとを有する硬性鏡である。また、内視鏡２は、鏡筒部２ａの径方向中心に沿って延びる長手軸Ａに対し、光学系２ｂにより所定の角度だけ傾けられた視軸（光軸）Ｂを有する斜視型の内視鏡２である。
【0015】
鏡筒部２ａはカメラヘッド２ｃに対し長手軸Ａ回りに回転可能に取り付けられている。鏡筒部２ａには操作環２ｄが固定されている。操作者がカメラヘッド２ｃを保持して操作環２ｄを長手軸Ａ回りに回転させることにより、カメラヘッド２ｃに対して鏡筒部２ａを長手軸Ａ回りに回転させることができる。あるいは、操作者は、操作環２ｄを保持してカメラヘッド２ｃを長手軸Ａ回りに回転させることによっても、カメラヘッド２ｃに対して鏡筒部２ａを長手軸Ａ回りに回転させることができる。
【0016】
カメラヘッド２ｃ内には、光学系２ｂにより集光された光を撮影する撮像素子２ｅが固定されている。撮像素子２ｅは、長手軸Ａに直交しかつ長手軸Ａが中心を通過するように配置された撮像面を備えている。撮像素子２ｅは、ＣＣＤ（Charge Coupled Device）イメージセンサまたはＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等のイメージセンサである。
【0017】
内視鏡２は、１以上の処置具７と共に体内に挿入され、１以上の処置具７を含む内視鏡画像（画像）Ｃ（図３参照。）を撮像素子２ｅによって取得し、制御装置５を経由して表示装置６に送信する。表示装置６は、液晶ディスプレイ、有機ＥＬディスプレイ等の任意のディスプレイである。術者は、表示装置６に表示される内視鏡画像Ｃを観察しながら処置具７を操作する。
【0018】
移動装置３は、複数、例えば、３つの駆動関節（関節）３Ｍと２つの受動関節３Ｐとを有する５自由度のロボットアームである。移動装置３は、例えば、水平面に設置されるベース３ａと、鉛直な第１軸線Ｊ１回りにベース３ａに対して回転駆動される第１リンク３ｂとを備える。また、移動装置３は、水平な第２軸線Ｊ２回りに第１リンク３ｂに対して回転駆動される第２リンク３ｃと、水平な第３軸線Ｊ３回りに第２リンク３ｃに対して回転駆動される第３リンク３ｄとを備える。さらに、移動装置３は、第３軸線Ｊ３に直交し、第１軸線Ｊ１を含む平面に沿って延びる第４軸線Ｊ４回りに第３リンク３ｄに対して回転自在に支持された第４リンク３ｅと、第４軸線Ｊ４に直交する第５軸線Ｊ５回りに第４リンク３ｅに対して回転自在に支持された第５リンク３ｆとを備える。
【0019】
移動装置３は、第５リンク３ｆの先端に、内視鏡２の鏡筒部２ａを長手軸Ａ回りに回転可能に保持するホルダ３ｇを備える。ホルダ３ｇは、鏡筒部２ａの長手軸Ａが第４軸線Ｊ４と第５軸線Ｊ５との交点を通過しかつ、第５軸線Ｊ５に直交するように鏡筒部２ａを保持している。移動装置３は５自由度であるが、ホルダ３ｇが鏡筒部２ａを長手軸Ａ回りに回転可能に保持しているので、全体として６自由度となり、内視鏡２を所望の姿勢および位置に配置することができる。
【0020】
移動装置３の３つの駆動関節３Ｍと２つの受動関節３Ｐとの連動した動作によって、内視鏡２が移動し、内視鏡２の位置および姿勢が３次元的に変更される。
内視鏡２の使用時には、図４に示すように、患者の腹壁Ｗに、腹壁Ｗを貫通して装着されたトロッカ８の貫通孔８ａに内視鏡２の鏡筒部２ａを挿入することにより、患者の腹腔内を観察する。トロッカ８は、腹壁Ｗ近傍のピボット点Ｘを支点として揺動可能であり、貫通孔８ａの内径は鏡筒部２ａの外径よりも若干大きく形成されている。貫通孔８ａと鏡筒部２ａとの間の隙間は、図示しない弾性材料からなるシール部材によって密封されている。
内視鏡２の使用時には、図４に示すように、患者の腹壁Ｗに、腹壁Ｗを貫通して装着されたトロッカ８の貫通孔８ａに内視鏡２の鏡筒部２ａを挿入することにより、患者の腹腔内を観察する。トロッカ８は、腹壁Ｗ近傍のピボット点Ｘを支点として揺動可能であり、貫通孔８ａの内径は鏡筒部２ａの外径よりも若干大きく形成されている。貫通孔８ａと鏡筒部２ａとの間の隙間は、図示しない弾性材料からなるシール部材によって密封されている。
【0021】
３つの駆動関節３Ｍを駆動することにより、第３リンク３ｄの先端の３次元的な位置が一義的に決定される。内視鏡２はトロッカ８によって移動方向を制限されている。このため、第３リンク３ｄの先端位置を変化させると、内視鏡２は、トロッカ８をピボット点Ｘ回りに揺動させあるいはトロッカ８の貫通孔８ａ内において鏡筒部２ａを長手軸Ａ方向に移動させ、それに倣うように、２つの受動関節３Ｐを受動的に回転させる。ホルダ３ｇに対する鏡筒部２ａの長手軸Ａ回りの回転は、操作者が手動で調節した状態に維持される。
【0022】
移動装置３の３つの駆動関節３Ｍには、各々の回転角度を検出する角度センサ３ｈが備えられている。角度センサ３ｈは、例えば、各駆動関節３Ｍに設けられたエンコーダ、ポテンショメータまたはホールセンサである。
【0023】
操作装置４は、キー、ジョイスティック、ボタンおよびタッチパネル等の入力デバイスを含むユーザインタフェース４ａを有する。操作者は、ユーザインタフェース４ａを操作することによって、内視鏡２を移動させるための指示を操作装置４に入力することができる。操作装置４は、ユーザインタフェース４ａの操作に基づく操作信号を制御装置５に送信する。
また、ユーザインタフェース４ａは、操作者からのトリガの入力を受け付けることができる。トリガは、後述するように、内視鏡２の回転量β，θを推定する処理を実行させるためのものである。
また、ユーザインタフェース４ａは、操作者からのトリガの入力を受け付けることができる。トリガは、後述するように、内視鏡２の回転量β，θを推定する処理を実行させるためのものである。
【0024】
図２に示されるように、制御装置５は、少なくとも１つのプロセッサ５ａと、メモリ５ｂと、記憶部５ｃと、入力インタフェース５ｄと、出力インタフェース５ｅとを備える。
制御装置５は、入力インタフェース５ｄおよび出力インタフェース５ｅを経由して周囲の内視鏡２、移動装置３、操作装置４および表示装置６と接続され、内視鏡画像Ｃ、駆動関節３Ｍの回転角度の情報および信号等をインタフェース５ｄ，５ｅを経由して送受信する。
制御装置５は、入力インタフェース５ｄおよび出力インタフェース５ｅを経由して周囲の内視鏡２、移動装置３、操作装置４および表示装置６と接続され、内視鏡画像Ｃ、駆動関節３Ｍの回転角度の情報および信号等をインタフェース５ｄ，５ｅを経由して送受信する。
【0025】
メモリ５ｂは、例えば、ＲＯＭ（read-only memory）またはＲＡＭ（Random Access Memory）領域を含む半導体メモリである。
記憶部５ｃは、コンピュータにより読み取り可能な非一時的な記録媒体であり、例えば、ハードディスクまたはフラッシュメモリ等の半導体メモリを含む不揮発性の記録媒体である。
プロセッサ５ａは、操作装置４からの操作信号に基づいて移動装置３を制御することによって、操作者がユーザインタフェース４ａに入力した指示に従って内視鏡２を移動させる。
記憶部５ｃは、コンピュータにより読み取り可能な非一時的な記録媒体であり、例えば、ハードディスクまたはフラッシュメモリ等の半導体メモリを含む不揮発性の記録媒体である。
プロセッサ５ａは、操作装置４からの操作信号に基づいて移動装置３を制御することによって、操作者がユーザインタフェース４ａに入力した指示に従って内視鏡２を移動させる。
【0026】
ここで、操作者は、ホルダ３ｇに取り付けられた内視鏡２を操作することにより、内視鏡２を２通りの方法で長手軸Ａ回りに回転させることができる。第１に、操作環２ｄの操作によって、カメラヘッド２ｃに対して鏡筒部２ａを長手軸Ａ回りに回転させ、カメラヘッド２ｃと鏡筒部２ａとの相対角度（第１の回転量）βを変化させることができる。第２に、鏡筒部２ａをホルダ３ｇに対して長手軸Ａ回りに回転させることにより、ホルダ３ｇに対する鏡筒部２ａの視軸Ｂの方向を表す角度（第２の回転量）θを変化させることができる。
【0027】
内視鏡２を移動装置３に装着し、表示装置６に表示された内視鏡画像Ｃを見ながら操作者が直感的に上下左右に内視鏡２を動かすには、移動装置３と内視鏡２との間の回転量β，θが把握されている必要がある。
本実施形態に係る内視鏡システム１は、プロセッサ５ａが、記憶部５ｃに記録されメモリ５ｂに読み出されたプログラム（内視鏡移動制御プログラム）を実行することにより、内視鏡２の回転量β，θを推定する。
本実施形態に係る内視鏡システム１は、プロセッサ５ａが、記憶部５ｃに記録されメモリ５ｂに読み出されたプログラム（内視鏡移動制御プログラム）を実行することにより、内視鏡２の回転量β，θを推定する。
【0028】
以下、本実施形態に係る内視鏡システム１による内視鏡移動制御方法について、図面を参照して説明する。
内視鏡２の回転量β，θの推定処理は、操作者がユーザインタフェース４ａに対してトリガを入力することにより開始される。
内視鏡２の回転量β，θの推定処理は、操作者がユーザインタフェース４ａに対してトリガを入力することにより開始される。
【0029】
プロセッサ５ａは、図５Ａに示すように、まず、トリガを受け付けたか否かを判定し（ステップＳ１）、受け付けた場合には、ループ回数Ｎβ，Ｎθをそれぞれ初期設定する（ステップＳ２）。次いで、プロセッサ５ａは、Ｎβ＝１であるか否かを判定し（ステップＳ３）、Ｎβ＝１である場合には、その時点で内視鏡２により取得された第１の内視鏡画像Ｃをメモリ５ｂに記憶する（ステップＳ４）。また、プロセッサ５ａは、人工知能による画像認識等の公知の方法を用いて第１の内視鏡画像Ｃ内の処置具（動体）７を認識し、処置具７の領域を処置具領域Ｄとしてメモリ５ｂに記憶する（ステップＳ５）。そして、プロセッサ５ａは、ループ回数Ｎβをインクリメントし（ステップＳ６）、ステップＳ３からの工程を繰り返す。
【0030】
プロセッサ５ａは、ステップＳ３において、Ｎβ≠１であると判定した場合には、内視鏡２を長手軸Ａに沿って一方向に移動させるように移動装置３を作動させる第１の信号を送信する（ステップＳ７）。移動装置３が第１の信号によって作動させられることによる内視鏡２の移動量が所定の閾値以上であるか否かを判定し（ステップＳ８）、閾値以上である場合には、処理を終了する。
【0031】
プロセッサ５ａは、内視鏡２の移動量が閾値よりも小さいと判定した場合には、その時点で内視鏡２により取得された第２の内視鏡画像Ｃをメモリ５ｂに記憶する（ステップＳ９）。また、プロセッサ５ａは、第２の内視鏡画像Ｃ内の処置具（動体）７を認識し、処置具７の領域を処置具領域Ｄとしてメモリ５ｂに記憶する（ステップＳ１０）。
【0032】
そして、第１の内視鏡画像Ｃと第２の内視鏡画像Ｃとを用いて、内視鏡画像Ｃ内の被写体Ｓの第１の移動方向Ｍ１を検出する（ステップＳ１１）。具体的には、プロセッサ５ａは、オプティカルフロー等の公知の方法を使用し、移動装置３による内視鏡２の移動前後に撮像された２つの内視鏡画像Ｃから、処置具領域Ｄを除いた他の領域Ｅにおける被写体Ｓの移動ベクトルｖｏｂｊを推定する。移動ベクトルｖｏｂｊは、図６に示すように、内視鏡画像Ｃ内の他の領域Ｅにおける複数の異なる特徴点の移動方向をそれぞれ示す２次元ベクトルである。
【0033】
次いで、プロセッサ５ａは、推定された移動ベクトルｖｏｂｊの大きさが閾値以上であるか否かを判定する（ステップＳ１２）。移動ベクトルｖｏｂｊの大きさの判定は、推定されたいずれかの移動ベクトルｖｏｂｊの大きさ、または、推定された移動ベクトルｖｏｂｊの大きさの平均値を用いて行われる。
【0034】
そして、プロセッサ５ａは、移動ベクトルｖｏｂｊの大きさが閾値よりも小さい場合にはステップＳ７からの工程を繰り返す。プロセッサ５ａは、移動ベクトルｖｏｂｊの大きさが閾値以上となった場合には、推定された移動ベクトルｖｏｂｊから内視鏡２の回転量βを推定する（ステップＳ１３）。
【0035】
内視鏡２の回転量βの推定は、以下のようにして行われる。
まず、プロセッサ５ａは、内視鏡画像Ｃ上の複数の特徴点について推定された複数の移動ベクトルｖｏｂｊの方向に沿う直線の交点（以下、消失点とも言う。）を算出する。具体的には、プロセッサ５ａは、図７に示すように、内視鏡画像Ｃの中心Ｏ（以下、画像中心という。）から半径Ｌの円周上に仮消失点Ｑ１～Ｑ１２を等間隔に複数配置し、各仮消失点Ｑ１～Ｑ１２の位置を記憶する。図７は、消失点Ｑ１～Ｑ１２を３０°間隔で配置した例である。
まず、プロセッサ５ａは、内視鏡画像Ｃ上の複数の特徴点について推定された複数の移動ベクトルｖｏｂｊの方向に沿う直線の交点（以下、消失点とも言う。）を算出する。具体的には、プロセッサ５ａは、図７に示すように、内視鏡画像Ｃの中心Ｏ（以下、画像中心という。）から半径Ｌの円周上に仮消失点Ｑ１～Ｑ１２を等間隔に複数配置し、各仮消失点Ｑ１～Ｑ１２の位置を記憶する。図７は、消失点Ｑ１～Ｑ１２を３０°間隔で配置した例である。
【0036】
半径Ｌは、画像中心Ｏから消失点までの距離であり、式（１）により算出できる。
ここで、図８に示すように、
Ｈは内視鏡画像Ｃの高さ（ピクセル）、
αは内視鏡２の長手軸Ａに対する視軸Ｂの角度、
ψは内視鏡２の画角
である。
例えば、角度αは３０°であってもよい。
【数1】
Ｈは内視鏡画像Ｃの高さ（ピクセル）、
αは内視鏡２の長手軸Ａに対する視軸Ｂの角度、
ψは内視鏡２の画角
である。
例えば、角度αは３０°であってもよい。
【0037】
プロセッサ５ａは、回転量β＝０°のときの消失点Ｑ１の位置と画像中心Ｏとを結ぶ直線を基準線Ｒとして、基準線Ｒを、例えば、画像中心Ｏ回りに３０°ずつ回転させた直線と半径Ｌの円との交点に仮消失点Ｑ１～Ｑ１２を設定する。これにより、例えば、基準線Ｒに対して３０°回転させた位置の仮消失点Ｑ２が消失点として選定されるときには、内視鏡２の回転量βはβ=３０°と推定できる。
【0038】
プロセッサ５ａは、各仮消失点Ｑｊに対して、各移動ベクトルｖｉと、各移動ベクトルｖｉの起点ｐｉと仮消失点Ｑｊとを結ぶベクトル（Ｑｊ－ｐｉ）との内積を算出する。図９に、仮消失点Ｑ２とベクトルｖ６の起点ｐ６とを結ぶベクトル（Ｑ２－ｐ６）および仮消失点Ｑ１２とベクトルｖ６の起点ｐ６とを結ぶベクトル（Ｑ１２－ｐ６）を例示する。そして、プロセッサは、例えば、式（２）に示すように、全ての移動ベクトルｖｉに対する内積の和を評価関数Ｕｊとして求め、評価関数Ｕｊが最小となる仮消失点Ｑｊを消失点として選定する。
【0039】
【0040】
次に、図５Ｂに示すように、プロセッサ５ａは、ループ回数Ｎθが、Ｎθ＝１であるか否かを判定する（ステップＳ１４）。Ｎθ＝１である場合には、その時点で内視鏡２により取得された第３の内視鏡画像Ｃをメモリ５ｂに記憶する（ステップＳ１５）。また、プロセッサ５ａは、ステップＳ５と同様にして第３の内視鏡画像Ｃ内の処置具（動体）７の領域を処置具領域Ｄとしてメモリ５ｂに記憶する（ステップＳ１６）。そして、プロセッサ５ａは、ループ回数Ｎθをインクリメントし（ステップＳ１７）、ステップＳ１４からの工程を繰り返す。
【0041】
ステップＳ１４において、プロセッサ５ａは、Ｎθ≠１であると判定した場合には、内視鏡２を長手軸Ａに直交する一方向に移動させるように移動装置３を作動させる第２の信号を送信する（ステップＳ１８）。プロセッサ５ａは、移動装置３が第２の信号によって作動させられることによる内視鏡２の移動量が所定の閾値以上であるか否かを判定し（ステップＳ１９）、閾値以上である場合には、回転量推定処理を終了する。
【0042】
プロセッサ５ａは、内視鏡２の移動量が閾値よりも小さい場合には、ステップＳ１３において推定された回転量βを用い、回転量θを所定値、例えば、０°とした場合の、第２の信号の送信による内視鏡画像Ｃ内の被写体Ｓの想定される移動ベクトルｖｓｙｓを算出する（ステップＳ２０）。図１０に、（β，θ）＝（－９０°，０°）の場合の移動ベクトルｖｓｙｓを例示する。
そして、プロセッサ５ａは、第２の信号による内視鏡２の移動後に取得された第４の内視鏡画像Ｃをメモリ５ｂに記憶する（ステップＳ２１）。また、プロセッサ５ａは、第４の内視鏡画像Ｃ内の処置具（動体）７を認識し、処置具７の領域を処置具領域Ｄとしてメモリ５ｂに記憶する（ステップＳ２２）。
そして、プロセッサ５ａは、第２の信号による内視鏡２の移動後に取得された第４の内視鏡画像Ｃをメモリ５ｂに記憶する（ステップＳ２１）。また、プロセッサ５ａは、第４の内視鏡画像Ｃ内の処置具（動体）７を認識し、処置具７の領域を処置具領域Ｄとしてメモリ５ｂに記憶する（ステップＳ２２）。
【0043】
そして、第３の内視鏡画像Ｃと第４の内視鏡画像Ｃとを用いて、内視鏡画像Ｃ内の被写体Ｓの第２の移動方向Ｍ２を検出する（ステップＳ２３）。具体的には、プロセッサ５ａは、オプティカルフロー等の公知の方法を使用し、移動装置３による内視鏡２の移動前後に撮像された２つの内視鏡画像Ｃから、処置具領域Ｄを除いた他の領域Ｅにおける被写体Ｓの移動ベクトルＶｒｅａｌを推定する。
【0044】
次いで、プロセッサ５ａは、推定された移動ベクトルｖｒｅａｌの大きさが閾値以上であるか否かを判定する（ステップＳ２４）。移動ベクトルｖｒｅａｌの大きさの判定は、推定されたいずれかの移動ベクトルｖｒｅａｌの大きさ、または、推定された移動ベクトルｖｒｅａｌの大きさの平均値を用いて行われる。
【0045】
そして、プロセッサ５ａは、移動ベクトルｖｒｅａｌの大きさが閾値よりも小さい場合にはステップＳ１８からの工程を繰り返す。移動ベクトルｖｒｅａｌの大きさが閾値以上となった場合には、プロセッサ５ａは、想定された移動ベクトルｖｓｙｓと推定された移動ベクトルｖｒｅａｌとのなす角度、図１０に示す例では１８０°を内視鏡２の回転量θとして推定し（ステップＳ２５）、処理を終了する。
【0046】
内視鏡２の回転量β，θが推定されると、プロセッサ５ａは、推定された回転量β，θを用いて、ホルダ座標系Σｒと内視鏡座標系Σｅとが相互に一致するように、ホルダ座標系Σｒを補正する。内視鏡座標系Σｅは、撮像素子２ｅに対して固定された座標系であり、ホルダ座標系Σｒは、ホルダ３ｇの先端に対して固定された座標系である。
【0047】
一例において、内視鏡座標系Σｅは、相互に直交するＸｅ軸、Ｙｅ軸およびＺｅ軸を有する直交座標系であり、ホルダ座標系Σｒは、相互に直交するＸｒ軸、Ｙｒ軸およびＺｒ軸を有する直交座標系である。Ｘｅ軸およびＸｒ軸は長手軸Ａと一致し、Ｙｅ軸およびＹｒ軸は、内視鏡画像Ｃの水平方向（左右方向）に平行であり、Ｚｅ軸およびＺｒ軸は内視鏡画像Ｃの鉛直方向（上下方向）に平行である。ホルダ座標系Σｒと内視鏡座標系Σｅとが相互に一致するとは、Ｘｅ軸およびＸｒ軸の方向が相互に一致し、Ｙｅ軸およびＹｒ軸の方向が相互に一致し、かつ、Ｚｅ軸およびＺｒ軸の方向が相互に一致することを意味する。
【0048】
ただし、内視鏡２が長手軸Ａ回りに回転量β，θだけ回転させられると、内視鏡座標系Σｅとホルダ座標系Σｒとの間にずれが生じる。このように内視鏡座標系Σｅがホルダ座標系Σｒと一致していない場合、表示装置６に表示される内視鏡画像Ｃを観察している操作者は、ユーザインタフェース４ａの操作によって内視鏡２を所望の方向に直感的にかつ正確に移動させることが難しい。
【0049】
プロセッサ５ａは、回転量β，θに基づいてホルダ座標系Σｒを補正することによって、ホルダ座標系Σｒを内視鏡座標系Σｅに一致させる。具体的には、プロセッサ５ａは、ホルダ座標系Σｒが内視鏡座標系Σｅに一致するように、回転量β，θに基づいて移動装置３のＤＨ（Denavit-Hartenberg）パラメータを補正する。
プロセッサ５ａは、補正されたホルダ座標系Σｒに基づいて移動装置３を制御する。
プロセッサ５ａは、補正されたホルダ座標系Σｒに基づいて移動装置３を制御する。
【0050】
このように、本実施形態によれば、操作者が手動によって調整する回転量β，θを推定し、推定された回転量β，θを用いてホルダ座標系Σｒを補正する。したがって、斜視鏡からなる内視鏡２であっても、操作者が内視鏡画像Ｃを観察しながら、ユーザインタフェース４ａの操作によって内視鏡２を所望の方向に直感的にかつ正確に移動させることができる。
【0051】
また、内視鏡２の回転量β，θを、それぞれ、移動装置３を作動させる前後に取得された２つ内視鏡画像Ｃから算出することができる。すなわち、回転量β，θを検出するためにセンサ等の機器の追加は不要であり、回転量β，θをセンサレスで推定することができる。
【0052】
内視鏡２の回転量β，θを検出するセンサ等の機器を移動装置３に追加すれば、回転量β，θの計測を容易に実現することができる。しかし、この場合には、既存の移動装置３を使用することができず、移動装置３の改良が必要である。また、移動装置３のサイズおよび重量が増大し、移動装置３が手術の邪魔になり得る。したがって、本実施形態によれば、移動装置３の改良が不要であると共に、移動装置３を容易に小型化することができる。
【0053】
また、本実施形態によれば、内視鏡画像Ｃの内、処置具領域Ｄを除いた他の領域Ｅが移動ベクトルｖｏｂｊの推定に使用される。これにより、内視鏡画像Ｃ内に動く処置具７が存在する場合においても、内視鏡２の移動方向を正確に表す高精度の移動ベクトルｖｏｂｊが推定される。このような高精度の移動ベクトルｖｏｂｊに基づいて内視鏡２の回転量β，θを算出し、ホルダ座標系Σｒを正確に補正することができる。さらに、正確に補正されたホルダ座標系Σｒに基づいて、操作者が操作装置４に入力した方向と正確に対応する方向に移動装置３によって内視鏡２を移動させることができる。
【0054】
（第１の変形例）
なお、本実施形態において、図１１に示されるように、処置具領域推定部５１が、処置具領域ＤにマージンＦを加えた領域を除いた他の領域Ｅ’に基づいて、被写体Ｓの移動方向を推定してもよい。
マージンＦは、処置具領域Ｄの輪郭に沿って延び処置具領域Ｄを囲む領域であり、例えば、所定の幅を有する帯状の領域である。
なお、本実施形態において、図１１に示されるように、処置具領域推定部５１が、処置具領域ＤにマージンＦを加えた領域を除いた他の領域Ｅ’に基づいて、被写体Ｓの移動方向を推定してもよい。
マージンＦは、処置具領域Ｄの輪郭に沿って延び処置具領域Ｄを囲む領域であり、例えば、所定の幅を有する帯状の領域である。
【0055】
処置具７の近傍において、被写体Ｓの移動が処置具７の動きに影響される可能性がある。例えば、処置具７に押し引きされることによって、処置具７の近傍において被写体Ｓが部分的に動くことがある。
処置具領域ＤにマージンＦを加えた領域を除外することによって、被写体Ｓの移動ベクトルｖｏｂｊ，ｖｒｅａｌの推定精度を向上し、内視鏡２の回転量β，θをさらに正確に推定することができる。
処置具領域ＤにマージンＦを加えた領域を除外することによって、被写体Ｓの移動ベクトルｖｏｂｊ，ｖｒｅａｌの推定精度を向上し、内視鏡２の回転量β，θをさらに正確に推定することができる。
【0056】
（第２の変形例）
また、本実施形態においては、回転量βに対応する複数の仮消失点Ｑｊを設定し、数２に示される評価関数Ｕｊによって消失点を選定した。この場合に、仮消失点を３０°毎に設定したが、さらに小さい角度毎に設定してもよい。これにより、より精度よく回転量βを推定することができる。
また、本実施形態においては、回転量βに対応する複数の仮消失点Ｑｊを設定し、数２に示される評価関数Ｕｊによって消失点を選定した。この場合に、仮消失点を３０°毎に設定したが、さらに小さい角度毎に設定してもよい。これにより、より精度よく回転量βを推定することができる。
【0057】
（第３の変形例）
また、回転量βに対応する複数の仮消失点Ｑｊを設定することに代えて、内視鏡画像Ｃ内の複数の特徴点の移動ベクトルｖｏｂｊに沿う複数の直線の関数を求め、図１２に示すように、これらの直線の交点を消失点として算出してもよい。そして、算出された交点と画像中心Ｏとを結ぶ直線の基準線Ｒに対する角度を回転量βとして算出してもよい。これにより、さらに精度よく回転量βを推定することができる。
また、回転量βに対応する複数の仮消失点Ｑｊを設定することに代えて、内視鏡画像Ｃ内の複数の特徴点の移動ベクトルｖｏｂｊに沿う複数の直線の関数を求め、図１２に示すように、これらの直線の交点を消失点として算出してもよい。そして、算出された交点と画像中心Ｏとを結ぶ直線の基準線Ｒに対する角度を回転量βとして算出してもよい。これにより、さらに精度よく回転量βを推定することができる。
【0058】
（第４の変形例）
また、上述したように、内視鏡２の鏡筒部２ａとトロッカ８の貫通孔８ａとの間には径方向に隙間が存在する。移動装置３が受動関節３Ｐを有する場合には、鏡筒部２ａを長手軸Ａ方向に移動させようとしても、隙間分だけ長手軸Ａに交差する方向に移動してしまうことが起こり得る。回転量βを推定するために、鏡筒部２ａを長手軸Ａ方向に移動させたときのオプティカルフローを利用しているので、鏡筒部２ａが長手軸Ａに交差する方向に移動してしまったのでは、消失点ひいては回転量βの推定精度が低下する。
また、上述したように、内視鏡２の鏡筒部２ａとトロッカ８の貫通孔８ａとの間には径方向に隙間が存在する。移動装置３が受動関節３Ｐを有する場合には、鏡筒部２ａを長手軸Ａ方向に移動させようとしても、隙間分だけ長手軸Ａに交差する方向に移動してしまうことが起こり得る。回転量βを推定するために、鏡筒部２ａを長手軸Ａ方向に移動させたときのオプティカルフローを利用しているので、鏡筒部２ａが長手軸Ａに交差する方向に移動してしまったのでは、消失点ひいては回転量βの推定精度が低下する。
【0059】
そこで、鏡筒部２ａとトロッカ８との間の隙間分よりも鏡筒部２ａを長手軸Ａ方向に十分に大きく（例えば、隙間が２～３ｍｍの場合、２０ｍｍ以上）移動させることが好ましい。これにより、隙間によって発生する移動ベクトルｖｏｂｊのずれ量の割合を低減し、結果として、回転量βの推定精度を向上することができる。
【0060】
（第５の変形例）
また、内視鏡２の鏡筒部２ａを所望の位置および姿勢に精度よく配置するには、６自由度の移動装置３が必要である。移動装置３としては、６自由度を有するロボットアームが一般的であるが、３自由度以上の移動装置を用いることができる。本実施形態においては、上述したように６自由度目のホルダ３ｇは、内視鏡２を長手軸Ａ回りに手動によって回転可能に保持している。このため、例えば、内視鏡２の姿勢によっては、内視鏡２の鏡筒部２ａを長手軸Ａに直交する方向に移動させると、内視鏡２全体が長手軸Ａ回りに回転する場合がある。この場合には、移動の前後において得られる内視鏡画像Ｃが回転し、被写体Ｓの移動方向を正しく算出することが難しくなる。
また、内視鏡２の鏡筒部２ａを所望の位置および姿勢に精度よく配置するには、６自由度の移動装置３が必要である。移動装置３としては、６自由度を有するロボットアームが一般的であるが、３自由度以上の移動装置を用いることができる。本実施形態においては、上述したように６自由度目のホルダ３ｇは、内視鏡２を長手軸Ａ回りに手動によって回転可能に保持している。このため、例えば、内視鏡２の姿勢によっては、内視鏡２の鏡筒部２ａを長手軸Ａに直交する方向に移動させると、内視鏡２全体が長手軸Ａ回りに回転する場合がある。この場合には、移動の前後において得られる内視鏡画像Ｃが回転し、被写体Ｓの移動方向を正しく算出することが難しくなる。
【0061】
そこで、図１３に示すように、プロセッサ５ａは、上述したステップＳ１４において、Ｎθ＝１ではないと判定された場合に、移動装置３を動作させるための移動装置３の先端の目標速度を設定する（ステップＳ２６）。そして、プロセッサ５ａは、設定された目標速度に基づいて、移動装置３が６自由度であると仮定して、逆運動学から各関節３Ｍ，３Ｐの角速度を算出し、算出された角速度を達成するための第２の信号を算出する（ステップＳ２７）。
【0062】
この場合には、実際には存在しない内視鏡２を長手軸Ａ回りに回転させる関節に対する第２の信号も算出される。このようにして算出された第２の信号が移動装置３に送信されると、移動装置３が６自由度である場合には、内視鏡２全体が長手軸Ａ回りに回転させられることにより内視鏡２の姿勢が補償されるが、本実施形態の移動装置３は長手軸Ａ回りの駆動関節を有しないので、補償はなされない。
【0063】
そこで、プロセッサ５ａは、移動装置３の作動後にステップＳ２１において記憶された内視鏡画像Ｃを、実際には存在しない長手軸Ａ回りの関節に対して算出された第２の信号に対応する回転角度だけ回転させる（ステップＳ２８）。これにより、内視鏡２により取得される内視鏡画像Ｃとしては、移動装置３が６自由度を有する場合と同じものを取得することができ、第２の信号の送信前後に取得された２つの内視鏡画像Ｃの長手軸Ａ回りの角度が一致するように、第２の信号の送信前後に取得された２つの内視鏡画像Ｃの少なくとも一方を画像処理によって回転させて、移動の前後における被写体Ｓの移動方向を正しく算出することができる。
【0064】
（第６の変形例）
また、上述したように、本実施形態においては、移動装置３の先端の２つの関節は、受動関節３Ｐであり、モータおよび角度センサを有しない。このため、３つの駆動関節３Ｍを駆動させると、内視鏡２の鏡筒部２ａがトロッカ８を揺動させ、トロッカ８から受ける反力によって、トロッカ８の貫通孔８ａに沿って移動させられ、それに倣って、受動関節３Ｐが受動的に作動する。
また、上述したように、本実施形態においては、移動装置３の先端の２つの関節は、受動関節３Ｐであり、モータおよび角度センサを有しない。このため、３つの駆動関節３Ｍを駆動させると、内視鏡２の鏡筒部２ａがトロッカ８を揺動させ、トロッカ８から受ける反力によって、トロッカ８の貫通孔８ａに沿って移動させられ、それに倣って、受動関節３Ｐが受動的に作動する。
【0065】
しかしながら、上述したように、トロッカ８の貫通孔８ａの内面と内視鏡２の鏡筒部２ａの外面との間に隙間が存在する。このため、図４に示すように、鏡筒部２ａがトロッカ８から反力を受けていない状態では、第１の信号送信によって内視鏡２を長手軸Ａ方向に移動させようとしても移動開始後、鏡筒部２ａは長手軸Ａ方向に交差する方向に移動してしまう場合がある。この場合には、正しい移動ベクトルｖｏｖｊが得られないので、内視鏡２の回転量βの推定精度が低下する。
【0066】
そこで、図１４に示すように、第１の内視鏡画像Ｃの取得前に、プロセッサ５ａが移動装置３に対して、第３の信号を送信し（ステップＳ３０）、鏡筒部２ａがトロッカ８から所定の閾値以上の反力を受ける位置まで内視鏡２を移動させてもよい。例えば、第３の信号の送信により、図１５に示すように、鏡筒部２ａの傾斜角度を変化させて、鏡筒部２ａと貫通孔８ａとの間の図示しないシール部材および／または腹壁Ｗを弾性変形させ、所定の閾値以上の反力を発生させればよい。この後に、ステップＳ３からの工程を実施することにより、回転量βを精度よく推定することができる。
【0067】
（第７の変形例）
また、移動装置３が受動関節３Ｐを有する場合には、内視鏡２の回転量θを推定する際にも不都合が生じる場合がある。すなわち、鏡筒部２ａとトロッカ８の貫通孔８ａとの間に隙間がある場合には、内視鏡２を長手軸Ａに直交する方向に真っ直ぐに移動させようとしても、受動関節３Ｐが隙間分だけ勝手に動いて、真っ直ぐに動かせない場合がある。
また、移動装置３が受動関節３Ｐを有する場合には、内視鏡２の回転量θを推定する際にも不都合が生じる場合がある。すなわち、鏡筒部２ａとトロッカ８の貫通孔８ａとの間に隙間がある場合には、内視鏡２を長手軸Ａに直交する方向に真っ直ぐに移動させようとしても、受動関節３Ｐが隙間分だけ勝手に動いて、真っ直ぐに動かせない場合がある。
【0068】
そこで、図１６に示すように、上述したステップＳ１４において、Ｎθ＝１ではないと判定された場合に、プロセッサ５ａが、内視鏡２を真っ直ぐに動かすために受動関節３Ｐが動くこととなる内視鏡２の移動方向を実現するための第２の信号を算出する（ステップＳ３１）。そして、プロセッサ５ａは、このようにして算出された第２の信号を移動装置３に送信してもよい。
受動関節３Ｐが動く方向に内視鏡２を移動させるので、内視鏡２を長手軸Ａに直交する方向に真っ直ぐに移動させることができ、回転量θの推定精度を向上することができる。
受動関節３Ｐが動く方向に内視鏡２を移動させるので、内視鏡２を長手軸Ａに直交する方向に真っ直ぐに移動させることができ、回転量θの推定精度を向上することができる。
【0069】
（第８の変形例）
また、本実施形態においては、ステップＳ２０において、想定される移動ベクトルｖｓｙｓを算出し、ステップＳ２５において、移動ベクトルｖｓｙｓと推定される移動ベクトルｖｒｅａｌとのなす角度を内視鏡２の回転量θとして推定した。これに代えて、図１７に示すように、プロセッサ５ａが、複数の回転量θについてシミュレーションを行って、内視鏡画像Ｃ上の被写体Ｓの移動ベクトルを算出し、実際の移動ベクトルｖｒｅａｌと移動方向が一致するシミュレーションにおいて使用した回転量θを推定結果として採用してもよい。
また、本実施形態においては、ステップＳ２０において、想定される移動ベクトルｖｓｙｓを算出し、ステップＳ２５において、移動ベクトルｖｓｙｓと推定される移動ベクトルｖｒｅａｌとのなす角度を内視鏡２の回転量θとして推定した。これに代えて、図１７に示すように、プロセッサ５ａが、複数の回転量θについてシミュレーションを行って、内視鏡画像Ｃ上の被写体Ｓの移動ベクトルを算出し、実際の移動ベクトルｖｒｅａｌと移動方向が一致するシミュレーションにおいて使用した回転量θを推定結果として採用してもよい。
【0070】
すなわち、まず、プロセッサ５ａは、ステップＳ１５，Ｓ１６において、第１の内視鏡画像Ｃおよび処置具領域Ｄを記憶した時点での移動装置３の各駆動関節３Ｍの角度を記憶する（ステップＳ３２）。そして、プロセッサ５ａは、十分な大きさの実際の移動ベクトルｖｒｅａｌが算出された時点で、再度、移動装置３の各駆動関節３Ｍの角度を記憶する（ステップＳ３３）。その後、プロセッサ５ａは、回転量θを変化させたシミュレーションにより、それぞれ被写体Ｓの移動ベクトルｖｓｉｍｕを算出する（ステップＳ３４）。そして、プロセッサ５ａは、実際の移動ベクトルｖｒｅａｌに移動方向が一致する移動ベクトルｖｓｉｍｕが算出されたシミュレーションを選定し、そのシミュレーションにおいて使用された回転量θを、推定値として採用する（ステップＳ３５）。
【0071】
シミュレーションにおいては、ステップＳ３２，Ｓ３３においてそれぞれ記憶した各関節３Ｍの角度、ステップＳ１３において推定した回転量β、各リンク３ｂ，３ｃ，３ｄの長さおよび内視鏡２の先端から被写体Ｓまでの距離を固定値として用いる。そして、プロセッサ５ａは、回転量θをパラメータとして、被写体Ｓの移動ベクトルｖｓｉｍｕを算出する複数のシミュレーションを行う。
【0072】
本実施形態によれば、移動の前後における移動装置の各駆動関節３Ｍの実際の角度を用いてシミュレーションを行うので、移動装置が５自由度であること、および受動関節３Ｐを有することによる内視鏡２の姿勢変動を加味して移動ベクトルｖｓｉｍｕを算出できる。したがって、内視鏡２の先端が長手軸Ａに直交する方向に真っ直ぐに移動することを前提として算出される第１実施形態の移動ベクトルｖｓｙｓと比較して、移動ベクトルｖｓｉｍｕを精度よく算出でき、回転量θの推定精度を向上することができる。
【0073】
また、第６～第８の変形例を個別に実施する場合について説明したが、これに代えて、これらの少なくとも２つを組み合わせて実施してもよい。
【0074】
（第９の変形例）
また、上述したようにトロッカ８を経由して内視鏡２を挿入する場合に、回転量βの推定のために内視鏡２を長手軸Ａに沿って前進させ過ぎると、内視鏡２の先端が腹腔内の被写体Ｓに接触することが考えられる。一方、内視鏡２を長手軸Ａに沿って後退させ過ぎると、内視鏡２の先端がトロッカ８内に入ってしまい、十分なオプティカルフローが得られないことが考えられる。
また、上述したようにトロッカ８を経由して内視鏡２を挿入する場合に、回転量βの推定のために内視鏡２を長手軸Ａに沿って前進させ過ぎると、内視鏡２の先端が腹腔内の被写体Ｓに接触することが考えられる。一方、内視鏡２を長手軸Ａに沿って後退させ過ぎると、内視鏡２の先端がトロッカ８内に入ってしまい、十分なオプティカルフローが得られないことが考えられる。
【0075】
そこで、操作者が、予め、内視鏡画像Ｃを確認しながら移動装置３を動作させて、図１８に示すように、先端が体腔内の被写体Ｓに接触しない位置および姿勢に内視鏡２を移動させ、その時の内視鏡２の先端の３次元位置を登録点Ｔとして登録しておく。そして、回転量βの推定処理は、登録点Ｔに内視鏡２の先端を配置した状態から、内視鏡２を長手軸Ａに沿って後退させる方向に移動させることにより実施すればよい。
【0076】
具体的には、図１９に示すように、プロセッサ５ａは、内視鏡２の先端の３次元位置を登録点Ｔとして登録する（ステップＳ３６）。登録点Ｔは１個でもよいし複数でもよい。図２０に示すように、複数の登録点Ｔを登録する場合、プロセッサ５ａは、登録を終了するか否かを判定し（ステップＳ３７）、任意の回数だけステップＳ３６の工程を繰り返す。
【0077】
そして、内視鏡２の先端が任意の位置に配置されている状態で、回転量β，θの推定処理が開始されるときには、図２１に示すように、プロセッサ５ａは、内視鏡２の先端とピボット点Ｘとの距離Ｌ１を算出し（ステップＳ３８）する。そして、プロセッサ５ａは、距離Ｌ１が閾値以下であるか否かを判定し（ステップＳ３９）、距離Ｌ１が閾値よりも大きい場合には、ステップＳ２からの工程を実施する。この場合に、ステップＳ７において送信される第１の信号による移動装置３の動作方向は、内視鏡２を長手軸Ａに沿って前進させる方向または後退させる方向のいずれであってもよい。
【0078】
ステップＳ３９において、距離Ｌ１が閾値以下であると判定された場合には、プロセッサ５ａは、全ての登録点Ｔについて、内視鏡２の先端と登録点Ｔとの距離Ｌ２を算出する（ステップＳ４０）。そして、プロセッサ５ａは、算出された距離Ｌ２が最も小さい登録点Ｔに内視鏡２の先端を移動させ（ステップＳ４１）、その後に、ステップＳ２からの工程を実施する。この場合には、ステップＳ７において送信される第１の信号により移動装置３の動作方向は、内視鏡２を長手軸Ａに沿って後退させる方向に限られる。
【0079】
このように、本実施形態によれば、回転量βの推定処理において、トロッカ８内に入ってしまう不都合の発生を防止して、効率よく回転量βを推定することができる。特に、登録点Ｔを登録しておくだけで、推定開始時における内視鏡２の先端位置に関わらず、推定処理を実施できる。したがって、操作者が毎回、距離Ｌ１が閾値よりも大きく確保されている位置まで、手動で内視鏡２を動かす手間をなくすことができるという利点がある。
【0080】
また、移動装置３の作動によって内視鏡２の先端を登録点Ｔに移動させる場合に、プロセッサ５ａは内視鏡２の先端を以下の通りに移動させることが好ましい。まず、内視鏡２の先端とピボット点Ｘとの距離Ｌ１が一定距離以下となるまで、内視鏡２を長手軸Ａに沿って後退させる。次いで、内視鏡２の長手軸Ａが、移動させたい登録点Ｔとピボット点Ｘとを結ぶ直線と平行となるように内視鏡２の姿勢を調整する。最後に、内視鏡２の先端が登録点Ｔに対して所定の閾値以下の距離となるまで、内視鏡２を長手軸Ａに沿って移動させる。これにより、回転量βの推定処理の開始時における内視鏡２の先端と、移動させたい登録点Ｔとの間に組織、処置具等の障害物が存在しても、障害物に接触させることなく、内視鏡２の先端を登録点Ｔまで移動させることができる。
【0081】
また、本実施形態においては、３つの駆動関節３Ｍと２つの受動関節３Ｐとを備える移動装置３を例示した。これに代えて、５つ以上の駆動関節３Ｍを有する移動装置３を採用してもよい。これにより、内視鏡２の位置および姿勢をより精度よく制御することができる。しかしながら、駆動関節３Ｍはモータおよび角度センサを必要とするため、移動装置３が大型化する。したがって、本実施形態によれば、内視鏡２の位置および姿勢を達成可能な最低限の駆動関節３Ｍを備えることにより、移動装置３を小型化して、移動装置３が手術の邪魔になるのを防止することができる。
【0082】
また、本実施形態においては、カメラヘッド２ｃ内の撮像素子２ｅが、鏡筒部２ａの長手軸Ａに直交しかつ長手軸Ａが撮像面の中心を通るように配置されていることとした。これに代えて、カメラヘッド２ｃ内において、ミラーやプリズム等の光学素子２ｂによって光軸Ｂを傾ける場合には、撮像素子２ｅは、長手軸Ａに対して傾けられた光軸Ｂに直交しかつその光軸Ｂが撮像面の中心を通るように配置されてもよい。
【0083】
（第２実施形態）
次に、本発明の第２実施形態に係る内視鏡システム１、内視鏡移動制御装置５、方法およびプログラムおよび記録媒体について説明する。本実施形態において、第１実施形態と異なる点について説明し、第１実施形態と共通の構成については同一の符号を付して説明を省略する。
次に、本発明の第２実施形態に係る内視鏡システム１、内視鏡移動制御装置５、方法およびプログラムおよび記録媒体について説明する。本実施形態において、第１実施形態と異なる点について説明し、第１実施形態と共通の構成については同一の符号を付して説明を省略する。
【0084】
本実施形態に係る内視鏡システム１は、内視鏡２が、鏡筒部２ａに設けられた視軸Ｂを傾ける光学素子２ｂに代えて、図２２および図２３に示すように、鏡筒部２ａの先端に２自由度の湾曲関節２ｆを有する点において、第１実施形態と相違する。湾曲関節２ｆが２自由度を有するので、光学素子２ｂによる視軸Ｂの傾き方向を長手軸Ａ回りに回転させるための操作環２ｄは存在しない。
【0085】
本実施形態の説明において、図２２に示すように、湾曲関節２ｆの湾曲による鏡筒部２ａの長手軸Ａに対する視軸Ｂの傾き角度を回転量γとし、図２３に示すように、長手軸Ａを中心とした湾曲関節２ｆの湾曲方向を示す角度を回転量δとする。これらの回転量γ，δによって、内視鏡２の湾曲関節２ｆの２自由度が定義される。また、回転量θは、第１実施形態と同様に、内視鏡２の鏡筒部２ａのホルダ３ｇへの取付角度であり、操作者が移動装置３を介することなく手動で任意に変更することができる。
【0086】
本実施形態に係る内視鏡システム１は、プロセッサ５ａが、記憶部５ｃに記録されメモリ５ｂに読み出されたプログラム（内視鏡移動制御プログラム）を実行することにより、内視鏡２の回転量γ，δ，θを推定する。
【0087】
以下、本実施形態に係る内視鏡システム１による内視鏡移動制御方法について、図面を参照して説明する。
図２４に示すように、本実施形態に係る内視鏡移動制御方法は、ステップＳ４２，Ｓ４３，Ｓ４４において、ループ回数Ｎβに代えてループ回数Ｎγδを用いる点で相違するが、ステップＳ１２までの工程は、第１実施形態と同様に行う。
図２４に示すように、本実施形態に係る内視鏡移動制御方法は、ステップＳ４２，Ｓ４３，Ｓ４４において、ループ回数Ｎβに代えてループ回数Ｎγδを用いる点で相違するが、ステップＳ１２までの工程は、第１実施形態と同様に行う。
【0088】
本実施形態においては、回転量γ，δを推定する（ステップＳ４５）において第１実施形態と相違している。
回転量γは、図２２に示される位置関係において、θ＝０°とし、消失点と画像中心Ｏとの距離Ｌを用いて、式（３）によって求めることができる。
回転量γは、図２２に示される位置関係において、θ＝０°とし、消失点と画像中心Ｏとの距離Ｌを用いて、式（３）によって求めることができる。
【数3】
【0089】
ここで、距離Ｌを以下の通りに求める。
まず、図２５に示すように、ステップＳ１１において算出された内視鏡画像Ｃ上の２以上の特徴点の移動ベクトルｖｏｂｊを用いて、各ベクトルの方向を示す直線の方程式を求め、これらの直線の方程式から、直線の交点を消失点として求める。これにより、画像中心Ｏから消失点までの距離Ｌが求められる。
まず、図２５に示すように、ステップＳ１１において算出された内視鏡画像Ｃ上の２以上の特徴点の移動ベクトルｖｏｂｊを用いて、各ベクトルの方向を示す直線の方程式を求め、これらの直線の方程式から、直線の交点を消失点として求める。これにより、画像中心Ｏから消失点までの距離Ｌが求められる。
【0090】
求められた距離Ｌを式（３）に代入することにより、回転量γを推定することができる。また、算出された消失点と画像中心Ｏとを結ぶ直線の基準線Ｒに対する角度を回転量δとして推定することができる。また、回転量θは、第１実施形態と同様にして推定することができる。
【0091】
このように、本実施形態によれば、操作者が手動によって調整する内視鏡２の湾曲関節２ｆの２自由度の回転量γ，δおよび手動によって調整する内視鏡２の取付角度である回転量θを推定し、推定された回転量γ，δ，θを用いてホルダ座標系Σｒを補正する。したがって、湾曲関節２ｆを有する内視鏡２であっても、操作者が内視鏡画像Ｃを観察しながら、ユーザインタフェース４ａの操作によって内視鏡２を所望の方向に直感的にかつ正確に移動させることができる。
【符号の説明】
【0092】
１ 内視鏡システム
２ 内視鏡
２ａ 鏡筒部（挿入部）
２ｂ 光学系（光学素子）
２ｃ カメラヘッド
２ｄ 操作環
２ｅ 撮像素子
３ 移動装置
３Ｍ 駆動関節（関節）
３Ｐ 受動関節
５ 制御装置（内視鏡移動制御装置）
５ａ プロセッサ
８ トロッカ
Ｓ 被写体
Ａ 長手軸
Ｂ 光軸
Ｍ１ 第１の移動方向
Ｍ２ 第２の移動方向
β 第１の回転量
θ 第２の回転量
２ 内視鏡
２ａ 鏡筒部（挿入部）
２ｂ 光学系（光学素子）
２ｃ カメラヘッド
２ｄ 操作環
２ｅ 撮像素子
３ 移動装置
３Ｍ 駆動関節（関節）
３Ｐ 受動関節
５ 制御装置（内視鏡移動制御装置）
５ａ プロセッサ
８ トロッカ
Ｓ 被写体
Ａ 長手軸
Ｂ 光軸
Ｍ１ 第１の移動方向
Ｍ２ 第２の移動方向
β 第１の回転量
θ 第２の回転量
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】