特許 7600987 内視鏡手術システム、画像処理装置、および画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-09

(45)【発行日】2024-12-17

(54)【発明の名称】内視鏡手術システム、画像処理装置、および画像処理方法

(51)【国際特許分類】

   A61B 1/045 20060101AFI20241210BHJP

【ＦＩ】

A61B1/045 610

A61B1/045 618

【請求項の数】 10

(21)【出願番号】P 2021536920

(86)(22)【出願日】2020-07-15

(86)【国際出願番号】 JP2020027510

(87)【国際公開番号】W WO2021020132

(87)【国際公開日】2021-02-04

【審査請求日】2023-05-25

(31)【優先権主張番号】P 2019138534

(32)【優先日】2019-07-29

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】100121131

【弁理士】

【氏名又は名称】西川 孝

(74)【代理人】

【氏名又は名称】稲本 義雄

(74)【代理人】

【識別番号】100168686

【弁理士】

【氏名又は名称】三浦 勇介

(72)【発明者】

【氏名】中村 幸弘

【審査官】渡戸 正義

(56)【参考文献】

【文献】国際公開第２０１８／１６８２６１（ＷＯ，Ａ１）

【文献】国際公開第２０１９／０１３２１７（ＷＯ，Ａ１）

【文献】国際公開第２００５／０７７２５３（ＷＯ，Ａ１）

【文献】特開２０１６－００００６５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １／００ － １／３２

Ｇ０６Ｔ ７／００ － ７／９０

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

内視鏡により撮像された画像に基づいて撮像時の動き成分を推定して、前記動き成分が前記画像の全体に対する動き成分であることの度合いを示す信頼度を設定する動き推定部と、
前記画像に対してブレを補正する補正処理を行う際に用いられる補正量を、前記信頼度に従って制御する補正量制御部と、
前記画像の局所の動きを示すローカル動きベクトルに基づいて、複数の前記ローカル動きベクトルのノルムおよび角度を算出し、前記ローカル動きベクトル群のノルム標準偏差、および、前記ローカル動きベクトル群の角度標準偏差を算出する演算部と
を備え、
前記動き推定部は、
前記ノルム標準偏差を縦軸とし、前記角度標準偏差を横軸として、所定の閾値により表される閾値曲線を参照し、
前記画像から求められた前記ノルム標準偏差および前記角度標準偏差が、前記閾値曲線未満となる領域にある場合には、前記画像に単一動き成分が含まれていると推定して、前記信頼度として第１の値を設定し、
前記画像から求められた前記ノルム標準偏差および前記角度標準偏差が、前記閾値曲線以上となる領域にある場合には、前記画像に複数動き成分が含まれていると推定して、前記信頼度として第２の値を設定する
、または、
前記ノルム標準偏差を縦軸とし、前記角度標準偏差を横軸として、前記閾値により表される第１の閾値曲線および第２の閾値曲線を参照し、
前記画像から求められた前記ノルム標準偏差および前記角度標準偏差が、前記第１の閾値曲線未満となる領域にある場合には、前記画像に単一動き成分が含まれていると推定して、前記信頼度として第１の値を設定し、
前記画像から求められた前記ノルム標準偏差および前記角度標準偏差が、前記第１の閾値曲線以上となり、かつ、前記第２の閾値曲線以下となる領域にある場合には、前記信頼度として前記第１の値から第２の値までの値を設定し、
前記画像から求められた前記ノルム標準偏差および前記角度標準偏差が、前記第２の閾値曲線より大きくなる領域にある場合には、前記画像に複数動き成分が含まれていると推定して、前記信頼度として前記第２の値を設定する
内視鏡手術システム。

【請求項2】

前記動き推定部は、前記動き成分が単一の大きさおよび方向で多く占められている単一動き成分、または、前記動き成分が複数の異なる大きさおよび方向で多く占められている複数動き成分のどちらが前記画像に含まれているかを推定する
請求項１に記載の内視鏡手術システム。

【請求項3】

前記動き推定部は、前記画像に単一動き成分が含まれていると推定した場合には、前記信頼度として第１の値を設定し、前記画像に複数動き成分が含まれていると推定した場合には、前記信頼度として第２の値を設定する
請求項２に記載の内視鏡手術システム。

【請求項4】

前記第１の値は1.0であり、
前記第２の値は0.0である
請求項３に記載の内視鏡手術システム。

【請求項5】

前記補正量制御部は、前記動き推定部から順次供給される前記信頼度を蓄積して、時間方向に平滑化された前記信頼度を用いて前記補正量を制御する
請求項１に記載の内視鏡手術システム。

【請求項6】

前記画像において特徴となる個所を示す点となる特徴点を抽出する特徴点抽出部と、
前記特徴点抽出部により検出された複数の前記特徴点の動きに基づいて、前記ローカル動きベクトルを検出するローカル動きベクトル検出部と
をさらに備える請求項１に記載の内視鏡手術システム。

【請求項7】

複数の前記ローカル動きベクトルに基づいて、前記画像の全体の動きを示すグローバル動き量を推定するグローバル動き量推定部
をさらに備え、
前記補正量制御部は、前記グローバル動き量に基づいて前記補正量を求める
請求項６に記載の内視鏡手術システム。

【請求項8】

前記補正量制御部により制御された前記補正量に従って、前記画像に対する前記補正処理を施す補正処理部
をさらに備える請求項１に記載の内視鏡手術システム。

【請求項9】

内視鏡により撮像された画像に基づいて撮像時の動き成分を推定して、前記動き成分が前記画像の全体に対する動き成分であることの度合いを示す信頼度を設定する動き推定部と、
前記画像に対してブレを補正する補正処理を行う際に用いられる補正量を、前記信頼度に従って制御する補正量制御部と、
前記画像の局所の動きを示すローカル動きベクトルに基づいて、複数の前記ローカル動きベクトルのノルムおよび角度を算出し、前記ローカル動きベクトル群のノルム標準偏差、および、前記ローカル動きベクトル群の角度標準偏差を算出する演算部と
を備え、
前記動き推定部は、
前記ノルム標準偏差を縦軸とし、前記角度標準偏差を横軸として、所定の閾値により表される閾値曲線を参照し、
前記画像から求められた前記ノルム標準偏差および前記角度標準偏差が、前記閾値曲線未満となる領域にある場合には、前記画像に単一動き成分が含まれていると推定して、前記信頼度として第１の値を設定し、
前記画像から求められた前記ノルム標準偏差および前記角度標準偏差が、前記閾値曲線以上となる領域にある場合には、前記画像に複数動き成分が含まれていると推定して、前記信頼度として第２の値を設定する
、または、
前記ノルム標準偏差を縦軸とし、前記角度標準偏差を横軸として、前記閾値により表される第１の閾値曲線および第２の閾値曲線を参照し、
前記画像から求められた前記ノルム標準偏差および前記角度標準偏差が、前記第１の閾値曲線未満となる領域にある場合には、前記画像に単一動き成分が含まれていると推定して、前記信頼度として第１の値を設定し、
前記画像から求められた前記ノルム標準偏差および前記角度標準偏差が、前記第１の閾値曲線以上となり、かつ、前記第２の閾値曲線以下となる領域にある場合には、前記信頼度として前記第１の値から第２の値までの値を設定し、
前記画像から求められた前記ノルム標準偏差および前記角度標準偏差が、前記第２の閾値曲線より大きくなる領域にある場合には、前記画像に複数動き成分が含まれていると推定して、前記信頼度として前記第２の値を設定する
画像処理装置。

【請求項10】

画像処理装置が、
内視鏡により撮像された画像に基づいて撮像時の動き成分を推定して、前記動き成分が前記画像の全体に対する動き成分であることの度合いを示す信頼度を設定することと、
前記画像に対してブレを補正する補正処理を行う際に用いられる補正量を、前記信頼度に従って制御することと、
前記画像の局所の動きを示すローカル動きベクトルに基づいて、複数の前記ローカル動きベクトルのノルムおよび角度を算出し、前記ローカル動きベクトル群のノルム標準偏差、および、前記ローカル動きベクトル群の角度標準偏差を算出することと
を含み、
前記ノルム標準偏差を縦軸とし、前記角度標準偏差を横軸として、所定の閾値により表される閾値曲線を参照し、
前記画像から求められた前記ノルム標準偏差および前記角度標準偏差が、前記閾値曲線未満となる領域にある場合には、前記画像に単一動き成分が含まれていると推定して、前記信頼度として第１の値を設定し、
前記画像から求められた前記ノルム標準偏差および前記角度標準偏差が、前記閾値曲線以上となる領域にある場合には、前記画像に複数動き成分が含まれていると推定して、前記信頼度として第２の値を設定する
、または、
前記ノルム標準偏差を縦軸とし、前記角度標準偏差を横軸として、前記閾値により表される第１の閾値曲線および第２の閾値曲線を参照し、
前記画像から求められた前記ノルム標準偏差および前記角度標準偏差が、前記第１の閾値曲線未満となる領域にある場合には、前記画像に単一動き成分が含まれていると推定して、前記信頼度として第１の値を設定し、
前記画像から求められた前記ノルム標準偏差および前記角度標準偏差が、前記第１の閾値曲線以上となり、かつ、前記第２の閾値曲線以下となる領域にある場合には、前記信頼度として前記第１の値から第２の値までの値を設定し、
前記画像から求められた前記ノルム標準偏差および前記角度標準偏差が、前記第２の閾値曲線より大きくなる領域にある場合には、前記画像に複数動き成分が含まれていると推定して、前記信頼度として前記第２の値を設定する
画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、内視鏡手術システム、画像処理装置、および画像処理方法に関し、特に、より良好に内視鏡による観察ができるようにした内視鏡手術システム、画像処理装置、および画像処理方法に関する。

【背景技術】

【0002】

近年、医療現場においては、従来の開腹手術に代わって、内視鏡により患部を観察しながら外科手術を行うことができる内視鏡手術システムが利用されている。

【0003】

例えば、特許文献１には、撮像部の撮像視野を動かす操作に応じた撮像視野の動き情報と、時系列に取得された複数の画像間の動きとに応じたブレ補正処理を行う内視鏡装置が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１２－２３９６４４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上述の特許文献１で開示されている内視鏡装置では、例えば、撮像部の動き成分と、撮像部以外の医療器具などの動き成分との比率が近い場合には、画像に含まれる動き成分を正しく推定することは困難であった。そのため、誤って推定された動きに基づいてブレ補正処理が行われてしまう結果、ブレ補正処理後の画像に歪みが発生することが懸念され、そのような画像では、良好な観察ができないと想定される。

【0006】

本開示は、このような状況に鑑みてなされたものであり、より良好に内視鏡による観察ができるようにするものである。

【課題を解決するための手段】

【0007】

本開示の一側面の内視鏡手術システムおよび画像処理装置は、内視鏡により撮像された画像に基づいて撮像時の動き成分を推定して、前記動き成分が前記画像の全体に対する動き成分であることの度合いを示す信頼度を設定する動き推定部と、前記画像に対してブレを補正する補正処理を行う際に用いられる補正量を、前記信頼度に従って制御する補正量制御部と、前記画像の局所の動きを示すローカル動きベクトルに基づいて、複数の前記ローカル動きベクトルのノルムおよび角度を算出し、前記ローカル動きベクトル群のノルム標準偏差、および、前記ローカル動きベクトル群の角度標準偏差を算出する演算部とを備える。そして、前記動き推定部は、前記ノルム標準偏差を縦軸とし、前記角度標準偏差を横軸として、所定の閾値により表される閾値曲線を参照し、前記画像から求められた前記ノルム標準偏差および前記角度標準偏差が、前記閾値曲線未満となる領域にある場合には、前記画像に単一動き成分が含まれていると推定して、前記信頼度として第１の値を設定し、前記画像から求められた前記ノルム標準偏差および前記角度標準偏差が、前記閾値曲線以上となる領域にある場合には、前記画像に複数動き成分が含まれていると推定して、前記信頼度として第２の値を設定する。または、前記ノルム標準偏差を縦軸とし、前記角度標準偏差を横軸として、前記閾値により表される第１の閾値曲線および第２の閾値曲線を参照し、前記画像から求められた前記ノルム標準偏差および前記角度標準偏差が、前記第１の閾値曲線未満となる領域にある場合には、前記画像に単一動き成分が含まれていると推定して、前記信頼度として第１の値を設定し、前記画像から求められた前記ノルム標準偏差および前記角度標準偏差が、前記第１の閾値曲線以上となり、かつ、前記第２の閾値曲線以下となる領域にある場合には、前記信頼度として前記第１の値から第２の値までの値を設定し、前記画像から求められた前記ノルム標準偏差および前記角度標準偏差が、前記第２の閾値曲線より大きくなる領域にある場合には、前記画像に複数動き成分が含まれていると推定して、前記信頼度として前記第２の値を設定する。

【0008】

本開示の一側面の画像処理方法は、画像処理装置が、内視鏡により撮像された画像に基づいて撮像時の動き成分を推定して、前記動き成分が前記画像の全体に対する動き成分であることの度合いを示す信頼度を設定することと、前記画像に対してブレを補正する補正処理を行う際に用いられる補正量を、前記信頼度に従って制御することと、前記画像の局所の動きを示すローカル動きベクトルに基づいて、複数の前記ローカル動きベクトルのノルムおよび角度を算出し、前記ローカル動きベクトル群のノルム標準偏差、および、前記ローカル動きベクトル群の角度標準偏差を算出することとを含む。そして、前記ノルム標準偏差を縦軸とし、前記角度標準偏差を横軸として、所定の閾値により表される閾値曲線を参照し、前記画像から求められた前記ノルム標準偏差および前記角度標準偏差が、前記閾値曲線未満となる領域にある場合には、前記画像に単一動き成分が含まれていると推定して、前記信頼度として第１の値を設定し、前記画像から求められた前記ノルム標準偏差および前記角度標準偏差が、前記閾値曲線以上となる領域にある場合には、前記画像に複数動き成分が含まれていると推定して、前記信頼度として第２の値を設定する。または、前記ノルム標準偏差を縦軸とし、前記角度標準偏差を横軸として、前記閾値により表される第１の閾値曲線および第２の閾値曲線を参照し、前記画像から求められた前記ノルム標準偏差および前記角度標準偏差が、前記第１の閾値曲線未満となる領域にある場合には、前記画像に単一動き成分が含まれていると推定して、前記信頼度として第１の値を設定し、前記画像から求められた前記ノルム標準偏差および前記角度標準偏差が、前記第１の閾値曲線以上となり、かつ、前記第２の閾値曲線以下となる領域にある場合には、前記信頼度として前記第１の値から第２の値までの値を設定し、前記画像から求められた前記ノルム標準偏差および前記角度標準偏差が、前記第２の閾値曲線より大きくなる領域にある場合には、前記画像に複数動き成分が含まれていると推定して、前記信頼度として前記第２の値を設定する。

【0009】

本開示の一側面においては、内視鏡により撮像された画像に基づいて撮像時の動き成分が推定されて、その動き成分が画像の全体に対する動き成分であることの度合いを示す信頼度が設定され、画像に対して補正処理を行う際に用いられる補正量が、信頼度に従って制御され、画像の局所の動きを示すローカル動きベクトルに基づいて、複数のローカル動きベクトルのノルムおよび角度が算出され、ローカル動きベクトル群のノルム標準偏差、および、ローカル動きベクトル群の角度標準偏差が算出される。そして、ノルム標準偏差を縦軸とし、角度標準偏差を横軸として、所定の閾値により表される閾値曲線が参照され、画像から求められたノルム標準偏差および角度標準偏差が、閾値曲線未満となる領域にある場合には、画像に単一動き成分が含まれていると推定して、信頼度として第１の値が設定され、画像から求められたノルム標準偏差および角度標準偏差が、閾値曲線以上となる領域にある場合には、画像に複数動き成分が含まれていると推定して、信頼度として第２の値が設定される。または、ノルム標準偏差を縦軸とし、角度標準偏差を横軸として、閾値により表される第１の閾値曲線および第２の閾値曲線が参照され、画像から求められたノルム標準偏差および角度標準偏差が、第１の閾値曲線未満となる領域にある場合には、画像に単一動き成分が含まれていると推定して、信頼度として第１の値が設定され、画像から求められたノルム標準偏差および角度標準偏差が、第１の閾値曲線以上となり、かつ、第２の閾値曲線以下となる領域にある場合には、信頼度として第１の値から第２の値までの値が設定され、画像から求められたノルム標準偏差および角度標準偏差が、第２の閾値曲線より大きくなる領域にある場合には、画像に複数動き成分が含まれていると推定して、信頼度として第２の値が設定される。

【図面の簡単な説明】

【0010】

【図1】本技術を適用した内視鏡手術システムの一実施の形態の構成例を示す図である。

【図2】画像処理装置の構成例を示すブロック図である。

【図3】動き成分の推定で参照される閾値曲線の第１の例を示す図である。

【図4】画像処理の第１の処理例を説明するフローチャートである。

【図5】動き成分の推定で参照される閾値曲線の第２の例を示す図である。

【図6】遷移帯において求められる信頼度について説明する図である。

【図7】画像処理の第２の処理例を説明するフローチャートである。

【図8】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

【図9】内視鏡手術システムの概略的な構成の一例を示す図である。

【図10】カメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。

【発明を実施するための形態】

【0011】

以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。

【0012】

＜内視鏡手術システムの構成例＞
図１は、本技術を適用した内視鏡手術システムの一実施の形態の構成例を示すブロック図である。

【0013】

図１に示す内視鏡手術システム１１は、内視鏡１２、エネルギー処置具１３、表示装置１４、および装置ユニット１５を備えて構成される。

【0014】

例えば、内視鏡手術システム１１を利用した手術では、内視鏡１２およびエネルギー処置具１３が患者の体内に挿入されるとともに、鉗子１６が患者の体内に挿入される。そして、内視鏡手術システム１１では、内視鏡１２によって撮像された腫瘍などの患部の画像が表示装置１４にリアルタイムで表示され、医者は、その画像を見ながらエネルギー処置具１３および鉗子１６を使用して患部に対する処置を行うことができる。

【0015】

内視鏡１２は、例えば、対物レンズなどの光学系が組み込まれた筒状の鏡筒部が、撮像素子などを備えたカメラヘッドに装着されて構成される。

【0016】

エネルギー処置具１３は、例えば、高周波の電流により発生する熱によって、患部を切除したり、血管を封止したりする内視鏡下外科手術で用いられる医療器具である。

【0017】

表示装置１４は、内視鏡１２により撮像された画像に対して、装置ユニット１５において画像処理が施された画像を表示する。

【0018】

装置ユニット１５は、内視鏡１２により撮像された画像に対して画像処理を施す画像処理装置２１（図２）を有する他、内視鏡手術システム１１を利用した手術を行うのに必要となる各種の装置を有して構成される。例えば、装置ユニット１５には、内視鏡１２による撮像を制御するＣＣＵ（Camera Control Unit）や、内視鏡１２が撮像を行う際に患部に対して照射される光を供給する光源装置、エネルギー処置具１３による患部に対する処置に必要となる高周波の電流を供給する処置具用装置などが組み込まれる。

【0019】

このように構成される内視鏡手術システム１１では、装置ユニット１５において、例えば、内視鏡１２により撮像された画像に生じているブレを適切に補正する画像処理が施され、表示装置１４にはブレが適切に補正された画像が表示される。従って、内視鏡手術システム１１を利用した手術において、医者などは、ブレが適切に補正された画像によって観察しながら患部に対する処置を行うことができる。

【0020】

＜画像処理装置の構成例＞
図２は、装置ユニット１５が有する画像処理装置２１の構成例を示すブロック図である。

【0021】

図２に示すように、画像処理装置２１は、特徴点抽出部２２、ローカル動きベクトル検出部２３、グローバル動き量推定部２４、演算部２５、動き推定部２６、補正量制御部２７、および補正処理部２８を備えて構成される。

【0022】

そして、画像処理装置２１には、図１の内視鏡１２により撮像された画像が入力される。この画像には、内視鏡１２が動くことによる全体的な動き（全体ブレ）が生じることがある他、内視鏡１２によりエネルギー処置具１３や鉗子１６などが撮像されている場合には、エネルギー処置具１３や鉗子１６などが動くことによる局所的な動き（局所ブレ）が生じることがある。

【0023】

特徴点抽出部２２は、内視鏡１２により撮像された画像において特徴となる箇所を示す点となる特徴点を抽出し、画像から抽出した複数の抽出点を、ローカル動きベクトル検出部２３に供給する。

【0024】

ローカル動きベクトル検出部２３は、特徴点抽出部２２から供給される複数の特徴点それぞれの動きに基づいて、画像の局所的な部分において生じている動きを示すローカル動きベクトルを検出する。そして、ローカル動きベクトル検出部２３は、図１の内視鏡１２により撮像された画像から検出される複数のローカル動きベクトルを、グローバル動き量推定部２４および演算部２５に供給する。

【0025】

グローバル動き量推定部２４は、ローカル動きベクトル検出部２３から供給される複数のローカル動きベクトルに基づいて、画像の全体的な動きの大きさを表すグローバル動き量を推定し、補正量制御部２７に供給する。

【0026】

演算部２５は、ローカル動きベクトル検出部２３から供給される複数のローカル動きベクトルに基づいた演算を行う。例えば、演算部２５は、個々のローカル動きベクトルのノルムおよび角度を求める演算を行う。そして、演算部２５は、個々のローカル動きベクトルのノルムの散らばりの度合いを示す標準偏差（以下、ローカル動きベクトル群のノルム標準偏差と称する）を算出し、動き推定部２６に供給する。また、演算部２５は、個々のローカル動きベクトルの角度の散らばりの度合いを示す標準偏差（以下、ローカル動きベクトル群の角度標準偏差と称する）を算出し、動き推定部２６に供給する。

【0027】

動き推定部２６は、演算部２５により算出されたローカル動きベクトル群のノルム標準偏差および角度標準偏差に従って、後述する図３に示す閾値曲線ｔｈを参照し、画像処理の処理対象となっている画像に基づいて撮像時の動き成分を推定する。即ち、動き推定部２６は、単一動き成分と複数動き成分とのどちらが画像に含まれているかを推定する。例えば、処理対象の画像に含まれている動き成分が単一の大きさおよび方向で多く占められている場合、その画像に単一動き成分が含まれていると推定される。一方、処理対象の画像に含まれている動き成分が複数の異なる大きさおよび方向で多く占められている場合、その画像に複数動き成分が含まれていると推定される。そして、動き推定部２６は、動き成分の推定結果に従って、その画像に含まれている動き成分が、内視鏡１２が動いたことによる結果、画像の全体に対して動きが生じたことによるものであると信頼される度合いを示す信頼度を設定して、補正量制御部２７に供給する。

【0028】

例えば、動き推定部２６は、動き成分の推定結果に従って、処理対象の画像に単一動き成分が含まれている場合には、その画像に含まれている動き成分が、画像の全体に対して動きが生じたことによるものである度合いが大きいとして信頼度に1.0を設定する。一方、動き推定部２６は、動き成分の推定結果に従って、処理対象の画像に複数動き成分が含まれている場合には、その画像に含まれている動き成分が、画像の全体に対して動きが生じたことによるものである度合いが低く、例えば、エネルギー処置具１３や鉗子１６などの動きによるものとして信頼度に0.0を設定する。なお、それぞれの信頼度は、0.0または1.0に限られることなく、例えば、0.0から1.0までの間の任意の値を用いてもよい。

【0029】

補正量制御部２７は、グローバル動き量推定部２４から供給されるグローバル動き量を、動き推定部２６から供給される信頼度に従って制御し、処理対象の画像に対して補正処理部２８においてブレを補正する補正処理を行う際に用いる補正量を求める。例えば、補正量制御部２７は、動き推定部２６から供給される信頼度が1.0である場合、グローバル動き量を、そのまま補正量として用いることとし、補正処理部２８に供給する。一方、補正量制御部２７は、一方、補正量制御部２７は、動き推定部２６から供給される信頼度が0.0である場合、グローバル動き量を補正量として用いないこととし、補正量を０として補正処理部２８に供給する。

【0030】

補正処理部２８は、補正量制御部２７による制御に従った補正量で、画像処理装置２１に入力された処理対象の画像に生じているブレを補正する補正処理を施し、表示装置１４に出力する。例えば、補正処理部２８は、グローバル動き量を信頼度に従って制御した補正量が補正量制御部２７から供給されると、その補正量に従って時間方向のフィルタをかけるように平滑化を行うことで、画像のブレを補正する。従って、補正処理部２８は、例えば、補正量制御部２７から供給された補正量が０である場合には、処理対象の画像に対する補正処理を行わずに、そのまま画像を出力することになる。

【0031】

即ち、補正処理部２８は、処理対象の画像に対して単一動き成分が含まれている場合には、グローバル動き量に応じてブレを補正する補正処理を施すこととし、処理対象の画像に対して複数動き成分が含まれている場合には、補正処理をオフすることとする。

【0032】

以上のように構成される画像処理装置２１は、処理対象の画像に含まれている動き成分が単一動き成分か複数動き成分かによって適切に補正処理を施すことができる。例えば、画像処理装置２１は、処理対象の画像に含まれている動き成分が、画像の全体に対して動きが生じたことによるものである度合いが大きい場合には、内視鏡１２の動きにより画像に発生している全体ブレを補正した画像を出力することができる。

【0033】

また、画像処理装置２１は、処理対象の画像に含まれている動き成分が、画像の全体に対して動きが生じたことによるものである度合いが低く、画像中で局所ブレの度合いが大きい場合には、適切ではない補正処理を行ってしまうことを回避することができる。例えば、エネルギー処置具１３や鉗子１６などの動きによる局所的なものである度合いが大きい場合には、グローバル動き量の推定時に局所ブレの影響を強く受けてしまう。このとき、推定されたグローバル動き量が、全体ブレを正しく反映できていないことにより、局所ブレの領域だけでなく全体として補正結果に歪みが生じることになる。

【0034】

そこで、画像処理装置２１は、処理対象の画像に含まれている動き成分が、複数の動きが生じたことによるものである度合いが大きい場合には、局所ブレの領域だけでなく全体として補正結果に歪みが生じてしまうのを回避することができる。即ち、画像に複数の動き成分が含まれている場合に、グローバル動き量に応じてブレを補正する補正処理が施されることがなく、これにより、適切ではない補正処理が行われてしまうことを回避することができる。

【0035】

従って、手術を行う医者は、内視鏡１２そのものが動くことにより生じる全体ブレを補正した画像による観察を行うことができるとともに、エネルギー処置具１３や鉗子１６などの動きにより生じる局所ブレを補正した際に発生するような歪みのある画像による観察を回避することができ、違和感のない良好な画質によって、より良好に内視鏡による観察を行うことができる。

【0036】

ここで、図３を参照して、動き推定部２６による動き成分の推定について説明する。

【0037】

上述したように、動き推定部２６には、演算部２５により算出されたローカル動きベクトル群のノルム標準偏差および角度標準偏差が供給される。そして、動き推定部２６には、処理対象の画像に単一動き成分と複数動き成分とのどちらが含まれているかを推定するための閾値を示す閾値曲線ｔｈが設定されている。

【0038】

図３において、縦軸は、ローカル動きベクトル群のノルム標準偏差を示し、横軸は、ローカル動きベクトル群の角度標準偏差を示しており、図示するような閾値曲線ｔｈが設定される。例えば、閾値曲線ｔｈは、ノルム標準偏差が大きくなるのに従い角度標準偏差が小さくなり、かつ、ノルム標準偏差が小さくなるのに従い角度標準偏差が大きくなるとともに、ノルム標準偏差および角度標準偏差が小さくなる方向に凸となるような曲線で表される。

【0039】

即ち、画像内に単一動き成分が含まれているときには、ローカル動きベクトル群が一定の大きさおよび方向に揃う傾向があるためノルム標準偏差および角度標準偏差が小さくなる。一方、画像内に複数動き成分が含まれているときには、ローカル動きベクトルは異なる方向を示す複数の群に分かれるため、ノルム標準偏差および角度標準偏差が大きくなる。

【0040】

このことより、動き推定部２６は、処理対象の画像から求められたローカル動きベクトル群のノルム標準偏差および角度標準偏差が、図３に示す閾値曲線ｔｈ未満の領域（即ち、閾値曲線ｔｈよりも原点側の領域）にある場合には、その画像には単一動き成分が含まれていると推定することができる。一方、動き推定部２６は、処理対象の画像から求められたローカル動きベクトル群のノルム標準偏差および角度標準偏差が、図３に示す閾値曲線ｔｈ以上の領域にある場合には、その画像には複数動き成分が含まれていると推定することができる。

【0041】

従って、処理対象の画像から求められる複数のローカル動きベクトルについて、ノルムの散らばりの度合いが小さく、かつ、角度の散らばりの度合いが小さい場合には、処理対象の画像には単一動き成分が含まれていると推定され、信頼度が1.0に設定される。一方、処理対象の画像から求められる複数のローカル動きベクトルについて、ノルムの散らばりの度合いが大きく、かつ、角度の散らばりの度合いが大きい場合には、処理対象の画像には複数動き成分が含まれていると推定され、信頼度が0.0に設定される。

【0042】

＜画像処理の第１の処理例＞
図４は、画像処理装置２１において実行される画像処理の第１の処理例を説明するフローチャートである。

【0043】

例えば、内視鏡１２により撮像された画像が画像処理装置２１に入力されると、その画像を処理対象として画像処理が開始され、ステップＳ１１において、特徴点抽出部２２は、処理対象の画像から複数の特徴点を抽出する。

【0044】

ステップＳ１２において、ローカル動きベクトル検出部２３は、ステップＳ１１で特徴点抽出部２２により抽出された複数の特徴点に従って、処理対象の画像から複数のローカル動きベクトルを検出する。

【0045】

ステップＳ１３において、グローバル動き量推定部２４は、ステップＳ１２でローカル動きベクトル検出部２３により検出された複数のローカル動きベクトルに従って、処理対象の画像からグローバル動き量を推定する。

【0046】

ステップＳ１４において、演算部２５は、ステップＳ１２でローカル動きベクトル検出部２３により検出された複数のローカル動きベクトルについて、個々のローカル動きベクトルのノルムおよび角度を算出する。

【0047】

ステップＳ１５において、演算部２５は、個々のローカル動きベクトルのノルムに基づいてローカル動きベクトル群のノルム標準偏差を算出し、個々のローカル動きベクトルの角度に基づいてローカル動きベクトル群の角度標準偏差を算出する。

【0048】

ステップＳ１６において、動き推定部２６は、ステップＳ１５で演算部２５により算出されたローカル動きベクトル群のノルム標準偏差および角度標準偏差に従って、上述の図３に示した閾値曲線ｔｈを参照し、処理対象の画像に含まれている動き成分を推定する。

【0049】

ステップＳ１７において、動き推定部２６は、ステップＳ１６での動き成分の推定結果が、単一動き成分と複数動き成分とのどちらであるかを判定する。

【0050】

ステップＳ１７において、動き推定部２６が、動き成分の推定結果が単一動き成分であると判定した場合、処理はステップＳ１８に進む。そして、ステップＳ１８において、動き推定部２６は、信頼度に1.0を設定する。

【0051】

一方、ステップＳ１７において、動き推定部２６が、動き成分の推定結果が複数動き成分であると判定した場合、処理はステップＳ１９に進む。そして、ステップＳ１９において、動き推定部２６は、信頼度に0.0を設定する。

【0052】

ステップＳ１８またはＳ１９の処理後、処理はステップＳ２０に進み、補正量制御部２７は、ステップＳ１３でグローバル動き量推定部２４によって推定されたグローバル動き量に基づく補正量を、動き推定部２６によって設定された信頼度に従って制御する。

【0053】

ステップＳ２１において、補正処理部２８は、ステップＳ２０で補正量制御部２７によって制御された補正量で、処理対象の画像に対してブレを補正する補正処理を施す。即ち、動き推定部２６によって設定された信頼度が1.0である場合には、グローバル動き量に基づく補正量でブレを補正する補正処理を行い、動き推定部２６によって設定された信頼度が0.0である場合には補正処理をオフする。そして、補正処理部２８が、補正処理を行って得られる画像、または、補正処理をオフした画像を表示装置１４に出力した後、処理は終了される。

【0054】

以上のように、画像処理装置２１は、処理対象の画像に単一動き成分および複数動き成分のどちらが含まれているかを判定することで、画像のブレを補正する補正処理を適切に行う（オン／オフを切り替える）ことができる。これにより、処理対象の画像に単一動き成分が含まれている場合にはブレを補正した画像を出力し、処理対象の画像に複数動き成分が含まれている場合にはブレを補正しない（適切ではない補正処理が行われてしまうことを回避した）画像を出力することができる。

【0055】

＜画像処理の第２の処理例＞
図５乃至図７を参照して、画像処理装置２１において実行される画像処理の第２の処理例について説明する。

【0056】

上述した画像処理の第１の処理例では、画像処理装置２１は、図３に示した閾値曲線ｔｈに従って信頼度に0.0または1.0が設定され、ブレを補正する画像処理のオン／オフの切り替えが行われる。これに対し、画像処理の第２の処理例では、信頼度を0.0から1.0までの間で遷移させる遷移帯を設けて、ブレを補正する強度を調整することができる。

【0057】

即ち、図５に示すように、第１の閾値曲線ｔｈ１および第２の閾値曲線ｔｈ２が設定される。第１の閾値曲線ｔｈ１は、処理対象の画像に単一動き成分が含まれているか否かを推定するための閾値を示し、第２の閾値曲線ｔｈ２は、処理対象の画像に複数動き成分が含まれているか否かを推定するための閾値を示す。

【0058】

従って、動き推定部２６は、処理対象の画像から求められたローカル動きベクトル群のノルム標準偏差および角度標準偏差が、第１の閾値曲線ｔｈ１未満の領域にある場合には、その画像には単一動き成分が含まれていると推定して、信頼度を1.0に設定する。一方、動き推定部２６は、処理対象の画像から求められたローカル動きベクトル群のノルム標準偏差および角度標準偏差が、第２の閾値曲線ｔｈ２より大きい領域にある場合には、その画像には複数動き成分が含まれていると推定して、信頼度を0.0に設定する。

【0059】

そして、動き推定部２６は、処理対象の画像から求められたローカル動きベクトル群のノルム標準偏差および角度標準偏差が、第１の閾値曲線ｔｈ１以上、かつ、第２の閾値曲線ｔｈ２以下となる領域にある場合には、単一動き成分と複数動き成分との間の遷移帯であるとして、信頼度を0.0から1.0の間に設定する。

【0060】

例えば、図６に示すように、動き推定部２６は、第１の閾値曲線ｔｈ１であるときの信頼度1.0から、第２の閾値曲線ｔｈ２であるときの信頼度0.0までに向かって、ローカル動きベクトル群のノルム標準偏差および角度標準偏差の値に応じて線形に減少するように、遷移帯における信頼度を求めるこができる。

【0061】

そして、補正量制御部２７は、動き推定部２６により設定された信頼度に従って補正量を制御することができる。例えば、補正量制御部２７は、信頼度が0.0および1.0に設定されているときには、上述した画像処理の第１の処理例と同様に補正量を制御する。そして、補正量制御部２７は、信頼度が0.0から1.0までの間に設定されているときには、その信頼度を用いて、補正処理がオンであるときとオフであるときとの間を補間するような補正量を算出する。例えば、補正量制御部２７は、単純に、補正量に信頼度を掛け合わせた値を、動き成分に応じた補正量として算出してもよい。

【0062】

このような画像処理の第２の処理例を用いることにより、画像処理装置２１は、より違和感のない画像を出力することができる。

【0063】

例えば、画像処理の第１の処理例のように、信頼度に1.0または0.0が設定されて、補正処理のオン／オフが切り替えられるような制御が行われる場合、補正処理のオン／オフの切り替わりの頻度が高くなることがある。即ち、フレームの推移とともに変化する信頼度が閾値曲線ｔｈ（図３）の近傍に存在し、フレームごと、または、数フレームごとに、単一動き成分と複数動き成分とで推定結果が変化する場合には、補正処理のオン／オフの切り替わりの頻度が高くなる。このような場合、時間の経過に伴って画像がカクつくことによって違和感が生じるような悪影響を及ぼすことが想定される。

【0064】

これに対し、画像処理の第２の処理例では、遷移帯において信頼度に0.0から1.0までの値が設定されるので、補正処理のオン／オフの切り替わりの頻度が高くなるのを回避することができ、このような悪影響を緩和して、違和感を軽減することができる。

【0065】

図７は、画像処理装置２１において実行される画像処理の第２の処理例を説明するフローチャートである。

【0066】

ステップＳ３１乃至Ｓ３５では、図４のステップＳ１１乃至１５と同様の処理が行われる。そして、ステップＳ３６において、動き推定部２６は、ステップＳ３５で演算部２５により算出されたローカル動きベクトル群のノルム標準偏差および角度標準偏差に従って、上述の図５に示した第１の閾値曲線ｔｈ１および第２の閾値曲線ｔｈ２を参照し、処理対象の画像に含まれている動き成分を推定する。

【0067】

ステップＳ３７において、動き推定部２６は、ステップＳ３６での動き成分の推定結果が、単一動き成分、複数動き成分、および遷移帯のいずれであるかを判定する。

【0068】

ステップＳ３７において、動き推定部２６が、動き成分の推定結果が単一動き成分であると判定した場合、処理はステップＳ３８に進む。そして、ステップＳ３８において、動き推定部２６は、信頼度に1.0を設定する。

【0069】

一方、ステップＳ３７において、動き推定部２６が、動き成分の推定結果が複数動き成分であると判定した場合、処理はステップＳ３９に進む。そして、ステップＳ３９において、動き推定部２６は、信頼度に0.0を設定する。

【0070】

一方、ステップＳ３７において、動き推定部２６が、動き成分の推定結果が遷移帯であると判定した場合、処理はステップＳ４０に進む。そして、ステップＳ４０において、動き推定部２６は、上述の図６に示したように、信頼度に0.0から1.0までの値を設定する。

【0071】

ステップＳ３８、ステップＳ３９、またはステップＳ４０の処理後、処理はステップＳ４１に進み、補正量制御部２７は、ステップＳ３３でグローバル動き量推定部２４によって推定されたグローバル動き量に基づく補正量を、動き推定部２６によって設定された信頼度に従って制御する。

【0072】

ステップＳ４２において、補正処理部２８は、ステップＳ４１で補正量制御部２７によって制御された補正量で、処理対象の画像に対してブレを補正する補正処理を施す。即ち、動き推定部２６によって設定された信頼度が1.0である場合には、グローバル動き量に基づく補正量でブレを補正する補正処理を行い、動き推定部２６によって設定された信頼度が0.0である場合には補正処理をオフする。また、動き推定部２６によって設定された信頼度が1.0から0.0の間の値である場合には、信頼度に応じた補正量でブレを補正する補正処理を行う。そして、補正処理部２８が、補正処理を行って得られる画像、または、補正処理をオフした画像を表示装置１４に出力した後、処理は終了される。

【0073】

以上のように、画像処理装置２１は、処理対象の画像に単一動き成分または複数動き成分が含まれているか、或いは、単一動き成分と複数動き成分との間の遷移帯であるかを判定することで、画像のブレを補正する補正処理を適切に行うことができる。従って、画像処理装置２１は、上述したようなフレーム間での単一動き成分と複数動き成分との切り替わりによる悪影響を緩和し、違和感の軽減された画像を出力することができる。

【0074】

なお、画像処理装置２１では、補正量制御部２７が、動き推定部２６から順次供給される信頼度を蓄積し、それらの信頼度を時間方向に平滑化してもよい。そして、補正量制御部２７は、時間方向に平滑化された信頼度を用いて、滑らかに変化するように補正量を制御することができる。これにより、画像処理装置２１は、上述したようなフレーム間での単一動き成分と複数動き成分との切り替わりによる悪影響を緩和し、より違和感の軽減された画像を出力することができる。

【0075】

また、画像処理装置２１では、図３に示した閾値曲線ｔｈ、或いは、図５に示した第１の閾値曲線ｔｈ１または第２の閾値曲線ｔｈ２は、図示したような形状に限定されることなく、画像に含まれる動き成分を適切に推定できるように調整してもよい。例えば、閾値曲線は、内視鏡１２の特性（ズーム倍率や絞りなど）に応じて調整することができ、内視鏡１２が使用される手術の種類や状況などに従って調整することができる。さらに、画像処理装置２１は、内視鏡１２を用いない手術システムの画像、例えば、手術用の顕微鏡により撮像された画像に対する画像処理に用いることができる。

【0076】

以上のように、内視鏡手術システム１１は、処理対象の画像に基づいて撮像時の動き成分を推定することで、ブレを補正する補正処理が適切に施された画像を表示装置１４に表示することができる。例えば、内視鏡手術システム１１は、内視鏡１２の動きが画面内で大きな比重を占めている場合には、全体的なブレを補正することができる。また、内視鏡手術システム１１は、例えば、エネルギー処置具１３や鉗子１６、ガーゼなどの動き、または、拍動や呼吸動などの生体内の動きが画面内で大きな比重を占めている場合には、それらの動きに引かれて補正処理が行われてしまうことによる歪みの発生を防止することができる。

【0077】

従って、内視鏡手術システム１１では、ブレが適切に補正された画像が表示装置１４に表示され、医者は、内視鏡１２により撮像された画像による患部の観察を良好に行うことができる。

【0078】

＜コンピュータの構成例＞
次に、上述した一連の処理（画像処理方法）は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。

【0079】

図８は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。

【0080】

プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。

【0081】

あるいはまた、プログラムは、ドライブ１０９によって駆動されるリムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウェアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。

【0082】

なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。

【0083】

コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。

【0084】

CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。

【0085】

これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。

【0086】

なお、入力部１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。

【0087】

ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。

【0088】

また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。

【0089】

さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

【0090】

また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。

【0091】

また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

【0092】

また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。

【0093】

また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。

【0094】

なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。

【0095】

なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。

【0096】

＜内視鏡手術システムへの応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。

【0097】

図９は、本開示に係る技術（本技術）が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。

【0098】

図９では、術者（医師）１１１３１が、内視鏡手術システム１１０００を用いて、患者ベッド１１１３３上の患者１１１３２に手術を行っている様子が図示されている。図示するように、内視鏡手術システム１１０００は、内視鏡１１１００と、気腹チューブ１１１１１やエネルギー処置具１１１１２等の、その他の術具１１１１０と、内視鏡１１１００を支持する支持アーム装置１１１２０と、内視鏡下手術のための各種の装置が搭載されたカート１１２００と、から構成される。

【0099】

内視鏡１１１００は、先端から所定の長さの領域が患者１１１３２の体腔内に挿入される鏡筒１１１０１と、鏡筒１１１０１の基端に接続されるカメラヘッド１１１０２と、から構成される。図示する例では、硬性の鏡筒１１１０１を有するいわゆる硬性鏡として構成される内視鏡１１１００を図示しているが、内視鏡１１１００は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。

【0100】

鏡筒１１１０１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１１１００には光源装置１１２０３が接続されており、当該光源装置１１２０３によって生成された光が、鏡筒１１１０１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者１１１３２の体腔内の観察対象に向かって照射される。なお、内視鏡１１１００は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。

【0101】

カメラヘッド１１１０２の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ: Camera Control Unit）１１２０１に送信される。

【0102】

ＣＣＵ１１２０１は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等によって構成され、内視鏡１１１００及び表示装置１１２０２の動作を統括的に制御する。さらに、ＣＣＵ１１２０１は、カメラヘッド１１１０２から画像信号を受け取り、その画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。

【0103】

表示装置１１２０２は、ＣＣＵ１１２０１からの制御により、当該ＣＣＵ１１２０１によって画像処理が施された画像信号に基づく画像を表示する。

【0104】

光源装置１１２０３は、例えばＬＥＤ（light emitting diode）等の光源から構成され、術部等を撮影する際の照射光を内視鏡１１１００に供給する。

【0105】

入力装置１１２０４は、内視鏡手術システム１１０００に対する入力インタフェースである。ユーザは、入力装置１１２０４を介して、内視鏡手術システム１１０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡１１１００による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示等を入力する。

【0106】

処置具制御装置１１２０５は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具１１１１２の駆動を制御する。気腹装置１１２０６は、内視鏡１１１００による視野の確保及び術者の作業空間の確保の目的で、患者１１１３２の体腔を膨らめるために、気腹チューブ１１１１１を介して当該体腔内にガスを送り込む。レコーダ１１２０７は、手術に関する各種の情報を記録可能な装置である。プリンタ１１２０８は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。

【0107】

なお、内視鏡１１１００に術部を撮影する際の照射光を供給する光源装置１１２０３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置１１２０３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。

【0108】

また、光源装置１１２０３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。

【0109】

また、光源装置１１２０３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow Band Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置１１２０３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。

【0110】

図１０は、図９に示すカメラヘッド１１１０２及びＣＣＵ１１２０１の機能構成の一例を示すブロック図である。

【0111】

カメラヘッド１１１０２は、レンズユニット１１４０１と、撮像部１１４０２と、駆動部１１４０３と、通信部１１４０４と、カメラヘッド制御部１１４０５と、を有する。ＣＣＵ１１２０１は、通信部１１４１１と、画像処理部１１４１２と、制御部１１４１３と、を有する。カメラヘッド１１１０２とＣＣＵ１１２０１とは、伝送ケーブル１１４００によって互いに通信可能に接続されている。

【0112】

レンズユニット１１４０１は、鏡筒１１１０１との接続部に設けられる光学系である。鏡筒１１１０１の先端から取り込まれた観察光は、カメラヘッド１１１０２まで導光され、当該レンズユニット１１４０１に入射する。レンズユニット１１４０１は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。

【0113】

撮像部１１４０２を構成する撮像素子は、１つ（いわゆる単板式）であってもよいし、複数（いわゆる多板式）であってもよい。撮像部１１４０２が多板式で構成される場合には、例えば各撮像素子によってＲＧＢそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部１１４０２は、３Ｄ（dimensional）表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されてもよい。３Ｄ表示が行われることにより、術者１１１３１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部１１４０２が多板式で構成される場合には、各撮像素子に対応して、レンズユニット１１４０１も複数系統設けられ得る。

【0114】

また、撮像部１１４０２は、必ずしもカメラヘッド１１１０２に設けられなくてもよい。例えば、撮像部１１４０２は、鏡筒１１１０１の内部に、対物レンズの直後に設けられてもよい。

【0115】

駆動部１１４０３は、アクチュエータによって構成され、カメラヘッド制御部１１４０５からの制御により、レンズユニット１１４０１のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部１１４０２による撮像画像の倍率及び焦点が適宜調整され得る。

【0116】

通信部１１４０４は、ＣＣＵ１１２０１との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４０４は、撮像部１１４０２から得た画像信号をＲＡＷデータとして伝送ケーブル１１４００を介してＣＣＵ１１２０１に送信する。

【0117】

また、通信部１１４０４は、ＣＣＵ１１２０１から、カメラヘッド１１１０２の駆動を制御するための制御信号を受信し、カメラヘッド制御部１１４０５に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。

【0118】

なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてＣＣＵ１１２０１の制御部１１４１３によって自動的に設定されてもよい。後者の場合には、いわゆるＡＥ（Auto Exposure）機能、ＡＦ（Auto Focus）機能及びＡＷＢ（Auto White Balance）機能が内視鏡１１１００に搭載されていることになる。

【0119】

カメラヘッド制御部１１４０５は、通信部１１４０４を介して受信したＣＣＵ１１２０１からの制御信号に基づいて、カメラヘッド１１１０２の駆動を制御する。

【0120】

通信部１１４１１は、カメラヘッド１１１０２との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４１１は、カメラヘッド１１１０２から、伝送ケーブル１１４００を介して送信される画像信号を受信する。

【0121】

また、通信部１１４１１は、カメラヘッド１１１０２に対して、カメラヘッド１１１０２の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。

【0122】

画像処理部１１４１２は、カメラヘッド１１１０２から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。

【0123】

制御部１１４１３は、内視鏡１１１００による術部等の撮像、及び、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部１１４１３は、カメラヘッド１１１０２の駆動を制御するための制御信号を生成する。

【0124】

また、制御部１１４１３は、画像処理部１１４１２によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置１１２０２に表示させる。この際、制御部１１４１３は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部１１４１３は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具１１１１２の使用時のミスト等を認識することができる。制御部１１４１３は、表示装置１１２０２に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者１１１３１に提示されることにより、術者１１１３１の負担を軽減することや、術者１１１３１が確実に手術を進めることが可能になる。

【0125】

カメラヘッド１１１０２及びＣＣＵ１１２０１を接続する伝送ケーブル１１４００は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。

【0126】

ここで、図示する例では、伝送ケーブル１１４００を用いて有線で通信が行われていたが、カメラヘッド１１１０２とＣＣＵ１１２０１との間の通信は無線で行われてもよい。

【0127】

以上、本開示に係る技術が適用され得る内視鏡手術システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、ＣＣＵ１１２０１の画像処理部１１４１２に適用され得る。そして、ＣＣＵ１１２０１の画像処理部１１４１２に本開示に係る技術を適用することにより、適切にブレが補正された画像を出力することができるため、術者が術部を確実に確認することが可能になる。

【0128】

なお、ここでは、一例として内視鏡手術システムについて説明したが、本開示に係る技術は、その他、例えば、顕微鏡手術システム等に適用されてもよい。

【0129】

＜構成の組み合わせ例＞
なお、本技術は以下のような構成も取ることができる。
（１）
内視鏡により撮像された画像に基づいて撮像時の動き成分を推定して、前記動き成分が前記画像の全体に対する動き成分であることの度合いを示す信頼度を設定する動き推定部と、
前記画像に対してブレを補正する補正処理を行う際に用いられる補正量を、前記信頼度に従って制御する補正量制御部と
を備える内視鏡手術システム。
（２）
前記動き推定部は、前記動き成分が単一の大きさおよび方向で多く占められている単一動き成分、または、前記動き成分が複数の異なる大きさおよび方向で多く占められている複数動き成分のどちらが前記画像に含まれているかを推定する
上記（１）に記載の内視鏡手術システム。
（３）
前記動き推定部は、前記画像に単一動き成分が含まれていると推定した場合には、前記信頼度として第１の値を設定し、前記画像に複数動き成分が含まれていると推定した場合には、前記信頼度として第２の値を設定する
上記（２）に記載の内視鏡手術システム。
（４）
前記第１の値は1.0であり、
前記第２の値は0.0である
上記（３）に記載の内視鏡手術システム。
（５）
前記画像の局所の動きを示すローカル動きベクトルに基づいて、複数の前記ローカル動きベクトルのノルムおよび角度を算出し、前記ローカル動きベクトル群のノルム標準偏差、および、前記ローカル動きベクトル群の角度標準偏差を算出する演算部をさらに備え、
前記動き推定部は、所定の閾値を参照し、前記ノルム標準偏差および前記角度標準偏差に基づいて、前記画像に含まれている前記動き成分を推定する
上記（３）に記載の内視鏡手術システム。
（６）
前記動き推定部は、
前記ノルム標準偏差を縦軸とし、前記角度標準偏差を横軸として、前記閾値により表される閾値曲線を参照し、
前記画像から求められた前記ノルム標準偏差および前記角度標準偏差が、前記閾値曲線未満となる領域にある場合には、前記画像に単一動き成分が含まれていると推定して、前記信頼度として前記第１の値を設定し、
前記画像から求められた前記ノルム標準偏差および前記角度標準偏差が、前記閾値曲線以上となる領域にある場合には、前記画像に複数動き成分が含まれていると推定して、前記信頼度として前記第２の値を設定する
上記（５）に記載の内視鏡手術システム。
（７）
前記動き推定部は、
前記ノルム標準偏差を縦軸とし、前記角度標準偏差を横軸として、前記閾値により表される第１の閾値曲線および第２の閾値曲線を参照し、
前記画像から求められた前記ノルム標準偏差および前記角度標準偏差が、前記閾値曲線未満となる領域にある場合には、前記画像に単一動き成分が含まれていると推定して、前記信頼度として前記第１の値を設定し、
前記画像から求められた前記ノルム標準偏差および前記角度標準偏差が、前記第１の閾値曲線以上となり、かつ、前記第２の閾値曲線以下となる領域にある場合には、前記信頼度として前記第１の値から前記第２の値までの値を設定し、
前記画像から求められた前記ノルム標準偏差および前記角度標準偏差が、前記閾値曲線より大きくなる領域にある場合には、前記画像に複数動き成分が含まれていると推定して、前記信頼度として前記第２の値を設定する
上記（５）に記載の内視鏡手術システム。
（８）
前記補正量制御部は、前記動き推定部から順次供給される前記信頼度を蓄積して、時間方向に平滑化された前記信頼度を用いて前記補正量を制御する
上記（１）から（７）までのいずれかに記載の内視鏡手術システム。
（９）
前記画像において特徴となる個所を示す点となる特徴点を抽出する特徴点抽出部と、
前記特徴点抽出部により検出された複数の前記特徴点の動きに基づいて、前記ローカル動きベクトルを検出するローカル動きベクトル検出部と
をさらに備える上記（５）に記載の内視鏡手術システム。
（１０）
複数の前記ローカル動きベクトルに基づいて、前記画像の全体の動きを示すグローバル動き量を推定するグローバル動き量推定部
をさらに備え、
前記補正量制御部は、前記グローバル動き量に基づいて前記補正量を求める
上記（９）に記載の内視鏡手術システム。
（１１）
前記補正量制御部により制御された前記補正量に従って、前記画像に対する前記補正処理を施す補正処理部
をさらに備える上記（１）から（１０）までのいずれかに記載の内視鏡手術システム。
（１２）
内視鏡により撮像された画像に基づいて撮像時の動き成分を推定して、前記動き成分が前記画像の全体に対する動き成分であることの度合いを示す信頼度を設定する動き推定部と、
前記画像に対してブレを補正する補正処理を行う際に用いられる補正量を、前記信頼度に従って制御する補正量制御部と
を備える画像処理装置。
（１３）
画像処理装置が、
内視鏡により撮像された画像に基づいて撮像時の動き成分を推定して、前記動き成分が前記画像の全体に対する動き成分であることの度合いを示す信頼度を設定することと、
前記画像に対してブレを補正する補正処理を行う際に用いられる補正量を、前記信頼度に従って制御することと
を含む画像処理方法。

【0130】

なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

【符号の説明】

【0131】

１１ 内視鏡手術システム， １２ 内視鏡， １３ エネルギー処置具， １４ 表示装置， １５ 装置ユニット， １６ 鉗子， ２１ 画像処理部， ２２ 特徴点抽出部， ２３ ローカル動きベクトル検出部， ２４ グローバル動き量推定部， ２５ 演算部， ２６ 動き推定部， ２７ 補正量制御部， ２８ 補正処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】