特許 7605846 画像処理装置、画像処理プログラム、及び、内視鏡システムの作動方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-16

(45)【発行日】2024-12-24

(54)【発明の名称】画像処理装置、画像処理プログラム、及び、内視鏡システムの作動方法

(51)【国際特許分類】

   A61B 1/045 20060101AFI20241217BHJP

   G02B 23/24 20060101ALI20241217BHJP

【ＦＩ】

A61B1/045 618

A61B1/045 622

G02B23/24 B

【請求項の数】 22

(21)【出願番号】P 2022545537

(86)(22)【出願日】2021-07-19

(86)【国際出願番号】 JP2021026905

(87)【国際公開番号】W WO2022044617

(87)【国際公開日】2022-03-03

【審査請求日】2023-02-16

(31)【優先権主張番号】P 2020140944

(32)【優先日】2020-08-24

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】100140992

【弁理士】

【氏名又は名称】松浦 憲政

(74)【代理人】

【識別番号】100170069

【弁理士】

【氏名又は名称】大原 一樹

(74)【代理人】

【識別番号】100128635

【弁理士】

【氏名又は名称】松村 潔

(74)【代理人】

【識別番号】100153822

【弁理士】

【氏名又は名称】増田 重之

(74)【代理人】

【識別番号】100083116

【弁理士】

【氏名又は名称】松浦 憲三

(72)【発明者】

【氏名】臼田 稔宏

【審査官】渡▲辺▼ 純也

(56)【参考文献】

【文献】特開２０１４－２２６３４１（ＪＰ，Ａ）

【文献】特開２０１２－２４５１５７（ＪＰ，Ａ）

【文献】特開２００９－２３３２４０（ＪＰ，Ａ）

【文献】国際公開第２０１２／０３５９２３（ＷＯ，Ａ１）

【文献】国際公開第２０１８／２３５１７９（ＷＯ，Ａ１）

【文献】国際公開第２０１４／１０３２３７（ＷＯ，Ａ１）

【文献】国際公開第２０１９／１１６５９２（ＷＯ，Ａ１）

【文献】国際公開第２０１２／１６５２０４（ＷＯ，Ａ１）

【文献】国際公開第２０２０／０３６２２４（ＷＯ，Ａ１）

【文献】特開２００９－２２６０７２（ＪＰ，Ａ）

【文献】特開平０５－１０３７４７（ＪＰ，Ａ）

【文献】特開２０１４－１２４２１８（ＪＰ，Ａ）

【文献】特開２０１２－２４５１６１（ＪＰ，Ａ）

【文献】特開２０１４－１５８５７７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １／００ ～ １／３２

Ｇ０２Ｂ ２３／２４ ～ ２３／２６

(57)【特許請求の範囲】

【請求項1】

先端から突出させた器具を用いて処置が可能な内視鏡で撮影された画像を処理する画像処理装置であって、
プロセッサを備え、
前記プロセッサは、
前記内視鏡で撮影された画像を取得する処理と、
取得した前記画像をディスプレイに表示させる処理と、
取得した前記画像から前記処置の対象となる注目領域を検出する処理と、
前記内視鏡の先端から突出させた前記器具で処置可能な位置に前記注目領域が存在するか否かを判定する処理と、
前記内視鏡の先端から突出させた前記器具で処置可能な位置に前記注目領域が存在すると判定した場合に、前記器具で処置可能な位置に前記注目領域が存在することを報知する処理と、
を行う、
画像処理装置。

【請求項2】

前記プロセッサは、前記画像に設定された基準点から前記注目領域までの距離が第１閾値以下であるか否かを判定して、前記内視鏡の先端から突出させた前記器具で処置可能な位置に前記注目領域が存在するか否かを判定する、
請求項１に記載の画像処理装置。

【請求項3】

前記基準点が前記画像の中心である、
請求項２に記載の画像処理装置。

【請求項4】

前記プロセッサは、前記内視鏡の先端から突出する前記器具の延長線から前記注目領域までの距離が第２閾値以下であるか否かを判定して、前記内視鏡の先端から突出させた前記器具で処置可能な位置に前記注目領域が存在するか否かを判定する、
請求項１に記載の画像処理装置。

【請求項5】

前記プロセッサは、取得した前記画像から前記注目領域と前記器具との間に障害物が存在するか否かを判定する処理を更に行い、
前記プロセッサは、前記障害物が存在しないと判定し、かつ、前記内視鏡の先端から突出させた前記器具で処置可能な位置に前記注目領域が存在すると判定した場合に、前記器具で処置可能な位置に前記注目領域が存在することを報知する、
請求項１から４のいずれか１項に記載の画像処理装置。

【請求項6】

前記プロセッサは、取得した前記画像から前記器具を検出する処理を更に行い、
前記プロセッサは、前記画像から前記器具を検出し、かつ、前記内視鏡の先端から突出させた前記器具で処置可能な位置に前記注目領域が存在すると判定した場合に、前記器具で処置可能な位置に前記注目領域が存在することを報知する処理を行う、
請求項１から４のいずれか１項に記載の画像処理装置。

【請求項7】

前記プロセッサは、前記ディスプレイに表示される表示画像を変更して、前記器具で処置可能な位置に前記注目領域が存在することを報知する、
請求項１から６のいずれか１項に記載の画像処理装置。

【請求項8】

前記プロセッサは、前記表示画像に設定された前記画像の表示領域の表示を変更して、前記器具で処置可能な位置に前記注目領域が存在することを報知する、
請求項７に記載の画像処理装置。

【請求項9】

前記プロセッサは、前記表示領域に表示させる前記画像に重ねて前記注目領域を示す図形を表示して、前記器具で処置可能な位置に前記注目領域が存在することを報知する、
請求項８に記載の画像処理装置。

【請求項10】

前記プロセッサは、前記注目領域が検出された場合に、前記表示画像に設定された前記画像の表示領域に表示させる前記画像に重ねて前記注目領域を示す図形を表示させる処理を更に行い、
前記プロセッサは、前記図形の表示を変更して、前記器具で処置可能な位置に前記注目領域が存在することを報知する、
請求項７に記載の画像処理装置。

【請求項11】

前記プロセッサは、前記図形の色、形、明るさ及び線種の少なくとも１つを変更して、前記図形の表示を変更する、
請求項１０に記載の画像処理装置。

【請求項12】

前記プロセッサは、前記表示画像に設定された前記画像の表示領域に表示させる前記画像に重ねて前記器具の突出方向を示す情報を表示させる処理を更に行い、
前記プロセッサは、前記器具の突出方向を示す情報の表示を変更して、前記器具で処置可能な位置に前記注目領域が存在することを報知する、
請求項７に記載の画像処理装置。

【請求項13】

前記プロセッサは、前記器具の突出方向を示す情報として、前記器具の突出方向に沿った直線を表示する、
請求項１２に記載の画像処理装置。

【請求項14】

前記プロセッサは、前記直線の色、明るさ及び線種の少なくとも１つを変更して、前記直線の表示を変更する、
請求項１３に記載の画像処理装置。

【請求項15】

前記プロセッサは、前記表示画像に設定された前記画像の表示領域以外の領域の表示を変更して、前記器具で処置可能な位置に前記注目領域が存在することを報知する、
請求項７に記載の画像処理装置。

【請求項16】

前記プロセッサは、前記画像の表示領域以外の領域に情報を表示して、前記器具で処置可能な位置に前記注目領域が存在することを報知する、
請求項１５に記載の画像処理装置。

【請求項17】

前記プロセッサは、前記情報としてメッセージ又は図形を表示する、
請求項１６に記載の画像処理装置。

【請求項18】

前記プロセッサは、音声を出力させて、前記器具で処置可能な位置に前記注目領域が存在することを報知する、
請求項１から１７のいずれか１項に記載の画像処理装置。

【請求項19】

前記注目領域が、病変部である、
請求項１から１８のいずれか１項に記載の画像処理装置。

【請求項20】

前記注目領域が、臓器である、
請求項１から１９のいずれか１項に記載の画像処理装置。

【請求項21】

先端から突出させた器具を用いて処置が可能な内視鏡と、前記内視鏡で撮影された画像を処理する画像処理装置と、を備えた内視鏡システムの作動方法であって、
前記画像処理装置が、前記内視鏡で撮影された画像を取得するステップと、
前記画像処理装置が、前記内視鏡から取得した前記画像をディスプレイに表示させるステップと、
前記画像処理装置が、前記内視鏡から取得した前記画像から前記処置の対象となる注目領域を検出するステップと、
前記画像処理装置が、前記内視鏡の先端から突出させた前記器具で処置可能な位置に前記注目領域が存在するか否かを判定するステップと、
前記画像処理装置が、前記内視鏡の先端から突出させた前記器具で処置可能な位置に前記注目領域が存在すると判定した場合に、前記器具で処置可能な位置に前記注目領域が存在することを報知するステップと、
を含む、
内視鏡システムの作動方法。

【請求項22】

先端から突出させた器具を用いて処置が可能な内視鏡で撮影された画像を取得する機能と、
取得した前記画像をディスプレイに表示させる機能と、
取得した前記画像から前記処置の対象となる注目領域を検出する機能と、
前記内視鏡の先端から突出させた前記器具で処置可能な位置に前記注目領域が存在するか否かを判定する機能と、
前記内視鏡の先端から突出させた前記器具で処置可能な位置に前記注目領域が存在すると判定した場合に、前記器具で処置可能な位置に前記注目領域が存在することを報知する機能と、
をコンピュータに実現させる、
画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理プログラム、及び、内視鏡システムの作動方法に係り、特に、先端から器具の突出が可能な内視鏡で撮影された画像を処理する画像処理装置、画像処理プログラム、及び、内視鏡システムの作動方法に関する。

【背景技術】

【0002】

内視鏡による検査を支援する技術として、内視鏡で撮影された画像から画像処理により病変等の注目領域を自動で検出し、報知する技術が知られている。

【0003】

特許文献１には、効率よく検査を支援するために、内視鏡で撮影された画像から内視鏡の操作者の動作を判定し、処置等の所定の動作がなされていた画像は、注目領域の検出対象から除外することが提案されている。すなわち、処置等が行われている場合は、既に注目領域が発見されている可能性が高いので、画像処理による検出の必要性は低いものとみなして、検出対象から除外し、効率化を図っている。

【先行技術文献】

【特許文献】

【0004】

【文献】国際公開第WO2017/002184号

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、内視鏡による検査では、組織採取（バイオプシ）が行われる場合がある。組織採取は、内視鏡の先端部に備えられた鉗子口を介して行われる。組織採取の際は、ターゲットである病変を適切なタイミングで報知し、術者を支援することが期待される。

【0006】

しかしながら、特許文献１では、処置の際、ターゲットである病変の検出が行われなくなるため、術者を適切に支援できないという欠点がある。

【0007】

本発明は、このような事情に鑑みてなされたもので、器具を用いた処置を適切に支援できる画像処理装置、画像処理プログラム、及び、内視鏡システムの作動方法を提供することを目的とする。

【課題を解決するための手段】

【0008】

（１）先端から器具の突出が可能な内視鏡で撮影された画像を処理する画像処理装置であって、プロセッサを備え、プロセッサは、内視鏡で撮影された画像を取得する処理と、取得した画像をディスプレイに表示させる処理と、取得した画像から注目領域を検出する処理と、内視鏡の先端から突出させた器具が到達可能な位置に注目領域が存在するか否かを判定する処理と、内視鏡の先端から突出させた器具が到達可能な位置に注目領域が存在すると判定した場合に報知する処理と、を行う、画像処理装置。

【0009】

（２）プロセッサは、画像に設定された基準点から注目領域までの距離が第１閾値以下であるか否かを判定して、内視鏡の先端から突出させた器具が到達可能な位置に注目領域が存在するか否かを判定する、（１）の画像処理装置。

【0010】

（３）基準点が画像の中心である、（２）の画像処理装置。

【0011】

（４）プロセッサは、内視鏡の先端から突出する器具の延長線から注目領域までの距離が第２閾値以下であるか否かを判定して、内視鏡の先端から突出させた器具が到達可能な位置に注目領域が存在するか否かを判定する、（１）の画像処理装置。

【0012】

（５）プロセッサは、取得した画像から注目領域と器具との間に障害物が存在するか否かを判定する処理を更に行い、プロセッサは、障害物が存在しないと判定し、かつ、内視鏡の先端から突出させた器具が到達可能な位置に注目領域が存在すると判定した場合に報知する、（１）から（４）のいずれか一の画像処理装置。

【0013】

（６）プロセッサは、取得した画像から器具を検出する処理を更に行い、プロセッサは、画像から器具を検出し、かつ、内視鏡の先端から突出させた器具が到達可能な位置に注目領域が存在すると判定した場合に報知する処理を行う、（１）から（４）のいずれか一の画像処理装置。

【0014】

（７）プロセッサは、ディスプレイに表示される表示画像を変更して報知する、（１）から（６）のいずれか一の画像処理装置。

【0015】

（８）プロセッサは、表示画像に設定された画像の表示領域の表示を変更して報知する、（７）の画像処理装置。

【0016】

（９）プロセッサは、表示領域に表示させる画像に重ねて注目領域を示す図形を表示して報知する、（８）の画像処理装置。

【0017】

（１０）プロセッサは、注目領域が検出された場合に、表示画像に設定された画像の表示領域に表示させる画像に重ねて注目領域を示す図形を表示させる処理を更に行い、プロセッサは、図形の表示を変更して報知する、（７）の画像処理装置。

【0018】

（１１）プロセッサは、図形の色、形、明るさ及び線種の少なくとも１つを変更して、図形の表示を変更する、（１０）の画像処理装置。

【0019】

（１２）プロセッサは、表示画像に設定された画像の表示領域に表示させる画像に重ねて器具の突出方向を示す情報を表示させる処理を更に行い、プロセッサは、器具の突出方向を示す情報の表示を変更して報知する、（７）の画像処理装置。

【0020】

（１３）プロセッサは、器具の突出方向を示す情報として、器具の突出方向に沿った直線を表示する、（１２）の画像処理装置。

【0021】

（１４）プロセッサは、直線の色、明るさ及び線種の少なくとも１つを変更して、直線の表示を変更する、（１３）の画像処理装置。

【0022】

（１５）プロセッサは、表示画像に設定された画像の表示領域以外の領域の表示を変更して報知する、（７）の画像処理装置。

【0023】

（１６）プロセッサは、画像の表示領域以外の領域に情報を表示して報知する、（１５）の画像処理装置。

【0024】

（１７）プロセッサは、情報としてメッセージ又は図形を表示する、（１６）の画像処理装置。

【0025】

（１８）プロセッサは、音声を出力させて報知する、（１）から（１７）のいずれか一の画像処理装置。

【0026】

（１９）注目領域が、病変部である、（１）から（１８）のいずれか一の画像処理装置。

【0027】

（２０）注目領域が、臓器である、（１）から（１９）のいずれか一の画像処理装置。

【0028】

（２１）先端から器具の突出が可能な内視鏡で撮影された画像を取得するステップと、取得した画像をディスプレイに表示させるステップと、取得した画像から注目領域を検出するステップと、内視鏡の先端から突出させた器具が到達可能な位置に注目領域が存在するか否かを判定するステップと、内視鏡の先端から突出させた器具が到達可能な位置に注目領域が存在すると判定した場合に報知するステップと、を含む、画像処理方法。

【0029】

（２２）先端から器具の突出が可能な内視鏡で撮影された画像を取得する機能と、取得した画像をディスプレイに表示させる機能と、取得した画像から注目領域を検出する機能と、内視鏡の先端から突出させた器具が到達可能な位置に注目領域が存在するか否かを判定する機能と、内視鏡の先端から突出させた器具が到達可能な位置に注目領域が存在すると判定した場合に報知する機能と、をコンピュータに実現させる、画像処理プログラム。

【発明の効果】

【0030】

本発明によれば、器具を用いた処置を適切に支援できる。

【図面の簡単な説明】

【0031】

【図1】本開示が適用された内視鏡システムのシステム構成の一例を示すブロック図

【図2】内視鏡の一例を示す図

【図3】内視鏡の挿入部の先端の構成の一例を示す斜視図

【図4】画像処理装置が実現する一機能のブロック図

【図5】鉗子口から処置具を突出させた場合の表示画像の一例を示す図

【図6】表示画像の一例を示す図

【図7】表示画像の一例を示す図

【図8】画像処理装置によるディスプレイへの内視鏡画像の表示の処理の手順を示すフローチャート

【図9】表示画像の第１の変形例を示す図

【図10】表示画像の第２の変形例を示す図

【図11】本開示が適用された超音波内視鏡システムのシステム構成の一例を示すブロック図

【図12】超音波内視鏡の一例を示す図

【図13】超音波内視鏡の挿入部の先端の構成の一例を示す斜視図

【図14】第２の実施の形態の画像処理装置が実現する一機能のブロック図

【図15】処置具突出口から処置具を突出させた場合の表示画像の一例を示す図

【図16】表示画像の一例を示す図

【図17】表示画像の一例を示す図

【図18】画像処理装置によるディスプレイへの内視鏡画像の表示の処理の手順を示すフローチャート

【図19】表示画像の第１の変形例を示す図

【図20】表示画像の第２の変形例を示す図

【図21】第３の実施の形態の画像処理装置が実現する一機能のブロック図

【図22】表示画像の一例を示す図

【図23】表示画像の一例を示す図

【図24】画像処理装置によるディスプレイへの内視鏡画像の表示の処理の手順を示すフローチャート

【図25】第４の実施の形態の画像処理装置が実現する一機能のブロック図

【図26】画像処理装置によるディスプレイへの内視鏡画像の表示の処理の手順を示すフローチャート

【発明を実施するための形態】

【0032】

以下、添付図面に従って本発明の好ましい実施形態について詳説する。

【0033】

［第１の実施の形態］
［システム構成］
図１は、本開示が適用された内視鏡システムのシステム構成の一例を示すブロック図である。

【0034】

同図に示すように、本実施の形態の内視鏡システム１は、内視鏡１０、光源装置１００、プロセッサ装置２００、画像処理装置３００及びディスプレイ４００を備える。

【0035】

図２は、内視鏡の一例を示す図である。

【0036】

この内視鏡１０は、軟性鏡（電子内視鏡）であり、かつ、先端から処置具の突出が可能な内視鏡である。図２に示すように、内視鏡１０は、主として、挿入部１２、操作部１４及び接続部１６で構成される。

【0037】

挿入部１２は、体腔内に挿入される部位である。挿入部１２は、先端側から順に先端部１２Ａ、湾曲操作が可能な湾曲部１２Ｂ及び可撓性を有する軟性部１２Ｃで構成される。

【0038】

図３は、内視鏡の挿入部の先端の構成の一例を示す斜視図である。

【0039】

同図に示すように、先端部１２Ａには、その端面に観察窓２０、照明窓２２、ノズル２４及び鉗子口２６等が備えられる。

【0040】

観察窓２０は、観察用の窓である。観察窓２０の内側には、撮像部が備えられる。撮像部は、撮像光学系及びイメージセンサを含んで構成される。イメージセンサは、たとえば、所定のカラーフィルタ配列（たとえば、ベイヤ配列等）を有するカラーＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ、カラーＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ等で構成される。

【0041】

照明窓２２は、照明用の窓である。光源装置１００から供給された照明光は、この照明窓２２から出射される。図３に示すように、本実施の形態の内視鏡１０では、２カ所に照明窓２２が備えられている。

【0042】

ノズル２４は、観察窓２０に向けて液体（たとえば、水）及び気体（たとえば、空気）を選択的に噴射する。観察窓２０が汚れた場合などは、このノズル２４から液体又は気体を噴射させて、汚れを洗い流す。

【0043】

鉗子口２６は、鉗子等の処置具５００の出口である。操作部１４に備えられた鉗子挿入口３８から挿入された処置具５００は、この鉗子口２６から突出する。処置具５００は、器具の一例である。

【0044】

湾曲部１２Ｂは、操作部１４に備えられたアングルノブ３０を操作することで、上下左右に湾曲する。これにより、先端部１２Ａを所望の方向に向けることができる。

【0045】

図２に示すように、操作部１４は、術者（ユーザ）が把持して、内視鏡１０を操作する部位である。操作部１４には、各種操作部材が備えられる。たとえば、湾曲部１２Ｂの湾曲操作を行うためのアングルノブ３０、送気送水操作を行うための送気送水ボタン３２、吸引操作を行うための吸引ボタン３４、静止画の撮影を行うためのシャッタボタン３６等が備えられる。

【0046】

また、図２に示すように、操作部１４には、鉗子等の処置具５００を挿入するための鉗子挿入口３８が備えられる。鉗子挿入口３８から挿入された処置具５００は、挿入部１２内に備えられた鉗子チャンネル４０を通って先端の鉗子口２６から突出する。

【0047】

接続部１６は、内視鏡１０を光源装置１００及びプロセッサ装置２００に接続するための部位である。接続部１６は、可撓性を有するコードで構成される。接続部１６の先端には、光源装置１００に接続するためのコネクタ１６Ａ及びプロセッサ装置２００に接続するためのコネクタ１６Ｂが備えられる。

【0048】

光源装置１００は、光源を備え、その光源の光を照明光として内視鏡１０に供給する。内視鏡１０に供給された照明光は、ライトガイド（不図示）を介して、先端の照明窓２２から出射される。光源の光には、たとえば、白色光が用いられる。

【0049】

プロセッサ装置２００は、内視鏡１０から出力される撮像信号を取り込み、所定の信号処理を施して、内視鏡１０による観察画像（内視鏡画像）を生成する処理を行う。また、プロセッサ装置２００は、システム全体を統括制御する。プロセッサ装置２００は、たとえば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を備えたコンピュータで構成される。プロセッサ装置２００は、ＣＰＵが所定のプログラムを実行することにより、内視鏡画像を生成する機能及びシステム全体を統括制御する機能等が実現される。ＲＯＭには、ＣＰＵが実行する各種プログラム、及び、制御及び処理等に必要なデータ等が記憶される。ＲＡＭは、ＣＰＵに作業用のメモリ空間を提供する。

【0050】

画像処理装置３００は、プロセッサ装置２００から出力される内視鏡画像を取得し、ディスプレイ４００に表示させる処理を行う。また、画像処理装置３００は、ディスプレイ４００を介して、術者による処置具５００を用いた所定の処置を支援する処理を行う。具体的には、組織採取を行う際に、術者がターゲット（病変等）を採取しやすいように、ディスプレイ４００に所定の情報を表示する。この点については、後述する。画像処理装置３００は、たとえば、ＣＰＵ、ＲＯＭ及びＲＡＭ等を備えたコンピュータで構成される。画像処理装置３００は、ＣＰＵが、所定のプログラムを実行することにより、画像処理装置として機能する。ＲＯＭには、ＣＰＵが実行する各種プログラム、及び、各種処理及び制御に必要なデータ等が記憶される。ＲＡＭは、ＣＰＵに作業用のメモリ空間を提供する。

【0051】

図４は、画像処理装置が実現する一機能のブロック図である。

【0052】

同図に示すように、画像処理装置３００は、画像取得部３００Ａ、注目領域検出部３００Ｂ、判定部３００Ｃ、表示画像生成部３００Ｄ及び表示制御部３００Ｅの機能を有する。これらの機能は、ＣＰＵが所定のプログラム（画像処理プログラム）を実行することにより実現される。

【0053】

画像取得部３００Ａは、プロセッサ装置２００から内視鏡画像を取得する。なお、内視鏡画像は、動画像である。画像取得部３００Ａは、動画像を構成する各フレームの画像を順次取得する。

【0054】

注目領域検出部３００Ｂは、画像取得部３００Ａで取得された各フレームの画像から注目領域を検出する。ここでの「注目領域」とは、処置の対象となる領域をいう。組織採取の場合は、ターゲットである病変部となる。注目領域検出部３００Ｂは、たとえば、画像認識により、内視鏡画像内から注目領域を検出する。画像認識は、たとえば、機械学習（たとえば、深層学習等）により生成した画像認識モデルを用いて行うことができる。この他、公知の手法を用いて行うことができる。

【0055】

なお、注目領域は、画像内での位置が特定されて検出される。位置は、たとえば、内視鏡画像内に存在する注目領域の中心又は重心の画素位置の情報として取得される。

【0056】

判定部３００Ｃは、注目領域が検出された場合に、処置具５００で処置しやすい位置に注目領域が位置しているか否かを内視鏡画像から判定する。処置具５００で処置しやすい位置とは、処置具５００が到達可能な位置である。したがって、判定部３００Ｃは、処置具５００が到達可能な位置に注目領域が存在するか否かを画像から判定する。判定は、次のように行われる。

【0057】

図５は、鉗子口から処置具を突出させた場合の表示画像（ディスプレイに表示される画像）の一例を示す図である。

【0058】

同図に示すように、表示画像４１０は、所定のアスペクト比を有する矩形の画像で構成される。内視鏡画像４１２は、表示画像４１０内に設定された所定の表示領域４１４に表示される。同図に示す例では、円の上下が切り欠かれた領域が、内視鏡画像４１２の表示領域４１４として設定されている。

【0059】

鉗子口２６から処置具５００を突出させると、内視鏡画像４１２に処置具５００が映り込む。鉗子口２６と観察窓２０との位置関係は固定であるため、処置具５００が映り込む位置は常に一定である。また、その突出方向（図５中矢印で示す方向）も一定である。したがって、内視鏡画像内で処置具５００が到達可能な範囲は事前に求めることができる。この範囲は、たとえば、図５に示すように、所定の基準点Ｐを中心とする半径ｒの円４１６で定めることができる。一般に処置具５００は、鉗子口２６から突出させると、その先端が内視鏡画像４１２の中心ないし中心の近傍に位置する。したがって、内視鏡画像４１２の中心を基準点Ｐに設定して、処置具５００が到達可能な範囲を定めることができる。

【0060】

判定部３００Ｃは、注目領域が、内視鏡画像４１２の中心（基準点Ｐ）を中心とした半径ｒの円４１６の範囲内に存在するか否かを判定して、処置具５００が到達可能な位置に注目領域が存在するか否かを判定する。換言すると、内視鏡画像４１２の中心（基準点Ｐ）から注目領域までの距離がｒ以下（第１閾値以下）であるか否かを判定して、処置具５００が到達可能な位置に注目領域が存在するか否かを判定する。ｒは第１閾値の一例である。注目領域が、内視鏡画像４１２の中心（基準点Ｐ）を中心とした半径ｒの円４１６の範囲内に存在する場合（内視鏡画像４１２の中心（基準点Ｐ）から注目領域までの距離がｒ以下の場合）、処置具５００が到達可能な位置に注目領域が存在すると判定する。一方、注目領域が、内視鏡画像４１２の中心（基準点Ｐ）を中心とした半径ｒの円４１６の範囲内に存在しない場合（内視鏡画像４１２の中心（基準点Ｐ）から注目領域までの距離がｒを超える場合）、処置具５００が到達可能な位置に注目領域が存在しないと判定する。

【0061】

表示画像生成部３００Ｄは、画像取得部３００Ａで取得した内視鏡画像からディスプレイ４００に表示するための表示画像を生成する。表示画像生成部３００Ｄは、判定部３００Ｃの判定結果に基づいて、表示画像を生成する。すなわち、判定部３００Ｃにおいて、処置具５００が到達可能な位置に注目領域が存在すると判定されると、表示画像を変更し、処置具５００が到達可能な位置に注目領域が存在することを術者に報知する。具体的には、内視鏡画像４１２の表示領域４１４の表示を変更する。

【0062】

図６及び図７は、表示画像の一例を示す図である。図６は、処置具５００が到達可能な位置に注目領域が存在しない場合の例を示している。図７は、処置具５００が到達可能な位置に注目領域が存在する場合の例を示している。

【0063】

処置具５００が到達可能な位置に注目領域が存在しない場合、図６に示すように、内視鏡画像４１２の表示領域４１４には、内視鏡画像４１２のみが表示される。なお、図６において、破線で示すクロス（Ｘ）のマーク４１８は、注目領域の位置を示している。図６に示す例では、注目領域の位置（マーク４１８の位置）が、円４１６の範囲外にあるため、処置具５００が到達可能な位置に注目領域が存在しないと判定される。なお、図６では、説明の都合上、処置具５００が到達可能な範囲を示す円４１６及び注目領域の位置を示すマーク４１８を表示しているが、これらは実際の表示画像４１０には表示されないものである。

【0064】

一方、処置具５００が到達可能な位置に注目領域が存在する場合、図７に示すように、内視鏡画像４１２の表示領域４１４には、内視鏡画像４１２に重ねて注目領域の位置を示すクロス（Ｘ）のマーク４２０が表示される。なお、図７では、説明の都合上、処置具５００が到達可能な範囲を示す円４１６を表示しているが、この円４１６は実際の表示画像４１０には表示されないものである。

【0065】

処置具５００が到達可能な位置に注目領域が存在する場合にのみ、注目領域の位置を示すマーク４２０を表示することで、処置のタイミングを適切に術者に報知できる。マーク４２０は、注目領域を示す図形の一例である。

【0066】

表示制御部３００Ｅは、表示画像生成部３００Ｄで生成された表示画像をディスプレイ４００に表示させる。

【0067】

ディスプレイ４００は、たとえば、液晶ディスプレイ、有機ＥＬディスプレイ（有機ＥＬ：Ｏｒｇａｎｉｃ ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｔ，ＯＥＬ）等で構成される。

【0068】

［動作］
ここでは、生検鉗子を用いて組織採取を行う場合を例に説明する。

【0069】

生検鉗子（処置具）５００は、図２に示すように、挿入部５１０及び操作部５１２を有する。挿入部５１０は、可撓性を有し、先端に先端爪部５１４を有する。操作部５１２は、ハンドル５１２Ａ及びスライダ５１２Ｂを有し、スライダ５１２Ｂを前後にスライドさせることにより、先端爪部５１４が開閉する。組織採取は、先端爪部５１４でターゲット（病変等）をつかみ採取する。

【0070】

図８は、画像処理装置によるディスプレイへの内視鏡画像の表示の処理の手順（画像処理方法）を示すフローチャートである。

【0071】

まず、プロセッサ装置２００から内視鏡画像を取得する（ステップＳ１）。内視鏡画像は、フレーム単位で順次取得される。

【0072】

次いで、取得した内視鏡画像から注目領域を検出する（ステップＳ２）。ここでの注目領域は、組織採取の対象となる病変部である。

【0073】

次いで、注目領域の検出結果に基づいて、注目領域が検出されたか否かを判定する（ステップＳ３）。

【0074】

注目領域が検出されなかったと判定すると、通常の表示画像を生成する（ステップＳ４）。そして、生成した表示画像をディスプレイ４００に表示する（ステップＳ７）。ここで、通常の表示画像とは、内視鏡画像中に注目領域の位置を示すマークが表示されていない画像（マークの表示がオフの画像）である（図６参照）。

【0075】

一方、注目領域が検出されたと判定すると、更に、生検鉗子５００が到達可能な位置に注目領域が存在するか否かを判定する（ステップＳ５）。

【0076】

生検鉗子５００が到達可能な位置に注目領域が存在しないと判定すると、注目領域が検出されなかった場合と同様に、通常の表示画像を生成し（ステップＳ４）、生成した表示画像をディスプレイ４００に表示する（ステップＳ７）。

【0077】

一方、生検鉗子５００が到達可能な位置に注目領域が存在すると判定すると、注目領域の位置を示すマークを表示した表示画像を生成する（ステップＳ６）。そして、生成した表示画像をディスプレイ４００に表示する（ステップＳ７）。注目領域の位置を示すマークを表示した表示画像は、図７に示すように、内視鏡画像４１２に注目領域の位置を示すマーク４２０が重ねて表示された画像（マークの表示がオンの画像）である。

【0078】

この後、内視鏡１０による撮影が終了したか否かを判定する（ステップＳ８）。そして、撮影の終了により、表示の処理を終了する。撮影の終了は、たとえば、次のフレームの画像の入力の有無により判定する。撮影が終了していない場合は、ステップＳ１に戻り、上記の一連の処理を実施する。

【0079】

このように、本実施の形態の内視鏡システム１によれば、生検鉗子５００が到達可能な位置に注目領域が位置すると、表示画像中に注目領域の位置を示すマークが表示される。これにより、組織採取の際に、ターゲットである病変を適切なタイミングで術者に報知でき、術者による処置を適切に支援できる。

【0080】

［変形例］
［報知の変形例］
上記実施の形態では、注目領域の位置を示すマークを内視鏡画像に重ねて表示することで、処置具が到達可能な位置に注目領域が位置したことを報知する構成としているが、報知の手法は、これに限定されるものではない。以下に報知の手法の変形例を説明する。

【0081】

（１）報知の手法の第１の変形例
図９は、表示画像の第１の変形例を示す図である。同図（Ａ）に示す表示画像４１０Ａは、処置具５００が到達可能な位置に注目領域が位置していない場合の表示画像である。同図（Ｂ）に示す表示画像４１０Ｂは、処置具が到達可能な位置に注目領域が位置している場合の表示画像である。

【0082】

図９（Ａ）及び（Ｂ）に示すように、本例の場合、内視鏡画像４１２Ａ、４１２Ｂから注目領域が検出されると、その位置を示すマーク４２０Ａ、４２０Ｂが内視鏡画像４１２Ａ、４１２Ｂに重ねて表示される。

【0083】

しかしながら、処置具５００が到達可能な位置に注目領域が位置している場合と位置していない場合とで、マーク４２０Ａ、４２０Ｂの表示形態が異なる。

【0084】

図９（Ａ）に示すように、処置具５００が到達可能な位置に注目領域が位置していない場合、マーク４２０Ａは細線で表示される。一方、処置具５００が到達可能な位置に注目領域が位置している場合、図９（Ｂ）に示すように、マーク４２０Ｂは太線で表示される。すなわち、処置具５００が到達可能な位置に注目領域が位置している場合と位置していない場合とで、強調度合いが変えられてマーク４２０Ａ、４２０Ｂが表示される。処置具５００が到達可能な位置に注目領域が位置している場合はマーク４２０Ｂの強調度合いが強められ、逆に処置具５００が到達可能な位置に注目領域が位置していない場合はマーク４２０Ａの強調度合いが弱められる。

【0085】

このように、処置具が到達可能な位置に注目領域が位置している場合と位置していない場合とでマークの表示形態を変えることで、処置具が到達可能な位置に注目領域が位置していることを報知することもできる。

【0086】

なお、本例では、マークの線の太さを変えることで、マークの表示形態を切り替える構成としているが、マークの表示形態の切り替え手法は、これに限定されるものではない。マークの色、形、明るさ及び線種の少なくとも１つを変更して、マークの表示形態を切り替えることができる。この場合、処置具が到達可能な位置に注目領域が位置している場合により強調度合いが強まるように、マークの表示形態を切り替えることが好ましい。

【0087】

この他、処置具が到達可能な位置に注目領域が位置した場合にマークを点滅させることで、報知する構成とすることもできる。

【0088】

また、注目領域の位置を示すマークの形状については、クロス（Ｘ）に限らず、種々の形状を採用できる。また、注目領域を示す図形として、注目領域を囲う図形（たとえば、矩形の枠等）を表示する構成とすることもできる。

【0089】

（２）報知の手法の第２の変形例
上記実施の形態では、表示画像に設定された内視鏡画像の表示領域の表示を変更して報知する構成としている。内視鏡画像の表示領域以外の表示を変更して報知する構成とすることもできる。

【0090】

図１０は、表示画像の第２の変形例を示す図である。同図において、破線で示すクロス（Ｘ）のマーク４１８は、注目領域の位置を示している。このマーク４１８は、説明の便宜上に表示しているものであり、実際の表示画像には表示されない。

【0091】

図１０（Ａ）に示す表示画像４１０Ａは、処置具５００が到達可能な位置に注目領域が位置していない場合の表示画像である。図１０（Ｂ）に示す表示画像４１０Ｂは、処置具５００が到達可能な位置に注目領域が位置している場合の表示画像である。

【0092】

図１０（Ｂ）に示すように、処置具５００が到達可能な位置に注目領域が位置している場合、内視鏡画像４１２Ｂの表示領域外の領域にメッセージ４２２が表示される。本例では、メッセージ４２２として、「Ｐｕｓｈ！」の文字を表示している。一方、処置具５００が到達可能な位置に注目領域が位置していない場合、図１０（Ａ）に示すように、当該メッセージは表示されない。

【0093】

このように、所定のメッセージ４２２を表示することで、処置具が到達可能な位置に注目領域が位置していることを報知することもできる。

【0094】

なお、本例では、内視鏡画像の表示領域以外の領域にメッセージを表示する構成としているが、メッセージの表示位置は、これに限定されるものではない。内視鏡画像の表示領域内に表示する構成とすることもできる。

【0095】

また、本例では、文字からなるメッセージを表示することで、処置具が到達可能な位置に注目領域が位置していることを報知する構成としているが、アイコン等を表示して、処置具が到達可能な位置に注目領域が位置していることを報知する構成とすることもできる。メッセージ、アイコンは、情報の一例である。

【0096】

（３）報知の手法の第３の変形例
処置具が到達可能な位置に注目領域が位置している場合に音声を出力して報知する構成とすることもできる。この場合、スピーカが別途備えられ、当該スピーカから所定の音声を出力して、処置具が到達可能な位置に注目領域が位置していることを報知する。

【0097】

なお、音声による報知は、ディスプレイ４００への表示による報知と併用することもできる。

【0098】

［処置具が到達可能な位置に注目領域が存在するか否かの判定の変形例］
基準点Ｐは、処置具が突出する位置、処置具の種類、及び、処置の内容等を考慮して、処置しやすい位置に設定する。同様に、閾値ｒも処置具の種類、処置の内容等を考慮して設定する。

【0099】

また、処置具が到達可能な位置に注目領域が存在するか否かを判定する方法は、上記実施の形態で説明した手法に限定されるものではない。たとえば、注目領域までの距離を計測し、計測した距離が閾値以下か否かを判定して、処置具が到達可能な位置に注目領域が存在するか否かを判定してもよい。注目領域までの距離は、たとえば、公知の画像計測の手法を用いて、内視鏡画像から計測する。

【0100】

また、内視鏡画像内に設定した基準点に基づいて判定する場合、閾値ｒ（第１閾値）は、処置具の種類及び処置の種類等に変わらず一定とすることもできるが、処置具の種類及び処置の種類等に応じて個別に設定することもできる。たとえば、処置具の種類及び処置の種類等に変わらず一定とする場合は、内視鏡画像の幅の１／１０を閾値として設定できる。また、処置具の種類に応じて閾値を変える場合は、たとえば、次のように設定することができる。たとえば、鉗子を用いた処置を行う場合は、内視鏡画像の幅の１／１０を閾値として設定する。また、局注針を用いた処置（局注）を行う場合は、内視鏡画像の幅の１／２０を閾値として設定する。局注は、病変の根本というピンポイントで行うため、より狭い範囲となるように閾値を設定する。また、スネアを用いた処置を行う場合は、内視鏡画像の幅の１／２を閾値として設定する。スネアは大きく広げて病変を捕捉できるため、より広い範囲となるように閾値を設定する。

【0101】

また、内視鏡及び／又は処置具の操作状況も加味して、報知の要否を判定する構成とすることもできる。たとえば、スネアを用いた処置を行う場合、スネアの開き具体の情報を加味して、報知の要否を判定することができる。すなわち、注目領域を採取可能なサイズでスネアが開かれているか否かを判定して、報知の要否を判定する。この場合、スネアの開き具体は、たとえば、画像から検出する構成とすることができる。この他、たとえば、穿刺針を用いた処置を行う場合であって、穿刺針の突出角度を調整可能な場合、その突出角度の情報を加味して、報知の要否を判定することができる。

【0102】

［第２の実施の形態］
ここでは、本開示を超音波内視鏡システムに適用した場合の例について説明する。

【0103】

［システム構成］
図１１は、本開示が適用された超音波内視鏡システムのシステム構成の一例を示すブロック図である。

【0104】

同図に示すように、本実施の形態の超音波内視鏡システム１０００は、超音波内視鏡１０１０、光源装置１１００、内視鏡用プロセッサ装置１２００、超音波用プロセッサ装置１５００、画像処理装置１３００及びディスプレイ１４００を備える。

【0105】

図１２は、超音波内視鏡の一例を示す図である。

【0106】

同図に示す超音波内視鏡１０１０は、コンベックス型の超音波内視鏡であり、主として、挿入部１０１２、操作部１０１４及び接続部１０１６で構成される。

【0107】

挿入部１０１２は、先端側から順に先端部１０１２Ａ、湾曲操作が可能な湾曲部１０１２Ｂ、可撓性を有する軟性部１０１２Ｃで構成される。

【0108】

図１３は、超音波内視鏡の挿入部の先端の構成の一例を示す斜視図である。

【0109】

同図に示すように、先端部１０１２Ａには、処置具突出部１０２０、内視鏡観察部１０３０及び超音波探触子１０４０が備えられる。

【0110】

処置具突出部１０２０には、処置具が突出する処置具突出口１０２２、及び、処置具の突出方向を調整する起立台１０２４等が備えられる。起立台１０２４は、操作部１０１４に備えられた起立レバー１０５６の操作に応じて搖動し、処置具の突出角度を変更する。

【0111】

内視鏡観察部１０３０には、観察窓１０３２、照明窓１０３４及びノズル１０３６等が備えらえる。観察窓１０３２の内側には、撮像部が備えられる。撮像部は、撮像光学系及びイメージセンサを含んで構成される。

【0112】

超音波探触子１０４０は、その内部に超音波を送受信する複数の圧電素子、及び、音響レンズ等を有する。

【0113】

図１２に示すように、操作部１０１４には、各種操作部材が備えられる。たとえば、湾曲部１０１２Ｂを湾曲操作するためのアングルノブ１０５０、吸引操作を行うための吸引ボタン１０５２、送気送水操作を行うための送気送水ボタン１０５４、及び、起立台１０２４を起立操作するための起立レバー１０５６等が備えられる。

【0114】

また、図１２に示すように、操作部１０１４には、処置具を挿入するための処置具挿入口１０６０が備えられる。処置具挿入口１０６０から挿入された処置具は、挿入部１０１２内に備えられた処置具チャンネル（不図示）を通って先端の処置具突出口１０２２から突出する。

【0115】

接続部１０１６は、超音波内視鏡１０１０を光源装置１１００、内視鏡用プロセッサ装置１２００及び超音波用プロセッサ装置１５００に接続するための部位である。接続部１０１６は、可撓性を有するコードで構成される。接続部１０１６の先端には、光源装置１１００に接続するためのコネクタ１０１６Ａ、内視鏡用プロセッサ装置１２００に接続するためのコネクタ１０１６Ｂ及び超音波用プロセッサ装置１５００に接続するためのコネクタ１０１６Ｃが備えられる。

【0116】

光源装置１１００は、光源を備え、その光源の光を照明光として超音波内視鏡１０１０に供給する。超音波内視鏡１０１０に供給された照明光は、ライトガイド（不図示）を介して、先端の照明窓１０３４から出射される。光源の光には、たとえば、白色光が用いられる。

【0117】

内視鏡用プロセッサ装置１２００は、超音波内視鏡１０１０の撮像部から出力される撮像信号を取り込み、所定の信号処理を施して、内視鏡観察部１０３０による観察画像（内視鏡画像）を生成する。また、内視鏡用プロセッサ装置１２００は、システム全体を統括制御する。内視鏡用プロセッサ装置１２００は、たとえば、ＣＰＵ、ＲＯＭ及びＲＡＭ等を備えたコンピュータで構成される。内視鏡用プロセッサ装置１２００は、ＣＰＵが所定のプログラムを実行することにより、内視鏡画像を生成する機能及びシステム全体を統括制御する機能等が実現される。ＲＯＭには、ＣＰＵが実行する各種プログラム、及び、制御及び処理等に必要なデータ等が記憶される。ＲＡＭは、ＣＰＵに作業用のメモリ空間を提供する。

【0118】

超音波用プロセッサ装置１５００は、超音波内視鏡１０１０の超音波探触子１０４０を介して得られる超音波による撮像信号を取り込み、所定の信号処理を施して、超音波による観察画像（超音波画像）を生成する。超音波用プロセッサ装置１５００は、たとえば、ＣＰＵ、ＲＯＭ及びＲＡＭ等を備えたコンピュータで構成される。超音波用プロセッサ装置１５００は、ＣＰＵが所定のプログラムを実行することにより、超音波画像を生成する機能等が実現される。ＲＯＭには、ＣＰＵが実行する各種プログラム、及び、制御及び処理等に必要なデータ等が記憶される。ＲＡＭは、ＣＰＵに作業用のメモリ空間を提供する。

【0119】

画像処理装置１３００は、内視鏡用プロセッサ装置１２００から出力される内視鏡画像及び超音波用プロセッサ装置１５００から出力される超音波画像を取得し、ディスプレイ１４００に表示させる処理を行う。また、画像処理装置１３００は、ディスプレイ１４００を介して、術者による処置具を用いた所定の処置を支援する処理を行う。画像処理装置１３００は、たとえば、ＣＰＵ、ＲＯＭ及びＲＡＭ等を備えたコンピュータで構成される。画像処理装置１３００は、ＣＰＵが、所定のプログラムを実行することにより、画像処理装置として機能する。ＲＯＭには、ＣＰＵが実行する各種プログラム、及び、各種処理及び制御に必要なデータ等が記憶される。ＲＡＭは、ＣＰＵに作業用のメモリ空間を提供する。

【0120】

画像処理装置１３００が行う処置の支援に関して、内視鏡画像に基づく処置の支援は、上記第１の実施の形態と同じである。ここでは、超音波画像に基づく処置の支援について説明する。

【0121】

図１４は、本実施の形態の画像処理装置が実現する一機能のブロック図である。

【0122】

同図に示すように、画像処理装置１３００は、画像取得部１３００Ａ、注目領域検出部１３００Ｂ、判定部１３００Ｃ、表示画像生成部１３００Ｄ及び表示制御部１３００Ｅの機能を有する。これらの機能は、ＣＰＵが所定のプログラム（画像処理プログラム）を実行することにより実現される。

【0123】

画像取得部１３００Ａは、超音波用プロセッサ装置１５００から超音波画像を取得する。なお、超音波画像は、動画像である。画像取得部１３００Ａは、動画像を構成する各フレームの画像を順次取得する。

【0124】

注目領域検出部１３００Ｂは、画像取得部１３００Ａで取得された各フレームの画像から注目領域を検出する。ここでの「注目領域」とは、処置の対象となる領域をいう。組織採取の場合は、ターゲットである病変部となる。注目領域検出部１３００Ｂは、たとえば、画像認識により、内視鏡画像内から注目領域を検出する。画像認識は、たとえば、機械学習（たとえば、深層学習等）により生成した画像認識モデルを用いて行うことができる。この他、公知の手法を用いて行うことができる。

【0125】

なお、注目領域は、画像内での位置が特定されて検出される。位置は、たとえば、内視鏡画像内に存在する注目領域の中心又は重心の画素位置の情報として取得される。

【0126】

判定部１３００Ｃは、注目領域が検出された場合に、処置具が到達可能な位置に注目領域が存在するか否かを判定する。判定は、次のように行われる。

【0127】

図１５は、処置具突出口から処置具を突出させた場合の表示画像（ディスプレイに表示される画像）の一例を示す図である。同図は、超音波内視鏡下穿刺吸引法（Ｅｎｄｏｓｃｏｐｉｃ Ｕｌｔｒａｓｏｕｎｄ－Ｆｉｎｅ Ｎｅｅｄｌｅ Ａｓｐｉｒａｔｉｏｎ，ＥＵＳ－ＦＮＡ）によって組織採取を行う場合の例を示している。

【0128】

同図に示すように、ディスプレイ１４００への表示画像１４１０は、所定のアスペクト比を有する矩形の画像で構成される。超音波画像１４１２は、表示画像１４１０内に設定された所定の表示領域１４１４に表示される。同図に示す例では、扇状領域が超音波画像１４１２の表示領域１４１４として設定されている。

【0129】

処置具突出口１０２２から処置具（穿刺針）１６００を突出させると、超音波画像１４１２に処置具１６００が映り込む。処置具突出口１０２２と超音波探触子１０４０との位置関係は固定であるため、処置具１６００が映り込む位置は常に一定である。また、その突出方向も一定である。図１５において、破線で示す直線Ｌは、処置具突出口１０２２から突出する処置具１６００の突出方向に沿って延びる延長線である。処置具突出口１０２２から処置具１６００を突出させた場合、処置具１６００は、超音波画像１４１２内において、直線Ｌに沿って進退移動する。判定部１３００Ｃは、この直線Ｌから注目領域までの距離Ｄが、閾値以下（第２閾値以下）であるか否かを判定して、処置具１６００が到達可能な位置に注目領域が存在するか否かを判定する。直線Ｌから注目領域までの距離Ｄは、注目領域から直線Ｌに向けて延ばした垂線の距離として計測される。距離Ｄが、閾値以下の場合、処置具１６００が到達可能な位置に注目領域が存在すると判定する。一方、距離Ｄが、閾値を超える場合、処置具１６００が到達可能な位置に注目領域が存在しないと判定する。

【0130】

表示画像生成部１３００Ｄは、画像取得部１３００Ａで取得した超音波画像からディスプレイ１４００に表示するための表示画像を生成する。表示画像生成部１３００Ｄは、判定部１３００Ｃの判定結果に基づいて、表示画像を生成する。すなわち、判定部１３００Ｃにおいて、処置具１６００が到達可能な位置に注目領域が存在すると判定されると、表示画像を変更し、処置具１６００が到達可能な位置に注目領域が存在することを術者に報知する。具体的には、超音波画像１４１２の表示領域１４１４の表示を変更する。

【0131】

図１６及び図１７は、表示画像の一例を示す図である。図１６は、処置具１６００が到達可能な位置に注目領域が存在しない場合の例を示している。図１７は、処置具１６００が到達可能な位置に注目領域が存在する場合の例を示している。

【0132】

処置具１６００が到達可能な位置に注目領域が存在しない場合、図１６に示すように、超音波画像１４１２の表示領域１４１４には、超音波画像１４１２のみが表示される。なお、図１６において、破線で示すクロス（Ｘ）のマーク１４１８は、注目領域の位置を示している。図１６では、説明の都合上、処置具１６００の突出方向に沿って延びる直線Ｌ（処置具の延長線）及び注目領域の位置を示すマーク１４１８を表示しているが、これらは実際の表示画像１４１０には表示されないものである。

【0133】

一方、処置具１６００が到達可能な位置に注目領域が存在する場合、図１７に示すように、超音波画像１４１２の表示領域１４１４には、超音波画像１４１２に重ねて注目領域の位置を示すクロス（Ｘ）のマーク１４２０が表示される。なお、図１７では、説明の都合上、処置具１６００の突出方向に沿って延びる直線Ｌ（処置具の延長線）を表示しているが、この直線Ｌは実際の表示画像１４１０には表示されないものである。

【0134】

処置具１６００が到達可能な位置に注目領域が存在する場合にのみ、注目領域の位置を示すマーク１４２０を表示することで、処置のタイミングを適切に術者に報知できる。

【0135】

表示制御部１３００Ｅは、表示画像生成部１３００Ｄで生成された表示画像をディスプレイ４００に表示させる。

【0136】

［動作］
ここでは、超音波内視鏡下穿刺吸引法によって組織採取を行う場合を例に説明する。超音波内視鏡下穿刺吸引法による組織採取では、処置具として穿刺針１６００が使用される。穿刺針１６００は、超音波内視鏡１０１０の操作部１０１４に備えられた処置具挿入口１０６０から挿入される。処置具挿入口１０６０から挿入された穿刺針１６００は、挿入部１０１２の先端に備えられた処置具突出口１０２２から突出する。突出させた穿刺針１６００でターゲットを刺して組織を採取する。

【0137】

図１８は、画像処理装置によるディスプレイへの内視鏡画像の表示の処理の手順を示すフローチャートである。

【0138】

まず、超音波用プロセッサ装置１５００から超音波画像を取得する（ステップＳ１１）。次いで、取得した超音波画像から注目領域を検出する（ステップＳ１２）。ここでの注目領域は、組織採取の対象となる病変部である。次いで、注目領域の検出結果に基づいて、注目領域が検出されたか否かを判定する（ステップＳ１３）。注目領域が検出されなかったと判定すると、通常の表示画像を生成する（ステップＳ１４）。そして、生成した表示画像をディスプレイ１４００に表示する（ステップＳ１７）。ここで、通常の表示画像とは、超音波画像中に注目領域の位置を示すマークが表示されていない画像（マークの表示がオフの画像）である（図１６参照）。一方、注目領域が検出されたと判定すると、更に、穿刺針１６００が到達可能な位置に注目領域が存在するか否かを判定する（ステップＳ１５）。穿刺針１６００が到達可能な位置に注目領域が存在しないと判定すると、注目領域が検出されなかった場合と同様に、通常の表示画像を生成し（ステップＳ１４）、生成した表示画像をディスプレイ１４００に表示する（ステップＳ１７）。一方、穿刺針１６００が到達可能な位置に注目領域が存在すると判定すると、注目領域の位置を示すマークを表示した表示画像を生成する（ステップＳ１６）。そして、生成した表示画像をディスプレイ１４００に表示する（ステップＳ１７）。注目領域の位置を示すマークを表示した表示画像は、図１７に示すように、超音波画像１４１２に注目領域の位置を示すマーク１４２０が重ねて表示された画像（マークの表示がオンの画像）である。この後、超音波内視鏡１０１０による超音波撮影が終了したか否かを判定する（ステップＳ１８）。そして、撮影の終了により、表示の処理を終了する。撮影の終了は、たとえば、次のフレームの画像の入力の有無により判定する。撮影が終了していない場合は、ステップＳ１１に戻り、上記の一連の処理を実施する。

【0139】

このように、本実施の形態の超音波内視鏡システム１０００によれば、穿刺針１６００が到達可能な位置に注目領域が位置すると、表示画像中に注目領域の位置を示すマークが表示される。これにより、組織採取の際に、ターゲットを適切なタイミングで術者に報知でき、術者を適切に支援できる。

【0140】

［変形例］
［報知の変形例］
上記実施の形態では、注目領域の位置を示すマークを内視鏡画像に重ねて表示することで、処置具が到達可能な位置に注目領域が位置したことを報知する構成としているが、報知の手法は、これに限定されるものではない。以下に報知の手法の変形例を説明する。

【0141】

（１）報知の手法の第１の変形例
図１９は、表示画像の第１の変形例を示す図である。同図は、処置具が到達可能な位置に注目領域が位置している場合の表示画像を示している。

【0142】

同図に示すように、本例では、処置具１６００が到達可能な位置に注目領域が位置すると、注目領域の位置を示すマーク１４２０、及び、処置具１６００の突出方向を示すガイド線ＧＬが、超音波画像１４１２に重ねて表示される。ガイド線ＧＬは、処置具１６００の突出方向を示す情報であり、処置具１６００を処置具突出口１０２２から突出させた場合、このガイド線ＧＬに沿って処置具１６００が移動する。ガイド線ＧＬは、処置具突出口１０２２から突出する処置具１６００の延長線と一致する。

【0143】

このように、ガイド線ＧＬを表示することで、処置具１６００の突出方向が明確にでき、より良好な支援が実現できる。

【0144】

なお、本例では、処置具が到達可能な位置に注目領域が位置している場合にマーク１４２０及びガイド線ＧＬを表示する構成としているが、ガイド線ＧＬのみを表示させる構成とすることもできる。

【0145】

また、注目領域の位置を示すマーク１４２０は、常に表示しておき、処置具が到達可能な位置に注目領域が位置すると、ガイド線ＧＬを表示する構成とすることもできる。この場合、処置具が到達可能な位置に注目領域が位置している場合と位置していない場合とでマーク１４２０の表示形態を変更するようにしてもよい。たとえば、処置具が到達可能な位置に注目領域が位置すると、マーク１４２０の色、形、明るさ、線種等を切り替えて、強調度合いを変更するようにしてもよい。すなわち、処置具が到達可能な位置に注目領域が位置した場合に、マーク１４２０の強調度合いを強めるようにする。

【0146】

また、ガイド線ＧＬは、常に表示しておき、処置具が到達可能な位置に注目領域が位置すると、マーク１４２０を表示する構成とすることもできる。この場合も、処置具が到達可能な位置に注目領域が位置している場合と位置していない場合とでガイド線ＧＬの表示形態を変更するようにしてもよい。たとえば、処置具が到達可能な位置に注目領域が位置すると、ガイド線ＧＬの色、明るさ、線種等を切り替えて、強調度合いを変更するようにしてもよい。すなわち、処置具が到達可能な位置に注目領域が位置した場合に、ガイド線ＧＬの強調度合いを強めるようにする。

【0147】

更に、マーク１４２０及びガイド線ＧＬを常に表示しておき、処置具が到達可能な位置に注目領域が位置すると、マーク１４２０及びガイド線ＧＬの表示形態を変更するようにしてもよい。

【0148】

また、ガイド線ＧＬについては、注目領域の検出の有無に関わらず常に表示させる構成とすることもできる。

【0149】

なお、注目領域の位置を示すマーク１４２０の形状については、クロス（Ｘ）に限らず、種々の形状を採用できる。

【0150】

（２）報知の手法の第２の変形例
上記実施の形態では、超音波画像の表示領域の表示を変更して報知する構成としている。超音波画像の表示領域以外の表示を変更して報知する構成とすることもできる。

【0151】

図２０は、表示画像の第２の変形例を示す図である。

【0152】

同図に示すように、本例では、処置具が到達可能な位置に注目領域が位置している場合、超音波画像１４１２の表示領域１４１４外の領域にメッセージ１４２２が表示される。本例では、メッセージ１４２２として、「Ｐｕｓｈ！」の文字を表示している。

【0153】

このように、所定のメッセージ１４２２を表示することで、処置具が到達可能な位置に注目領域が位置していることを報知することもできる。

【0154】

なお、本例では、処置具が到達可能な位置に注目領域が位置している場合、メッセージ１４２２のみ表示する構成としているが、同時に注目領域の位置を示すマーク及び／又は突出方向を示すガイド線を表示する構成とすることもできる。また、マーク及び／又はガイド線については、常に表示させる構成とすることもできる。また、マーク及び／又はガイド線を常に表示させる場合は、処置具が到達可能な位置に注目領域が位置している場合と位置していない場合とで、その表示形態を切り替える構成とすることもできる。

【0155】

また、本例では、超音波画像の表示領域以外の領域にメッセージを表示する構成としているが、メッセージの表示位置は、これに限定されるものではない。超音波画像の表示領域内に表示する構成とすることもできる。

【0156】

また、メッセージに代えて、アイコン等を表示する構成とすることもできる。

【0157】

（３）報知の手法の第３の変形例
処置具が到達可能な位置に注目領域が位置している場合に音声を出力して報知する構成とすることもできる。この場合、スピーカが別途備えられ、当該スピーカから所定の音声を出力して、処置具が到達可能な位置に注目領域が位置していることを報知する。なお、音声による報知は、ディスプレイ４００への表示による報知と併用することもできる。

【0158】

［閾値（第２閾値）について］
処置具が到達可能な位置に注目領域が位置しているか否かを判定する際の閾値（第２閾値）については、処置具の種類及び処置の種類等に変わらず一定とすることもできるが、処置具の種類及び処置の種類等に応じて個別に設定することもできる。

【0159】

［第３の実施の形態］
上記第１及び第２の実施の形態では、処置具が到達可能な位置に注目領域が位置すると、注目領域の位置を示すマーク等を表示して、術者に報知する構成としている。本実施の形態では、更に、注目領域と処置具との間に障害物が存在するか否かを判定し、障害物が存在しない場合に報知する構成とする。以下、この処理を超音波内視鏡システムで実施する場合について説明する。

【0160】

図２１は、本実施の形態の画像処理装置が実現する一機能のブロック図である。

【0161】

同図に示すように、本実施の形態の画像処理装置１３００は、上記第２の実施の形態の画像処理装置に対し、更に障害物検出部１３００Ｆの機能を有する。

【0162】

障害物検出部１３００Ｆは、画像取得部１３００Ａで取得された超音波画像から障害物を検出する。ここでの「障害物」とは、処置具突出口１０２２が処置具１６００を突出させた際に障害となる物である。たとえば、大きな血管等が該当する。障害物検出部１３００Ｆは、たとえば、画像認識により、超音波画像内から障害物を検出する。画像認識は、たとえば、機械学習（たとえば、深層学習等）により生成した画像認識モデルを用いて行うことができる。この他、公知の手法を用いて行うことができる。

【0163】

なお、障害物は、画像内での位置が特定されて検出される。位置は、たとえば、超音波画像内に存在する障害物の中心又は重心の画素位置の情報として取得される。

【0164】

判定部１３００Ｃは、注目領域検出部１３００Ｂ及び障害物検出部１３００Ｆの検出結果に基づいて、報知の要否を判定する。具体的には、注目領域と処置具の先端との間に障害物が存在せず、かつ、処置具が到達可能な位置に注目領域が存在する場合に報知すると判定し、それ以外は報知しないと判定する。したがって、処置具が到達可能な位置に注目領域が存在する場合であっても、処置具の先端と注目領域との間に障害物が存在する場合は、報知しないと判定される。

【0165】

図２２及び図２３は、表示画像の一例を示す図である。図２２において、破線で示すクロス（Ｘ）のマーク１４１８は、注目領域の位置を示している。また、図２２及び図２３において、符号１４２４は、障害物（ここでは、動脈）を示している。図２２は、注目領域と処置具１６００との間に障害物が存在する場合の一例を示している。また、図２３は、注目領域と処置具１６００との間に障害物が存在せず、かつ、処置具１６００が到達可能な位置に注目領域が存在する場合の一例を示している。

【0166】

図２２に示すように、注目領域と処置具１６００との間に障害物１４２４が存在する場合、処置具１６００が到達可能な位置に注目領域が存在する場合であっても、超音波画像１４１２の表示領域１４１４には、超音波画像１４１２のみが表示される。なお、図２２では、説明の都合上、処置具１６００の突出方向に沿って延びる直線、および、注目領域を示すマーク１４１８を表示しているが、この直線およびマーク１４１８は実際の表示画像には表示されないものである。

【0167】

一方、図２３に示すように、注目領域と処置具１６００との間に障害物１４２４が存在せず、かつ、処置具１６００が到達可能な位置に注目領域が存在する場合は、ガイド線ＧＬ及び注目領域の位置を示すマーク１４２０が、超音波画像１４１２に重ねて表示される。

【0168】

図２４は、画像処理装置によるディスプレイへの内視鏡画像の表示の処理の手順を示すフローチャートである。

【0169】

まず、超音波用プロセッサ装置１５００から超音波画像を取得する（ステップＳ２１）。次いで、取得した超音波画像から注目領域を検出する（ステップＳ２２）。また、取得した超音波画像から障害物を検出する（ステップＳ２３）。障害物は、たとえば、動脈である。次いで、注目領域の検出結果に基づいて、注目領域が検出されたか否かを判定する（ステップＳ２４）。注目領域が検出されなかったと判定すると、通常の表示画像を生成する（ステップＳ２５）。そして、生成した表示画像をディスプレイ１４００に表示する（ステップＳ２９）。一方、注目領域が検出されたと判定すると、更に、穿刺針１６００が到達可能な位置に注目領域が存在するか否かを判定する（ステップＳ２６）。穿刺針１６００が到達可能な位置に注目領域が存在しないと判定すると、注目領域が検出されなかった場合と同様に、通常の表示画像を生成し（ステップＳ２５）、生成した表示画像をディスプレイ１４００に表示する（ステップＳ２９）。一方、穿刺針１６００が到達可能な位置に注目領域が存在すると判定すると、障害物の有無を判定する（ステップＳ２７）。すなわち、穿刺針１６００の先端と注目領域との間に障害物が存在するか否かを判定する。障害物が存在すると判定すると、注目領域が検出されなかった場合および穿刺針１６００が到達可能な位置に注目領域が存在しないと判定された場合と同様に、通常の表示画像を生成し（ステップＳ２５）、生成した表示画像をディスプレイ１４００に表示する（ステップＳ２９）。一方、障害物が存在しないと判定すると、注目領域の位置を示すマークを表示した表示画像を生成する（ステップＳ２８）。そして、生成した表示画像をディスプレイ１４００に表示する（ステップＳ２９）。この後、超音波内視鏡１０１０による超音波撮影が終了したか否かを判定する（ステップＳ３０）。そして、撮影の終了により、表示の処理を終了する。

【0170】

このように、本実施の形態の超音波内視鏡システム１０００によれば、真に処置可能な場合にのみ報知される。これにより、より適切に術者を支援できる。

【0171】

なお、本実施の形態では、報知する際、ガイド線ＧＬ及びマーク１４２０を表示する構成としているが、報知の形態は、これに限定されるものではない。たとえば、ガイド線ＧＬ及びマーク１４２０の一方を表示する構成とすることもできる。また、ガイド線ＧＬは常に表示させておき、マーク１４２０を表示して報知する構成とすることもできる。逆に、注目領域の位置を示すマーク１４２０を常に表示させておき、ガイド線ＧＬを表示して報知する構成とすることもできる。この他、音声による報知、表示領域以外の領域での情報表示等を組み合わせて報知することができる。

【0172】

また、本実施の形態では、超音波内視鏡での処理について説明したが、通常の内視鏡においても同様に障害物の有無を判定し、障害物が存在しない場合についてのみ報知の処理を行う構成とすることができる。

【0173】

［第４の実施の形態］
本実施の形態では、画像（内視鏡画像及び超音波画像）から処置具がスタンバイ状態であるか否かを判定し、スタンバイ状態である場合にのみ報知の処理を行う。スタンバイ状態とは、処置動作が可能な状態をいう。以下、超音波内視鏡システムで本処理を実現する場合を例に説明する。

【0174】

図２５は、本実施の形態の画像処理装置が実現する一機能のブロック図である。

【0175】

同図に示すように、本実施の形態の画像処理装置１３００は、上記第３の実施の形態の画像処理装置に対し、更に処置具検出部１３００Ｇの機能を有する。

【0176】

処置具検出部１３００Ｇは、画像取得部１３００Ａで取得された超音波画像から処置具（たとえば、穿刺針）を検出する。処置具検出部１３００Ｇは、たとえば、画像認識により、超音波画像内から処置具を検出する。画像認識は、たとえば、機械学習（たとえば、深層学習等）により生成した画像認識モデルを用いて行うことができる。この他、公知の手法を用いて行うことができる。

【0177】

判定部１３００Ｃは、処置具検出部１３００Ｇの検出結果に基づいて、報知の処理の要否を判定する。具体的には、処置具１６００が検出されている場合に報知の処理が必要と判定する。

【0178】

図２６は、画像処理装置によるディスプレイへの内視鏡画像の表示の処理の手順を示すフローチャートである。

【0179】

まず、超音波用プロセッサ装置１５００から超音波画像を取得する（ステップＳ４１）。次いで、取得した超音波画像から処置具を検出する（ステップＳ４２）。次いで、処置具の検出結果に基づいて、処置具が検出されたか否かを判定する（ステップＳ４２）。すなわち、画像内に処置具が映り込んでいるか否かを判定する。処置具が検出されなかったと判定すると、通常の表示画像を生成する（ステップＳ４４）。そして、生成した表示画像をディスプレイ１４００に表示する（ステップＳ５１）。一方、処置具が検出されたと判定すると、取得した超音波画像から注目領域を検出する（ステップＳ４５）。また、取得した超音波画像から障害物（たとえば、動脈）を検出する（ステップＳ４６）。次いで、注目領域の検出結果に基づいて、注目領域が検出されたか否かを判定する（ステップＳ４７）。注目領域が検出されなかったと判定すると、通常の表示画像を生成する（ステップＳ４４）。そして、生成した表示画像をディスプレイ１４００に表示する（ステップＳ５１）。一方、注目領域が検出されたと判定すると、更に、穿刺針１６００が到達可能な位置に注目領域が存在するか否かを判定する（ステップＳ４８）。穿刺針１６００が到達可能な位置に注目領域が存在しないと判定すると、注目領域が検出されなかった場合と同様に、通常の表示画像を生成し（ステップＳ４４）、生成した表示画像をディスプレイ１４００に表示する（ステップＳ５１）。一方、穿刺針１６００が到達可能な位置に注目領域が存在すると判定すると、障害物の有無を判定する（ステップＳ４９）。障害物が存在すると判定すると、注目領域が検出されなかった場合および穿刺針１６００が到達可能な位置に注目領域が存在しないと判定された場合と同様に、通常の表示画像を生成し（ステップＳ４４）、生成した表示画像をディスプレイ１４００に表示する（ステップＳ５１）。一方、障害物が存在しないと判定すると、注目領域の位置を示すマークを表示した表示画像を生成する（ステップＳ５０）。そして、生成した表示画像をディスプレイ１４００に表示する（ステップＳ５１）。この後、超音波内視鏡１０１０による超音波撮影が終了したか否かを判定する（ステップＳ５２）。そして、撮影の終了により、表示の処理を終了する。

【0180】

このように、本実施の形態の超音波内視鏡システム１０００によれば、スタンバイ状態の場合にのみ報知の処理が行われる。これにより、より適切に術者を支援できる。

【0181】

なお、本実施の形態では、超音波内視鏡システムで実施する場合を例に説明したが、通常の内視鏡システムにおいても同様に処置具のスタンバイ状態を検出し、スタンバイ状態である場合にのみ報知の処理を行う構成とすることができる。

【0182】

［その他の実施の形態］
［適用可能な処置］
上記実施の形態では、組織採取を行う場合を例に説明したが、本開示の適用は、これに限定されるものではない。内視鏡（超音波内視鏡を含む）の先端から各種器具を突出させて行う処置に適用できる。たとえば、上記実施の形態の組織採取の他、超音波内視鏡下の胆道ドレナージにおけるガイドワイヤの挿入等の処置にも適用できる。

【0183】

［注目領域］
注目領域は、病変部に限定されず、特定の臓器であってもよい。たとえば、注目領域となる病変部は、通常の内視鏡の場合、大腸ポリープ、胃がん、食道がん、バレット食道、潰瘍性大腸炎などが例示される。また、超音波内視鏡の場合、膵臓がんなどが例示される。注目領域となる臓器は、超音波内視鏡の場合、超音波内視鏡下胆道ドレナージにおける総胆管などが例示される。

【0184】

［画像処理装置のハードウェア構成について］
画像処理装置の諸機能は、各種のプロセッサ（ｐｒｏｃｅｓｓｏｒ）で実現できる。各種のプロセッサには、プログラムを実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ，ＰＬＤ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

【0185】

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサで構成されてもよい。たとえば、１つの処理部は、複数のＦＰＧＡ、又は、ＣＰＵ及びＦＰＧＡの組み合わせによって構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（Ｓｙｓｔｅｍ Ｏｎ Ｃｈｉｐ，ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

【0186】

更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（ｃｉｒｃｕｉｔｒｙ）である。

【0187】

また、画像処理装置の機能は、内視鏡システムを構成するプロセッサ装置、超音波内視鏡システムを構成する超音波用プロセッサ装置に搭載することもできる。

【0188】

［照明光について］
照明光は、白色光、あるいは、１又は複数の特定の波長帯域の光、あるいは、これらの組み合わせなど観察目的に応じた各種波長帯域の光が選択される。「特定の波長帯域」は、白色の波長帯域よりも狭い帯域である。特定の波長帯域に関する具体例を以下に示す。

【0189】

特定の波長帯域の第１例は、たとえば、可視域の青色帯域又は緑色帯域である。この第１例の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下の波長帯域又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、第１例の光は、３９０ｎｍ以上４５０ｎｍ以下の波長帯域内又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有する。

【0190】

特定の波長帯域の第２例は、たとえば、可視域の赤色帯域である。この第２例の波長帯域は、５８５ｎｍ以上６１５ｎｍ以下の波長帯域又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域を含み、かつ、第２例の光は、５８５ｎｍ以上６１５ｎｍの波長帯域内以下又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有する。

【0191】

特定の波長帯域の第３例は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、第３例の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する。この第３例の波長帯域は、４００±１０ｎｍの波長帯域、４４０±１０ｎｍの波長帯域、４７０±１０ｎｍの波長帯域、又は６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、かつ、第３例の光は、上記４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は６００ｎｍ以上７５０ｎｍ以下の波長帯域内にピーク波長を有する。

【0192】

特定の波長帯域の第４例は、生体内の蛍光物質が発する蛍光の観察（蛍光観察）に用いられ、かつ、この蛍光物質を励起させる励起光の波長帯域、たとえば、３９０ｎｍから４７０ｎｍである。

【0193】

特定の波長帯域の第５例は、赤外光の波長帯域である。この第５例の波長帯域は、７９０ｎｍ以上８２０ｎｍ以下の波長帯域又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、かつ、第５例の光は、７９０ｎｍ以上８２０ｎｍ以下の波長帯域内又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域内にピーク波長を有する。

【0194】

［照明光の切り替えについて］
光源の種類は、レーザ光源、キセノン光源、若しくは、ＬＥＤ（Ｌｉｇｈｔ－Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）光源、又は、これらの適宜の組み合わせを採用できる。光源の種類、波長、フィルタの有無等は被写体の種類、観察の目的等に応じて構成することが好ましく、また、観察の際は、被写体の種類、観察の目的等に応じて照明光の波長を組み合わせ、及び／又は、切り替えることが好ましい。波長を切り替える場合、たとえば、光源の前方に配置され、特定波長の光を透過又は遮光するフィルタが設けられた円板状のフィルタ（ロータリカラーフィルタ）を回転させることにより、照射する光の波長を切り替えてもよい。

【0195】

［撮像部について］
内視鏡の撮像部に備えられるイメージセンサは、各画素に対しカラーフィルタが配設されたカラーイメージセンサに限定されるものではなく、モノクロイメージセンサでもよい。モノクロイメージセンサを用いる場合、照明光の波長を順次切り替えて面順次（色順次）で撮像することができる。たとえば、出射する照明光の波長を、紫色、青色、緑色、及び赤色の間で順次切り替えてもよいし、白色光を照射してロータリカラーフィルタ（赤色、緑色、青色等）により出射する照明光の波長を切り替えてもよい。また、１又は複数の狭帯域光を照射してロータリカラーフィルタにより出射する照明光の波長を切り替えてもよい。狭帯域光は、波長の異なる２波長以上の赤外光でもよい。

【0196】

［特殊光画像の生成例］
プロセッサ装置は、白色光を用いて撮像して得られた画像（いわゆる通常光画像）に基づいて、特定の波長帯域の情報を有する画像（いわゆる特殊光画像）を生成してもよい。プロセッサ装置は、たとえば、通常光画像に含まれる赤（Ｒｅｄ，Ｒ）、緑（Ｇｒｅｅｎ，Ｇ）及び青（Ｂｌｕｅ，Ｂ）、又は、シアン（Ｃｙａｎ，Ｃ）、マゼンタ（Ｍａｇｅｎｔａ，Ｍ）及びイエロー（Ｙｅｌｌｏｗ，Ｙ）の色情報に基づく演算を行うことで、特定の波長帯域の信号を取得できる。

【0197】

［コンピュータに画像処理装置の機能を実現させるプログラムについて］
上記の実施形態で説明した画像処理装置の機能をコンピュータに実現させるプログラムを光ディスク、磁気ディスク、若しくは、半導体メモリその他の有体物たる非一時的な情報記憶媒体であるコンピュータ可読媒体に記録し、この情報記憶媒体を通じてプログラムを提供することが可能である。またこのような有体物たる非一時的な情報記憶媒体にプログラムを記憶させて提供する態様に代えて、インターネットなどの電気通信回線を利用してプログラム信号をダウンロードサービスとして提供することも可能である。

【0198】

また、上記の実施形態で説明した画像処理装置の機能の一部又は全部をアプリケーションサーバとして提供し、電気通信回線を通じて処理機能を提供するサービスを行うことも可能である。

【0199】

［実施形態及び変形例等の組み合わせについて］
上記実施形態で説明した構成要素、及び変形例で説明した構成要素は、適宜組み合わせて用いることができ、また、一部の構成要素を置き換えることもできる。

【符号の説明】

【0200】

１ 内視鏡システム
１０ 内視鏡
１２ 内視鏡の挿入部
１２Ａ 挿入部の先端部
１２Ｂ 挿入部の湾曲部
１２Ｃ 挿入部の軟性部
１４ 内視鏡の操作部
１６ 内視鏡の接続部
１６Ａ 接続部のコネクタ
１６Ｂ 接続部のコネクタ
２０ 観察窓
２２ 照明窓
２４ ノズル
２６ 鉗子口
３０ アングルノブ
３２ 送気送水ボタン
３４ 吸引ボタン
３６ シャッタボタン
３８ 鉗子挿入口
４０ 鉗子チャンネル
１００ 光源装置
２００ プロセッサ装置
３００ 画像処理装置
３００Ａ 画像取得部
３００Ｂ 注目領域検出部
３００Ｃ 判定部
３００Ｄ 表示画像生成部
３００Ｅ 表示制御部
４００ ディスプレイ
４１０ 表示画像
４１０Ａ 表示画像
４１０Ｂ 表示画像
４１２ 内視鏡画像
４１２Ａ 内視鏡画像
４１２Ｂ 内視鏡画像
４１４ 内視鏡画像の表示領域
４１６ 処置具が到達可能な範囲を示す円
４１８ 注目領域の位置を示すマーク
４２０ 注目領域の位置を示すマーク
４２０Ａ 注目領域の位置を示すマーク
４２０Ｂ 注目領域の位置を示すマーク
４２２ メッセージ
５００ 処置具（生検鉗子等）
５１０ 処置具の挿入部
５１２ 処置具の操作部
５１４ 処置具の先端爪部
５１２Ａ 操作部のハンドル
５１２Ｂ 操作部のスライダ
１０００ 超音波内視鏡システム
１０１０ 超音波内視鏡
１０１２ 超音波内視鏡の挿入部
１０１２Ａ 挿入部の先端部
１０１２Ｂ 挿入部の湾曲部
１０１２Ｃ 挿入部の軟性部
１０１４ 超音波内視鏡の操作部
１０１６ 超音波内視鏡の接続部
１０１６Ａ 接続部のコネクタ
１０１６Ｂ 接続部のコネクタ
１０１６Ｃ 接続部のコネクタ
１０２０ 処置具突出部
１０２２ 処置具突出口
１０２４ 起立台
１０３０ 内視鏡観察部
１０３２ 観察窓
１０３４ 照明窓
１０３６ ノズル
１０４０ 超音波探触子
１０５０ アングルノブ
１０５２ 吸引ボタン
１０５４ 送気送水ボタン
１０５６ 起立レバー
１０６０ 処置具挿入口
１１００ 光源装置
１２００ 内視鏡用プロセッサ装置
１３００ 画像処理装置
１３００Ａ 画像取得部
１３００Ｂ 注目領域検出部
１３００Ｃ 判定部
１３００Ｄ 表示画像生成部
１３００Ｅ 表示制御部
１３００Ｆ 障害物検出部
１３００Ｇ 処置具検出部
１４００ ディスプレイ
１４１０ 表示画像
１４１２ 超音波画像
１４１２Ｂ 超音波画像
１４１４ 超音波画像の表示領域
１４１８ 注目領域の位置を示すマーク
１４２０ 注目領域の位置を示すマーク
１４２２ メッセージ
１４２４ 障害物（動脈等）
１５００ 超音波用プロセッサ装置
１６００ 処置具（穿刺針等）
ＧＬ ガイド線
Ｐ 基準点
Ｓ１～Ｓ８ 画像処理装置によるディスプレイへの内視鏡画像の表示の処理の手順
Ｓ１１～Ｓ１８ 画像処理装置によるディスプレイへの内視鏡画像の表示の処理の手順
Ｓ２１～Ｓ３０ 画像処理装置によるディスプレイへの内視鏡画像の表示の処理の手順
Ｓ４１～Ｓ５２ 画像処理装置によるディスプレイへの内視鏡画像の表示の処理の手順

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】