特許 7389257 内視鏡システム及びその作動方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-20

(45)【発行日】2023-11-29

(54)【発明の名称】内視鏡システム及びその作動方法

(51)【国際特許分類】

   A61B 1/045 20060101AFI20231121BHJP

【ＦＩ】

A61B1/045 619

A61B1/045 618

A61B1/045 622

【請求項の数】 13

(21)【出願番号】P 2022536123

(86)(22)【出願日】2021-02-12

(86)【国際出願番号】 JP2021005202

(87)【国際公開番号】W WO2022014077

(87)【国際公開日】2022-01-20

【審査請求日】2022-12-14

(31)【優先権主張番号】P 2020121680

(32)【優先日】2020-07-15

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】110001988

【氏名又は名称】弁理士法人小林国際特許事務所

(72)【発明者】

【氏名】出村 崇徳

【審査官】亀澤 智博

(56)【参考文献】

【文献】特開２００８－３０１９６８（ＪＰ，Ａ）

【文献】国際公開第２０２０／０１７２１２（ＷＯ，Ａ１）

【文献】国際公開第２０１８／２１６６１７（ＷＯ，Ａ１）

【文献】国際公開第２０１９／２２０８４８（ＷＯ，Ａ１）

【文献】特開平０６－１８１８８５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １／００ － １／３２

Ｇ０２Ｂ ２３／２４ －２３／２６

(57)【特許請求の範囲】

【請求項1】

観察画像を表示するメイン画面を有するディスプレイと、
画像制御用プロセッサとを備え、
前記画像制御用プロセッサは、
内視鏡挿入部が管腔内の挿入口から観察可能範囲の終端位置まで移動する第１観察時に第１病変候補画像を検出した場合には、前記第１病変候補画像を第１位置情報と関連付けて自動的にキャプチャする自動キャプチャを行い、前記内視鏡挿入部が管腔内の観察可能範囲の終端位置から挿入口まで移動する第２観察時に第２病変候補画像を検出した場合には、前記第２病変候補画像を第２位置情報と関連付けて自動的にキャプチャする自動キャプチャを行い、
前記自動キャプチャにより得られた前記第１病変候補画像及び前記第１位置情報をキャプチャ画像保存用メモリに保存し、
前記第１位置情報と前記第２位置情報との位置情報比較処理を行い、且つ、前記第１位置情報と前記第２位置情報とがマッチングした場合に、前記第１病変候補画像と、前記第２病変候補画像との画像比較処理を行い、
前記画像比較処理の結果、病変候補領域の見落とし有りと判定された場合には、前記ディスプレイに自動で新たに子画面を展開し、前記キャプチャ画像保存用メモリに保存した前記第１病変候補画像を、前記子画面に自動で表示する内視鏡システム。

【請求項2】

観察画像を表示するメイン画面及び前記メイン画面と別の位置に設けられた子画面を有するディスプレイと、
画像制御用プロセッサとを備え、
前記画像制御用プロセッサは、
内視鏡挿入部が管腔内の挿入口から観察可能範囲の終端位置まで移動する第１観察時に第１病変候補画像を検出した場合には、前記第１病変候補画像を第１位置情報と関連付けて自動的にキャプチャする自動キャプチャを行い、前記内視鏡挿入部が管腔内の観察可能範囲の終端位置から挿入口まで移動する第２観察時に第２病変候補画像を検出した場合には、前記第２病変候補画像を第２位置情報と関連付けて自動的にキャプチャする自動キャプチャを行い、
前記自動キャプチャにより得られた前記第１病変候補画像及び前記第１位置情報をキャプチャ画像保存用メモリに保存し、
前記第１位置情報と前記第２位置情報との位置情報比較処理を行い、且つ、前記第１位置情報と前記第２位置情報とがマッチングした場合に、前記第１病変候補画像と、前記第２病変候補画像との画像比較処理を行い、
前記画像比較処理の結果、病変候補領域の見落とし有りと判定された場合には、前記ディスプレイの前記子画面に、前記キャプチャ画像保存用メモリに保存した前記第１病変候補画像を、自動で表示する内視鏡システム。

【請求項3】

観察画像を表示するメイン画面を有するディスプレイと、
画像制御用プロセッサとを備え、
前記画像制御用プロセッサは、
内視鏡挿入部が管腔内の挿入口から観察可能範囲の終端位置まで移動する第１観察時に第１病変候補画像を検出した場合には、前記第１病変候補画像を第１位置情報と関連付けて自動的にキャプチャする自動キャプチャを行い、前記内視鏡挿入部が管腔内の観察可能範囲の終端位置から挿入口まで移動する第２観察時に第２病変候補画像を検出した場合には、前記第２病変候補画像を第２位置情報と関連付けて自動的にキャプチャする自動キャプチャを行い、
前記自動キャプチャにより得られた前記第１病変候補画像及び前記第１位置情報をキャプチャ画像保存用メモリに保存し、
前記第１位置情報と前記第２位置情報との位置情報比較処理を行い、且つ、前記第１位置情報と前記第２位置情報とがマッチングした場合に、前記第１病変候補画像と、前記第２病変候補画像との画像比較処理を行い、
前記画像比較処理の結果、病変候補領域の見落とし有りと判定された場合には、前記メイン画面の表示を前記観察画像から前記キャプチャ画像保存用メモリに保存した前記第１病変候補画像に自動で切り替える内視鏡システム。

【請求項4】

前記画像制御用プロセッサは、前記病変候補領域の見落とし有りと判定された場合には、前記病変候補領域の位置情報を前記メイン画面で表示する請求項１ないし３いずれか１項記載の内視鏡システム。

【請求項5】

前記画像制御用プロセッサは、前記病変候補領域の見落とし有りと判定された場合には、前記病変候補領域の方向を示すガイドを前記メイン画面で表示する請求項１ないし４いずれか１項記載の内視鏡システム。

【請求項6】

波長特性が異なる通常光と、特殊光とを発する光源装置と、
通常光を発光する通常照明期間と、特殊光を発光する特殊照明期間とを自動的に切り替える場合において、通常光を第１発光パターンで発光し、特殊光を第２発光パターンで発光する光源用画像制御用プロセッサと、
通常光によって照明された観察対象を撮像して得られる通常画像信号と、特殊光によって照明された観察対象を撮像して得られる特殊画像信号とを出力する撮像センサとを備え、
表示制御部は、前記通常画像信号に基づく前記観察画像に対して、前記特殊画像信号に基づく解析処理により得られた解析結果を表示する解析結果付き観察画像を前記ディスプレイに表示し、
検出部は、前記解析結果に基づいて、前記病変候補領域を検出した場合に、前記自動キャプチャを行う請求項１ないし５いずれか１項記載の内視鏡システム。

【請求項7】

第１発光パターンは、前記通常照明期間のフレーム数が、それぞれの前記通常照明期間において同じである第１Ａ発光パターンと、前記通常照明期間のフレーム数が、それぞれの通常照明期間において異なっている第１Ｂ発光パターンとのうちのいずれか１つのパターンである請求項６記載の内視鏡システム。

【請求項8】

第２発光パターンは、前記特殊照明期間のフレーム数が、それぞれの前記特殊照明期間において同じであり、且つ、前記特殊光の発光スペクトルが、それぞれの前記特殊照明期間において同じである第２Ａ発光パターン、
前記特殊照明期間のフレーム数が、それぞれの前記特殊照明期間において同じであり、且つ、特殊光の発光スペクトルが、それぞれの前記特殊照明期間において異なっている第２Ｂ発光パターン、
前記特殊照明期間のフレーム数が、それぞれの前記特殊照明期間において異なっており、且つ、特殊光の発光スペクトルが、それぞれの前記特殊照明期間において同じである第２Ｃ発光パターン及び、
前記特殊照明期間のフレーム数が、それぞれの前記特殊照明期間において異なっており、且つ、前記特殊光の発光スペクトルが、それぞれの前記特殊照明期間において異なっている第２Ｄ発光パターンのうちのいずれか１つのパターンである請求項６または７記載の内視鏡システム。

【請求項9】

前記病変候補領域は、前記第２発光パターンの照明によって観察対象を撮像して検出する請求項６ないし８いずれか１項記載の内視鏡システム。

【請求項10】

前記第２発光パターンの照明によって観察対象を撮像して取得した前記特殊画像信号は、画像表示には使用しない請求項６ないし８いずれか１項記載の内視鏡システム。

【請求項11】

観察画像を表示するメイン画面を有するディスプレイ、及び画像制御用プロセッサを備える内視鏡システムの作動方法において、
前記画像制御用プロセッサは、
内視鏡挿入部が管腔内の挿入口から観察可能範囲の終端位置まで移動する第１観察時に第１病変候補画像を検出した場合には、前記第１病変候補画像を第１位置情報と関連付けて自動的にキャプチャする自動キャプチャを行い、前記内視鏡挿入部が管腔内の観察可能範囲の終端位置から挿入口まで移動する第２観察時に第２病変候補画像を検出した場合には、前記第２病変候補画像を第２位置情報と関連付けて自動的にキャプチャする自動キャプチャを行うステップと、
前記自動キャプチャにより得られた前記第１病変候補画像及び前記第１位置情報をキャプチャ画像保存用メモリに保存するステップと、
前記第１位置情報と前記第２位置情報との位置情報比較処理を行い、且つ、前記第１位置情報と前記第２位置情報とがマッチングした場合に、前記第１病変候補画像と、前記第２病変候補画像との画像比較処理を行うステップと、
前記画像比較処理の結果、病変候補領域の見落とし有りと判定された場合には、前記ディスプレイに自動で新たに子画面を展開し、前記キャプチャ画像保存用メモリに保存した前記第１病変候補画像を、前記子画面に自動で表示するステップとを有する内視鏡システムの作動方法。

【請求項12】

観察画像を表示するメイン画面及び前記メイン画面と別の位置に設けられた子画面を有するディスプレイ、及び画像制御用プロセッサを備える内視鏡システムの作動方法において、
前記画像制御用プロセッサは、
内視鏡挿入部が管腔内の挿入口から観察可能範囲の終端位置まで移動する第１観察時に第１病変候補画像を検出した場合には、前記第１病変候補画像を第１位置情報と関連付けて自動的にキャプチャする自動キャプチャを行い、前記内視鏡挿入部が管腔内の観察可能範囲の終端位置から挿入口まで移動する第２観察時に第２病変候補画像を検出した場合には、前記第２病変候補画像を第２位置情報と関連付けて自動的にキャプチャする自動キャプチャを行うステップと、
前記自動キャプチャにより得られた前記第１病変候補画像及び前記第１位置情報をキャプチャ画像保存用メモリに保存するステップと、
前記第１位置情報と前記第２位置情報との位置情報比較処理を行い、且つ、前記第１位置情報と前記第２位置情報とがマッチングした場合に、前記第１病変候補画像と、前記第２病変候補画像との画像比較処理を行うステップと、
前記画像比較処理の結果、病変候補領域の見落とし有りと判定された場合には、前記ディスプレイの前記子画面に、前記キャプチャ画像保存用メモリに保存した前記第１病変候補画像を、自動で表示するステップとを有する内視鏡システムの作動方法。

【請求項13】

観察画像を表示するメイン画面を有するディスプレイ、及び画像制御用プロセッサを備える内視鏡システムの作動方法において、
前記画像制御用プロセッサは、
内視鏡挿入部が管腔内の挿入口から観察可能範囲の終端位置まで移動する第１観察時に第１病変候補画像を検出した場合には、前記第１病変候補画像を第１位置情報と関連付けて自動的にキャプチャする自動キャプチャを行い、前記内視鏡挿入部が管腔内の観察可能範囲の終端位置から挿入口まで移動する第２観察時に第２病変候補画像を検出した場合には、前記第２病変候補画像を第２位置情報と関連付けて自動的にキャプチャする自動キャプチャを行うステップと、
前記自動キャプチャにより得られた前記第１病変候補画像及び前記第１位置情報をキャプチャ画像保存用メモリに保存するステップと、
前記第１位置情報と前記第２位置情報との位置情報比較処理を行い、且つ、前記第１位置情報と前記第２位置情報とがマッチングした場合に、前記第１病変候補画像と、前記第２病変候補画像との画像比較処理を行うステップと、
前記画像比較処理の結果、病変候補領域の見落とし有りと判定された場合には、前記メイン画面の表示を前記観察画像から前記キャプチャ画像保存用メモリに保存した前記第１病変候補画像に自動で切り替えるステップとを有する内視鏡システムの作動方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理によって、病変部に代表される所定の病変候補領域のＡＩによる自動検出を行う内視鏡システム及びその作動方法に関する。

【背景技術】

【0002】

医療分野においては、光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムを用いた診断が広く行われている。内視鏡システムは、光源装置が発する照明光を、内視鏡を介して観察対象に照射し、その照明光で照明中の観察対象を撮像して得た画像信号に基づいて、プロセッサ装置が観察対象の画像を生成する。この画像をディスプレイに表示することにより、医師は、ディスプレイ上の画像を見ながら診断を行うことができる。

【0003】

内視鏡検査では、内視鏡挿入部の挿入時は通常光照射で観察を行い、抜去時は特殊光で観察するという医師がいるが、通常光しか使用しない挿入時の病変は、見落としてしまうと抜去時に再度発見することが難しい。そのため、内視鏡スコープ挿入時に医師がフリーズ、キャプチャをしないが病変の疑いがある、病変候補領域について、通常光及び特殊光でキャプチャしておき、必要に応じてＡＩ処理も実施する技術が開発されつつある。例えば、内視鏡診断時にコンピュータが医師に代わって特殊光照射により得た病変候補領域の情報を、通常光照射により得た画像に重ねて表示し報知することは、医師による病変候補領域の見落としを防ぐことができるため、内視鏡診断の確度を上げるものとして期待されている。

【0004】

具体的には、特許文献１では、内視鏡において、第１診断時に検出した画像的特徴量を含む第１識別情報と、第２診断時に検出した画像的特徴量を含む第２識別情報の比較処理を行い、差異があると判定された場合に、通常光診断画像上に記号の付与や音による見落としの報知を行っている。

【先行技術文献】

【特許文献】

【0005】

【文献】国際公開第２０１８／１５９３６３号

【発明の概要】

【発明が解決しようとする課題】

【0006】

ユーザーは、ディスプレイに表示された観察画像に注目して観察を行っている。そのため、ユーザーは、観察画像に対して注意を払っているものの、それ以外、例えば、見落とし報知時に発する特許文献１の「記号の付与や音」に対して注意をあまり払わない場合がある。このような場合には、特許文献１の「記号の付与や音」のアラートに気が付かない場合があった。そこで、特許文献１の「記号の付与や音」に代えて、観察画像に注目して観察を行うユーザーが、見落としのアラートに気付きやすくすることが求められていた。

【0007】

本発明は、病変候補領域の見落としを警告する場合において、ディスプレイ上の観察画像に注目して観察を行うユーザーが気付きやすい、見落とし防止のアラートを行うことができる内視鏡システム及びその作動方法を提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明の内視鏡システムは、観察画像を表示するメイン画面を有するディスプレイと、画像制御用プロセッサとを備え、画像制御用プロセッサは、内視鏡挿入部が管腔内の挿入口から観察可能範囲の終端位置まで移動する第１観察時に第１病変候補画像を検出した場合には、第１病変候補画像を第１位置情報と関連付けて自動的にキャプチャする自動キャプチャを行い、内視鏡挿入部が管腔内の観察可能範囲の終端位置から挿入口まで移動する第２観察時に第２病変候補画像を検出した場合には、第２病変候補画像を第２位置情報と関連付けて自動的にキャプチャする自動キャプチャを行い、自動キャプチャにより得られた第１病変候補画像及び第１位置情報をキャプチャ画像保存用メモリに保存し、第１位置情報と第２位置情報との位置情報比較処理を行い、且つ、第１位置情報と第２位置情報とがマッチングした場合に、第１病変候補画像と、第２病変候補画像との画像比較処理を行い、画像比較処理の結果、病変候補領域の見落とし有りと判定された場合には、ディスプレイに自動で新たに子画面を展開し、キャプチャ画像保存用メモリに保存した第１病変候補画像を、子画面に自動で表示する。

【0009】

また、本発明の内視鏡システムは、観察画像を表示するメイン画面及びメイン画面と別の位置に設けられた子画面を有するディスプレイと、画像制御用プロセッサとを備え、画像制御用プロセッサは、内視鏡挿入部が管腔内の挿入口から観察可能範囲の終端位置まで移動する第１観察時に第１病変候補画像を検出した場合には、第１病変候補画像を第１位置情報と関連付けて自動的にキャプチャする自動キャプチャを行い、内視鏡挿入部が管腔内の観察可能範囲の終端位置から挿入口まで移動する第２観察時に第２病変候補画像を検出した場合には、第２病変候補画像を第２位置情報と関連付けて自動的にキャプチャする自動キャプチャを行い、自動キャプチャにより得られた第１病変候補画像及び第１位置情報をキャプチャ画像保存用メモリに保存し、第１位置情報と第２位置情報との位置情報比較処理を行い、且つ、第１位置情報と第２位置情報とがマッチングした場合に、第１病変候補画像と、第２病変候補画像との画像比較処理を行い、画像比較処理の結果、病変候補領域の見落とし有りと判定された場合には、ディスプレイの子画面に、キャプチャ画像保存用メモリに保存した第１病変候補画像を、自動で表示する。

【0010】

また、本発明の内視鏡システムは、観察画像を表示するメイン画面を有するディスプレイと、画像制御用プロセッサとを備え、画像制御用プロセッサは、内視鏡挿入部が管腔内の挿入口から観察可能範囲の終端位置まで移動する第１観察時に第１病変候補画像を検出した場合には、第１病変候補画像を第１位置情報と関連付けて自動的にキャプチャする自動キャプチャを行い、内視鏡挿入部が管腔内の観察可能範囲の終端位置から挿入口まで移動する第２観察時に第２病変候補画像を検出した場合には、第２病変候補画像を第２位置情報と関連付けて自動的にキャプチャする自動キャプチャを行い、自動キャプチャにより得られた第１病変候補画像及び第１位置情報をキャプチャ画像保存用メモリに保存し、第１位置情報と第２位置情報との位置情報比較処理を行い、且つ、第１位置情報と第２位置情報とがマッチングした場合に、第１病変候補画像と、第２病変候補画像との画像比較処理を行い、画像比較処理の結果、病変候補領域の見落とし有りと判定された場合には、メイン画面の表示を観察画像からキャプチャ画像保存用メモリに保存した第１病変候補画像に自動で切り替える。

【0011】

画像制御用プロセッサは、病変候補領域の見落とし有りと判定された場合には、病変候補領域の位置情報をメイン画面で表示することが好ましい。

【0012】

画像制御用プロセッサは、病変候補領域の見落とし有りと判定された場合には、病変候補領域の方向を示すガイドをメイン画面で表示することが好ましい。

【0013】

波長特性が異なる通常光と、特殊光とを発する光源装置と、通常光を発光する通常照明期間と、特殊光を発光する特殊照明期間とを自動的に切り替える場合において、通常光を第１発光パターンで発光し、特殊光を第２発光パターンで発光する光源用画像制御用プロセッサと、通常光によって照明された観察対象を撮像して得られる通常画像信号と、特殊光によって照明された観察対象を撮像して得られる特殊画像信号とを出力する撮像センサとを備え、表示制御部は、通常画像信号に基づく観察画像に対して、特殊画像信号に基づく解析処理により得られた解析結果を表示する解析結果付き観察画像をディスプレイに表示し、検出部は、解析結果に基づいて、病変候補領域を検出した場合に、自動キャプチャを行うことが好ましい。

【0014】

第１発光パターンは、通常照明期間のフレーム数が、それぞれの通常照明期間において同じである第１Ａ発光パターンと、通常照明期間のフレーム数が、それぞれの通常照明期間において異なっている第１Ｂ発光パターンとのうちのいずれか１つのパターンであることが好ましい。

【0015】

第２発光パターンは、特殊照明期間のフレーム数が、それぞれの特殊照明期間において同じであり、且つ、特殊光の発光スペクトルが、それぞれの特殊照明期間において同じである第２Ａ発光パターン、特殊照明期間のフレーム数が、それぞれの特殊照明期間において同じであり、且つ、特殊光の発光スペクトルが、それぞれの特殊照明期間において異なっている第２Ｂ発光パターン、特殊照明期間のフレーム数が、それぞれの特殊照明期間において異なっており、且つ、特殊光の発光スペクトルが、それぞれの特殊照明期間において同じである第２Ｃ発光パターン、及び、特殊照明期間のフレーム数が、それぞれの特殊照明期間において異なっており、且つ、特殊光の発光スペクトルが、それぞれの特殊照明期間において異なっている第２Ｄ発光パターンのうちのいずれか１つのパターンであることが好ましい。

【0016】

病変候補領域は、第２発光パターンの照明によって観察対象を撮像して検出することが好ましい。

【0017】

第２発光パターンの照明によって観察対象を撮像して取得した特殊画像信号は、画像表示には使用しないことが好ましい。

【0018】

本発明の内視鏡システムの作動方法は、観察画像を表示するメイン画面を有するディスプレイ、及び画像制御用プロセッサを備える内視鏡システムの作動方法において、画像制御用プロセッサは、内視鏡挿入部が管腔内の挿入口から観察可能範囲の終端位置まで移動する第１観察時に第１病変候補画像を検出した場合には、第１病変候補画像を第１位置情報と関連付けて自動的にキャプチャする自動キャプチャを行い、内視鏡挿入部が管腔内の観察可能範囲の終端位置から挿入口まで移動する第２観察時に第２病変候補画像を検出した場合には、第２病変候補画像を第２位置情報と関連付けて自動的にキャプチャする自動キャプチャを行うステップと、自動キャプチャにより得られた第１病変候補画像及び第１位置情報をキャプチャ画像保存用メモリに保存するステップと、第１位置情報と第２位置情報との位置情報比較処理を行い、且つ、第１位置情報と第２位置情報とがマッチングした場合に、第１病変候補画像と、第２病変候補画像との画像比較処理を行うステップと、画像比較処理の結果、病変候補領域の見落とし有りと判定された場合には、ディスプレイに自動で新たに子画面を展開し、キャプチャ画像保存用メモリに保存した第１病変候補画像を、子画面に自動で表示するステップとを有する。

【0019】

また、本発明の内視鏡システムの作動方法は、観察画像を表示するメイン画面及び前記メイン画面と別の位置に設けられた子画面を有するディスプレイ、及び画像制御用プロセッサを備える内視鏡システムの作動方法において、画像制御用プロセッサは、内視鏡挿入部が管腔内の挿入口から観察可能範囲の終端位置まで移動する第１観察時に第１病変候補画像を検出した場合には、第１病変候補画像を第１位置情報と関連付けて自動的にキャプチャする自動キャプチャを行い、内視鏡挿入部が管腔内の観察可能範囲の終端位置から挿入口まで移動する第２観察時に第２病変候補画像を検出した場合には、第２病変候補画像を第２位置情報と関連付けて自動的にキャプチャする自動キャプチャを行うステップと、自動キャプチャにより得られた第１病変候補画像及び第１位置情報をキャプチャ画像保存用メモリに保存するステップと、第１位置情報と第２位置情報との位置情報比較処理を行い、且つ、第１位置情報と第２位置情報とがマッチングした場合に、第１病変候補画像と、第２病変候補画像との画像比較処理を行うステップと、画像比較処理の結果、病変候補領域の見落とし有りと判定された場合には、ディスプレイの子画面に、キャプチャ画像保存用メモリに保存した第１病変候補画像を、自動で表示するステップとを有する。

【0020】

また、本発明の内視鏡システムの作動方法は、観察画像を表示するメイン画面を有するディスプレイ、及び画像制御用プロセッサを備える内視鏡システムの作動方法において、画像制御用プロセッサは、内視鏡挿入部が管腔内の挿入口から観察可能範囲の終端位置まで移動する第１観察時に第１病変候補画像を検出した場合には、第１病変候補画像を第１位置情報と関連付けて自動的にキャプチャする自動キャプチャを行い、内視鏡挿入部が管腔内の観察可能範囲の終端位置から挿入口まで移動する第２観察時に第２病変候補画像を検出した場合には、第２病変候補画像を第２位置情報と関連付けて自動的にキャプチャする自動キャプチャを行うステップと、自動キャプチャにより得られた第１病変候補画像及び第１位置情報をキャプチャ画像保存用メモリに保存するステップと、第１位置情報と第２位置情報との位置情報比較処理を行い、且つ、第１位置情報と第２位置情報とがマッチングした場合に、第１病変候補画像と、第２病変候補画像との画像比較処理を行うステップと、画像比較処理の結果、病変候補領域の見落とし有りと判定された場合には、メイン画面の表示を観察画像からキャプチャ画像保存用メモリに保存した第１病変候補画像に自動で切り替えるステップとを有する。

【発明の効果】

【0021】

本発明によれば、病変候補領域の自動検出機能を用いる場合において、病変候補領域の見落としを防止することができる。

【図面の簡単な説明】

【0022】

【図1】内視鏡システムの外観図である。

【図2】内視鏡システムの機能を示すブロック図である。

【図3】紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒの発光スペクトルを示すグラフである。

【図4】アラートモード時の第１Ａ発光パターン及び第２Ａ発光パターンを示す説明図である。

【図5】アラートモード時の第１Ｂ発光パターンを示す説明図である。

【図6】アラートモード時の第２Ｂ発光パターンを示す説明図である。

【図7】アラートモード時の第２Ｃ発光パターンを示す説明図である。

【図8】アラートモード時の第２Ｄ発光パターンを示す説明図である。

【図9】撮像センサの各カラーフィルタの分光透過率を示すグラフである。

【図10】通常撮像期間及び特殊撮像期間を示す説明図である。

【図11】アラートモード時の照明制御、解析処理、及び画像表示を時系列順で示す説明図である。

【図12】解析処理部の機能を示すブロック図である。

【図13】内視鏡先端部の位置情報の算出方法を示す説明図である。

【図14】位置情報と病変候補画像の検出における具体例を示す説明図である。

【図15】位置情報比較処理と画像比較処理の結果に基づく判定を示す表である。

【図16】第１実施形態の見落とし防止アラートを行う１台のディスプレイの画像図である。

【図17】観察画像における病変候補領域の位置情報表示の画像図である。

【図18】観察画像における病変候補領域のガイド表示の画像図である。

【図19】アラートモードの一連の流れを示すフローチャートである。

【図20】第２実施形態の見落とし防止アラートを行う１台のディスプレイの画像図である。

【図21】第３実施形態の見落とし防止アラートを行う１台のディスプレイの画像図である。

【発明を実施するための形態】

【0023】

［第１実施形態］
図１に示すように、内視鏡システム１０は、内視鏡１２と、光源装置１４と、プロセッサ装置１６と、ディスプレイ１８と、ユーザーインターフェース１９とを有する。内視鏡１２は、光源装置１４と光学的に接続し、かつ、プロセッサ装置１６と電気的に接続する。内視鏡１２は、被検体内に挿入する挿入部１２ａと、挿入部１２ａの基端部分に設けた操作部１２ｂと、挿入部１２ａの先端側に設けた湾曲部１２ｃ及び先端部１２ｄを有している。操作部１２ｂのアングルノブ１３ａを操作することにより、湾曲部１２ｃが湾曲動作する。この湾曲動作によって、先端部１２ｄが所望の方向に向けられる。

【0024】

また、操作部１２ｂには、アングルノブ１３ａの他、画像の手動による取得操作に用いるキャプチャ画像取得指示部１３ｂ、観察モードの切り替え操作に用いるモード切替スイッチ１３ｃ、ズーム倍率の変更操作に用いるズーム操作部１３ｄ、位置情報のパターンを切り替える位置情報切替部１３ｅを設けている。キャプチャ画像取得指示部１３ｂは、手動で、観察対象の画像を取得する手動キャプチャを行うために用いられる。ユーザーがキャプチャ画像取得指示部１３ｂを操作することによって、画像を取得した場合には、取得した画像は、キャプチャ画像保存用メモリ７０（図２参照）に保存される。なお、画像の保存制御には、手動キャプチャの他、病変候補画像を検出した場合に、位置情報と関連付けて病変候補画像を自動的にキャプチャする自動キャプチャが含まれる。

【0025】

内視鏡システム１０は、観察モードとして、通常観察モード、特殊観察モード及びアラートモードとを有している。観察モードが通常観察モードである場合、複数色の光を通常観察モード用の光量比Ｌｃで合波した通常光を発光するとともに、この通常光で照明中の観察対象を撮像して得られた通常画像信号に基づき、通常観察画像をディスプレイ１８に表示する。また、観察モードが特殊観察モードである場合、複数色の光を特殊観察モード用の光量比Ｌｓで合波した特殊光を発光するとともに、この特殊光で照明中の観察対象を撮像して得られた特殊画像信号に基づき、特殊観察画像をディスプレイ１８に表示する。

【0026】

また、観察モードがアラートモードである場合、通常光と特殊光を交互に発光する。そして、通常光で照明中の観察対象を撮像して得られる観察画像を、ディスプレイ１８のメイン画面１８ａに表示する。また、アラートモードでは、第１観察時に病変候補領域を検出した場合、通常光では通常画像信号から画像を第１病変候補画像として取得し、特殊光では特殊画像信号から解析結果を取得し、キャプチャ画像保存用メモリ７０に保存する。第２観察時において、先端部１２ｄが第１観察時に病変候補領域を検出した位置を算出した際に、病変候補領域の見落としがあった場合、ディスプレイ１８に自動で新たに子画面１８ｂを展開し、キャプチャ画像保存用メモリ７０に保存した第１病変候補画像の表示を行う。

【0027】

プロセッサ装置１６は、ディスプレイ１８及びユーザーインターフェース１９と電気的に接続する。ディスプレイ１８は、観察対象の画像や、画像に付帯する情報等を出力表示する。ユーザーインターフェース１９は、機能設定等の入力操作を受け付ける。

【0028】

図２において、光源装置１４は、光源部２０と、光源部２０を制御する光源用プロセッサ２１とを備えている。光源部２０は、複数の半導体光源を有し、これらをそれぞれ点灯または消灯し、点灯する場合には各半導体光源の発光量を制御することにより、観察対象を照明する照明光を発する。本実施形態では、光源部２０は、Ｖ－ＬＥＤ（Violet Light Emitting Diode）２０ａ、Ｂ－ＬＥＤ（Blue Light Emitting Diode）２０ｂ、Ｇ－ＬＥＤ（Green Light Emitting Diode）２０ｃ、及びＲ－ＬＥＤ（Red Light Emitting Diode）２０ｄの４色のＬＥＤを有する。

【0029】

図３に示すように、Ｖ－ＬＥＤ２０ａは、中心波長４０５±１０ｎｍ、波長範囲３８０～４２０ｎｍの紫色光Ｖを発生する。Ｂ－ＬＥＤ２０ｂは、中心波長４５０±１０ｎｍ、波長範囲４２０～５００ｎｍの青色光Ｂを発生する。Ｇ－ＬＥＤ２０ｃは、波長範囲が４８０～６００ｎｍに及ぶ緑色光Ｇを発生する。Ｒ－ＬＥＤ２０ｄは、中心波長６２０～６３０ｎｍで、波長範囲が６００～６５０ｎｍに及ぶ赤色光Ｒを発生する。

【0030】

光源用プロセッサ２１は、Ｖ－ＬＥＤ２０ａ、Ｂ－ＬＥＤ２０ｂ、Ｇ－ＬＥＤ２０ｃ、及びＲ－ＬＥＤ２０ｄを制御する。光源用プロセッサ２１は、各ＬＥＤ２０ａ～２０ｄをそれぞれ独立に制御することで、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、又は赤色光Ｒをそれぞれ独立に光量を変えて発光可能である。また、光源用プロセッサ２１は、通常観察モード時には、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光量比がＶｃ：Ｂｃ：Ｇｃ：Ｒｃとなる白色光を発光するように、各ＬＥＤ２０ａ～２０ｄを制御する。なお、Ｖｃ、Ｂｃ、Ｇｃ、Ｒｃ＞０である。

【0031】

また、光源用プロセッサ２１は、特殊観察モード時には、短波長の狭帯域光としての紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒとの光量比がＶｓ：Ｂｓ：Ｇｓ：Ｒｓとなる特殊光を発光するように、各ＬＥＤ２０ａ～２０ｄを制御する。光量比Ｖｓ：Ｂｓ：Ｇｓ：Ｒｓは、通常観察モード時に使用する光量比Ｖｃ：Ｂｃ：Ｇｃ：Ｒｃと異なっており、観察目的に応じて適宜定められる。例えば、表層血管を強調する場合には、Ｖｓを、他のＢｓ、Ｇｓ、Ｒｓよりも大きくすることが好ましく、中深層血管を強調する場合には、Ｇｓを、他のＶｓ、Ｇｓ、Ｒｓよりも大きくすることが好ましい。

【0032】

また、光源用プロセッサ２１は、アラートモード時に、通常光と特殊光とを自動的に切り替えて発光する場合において、通常光を第１発光パターンで発光し、特殊光を第２発光パターンで発光する。具体的には、第１発光パターンは、図４に示すように、通常照明期間のフレーム数が、それぞれの通常照明期間において同じである第１Ａ発光パターンと、図５に示すように、通常照明期間のフレーム数が、それぞれの通常照明期間において異なっている第１Ｂ発光パターンとのうちのいずれかであることが好ましい。

【0033】

第２発光パターンは、図４に示すように、特殊照明期間のフレーム数が、それぞれの特殊照明期間において同じであり、且つ、特殊光の発光スペクトルが、それぞれの特殊照明期間において同じである第２Ａ発光パターン、図６に示すように、特殊照明期間のフレーム数が、それぞれの特殊照明期間において同じであり、且つ、特殊光の発光スペクトルが、それぞれの特殊照明期間において異なっている第２Ｂ発光パターン、図７に示すように、特殊照明期間のフレーム数が、それぞれの特殊照明期間において異なっており、且つ、特殊光の発光スペクトルが、それぞれの特殊照明期間において同じである第２Ｃ発光パターン、図８に示すように、特殊照明期間のフレーム数が、それぞれの特殊照明期間において異なっており、且つ、特殊光の発光スペクトルが、それぞれの特殊照明期間において異なっている第２Ｄ発光パターンのうちのいずれかであることが好ましい。なお、通常光の発光スペクトルは、それぞれの通常照明期間において同じであってもよく、異なってもよい。

【0034】

ここで、通常照明期間は特殊照明期間よりも長くすることが好ましく、通常照明期間は２フレーム以上とすることが好ましい。例えば、図４では、第１発光パターンを第１Ａ発光パターンとし、第２発光パターンを第２Ａ発光パターン（特殊照明期間のフレーム数：同じ、特殊光の発光スペクトル：同じ）とする場合において、通常照明期間を２フレームとし、特殊照明期間を１フレームとしている。通常光は、ディスプレイ１８に表示する観察画像の生成に用いられることから、通常光を観察対象に照明することによって、明るい画像が得られることが好ましい。

【0035】

通常光は、白色光であることが好ましい。一方、特殊光は、解析処理に用いることから、特殊光を観察対象に照明することによって、解析処理に適した画像が得られることが好ましい。例えば、血管深さが異なる複数の血管の形状情報に基づいて、解析処理を行う場合には、特殊光として、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、赤色光Ｒを用いることが好ましい。この場合、第２発光パターンを第２Ａ発光パターン（特殊照明期間のフレーム数：同じ、特殊光の発光スペクトル：同じ）又は第２Ｃ発光パターン（特殊照明期間のフレーム数：異なる、特殊光の発光スペクトル：同じ）とする場合には、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、赤色光Ｒのうちのいずれか１つの光を用いることが好ましい。一方、第２発光パターンを第２Ｂ発光パターン（特殊照明期間のフレーム数：同じ、特殊光の発光スペクトル：異なる）又は第２Ｄ発光パターン（特殊照明期間のフレーム数：異なる、特殊光の発光スペクトル：異なる）とする場合には、特殊照明期間において、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、赤色光Ｒのうち少なくとも２つの光を特定の順番で切り替えて発光することが好ましい。

【0036】

なお、通常照明期間と特殊照明期間の切替パターンである第１、第２発光パターンの詳細については、撮像用プロセッサ４５による撮像センサ４４の撮像制御に基づいて定められることから、後述する。また、フレームとは、撮像センサ４４において特定タイミングから信号読み出し完了までの間の期間を少なくとも含む期間の単位のことをいう。

【0037】

例えば、粘膜表面からの深さが５０μｍの範囲内にある表層血管、粘膜表面からの深さが２００μｍの範囲内にある中層血管、及び、粘膜表面からの深さが６００μｍの範囲内にある深層血管に関する血管の形状情報を取得し、これら表層、中層、深層の血管の形状情報に基づいて解析処理を行う場合には、表層血管を強調する紫色光Ｖ、中層血管を強調する緑色光Ｇ、深層血管を強調する赤色光Ｒを用いることが好ましい。

【0038】

なお、本明細書において、光量比は、少なくとも１つの半導体光源の比率が０（ゼロ）の場合を含む。したがって、各半導体光源のいずれか１つ又は２つ以上が点灯しない場合を含む。例えば、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光量比が１：０：０：０の場合のように、半導体光源の１つのみを点灯し、他の３つは点灯しない場合も、光量比を有するものとする。

【0039】

図２に示すように、各ＬＥＤ２０ａ～２０ｄが発する光は、ミラーやレンズなどで構成される光路結合部２３を介して、ライトガイド２５に入射される。ライトガイド２５は、内視鏡１２及びユニバーサルコード（内視鏡１２と、光源装置１４及びプロセッサ装置１６を接続するコード）に内蔵されている。ライトガイド２５は、光路結合部２３からの光を、内視鏡１２の先端部１２ｄまで伝搬する。

【0040】

内視鏡１２の先端部１２ｄには、照明光学系３０ａと撮像光学系３０ｂが設けられている。照明光学系３０ａは照明レンズ３２を有しており、ライトガイド２５によって伝搬した照明光は照明レンズ３２を介して観察対象に照射される。撮像光学系３０ｂは、対物レンズ４２、撮像センサ４４を有している。照明光を照射したことによる観察対象からの光は、対物レンズ４２及びズームレンズ４３を介して撮像センサ４４に入射する。これにより、撮像センサ４４に観察対象の像が結像される。ズームレンズ４３は観察対象を拡大するためのレンズであり、ズーム操作部１３ｄを操作することによって、テレ端とワイド端との間を移動する。

【0041】

撮像センサ４４は、原色系のカラーセンサであり、青色カラーフィルタを有するＢ画素（青色画素）、緑色カラーフィルタを有するＧ画素（緑色画素）、及び、赤色カラーフィルタを有するＲ画素（赤色画素）の３種類の画素を備える。図９に示すように、青色カラーフィルタＢＦは、主として青色帯域の光、具体的には３８０～５６０ｎｍの波長帯域の光を透過する。青色カラーフィルタＢＦの透過率は、波長４６０～４７０ｎｍ付近においてピークになる。緑色カラーフィルタＧＦは、主として緑色帯域の光、具体的には、４６０～６２０ｎｍの波長帯域の光を透過する。赤色カラーフィルタＲＦは、主として赤色帯域の光、具体的には、５８０～７６０ｎｍの波長帯域の光を透過する。

【0042】

また、撮像センサ４４は、ＣＣＤ（Charge-Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）であることが好ましい。撮像用プロセッサ４５は、撮像センサ４４を制御する。具体的には、撮像用プロセッサ４５により撮像センサ４４の信号読み出しを行うことによって、撮像センサ４４からカラー画像信号が出力される。通常観察モードでは、通常光が撮像センサ４４に露光された状態で、撮像用プロセッサ４５が信号読み出しを行うことにより、撮像センサ４４のＢ画素からＢｃ画像信号が、Ｇ画素からＧｃ画像信号が、Ｒ画素からＲｃ画像信号が、それぞれ出力される。特殊観察モードでは、特殊光が撮像センサ４４に露光された状態で、撮像用プロセッサ４５が信号読み出しを行うことにより、撮像センサ４４のＢ画素からＢｓ画像信号が、Ｇ画素からＧｓ画像信号が、Ｒ画素からＲｓ画像信号が、それぞれ出力される。

【0043】

アラートモードでは、撮像用プロセッサ４５は、図１０に示すように、通常照明期間において通常光を撮像センサ４４に露光させた状態で、信号読み出しを行うことにより、撮像センサ４４から通常画像信号を出力させる。通常画像信号を出力する期間を通常撮像期間とする。通常画像信号には、Ｂ画素から出力されるＢ１画像信号、Ｇ画素から出力されるＧ１画像信号、及び、Ｒ画素から出力されるＲ１画像信号が含まれる。また、撮像用プロセッサ４５は、特殊照明期間において特殊光を撮像センサ４４に露光させた状態で、信号読み出しを行うことにより、撮像センサ４４から特殊画像信号を出力させる。特殊画像信号を出力する期間を特殊撮像期間とする。特殊画像信号には、Ｂ画素から出力されるＢ２画像信号、Ｇ画素から出力されるＧ２画像信号、及び、Ｒ画素から出力されるＲ２画像信号が含まれる。

【0044】

図２に示すように、ＣＤＳ／ＡＧＣ（Correlated Double Sampling／Automatic Gain Control）回路４６は、撮像センサ４４から得られるアナログのカラー画像信号に相関二重サンプリング（ＣＤＳ）や自動利得制御（ＡＧＣ）を行う。ＣＤＳ／ＡＧＣ回路４６を経た画像信号は、Ａ／Ｄ（Analog／Digital）コンバータ４８により、デジタルのカラー画像信号に変換され、プロセッサ装置１６に入力される。

【0045】

プロセッサ装置１６には、画像処理などの処理に関するプログラムがプログラム用メモリ（図示しない）に格納されている。プロセッサ装置１６においては、画像制御用プロセッサによって構成される中央制御部６８により、プログラム用メモリ内のプログラムが動作することによって、画像信号取得部５０と、ＤＳＰ（Digital Signal Processor）５２と、ノイズ低減部５４と、画像処理切替部５６と、画像処理部５８と、表示制御部６０の機能が実現される。また、画像処理部５８の機能実現に伴って、通常観察画像生成部６２と、特殊観察画像生成部６４と、解析処理部６６との機能が実現される。

【0046】

画像信号取得部５０は、内視鏡１２から入力されるカラー画像信号を取得する。カラー画像信号には、撮像センサ４４のＢ画素、Ｇ画素、Ｒ画素から出力される青色信号（Ｂ画像信号）、緑色信号（Ｇ画像信号）、赤色信号（Ｒ画像信号）が含まれている。取得したカラー画像信号はＤＳＰ５２に送信され、ＤＳＰ５２では、受信したカラー画像信号に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、マトリクス処理、ガンマ変換処理、デモザイク処理、及びＹＣ変換処理等の各種信号処理を行われる。

【0047】

ＤＳＰ５２は、ＹＣ変換処理後の各種信号をノイズ低減部５４に出力し、ノイズ低減部５４によりノイズを低減したカラー画像信号は、画像処理切替部５６に入力される。

【0048】

画像処理切替部５６は、モード切替スイッチ１３ｃによって設定されている観察モードに従って、ノイズ低減部５４からのカラー画像信号の送信先を切り替える。具体的には、通常観察モードに設定されている場合には、カラー画像信号を通常観察画像生成部６２に入力する。特殊観察モードに設定されている場合には、カラー画像信号を特殊観察画像生成部６４に入力する。アラートモードに設定されている場合には、カラー画像信号を解析処理部６６に入力する。

【0049】

通常観察画像生成部６２は、入力した１フレーム分のＲｃ画像信号、Ｇｃ画像信号、Ｂｃ画像信号に対して、通常観察画像用画像処理を施す。通常観察画像用画像処理には、３×３のマトリクス処理、階調変換処理、３次元ＬＵＴ（Look Up Table）処理等の色変換処理、色彩強調処理、空間周波数強調等の構造強調処理が含まれる。通常観察画像用画像処理が施されたＲｃ画像信号、Ｇｃ画像信号、Ｂｃ画像信号は、通常観察画像として表示制御部６０に送信される。

【0050】

特殊観察画像生成部６４は、入力した１フレーム分のＲｓ画像信号、Ｇｓ画像信号、Ｂｓ画像信号に対して、特殊観察画像用画像処理を施す。特殊観察画像用画像処理には、３×３のマトリクス処理、階調変換処理、３次元ＬＵＴ（Look Up Table）処理等の色変換処理、色彩強調処理、空間周波数強調等の構造強調処理が含まれる。特殊観察画像用画像処理が施されたＲｓ画像信号、Ｇｓ画像信号、Ｂｓ画像信号は、特殊観察画像として表示制御部６０に送信される。

【0051】

解析処理部６６は、入力した１フレーム分のＲ１画像信号、Ｇ１画像信号、Ｂ１画像信号に対して上述
と同様の通常観察画像用画像処理を施し、観察画像として表示制御部６０に送信する。また、解析処理部６６は、入力した特定フレームのＲ２画像信号、Ｇ２画像信号、Ｂ２画像信号に対して解析処理を行い、取得した解析結果を表示制御部６０に送信する。取得した解析結果は病変候補領域の検出に用いられる。なお、入力した特定フレームのＲ２画像信号、Ｇ２画像信号、Ｂ２画像信号は、画面表示には使用しない。

【0052】

表示制御部６０は、入力された画像信号をディスプレイ１８に表示するための制御を行う。具体的には、表示制御部６０は、通常観察画像、特殊観察画像、観察画像又は解析結果付き観察画像を、ディスプレイ１８においてフルカラーで表示可能にする映像信号に変換する。変換済みの映像信号はディスプレイ１８に入力される。観察画像には解析結果を組み合わせる。これにより、ディスプレイ１８には通常観察画像、特殊観察画像、観察画像、又は解析結果付き観察画像が表示される。

【0053】

なお、アラートモードにおける表示制御には、病変候補領域の見落としが発生していない場合に、観察画像をディスプレイ１８に表示する見落とし未発生時の表示制御と、病変候補領域の見落とし発生時に、観察画像の他に、病変候補領域に関する画像をディスプレイ１８に表示する見落とし発生時の表示制御がある。

【0054】

アラートモードにおける見落とし未発生時の表示制御では、図１１に示すように、例えば、第１発光パターンを第１Ａ発光パターンとし、第２発光パターンを第２Ａ発光パターン（特殊照明期間のフレーム数：同じ、特殊光の発光スペクトル：同じ）とする場合において、通常光を２フレーム分、特殊光を通常光の発光の間に、それぞれ１フレーム分だけ観察対象に照明する場合には、通常光の照明により得られる通常画像信号に対して通常観察画像用画像処理を施し、観察画像として表示制御部６０に入力される。

【0055】

一方、特殊光の照明により得られる特殊画像信号に対して解析処理を行って、解析結果を得る。解析結果は、表示制御部６０に送信され、それぞれ単独で観察画像と組み合わせて解析結果付き観察画像を得る。２フレーム分の観察画像を表示した後に２フレーム分の観察画像と解析結果に基づく１フレーム分の解析結果付き観察画像が表示される。解析結果付き観察画像に使用する観察画像はよりブレが小さい観察画像となる。

【0056】

特殊画像信号の解析処理としては、例えば、血管の形状情報を抽出する血管抽出処理、抽出した血管の形状情報に基づいて、血管に関する指標値を算出する指標値算出処理が含まれる。

【0057】

解析処理部６６は、図１２に示すように、位置情報算出部７２と、病変判定部７４と、検出部７６と、比較部７８とを備える。

【0058】

位置情報算出部７２は、目盛り検出センサ８２での結果に基づいて管腔内における先端部１２ｄの位置情報を算出する。図１３に示すように、内視鏡１２の挿入部１２ａの外周面には、体内への挿入部１２ａの挿入長を測定するための測定用目盛り８０が設けられている。測定用目盛り８０は、挿入部１２ａの長手方向に沿って所定ピッチ（例えば、１ｃｍ刻み）で設けられた点から構成される。測定用目盛り８０は、患者の口（上部内視鏡の場合）や肛門（下部内視鏡の場合）に設けられた目盛り検出センサ８２で検出され、検出結果は、プロセッサ装置１６の位置情報算出部７２に送信される。なお、図１３では、目盛り検出センサ８２が、患者が口に咥えているマウスピース８４に設けられていることを示している。

【0059】

病変判定部７４は、Ｂ２画像信号、Ｇ２画像信号、Ｒ２画像信号のうち少なくとも１つの特殊画像信号から得た解析結果に対して、病変候補領域の有無の判定を自動で行う。

【0060】

検出部７６は、病変判定部７４が、病変候補領域を有すると判定した時点の位置情報及び病変候補画像を検出し、自動キャプチャを行う。自動キャプチャによってキャプチャ画像取得指示が発せられ、画像の保存制御が行われる。なお、自動キャプチャに代わり、キャプチャ画像取得指示部１３ｂを操作し、手動でキャプチャすることもできる。病変候補画像と位置情報は、第１観察時に得られる第１病変候補画像及び第１位置情報、第１観察時と異なる第２観察時に得られる第２病変候補画像及び第２位置情報がある。第１観察時と、第２観察時との切替操作は、位置情報切替部１３ｅにより行われる。

【0061】

比較部７８は、自動キャプチャにより得られた第１位置情報と第２位置情報との位置情報比較処理を行い、且つ、第１位置情報と第２位置情報とがマッチングした場合に、第１病変候補画像と、第２病変候補画像との画像比較処理を行い、画像比較処理の結果、病変候補領域の見落としの有無を判定する。比較処理の結果は表示制御部６０に送信される。

【0062】

表示制御部６０は、比較部７８での比較処理の結果により、病変候補領域の見落とし有りと判定された場合には、ディスプレイ１８に自動で新たに子画面１８ｂ（図１６参照）を展開し、キャプチャ画像保存用メモリ７０に保存した第１病変候補画像を、子画面１８ｂに自動で表示する。第１病変候補画像の自動表示の詳細は、後述する。

【0063】

アラートモードにおける見落とし発生時の表示制御について、図１４に示す場合を例として、説明する。内視鏡１２の挿入部１２ａが胃、食道、大腸などの管腔内の同一経路を往復する場合において、往路を第１観察時とし、復路を第２観察時とする。往路の第１観察時では、位置情報切替部１３ｅにより「第１観察」と設定する。そして、この往路の第１観察時において、例えば、検出部７６が、病変候補領域Ｋ、病変候補領域Ｌ、病変候補領域Ｍ、病変候補領域Ｎの４つの第１病変候補画像および第１位置情報を取得し、キャプチャ画像保存用メモリ７０に記憶する。ここで、病変候補領域Ｋは、第１位置情報ＸＫ、第１病変候補画像ＹＫを検出している。病変候補領域Ｌは、第１位置情報ＸＬ、第１病変候補画像ＹＬを検出している。病変候補領域Ｍは、第１位置情報ＸＭ、第１病変候補画像ＹＭを検出している。病変候補領域Ｎは、第１位置情報ＸＮ、第１病変候補画像ＹＮを検出している。なお、図１４において、「ＳＴ」は、消化管などの管腔内の挿入口を示しており、「ＥＮ」は、管腔内において、観察可能範囲の終端位置を示している。

【0064】

挿入部１２ａの先端部１２ｄが往路の観察可能範囲の終端位置まで達したら、位置情報切替部１３ｅを操作して、設定を「第２観察」に切り替えて、第２観察を行う。復路の第２観察時では、往路と同じ経路に沿って、挿入部１２ａを引き返させる。

【0065】

位置情報比較処理と画像比較処理に関する記載をする。図１５に示すように、例えば、復路の第２観察時に第２位置情報ＸＭを取得し、且つ、その位置において第２病変候補画像ＹＭが検出されたときには、比較処理において、第１位置情報ＸＭと第２位置情報ＸＭのマッチング、及び第１病変候補画像ＹＭと第２病変候補画像ＹＭのマッチングとなり、この場合には、比較部７８は「病変候補領域の見落とし無し」との判定を行う。同様にして、復路の第２観察時に第２位置情報ＸＫを取得し、且つその位置において第２病変候補画像ＹＫが検出されたときにも、比較部７８は、「病変候補領域の見落とし無し」との判定を行う。

【0066】

これに対して、復路の第２観察時に第２位置情報ＸＮを取得し、その位置において病変候補領域Ｎの第２病変候補画像ＹＮが検出されなかった場合には、比較処理において、位置情報がマッチングし、病変候補画像がマッチングしないことになる。この場合には、第１観察時に検出した病変候補領域Ｎを第２観察時に見落としていることから、比較部７８は、「病変候補領域の見落とし有り」との判定を行う。また、復路の第２観察時に第２位置情報ＸＬを取得し、その位置において病変候補領域Ｌの第２病変候補画像ＹＬが検出されなかった場合には、第１観察時に検出した病変候補領域Ｌを第２観察時に見落としていることから、比較部７８は、「病変候補領域の見落とし有り」との判定を行う。

【0067】

第１観察時と第２観察時の比較処理の結果より、見落とし防止のアラートを画面表示によって行う。図１６に示すように、ディスプレイ１８のメイン画面１８ａにおいて観察画像（又は解析結果付き観察画像）を表示する場合において、「病変候補領域の見落とし有り」と判定された場合には、メイン画面１８ａと別の位置に設けられた子画面１８ｂが自動で展開する。展開された子画面１８ｂに、キャプチャ画像保存用メモリ７０に保存した第１病変候補画像を自動で表示する。例えば、第２位置情報ＸＮにおける病変候補領域Ｎ（図１４参照）の見落としがあると判定された場合には、第１病変候補画像ＹＮを子画面１８ｂに表示する。これにより、第２観察時における病変候補領域の存在を喚起し、見落とし防止のアラートとする。

【0068】

なお、図１６では、観察画像をメイン画面１８ａに、第１病変候補画像を子画面１８ｂに表示しているが、反対に第１病変候補画像をメイン画面１８ａに、観察画像を子画面１８ｂに表示してもよい。また、第１病変候補画像を１つのみ表示しているが、これに限らず、２以上の第１病変候補画像を表示するようにしてもよい。なお、１つのディスプレイ１８に、メイン画面１８ａと子画面１８ｂを表示しているが、複数のディスプレイにメイン画面１８ａを表示させ、残りのディスプレイ１８に子画面１８ｂを表示してもよい。例えば、２つのディスプレイ１８を用いる場合には、第１ディスプレイ１８の画面全体に観察画像のみを表示させる一方で、第２ディスプレイ１８には、第１病変候補画像と病変候補領域の関連情報だけを表示させてもよい。

【0069】

図１７のように、表示制御部６０は、「病変候補領域の見落とし有り」と判定された場合には、見落とした病変候補領域の位置情報ＤＰをメイン画面１８ａに表示することが好ましい。病変候補領域の位置情報ＤＰは、第１位置情報又は第２位置情報などから算出することが好ましい。例えば、第２位置情報ＸＮにおける病変候補領域Ｎ（図１４参照）の見落としがあると判定された場合には、第２位置情報ＸＮに基づいて、病変候補領域の位置情報ＤＰを算出し、算出した位置情報ＤＰをメイン画面１８ａに表示する。これにより、ユーザーは、病変候補領域の位置を認識することが可能である、位置情報ＤＰに、四角形（□）、丸（○）、矢印などのインジケータとして表示することが好ましい。図１７では、インジケータとして丸（〇）を表示する。なお、見落としをせずに、第２観察時に検出した病変候補領域がある場合には、検出済み病変候補領域としてメイン画面１８ａにインジケータ表示をすることが好ましい。図１７では、点線の矩形状領域９０としてインジケータ表示される。

【0070】

また、インジケータによる表示は画像上のみではなく、動画表示時にも、一度検出した病変候補領域の画像的特徴を頼りとして、移動中に病変候補領域を自動追従し、それに合わせて表示するようにしてもよい。

【0071】

また、表示制御部６０は、「病変候補領域の見落とし有り」と判定された場合には、図１８に示すように、病変候補領域の方向を示すガイドＤＧをメイン画面１８ａに表示することが好ましい。ガイドＤＧは、メイン画面１８ａに病変候補領域が表示されていない場合に、表示することが好ましい。また、ガイドＤＧは、第１位置情報又は第２位置情報などから決定することが好ましい。例えば、第２位置情報ＸＮにおける病変候補領域Ｎ（図１４参照）の見落としがあると判定された場合には、第２位置情報ＸＮに基づいて、病変候補領域の方向を示すガイドＤＧを決定し、算出したガイドＤＧをメイン画面１８ａに表示する。

【0072】

なお、上記実施形態では、１回の病変診断において、内視鏡１２の先端部１２ｄを、胃、大腸、食道など管腔内に沿って、往復させる場合を想定し、往路を第１観察時とし、往路と同一経路を引き返す復路を、第２観察時としている。第１観察時と第２観察時については、１回の病変診断の往路、復路に限られず、第２観察時は第１観察時よりも時間的に後のタイミングであって、第１観察時と第２観察時において同一経路で病変候補領域の検出を行う場合であれば、その他のケースにも適用可能である。例えば、第１観察時と第２観察時は、日を跨いで病変診断を行う場合にも適用できる。この場合、初期診断など第１の診断日を第１観察時とし、経過観察などの第１の診断日よりも後の第２の診断日を第２観察時とすることが考えられる。このような場合には、位置情報切替部１３ｅを操作することなく、「第１観察」から「第２観察」に自動的に切り替えることが好ましい。

【0073】

なお、本実施形態では、位置情報と病変候補画像の両方を用いて、第１観察時と第２観察時で病変候補領域の見落としがあるか否かの判定を行っているが、病変候補画像のみを用いて、病変候補領域の見落とし判定を行ってもよい。この場合には、第１病変候補画像と第２病変候補画像の比較処理を行い、その比較処理の結果に従って、病変候補領域の見落とし判定を行うことになる。

【0074】

なお、第１観察時における画像については、以下の保存制御がある。アラートモードにおいては、自動キャプチャの際に、キャプチャ画像取得指示が発せられ、通常撮像期間で複数のフレームから得られる第１病変候補画像と、特殊撮像期間で特殊画像信号から取得される解析結果を取得する。取得した第１病変候補画像及びその第１位置情報は関連付けられ、キャプチャ画像保存用メモリ７０に保存される。

【0075】

例えば、第１発光パターンを第１Ａ発光パターンとし、第２発光パターンを第２Ａ発光パターン（特殊照明期間のフレーム数：同じ、特殊光の発光スペクトル：同じ）とする場合において、キャプチャ画像取得指示が行われた場合には、通常光の画像信号取得期間は、キャプチャ画像取得指示が行われたタイミングのフレームを含む直近の通常撮像期間の全フレームとする。また、特殊撮像期間でもキャプチャ画像取得指示が行われたタイミングの直近のフレームで特殊画像信号を取得する。そして、特殊画像信号から取得した解析結果はキャプチャ画像保存用メモリ７０に保存される。

【0076】

一方、第１発光パターンを第１Ａ発光パターンとし、第２発光パターンを第２Ｂ発光パターン（特殊照明期間のフレーム数：同じ、特殊光の発光スペクトル：異なる）とする場合において、キャプチャ画像取得指示が行われた場合には、通常光の画像信号取得期間は、キャプチャ画像取得指示が行われたタイミングのフレームを含む直近の通常撮像期間の全フレームとする。また、特殊撮像期間でもキャプチャ画像取得指示が行われたタイミングの直近のフレームの他、残り全ての種類の発光スペクトルに対応する直近の特殊撮像期間のフレームも含まれる。例えば、特殊光が、紫色光Ｖ、緑色光Ｇ、赤色光Ｒである場合には、キャプチャ画像取得指示が紫色光Ｖの特殊撮像期間に行われた場合には、画像信号取得期間は、紫色光Ｖに対応する特殊撮像期間のフレームの他、緑色光Ｇに対応する特殊撮像期間のフレーム、及び、赤色光Ｒに対応する特殊撮像期間のフレームが含まれる。したがって、キャプチャ画像取得指示が行われることにより、紫色光Ｖに対応する特殊画像信号、緑色光Ｇに対応する特殊画像信号、及び、赤色光Ｒに対応する特殊画像信号が取得され、キャプチャ画像保存用メモリ７０に保存される。

【0077】

アラートモードにおける見落とし防止のアラートの一連の流れについて、図１９のフローチャートに沿って、説明する。まず、モード切替スイッチ１３ｃを操作して、観察モードを「アラートモード」に切り替えるとともに、位置情報切替部１３ｅを操作し、設定を「第１観察」に切り替える。アラートモードに切り替えられると、通常光を発光する第１発光パターンと、特殊光を発光する第２発光パターンに自動的に切り替えられる。このように通常光と特殊光とが第１、第２発光パターンにて自動的に交互に発光し、観察対象に対して照明される。そして、内視鏡１２の先端部１２ｄを管腔内に挿入し、挿入口から観察可能範囲の終端位置まで先端部１２ｄを移動させ、第１観察を行う。

【0078】

第１観察において、検出部７６が、第１病変候補画像を検出した場合には、第１病変候補画像をその時点での第１位置情報と関連付けて自動的にキャプチャする自動キャプチャを行う。自動キャプチャにより得られた第１病変候補画像及び第１位置情報は、キャプチャ画像保存用メモリ７０に保存する。

【0079】

内視鏡の先端部１２ｄが、管腔の観察可能範囲の終端位置に達したら、位置情報切替部１３ｅを操作し、設定を「第２観察」に切り替え、第２観察を始める。第２観察時では、第１観察時と同じ経路を引き返すように、内視鏡１２の先端部１２ｄを観察可能範囲の終端位置から挿入口まで先端部１２ｄを移動させ、第２病変候補画像を検出する。

【0080】

第２観察において、検出部７６が、第２病変候補画像を検出した場合には、第２病変候補画像をその時点での第２位置情報と関連付けて自動的にキャプチャする自動キャプチャを行う。自動キャプチャが行われた場合には、比較部７８は、キャプチャ画像保存用メモリ７０に保存された第１位置情報と、第２観察時に自動キャプチャにより得られた第２位置情報との位置情報比較処理を行う。位置情報比較処理の結果、第１位置情報と第２位置情報とがマッチングした場合に、第１位置情報に関連付けられた第１病変候補画像と、自動キャプチャにより得られた第２病変候補画像との画像比較処理を行う。

【0081】

画像比較処理の結果、第１病変候補画像と第２病変候補画像とがマッチングせず、「病変候補領域の見落とし有り」と判定された場合には、ディスプレイ１８に自動で新たに子画面１８ｂを展開する。そして、子画面１８ｂにおいて、第１位置情報に関連付けられた第１病変候補画像を、自動で表示する。これにより、第２観察時における病変候補領域の存在を喚起し、見落とし防止のアラートとする。

【0082】

[第２実施形態]
図２０に示すように、第２実施形態の内視鏡システムでは、ディスプレイ１８にメイン画面１８ａ及び子画面１８ｂを観察開始時から並べて表示する。以下においては、第１実施形態と異なる部分のみ説明を行い、第１実施形態と同様の部分については、説明を省略する。

【0083】

アラートモードの第２観察時において、「病変候補領域の見落とし有り」と判定された場合には、メイン画面１８ａと別の位置に設けられた子画面１８ｂにおいて、「病変候補領域の見落とし有り」と判定された第１病変候補画像を、自動で表示する。これにより、第２観察時における病変候補領域の存在を喚起し、見落とし防止のアラートとする。

【0084】

また、見落とし防止の表示とは別に、第１観察時においては自動キャプチャにより得られた第１病変候補画像を取得する毎に、子画面１８ｂに表示してもよい。第１観察時に第１病変候補画像を子画面１８ｂに表示することで第２観察時の同位置における見落としを更に防止できる。この場合、ディスプレイ１８に子画面１８ｂを複数設けておき、第１観察時で第１病変候補画像を新たに取得した場合には、前に取得した第１病変候補画像を表示する子画面１８ｂとは別の子画面１８ｂに対して、新たに取得した第１病変候補画像を表示するようにしてもよい。

【0085】

[第３実施形態]
図２１に示すように、第３実施形態の内視鏡システムでは、ディスプレイ１８は子画面１８ｂの表示はせず、メイン画面１８ａのみ表示する。以下においては、第１実施形態と異なる部分のみ説明を行い、第１実施形態と同様の部分については、説明を省略する。

【0086】

アラートモードの第２観察時において、通常は、メイン画面１８ａに観察画像を表示し、「病変候補領域の見落とし有り」と判定された場合には、メイン画面１８ａの表示を、観察画像から、「病変候補領域の見落とし有り」と判定された第１病変候補画像に自動で切り替えるようにする。切り替え後の第１病変候補画像には、図２１に示すように、見落とした病変候補領域の位置情報ＤＰをインジケータとして表示することが好ましい。インジケータとして太線の丸（〇）を表示する。

【0087】

なお、第３実施形態では、第１病変候補画像への切り替え表示による見落としのアラートは、観察中の他、観察終了後に行ってもよい。この場合には、観察中においては、自動キャプチャによる第１、第２病変候補画像の取得のみ行い、位置情報比較処理、画像比較処理は観察中に行わない。そして、観察終了後に、ユーザーインターフェース１９を操作することにより、位置情報比較処理及び画像比較処理を行う。そして、画像比較処理の結果、「病変候補領域の見落とし有り」と判定された場合に、メイン画面１８ａの表示を、「病変候補領域の見落とし有り」と判定された第１病変候補画像に切り替えるようにする。

【0088】

なお、上記各実施形態においては、通常光に基づく通常画像信号は観察画像に、特殊光に基づく特殊画像信号は解析処理のみに用いているが、通常画像信号についても、解析処理を行い、病変候補画像を検出してもよい。この場合には、通常画像信号に基づく病変候補画像と、特殊画像信号に基づく病変候補画像を切り替えて使用することになる。通常画像信号に基づく病変候補画像の検出もしくは非検出については、ユーザーインターフェース１９によって適宜設定できるようにすることが好ましい。

【0089】

上記実施形態において、画像信号取得部５０、ノイズ低減部５４、画像処理切替部５６、通常観察画像生成部６２、特殊観察画像生成部６４、解析処理部６６、位置情報算出部７２、病変判定部７４、検出部７６、比較部７８といった各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＧＰＵ（Graphical Processing Unit）、ＦＰＧＡ (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

【0090】

１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡ、ＣＰＵとＦＰＧＡの組み合わせ、またはＣＰＵとＧＰＵの組み合わせ等）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

【0091】

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（Circuitry）である。また、記憶部のハードウェア的な構造はＨＤＤ（Hard Disc Drive）やＳＳＤ（Solid State Drive）等の記憶装置である。

【0092】

なお、本発明の別実施形態として以下が挙げられる。請求項１、２において「第１、第２観察時」の要件と「位置情報マッチング」の要件を外す。即ち、病変候補画像を検出した場合に、自動キャプチャを行い、即座に子画面表示等を行う。

【0093】

以上の説明から以下の付記項１、２の示す発明を把握することができる。

【0094】

[付記項１]
観察画像を表示するメイン画面を有するディスプレイと、
画像制御用プロセッサとを備え、
前記画像制御用プロセッサは、
病変候補画像を検出した場合には、自動的にキャプチャ画像保存用メモリに前記病変候補画像を保存する自動キャプチャを行い、且つ、前記ディスプレイに自動で新たに子画面を展開し、検出した前記病変候補画像を、即座に前記子画面に表示する内視鏡システム。

【0095】

[付記項２]
観察画像を表示するメイン画面及び前記メイン画面と別の位置に設けられた子画面を有するディスプレイと、
画像制御用プロセッサとを備え、
前記画像制御用プロセッサは、
病変候補画像を検出した場合には、自動的にキャプチャ画像保存用メモリに前記病変候補画像を保存する自動キャプチャを行い、且つ、検出した前記病変候補画像を、即座に前記子画面に表示する内視鏡システム。

【符号の説明】

【0096】

１０ 内視鏡システム
１２ 内視鏡
１２ａ 挿入部
１２ｂ 操作部
１２ｃ 湾曲部
１２ｄ 先端部
１３ａ アングルノブ
１３ｂ キャプチャ画像取得指示部
１３ｃ モード切替スイッチ
１３ｄ ズーム操作部
１３ｅ 位置情報切替部
１４ 光源装置
１６ プロセッサ装置
１８ ディスプレイ
１８ａ メイン画面
１８ｂ 子画面
１９ ユーザーインターフェース
２０ 光源部
２０ａ Ｖ－ＬＥＤ
２０ｂ Ｂ－ＬＥＤ
２０ｃ Ｇ－ＬＥＤ
２０ｄ Ｒ－ＬＥＤ
２１ 光源用プロセッサ
２３ 光路結合部
２５ ライトガイド
３０ａ 照明光学系
３０ｂ 撮像光学系
３２ 照明レンズ
４２ 対物レンズ
４３ ズームレンズ
４４ 撮像センサ
４５ 撮像用プロセッサ
４６ ＣＤＳ／ＡＧＣ回路
４８ Ａ／Ｄコンバータ
５０ 画像信号取得部
５２ ＤＳＰ
５４ ノイズ低減部
５６ 画像処理切替部
５８ 画像処理部
６０ 表示制御部
６２ 通常観察画像生成部
６４ 特殊観察画像生成部
６６ 解析処理部
６８ 中央制御部
７０ キャプチャ画像保存用メモリ
７２ 位置情報算出部
７４ 病変判定部
７６ 検出部
７８ 比較部
８０ 測定用目盛り
８２ 目盛り検出センサ
８４ マウスピース
９０ 点線の矩形状領域
ＢＦ 青色カラーフィルタ
ＧＦ 緑色カラーフィルタ
ＲＦ 赤色カラーフィルタ
ＳＴ 観察開始位置
ＥＮ 観察終了位置
ＸＫ 病変候補領域Ｋの位置情報
ＹＫ 病変候補領域Ｋの病変候補画像
ＸＬ 病変候補領域Ｌの位置情報
ＹＬ 病変候補領域Ｌの病変候補画像
ＸＭ 病変候補領域Ｍの位置情報
ＹＭ 病変候補領域Ｍの病変候補画像
ＸＮ 病変候補領域Ｎの位置情報
ＹＮ 病変候補領域Ｎの病変候補画像
ＤＰ 病変候補領域の位置情報
ＤＧ ガイド

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】