特許 6774552 プロセッサ装置、内視鏡システム及びプロセッサ装置の作動方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6774552

(24)【登録日】2020年10月6日

(45)【発行日】2020年10月28日

(54)【発明の名称】プロセッサ装置、内視鏡システム及びプロセッサ装置の作動方法

(51)【国際特許分類】

   A61B 1/045 20060101AFI20201019BHJP

   A61B 1/00 20060101ALI20201019BHJP

   G06T 7/00 20170101ALI20201019BHJP

   G02B 23/24 20060101ALI20201019BHJP

【ＦＩ】

   A61B1/045 610

   A61B1/045 616

   A61B1/00 552

   A61B1/045 622

   G06T7/00 614

   G02B23/24 B

【請求項の数】13

【全頁数】27

(21)【出願番号】特願2019-502883(P2019-502883)

(86)(22)【出願日】2018年2月19日

(86)【国際出願番号】JP2018005654

(87)【国際公開番号】WO2018159347

(87)【国際公開日】20180907

【審査請求日】2019年8月8日

(31)【優先権主張番号】特願2017-35842(P2017-35842)

(32)【優先日】2017年2月28日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】110001988

【氏名又は名称】特許業務法人小林国際特許事務所

(72)【発明者】

【氏名】久保 雅裕

(72)【発明者】

【氏名】小澤 聡

(72)【発明者】

【氏名】龍田 岳一

(72)【発明者】

【氏名】蔵本 昌之

(72)【発明者】

【氏名】杉崎 誠

【審査官】 永田 浩司

(56)【参考文献】

【文献】 国際公開第２０１４／００２５６５（ＷＯ，Ａ１）

【文献】 特開２００４−０１６２６８（ＪＰ，Ａ）

【文献】 特開２００８−２５９６２２（ＪＰ，Ａ）

【文献】 特開２０１５−１１２４２９（ＪＰ，Ａ）

【文献】 特開２０１０−１４２３７５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ １／００ − １／３２

Ｇ０６Ｔ ７／００

Ｇ０２Ｂ ２３／２４

(57)【特許請求の範囲】

【請求項1】

検査領域毎に予め定められた複数の基準画像を記憶する基準画像記憶部と、
前記基準画像に相当する基準相当画像を得るために前記検査領域を撮像して検査画像を取得する画像取得部と、
前記基準画像記憶部から、前記検査画像に対応する基準画像を選択する基準画像選択部と、
前記基準画像選択部で選択された基準画像の画像データと前記検査画像の画像データから、前記基準画像選択部で選択された基準画像と前記検査画像とに係る色の特徴量、構造の前記特徴量及び／又はランドマークの前記特徴量を算出し、前記基準画像と前記検査画像に係る色の特徴量、構造の前記特徴量及び／又はランドマークの前記特徴量についてそれぞれ特徴量類似度を算出し、それぞれの前記特徴量類似度に重み付け加算を行い、複数の前記特徴量類似度を組み合せた総合類似度を類似度として算出する類似度算出部と、
前記類似度が特定の条件を満たさない場合に、表示部に対して警告表示させる表示制御部と、を備えるプロセッサ装置。

【請求項2】

検査領域毎に予め定められた複数の基準画像を記憶する基準画像記憶部と、
前記基準画像に相当する基準相当画像を得るために前記検査領域を撮像して検査画像を取得する画像取得部と、
前記基準画像記憶部から、前記検査画像に対応する基準画像を選択する基準画像選択部と、
前記基準画像選択部で選択された基準画像の画像データと前記検査画像の画像データから、前記基準画像選択部で選択された基準画像と前記検査画像との類似度を算出する類似度算出部と、
前記類似度が特定の条件を満たさない場合に、表示部に対して警告表示させる表示制御部と、を備え、
前記基準画像に内視鏡の挿入部が含まれる場合は、前記検査画像に前記挿入部が含まれている場合に前記類似度を高くするプロセッサ装置。

【請求項3】

検査領域毎に予め定められた複数の基準画像を記憶する基準画像記憶部と、
前記基準画像に相当する基準相当画像を得るために前記検査領域を撮像して検査画像を取得する画像取得部と、
前記基準画像記憶部から、前記検査画像に対応する基準画像を選択する基準画像選択部と、
前記基準画像選択部で選択された基準画像の画像データと前記検査画像の画像データから、前記基準画像選択部で選択された基準画像と前記検査画像との類似度を算出する類似度算出部と、
前記類似度が特定の条件を満たさない場合に、表示部に対して警告表示させる表示制御部と、を備え、
前記類似度算出部は、前記基準画像選択部で選択された基準画像の画像データと前記検査画像の画像データ及び内視鏡の操作に関するスコープ操作情報から、前記基準画像選択部で選択された基準画像と前記検査画像との前記類似度を算出するプロセッサ装置。

【請求項4】

検査領域毎に予め定められた複数の基準画像を記憶する基準画像記憶部と、
前記基準画像に相当する基準相当画像を得るために前記検査領域を撮像して検査画像を取得する画像取得部と、
前記基準画像記憶部から、前記検査画像に対応する基準画像を選択する基準画像選択部と、
前記基準画像選択部で選択された基準画像の画像データと前記検査画像の画像データから、前記基準画像選択部で選択された基準画像と前記検査画像との類似度を算出する類似度算出部と、
前記類似度が特定の条件を満たさない場合に、表示部に対して警告表示させる表示制御部と、を備え、
前記類似度算出部は、前記基準画像選択部で選択された基準画像の画像データと前記検査画像の画像データ及び内視鏡の操作に関するスコープ操作情報から、前記基準画像選択部で選択された基準画像と前記検査画像との前記類似度を算出し、
前記スコープ操作情報には、前記内視鏡のアングル角度又は回転量、観察対象との距離、前記内視鏡の挿入部の挿入長及び前記内視鏡の前記挿入部の形状の内、少なくとも１つが含まれるプロセッサ装置。

【請求項5】

検査領域毎に予め定められた複数の基準画像を記憶する基準画像記憶部と、
前記基準画像に相当する基準相当画像を得るために前記検査領域を撮像して検査画像を取得する画像取得部と、
前記基準画像記憶部から、前記検査画像に対応する基準画像を選択する基準画像選択部と、
前記基準画像選択部で選択された基準画像の画像データと前記検査画像の画像データから、前記基準画像選択部で選択された基準画像と前記検査画像との類似度を算出する類似度算出部と、
前記類似度が特定の条件を満たさない場合に、表示部に対して警告表示させる表示制御部と、を備え、
前記表示制御部は、前記類似度が前記特定の条件を満たすための内視鏡の操作に関する操作支援情報を表示させるプロセッサ装置。

【請求項6】

検査領域毎に予め定められた複数の基準画像を記憶する基準画像記憶部と、
前記基準画像に相当する基準相当画像を得るために前記検査領域を撮像して検査画像を取得する画像取得部と、
前記基準画像記憶部から、前記検査画像に対応する基準画像を選択する基準画像選択部と、
前記基準画像選択部で選択された基準画像の画像データと前記検査画像の画像データから、前記基準画像選択部で選択された基準画像と前記検査画像との類似度を算出する類似度算出部と、
前記類似度が特定の条件を満たさない場合に、表示部に対して警告表示させる表示制御部と、を備え、
前記基準画像記憶部は、基準画像をＲＡＷデータ形式で記憶し、
前記類似度算出部は、前記基準画像選択部で選択された基準画像の画像データと前記検査画像の画像データから、前記検査画像に施された特定の画像処理を、前記ＲＡＷデータ形式の基準画像に施してから、前記基準画像選択部で選択された基準画像と前記検査画像との前記類似度を算出するプロセッサ装置。

【請求項7】

検査領域毎に予め定められた複数の基準画像を記憶する基準画像記憶部と、
前記基準画像に相当する基準相当画像を得るために前記検査領域を撮像して検査画像を取得する画像取得部と、
前記基準画像記憶部から、前記検査画像に対応する基準画像を選択する基準画像選択部と、
前記基準画像選択部で選択された基準画像の画像データと前記検査画像の画像データから、前記基準画像選択部で選択された基準画像と前記検査画像との類似度を算出する類似度算出部と、
前記類似度が特定の条件を満たさない場合に、表示部に対して警告表示させる表示制御部と、
前記検査画像から欠陥領域を除去する欠陥領域除去部と、を備え、
前記類似度算出部は、前記基準画像選択部で選択された基準画像の画像データと前記検査画像の画像データから、前記基準画像選択部で選択された基準画像と前記欠陥領域が除去された前記検査画像との類似度を算出するプロセッサ装置。

【請求項8】

検査領域毎に予め定められた複数の基準画像を記憶する基準画像記憶部と、
前記基準画像に相当する基準相当画像を得るために前記検査領域を撮像して検査画像を取得する画像取得部と、
前記基準画像記憶部から、前記検査画像に対応する基準画像を選択する基準画像選択部と、
前記基準画像選択部で選択された基準画像の画像データと前記検査画像の画像データから、前記基準画像選択部で選択された基準画像と前記検査画像との類似度を算出する類似度算出部と、
前記類似度が特定の条件を満たさない場合に、表示部に対して警告表示させる表示制御部と、を備え、
前記表示制御部は、特定の検査領域における検査画像を保存用画像記憶部に記憶した場合には、前記特定の検査領域における検査画像が保存済みであることを、検査対象マップ上に表示するプロセッサ装置。

【請求項9】

前記類似度算出部は、前記基準画像の画像データに含まれるノイズ、構造又はランドマークと前記検査画像の画像データに含まれるノイズ、構造又はランドマークとの比較により前記類似度を算出する請求項１ないし８いずれか１項記載のプロセッサ装置。

【請求項10】

前記特定の条件は、前記類似度が一定値以上である請求項１ないし９いずれか１項記載のプロセッサ装置。

【請求項11】

前記検査画像は、静止画取得指示部が操作された場合に得られる画像である請求項１ないし１０いずれか１項記載のプロセッサ装置。

【請求項12】

請求項１ないし１１いずれか１項記載のプロセッサ装置と、
前記類似度を表示する表示部を備える内視鏡システム。

【請求項13】

画像取得部は、検査領域毎に予め定められた基準画像に相当する基準相当画像を得るために前記検査領域を撮像して検査画像を取得するステップと、
基準画像選択部が、前記基準画像を記憶する基準画像記憶部から、前記検査画像に対応する基準画像を選択するステップと、
類似度算出部が、前記基準画像選択部で選択された基準画像の画像データと前記検査画像の画像データから、前記基準画像選択部で選択された基準画像と前記検査画像とに係る色の特徴量、構造の前記特徴量及び／又はランドマークの前記特徴量を算出し、前記基準画像と前記検査画像に係る色の特徴量、構造の前記特徴量及び／又はランドマークの前記特徴量についてそれぞれ特徴量類似度を算出し、それぞれの前記特徴量類似度に重み付け加算を行い、複数の前記特徴量類似度を組み合せた総合類似度を類似度として算出するステップと、
表示制御部が、前記類似度が特定の条件を満さない場合に、表示部に対して警告表示させるステップとを有するプロセッサ装置の作動方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、検診センターやクリニックで行われるスクリーニングで用いられるプロセッサ装置、内視鏡システム及びプロセッサ装置の作動方法に関する。

【背景技術】

【0002】

医療分野においては、光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムを用いた診断が広く行われている。内視鏡システムは、光源装置が発する照明光を、内視鏡を介して観察対象に照射し、その照明光で照明中の観察対象を撮像して得た画像信号に基づいて、プロセッサ装置が観察対象の画像を生成する。この画像をモニタに表示することにより、医師は、モニタ上の画像を見ながら診断を行うことができる。

【0003】

近年、内視鏡検査をスクリーニング検査として実施する施設が増えつつあり、内視鏡検査を実施する医師が必ずしも経験豊富ではない場合においても、正しい診断が行えるように質の高い検査が求められている。そこで、内視鏡の経験が豊富でない場合でも、客観的に判断を行うことができるように、適正なレベルで消化管の内部をくまなく画像撮影するためのガイドライン（マニュアル）が定められている（例えば、「対策型検診のための胃内視鏡検診マニュアル ２０１５年度版（Ｐ５６〜Ｐ６３）」参照）。また、撮影した画像は、その後、ガイドラインに沿って撮影されているかのどうかのダブルチェックも行われている。

【0004】

胃の検査に関するガイドラインにおいては、例えば、以下が定められている。
・咽頭から十二指腸までで４０コマ程度の撮影数が必要
・観察の順序（ルート）を一定にする
・観察していないところ（盲点）がないこと（噴門部全周、大部・前提部の後壁・小弯部）
・胃の膨らませ方が十分であること（定圧送気）
・適切な明るさで撮影されていること
・粘膜が除去されていること
・ランドマークを含めたシーンがされていること

【0005】

ただし、ガイドラインに沿った撮影をするためには、内視鏡の操作に関して一定の技術と経験が必要となる。例えば、図２５及び図２６に示すように、ガイドラインに定められた噴門直下や胃角部の部位を撮影しようとする場合は、内視鏡の先端部を大きく回転させるアングル操作が必要となる。また、ガイドラインでは、ひだとひだの間に隠れた病変部の撮影も求められており、このような場合には、適切な空気圧の送気ガスを吹き付けることによって、ひだを広げて病変部の有無の確認を行う必要がある。このように、ガイドラインに定められた撮影や操作を行うことは、専門医でなくても経験が浅い医師には容易でなく、ガイドライン通りに撮影できる支援技術が求められていた。

【0006】

これに対して、特許文献１〜３に示すように、いくつかの技術が示されている。特許文献１では、ガイドラインで定められた画像の枚数が規定数に達していない場合には、必要な画像を動画像から抽出することを行っている。また、特許文献２では、内視鏡の挿入部の挿入長を検出し、その挿入長に応じて必要な画像を自動的に撮影するようにしている。また、特許文献３では、所定の検査部位における画像の枚数が予定撮像枚数と一致していない場合に、アラートを発生させて、ユーザーに画像の取り損ねを通知するようにしている。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２０１２−７０９３８号公報

【特許文献2】特開２０１２−７０９３７号公報

【特許文献3】特開２０１２−７０９３６号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、特許文献１〜３の支援技術だけでは、ガイドライン通りに撮影が行われているかどうかは分かりにくい。例えば、特許文献１では、動画像からガイドラインに必要な画像を抽出しているが、動画像がガイドラインで決められた位置で撮影されていない場合には、画像を抽出することができない。また、特許文献２では、挿入長に応じて自動で撮影を行っているが、挿入長は、患者の体格差によって変わり得ることから、挿入長に応じて撮影した位置が、ガイドラインで定められた位置と一致しない場合もあり得る。また、特許文献３では、アラートを受けて、撮影の取り直しを行おうとする場合であっても、経験の浅い医師の場合には、ガイドライン通りに撮影できる何らかの支援がないと、ガイドライン通りに撮影できない場合がある。

【0009】

本発明は、ガイドラインで定められた画像の撮影を支援することができるプロセッサ装置、内視鏡システム及びプロセッサ装置の作動方法を提供することを目的とする。

【課題を解決するための手段】

【0010】

本発明のプロセッサ装置は、検査領域毎に予め定められた複数の基準画像を記憶する基準画像記憶部と、基準画像に相当する基準相当画像を得るために検査領域を撮像して検査画像を取得する画像取得部と、基準画像記憶部から、検査画像に対応する基準画像を選択する基準画像選択部と、基準画像選択部で選択された基準画像の画像データと検査画像の画像データから、基準画像選択部で選択された基準画像と検査画像とに係る色の特徴量、構造の特徴量及び／又はランドマークの特徴量を算出し、基準画像と検査画像に係る色の特徴量、構造の特徴量及び／又はランドマークの特徴量についてそれぞれ特徴量類似度を算出し、それぞれの特徴量類似度に重み付け加算を行い、複数の特徴量類似度を組み合せた総合類似度を類似度として算出する類似度算出部と、類似度が特定の条件を満たさない場合に、表示部に対して警告表示させる表示制御部と、を備える。

【0011】

本発明のプロセッサ装置は、検査領域毎に予め定められた複数の基準画像を記憶する基準画像記憶部と、基準画像に相当する基準相当画像を得るために検査領域を撮像して検査画像を取得する画像取得部と、基準画像記憶部から、検査画像に対応する基準画像を選択する基準画像選択部と、基準画像選択部で選択された基準画像の画像データと検査画像の画像データから、基準画像選択部で選択された基準画像と検査画像との類似度を算出する類似度算出部と、類似度が特定の条件を満たさない場合に、表示部に対して警告表示させる表示制御部と、を備え、基準画像に内視鏡の挿入部が含まれる場合は、検査画像に挿入部が含まれている場合に類似度を高くする。

【0012】

本発明のプロセッサ装置は、検査領域毎に予め定められた複数の基準画像を記憶する基準画像記憶部と、基準画像に相当する基準相当画像を得るために検査領域を撮像して検査画像を取得する画像取得部と、基準画像記憶部から、検査画像に対応する基準画像を選択する基準画像選択部と、基準画像選択部で選択された基準画像の画像データと検査画像の画像データから、基準画像選択部で選択された基準画像と検査画像との類似度を算出する類似度算出部と、類似度が特定の条件を満たさない場合に、表示部に対して警告表示させる表示制御部と、を備え、類似度算出部は、基準画像選択部で選択された基準画像の画像データと検査画像の画像データ及び内視鏡の操作に関するスコープ操作情報から、基準画像選択部で選択された基準画像と検査画像との類似度を算出する。
本発明のプロセッサ装置は、検査領域毎に予め定められた複数の基準画像を記憶する基準画像記憶部と、基準画像に相当する基準相当画像を得るために検査領域を撮像して検査画像を取得する画像取得部と、基準画像記憶部から、検査画像に対応する基準画像を選択する基準画像選択部と、基準画像選択部で選択された基準画像の画像データと検査画像の画像データから、基準画像選択部で選択された基準画像と検査画像との類似度を算出する類似度算出部と、類似度が特定の条件を満たさない場合に、表示部に対して警告表示させる表示制御部と、を備え、類似度算出部は、基準画像選択部で選択された基準画像の画像データと検査画像の画像データ及び内視鏡の操作に関するスコープ操作情報から、基準画像選択部で選択された基準画像と検査画像との類似度を算出し、スコープ操作情報には、内視鏡のアングル角度又は回転量、観察対象との距離、内視鏡の挿入部の挿入長及び内視鏡の挿入部の形状の内、少なくとも１つが含まれる。

【0013】

本発明のプロセッサ装置は、検査領域毎に予め定められた複数の基準画像を記憶する基準画像記憶部と、基準画像に相当する基準相当画像を得るために検査領域を撮像して検査画像を取得する画像取得部と、基準画像記憶部から、検査画像に対応する基準画像を選択する基準画像選択部と、基準画像選択部で選択された基準画像の画像データと検査画像の画像データから、基準画像選択部で選択された基準画像と検査画像との類似度を算出する類似度算出部と、類似度が特定の条件を満たさない場合に、表示部に対して警告表示させる表示制御部と、を備え、表示制御部は、類似度が特定の条件を満たすための内視鏡の操作に関する操作支援情報を表示させる。
本発明のプロセッサ装置は、検査領域毎に予め定められた複数の基準画像を記憶する基準画像記憶部と、基準画像に相当する基準相当画像を得るために検査領域を撮像して検査画像を取得する画像取得部と、基準画像記憶部から、検査画像に対応する基準画像を選択する基準画像選択部と、基準画像選択部で選択された基準画像の画像データと検査画像の画像データから、基準画像選択部で選択された基準画像と検査画像との類似度を算出する類似度算出部と、類似度が特定の条件を満たさない場合に、表示部に対して警告表示させる表示制御部と、を備え、基準画像記憶部は、基準画像をＲＡＷデータ形式で記憶し、類似度算出部は、基準画像選択部で選択された基準画像の画像データと検査画像の画像データから、検査画像に施された特定の画像処理を、ＲＡＷデータ形式の基準画像に施してから、基準画像選択部で選択された基準画像と検査画像との類似度を算出する。

【0014】

本発明のプロセッサ装置は、検査領域毎に予め定められた複数の基準画像を記憶する基準画像記憶部と、基準画像に相当する基準相当画像を得るために検査領域を撮像して検査画像を取得する画像取得部と、基準画像記憶部から、検査画像に対応する基準画像を選択する基準画像選択部と、基準画像選択部で選択された基準画像の画像データと検査画像の画像データから、基準画像選択部で選択された基準画像と検査画像との類似度を算出する類似度算出部と、類似度が特定の条件を満たさない場合に、表示部に対して警告表示させる表示制御部と、検査画像から欠陥領域を除去する欠陥領域除去部と、を備え、類似度算出部は、基準画像選択部で選択された基準画像の画像データと検査画像の画像データから、基準画像選択部で選択された基準画像と欠陥領域が除去された検査画像との類似度を算出する。
本発明のプロセッサ装置は、検査領域毎に予め定められた複数の基準画像を記憶する基準画像記憶部と、基準画像に相当する基準相当画像を得るために検査領域を撮像して検査画像を取得する画像取得部と、基準画像記憶部から、検査画像に対応する基準画像を選択する基準画像選択部と、基準画像選択部で選択された基準画像の画像データと検査画像の画像データから、基準画像選択部で選択された基準画像と検査画像との類似度を算出する類似度算出部と、類似度が特定の条件を満たさない場合に、表示部に対して警告表示させる表示制御部と、を備え、表示制御部は、特定の検査領域における検査画像を保存用画像記憶部に記憶した場合には、特定の検査領域における検査画像が保存済みであることを、検査対象マップ上に表示する。

【0015】

類似度算出部は、基準画像の画像データに含まれるノイズ、構造又はランドマークと検査画像の画像データに含まれるノイズ、構造又はランドマークとの比較により類似度を算出することが好ましい。特定の条件は、類似度が一定値以上であることが好ましい。検査画像は、静止画取得指示部が操作された場合に得られる画像であることが好ましい。上記記載の本発明のプロセッサ装置と、類似度を表示する表示部を備える内視鏡システム。プロセッサ装置と、類似度を表示する表示部を備える内視鏡システムであることが好ましい。

【0016】

本発明のプロセッサ装置の作動方法は、画像取得部が、検査領域毎に予め定められた基準画像に相当する基準相当画像を得るために検査領域を撮像して検査画像を取得するステップと、基準画像選択部が、基準画像を記憶する基準画像記憶部から、検査画像に対応する基準画像を選択するステップと、類似度算出部が、基準画像選択部で選択された基準画像の画像データと検査画像の画像データから、基準画像選択部で選択された基準画像と検査画像とに係る色の特徴量、構造の特徴量及び／又はランドマークの特徴量を算出し、基準画像と検査画像に係る色の特徴量、構造の特徴量及び／又はランドマークの特徴量についてそれぞれ特徴量類似度を算出し、それぞれの特徴量類似度に重み付け加算を行い、複数の特徴量類似度を組み合せた総合類似度を類似度として算出するステップと、表示制御部が、類似度が特定の条件を満さない場合に、表示部に対して警告表示させるステップとを有する。

【発明の効果】

【0017】

本発明によれば、ガイドラインで定められた画像の撮影を支援することができる。

【図面の簡単な説明】

【0018】

【図1】内視鏡システムの外観図である。

【図2】上部消化管をスクリーニングする場合の手順を示す説明図である。

【図3】ガイドラインに定められた検査領域を示す説明図である。

【図4】内視鏡システムの機能を示すブロック図である。

【図5】内視鏡の挿入部の挿入長を測定するための測定用目盛りを示す説明図である。

【図6】内視鏡の挿入部の挿入長と検査領域との関係を示す説明図である。

【図7】内視鏡の挿入部の挿入長と検査領域（検査部位）との関係を示す表である。

【図8】検査支援モード用処理部の機能を示すブロック図である。

【図9】基準画像との比較を許可する検査画像を判定する方法を示すフローチャートである。

【図10】複数の特徴量を組み合わせた総合類似度により基準画像と検査画像の類似度を示した表である。

【図11】類似度が表示された検査支援画像の画像図である。

【図12】類似度により検査画像がガイドラインに沿った画像か否かを判定する方法を示すフローチャートである。

【図13】警告表示が行われている検査支援画像の画像図である。

【図14】操作支援情報が表示された検査支援画像の画像図である。

【図15】検査画像の静止画の保存の有無が検査対象マップ上に表示された検査支援画像の画像図である。

【図16】一部の検査領域に取り残しがある場合の検査支援画像の画像図である。

【図17】検査画像の静止画の保存の有無が検査対象マップ上に表示され、且つスコープ操作情報が表示された検査支援画像の画像図である。

【図18】基準画像が表示された検査支援画像の画像図である。

【図19】基準画像、スコープ位置情報、及びスコープ操作情報が表示された検査支援画像の画像図である。

【図20】基準画像が表示され、且つ検査画像の静止画の保存の有無が検査対象マップ上に表示された検査支援画像の画像図である。

【図21】基準画像と類似度が表示された検査支援画像の画像図である。

【図22】基準画像の表示とともに警告表示が行われている検査支援画像の画像図である。

【図23】基準画像の表示とともに操作支援情報が表示された検査支援画像の画像図である。

【図24】同一の検査領域における今回と前回の検査画像を表示する検査支援画像の画像図である。

【図25】自動撮影モード用処理部の機能を示すブロック図である。

【図26】ガイドラインに定められた４０枚の基準画像を得るための基準撮影条件を示す表である。

【図27】検査画像の静止画を自動的に取得する自動撮影モードのフローを示すフローチャートである。

【図28】検査画像の自動取得が行われた場合に表示されるモニタの画像図である。

【図29】自動的に取得した検査画像の静止画の保存を行うフローを示すフローチャートである。

【図30】検査画像の静止画を保存した場合に表示されるモニタの画像図である。

【図31】検査画像の静止画の保存を行わなかった場合に表示されるモニタの画像図である。

【図32】撮影アシストモード用処理部の機能を示すブロック図である。

【図33】検査画像の静止画の取得タイミングをアシストする撮影アシストモードのフローを示すフローチャートである。

【図34】静止画の取得タイミングを報知するモニタの画像図である。

【図35】静止画の取得タイミングが報知された場合に静止画の保存を行うフローを示すフローチャートである。

【図36】ガイドラインに定められた検査領域である噴門直下を撮影する場合の内視鏡の形状を示す説明図である。

【図37】ガイドラインに定められた検査領域である胃角部を撮影する場合の内視鏡の形状を示す説明図である。

【発明を実施するための形態】

【0019】

［第１実施形態］
図１に示すように、内視鏡システム１０は、内視鏡１２と、光源装置１４と、プロセッサ装置１６と、モニタ１８（表示部）と、ユーザーインターフェース１９とを有する。内視鏡１２は、光源装置１４と光学的に接続し、かつ、プロセッサ装置１６と電気的に接続する。内視鏡１２は、被検体内に挿入する挿入部１２ａと、挿入部１２ａの基端部分に設けた操作部１２ｂと、挿入部１２ａの先端側に設けた湾曲部１２ｃ及び先端部１２ｄを有している。操作部１２ｂのアングルノブ１３ａを操作することにより、湾曲部１２ｃが湾曲動作する。この湾曲動作によって、先端部１２ｄが所望の方向に向けられる。

【0020】

また、操作部１２ｂには、アングルノブ１３ａの他、静止画像の取得操作に用いる静止画取得指示部１３ｂ、観察モードの切り替え操作に用いるモード切替部１３ｃ、ズーム倍率の変更操作に用いるズーム操作部１３ｄを設けている。

【0021】

内視鏡システム１０は、観察モードとして、通常光モードと、特殊光モードと、検査支援モードとを有している。観察モードが通常光モードである場合、白色光のような通常光を発光するとともに、この通常光で照明中の観察対象を撮像して得られた画像信号に基づき、通常光画像をモニタ１８に表示する。また、観察モードが特殊光モードである場合、通常光と発光スペクトルが異なる特殊光を発光するとともに、この特殊光で照明中の観察対象を撮像して得られた画像信号に基づき、特殊光画像をモニタ１８に表示する。

【0022】

また、観察モードが検査支援モードである場合、検査用照明光を発光する。そして、ガイドラインにおいて検査領域毎に予め定められた基準画像に相当する基準相当画像を得るために、検査用照明光で照明中の検査領域内の観察対象を撮像して検査画像を取得する。この検査画像は、モニタ１８に表示される。検査支援モードは、スクリーニング時に、検診用のガイドラインで定められた画像を確実に撮影することができるように支援するモードである。この検査支援モードでは、ガイドラインで定められた基準画像との類似度を表示することによって、ガイドライン通りに撮影できているかどうかが確認できるようになっている。なお、検査用照明光は、通常光又は特殊光と同じであってもよく、異なってもよい。また、基準画像に「相当する」とは、基準画像の構図などが類似していることなどをいう。

【0023】

プロセッサ装置１６は、モニタ１８及びユーザーインターフェース１９と電気的に接続する。モニタ１８は、観察対象の画像や、画像に付帯する情報等を出力表示する。ユーザーインターフェース１９は、関心領域（ROI : Region Of Interest）の指定等や機能設定等の入力操作を受け付ける。

【0024】

なお、胃や食道などの上部消化管を、ガイドラインに沿って、スクリーニングする場合には、図２に示すように、まず、内視鏡１２の挿入部１２ａを管腔に対して押し込んでいき、食道Ｅｓ、胃Ｓｔを通じて、十二指腸Ｄｕｏの検査最深位置Ｐ０まで挿入する。この検査最深位置Ｐ０に到達したときに、ガイドラインに沿った静止画の取得を開始する。まず、術者は、静止画取得指示部１３ｂを操作して、検査最深位置Ｐ０における観察画像の静止画を撮影する。その後は、内視鏡１２の挿入部１２ａを徐々に引き抜きつつ、ガイドラインで定められた検査領域で静止画の撮影を行う。検査領域のうち十二指腸Ｄｕｏ及び胃Ｓｔの部分の撮影が完了したら、次に、挿入部１２ａを食道Ｅｓに移動させ、食道Ｅｓの検査領域で静止画の撮影を行う。これら静止画の撮影が完了したら、挿入部１２ａを体腔外へと引き出す。なお、大腸などの下部消化管に関しても同様の手順でスクリーニングを行うことが好ましい。

【0025】

なお、ガイドラインで定められた検査領域としては、図３に示すように、例えば、十二指腸Ｄｕｏ、胃Ｓｔ、食道Ｅｓについて、Ａ１〜Ａ１３の１３の検査領域がある。Ａ１、Ａ２は十二指腸Ｄｕｏの検査領域であり、Ａ１は十二指腸吸後部以下、Ａ２は十二指腸球部である。Ａ３〜Ａ１０は胃Ｓｔの検査領域であり、Ａ３は幽門前部、Ａ４は幽門前庭部、Ａ５は胃角部、Ａ６は胃体下部、Ａ７は胃体中部、Ａ８は胃体上部、Ａ９は胃底部（胃弓隆部）、Ａ１０は胃噴門部である。Ａ１１〜Ａ１３は食道Ｅｓの検査領域であり、Ａ１１は食道下部、Ａ１２は食道中部、Ａ１３は食道上部である。

【0026】

図４に示すように、光源装置１４は、観察対象の照明に用いる照明光として、通常光、特殊光、検査用照明光を発する光源部２０と、光源部２０を制御する光源制御部２２とを備えている。光源部２０は、ＬＥＤ（Light Emitting Diode）等の半導体光源、キセノンランプ、ハロゲンランプである。この光源部２０においては、複数色の光を発光する場合には、ＬＥＤが複数色分用いられる他、キセノンランプ等の広帯域光を複数の色に分離する色分離フィルタが用いられる。光源制御部２２は、ＬＥＤ等のオン／オフや、ＬＥＤ等の駆動電流や駆動電圧の調整によって、照明光の発光量を制御する。また、光源制御部２２は、光学フィルタの変更等によって、照明光の波長帯域を制御する。

【0027】

光源部２０が発した照明光は、ミラーやレンズ等で形成される光路結合部（図示しない）を介して、挿入部１２ａ内に挿通したライトガイド２４に入射する。ライトガイド２４は、内視鏡１２及びユニバーサルコードに内蔵され、照明光を内視鏡１２の先端部１２ｄまで伝搬する。ユニバーサルコードは、内視鏡１２と光源装置１４及びプロセッサ装置１６とを接続するコードである。内視鏡１２の先端部１２ｄには、照明光学系３０ａと撮像光学系３０ｂとが設けられている。ライトガイド２４を伝搬した照明光は、照明光学系３０ａを介して、観察対象を照明する。

【0028】

撮像光学系３０ｂは、観察対象からの反射光、散乱光、及び蛍光等の各種の光が入射する撮像センサ３２を有している。撮像センサ３２は観察対象の像が結像して、画像信号を出力する。出力された画像信号はプロセッサ装置１６に送信される。なお、撮像センサ３２は、ＲＧＢカラー撮像センサやＣＭＹＧカラー撮像センサなどのカラーの撮像センサの他、カラーフィルタを設けていないモノクロセンサがある。撮像センサ３２としては、ＣＣＤ（Charge Coupled Device）撮像センサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）撮像センサ等を利用可能である。

【0029】

また、図５に示すように、内視鏡１２の挿入部１２ａの外周面には、体内への挿入部１２ａの挿入長を測定するための測定用目盛り４０が設けられている。この測定用目盛り４０は、挿入部１２ａの長手方向に沿って所定ピッチ（例えば、１ｃｍ刻み）で設けられた点から構成される。この測定用目盛り４０は、患者の口（上部内視鏡の場合）や肛門（下部内視鏡の場合）に設けられた目盛り検出センサ４２で検出され、目盛り検出センサ４２はプロセッサ装置１６と有線又は無線で接続されており、目盛り検出センサ４２での検出情報は、プロセッサ装置１６に送信される。なお、図５では、患者が口に咥えたマウスピースＭＰに目盛り検出センサ４２が設けられている。

【0030】

図４に示すように、プロセッサ装置１６は、画像信号取得部５０と、画像処理部５２と、表示制御部５４と、静止画記憶制御部５５と、保存用画像記憶部５６と、スコープ位置情報算出部５７と、スコープ操作情報算出部５８とを備えている。画像信号取得部（本発明の「画像取得部」に対応する）５０は、内視鏡１２から、各観察モードに対応した画像信号を取得する。画像処理部５２は、通常光モード用処理部６０と、特殊光モード用処理部６２と、検査支援モード用処理部６４とを備えている。通常光モード用処理部６０は、通常光モード時に得られる画像信号に対して、色変換処理、色彩強調処理、及び構造強調処理などの通常光モード用画像処理を行う。これにより、自然な色合いの通常光画像が得られる。通常光画像は、表示制御部５４に入力される。また、静止画取得指示部１３ｂが操作された場合には、その時点での通常光画像の静止画が、静止画記憶制御部５５によって、保存用画像記憶部５６に記憶される。

【0031】

特殊光モード用処理部６２は、特殊光モード時に得られる画像信号に対して、通常光モード用画像処理と異なる特殊光モード用画像処理を行って、特殊光画像を得る。特殊光モード用画像処理については、通常光モード用処理画像と処理内容（色変換処理、色彩強調処理、及び構造強調処理など）は同様であるものの、処理条件が異なっている。特殊光画像は、病変部の視認性が他の部位よりも高くなっている。特殊光画像は表示制御部５４に入力される。また、静止画取得指示部１３ｂが操作された場合には、その時点での特殊光画像の静止画が、静止画記憶制御部５５によって、保存用画像記憶部５６に記憶される。

【0032】

検査支援モード用処理部６４は、検査支援モード時に得られる画像信号に対して、検査支援モード用画像処理を行って、検査画像を得る。検査画像は表示制御部５４に入力される。検査支援モード用画像処理は、静止画取得指示部１３ｂが操作されない場合は、検査画像はそのまま表示制御部５４に入力する。一方、静止画取得指示部１３ｂが操作された場合には、ガイドライン通りに撮影できているかどうかを確認するための検査支援画像を生成する。この検査支援画像は検査画像とともに表示制御部５４に入力される。そして、検査支援画像をユーザーが確認し、更に、静止画取得指示部１３ｂが操作されることで、そのときの検査画像の静止画が、静止画記憶制御部５５によって、保存用画像記憶部５６に記憶される。検査支援モード用処理部６４の詳細については後述する。

【0033】

表示制御部５４は、画像処理部５２から入力された画像をモニタ１８に表示する制御を行う。これにより、モニタ１８上には観察モードに対応する画像が表示される。すなわち、通常光モードであれば、通常光画像がモニタ１８に表示され、特殊光モードであれば、特殊光画像がモニタ１８に表示される。また、検査支援モードの場合には、検査画像がモニタ１８に表示されるとともに、静止画取得指示部１３ｂが操作されたときに、検査画像に加えて検査支援画像が表示される。

【0034】

スコープ位置情報算出部５７は、目盛り検出センサ４２での検出情報に基づいて、内視鏡１２の挿入部１２ａの挿入長を算出する。また、スコープ位置情報算出部５７は、挿入部１２ａの挿入長に基づいて、内視鏡１２の先端部１２ｄが検査領域Ａ１〜Ａ１３のいずれに位置しているかを示すスコープ位置情報を算出する。スコープ位置情報算出部５７は、図６及び図７に示すように、挿入長がＬ０とＬ１の間にある場合には、先端部１２ｄは検査領域Ａ１に位置し、挿入長がＬ１とＬ２の間にある場合は、先端部１２ｄは検査領域Ａ２に位置する。

【0035】

また、挿入長がＬ２とＬ３の間にある場合は、先端部１２ｄは検査領域Ａ３に位置する。挿入長がＬ３とＬ４の間にある場合は、先端部１２ｄは検査領域Ａ４に位置する。挿入長がＬ４とＬ５の間にある場合は、先端部１２ｄは検査領域Ａ５に位置する。挿入長がＬ５とＬ６の間にある場合は、先端部１２ｄは検査領域Ａ６に位置する。挿入長がＬ６とＬ７の間にある場合は、先端部１２ｄは検査領域Ａ７に位置する。挿入長がＬ７とＬ８の間にある場合は、先端部１２ｄは検査領域Ａ８に位置する。挿入長がＬ８とＬ９の間にある場合は、先端部１２ｄは検査領域Ａ９に位置する。挿入長がＬ９とＬ１０の間にある場合は、先端部１２ｄは検査領域Ａ１０に位置する。

【0036】

また、挿入長がＬ１０とＬ１１の間にある場合は、先端部１２ｄは検査領域Ａ１１に位置する。挿入長がＬ１１とＬ１２の間にある場合は、先端部１２ｄは検査領域Ａ１２に位置する。挿入長がＬ１２とＬ１３の間にある場合は、先端部１２ｄは検査領域Ａ１３に位置する。

【0037】

なお、被検者の体格によって、挿入長と検査領域との位置関係は異なることを考慮し、スコープ位置情報算出部５７では、体格差によって、挿入長と検査領域との位置関係をキャリブレーションすることが好ましい。例えば、検査領域Ａ３のような幽門部での挿入長と予め定めたキャリブレーション用幽門部挿入長とを比較し、それらの違いを元に、挿入長と検査領域との位置関係を補正してもよい。また、検査領域Ａ３のような幽門部と、検査領域１０の噴門部との間の距離と、予め定めたキャリブレーション用幽門、噴門間距離とを比較し、それらの違い元に、挿入長と検査領域との位置関係を補正してもよい。

【0038】

スコープ操作情報算出部５８は、内視鏡１２の操作に関する情報を示すスコープ操作情報を算出する。スコープ操作情報には、内視鏡１２の先端部１２ｄのアングル角度又は回転量、観察対象との距離（観察距離）、挿入長、内視鏡の形状などが含まれる。アングル角度又は回転量については、アングルノブ１３ａの操作量など操作部１２ｂの操作情報に基づいて算出される。また、観察距離については、検査画像の画素値の平均値などに基づいて算出される。挿入長は、上記したように、スコープ位置情報算出部５７によって算出される。内視鏡の形状については、内視鏡の先端部１２ｄに設けた磁気センサ（図示しない）を用いて算出することが好ましい。磁気センサは先端部１２ｄの他、先端部１２ｄから等間隔に挿入部１２ａに複数設けてもよい。

【0039】

検査支援モード用処理部６４は、図８に示すように、検査支援モード用画像処理を行う検査支援モード用画像処理部７０の他に、静止画取得指示部１３ｂが操作されたときに作動する処理部として、ボケブレ判定部７２と、欠陥領域除去部７３と、基準画像選択部７４と、類似度算出部７６と、検査支援画像生成部７８とを備えている。なお、検査支援モードでは、検査画像の静止画がガイドラインに沿った画像であるかどうかを確認してから、その静止画を保存用画像記憶部５６に記憶するようにしている。

【0040】

そのため、検査画像の静止画の撮影は、仮撮影と本撮影の２段階で行われる。デフォルトは仮撮影の状態に設定されており、静止画取得指示部１３ｂが操作されると、仮撮影が行われる。この仮撮影の後に、更に、静止画取得指示部１３ｂを操作すると本撮影が行われ、取得した検査画像の静止画が保存用画像記憶部５６へ記憶される。保存用画像記憶部５６への記憶後は、再び仮撮影の状態に復帰する。

【0041】

ボケブレ判定部７２は、図９に示すように、仮撮影された検査画像の静止画にピンボケやブレが生じているか否かを判定する。ボケブレ判定部７２では、ボケやブレを判定するために、仮撮影された検査画像の静止画のピンボケやブレを示すボケブレ指標値を算出する。ボケブレ指標値の算出方法としては、例えば、ボケやブレと画像の空間周波数とは関連性があることから、検査画像の空間周波数に基づいてボケブレ指標値を算出する方法がある。

【0042】

ボケブレ判定部７２は、算出したボケブレ指標値が閾値を超えている場合には、検査画像にボケブレが発生していると判定する。このようにボケブレが発生している検査画像は、基準画像との比較を正確に行うことが難しいため、ユーザーに対して、検査画像の撮りなおしを促すガイダンスをモニタ１８に表示する。一方、ボケブレ判定部７２は、算出したボケブレ指標値が閾値以下である場合には、ボケブレは基準画像との比較等に影響する程のものでないと判定され、基準画像との比較が許可される。この場合には、検査画像を欠陥領域除去部７３に送信する。

【0043】

欠陥領域除去部７３は、検査画像から、観察対象上における汚れやハレーションなどの欠陥領域を除去する。例えば、検査画像において画素値が一定値以上の高画素領域は、ハレーション領域として認識し、この部分の領域を隣接領域の画素値と置き換える。欠陥領域除去後の検査画像は、基準画像選択部７４に送信される。

【0044】

基準画像選択部７４は、検査領域Ａ１〜Ａ１３毎に予め定められた複数の基準画像を記憶する基準画像記憶部７４ａを備えている。基準画像選択部７４は、基準画像記憶部７４ａに記憶された基準画像と、ボケブレ判定済み又は欠陥領域除去済みの検査画像との比較処理を行う。比較処理はパターンマッチング等により行う。この比較処理に基づいて、基準画像記憶部７４ａの中から、検査画像に対応する基準画像を選択する。選択された基準画像と検査画像は、類似度算出部７６に送信される。

【0045】

また、基準画像記憶部７４ａでは、検査支援モード用処理部６４で使用している検査支援モード用画像処理に合わせて基準画像の状態を変更できるように、基準画像をRAWデータ形式で記憶している。したがって、基準画像選択部７４では、検査画像との比較処理を行う前に、基準画像記憶部７４ａに記憶している基準画像に対して、検査支援モード用画像処理（本発明の「特定の画像処理」に対応する）を施してから、その検査支援モード用画像処理が施された基準画像と検査画像との比較処理を行う。なお、基準画像選択部７４では、検査支援モード用画像処理を施す前の画像とＲＡＷデータ形式の基準画像との比較処理を行うようにしてもよい。また、ＲＡＷデータとは、色調強調処理などの各種画像処理（本実施形態では通常光モード用画像処理、特殊光モード用画像処理、検査支援モード用画像処理）が施されていない状態の画像データをいう。

【0046】

類似度算出部７６は、基準画像の画像データと検査画像の画像データに基づいて、基準画像と検査画像の類似度を算出する。算出した基準画像との類似度は検査支援画像生成部７８に送信される。類似度の算出方法としては、例えば、基準画像の画像データに含まれるノイズと検査画像の画像データに含まれるノイズとを比較し、それらノイズの量の差が小さいほど類似度が高いとされる。また、基準画像の画像データに含まれるヒダなどの構造と検査画像の画像データに含まれる構造や噴門、幽門などのランドマークとを比較し、似たような構造があればあるほど類似度が高いとされる。また、基準画像に、内視鏡１２の挿入部１２ａが写り込んでいる場合には挿入部１２ａの有無によって類似度を決定することが好ましい。この場合、検査画像に挿入部１２ａが含まれている場合には、類似度を高くする。更には、基準画像の画像データと検査画像の画像データを比較するだけでなく、スコープ操作情報も加えて、類似度を算出するようにしてもよい。このようにスコープ操作情報も加えることで、類似度を正確に算出することができるようになる。

【0047】

また、類似度の算出方法として、画像の色などの特徴量を用いる方法が考えられるが、１つの特徴量だけだと類似度を正確に算出することが困難であるため、複数の特徴量を組み合わせた総合類似度を用いて、類似度を正確に算出できるようにする。例えば、特徴量として、色の特徴量Ａ、構造の特徴量Ｂ、ランドマークの特徴量Ｃを用いる場合には、それら特徴量Ａ〜Ｃを重み付けして加算することにより、総合類似度を算出する。

【0048】

なお、上記の総合類似度は、基準画像選択部７４において、基準画像の選択に用いてもよい。例えば、図１０に示すように、基準画像が１〜４０枚ある場合、それら４０枚の基準画像について、検査画像との特徴量Ａ〜Ｃの類似度（図１０では類似度を％（パーセント）で表示）を算出し、算出した特徴量Ａ〜Ｃの類似度に基づいて総合類似度を算出する。そして、総合類似度が最も高い基準画像を選択するようにする。この場合、総合類似度が最も高い基準画像は基準画像Ｎｏ．３８であるので、この基準画像Ｎｏ．３８を選択する。

【0049】

検査支援画像生成部７８は、検査画像と基準画像との類似度に基づいて、検査支援画像を生成する。生成された検査支援画像は表示制御部５４に送信され、モニタ１８に表示される。図１１に示すように、検査支援画像においては、検査画像とともに、基準画像との類似度（例えば、幽門部の基準画像との類似度が「８０％」）が表示される。図１２に示すように、ユーザーは、検査画像と基準画像との類似度を確認し、類似度が特定の条件（例えば、一定値以上）を満たすことを確認した場合に、検査画像がガイドラインに沿った画像（基準相当画像）であると判断し、再度、静止画取得指示部１３ｂを操作する本撮影を行う。これにより、検査画像は保存用画像記憶部５６に記憶される。なお、基準画像との類似度が、一定値以上など特定の条件を満たさない場合には、図１３に示すように、表示制御部５４によって、警告表示８０をモニタ１８上に行うようにしてもよい。

【0050】

一方、類似度が特定の条件を満たさないなど、ユーザーが、検査画像がガイドラインに沿った画像（基準相当画像）でないと判断した場合には、静止画取得指示部１３ｂを一定時間以上操作しない、又は内視鏡１２やユーザーインターフェース１９に設けられた検査画像不採用ボタン（図示しない）を操作することにより、検査画像の保存用画像記憶部５６への記憶を見送る。この場合には、検査支援画像の表示を停止し、再度、検査画像の静止画の撮り直しを行う。

【0051】

検査画像の静止画の撮り直しを行う場合には、ユーザーに対して、ガイドラインに沿った検査画像（類似度が特定の条件を満たす検査画像）を取得できるように、内視鏡１２の操作を支援するための操作支援情報を、表示制御部５４によってモニタ１８に表示することが好ましい。操作支援情報としては、ガイドラインに沿った検査画像を得るために、アングル角度や挿入長をどの程度調整すればよいかの情報や、観察対象に対して吹き付ける送気ガスの送気圧をどの程度にすればよいかの情報が含まれる。例えば、図１４の場合であれば、アングル角度と挿入長に関する操作支援情報８２が表示されている。操作支援情報については、基準画像との類似度が特定の条件を満たさない場合に、自動的にモニタ１８に表示するようにしてもよい。

【0052】

なお、検査支援画像では、検査画像、及び基準画像との類似度の表示に加えて、各検査領域において、検査画像の取得が成功又は失敗したのかが分かる表示を行うようにしてもよい。図１５に示すように、検査支援画像においては、検査画像及び基準画像との類似度の他、検査領域Ａ１〜Ａ１３をマップ化した検査対象マップ９０にて、検査画像の保存用画像記憶部５６への保存の有無に関する表示を、表示制御部５４により行っている。この検査支援画像では、検査領域Ａ１、Ａ２の検査画像について保存済みである旨の表示（図１５では「ＯＫ」の表示）がされ、検査領域Ａ３、Ａ４の検査画像について静止画は取得したものの保存用画像記憶部５６への保存がされていない旨の表示（図１５では「ＮＧ」の表示）がされている。ここで、ＯＫの領域とＮＧの領域は、それぞれ異なる色で表示することが好ましい（例えばＯＫの領域は「青色」、ＮＧの領域は「黄色」で表示する）。なお、検査領域に関する情報は、スコープ位置情報から取得する。

【0053】

なお、検査支援画像において、検査画像の静止画の保存の有無を表示するようにした場合には、検査画像の撮り損ないも発見することができるようになる。図１６に示すように、検査領域Ａ１〜Ａ１０、Ａ１２の検査画像について保存済みの表示がされ、Ａ１０とＡ１２の間の検査領域Ａ１１について保存済みの表示されていない場合には、この検査領域Ａ１１（下部食道）の撮影を取り損ねたことが分かる。このような場合には、内視鏡１２の挿入部１２ａを再度押し込んで、検査領域Ａ１１（下部食道）の撮影を行うようにする。

【0054】

なお、図１７に示すように、検査支援画像では、検査画像、及び基準画像との類似度の表示に加えて、スコープ操作情報８４やスコープ位置情報８６に関する情報を表示するようにしてもよい。この検査支援画像では、スコープ操作情報として、挿入長とアングル角度が表示されているとともに、基準画像が得られる場合の基準挿入長と基準アングル角度も合わせて表示されている。また、スコープ位置情報として、内視鏡の先端部１２ｄがいずれの検査領域に位置しているかの表示がなされている（例えば、検査領域Ａ３）。更には、検査支援画像では、スコープ操作情報のうち内視鏡１２の挿入部１２ａの形状を用いて、検査対象である胃において、挿入部１２ａがどのような形状で挿入されているかの表示がされている。

【0055】

［第２実施形態］
第１実施形態では、検査支援画像において、検査画像とともに基準画像との類似度を表示するようにしているが、第２実施形態では、図１８に示すように、基準画像との類似度の表示に代えて、基準画像（例えば、幽門部の基準画像）を表示するようにしてもよい。この場合には、ユーザーは、検査画像が、基準画像と同じ構図になるように、内視鏡１２を操作し、同じ構造となったときに、静止画取得指示部１３ｂを操作して検査画像の静止画の取得を行う。更には、図１９に示すように、検査支援画像では、検査画像と基準画像の他、スコープ操作情報８４とスコープ位置情報８６も合わせて表示するようにしてもよい。この場合には、ユーザーは、スコープ操作情報を見ながら、内視鏡１２を操作し、基準画像の構造に合わせることになる。

【0056】

また、図２０に示すように、検査支援画像では、検査画像と基準画像の他、検査対象マップ９０を表示し、この検査対象マップ９０において、検査画像の保存用画像記憶部５６への保存の有無に関する表示を行うようにしてもよい。保存の有無に関する表示は、第１実施形態と同様に、保存用画像記憶部５６への検査画像の保存が完了した検査領域についてはＯＫの表示をし、検査画像の静止画を取得したものの保存用画像記憶部５６への検査画像の保存が完了していない検査領域についてはＮＧの表示を行う。

【0057】

また、図２１に示すように、検査支援画像では、検査画像と基準画像（例えば、幽門部の基準画像）の他、基準画像との類似度（幽門部の基準画像との類似度が「８０％」）を算出して表示するようにしてもよい。この場合には、基準画像だけでなく、類似度も用いることで、更に確実にガイドラインに沿った画像（基準相当画像）を撮影することができるようになる。このように類似度を算出した場合には、第２実施形態において、類似度が特定の条件を満たさない場合の各種のユーザー支援が可能となる。

【0058】

例えば、図２２に示すように、検査支援画像において、検査画像、基準画像、及び類似度の他に、類似度が特定の条件を満たさないことの警告表示８０を行ってもよい。また、図２３に示すように、検査支援画像において、ガイドラインに沿った検査画像の撮影に必要な操作支援情報８２を表示するようにしてもよい。このように、基準画像と類似度に加えて、警告表示８０や操作支援情報８２を表示することで、更に確実にガイドラインに沿った画像（基準相当画像）を撮影することができるようになる。さらに、操作部１２ｂのアングルノブ１３ａにＬＥＤ（Light Emitting Diode）などの発光部材を内蔵して回転方向等が分かるように点灯させる機能を追加して、内視鏡操作を支援してもよい。

【0059】

なお、上記実施形態では、１回の内視鏡検査において、ガイドライン通りに撮影を行うことができるように、基準画像との類似度の表示、又は基準画像の表示を行うようにしているが、その後の経過観察においても、有効な診断ができるように、同一の検査領域で取得タイミングが異なる複数の検査画像をモニタ１８に表示することが好ましい。この場合には、初期の検査で病変部が発見され、その後に経過観察を行うことができるようにするため、初期の検査で検査画像を保存用画像記憶部５６に記憶する際には、スコープ位置情報又はスコープ操作情報とを関連付けて記憶することが好ましい。

【0060】

図２４に示すように、経過観察時においては、病変部が発見された位置でのスコープ位置情報又はスコープ操作情報を予め設定しておき、その病変部が発見された位置に内視鏡の先端部１２ｄが達した場合に、検査画像とともに、前回の検査画像を表示する。また、前回の検査画像に加えて、今回の経過観察時における病変部（ポリープ）の大きさと、前回の経過観察時における病変部（ポリープ）の大きさを表示する。更には、基準画像を表示するようにしてもよい。

【0061】

［第３実施形態］
第１及び第２実施形態では、ユーザーによる仮撮影で検査画像の静止画を取得したときに、基準画像との類似度又は基準画像を表示し、それら類似度や基準画像を確認してから、本撮影を行って検査画像の静止画を保存用画像記憶部に記憶するようにしているが、これに代えて、第３実施形態では、検査画像の動画表示中に、検査画像の取得タイミングに得られる検査時撮影条件が、基準画像を得るための基準撮影条件を満たしたときに、自動的に仮撮影を行って検査画像の静止画を取得する。

【0062】

第３実施形態の内視鏡システム１０では、検査支援モードに代えて、検査時撮影条件が基準撮影条件を満たしたときに、自動的に検査画像の静止画を取得する自動撮影用モードが設けられている。そのため、図２５に示すように、内視鏡システム１０のプロセッサ装置１６においては、第１及び第２実施形態の検査支援モード用処理部６４に代えて、自動撮影モード用処理部１００が設けられている。なお、自動撮影モードへの切替は、モード切替部１３ｃにより行われる。

【0063】

自動撮影モード用処理部１００は、第１及び第２実施形態で示した基準画像選択部７４、類似度算出部７６、及び検査支援画像生成部７８に加えて、自動撮影モード用画像処理部１０２と、検査時撮影条件取得部１０４と、撮影条件判定部１０６と、静止画保存要求信号出力部１０８とを備えている。なお、第３実施形態では、検査画像と基準画像との比較は行わないため、ボケブレ判定部７２、欠陥領域除去部７３は設けないが、検査時撮影条件と基準撮影条件との比較に加えて、検査画像と基準画像の比較を行う場合には、ボケブレ判定部７２、欠陥領域除去部７３も合わせて行うことが好ましい。

【0064】

自動撮影モード用画像処理部１０２は、自動撮影モード時に得られる画像信号に対して、自動撮影モード用画像処理を行う。自動撮影モード用画像処理は、第１及び第２実施形態の検査支援モード用画像処理と同様であり、この自動撮影モード用画像処理を行うことによって、検査画像が得られる。検査画像は、表示制御部５４に入力され、モニタ１８に動画表示される。

【0065】

検査時撮影条件取得部１０４は、検査画像を取得したときの撮影条件を、検査時撮影条件として取得する。この検査時撮影条件には、検査画像を取得したときのスコープ位置情報又はスコープ操作情報が少なくともいずれかが含まれる。したがって、検査時撮影条件取得部１０４は、所定フレーム分の検査画像を取得する毎に、スコープ位置情報算出部５７及びスコープ操作情報算出部５８にアクセスし、スコープ位置情報又スコープ操作情報を取得する。

【0066】

撮影条件判定部１０６は、検査時撮影条件が、基準画像を得るための基準撮影条件を満たしているか否かの判定を行う。撮影条件判定部１０６は、ガイドラインに定められた基準画像を得るための基準撮影条件を記憶する基準撮影条件記憶部１０６ａを備えている。例えば、基準画像が１〜４０枚ある場合には、図２６に示すように、基準画像Ｎｏ．１を得るための基準撮影条件として、基準画像Ｎｏ．１の基準撮影条件が記憶されており、他の基準画像Ｎｏ．２〜基準画像Ｎｏ．４０についても、それら基準画像を得るための基準撮影条件として、基準画像Ｎｏ．２の基準撮影条件〜基準画像Ｎｏ．４０の基準撮影条件が記憶されている。

【0067】

なお、基準撮影条件には、基準画像を得るためのスコープ位置情報又はスコープ操作情報が少なくともいずれかが含まれる。また、検査時撮影条件が基準撮影条件を満たすとは、例えば、以下のことをいう。撮影条件が挿入長である場合には、検査画像を取得した時の挿入長Ｌｘが、所定の基準画像を得るための挿入長Ｌｙを含む一定範囲Ｌｙ１〜Ｌｙ２（Ｌｙ２＞Ｌｙ１）に含まれる場合に、検査時撮影条件が基準撮影条件を満たすという。

【0068】

静止画保存要求信号出力部１０８は、撮影条件判定部１０６において、検査時撮影条件が、基準撮影条件記憶部１０６ａに記憶された複数の基準撮影条件のいずれかを満たすと判定された場合に、図２７に示すように、表示制御部５４又は静止画記憶制御部５５に対して、検査画像の静止画の保存用画像記憶部５６への保存を要求する静止画保存要求信号を出力する。なお、撮影条件判定部１０６において、検査時撮影条件が基準撮影条件のいずれも満たさないと判定された場合には、ユーザーは、ガイドラインに定められた検査部位に位置するように内視鏡１２を操作して、検査時撮影条件の再取得を行う。

【0069】

表示制御部５４は、静止画保存要求信号を受けて、図２８に示すように、検査画像とともに、その検査画像を静止画として保存するかどうかを確認するための確認メッセージ１２０をモニタ１８に表示させる。また、静止画保存要求信号が出力された場合には、基準画像選択部７４は、検査時撮影条件を満たす基準撮影条件に対応する基準画像を、基準画像記憶部７４ａから選択する。この選択された基準画像は、表示制御部５４によってモニタ１８に表示される（図２８では「幽門部の基準画像」を表示している）。なお、第３実施形態の基準画像記憶部７４ａにおいては、基準撮影条件から基準画像を選択できるように、基準画像は基準撮影条件と関連付けて記憶されている。

【0070】

また、類似度算出部７６は、静止画保存要求信号出力時に基準画像選択部７４で選択された基準画像と検査画像との類似度を算出する。算出された類似度は、表示制御部５４によってモニタ１８に表示される（図２８では「幽門部の基準画像との類似度（８０％）」が表示されている）。

【0071】

静止画記憶制御部５５は、図２９に示すように、静止画保存要求信号を受信し、且つ、ユーザーが、モニタ１８に表示された検査画像の静止画がガイドラインに沿った画像（基準相当画像）であると判断して、静止画取得指示部１３ｂの操作が行われた場合に、検査画像の静止画を保存用画像記憶部５６に記憶する制御を行う。検査画像の静止画の保存を行った場合には、図３０に示すように、表示制御部５４が、静止画を保存した旨の保存完了メッセージ１２２でモニタ１８上に表示させる。また、表示制御部５４は、静止画の保存を行った検査領域を、検査対象マップ９０上で表示させる。この検査対象マップ９０では、検査領域A１〜A１３のうち静止画の保存が行われた検査領域にOKの表示がなされている。

【0072】

一方、静止画記憶制御部５５は、静止画保存要求信号を受信したものの、ユーザーが、モニタ１８に表示された検査画像の静止画が検査画像の静止画がガイドラインに沿った画像（基準相当画像）でないと判断し、静止画保存要求信号の受信から一定時間内に、静止画取得指示部１３ｂの操作が行われなかった場合には、検査画像の保存用画像記憶部５６への保存は行われない。また、静止画保存要求信号を受信したものの、内視鏡１２やユーザーインターフェース１９に設けられた検査画像不採用ボタン（図示しない）が操作された場合にも、検査画像の保存用画像記憶部５６への保存は行われない。なお、自動取得した検査画像の静止画の保存を行わない場合には、検査画像の静止画の取得を手動で行う手動撮影モードに自動的に切り替えるようにしてもよい。この場合には、手動撮影モードに切り替えた旨をモニタ１８に表示することが好ましい。

【0073】

以上のように、検査画像の保存用画像記憶部５６への保存を行わない場合には、静止画として保存するかどうかを確認するための確認メッセージ１２０の表示も停止させる。この確認メッセージ１２０の代わりに、図３１に示すように、ガイドラインに沿った画像（基準相当画像）の撮影に必要な操作支援情報８２をモニタ１８に表示させる。そして、ユーザーは、モニタ１８上の操作支援情報８２を確認しながら、内視鏡１２を操作し、検査時撮影条件の再取得を行う。

【0074】

［第４実施形態］
第３実施形態では、検査時撮影条件が基準撮影条件を満たしたときに、検査画像の静止画を自動的に取得するようにしているが、第４実施形態では、検査時撮影条件が基準撮影条件を満たしたときに、検査画像の静止画の取得タイミングであることを報知、即ち、シャッタータイミングであることを報知することにより、ユーザーによる検査画像の静止画の取得（撮影）を支援する。

【0075】

第４実施形態の内視鏡システム１０では、第１及び第２実施形態の検査支援モードに代えて、検査時撮影条件が基準撮影条件を満たす場合に、検査画像の静止画の取得タイミングを報知する撮影アシストモードが設けられている。そのため、図３２に示すように、内視鏡システム１０のプロセッサ装置１６においては、第１及び第２実施形態の検査支援モード用処理部６４に代えて、撮影アシストモード用処理部２００が設けられている。なお、撮影アシストモードへの切替は、モード切替部１３ｃにより行われる。また、第４実施形態においては、撮影アシストモードに加えて、第３実施形態の自動撮影モードを設け、撮影アシストモードと自動撮影モードとの間でモード切替を行うようにしてもよい。

【0076】

撮影アシストモード用処理部２００は、第１及び第２実施形態で示した基準画像選択部７４、類似度算出部７６、及び検査支援画像生成部７８と、第３実施形態で示した検査時撮影条件取得部１０４、撮影条件判定部１０６に加えて、撮影アシストモード用画像処理部２０２、静止画取得タイミング報知部２０４を備えている。なお、第４実施形態では、検査画像と基準画像との比較は行わないため、ボケブレ判定部７２、欠陥領域除去部７３は設けないが、検査時撮影条件と基準撮影条件との比較に加えて、検査画像と基準画像の比較を行う場合には、ボケブレ判定部７２又は欠陥領域除去部７３による処理を合わせて行うことが好ましい。

【0077】

撮影アシストモード用画像処理部２０２は、撮影アシストモード時に得られる画像信号に対して、撮影アシストモード用画像処理を行う。撮影アシストモード用画像処理は、第１及び第２実施形態の検査支援モード用画像処理と同様であり、この撮影アシストモード用画像処理を行うことによって、検査画像が得られる。検査画像は表示制御部５４に入力され、モニタ１８に動画表示される。

【0078】

第４実施形態においても、第３実施形態と同様に、検査画像を取得したときの撮影条件を、検査時撮影条件として検査時撮影条件取得部１０４により取得する。そして、この取得した検査時撮影条件が基準撮影条件をみたすか否かの判定を、撮影条件判定部１０６により行う。なお、検査時撮影条件は、検査画像を取得したときのスコープ位置情報又はスコープ操作情報の少なくともいずれかが含まれることから、所定フレーム分の検査画像を得る毎に、スコープ位置情報算出部５７及びスコープ操作情報算出部５８にアクセスして、スコープ位置情報又はスコープ操作情報を取得する。

【0079】

静止画取得タイミング報知部２０４は、撮影条件判定部１０６において、検査時撮影条件が基準撮影条件を満たすと判定した場合に、図３３に示すように、検査画像の静止画の取得タイミングであることを報知する。なお、撮影条件判定部１０６において、検査時撮影条件が基準撮影条件のいずれも満たさないと判定された場合には、ユーザーは、ガイドラインに定められた検査部位に位置するように内視鏡１２を操作して、検査時撮影条件の再取得を行う。

【0080】

図３４に示すように、静止画の取得タイミングであること、即ち、シャッタータイミングの報知２１０は、表示制御部５４を介して、モニタ１８に表示される。また、静止画の取得タイミングが報知された場合には、第３実施形態と同様に、基準画像選択部７４により、検査時撮影条件を満たす基準撮影条件に対応する基準画像を選択する。そして、この選択された基準画像（図３４では「幽門部の基準画像」）をモニタ１８に表示する。また、類似度算出部７６は、基準画像選択部７４で選択された基準画像と検査画像の類似度を算出する。この算出した類似度（図３４では「幽門部の基準画像との類似度（８０％）」）もモニタ１８に表示される。なお、操作部１２ｂにおける静止画取得指示部１３ｂをＬＥＤ（Light Emitting Diode）内蔵ボタン等で構成し、静止画の取得タイミングのときに、静止画取得指示部１３ｂに内蔵したＬＥＤを点灯することによって、静止画の取得タイミングを報知するようにしてもよい。

【0081】

静止画記憶制御部５５は、図３５に示すように、静止画の取得タイミングが報知され、且つユーザーが、モニタ１８に表示された検査画像の静止画が検査画像の静止画がガイドラインに沿った画像（基準相当画像）であると判断して、静止画取得指示部１３ｂの操作が行われた場合には、第３実施形態のように、検査画像の静止画を保存用画像記憶部５６に記憶する制御を行う。なお、検査画像の静止画の保存を行った場合には、第３実施形態のように、静止画の保存を行った検査領域を、検査対象マップ９０上で表示することが好ましい（図３０参照）。

【0082】

一方、静止画記憶制御部５５は、静止画の取得タイミングが報知されたものの、ユーザーが、モニタ１８に表示された検査画像の静止画が検査画像の静止画がガイドラインに沿った画像（基準相当画像）でないと判断して、その報知から一定時間内に静止画取得指示部１３ｂの操作が行われなかった場合（その他、第３実施形態で示した検査画像不採用ボタンが操作された場合）には、検査画像の静止画の保存用画像記憶部５６への保存は行われない。この場合には、ユーザーは、ガイドラインに定められた検査部位に位置するように内視鏡１２を操作して、検査時撮影条件の再取得を行う。なお、静止画の保存を行わない場合には、第３実施形態のように、ガイドラインに沿った画像（基準相当画像）の撮影に必要な操作支援情報８２をモニタ１８に表示することが好ましい（図３１参照）。

【0083】

上記実施形態において、画像処理部５２のような各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＦＰＧＡ (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

【0084】

１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

【0085】

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。

【符号の説明】

【0086】

１０ 内視鏡システム
１２ 内視鏡
１２ａ 挿入部
１２ｂ 操作部
１２ｃ 湾曲部
１２ｄ 先端部
１３ａ アングルノブ
１３ｂ 静止画取得指示部
１３ｃ モード切替部
１３ｄ ズーム操作部
１４ 光源装置
１６ プロセッサ装置
１８ モニタ
１９ ユーザーインターフェース
２０ 光源部
２２ 光源制御部
２４ ライトガイド
３０ａ 照明光学系
３０ｂ 撮像光学系
３２ 撮像センサ
４２ 検出センサ
５０ 画像信号取得部
５２ 画像処理部
５４ 表示制御部
５５ 静止画記憶制御部
５６ 保存用画像記憶部
５７ スコープ位置情報算出部
５８ スコープ操作情報算出部
６０ 通常光モード用処理部
６２ 特殊光モード用処理部
６４ 検査支援モード用処理部
７０ 検査支援モード用画像処理部
７２ ボケブレ判定部
７３ 欠陥領域除去部
７４ 基準画像選択部
７４ａ 基準画像記憶部
７６ 類似度算出部
７８ 検査支援画像生成部
８０ 警告表示
８２ 操作支援情報
８４ スコープ操作情報
８６ スコープ位置情報
９０ 検査対象マップ
１００ 自動撮影モード用処理部
１０２ 自動撮影モード用画像処理部
１０４ 検査時撮影条件取得部
１０６ 撮影条件取得部
１０８ 基準撮影条件記憶部
１０８ 静止画保存要求信号出力部
１２０ 確認メッセージ
１２２ 保存完了メッセージ
２００ 撮影アシストモード用処理部
２０２ 撮影アシストモード用画像処理部
２０４ 静止画取得タイミング報知部
２１０ シャッタータイミングの報知

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】

【図36】

【図37】