IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 富士フイルム株式会社の特許一覧

特開2024-160185内視鏡システム、プロセッサ装置及びその作動方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024160185
(43)【公開日】2024-11-13
(54)【発明の名称】内視鏡システム、プロセッサ装置及びその作動方法
(51)【国際特許分類】
   A61B 1/045 20060101AFI20241106BHJP
   A61B 1/00 20060101ALI20241106BHJP
   A61B 1/06 20060101ALI20241106BHJP
【FI】
A61B1/045 622
A61B1/00 513
A61B1/06 611
【審査請求】未請求
【請求項の数】14
【出願形態】OL
(21)【出願番号】P 2021123622
(22)【出願日】2021-07-28
(71)【出願人】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】110001988
【氏名又は名称】弁理士法人小林国際特許事務所
(72)【発明者】
【氏名】下村 浩司
【テーマコード(参考)】
4C161
【Fターム(参考)】
4C161HH54
4C161RR04
4C161WW10
(57)【要約】
【課題】複数の光を切り替えて照明し、各光の照明により得られる複数の画像を表示する場合において、特に注目したい画像について、スムーズな観察を行うことができる内視鏡システム、プロセッサ装置及びその作動方法を提供する。
【解決手段】
プロセッサ装置は、第1照明光と、第2照明光を自動的に切り替える制御を行い、第1照明光に対応する第1照明光画像及び第2照明光に対応する第2照明光画像を取得し、表示用画像は、1の注目区画と、少なくとも1以上の準注目区画とを有する表示用画像を生成し、注目区画表示フレームレートは、準注目区画表示フレームレートより高く、注目区画表示フレームレート及び準注目区画表示フレームレートは、全体表示フレームレートの範囲内で任意に設定可能である。
【選択図】図15
【特許請求の範囲】
【請求項1】
光源用プロセッサと、画像処理用プロセッサとを備えるプロセッサ装置であって、
前記光源用プロセッサは、
第1照明光によって照明された被写体を撮像する第1照明期間と、前記第1照明光とスペクトルが異なる、少なくとも1種類以上の第2照明光によって照明された前記被写体を撮像する第2照明期間とを自動的に切り替える制御を行い、
前記画像処理用プロセッサは、
前記第1照明期間に医療画像として第1照明光画像を取得し、
前記第2照明期間に前記医療画像として第2照明光画像を取得し、
前記第1照明光画像及び/又は第2照明光画像を表示するための表示用画像を生成し、
前記表示用画像は、1の注目区画と、少なくとも1以上の準注目区画とを有し、
単位時間当たりに前記注目区画に表示する前記医療画像の数である注目区画表示フレームレートは、単位時間当たりに前記準注目区画に表示する前記医療画像の数である準注目区画表示フレームレートより高く、
前記注目区画に表示する前記医療画像は、前記第1照明光画像又は前記第2照明光画像であり、
前記表示用画像を表示するディスプレイに係る、単位時間当たりに表示する前記表示用画像の数を全体表示フレームレートとし、
前記注目区画表示フレームレート及び前記準注目区画表示フレームレートは、前記全体表示フレームレートの範囲内で任意に設定可能であるプロセッサ装置。
【請求項2】
前記画像処理用プロセッサは、
前記注目区画に表示する前記医療画像を注目医療画像として、
前記注目区画表示フレームレートに対して、単位時間当たりに取得する前記注目医療画像の数である注目区画撮像フレームレートを、前記注目区画表示フレームレート以上又は以下に設定し、
前記注目医療画像を、前記注目区画撮像フレームレートに基づいて取得し、
前記準注目区画に表示する前記医療画像を準注目医療画像として、
前記準注目区画表示フレームレートに対して、単位時間当たりに取得する前記準注目医療画像の数である準注目区画撮像フレームレートを、前記準注目区画表示フレームレート以上又は以下に設定し、
前記準注目医療画像を、前記準注目区画撮像フレームレートに基づいて取得する請求項1に記載のプロセッサ装置。
【請求項3】
前記画像処理用プロセッサは、
前記注目区画表示フレームレートが、前記注目区画撮像フレームレートより高い場合、
前記注目医療画像を用いて、前記注目区画に表示する補間フレーム画像を生成し、
又は、前記準注目区画表示フレームレートが、前記準注目区画撮像フレームレートより高い場合、
前記準注目医療画像を用いて、前記準注目区画に表示する前記補間フレーム画像を生成する請求項2に記載のプロセッサ装置。
【請求項4】
前記補間フレーム画像は、少なくとも2枚以上の前記注目医療画像又は前記準注目医療画像を用い、加算平均方式によって生成される請求項3に記載のプロセッサ装置。
【請求項5】
前記補間フレーム画像は、少なくとも2枚以上の前記注目医療画像又は前記準注目医療画像を用い、移動ベクトル方式によって生成される請求項3に記載のプロセッサ装置。
【請求項6】
前記補間フレーム画像は、前記注目医療画像又は前記準注目医療画像を複製することによって生成される請求項3に記載のプロセッサ装置。
【請求項7】
前記画像処理用プロセッサは、
前記注目区画表示フレームレートが、前記注目区画撮像フレームレートより低い場合、前記注目区画に表示する前記注目医療画像を選択し、
又は、前記準注目区画表示フレームレートが、前記準注目区画撮像フレームレートより低い場合、
前記準注目区画に表示する前記準注目医療画像を選択する請求項2に記載のプロセッサ装置。
【請求項8】
前記画像処理用プロセッサは、
ユーザーが着目すべき領域である関心領域を、前記注目医療画像及び/又は前記準注目医療画像から検出し、
前記注目医療画像及び/又は前記準注目医療画像のうち前記関心領域を鑑別し、又は、
前記注目医療画像及び/又は前記準注目医療画像から前記関心領域を検出し、及び、前記関心領域を鑑別する請求項2ないし7のいずれか一項に記載のプロセッサ装置。
【請求項9】
前記画像処理用プロセッサは、
前記注目区画及び/又は前記準注目区画に、前記関心領域を検出した結果である検出結果、前記関心領域を鑑別した結果である鑑別結果、又は、前記検出結果及び前記鑑別結果を表示する制御を行う請求項8に記載のプロセッサ装置。
【請求項10】
前記準注目区画に表示する前記準注目医療画像は、表示と非表示を切り替えられる請求項2ないし9のいずれか一項に記載のプロセッサ装置。
【請求項11】
前記注目区画及び前記準注目区画の前記表示用画像に占める大きさは、任意に変更できる請求項1ないし10のいずれか一項に記載のプロセッサ装置。
【請求項12】
前記画像処理用プロセッサは、
前記第1照明光又は前記少なくとも1種類以上の第2照明光のいずれか1つにより照明された前記被写体を撮像して前記医療画像を取得するモノ発光モードと、
前記第1照明期間と、前記第2照明期間とを自動的に切り替えて前記被写体を撮像して前記医療画像を取得するマルチ発光モードとを、ユーザー操作によって切り替える請求項1ないし11のいずれか一項に記載のプロセッサ装置。
【請求項13】
第1照明光によって照明された被写体を撮像する第1照明期間と、前記第1照明光とスペクトルが異なる、少なくとも1種類以上の第2照明光によって照明された前記被写体を撮像する第2照明期間とを自動的に切り替える制御を行うステップと、
前記第1照明期間に医療画像として第1照明光画像を取得するステップと、
前記第2照明期間に前記医療画像として第2照明光画像を取得するステップと、
前記第1照明光画像及び/又は第2照明光画像を表示するための表示用画像を生成するステップと、を備え、
前記表示用画像は、1の注目区画と、少なくとも1以上の準注目区画とを有し、
単位時間当たりに前記注目区画に表示する前記医療画像の数である注目区画表示フレームレートは、単位時間当たりに前記準注目区画に表示する前記医療画像の数である準注目区画表示フレームレートより高く、
前記注目区画に表示する前記医療画像は、前記第1照明光画像又は前記第2照明光画像であり、
前記表示用画像を表示するディスプレイに係る、単位時間当たりに表示する前記表示用画像の数を全体表示フレームレートとし、
前記注目区画表示フレームレート及び前記準注目区画表示フレームレートは、前記全体表示フレームレートの範囲内で任意に設定可能であるプロセッサ装置の作動方法。
【請求項14】
請求項1ないし13のいずれか1項に記載のプロセッサ装置と、光源装置と、内視鏡と、を備える内視鏡システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数種類の画像を取得し、複製の区画を有する画像に異なる画像を表示する内視鏡システム、プロセッサ装置及びその作動方法に関する。
【背景技術】
【0002】
内視鏡検査では、診断の目的に応じて、互いに波長域が異なる複数の照明光を被写体に照明することが行われている。例えば、消化器の粘膜を自然な色で観察することができる通常光に加えて、表層血管など表層の情報と深層血管など深層の情報を得るために、表層にまで深達度を有する短波光と、深層にまで深達度を有する中波長光を切り替えて照明し、通常光の照明により得られる通常光画像と、特殊光画像として、短波光の照明により得られる表層画像と、中波長光の照明により得られる深層画像とを取得する。
【0003】
表層血管を強調する第1照明光と、深層血管を強調する第2照明光を切り替えて照明し、第1照明光の照明により得られる第1特殊観察画像と、第2照明光の照明により得られる第2特殊観察画像を切り替えて順次表示する技術が知られている(特許文献1)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】国際公開第2020/158165号
【発明の概要】
【発明が解決しようとする課題】
【0005】
複数種類の照明光を用いて得た画像を、独立して同時に観察したい需要がある。また、複数種類の画像を取得しても、場面によって注目したい画像の種類は異なる。例えば、消化管内で内視鏡を進める場合や、スクリーニングを行う場合は、自然な光と明るさによって管腔内の構造を把握しやすい通常光画像を注視できた方がよい。一方、病変部の構造を精査して分類を行いたい場合は、特殊光画像を注視できた方がよい。このように、特に注目したい画像がある場合、特に注目したい画像について、表示のカクつきがなくスムーズな観察ができることが求められている。
【0006】
本発明は、複数の光を切り替えて照明し、各光の照明により得られる複数の画像を表示する場合において、特に注目したい画像について、スムーズな観察を行うことができる内視鏡システム、プロセッサ装置及びその作動方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明のプロセッサ装置は、光源用プロセッサと、画像処理用プロセッサとを備えるプロセッサ装置であって、光源用プロセッサは、第1照明光によって照明された被写体を撮像する第1照明期間と、第1照明光とスペクトルが異なる、少なくとも1種類以上の第2照明光によって照明された被写体を撮像する第2照明期間とを自動的に切り替える制御を行い、画像処理用プロセッサは、第1照明期間に医療画像として第1照明光画像を取得し、第2照明期間に医療画像として第2照明光画像を取得し、第1照明光画像及び/又は第2照明光画像を表示するための表示用画像を生成し、表示用画像は、1の注目区画と、少なくとも1以上の準注目区画とを有し、単位時間当たりに注目区画に表示する医療画像の数である注目区画表示フレームレートは、単位時間当たりに準注目区画に表示する医療画像の数である準注目区画表示フレームレートより高く、注目区画に表示する医療画像は、第1照明光画像又は第2照明光画像であり、表示用画像を表示するディスプレイに係る、単位時間当たりに表示する表示用画像の数を全体表示フレームレートとし、注目区画表示フレームレート及び準注目区画表示フレームレートは、全体表示フレームレートの範囲内で任意に設定可能である。
【0008】
画像処理用プロセッサは、注目区画に表示する医療画像を注目医療画像として、注目区画表示フレームレートに対して、単位時間当たりに取得する注目医療画像の数である注目区画撮像フレームレートを、注目区画表示フレームレート以上又は以下に設定し、注目医療画像を、注目区画撮像フレームレートに基づいて取得し、準注目区画に表示する医療画像を準注目医療画像として、準注目区画表示フレームレートに対して、単位時間当たりに取得する準注目医療画像の数である準注目区画撮像フレームレートを、準注目区画表示フレームレート以上又は以下に設定し、準注目医療画像を、準注目区画撮像フレームレートに基づいて取得することが好ましい。
【0009】
画像処理用プロセッサは、注目区画表示フレームレートが、注目区画撮像フレームレートより高い場合、注目医療画像を用いて、注目区画に表示する補間フレーム画像を生成し、又は、準注目区画表示フレームレートが、準注目区画撮像フレームレートより高い場合、準注目医療画像を用いて、準注目区画に表示する補間フレーム画像を生成することが好ましい。
【0010】
補間フレーム画像は、少なくとも2枚以上の注目医療画像又は準注目医療画像を用い、加算平均方式によって生成されることが好ましい。
【0011】
補間フレーム画像は、少なくとも2枚以上の注目医療画像又は準注目医療画像を用い、移動ベクトル方式によって生成されることが好ましい。
【0012】
補間フレーム画像は、注目医療画像又は準注目医療画像を複製することによって生成されることが好ましい。
【0013】
画像処理用プロセッサは、注目区画表示フレームレートが、注目区画撮像フレームレートより低い場合、注目区画に表示する注目医療画像を選択し、又は、準注目区画表示フレームレートが、準注目区画撮像フレームレートより低い場合、準注目区画に表示する準注目医療画像を選択することが好ましい。
【0014】
画像処理用プロセッサは、ユーザーが着目すべき領域である関心領域を、注目医療画像及び/又は準注目医療画像から検出し、注目医療画像及び/又は準注目医療画像のうち関心領域を鑑別し、又は、注目医療画像及び/又は準注目医療画像から関心領域を検出し、及び、関心領域を鑑別することが好ましい。
【0015】
画像処理用プロセッサは、注目区画及び/又は準注目区画に、関心領域を検出した結果である検出結果、関心領域を鑑別した結果である鑑別結果、又は、検出結果及び鑑別結果を表示する制御を行うことが好ましい。
【0016】
準注目区画に表示する準注目医療画像は、表示と非表示を切り替えられることが好ましい。注目区画及び準注目区画の表示用画像に占める大きさは、任意に変更できることが好ましい。
【0017】
画像処理用プロセッサは、第1照明光又は少なくとも1種類以上の第2照明光のいずれか1つにより照明された被写体を撮像して医療画像を取得するモノ発光モードと、第1照明期間と、第2照明期間とを自動的に切り替えて被写体を撮像して医療画像を取得するマルチ発光モードとを、ユーザー操作によって切り替えることが好ましい。
【0018】
本発明のプロセッサ装置の作動方法は、第1照明光によって照明された被写体を撮像する第1照明期間と、第1照明光とスペクトルが異なる、少なくとも1種類以上の第2照明光によって照明された被写体を撮像する第2照明期間とを自動的に切り替える制御を行うステップと、第1照明期間に医療画像として第1照明光画像を取得するステップと、第2照明期間に医療画像として第2照明光画像を取得するステップと、第1照明光画像及び/又は第2照明光画像を表示するための表示用画像を生成するステップと、を備え、表示用画像は、1の注目区画と、少なくとも1以上の準注目区画とを有し、単位時間当たりに注目区画に表示する医療画像の数である注目区画表示フレームレートは、単位時間当たりに準注目区画に表示する医療画像の数である準注目区画表示フレームレートより高く、注目区画に表示する医療画像は、第1照明光画像又は第2照明光画像であり、表示用画像を表示するディスプレイに係る、単位時間当たりに表示する表示用画像の数を全体表示フレームレートとし、注目区画表示フレームレート及び準注目区画表示フレームレートは、全体表示フレームレートの範囲内で任意に設定可能である。
【0019】
本発明の内視鏡システムは、上記のプロセッサ装置と、光源装置と、内視鏡と、を備える。
【発明の効果】
【0020】
本発明によれば、複数の光を切り替えて照明し、各光の照明により得られる複数の画像を切り替えて表示する場合において、特に注目したい画像について、スムーズな観察を行うことができる内視鏡システム、プロセッサ装置及びその作動方法を提供することができる。
【図面の簡単な説明】
【0021】
図1】内視鏡システムの構成の説明図である。
図2】内視鏡システムの機能を示すブロック図である。
図3】第1照明光のスペクトルを示すグラフである。
図4】第2照明第1スペクトル光のスペクトルSPを示すグラフである。
図5】第2照明第2スペクトル光のスペクトルSQを示すグラフである。
図6】第2照明第3スペクトル光のスペクトルSRを示すグラフである。
図7】第2照明第4スペクトル光のスペクトルSSを示すグラフである。
図8】マルチ発光モード時の第1発光パターンを示す説明図である。
図9】マルチ発光モード時の第2発光パターンを示す説明図である。
図10】マルチ発光モード時の第3発光パターンを示す説明図である。
図11】表示用画像の例を示す画像図である。
図12】表示制御部の機能を示すブロック図である。
図13】表示用画像設定画面の例を示す画像図である。
図14】注目区画と準注目区画が同じ大きさである場合の表示用画像を示す画像図である。
図15】区画表示フレームレート設定画面の例を示す画像図である。
図16】注目区画に第1照明光画像を、準注目区画に第2照明光画像を表示する場合の表示用画像を示す画像図である。
図17】区画撮像フレームレート設定画面の例を示す画像図である。
図18】加算平均方式を示す説明図である。
図19】移動ベクトル方式を示す説明図である。
図20】単純コピー方式を示す説明図である。
図21】表示する注目医療画像又は準注目医療画像の選択について示す説明図である。
図22】病変認識部の機能を示すブロック図である。
図23】医療画像を検出用分類に入力した場合、検出結果を出力することを示す説明図である。
図24】医療画像を鑑別用分類に入力した場合、鑑別結果を出力することを示す説明図である。
図25】検出結果を表示する場合の表示用画像を示す画像図である。
図26】鑑別結果を表示する場合の表示用画像を示す画像図である。
図27】静止画像及び文字情報を表示する場合の表示用画像を示す画像図である。
図28】拡張プロセッサ装置を設けた場合に表示用画像を表示する例の説明図である。
【発明を実施するための形態】
【0022】
図1に示すように、内視鏡システム10は、内視鏡12、光源装置13、プロセッサ装置14、ディスプレイ15及びユーザーインターフェース16を備える。内視鏡12は、光源装置13と光学的に接続され、かつ、プロセッサ装置14と電気的に接続される。
【0023】
内視鏡12は、挿入部12a、操作部12b、湾曲部12c及び先端部12dを有している。挿入部12aは、被写体の体内に挿入される。操作部12bは、挿入部12aの基端部分に設けられる。湾曲部12c及び先端部12dは、挿入部12aの先端側に設けられる。湾曲部12cは、操作部12bのアングルノブ12eを操作することにより湾曲動作する。先端部12dは、湾曲部12cの湾曲動作によって所望の方向に向けられる。挿入部12aから先端部12dにわたって、処置具などを挿通するための鉗子チャンネル(図示しない)を設けている。処置具は、鉗子口12jから鉗子チャンネル内に挿入する。
【0024】
内視鏡12の内部には、被写体像を結像するための光学系、及び、被写体に照明光を照射するための光学系が設けられる。操作部12bには、アングルノブ12e、モード切替スイッチ12f、静止画像取得指示スイッチ12h及びズーム操作部12iが設けられる。モード切替スイッチ12fは、観察モードの切り替え操作に用いる。静止画像取得指示スイッチ12hは、被写体の静止画像の取得指示に用いる。ズーム操作部12iは、ズームレンズ42の操作に用いる。
【0025】
光源装置13は、照明光を発生する。ディスプレイ15は、医療画像を表示する。医療画像には、撮像に用いる照明光が異なる第1照明光画像及び第2照明光画像、並びに、表示する区画が異なる注目医療画像及び準注目医療画像が含まれる。ユーザーインターフェース16は、キーボード、マウス、マイク、タブレット、及びタッチペン等を有し、機能設定等の入力操作を受け付ける。プロセッサ装置14は、内視鏡システム10のシステム制御を行い、さらに、内視鏡12から送信された画像信号に対して画像処理等を行う。
【0026】
図2において、光源装置13は、光源部20、光源部20を制御する光源用プロセッサ21、及び、光路結合部22を備えている。光源部20は、複数の半導体光源を有し、これらをそれぞれ点灯又は消灯する。また、複数の半導体光源を点灯する場合は、各半導体光源の発光量を制御することにより、被写体を照明する照明光を発する。光源部20は、V-LED(Violet Light Emitting Diode)20a、B-LED(Blue Light Emitting Diode)20b、G-LED(Green Light Emitting Diode)20c、及びR-LED(Red Light Emitting Diode)20dの4色のLEDを有する。光源部20又は光源用プロセッサ21は内視鏡12に内蔵されていてもよい。光源用プロセッサ21はプロセッサ装置14に内蔵されていてもよい。
【0027】
内視鏡システム10は、モノ発光モード及びマルチ発光モードを備えており、モード切替スイッチ12fを操作することで、中央制御部50を介してモードが切り替えられる。モノ発光モードは、同一スペクトルの照明光を連続的に照射し、観察対象である被写体を照明するモードである。マルチ発光モードは、異なるスペクトルの複数の照明光を、特定のパターンに従って切り替えながら照射し、被写体を照明するモードである。照明光には、第1照明光と、第1照明光とスペクトルが異なる第2照明光が含まれる。第1照明光は、被写体の全体に明るさを与えてスクリーニング観察するために用いる通常光(白色光などの広帯域の光)である。第2照明光は、被写体である粘膜の腺管や血管等の特定の構造を強調するために用いる、複数種類の特殊光である。モノ発光モードでは、第1照明光と第2照明光を切り替えるようにできることが好ましい。
【0028】
第1照明光を発する場合、図3に示すように、V-LED20aは、中心波長405±10nm、波長範囲380~420nmの紫色光Vを発生する。B-LED20bは、中心波長450±10nm、波長範囲420~500nmの青色光Bを発生する。G-LED20cは、波長範囲が480~600nmに及ぶ緑色光Gを発生する。R-LED20dは、中心波長620~630nmで、波長範囲が600~650nmに及ぶ赤色光Rを発生する。
【0029】
第2照明光には、例えば、表層血管を強調する第2照明第1スペクトル光、表層血管よりも浅い極表層血管を強調する第2照明第2スペクトル光、酸化ヘモグロビンと還元ヘモグロビンの吸光係数の差を利用した酸素飽和度画像を生成するための第2照明第3スペクトル光、及び、複数の被写体範囲の間の色差を拡張した色差拡張画像を生成するための第2照明第4スペクトル光がある。
【0030】
第2照明第1スペクトル光を発する場合、図4に示すように、紫色光Vが他の色の青色光B、緑色光G、赤色光Rよりもピークの強度が大きいスペクトルSPの光を発する。第2照明第2スペクトル光を発する場合、図5に示すように、酸化ヘモグロビンと還元ヘモグロビンの吸光係数に差がある波長域の光である紫色光Vを含むスペクトルSQの光を発する。第2照明第3スペクトル光を発する場合、図6に示すように、酸化ヘモグロビンと還元ヘモグロビンの吸光係数に差がある波長域の光である青緑色光B(ピーク波長は例えば470~480nm)を含むスペクトルSRの光を発する。第2照明第4スペクトル光を発する場合、図7に示すように、紫色光V及び青色光Bのピーク強度が、緑色光G及び赤色光Rのピーク強度よりも大きいスペクトルSSの光を発する。なお、第2照明光の種類はこれに限られない。
【0031】
光源用プロセッサ21は、4色の紫色光V、青色光B、緑色光G、赤色光Rの光量を独立に制御し、光量を変えて第1照明光及び第2照明光(例えば、第2照明第1スペクトル光、第2照明第2スペクトル光、第2照明第3スペクトル光、第2照明第4スペクトル光)を発光させる。
【0032】
モノ発光モードの場合、1フレーム毎に、同一スペクトルの照明光を連続的に発光する。例えば、1フレーム毎に第1照明光を被写体に照明して撮像することによって、自然な色合いの第1照明光画像をディスプレイ15に表示する。また、1フレーム毎に第2照明光を被写体に照明して撮像することによって、特定の構造を強調した第2照明光画像をディスプレイ15に表示する。なお、フレームとは、発光のタイミングから撮像センサ43による画像信号の読み出し完了までの間の期間を少なくとも含む期間の単位のことをいう。
【0033】
マルチ発光モードの場合、特定の発光パターンに従って、特定のフレームF毎に、紫色光V、青色光B、緑色光G、赤色光Rの光量を変化させる制御が行われる。発光パターンの例を以下に挙げる。例えば、第1発光パターンでは、図8に示すように、第1照明光L1により被写体を照明する第1照明期間Pe1に、2フレーム分の第1照明光L1を発光し、第2照明光L2により被写体を照明する第2照明期間Pe2に、1フレーム分の第2照明光(第2照明第1スペクトル光L2SP)を順次発光するパターンを繰り返す。図において、矢印は時間が進む方向を示す。
【0034】
第2発光パターンでは、図9に示すように、第1照明期間Pe1に2フレーム分、第1照明光L1を発光し、第2照明期間Pe2に1フレーム分、第2照明光L2(第2照明第1スペクトル光L2SP)を発光し、次いで、第1照明期間Pe1に2フレーム分、第1照明光L1を発光し、第2照明期間Pe2に1フレーム分、第2照明光L2(第2照明第1スペクトル光L2SQ)を発光する。第2発光パターンでは、第1発光パターンとは異なり、第1照明光の後に発光する第2照明光のスペクトルを毎回変更させる。
【0035】
第3発光パターンでは、図10に示すように、第1照明期間Pe1に1フレーム分第1照明光L1を発光し、第2照明期間Pe2に第2照明光L2を4フレーム分発光するパターンを繰り返す。このとき、第2照明期間Pe2において、第2照明光L2は、第2照明第1スペクトル光L2SP、第2照明第2スペクトル光L2SQ、第2照明第3スペクトル光L2SR、第2照明第4スペクトル光L2SSと、1フレームごとにスペクトルが異なる第2照明光L2を発光するよう自動的に切り替えられる。
【0036】
マルチ発光モードでは、照明光を自動的に切り替えることで、消化管内のほぼ同じ位置において異なる照明光で照明した被写体の画像を取得することができる。マルチ発光モードでは、後述する撮影フレームレート設定、及び発光パターン設定に従い、光源用プロセッサ21が各光源の光量調節を行って撮影を行う。発光パターンは、上記の3パターンに限られず、後述するように任意に設定できる。
【0037】
モノ発光モード及びマルチ発光モードにおいて、ユーザーが医療画像を静止画像として取得したい場合は、静止画像取得指示スイッチ12hを操作することにより、静止画像取得指示に関する信号が内視鏡12、光源装置13、及びプロセッサ装置14に送られる。
【0038】
各LED20a~20d(図2参照)が発する光は、ミラーやレンズ等で構成される光路結合部22を介して、ライトガイド23に入射される。ライトガイド23は、光路結合部22からの光を、内視鏡12の先端部12dまで伝搬する。
【0039】
内視鏡12の先端部12dには、照明光学系30aと撮像光学系30bが設けられている。照明光学系30aは照明レンズ31を有しており、ライトガイド23によって伝搬した照明光は照明レンズ31を介して被写体に照射される。一方、光源部20が内視鏡12の先端部12dに内蔵される場合は、ライトガイドを介さずに照明光学系の照明レンズを介して被写体に向けて出射される。撮像光学系30bは、対物レンズ41、撮像センサ43を有する。照明光を照射したことによる被写体からの光は、対物レンズ41及びズームレンズ42を介して撮像センサ43に入射する。これにより、撮像センサ43に被写体の像が結像される。ズームレンズ42は被写体を拡大するためのレンズであり、ズーム操作部12iを操作することによって、テレ端とワイド端と間を移動する。
【0040】
撮像センサ43は、原色系のカラーセンサであり、青色カラーフィルタを有するB画素(青色画素)、緑色カラーフィルタを有するG画素(緑色画素)、及び、赤色カラーフィルタを有するR画素(赤色画素)の3種類の画素を備える。
【0041】
また、撮像センサ43は、CCD(Charge-Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)であることが好ましい。撮像用プロセッサ44は、撮像センサ43を制御する。具体的には、撮像用プロセッサ44により撮像センサ43の信号読み出しを行うことによって、撮像センサ43から画像信号が出力される。出力された画像信号は、プロセッサ装置14の医療画像取得部60に送信される。
【0042】
医療画像取得部60は、受信したカラー画像に対して、欠陥補正処理、オフセット処理、デモザイク処理、マトリクス処理、ホワイトバランスの調整、ガンマ変換処理、及びYC変換処理等の各種信号処理を行う。次いで、3×3のマトリクス処理、階調変換処理、3次元LUT(Look Up Table)処理等の色変換処理、色彩強調処理、空間周波数強調等の構造強調処理を含む画像処理を施すことで、第1照明光に対する第1照明光画像、及び、第2照明光に対する第2照明光画像を取得する。
【0043】
また、医療画像取得部60は、第2照明光が第2照明第3スペクトル光であった場合、撮像センサ43からの画像信号比に基づいて、第2照明光画像として酸素飽和度画像を生成する。さらに、医療画像取得部60は、第2照明光が第2照明第4スペクトル光であった場合、撮像センサ43からの画像信号比に基づいて、色差を拡張する処理を行った色差拡張画像を第2照明光画像として生成する。
【0044】
プロセッサ装置14は、中央制御部50、医療画像取得部60、表示制御部70、全体表示フレームレート認識部90、区画表示フレームレート設定部100、区画撮影フレームレート設定部110、補間フレーム画像生成部120、及び、病変認識部130を含む(図2参照)。
【0045】
プロセッサ装置14においては、光源用プロセッサ21及び画像処理用プロセッサ(図示しない)で構成される中央制御部50により、プログラム用メモリ内のプログラムが動作することで、医療画像取得部60、表示制御部70、全体表示フレームレート認識部90、区画表示フレームレート設定部100、区画撮影フレームレート設定部110、補間フレーム画像生成部120、及び、病変認識部130の機能が実現される。
【0046】
医療画像取得部60が取得した第1照明光画像及び/又は第2照明光画像は、表示制御部70に送信される。表示制御部70は、第1照明光画像及び/又は第2照明光画像を表示する、図11に示すような表示用画像71を生成し、ディスプレイ15に表示させる。表示用画像71は、1の注目区画72と、少なくとも1以上の準注目区画73を有する。図11の例では、表示用画像71に、注目区画72と1の準注目区画73が存在する。注目区画72は、医師等のユーザーが最も注目したい種類の医療画像を表示する区画である。準注目区画73は、注目区画に表示した医療画像以外の種類の医療画像を表示する区画である。
【0047】
注目区画に表示する医療画像は、第1照明光画像又は第2照明光画像のいずれかを選択できる。注目区画72及び準注目区画73に表示する医療画像の種類は、図12に示す、表示制御部70の表示用画像設定部80を介して設定できる。ユーザーは、図13に例示する、表示用画像設定画面81で、注目区画72及び準注目区画73に表示する医療画像の種類と、準注目区画73の数をタブ82によって設定できる。図を見やすくするため、符号は1つのタブ82にのみ付している。
【0048】
図13に示す、表示用画像設定画面81の具体例では、準注目区画73の数は1である。注目区画72に表示する医療画像の種類は第1照明光画像である。準注目区画73に表示する医療画像の種類は第2照明光画像であり、この場合の第2照明光画像は、第2照明第1スペクトル光を用いて撮像されている。
【0049】
準注目区画に表示する医療画像(準注目医療画像)は、表示と非表示を切り替えられることが好ましい。準注目区画73に表示する準注目医療画像の表示又は非表示の設定は、例えば、表示用画像設定画面81で行う。図13に示す具体例では、準注目区画に表示する準注目医療画像の表示が「有」となっている。準注目医療画像の表示と非表示の切り替えは、表示用画像71上で行ってもよい。
【0050】
注目区画72及び準注目区画73の表示用画像71に占める大きさは、任意に変更できることが好ましい。注目区画72及び準注目区画73の大きさや配置等のレイアウトは、表示用画像設定画面81のレイアウト設定ボタン83を選択して設定してもよい。例えば、注目区画72を準注目区画73よりも大きくしてもよく(図11参照)、図14のように、注目区画72と準注目区画73を同じ大きさにしてもよい。注目区画72及び準注目区画73の大きさや配置に関しては、レイアウトのテンプレートを用意して選択するようにしてもよく、ユーザーが表示用画像設定画面81に表示された表示用画像の表示例84の上で、ピンチイン、ピンチアウト、二本指ドラッグ等により直接操作することで設定してもよい。
【0051】
注目区画及び準注目区画の表示のフレームレートは、ディスプレイ15の全体表示フレームレートの範囲内でそれぞれ設定できる。まず、全体表示フレームレート認識部90が、プロセッサ装置14に接続されたディスプレイ15のフレームレートを全体表示フレームレートとして認識し、区画表示フレームレート設定部100に送信する。全体表示フレームレートとは、ディスプレイ15が単位時間当たりに表示する表示用画像の数である。なお、注目区画表示フレームレート及び準注目区画表示フレームレートは、ディスプレイ15のリフレッシュレートの範囲内で設定してもよい。リフレッシュレートとは、単位時間当たりに表示のための処理を行うことができる表示用画像の枚数を指す。
【0052】
区画表示フレームレート設定部100は、全体表示フレームレートの範囲内で、注目区画表示フレームレート、及び、準注目区画表示フレームレートを設定する。注目区画表示フレームレートは、単位時間当たりに注目区画に表示する医療画像の数である。準注目区画表示フレームレートは、単位時間当たりに準注目区画に表示する医療画像の数である。
【0053】
注目区画に表示する医療画像をなるべく多くすることでカクつきのないスムーズな動画像を得るため、注目区画表示フレームレートは、準注目区画表フレームレートより高く設定される。なお、準注目区画表フレームレートを注目区画表示フレームレートより高く設定することや、準注目区画表フレームレートと注目区画表示フレームレートを同値に設定することもできる。以降、注目区画表示フレームレート及び準注目区画表示フレームレートのことを区別せずまとめて指す用語として、「区画表示フレームレート」を用いる。
【0054】
区画表示フレームレートは、区画表示フレームレート設定画面101を介して設定する。図15に例示する、区画表示フレームレート設定画面101では、全体表示フレームレート表示欄102に、全体表示フレームレートが表示されている。ユーザーは、注目区画表示フレームレート設定欄103と、準注目区画表示フレームレート設定欄104に、全体表示フレームレート表示欄102に表示されている範囲内で、それぞれ数値を入力し、区画表示フレームレート設定を行うことができる。
【0055】
図15の例では、全体表示フレームレートが60fps(frames per second)である。この場合、注目区画の注目区画表示フレームレート、及び、「準注目区画(1)」「準注目区画(2)」で示した準注目区画の準注目区画表示フレームレートを、それぞれ60fpsを越えない範囲内で設定できる。図15の例では、注目区画表示フレームレートは60fps、準注目区画表示フレームレートはそれぞれ15fpsに設定されている。注目区画表示フレームレート設定欄103及び準注目区画表示フレームレート設定欄104への入力方法は、キーボードや音声を用いたユーザー入力、タブを用いた入力、予め定めた値の自動入力等があり、これに限られない。
【0056】
表示制御部70は、区画表示フレームレート設定部100の注目区画表示フレームレート、及び、準注目区画表示フレームレートの設定に従い、表示用画像71の、注目区画72と準注目区画73のそれぞれに医療画像(第1照明光画像又は第2照明光画像)を表示する。図16に示す、表示用画像71の例では、注目区画72に第1照明光画像が、準注目区画73に第2照明光画像(斜線で示す)が表示されている。
【0057】
注目区画表示フレームレート、及び、準注目区画表示フレームレートをそれぞれ設定できる構成は、複数種類の医療画像を順次得ることができるマルチ発光モードにおいて特に有効である。上記構成により、複数種類の光を切り替えて照明し、各照明光の照明により得られる複数の画像を切り替えて表示する場合において、特に注目したい画像の種類を注目区画に表示し、注目区画のフレームレートを準注目区画のフレームレートより高くすることで、注目したい画像についてカクつきがなくスムーズな観察を行うことができる。
【0058】
区画撮影フレームレート設定部110は、注目区画撮像フレームレート、及び、準注目区画撮像フレームレートを設定する。全体撮像フレームレートは、撮像センサ43の性能によって決定される撮像フレームレートであって、単位時間当たりに取得することができる医療画像の数である。注目区画に表示する医療画像を注目医療画像とし、準注目区画に表示する医療画像を準注目医療画像とすると、注目区画撮像フレームレートとは、単位時間当たりに取得する注目医療画像の数である。また、準注目区画撮像フレームレートとは、単位時間当たりに取得する準注目医療画像の数である。注目区画撮像フレームレートは、注目区画表示フレームレート以上又は以下になるように設定可能である。同様に、準注目区画撮像フレームレートは、準注目区画表示フレームレート以上又は以下になるように設定可能である。注目区画撮像フレームレートと準注目区画撮像フレームレートを足し合わせた合計が、全体撮像フレームレートとなる。
【0059】
以降、注目区画撮像フレームレート及び準注目区画撮像フレームレートのことを区別せずまとめて指す用語として、「区画撮像フレームレート」を用いる。区画撮像フレームレートは、区画撮像フレームレート設定画面111を介して設定する。図17に例示する、区画撮像フレームレート設定画面111の全体撮像フレームレート表示欄112には、全体撮像フレームレートが表示されている。ユーザーは、全体撮像フレームレート表示欄112に表示されている範囲内で、注目区画撮像フレームレート設定欄113と、準注目区画撮像フレームレート設定欄114に数値を入力し、区画撮像フレームレート設定を行うことができる。
【0060】
図17の例では、全体撮像フレームレートが60fpsであり、注目区画(に表示する注目医療画像)の注目区画撮像フレームレートを30fps、「準注目区画(1)」「準注目区画(2)」で示した各準注目区画(に表示する準注目医療画像)の準注目区画撮像フレームレートを15fpsとそれぞれ設定している。
【0061】
また、区画撮像フレームレート設定画面111では、注目医療画像及び準注目医療画像を取得するために用いる照明光の種類を設定することができる。注目医療画像及び準注目医療画像を取得するために用いる照明光の種類は、それぞれタブ82で設定することができる。図17の例では、注目医療画像は第1照明光、1つめの準注目医療画像は第2照明第1スペクトル光、2つめの準注目医療画像は第2照明第2スペクトル光を用いることが、それぞれ設定されている。すなわち、注目医療画像は第1照明光画像、1つめの準注目医療画像は第2照明第1スペクトル光で照明された第2照明光画像、2つめの準注目医療画像は第2照明第2スペクトル光で照明された第2照明光画像である。
また、区画撮像フレームレート設定画面111では、注目医療画像及び準注目医療画像を取得するために用いる照明光の発光パターンを、発光パターン設定欄115で設定することができる。図17の例では、発光パターンは、「1、1、2、1、1、3」と設定されている。これは、各フレームFにおいて「第1照明光、第1照明光、第2照明第1スペクトル光、第1照明光、第1照明光、第2照明第2スペクトル光」の発光パターンを繰り返して順次発光することを示している。区画撮像フレームレート設定画面111で設定された発光パターンの設定は、中央制御部50を介して光源用プロセッサ21に伝えられる。
【0062】
全体表示フレームレート、区画表示フレームレート、全体撮像フレームレート、及び、区画撮像フレームレートの具体例を表1に示す。表1では、「表示フレームレート」の下段の「全体」は「全体表示フレームレート」、「注目区画」は「注目区画表示フレームレート」、「準注目区画」は「準注目区画表示フレームレート」を指す。また、「撮像フレームレート」の下段の「全体」は「全体撮像フレームレート」、「注目区画」は「注目区画撮像フレームレート」、「準注目区画」は「準注目区画撮像フレームレート」を指す。数値のみが書かれている欄の単位はfpsである。また、表1の実施例1から6では、注目医療画像は第1照明光画像、準注目医療画像は第2照明光画像とする。
【0063】
【表1】
【0064】
表1の実施例1は、全体表示フレームレート(60fps)が全体撮像フレームレート(45fps)より高く、注目区画撮像フレームレート(30fps)が、準注目区画撮像フレームレート(15fps)より高い例である。
【0065】
表1の実施例2は、全体表示フレームレート(60fps)が全体撮像フレームレート(45fps)より高く、注目区画撮像フレームレート(15fps)が、準注目区画撮像フレームレート(30fps)より低い例である。「準注目区画の備考」欄の「15fps×2」は、第2照明光が2種類あり、それぞれの種類の第2照明光に対する第2照明光画像が15fpsで取得されることを示す。実施例2では、2つの準注目区画に、それぞれ15fpsの準注目区画撮像フレームレートで撮像された第2照明光画像が表示される。例えば、一方の準注目区画(準注目区画表示フレームレートが15fps)には、第2照明第1スペクトル光を用いて、準注目区画撮像フレームレートが15fpsで撮像した第2照明光画像が表示される。もう一方の準注目区画(区画表示フレームレートが15fps)には、第2照明第2スペクトル光を用いて、準注目区画撮像フレームレートが15fpsで撮像した第2照明光画像が表示される。
【0066】
表1の実施例3は、全体表示フレームレート(60fps)が全体撮像フレームレート(90fps)より低く、注目区画撮像フレームレート(60fps)が、準注目区画撮像フレームレート(30fps)より高い例である。「準注目区画の備考」欄の「15fps×2」は、第2照明光が2種類あり、それぞれの種類の第2照明光に対する第2照明光画像が15fpsで取得されることを示す。準注目医療画像の区画撮像フレームレートと区画フレームレートの関係は、実施例2と同様である。
【0067】
表1の実施例4は、全体表示フレームレート(60fps)が全体撮像フレームレート(90fps)より低く、注目区画撮像フレームレート(30fps)が、準注目区画撮像フレームレート(60fps)より低い例である。「準注目区画の備考」欄の「15fps×4」は、第2照明光が4種類あり、それぞれの種類の第2照明光に対する第2照明光画像が15fpsで取得されることを示す。準注目医療画像の区画撮像フレームレートと区画フレームレートの関係は、実施例2の、2つの準注目区画に、2種類の第2照明光を用いてそれぞれ撮像した第2照明光画像を表示する例と同様である。すなわち、4つの準注目区画(準注目区画表示フレームレートが15fps)に、4種類の第2照明光を用いて、それぞれ15fpsの準注目区画撮像フレームレートで撮像した第2照明光画像を表示する。
【0068】
表1の実施例5は、準注目区画表示フレームレート(45fps)が、注目区画撮像フレームレート(15fps)より高い例である。準注目区画に、後述する補間フレーム画像が必要である例である。
【0069】
表1の実施例6は、注目区画表示フレームレート(60fps)が、注目区画撮像フレームレート(90fps)より低い例である。後述する、注目区画に表示する注目医療画像の選択が必要である例である。
【0070】
実施例1から6のように、全体撮像フレームレートと全体表示フレームレートの大小関係に関わらず、特に注目したい画像を注目区画に設定し、注目区画のフレームレートを準注目区画のフレームレートより高くすることで、特に注目したい画像のスムーズな観察を行うことができる。
【0071】
補間フレーム画像生成部120は、注目医療画像を用いて、注目区画に表示する補間フレーム画像を生成することが好ましい。具体的には、実施例1、実施例2、実施例4、実施例5のように、注目区画表示フレームレートが、注目区画撮像フレームレートより高い場合に補間フレーム画像を生成する。すなわち、撮像した注目医療画像が、注目区画表示フレームレートを満たさない場合に補間フレーム画像を生成する。
【0072】
また、補間フレーム画像生成部120は、準注目医療画像を用いて、準注目区画に表示する補間フレーム画像を生成することが好ましい。具体的には、実施例6のように、準注目区画表示フレームレートが、準注目区画撮像フレームレートより高い場合に補間フレーム画像を生成する。すなわち、撮像した準注目医療画像が、準注目区画表示フレームレートを満たさない場合に、補間フレーム画像を生成する。
【0073】
上記構成により、区画表示フレームレートが、区画撮像フレームレートより高い場合に補間フレーム画像を生成して表示することで、特に注目したい画像を注目区画に設定し、特に注目したい画像を補間する画像を表示することで、スムーズな観察を行うことができる。なお、実施例3では、注目区画表示フレームレート及び注目区画撮像フレームレートが60fpsとなっているため、補間フレーム画像は生成されず、撮像された注目医療画像が、順次、注目区画に表示される。
【0074】
補間フレーム画像は、少なくとも2枚以上の注目医療画像又は準注目医療画像を用い、加算平均方式によって生成されることが好ましい。加算平均方式は、過去に撮像した複数フレームの注目医療画像又は準注目医療画像を重ね合わせることで補間フレーム画像を生成する方式である。
【0075】
加算平均方式について、注目医療画像が第1照明光画像である場合の具体例(図18)を用いて説明する。図18の例で示すように、照明光が、発光パターン1回分Pa1で、第1照明光L1の発光される第1照明期間に、注目医療画像121が2フレーム分撮像され(図18では撮像フレーム1及び2で示す)、第2照明光L2の発光される第2照明期間に、準注目医療画像122が1フレーム分撮像される(図18では撮像フレーム3で示す)。この場合、補間フレーム画像生成部120は、撮像フレーム1と2を重ね合わせることで、補間フレーム画像123(図18では補間フレーム「1+2」で示す)を生成する。表示フレームは、撮像フレーム1、補間フレーム「1+2」、撮像フレーム2……の順番となり、この順番で注目区画に画像が表示される。以降、同様にして、発光パターン1回分で撮像フレームの4、5が注目医療画像121として取得され、撮像フレームの6が準注目医療画像122として取得され、補間フレーム「2+4」で補間フレーム画像123が生成される。
【0076】
なお、図18では図の簡略化のために2フレーム分の注目医療画像121から1フレーム分の補間フレーム画像123を生成しているが、3フレーム以上の注目医療画像121を重ね合わせて補間フレーム画像123を生成してもよい。また、表1の実施例5のように、準注目区画表示フレームレートが、準注目区画撮像フレームレートより高い場合であって、準注目医療画像から補間フレーム画像123を生成する場合も同様にして補間フレーム画像を生成する。
【0077】
加算平均方式で、注目医療画像121を重ね合わせて補間フレーム画像123を生成する場合、複数の注目医療画像121を同じ割合で重ね合わせる単純加算平均方式によって生成してもよく、注目医療画像121によって重み付けをして重ね合わせる加重加算平均方式によって生成してもよい。また、表1の実施例5のように、準注目医療画像から補間フレーム画像123を生成する場合も同様にして補間フレーム画像を生成する。
【0078】
上記構成によって、区画表示フレームレートを補う補間フレーム画像を生成する場合に、画像の重ね合わせによって自然な見た目の補間フレーム画像を生成することができる。
【0079】
また、補間フレーム画像は、少なくとも2枚以上の注目医療画像又は準注目医療画像を用い、移動ベクトル方式によって生成されることが好ましい。移動ベクトル方式は、過去に撮像した複数フレームの注目医療画像間又は準注目医療画像間に写る被写体の移動ベクトルを加味して、注目医療画像又は準注目医療画像を重ね合わせることで補間フレーム画像を生成する方式である。
【0080】
移動ベクトル方式によって補間フレーム画像を生成する場合、補間フレーム画像生成部120は、まず、複数の注目医療画像又は準注目医療画像の画像信号を解析し、例えば、パターンマッチング法を用いて、前後フレームの画像間で同一の観察部位に対応する画素を探索し、この画素の空間的距離(移動量)および方向(移動方向)を移動ベクトルとして算出する。次に、移動ベクトルを加味して各フレームの画像に対する重み付けを行い、注目医療画像又は準注目医療画像を重ね合わせる。
【0081】
移動ベクトル方式の具体例を説明する。例えば、図19に示すように、時系列順に取得された注目医療画像124、125、126を3枚重ね合わせる場合、1フレーム目の注目医療画像124と2フレーム目の注目医療画像125の間の被写体Sの移動ベクトル127aと、2フレーム目の注目医療画像125と3フレーム目の注目医療画像126の間の被写体Sの移動ベクトル127bをそれぞれ算出する。この場合、移動ベクトル127aより移動ベクトル127bが大きいため、3フレーム目の画像に対して相対的に大きく重み付けを行った上で注目医療画像124、125、126の重ね合わせを行い、補間フレーム画像128を生成する。補間フレーム画像128には、例えば、2フレーム目の注目医療画像125と3フレーム目の注目医療画像126から演算された被写体Sの重ね合わせ128a(実線で示す)が写る。なお、被写体Sの残像128b(点線で示す)を映してもよい。生成された補間フレーム画像128は、例えば、2フレーム目の注目医療画像125と3フレーム目の注目医療画像126の間に挿入されて表示される。これにより、移動した結果の画像に合わせて、動きがスムーズに見える補間フレーム画像を生成することができる。
【0082】
上記構成によって、区画表示フレームレートを補う補間フレーム画像を生成する場合に、移動ベクトルを加味した画像の重ね合わせによって自然な見た目の補間フレーム画像を生成することができる。
【0083】
また、補間フレーム画像は、注目医療画像又は準注目医療画像を複製する単純コピー方式によって生成されることが好ましい。単純コピー方式は、過去に撮像した少なくとも1枚以上の注目医療画像間又は準注目医療画像間を複製することで補間フレーム画像を生成する方式である。これにより、プロセッサ装置14に画像解析の負担を少なくしながら、補間フレーム画像を生成することができる。
【0084】
単純コピー方式の具体例について説明する。注目医療画像が第1照明光画像である場合の具体例(図20)を用いて説明する。図18と同様に、照明光が、発光パターン1回分Pa1で、第1照明光L1の発光される第1照明期間に、注目医療画像121が2フレーム分撮像され、第2照明光L2の発光される第2照明期間に、準注目医療画像122が1フレーム分撮像される。この場合、補間フレーム画像生成部120は、撮像フレーム1と2を重ね合わせることで、補間フレーム画像123(図20では補間フレーム「1」「2」「4」「5」「7」で示す)を生成する。表示フレームは、撮像フレーム1、補間フレーム「1」、撮像フレーム2……の順番となり、この順番で注目区画に画像が表示される。
【0085】
上記構成によって、区画表示フレームレートを補う補間フレーム画像を生成する場合に、画像を複製することで、プロセッサにかかる負荷を小さくしつつ、自然な見た目の補間フレーム画像を生成することができる。
【0086】
補間フレーム画像を生成する方法は、加算平均方式、移動ベクトル方式、又は単純コピー方式が含まれるが、これに限られない。
【0087】
表1の実施例6のように、区画表示フレームレートが区画撮像フレームレートより低い場合、注目区画に表示する注目医療画像、又は、準注目区画に表示する準注目医療画像が選択されることが好ましい。区画表示フレームレートが区画撮像フレームレートより低い場合は、取得された注目医療画像又は準注目医療画像の枚数が、表示できる枚数を超えるため、表示制御部70は、表示する注目医療画像又は準注目医療画像を選択し、表示可能な枚数に調整する。表示する画像の選択は、区画表示フレームレートと区画撮像フレームレートの差によって決定されることが好ましい。
【0088】
例えば、表1の実施例6の場合、注目区画表示フレームレートが60fpsに対して、注目区画撮像フレームレートが90fpsであるため、取得された注目医療画像の3フレームに2枚ごとに表示する選択をする。また、準注目区画表示フレームレートが15fpsに対して、注目区画撮像フレームレートが30fpsであるため(表1の実施例6では、準注目医療画像の撮像には1種類の第2照明光を用い、30fpsで撮像をしている。)、取得された注目医療画像の2フレームに1枚ごとに表示する選択をする。
【0089】
例えば、図21に示すように、表示する注目医療画像又は準注目医療画像を選択する場合、図18と同様に、照明光が、発光パターン1回分Pa1で、第1照明光L1の発光される第1照明期間に、注目医療画像121が2フレーム分撮像され、第2照明光L2の発光される第2照明期間に、準注目医療画像122が1フレーム分撮像される。この場合、表示制御部70は、例えば、取得された注目医療画像121の2フレームに1枚ずつ表示する画像を選択する。すなわち、表示フレームとして、撮像フレーム「1」「3」「5」「7」……の順に、注目医療画像121が表示される。
【0090】
上記構成により、全体撮像フレームレートと全体表示フレームレートの大小関係に関わらず、注目区画表示フレームレート及び準注目区画表示フレームレートに合わせて表示する画像を間引いて選択することができる。
【0091】
病変認識部130は、ユーザーが着目すべき領域である関心領域を、注目医療画像及び/又は準注目医療画像から検出し、さらに、関心領域を鑑別することが好ましい。関心領域とは、特定の範囲内の特徴量を有する、病変等の部位である。特徴量とは、被写体の形状、色又はそれら形状や色等から得られる値であることが好ましい。特徴量の項目としては、例えば、血管密度、血管形状、血管の分岐数、血管の太さ、血管の長さ、血管の蛇行度、血管の深達度、腺管形状、腺管開口部形状、腺管の長さ、腺管の蛇行度、色情報である。特徴量はこれらの少なくともいずれか1つ、もしくは、これらの2以上を組み合わせた値であることが好ましい。なお、特徴量の項目については、この限りではなく、使用状況に応じて適宜追加されてもよい。
【0092】
検出とは、関心領域を医療画像から発見することである。鑑別とは、関心領域がどのような性状(例えば、腫瘍性ポリープ、非腫瘍性ポリープ、炎症等)を有するかを特定することである。
【0093】
病変認識部130は、図22に示すように、検出用分類器131及び鑑別用分類器132を備える。検出用分類器131は、図23に示すように、医療画像取得部60から注目医療画像及び/又は準注目医療画像である医療画像130aを入力され、関心領域を検出した結果である検出結果131aを出力する。鑑別用分類器132は、図24に示すように、医療画像取得部60から注目医療画像及び/又は準注目医療画像である医療画像130aを入力され、関心領域を鑑別した結果である鑑別結果132aを出力する。関心領域の検出及び鑑別は、いずれか一方を行ってもよく、両方行ってもよい。
【0094】
検出用分類器131及び鑑別用分類器132は、教師用画像データによって学習されている学習モデルであることが好ましい。教師用画像データにおける、検出結果や鑑別結果の付与は、熟練した医師が行ってもよく、検出用分類器131及び鑑別用分類器132以外の装置が自動的に行ってもよい。また、検出用分類器131、鑑別用分類器132、又は、別の学習モデルが出力した情報を医療画像に付与し、教師用画像データとして検出用分類器131及び鑑別用分類器132の学習に用いてもよい。
【0095】
学習モデルを生成する機械学習には深層学習を用いることが好ましく、例えば、多層畳み込みニューラルネットワークを用いることが好ましい。機械学習には、深層学習に加え、決定木、サポートベクトルマシン、ランダムフォレスト、回帰分析、教師あり学習、半教師なし学習、教師なし学習、強化学習、深層強化学習、ニューラルネットワークを用いた学習、敵対的生成ネットワーク等が含まれる。
【0096】
上記構成により、注目医療画像又は準注目医療画像から関心領域を検出し、鑑別を行うことでスクリーニング観察又は詳細な構造の観察を支援することができる。
【0097】
検出用分類器131が出力した検出結果、及び、鑑別用分類器132が出力した鑑別結果は、表示制御部70に送信される。表示制御部70は、注目区画及び/又は準注目区画に、検出結果、又は、鑑別結果を表示する制御を行うことが好ましい。検出結果及び鑑別結果を表示する制御を行ってもよい。
【0098】
検出結果を示す具体例について説明する。例えば、図25に示すように、表示用画像71上の注目区画72に、準注目医療画像134から関心領域135を検出した検出結果を示す場合、注目区画72に表示される注目医療画像136に含まれる関心領域135の周辺に枠137を表示する。また、注目医療画像136内のおおよその位置を示すマーカー138を表示する。図21の場合、マーカー138は、右下に関心領域135があることを示している。検出結果を示す方法は、円や多角形の囲いや、画面上の警告表示や警告音声など、これに限られない。
【0099】
鑑別結果を示す具体例について説明する。例えば、図26に示すように、表示用画像71上の注目区画72に、準注目医療画像134から関心領域135を鑑別した鑑別結果を示す場合、鑑別結果を示すキャプション139を表示する。図26の場合、鑑別結果は「腫瘍」であるため、キャプション139に「腫瘍」と表示されている。また、鑑別結果に合わせてマーカー138の色を変えて表示してもよい。例えば、鑑別結果が腫瘍性の場合はマーカー138を黄色で表示し、非腫瘍性の場合は緑色で表示する。鑑別結果を示す方法は、円や多角形の囲いや、画面上の警告表示や警告音声など、これに限られない。
【0100】
上記構成により、検出結果や鑑別結果を表示することで、スクリーニング観察又は詳細な構造の観察を支援することができる。
【0101】
また、表示用画像71には、注目区画72及び準注目区画73の他に、図27に示すように、静止画像を表示する静止画像区画140や、文字情報を表示する文字情報区画141を設けてもよい。
【0102】
また、図28に示すように、拡張プロセッサ装置150を設け、病変認識部130を拡張プロセッサ装置150に備えるようにしてもよい。この場合、注目医療画像151及び/又は準注目医療画像152は、拡張プロセッサ装置150の病変認識部130に入力され、その結果、関心領域135の検出結果及び/又は鑑別結果が出力される。検出結果及び/又は鑑別結果はプロセッサ装置14に送信され、注目区画72又は準注目区画73に検出結果及び/又は鑑別結果が表示される。図28では、表示用画像71に、関心領域135の検出結果が示されている。
【0103】
本実施形態では、プロセッサ装置14が内視鏡システム10に接続されている例で説明をしたが、本発明はこれに限定されず、超音波画像撮影装置や放射線撮影装置等、他の医療用装置を用いてもよい。また、この内視鏡12は、硬性鏡又は軟性鏡が用いられてよい。また、内視鏡システム10のうち中央制御部50、医療画像取得部60、表示制御部70、全体表示フレームレート認識部90、区画表示フレームレート設定部100、区画撮影フレームレート設定部110、補間フレーム画像生成部120、及び、病変認識部130の一部又は全部は、例えばプロセッサ装置14と通信して内視鏡システム10と連携する画像処理装置に設けることができる。例えば、内視鏡システム10から直接的に、又は、PACSから間接的に、内視鏡12で撮像した画像を取得する診断支援装置に設けることができる。また、内視鏡システム10を含む、第1検査装置、第2検査装置、…、第N検査装置等の各種検査装置と、ネットワークを介して接続する医療業務支援装置に、内視鏡システム10のうち、中央制御部50、医療画像取得部60、表示制御部70、全体表示フレームレート認識部90、区画表示フレームレート設定部100、区画撮影フレームレート設定部110、補間フレーム画像生成部120、及び、病変認識部130の一部又は全部を設けることができる。
【0104】
本実施形態において、中央制御部50、医療画像取得部60、表示制御部70、全体表示フレームレート認識部90、区画表示フレームレート設定部100、区画撮影フレームレート設定部110、補間フレーム画像生成部120、及び、病変認識部130といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA(Field Programmable Gate Array) 等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
【0105】
1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよく、同種又は異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGAや、CPUとFPGAの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバ等のコンピュータに代表されるように、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
【0106】
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた形態の電気回路(circuitry)である。また、記憶部のハードウェア的な構造はHDD(hard disc drive)やSSD(solid state drive)等の記憶装置である。
【符号の説明】
【0107】
10 内視鏡システム
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
12e アングルノブ
12f 観察モード切替スイッチ
12h 静止画像取得指示スイッチ
12i ズーム操作部
12j 鉗子口
13 光源装置
14 プロセッサ装置
15 ディスプレイ
16 ユーザーインターフェース
20 光源部
20a V-LED
20b B-LED
20c G-LED
20d R-LED
21 光源用プロセッサ
22 光路結合部
23 ライトガイド
30a 照明光学系
30b 撮像光学系
31 照明レンズ
41 対物レンズ
42 ズームレンズ
43 撮像センサ
44 撮像用プロセッサ
50 中央制御部
60 医療画像取得部
70 表示制御部
71 表示用画像
72 注目区画
73 準注目区画
80 表示用画像設定部
81 表示用画像設定画面
82 タブ
83 レイアウト設定ボタン
84 表示例
90 全体表示フレームレート認識部
100 区画表示フレームレート設定部
101 区画表示フレームレート設定画面
102 全体表示フレームレート表示欄
103 注目区画表示フレームレート設定欄
104 準注目区画表示フレームレート設定欄
110 区画撮影フレームレート設定部
111 区画撮像フレームレート設定画面
112 全体撮像フレームレート表示欄
113 注目区画撮像フレームレート設定欄
114 準注目区画撮像フレームレート設定欄
115 発光パターン設定欄
120 補間フレーム画像生成部
121、124、125、126、136、151 注目医療画像
122、134、152 準注目医療画像
123、128 補間フレーム画像
127a、127b 移動ベクトル
128a 被写体の重ね合わせ
128b 残像
130 病変認識部
130a 医療画像
131 検出用分類器
131a 検出結果
132 鑑別用分類器
132a 鑑別結果
135 関心領域
137 枠
138 マーカー
139 キャプション
140 静止画像区画
141 文字情報区画
150 拡張プロセッサ装置
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
図28