(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-04
(45)【発行日】2023-12-12
(54)【発明の名称】画像処理装置及びその作動方法
(51)【国際特許分類】
A61B 1/045 20060101AFI20231205BHJP
【FI】
A61B1/045 617
A61B1/045 622
A61B1/045 618
(21)【出願番号】P 2022515257
(86)(22)【出願日】2021-03-17
(86)【国際出願番号】 JP2021010862
(87)【国際公開番号】W WO2021210331
(87)【国際公開日】2021-10-21
【審査請求日】2022-10-05
(31)【優先権主張番号】P 2020074231
(32)【優先日】2020-04-17
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】110001988
【氏名又は名称】弁理士法人小林国際特許事務所
(72)【発明者】
【氏名】繁田 典雅
【審査官】▲高▼原 悠佑
(56)【参考文献】
【文献】特開2007-215927(JP,A)
【文献】国際公開第2019/172231(WO,A1)
【文献】特開2015-136397(JP,A)
【文献】国際公開第2013/035738(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 1/00-1/32
(57)【特許請求の範囲】
【請求項1】
画像用プロセッサを備え、
前記画像用プロセッサは、
内視鏡により被写体を撮像して得られる内視鏡画像を取得し、
前記内視鏡画像に基づいて生体情報を算出し、
前記生体情報の基準値を設定し、
前記基準値以下の低値領域とそれ以外とが区別可能であるように前記生体情報を画像化した生体情報画像を生成し、
前記内視鏡画像に前記生体情報画像を重畳した表示用画像を生成し、
前記生体情報画像において、前記生体情報が前記基準値より高く、かつ、予め設定した設定値以下である準低値領域が存在する場合に、前記基準値は適切でないとの判定を行い、
前記基準値は適切でないと判定した場合、前記基準値に関する通知を行う画像処理装置。
【請求項2】
前記画像用プロセッサは、前記生体情報が前記基準値以下である領域を特定の色に対応させた基準値用カラー対応情報を生成し、前記基準値用カラー対応情報に基づき前記生体情報画像を生成する請求項1に記載の画像処理装置。
【請求項3】
前記画像用プロセッサは、前記基準値を設定した場合、設定した前記基準値に基づき前記基準値用カラー対応情報を生成する
請求項2に記載の画像処理装置。
【請求項4】
前記画像用プロセッサは、前記基準値用カラー対応情報を画像化した基準値用カラーバーと、前記基準値を示す基準値指標とを用いて表示用画像を生成する請求項2又は3に記載の画像処理装置。
【請求項5】
前記画像用プロセッサは、前記基準値を設定した場合、設定した前記基準値を示す前記基準値指標を用いて前記表示用画像を生成する請求項4に記載の画像処理装置。
【請求項6】
前記画像用プロセッサは、前記内視鏡画像における前記生体情報の平均値を算出し、
前記基準値用カラーバーと前記平均値を示す平均値指標とを用いて前記表示用画像を生成する請求項4又は5に記載の画像処理装置。
【請求項7】
前記表示用画像を表示するディスプレイと、前記表示用画像を保存する表示用画像保存部とに接続され、
前記画像用プロセッサは、前記表示用画像保存部に保存した前記表示用画像を前記ディスプレイにサムネイル表示する制御を行う請求項1ないし6のいずれか1項に記載の画像処理装置。
【請求項8】
前記画像用プロセッサは、前記基準値を設定した場合、前記ディスプレイにサムネイル表示する前記表示用画像を前記基準値に基づいて変更した上で表示する制御を行う請求項7に記載の画像処理装置。
【請求項9】
前記画像用プロセッサは、前記生体情報画像において、前記準低値領域が予め設定した割合以上存在する場合に、前記基準値は適切でないとの判定を行う請求項1ないし8のいずれか1項に記載の画像処理装置。
【請求項10】
前記画像用プロセッサは、前記準低値領域が予め設定した時間以上継続して存在する場合に、前記基準値は適切でないとの判定を行う請求項1ないし9のいずれか1項に記載の画像処理装置。
【請求項11】
前記画像用プロセッサは、前記基準値は適切でないとの判定を行わない場合、前記基準値が適切であることを通知する請求項1ないし10のいずれか1項に記載の画像処理装置。
【請求項12】
前記画像用プロセッサは、前記内視鏡画像に基づいて、前記被写体の部位を認識し、
前記部位に基づき前記基準値を設定する請求項1ないし11のいずれか1項に記載の画像処理装置。
【請求項13】
前記画像用プロセッサは、前記基準値は適切でないとの判定を行った場合に、前記基準値をより高い値に切り替えて設定する請求項1ないし12のいずれか1項に記載の画像処理装置。
【請求項14】
前記画像用プロセッサは、前記基準値と前記設定値とが予め設定した条件を満たす場合に、前記基準値を、変更前の前記基準値より高く、かつ、前記設定値を超えない値であって、予め設定した値に変更して設定する請求項1ないし13のいずれか1項に記載の画像処理装置。
【請求項15】
前記生体情報は、前記被写体の酸素飽和度である請求項1ないし14のいずれか1項に記載の画像処理装置。
【請求項16】
画像用プロセッサを備える画像処理装置の作動方法であって、
前記画像用プロセッサは、
内視鏡により被写体を撮像して得られる内視鏡画像を取得し、
前記内視鏡画像に基づいて生体情報を算出し、
前記生体情報の基準値を設定し、
前記基準値以下の低値領域とそれ以外とが区別可能であるように前記生体情報を画像化した生体情報画像を生成し、
前記内視鏡画像に前記生体情報画像を重畳した表示用画像を生成し、
前記生体情報画像において、前記生体情報が前記基準値より高く、かつ、予め設定した設定値以下である準低値領域が存在する場合に、前記基準値は適切でないとの判定を行い、
前記基準値は適切でないと判定した場合、前記基準値に関する通知を行う画像処理装置の作動方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、内視鏡画像等の医療用画像を用いて画像処理をする画像処理装置及びその作動方法に関する。
【背景技術】
【0002】
医療分野においては、内視鏡システムを用いた検査等が普及している。内視鏡システムは、例えば、被写体に挿入する内視鏡(いわゆるスコープ)と、被写体を照明する照明光を発生する光源装置、内視鏡を用いて被写体の内視鏡画像を取得するプロセッサ装置、及び、内視鏡画像等を表示するディスプレイ等を備える。
【0003】
また、近年においては、内視鏡画像を用いて被写体の生体情報を算出及び表示する内視鏡システムが知られている。その際に、生体情報を相対値として算出及び表示することが知られている。例えば、設定した基準値領域の画像データに基づいて血管情報の基準値を算出し、内視鏡画像の血管情報を基準値を用いた相対値として疑似カラーで表示する電子内視鏡システムが知られている(特許文献1)。また、画像に基づいて生体情報に関する信頼度を算出し、信頼度を用いて生体情報の基準となる基準値を設定し、測定値と基準値との差分値により差分画像を生成する内視鏡システムが知られている(特許文献2)。また、酸素飽和度が特に低い領域を、内視鏡画像の画像処理により通常と異なる色で表示する内視鏡システムが知られている(特許文献3)。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2011-194028号公報
【文献】国際公開第2019/172231号
【文献】特開2012-139482号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
酸素飽和度等の生体情報を表示する場合に、生体情報の基準値を設定し、生体情報を相対値として算出及び表示することにより、生体情報が特異的な部分を容易に把握することができる。このように、生体情報において基準値を用いることによる利点はあるが、一方で、複数の部位を観察する場合、又は同じ部位でも経時的に生体情報が変化するような状況では、同じ基準値を継続して用いることにより不都合が生じる場合があり得る。
【0006】
同じ基準値を継続して用いることにより、例えば、酸素飽和度を画像化して表示する酸素飽和度の検査において、酸素飽和度が特異的である領域を把握する場合に問題となることがある。酸素飽和度が特に低い低酸素領域を認識しやすくするため、酸素飽和度の基準値を特に低く設定した上で、基準値以下の低酸素領域を画像により表示させるとする。そして、基準値を変えずに、他の部位又は時間が経過した後の同じ部位等の酸素飽和度の検査を行うと、被写体に低酸素領域が存在しなくなることがある。この場合は低酸素領域の表示がされなくなる。しかしながら、低酸素領域の表示がなくても、実際には、基準値より少し高いが一般的には低酸素領域であるとされる準低酸素領域が存在する場合がある。低酸素領域も準低酸素領域も、酸素飽和度が特異的な領域であり、病変又は腸管等の縫合不全等である可能性がある。医師等が酸素飽和度が特異的な領域の存在に気が付かない場合が生じるのは問題となるおそれがある。
【0007】
本発明は、生体情報が特異的である部分の見逃しを防ぐことができる画像処理装置及びその作動方法を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の画像処理装置は、画像用プロセッサを備える。画像用プロセッサは、内視鏡により被写体を撮像して得られる内視鏡画像を取得し、内視鏡画像に基づいて生体情報を算出し、生体情報の基準値を設定し、基準値以下の低値領域とそれ以外とが区別可能であるように生体情報を画像化した生体情報画像を生成し、内視鏡画像に生体情報画像を重畳した表示用画像を生成し、生体情報画像において、生体情報が基準値より高く、かつ、予め設定した設定値以下である準低値領域が存在する場合に、基準値は適切でないとの判定を行い、基準値は適切でないと判定した場合、基準値に関する通知を行う。
【0009】
画像用プロセッサは、生体情報が基準値以下である領域を特定の色に対応させた基準値用カラー対応情報を生成し、基準値用カラー対応情報に基づき生体情報画像を生成することが好ましい。
【0010】
画像用プロセッサは、基準値を設定した場合、設定した基準値に基づき基準値用カラー対応情報を生成することが好ましい。
【0011】
画像用プロセッサは、基準値用カラー対応情報を画像化した基準値用カラーバーと、基準値を示す基準値指標とを用いて表示用画像を生成することが好ましい。
【0012】
画像用プロセッサは、基準値を設定した場合、設定した基準値を示す基準値指標を用いて表示用画像を生成することが好ましい。
【0013】
画像用プロセッサは、内視鏡画像における生体情報の平均値を算出し、
基準値用カラーバーと平均値を示す平均値指標とを用いて表示用画像を生成することが好ましい。
【0014】
表示用画像を表示するディスプレイと、表示用画像を保存する表示用画像保存部とに接続され、画像用プロセッサは、表示用画像保存部に保存した表示用画像をディスプレイにサムネイル表示する制御を行うことが好ましい。
【0015】
画像用プロセッサは、基準値を設定した場合、ディスプレイにサムネイル表示する表示用画像を基準値に基づいて変更した上で表示する制御を行うことが好ましい。
【0016】
画像用プロセッサは、生体情報画像において、準低値領域が予め設定した割合以上存在する場合に、基準値は適切でないとの判定を行うことが好ましい。
【0017】
画像用プロセッサは、準低値領域が予め設定した時間以上継続して存在する場合に、基準値は適切でないとの判定を行うことが好ましい。
【0018】
画像用プロセッサは、基準値は適切でないとの判定を行わない場合、基準値が適切であることを通知することが好ましい。
【0019】
画像用プロセッサは、内視鏡画像に基づいて、被写体の部位を認識し、
部位に基づき基準値を設定することが好ましい。
【0020】
画像用プロセッサは、基準値は適切でないとの判定を行った場合に、基準値をより高い値に切り替えて設定することが好ましい。
【0021】
画像用プロセッサは、基準値と設定値とが予め設定した条件を満たす場合に、基準値を、変更前の基準値より高く、かつ、設定値を超えない値であって、予め設定した値に変更して設定することが好ましい。
【0022】
生体情報は、被写体の酸素飽和度であることが好ましい。
【0023】
また、本発明は画像用プロセッサを備える画像処理装置の作動方法であって、画像用プロセッサは、内視鏡により被写体を撮像して得られる内視鏡画像を取得し、内視鏡画像に基づいて生体情報を算出し、生体情報の基準値を設定し、基準値以下の低値領域とそれ以外とが区別可能であるように生体情報を画像化した生体情報画像を生成し、内視鏡画像に生体情報画像を重畳した表示用画像を生成し、生体情報画像において、生体情報が基準値より高く、かつ、予め設定した設定値以下である準低値領域が存在する場合に、基準値は適切でないとの判定を行い、基準値は適切でないと判定した場合、基準値に関する通知を行う。
【発明の効果】
【0024】
本発明によれば、生体情報が特異的である部分の見逃しを防ぐことができる。
【図面の簡単な説明】
【0025】
【
図5】部位に基づいて基準値設定部が設定する基準値を説明する説明図である。
【
図8】基準値用カラーバーを含む表示用画像の画像図である。
【
図9】基準値の変更と表示用画像とを説明する説明図である。
【
図10】平均値指標を組み合わせた基準値用カラーバーである。
【
図11】平均値指標を組み合わせた基準値用カラーバーを含む表示用画像の画像図である。
【
図13】基準値と設定値とに基づいて基準値設定部が設定する基準値を説明する説明図である。
【
図14】適正判定部が行う判定の一例を説明する説明図である。
【
図15】適正判定部が行う判定の別の例を説明する説明図である。
【
図16】適正判定部が行う判定のさらに別の例を説明する説明図である。
【
図17】適正判定部が基準値は適切でないとの判定を行った場合、基準値設定部が基準値を切り替えて設定することを説明した説明図である。
【
図19】平均値指標を組み合わせた基準値用カラーバーによる通知を説明する説明図である。
【
図20】矢印を組み合わせた基準値用カラーバーによる通知を説明する説明図である。
【
図21】表示用画像保存部と接続する画像処理部のブロック図である。
【
図22】表示用画像のサムネイル表示を説明する説明図である。
【
図23】画像処理装置が行う処理の一連の流れを説明するためのフローチャートである。
【
図24】プロセッサ装置とは別体の画像処理装置のブロック図である。
【発明を実施するための形態】
【0026】
図1に示すように、内視鏡システム10(内視鏡装置)は、内視鏡12(スコープ)と、光源装置14と、プロセッサ装置16と、ディスプレイ18と、キーボード19と、を備える。内視鏡12は、被写体を撮影する。光源装置14は、照明光を発生する。プロセッサ装置16は、内視鏡システム10のシステム制御を行う。また、プロセッサ装置16は、内視鏡画像を生成し、かつ、必要に応じて内視鏡画像に画像処理を施す。すなわち、プロセッサ装置16は画像処理装置として機能する。ディスプレイ18は、内視鏡画像等を表示する表示部である。キーボード19は、プロセッサ装置16等への設定入力等を行う入力デバイスである。
【0027】
内視鏡12は、被検体内に挿入する挿入部12aと、挿入部12aの基端部分に設けた操作部12bと、挿入部12aの先端側に設けた湾曲部12cと、先端部12dとを有している。操作部12bのアングルノブ12e(
図2参照)を操作することにより、湾曲部12cが湾曲する。その結果、先端部12dが所望の方向に向く。また、
図2に示すように、操作部12bには、アングルノブ12eの他、処置具挿入口12f、スコープボタン12g、及び、ズーム操作部13が設けられている。処置具挿入口12fは、生検鉗子、スネア、または、電気メス等の処置具を挿入する入り口である。処置具挿入口12fに挿入した処置具は、先端部12dから突出する。スコープボタン12gには各種の操作を割り当てることができ、本実施形態では基準値の値を設定する操作に使用する。ズーム操作部13を操作することによって、被写体を拡大または縮小して撮影できる。
【0028】
図3に示すように、光源装置14は、照明光を発光する光源部20と、光源部20の動作を制御する光源制御部22とを備える。
【0029】
光源部20は、被写体を照明する照明光を発光する。照明光の発光には、照明光を発光するために使用する励起光等の発光を含む。光源部20は、例えば、レーザーダイオード、LED(Light Emitting Diode)、キセノンランプ、または、ハロゲンランプの光源を含み、少なくとも、白色の照明光、または、白色の照明光を発光するために使用する励起光を発光する。白色には、内視鏡12を用いた被写体の撮影において実質的に白色と同等な、いわゆる擬似白色を含む。光源部20は、必要に応じて、励起光の照射を受けて発光する蛍光体、または、照明光または励起光の波長帯域、分光スペクトル、もしくは光量等を調節する光学フィルタ等を含む。この他、光源部20は、被写体が含むヘモグロビンの酸素飽和度等の生体情報を算出するために使用する画像の撮影に必要な、特定の波長帯域を有する光を発光できる。
【0030】
本実施形態においては、光源部20は、V-LED20a、B-LED20b、G-LED20c、及びR-LED20dの4色のLEDを有する。V-LED20aは、中心波長405nm、波長帯域380~420nmの紫色光VLを発光する。B-LED20bは、中心波長460nm、波長帯域420~500nmの青色光BLを発光する。G-LED20cは、波長帯域が480~600nmに及ぶ緑色光GLを発光する。R-LED20dは、中心波長620~630nmで、波長帯域が600~650nmに及ぶ赤色光RLを発光する。なお、V-LED20aとB-LED20bの中心波長は約±20nm、好ましくは約±5nmから約±10nm程度の幅を有する。
【0031】
光源制御部22は、光源部20を構成する各光源の点灯または消灯もしくは遮蔽のタイミング、及び、発光量等を制御する。その結果、光源部20は、分光スペクトルが異なる複数種類の照明光を発光できる。本実施形態においては、光源制御部22は、各LED20a~20dの点灯や消灯、点灯時の発光量、光学フィルタの挿抜等を、各々に独立した
制御信号を入力することにより、照明光の分光スペクトルを調節する。これにより、光源部20は白色光を発光する。また、光源部20は、少なくとも狭帯域な光(以下、狭帯域光という)からなる照明光を発光できる。「狭帯域」とは、被写体の特性及び/またはイメージセンサ48が有するカラーフィルタの分光特性との関係において、実質的にほぼ単一の波長帯域であることをいう。例えば、波長帯域が例えば約±20nm以下(好ましくは約±10nm以下)である場合、この光は狭帯域である。また、広帯域とは、被写体の特性及び/またはイメージセンサ48が有するカラーフィルタの分光特性との関係において、狭帯域な光と比較して相対的に広い波長帯域を有することをいう。したがって、波長帯域が例えば±20nm以上である場合、その光は広帯域な光である。
【0032】
内視鏡12の先端部12dには、照明光学系30aと撮影光学系30bが設けられている。照明光学系30aは、照明レンズ45を有しており、この照明レンズ45を介して照明光が被写体に向けて出射する。
【0033】
撮影光学系30bは、対物レンズ46、ズームレンズ47、及びイメージセンサ48を有する。イメージセンサ48は、対物レンズ46及びズームレンズ47を介して、被写体から戻る照明光の反射光等(反射光の他、散乱光、被写体が発光する蛍光、または、被写体に投与等した薬剤に起因した蛍光等を含む)を用いて被写体を撮影する。ズームレンズ47は、ズーム操作部13の操作をすることで移動し、被写体像を拡大または縮小する。
【0034】
イメージセンサ48は、画素ごとに、複数色のカラーフィルタのうち1色のカラーフィルタを有する。本実施形態においては、イメージセンサ48は原色系のカラーフィルタを有するカラーセンサである。具体的には、イメージセンサ48は、赤色カラーフィルタ(Rフィルタ)を有するR画素と、緑色カラーフィルタ(Gフィルタ)を有するG画素と、青色カラーフィルタ(Bフィルタ)を有するB画素と、を有する。
【0035】
なお、イメージセンサ48としては、CCD(Charge Coupled Device)センサや、CMOS(Complementary Metal Oxide Semiconductor)センサを利用可能である。また、本実施形態のイメージセンサ48は、原色系のカラーセンサであるが、補色系のカラーセンサを用いることもできる。補色系のカラーセンサは、例えば、シアンカラーフィルタが設けられたシアン画素、マゼンタカラーフィルタが設けられたマゼンタ画素、イエローカラーフィルタが設けられたイエロー画素、及び、グリーンカラーフィルタが設けられたグリーン画素を有する。補色系カラーセンサを用いる場合に上記各色の画素から得る画像は、補色-原色色変換をすれば、原色系のカラーセンサで得る画像と同様の画像に変換できる。原色系または補色系のセンサにおいて、W画素(ほぼ全波長帯域の光を受光するホワイト画素)等、上記以外の特性を有する画素を1または複数種類有する場合も同様である。また、本実施形態のイメージセンサ48はカラーセンサであるが、カラーフィルタを有しないモノクロのセンサを使用してもよい。
【0036】
プロセッサ装置16には、後述するような制御部52、画像取得部54、画像処理部61、表示制御部66、及び通知制御部67等が行う処理等に関するプログラムがメモリ(図示せず)に組み込まれている。画像処理装置であるプロセッサ装置16が備えるプロセッサ(画像用プロセッサ)によって構成される制御部52によってそのプログラムが動作することで、制御部52、画像取得部54、画像処理部61、表示制御部66、及び通知制御部67の機能が実現する。
【0037】
制御部52は、照明光の照射タイミングと撮影のタイミングの同期制御等の内視鏡システム10の統括的な制御を行う。キーボード19等を用いて、各種設定の入力等をした場合には、制御部52は、その設定を、光源制御部22、イメージセンサ48、または画像処理部61等の内視鏡システム10の各部に入力する。
【0038】
画像取得部54は、内視鏡により被写体を撮像して得られる内視鏡画像を取得する。より具体的には、画像取得部54は、イメージセンサ48から、各色の画素を用いて被写体を撮影した画像、すなわちRAW画像を取得する。また、RAW画像は、デモザイク処理を実施する前の画像(内視鏡画像)である。デモザイク処理を実施する前の画像であれば、イメージセンサ48から取得した画像に対してノイズ低減処理等の任意の処理を実施した画像もRAW画像に含む。
【0039】
画像取得部54は、取得したRAW画像に必要に応じて各種処理を施して内視鏡画像を生成するために、DSP(Digital Signal Processor)56と、ノイズ低減部58と、変換部59と、を備える。
【0040】
DSP56は、例えば、オフセット処理部、欠陥補正処理部、デモザイク処理部、リニアマトリクス処理部、及び、YC変換処理部、等(いずれも図示しない)を備える。DSP56は、これらを用いてRAW画像またはRAW画像を用いて生成した画像に対して各種処理を施す。
【0041】
オフセット処理部は、RAW画像に対してオフセット処理を施す。オフセット処理は、RAW画像から暗電流成分を低減し、正確な零レベルを設定する処理である。オフセット処理は、クランプ処理と称する場合がある。欠陥補正処理部は、RAW画像に対して欠陥補正処理を施す。欠陥補正処理は、イメージセンサ48が製造工程または経時変化に起因する欠陥を有する画素(欠陥画素)を含む場合に、イメージセンサ48の欠陥画素に対応するRAW画素の画素値を補正または生成する処理である。デモザイク処理部は、各色のカラーフィルタに対応する各色のRAW画像に対してデモザイク処理を施す。デモザイク処理は、RAW画像においてカラーフィルタの配列に起因して欠落する画素値を補間によって生成する処理である。リニアマトリクス処理部は、1または複数のRAW画像をRGB各色のチャンネルに割り当てることにより生成する内視鏡画像に対してリニアマトリクス処理を行う。リニアマトリクス処理は、内視鏡画像の色再現性を高める処理である。YC変換処理部が行うYC変換処理は、1または複数のRAW画像をRGB各色のチャンネルに割り当てることにより生成する内視鏡画像を、輝度チャンネルYと色差チャンネルCb及び色差チャンネルCrを有する内視鏡画像に変換する処理である。
【0042】
ノイズ低減部58は、輝度チャンネルY、色差チャンネルCb及び色差チャンネルCrを有する内視鏡画像に対して、例えば、移動平均法またはメディアンフィルタ法等を用いてノイズ低減処理を施す。変換部59は、ノイズ低減処理後の輝度チャンネルY、色差チャンネルCb及び色差チャンネルCrを再びBGRの各色のチャンネルを有する内視鏡画像に再変換する。
【0043】
画像処理部61は、画像取得部54が出力する内視鏡画像に、必要な画像処理を施す。また、画像処理部61は、画像取得部54が出力する内視鏡画像を用いて演算をする。具体的には、
図4に示すように、画像処理部61は、表示用画像生成部71、生体情報算出部72、基準値設定部73、生体情報画像生成部74、適正判定部75、及び部位認識部76等を備える。
【0044】
表示用画像生成部71は、画像取得部54から内視鏡画像を取得して、ディスプレイ18等への表示に使用する内視鏡画像(以下、表示用画像という)を生成する。例えば、表示用画像生成部71は、画像取得部54から、B画素を用いて被写体を撮影したB画像と、G画素を用いて被写体を撮影したG画像と、R画素を用いて被写体を撮影したR画像と、を取得し、これらの全部または一部を用いて表示用画像を生成する。また、表示用画像生成部71が行う表示用画像の生成には、上記のように、複数の内視鏡画像を用いて、これらとは別の内視鏡画像を得ることの他、画像取得部54から取得する1枚の内視鏡画像に必要な画像処理を施し出力すること、及び、画像取得部54から取得する1枚の内視鏡画像をそのままの形態で出力すること、を含む。
【0045】
また、表示用画像生成部71は、表示用画像を生成する際に、画像取得部54から取得する内視鏡画像に対して必要な画像処理を施す。表示用画像生成部71が行う画像処理は、例えば、被写体または被写体の一部を強調する強調処理である。強調とは、他の組織または構造等と区別して、特定の部分の情報を得られるようにすることをいう。例えば、特定の特徴を有する部分を枠で囲み、輪郭を示し、または、他の部分(例えば正常な粘膜等)に対して相対的に色彩もしくは明るさを変更する等の処理は強調処理である。
【0046】
また、表示用画像生成部71は、生体情報画像生成部74から生体情報画像を取得して、内視鏡画像に生体情報画像を重畳した表示用画像を生成する。したがって、表示用画像生成部71が行う画像処理は、例えば、内視鏡画像に生体情報画像生成部74が生成する生体情報画像を重畳した表示用画像を生成する重畳処理である。さらに、表示用画像生成部71は、カラーバー、基準値指標、又は平均値指標等を用いて表示用画像を生成する。カラーバーは、生体情報画像を生成する際に用いるカラー対応情報を画像化したものである。また、基準値指標は、カラーバーにおいて、基準値を示すものである。また、平均値指標は、カラーバーにおいて、内視鏡画像における生体情報の平均値を示すものである。生体情報画像の生成等については、後述する。
【0047】
なお、内視鏡画像に生体情報画像を「重畳する」とは、少なくとも表示用画像等をディスプレイ18等に表示する場合に、表示用画像等に写る被写体と区別して認識し得る態様で、生体情報画像を表示用画像等に重ねて表示することをいい、表示用画像等に分離可能に生体情報画像を重ねて表示することの他、表示用画像等に生体情報画像を合成(一体化)することを含む。本実施形態においては、表示用画像生成部71は、表示用画像等に対して分離可能に生体情報画像を重ねる。
【0048】
生体情報算出部72は、画像取得部54から取得する内視鏡画像に基づいて、被写体に係る生体情報を算出する。生体情報とは、被写体の全体的または部分的な特性を表す数値等であり、例えば、酸素飽和度、血液濃度、血管密度、または、病変もしくは病変の候補(生体組織検査の対象を含む)等の特定の形態を有する確からしさ、等である。
【0049】
本実施形態においては、生体情報算出部72は、画像取得部54から取得する内視鏡画像を用いて、被写体の酸素飽和度を画素ごとに算出する。酸素飽和度の算出には、例えば、波長が約470nmの狭帯域光を用いて被写体を撮影したB画像と、広帯域な緑色光を用いて被写体を撮影したG画像と、広帯域な赤色光を用いて被写体を撮影したR画像と、を用いて算出することができる。より具体的には、画素ごとに、上記のB画像とG画像の比(以下、B/Gという)、及び、上記のR画像とG画像の比(以下、R/Gという)を求める。また、B/G及びR/Gと、酸素飽和度の値と、を実験またはシミュレーション等により対応付けるテーブル等を予め用意しておく。そして、算出したB/G及びR/Gの値から、上記テーブルを用いて酸素飽和度を算出する。なお、生体情報算出部72が酸素飽和度を算出する場合、画像取得部54は、これらの各画像を取得し、生体情報算出部72に提供する。
【0050】
基準値設定部73は、生体情報の基準値を設定する。基準値は、この値以下の生体情報を有する領域とそれ以外の領域とを区別する閾値である。基準値を設定することにより、基準値用カラー対応情報が生成される。生体情報算出部72が算出した生体情報と基準値用カラー対応情報とを用いることにより生体情報を画像化した生体情報画像を生成する。
【0051】
基準値を設定する手段は、基準値の値を指定できるのであれば問わない。基準値の指定は、ユーザが任意に行ってもよいし、条件等により自動的に行われるようにしてもよい。本実施形態においては、基準値は酸素飽和度の基準値であるため、具体的には、0%以上100%以下の範囲内の任意の値となるように基準値を指定する。例えば、この範囲内で1%刻みで任意に指定する。
【0052】
ユーザーが任意に基準値の指定を行う手段として、具体的には、例えば、キーボード19等を用いて数値キーの入力により設定することができる。また、同様にキーボード19の矢印キーにより、数値を上下させる等により設定してもよい。また、内視鏡のスコープボタン12g又はフットスイッチ(図示せず)の操作により、数値を上下させる等により設定してもよい。その際、スコープボタン12g等を一回単押しするごとに1%ずつ変化し、長押しすることにより連続的に変化する等としてもよい。
【0053】
なお、内視鏡画像に基づいて被写体の部位を認識する部位認識部76(
図4参照)を備えても良い。そして、基準値設定部73は、部位認識部76が認識した部位に基づき基準値を設定しても良い。例えば、生体情報が酸素飽和度である場合、酸素飽和度の平均値等は部位により異なることがある。その場合に手動により基準値を設定し直す必要がなく、簡便に基準値を変更して設定できるため好ましい。
【0054】
部位認識部76は、内視鏡画像に基づいて部位を認識する。認識する部位としては、例えば、上部消化管の撮影であれば、食道、胃、又は十二指腸等の臓器の種類である。また、同じ臓器内で、例えば、胃のなかでは、噴門部、胃底部、胃体部、大湾部、前庭部、幽門部、十二指腸部、または小湾部等の部位の部分の種類を認識する。認識方法は、画像処理による方法を用いることができ、機械学習による学習済みモデルを用いた画像認識方法を用いても良い。
【0055】
図5に示すように、例えば、内視鏡による検査において、部位認識部76が、内視鏡画像に基づいて、部位が胃であると認識すると、基準値設定部73は、部位と基準値とが対応する対応情報に従い、基準値をB%と設定する。基準値設定部73は、この対応情報を予め備える。そして、検査が進み、部位認識部76が、内視鏡画像に基づいて部位を十二指腸であると認識すると、基準値設定部73は、部位ごとに設定された基準値に従い基準値をC%と設定する。部位認識部76が認識した部位の種類に基づいて基準値を設定することにより、部位により生体情報のレベルが異なる場合であっても簡便に適切な基準値を設定することができるため好ましい。
【0056】
生体情報画像生成部74は、生体情報が基準値以下である領域(以下、低値領域という)と基準値より高い領域とが区別可能であるように画像化した生体情報画像を生成する。生体情報を低値領域とそれ以外の領域とに区別可能に画像化する方法としては、低値領域とそれより高い領域とが区別可能であるように画像化できればよく、方法を問わない。例えば、内視鏡画像の画素ごとに算出した生体情報に基づき、低値領域とそれ以外の領域とで異なる色、模様、又は形状を表示する方法、又は、低値領域のみに色等を表示し、それ以外の領域では色等を表示しない方法等が挙げられる。
【0057】
低値領域と基準値より高い領域とが区別可能であるように生体情報を画像化した生体情報画像を生成する方法として、生体情報画像生成部74は、基準値以下の生体情報を特定の色に対応させた基準値用カラー対応情報を生成し、基準値用カラー対応情報に基づき生体情報画像を生成することが好ましい。基準値用カラー対応情報は、基準値以下の生体情報に、特定の色、例えば青を対応させたカラー対応情報である。これにより、生体情報が基準値以下の画素部分は、基準値用カラー対応情報に基づいて、青が表示され、基準値より高い領域は、色が表示されない。したがって、生成された生体情報画像は、低値領域が青く表示され、基準値より高い領域は無色の画像となるため、低値領域とそれ以外とが区別可能となる。
【0058】
なお、特定の色には無色又は透明を含む。本実施形態では、生体情報画像生成部74は、内視鏡画像において画素ごとに算出した酸素飽和度の測定値と基準値用カラー対応情報とにより、画素毎に酸素飽和度の測定値と対応する色を適用した生体情報画像を生成する。したがって、酸素飽和度の測定値といった絶対値と色とが対応する生体情報画像が生成される。
【0059】
また、基準値用カラー対応情報は、基準値以下の生体情報と特定の色とを対応させることに加え、予め設定した値以上の生体情報と、基準値以下の場合と異なる特定の色とを対応させたものであってもよい。本実施形態では、生体情報が酸素飽和度であるため、酸素飽和度が十分に高く、例えば、95%以上の酸素飽和度と例えば赤を対応させる。この場合の基準値用カラー対応情報は、酸素飽和度の低値領域は青、基準値より高く95%より低い領域は無色、及び95%以上の領域(以下、高値領域という)は赤に色付けされる対応情報である。
【0060】
生成した生体情報画像は、表示用画像生成部71に送られる。表示用画像生成部71は、内視鏡画像に生体情報画像を重畳した表示用画像を生成する重畳処理を行う。重畳処理には、内視鏡画像と生体情報画像とを重畳するために必要な処理を含んでもよい。例えば、重畳処理には、内視鏡画像と生体情報画像とにおいて、位置合わせ、及び各画像の光量比補正等の処理が含まれてもよい。
【0061】
図6に示すように、表示用画像生成部71は、具体的には、内視鏡画像82と、本実施形態では酸素飽和度画像(生体情報画像)83とを重畳して、表示用画像81を生成する。酸素飽和度画像83は、酸素飽和度の低値領域84と基準値より高い酸素飽和度の領域とが区別可能であるように、酸素飽和度の低値領域84が特定の色により色付けされて画像化される。したがって、酸素飽和度画像83は、低値領域84が、例えば青により色付けして示される。酸素飽和度が基準値より高く95%より低い中間領域86は無色、及び高値領域85は、例えば赤に色付けされる。内視鏡画像82と重畳した表示用画像81では、低値領域84は青で、高値領域85は赤で、また、中間領域86は内視鏡画像82のまま、例えば、被写体の自然な色で表示される。なお、
図6において、低値領域84は斜線で、高値領域85は網掛けで、また、中間領域86は何も付さずに示す。内視鏡画像82と酸素飽和度画像(生体情報画像)83とを重畳した画像である表示用画像81は、ディスプレイ18に表示される。
【0062】
生体情報画像生成部74は、基準値用カラー対応情報を画像化した基準値用カラーバーを生成することが好ましい。
図7に示すように、例えば、基準値用カラーバー87は測定値用カラー対応情報を画像化したものである。基準値用カラーバー87は、酸素飽和度の基準値用のカラーバーであるため、目盛り91は酸素飽和度が100%、目盛り93は酸素飽和度が40%であり基準値、目盛り94は酸素飽和度が0%を示す。また、目盛り92は、高値領域85であり酸素飽和度が95%を示す。なお、基準値を示す目盛り93には、例えば塗りつぶしの三角形の矢印の形状で、基準値指標95が付され、高値領域85を示す目盛り92には、例えば白抜きの三角形の矢印の形状で、高値指標96が付される。基準値用カラーバー87を含む表示用画像81により、ユーザが、生体情報画像83に基づき色付けされる酸素飽和度のレベルをひと目で把握することができる。
【0063】
表示用画像生成部71は、基準値用カラーバー87を用いて表示用画像を生成してもよい。また、表示用画像生成部71は、基準値用カラーバー87と、基準値指標95とを用いて表示用画像81を生成することが好ましい。基準値指標95は、基準値をユーザが認識できるものであればよい。したがって、基準値指標95は、例えば、矢印または線の形状とする。基準値用カラーバー87と基準値指標95とを組み合わせたものを、内視鏡画像82と生体情報画像83とを重畳した画像(以下、重畳画像という)の近くであって、重畳画像の視認に問題がない箇所に表示することが好ましい。近くに表示することにより、生体情報画像における色と基準値とを重畳画像において認識しやすい。
【0064】
具体的には、
図8に示すように、例えば、基準値指標95が付された基準値用カラーバー87をディスプレイの画面内の重畳画像97の左下に配置することにより表示用画像81を生成する。基準値指標95が付された基準値用カラーバー87を表示することにより、ユーザが現在の基準値がどの程度であるのかをひと目で認識することができる。
【0065】
なお、生体情報画像生成部74は、基準値設定部73が基準値を設定した場合、設定した基準値に基づき基準値用カラー対応情報を生成することが好ましい。すなわち、基準値設定部73が基準値を設定する毎に、基準値用カラー対応情報を生成してもよい。基準値設定部73は、ユーザからの指示等により基準値を変更する。生体情報画像生成部74は、基準値が変更された場合、自動的に基準値用カラー対応情報を変更し、変更された基準値用カラー対応情報に基づき生体情報画像を生成する。
【0066】
また、表示用画像生成部71は、基準値設定部73が基準値を設定した場合、設定した基準値を示す基準値指標95を用いて表示用画像を生成することが好ましい。基準値設定部73は、ユーザからの指示等により基準値を変更する。生体情報画像生成部74は、設定した基準値に基づき基準値用カラー対応情報を生成し、基準値用カラー対応情報に基づき基準値用カラーバー87を生成する。表示用画像生成部71は、生成された基準値用カラーバー87を含む表示用画像81を生成する。
【0067】
図9(A)に示すように、例えば、基準値を変更する前の酸素飽和度の基準値30%に対し、基準値設定部73は、生体情報である酸素飽和度がより高い値に基準値を再度設定する。
図9(B)に示すように、基準値を再度設定することにより、生体情報画像が変更され、基準値以下の領域があれば表示されるようになる。
図9(B)では、基準値を40%に設定したことから、基準値を変更する前には表示されていなかった酸素飽和度が30%より高く40%以下の範囲内の領域が表示される。また、基準値が設定される毎に、表示用画像81を構成する基準値用カラーバー87及び基準値指標95が変更される。
【0068】
基準値設定部73が基準値を設定する毎に、基準値用カラー対応情報を生成することにより、基準値を設定する毎に、生体情報について低値領域84と基準値より高い領域とが区別可能であるように画像化した生体情報画像83、及び基準値用カラー対応情報を画像化した基準値用カラーバー87が生成される。生体情報画像83及び基準値用カラーバー87が生成されることにより、生体情報画像83等を用いた表示用画像81も生成される。また、表示用画像生成部71は、基準値設定部73が基準値を設定した場合、生成された基準値用カラーバー87及び設定した基準値を示す基準値指標95を用いて表示用画像81を生成する。したがって、基準値がユーザーにより又は自動で変更された場合に、自動的かつ即座に表示用画像81を変更された基準値に基づいたものに変更させることが可能である。また、変更した表示用画像81では、基準値指標95を付した基準値用カラーバー87を変更して表示させることが可能である。基準値が設定される毎に、表示用画像81を構成する基準値用カラーバー87及び基準値指標95が変更されるため、ユーザが、基準値を変更したこと及び変更した後の基準値がどの程度であるのかをすぐに認識することができる。
【0069】
なお、生体情報算出部72は、内視鏡画像82における生体情報の平均値を算出し、表示用画像生成部71は、平均値を示す平均値指標を用いて表示用画像81を生成することが好ましい。内視鏡画像82における生体情報の平均値は、例えば、内視鏡画像82に基づいて算出した生体情報を加算して得る平均値でもよいし、中央値による平均値でもよい。また、例えば、内視鏡画像82においてコントラスト等が極端に異なる部分等を除いた上で平均した値としてもよい。平均値指標は、平均値をユーザが認識できるものであればよい。したがって、平均値指標は、基準値指標95と同様に、例えば、矢印または線の形状とする。ただし、基準値指標95と平均値指標との両者を表示する場合は、例えば、形状、又は色等を異ならせることにより、これらの区別が可能となるようにする。基準値用カラーバー87と平均値指標とを組み合わせたものを、重畳画像97の近くであって、重畳画像97の視認に問題がない箇所に表示することが好ましい。近くに表示することにより、生体情報画像83における色と平均値とを重畳画像97において認識しやすい。
【0070】
具体的には、
図10に示すように、例えば、基準値用カラーバー87と平均値指標98とを組み合わせる。
図11に示すように、表示用画像生成部71は、基準値用カラーバー87に平均値指標98を付したものを、重畳画像97の左下に配置することにより表示用画像81を生成する。表示用画像81に平均値指標98が表示されることにより、ユーザが現在の平均値がどの程度であるのかをすぐに認識することができる。また、基準値指標95と組み合わせることにより、内視鏡画像82における生体情報の平均値と基準値との差をひと目で認識することができる。例えば、基準値と平均値とが近い値である場合は、低値領域84ではないが、生体情報が基準値より高い領域であって注目が必要な低い値の領域(以下、準低値領域という)が存在し、その面積もある程度大きいことが予想される。一方、基準値と平均値とが遠い値である場合は、準低値領域が存在しないか、存在しても少ない面積であると予想できる。
【0071】
適正判定部75は、生体情報の基準値が適切であるか否かの判定を行う。基準値が適切であることにより、表示用画像81において低値領域84が色等により強調されるため、注目すべき領域が見逃されにくくなる。表示用画像81が、基準値以下の生体情報と、それ以外の基準値より高い生体情報とが、低値領域84とそれ以外とに区別可能に画像化された生体情報画像83を含むためである。
【0072】
基準値が適切でない場合としては、基準値が低すぎる場合が挙げられる。基準値が低すぎるために、生体情報画像83を含む表示用画像81において低値領域84が存在せず、生体情報画像83において注目すべき生体情報の値を有する領域がないように見える。しかしながら、場合によって、準低値領域を有することがありえる。準低値領域は、生体情報が基準値より高いが病変の可能性がある程度に低い値の領域である。したがって、基準値が適切でない場合は、準低値領域を見逃す可能性がある。準低値領域を、基準値が適切であるか否かを判定する判定材料とする。
【0073】
準低値領域は、予め設定する設定値と基準値とにより決定される。適正判定部75は、生体情報算出部72により内視鏡画像82における生体情報の情報を受け取り、設定値を設定し、また、基準値設定部73から基準値の情報を受け取るため、準低値領域が存在するか否かを判定できる。
【0074】
設定値は、適正判定部75が設定し、部位、又は観察の目的等に応じて設定する。設定値は、基準値より高く、基準値の値、生体情報画像83の被写体の種類、部位、又は観察の目的等に応じて設定してもよい。例えば、基準値を低めに設定した場合は、基準値と設定値との値の差を多く設定し、基準値を高めに設定した場合は、基準値と設定値と値の差を少なく設定する。これにより、注目すべき領域である準低値領域を見逃さないように準低値領域を決定できる。設定した基準値及び設定値は、例えば、表示用画像81に表示してもよい。
【0075】
また、基準値及び設定値を設定する場合は、ディスプレイに基準値設定メニューを表示してもよい。基準値設定メニューについては、例えば、キーボード19の操作により基準値の設定操作を受け付けると、基準値設定部は、
図12に示すような基準値設定メニューをディスプレイ18上に表示する。基準値は、例えば、0%から100%の間で変更可能であり、スライドバー101a上に割り当てられている。設定値も、例えば、0%から100%の間で変更可能であり、スライドバー101b上に割り当てられている。基準値を変更する場合には、キーボード19等を操作して、スライドバー101a上の変更したい基準値を示す位置にスライダ102aを合わせることで、基準値が変更される。設定値についても、キーボード19を操作して、スライドバー101b上の変更したい設定値を示す位置にスライダ102bを合わせることで、設定値が変更される。本実施形態では、基準値は、スライドバー101aにより40%の酸素飽和度が割り当てられ、設定値は、スライドバー101bにより80%の酸素飽和度が割り当てられる。
【0076】
なお、基準値設定部73は、基準値と設定値とが予め設定した条件を満たす場合に、基準値を、変更前の基準値より高く、かつ、設定値を超えない値であって、予め設定した値に変更して設定することが好ましい。基準値が低すぎる場合に、簡便に基準値を適切な値に切り替えて設定することにより、手間をかけることなく適切に基準値を変更し、低値領域84が適度に表示できるようになるためである。
【0077】
また、準低値領域が存在する場合、基準値を適切な値に切り替えて設定することにより、準低値領域を低値領域84に含めることができるため、生体情報画像83に準低値領域だった領域をも含めて表示することができ、準低値領域だった領域、及び低値領域84を含む、生体情報が特異的な部分を表示することにより、これらを見逃すことを防止する。なお、予め設定した条件、及び予め設定した値等の詳細は、例えば、部位、又は観察の目的等により適宜設定する。
【0078】
具体的には、
図13に示すように、例えば、基準値を40%、かつ、設定値80%に設定して病変の可能性がある部位の詳細観察を行っていた場合、予め設定した条件が、「基準値が設定値よりも20%以上低い場合、基準値が設定値よりも10%低い値に基準値を変更する」である際は、基準値が設定値より30%低く、「基準値が設定値よりも20%以上低い」との条件を満たすため、基準値設定部73は基準値を70%に切り替えて設定する。基準値の切り替えは、例えば、予め設定した時間が経過した際、又は、部位認識部76等により、被写体が変化したと認識された際等に行うことが好ましい。例えば、基準値を低くして詳細観察を行っていた部位から別の部位に移動し、病変がないかを観察するスクリーニングを行う際等には、基準値が低すぎることにより生体情報画像83に低値領域84が表示される場合が少ないことが考えられるが、基準値設定部73が基準値を切り替えて設定することにより、観察する部位を移動しても低値領域84を適度に表示することができる。
【0079】
適正判定部75は、生体情報画像83において、生体情報が基準値より高く、かつ、予め設定した設定値以下である準低値領域が存在する場合に、基準値は適切でないとの判定を行う。
図14に示すように、生体情報画像83において、準低値領域105が存在する場合、適正判定部75は、基準値は適切でないとの判定を行う。なお、準低値領域105は、生体情報画像83に含まれるが、基準値用カラーバー87により、場合によってはその他の領域と同様に透明又は無色にて表示されるため、目視により識別することができない。また、基準値用カラーバー87、基準値指標95、及び平均値指標98を見ることにより、平均値指標98が基準値指標95の近くにあることから、内視鏡画像82には、基準値より高いが、基準値に近い程度に酸素飽和度が低い部分が多くあることの推測は可能である。
【0080】
なお、適正判定部75は、生体情報画像83において、準低値領域105が予め設定した割合以上存在する場合に、基準値は適切でないとの判定を行ってもよい。生体情報画像83において、生体情報画像83の全体の面積に対し、準低値領域105の面積が予め設定した割合以上存在する場合は、ユーザは準低値領域105の場所又は分布等を確認することが好ましい。なお、生体情報画像83の面積は、内視鏡画像82全体について生体情報の算出をおこなっているため、内視鏡画像82の面積と同一である。適正判定部75が基準値を適切でないと判定することにより、準低値領域105が表示されない状況であっても、ユーザが準低値領域105を確認するように促すことができ、また、判定の通知を適度に行うことができる。
【0081】
具体的には、例えば、生体情報が酸素飽和度であって、基準値が40%であり、設定値が50%である場合、酸素飽和度が40%より高く50%以下の準低値領域105の面積が、予め設定した値である酸素飽和度画像83の10%以上ある際に、基準値が適正でないとの判定を行う。
図15に示すように、
図15(A)では、準低値領域105が、酸素飽和度画像83の面積の10%より少ないため、適正判定部75は基準値が適正でないとの判定を行わない。なお、酸素飽和度画像83の面積は、内視鏡画像82全体について酸素飽和度の算出をおこなっているため、内視鏡画像82の面積と同一である。一方、
図15(B)では、準低値領域105が酸素飽和度画像83の面積の10%以上であったため、適正判定部75は基準値が適正でないとの判定を行なう。
【0082】
適正判定部75が、準低値領域105が内視鏡画像82に占める面積割合により基準値の判定を行うことにより、基準値の判定についてより詳細に設定することができ、また、基準値が適正でないとの判定を頻繁に行うことを防いで通知を適切に行うことができるため好ましい。
【0083】
なお、適正判定部75は、生体情報画像83において、準低値領域105が予め設定した時間以上継続して存在する場合に、基準値は適切でないとの判定を行ってもよい。生体情報画像83において、準低値領域105が継続して存在する場合は、ユーザは、準低値領域105の場所又は分布等を確認することが好ましい。適正判定部75が、準低値領域105が表示されない状況であっても、基準値が適切でないと判定することにより、ユーザが準低値領域105を確認するように促すことができ、また、判定の通知を適度に行うことができる。
【0084】
具体的には、例えば、生体情報が酸素飽和度であって、基準値が40%であり、設定値が50%である場合、酸素飽和度が40%より高く50%以下の準低値領域105の面積が、予め設定した時間である30秒以上存在する際に、基準値が適正でないとの判定を行う。
図16に示すように、時刻t1秒から準低値領域105が存在し始め、時刻t1+30秒の時点で準低値領域105が継続して存在していない
図16(A)の場合は、適正判定部75は基準値が適切であると判定する。一方、時刻t1+30秒の時点で準低値領域105が継続して存在する
図16(C)の場合は、適正判定部75は基準値は適切でないと判定する。時刻t1+30秒の時点で準低値領域105があっても、30秒以上継続しない場合は、適正判定部75は基準値は適切でないと判定する。すなわち、
図16(B)の場合は、時刻t1+30秒の時点で準低値領域105があるが、この準低値領域105が生じた時刻が時刻t2であるため、時刻t2+30秒の時点まで準低値領域105が継続して存在していれば、適正判定部75は基準値は適切でないと判定するが、時刻t2+30秒の時点まで準低値領域105が継続して存在しない
図16(B)の場合は、適正判定部75は基準値は適切でないと判定しない。なお、
図16において、各斜線は準低値領域105の存在を示す。
【0085】
適正判定部75が、準低値領域105の存在の継続時間に基づいて基準値の判定を行うことにより、基準値の判定についてより詳細に設定することができ、また、基準値が適正でないとの判定を頻繁に行うことを防いで通知を適切に行うことができるため好ましい。
【0086】
なお、上記した生体情報画像83における準低値領域105の割合と準低値領域105の継続時間との両方を満たす場合に、基準値が適正でないとの判定を行ってもよい。例えば、酸素飽和度において基準値が40%であり設定値が50%である場合、準低値領域105である酸素飽和度が40%より高く50%以下の面積が、酸素飽和度画像の10%以上存在した時間が、継続して30秒以上であった場合に、基準値が適正でないとの判定を行う。判定の条件は、部位、又は被写体の状況等に応じて適宜設定する。適正判定部75が、準低値領域105の面積割合と準低値領域105の存在の継続時間の両方を用いて基準値の判定を行うことにより、基準値の判定についてより詳細に設定することができ、また、基準値が適正でないとの判定を頻繁に行うことを防いで通知を適切に行うことができるため好ましい。
【0087】
なお、適正判定部75が基準値は適切でないとの判定を行った場合、基準値設定部73は、基準値をより高い値に切り替えて設定することが好ましい。基準値を切り替える場合の変更の幅等の詳細は、例えば、部位、又は観察の目的等により適宜設定する。
【0088】
具体的には、
図17に示すように、例えば、基準値が40%であり、適正判定部75が、基準値が適切でないとの判定を行った場合、基準値設定部73は、適正判定部75の判定をフィードバックすることにより、40%から予め設定していた幅である10%高くし、50%の基準値に切り替えて設定する。
【0089】
基準値設定部73が、適正判定部75の判定をフィードバックして、基準値をより高い値に切り替えて設定することにより、基準値が低すぎる場合であっても、手間をかけることなく、適切な基準値に切り替えて設定されるため好ましい。
【0090】
通知制御部67は、基準値が適正判定部75により適切でないと判定された場合、基準値に関する通知を行う。基準値に関する通知は、準低値領域105が存在することをユーザに認識させるための通知である。したがって、通知方法又は通知内容は、ユーザがその旨を認識できる方法又は内容であればよい。具体的には、例えば、ディスプレイ18に通知内容を表示することにより通知を行う。この場合、通知制御部67は、表示による通知に関する情報を表示制御部66に送る。表示に関する制御は、表示制御部66が行う。
【0091】
通知内容は、ユーザが準低値領域105が存在することを認識できればよい。
図18に示すように、例えば、ディスプレイ18上のいずれかの箇所に警告表示107を表示することで通知を行う。または、例えば、基準値用カラーバー87をディスプレイ18に表示する場合に、基準値用カラーバー87上に矢印の形状である平均値指標98を表示することで通知を行う。平均値指標98が基準値指標95と近接する場合は、準低値領域105が存在する可能性が高いことから、平均値指標98を基準値用カラーバー87と合わせて表示することにより、準低値領域105の存在をユーザに通知することができる。なお、基準値用カラーバー87には、基準値指標95及び高値指標96も表示する。または、
図19に示すように、矢印の形状である平均値指標98を見逃しにくくするために、矢印の色を変えた平均値指標98を、例えば1秒毎に順に表示するような点滅表示等により表示してもよい。
【0092】
なお、通知制御部67は、適正判定部75が基準値は適切でないとの判定を行わない場合、基準値が適切であることを通知してもよい。通知については、例えば、基準値が適切でないとの判定の場合の通知がないことによって、適切であることを通知する。また、例えば、ディスプレイ18に、基準値が適切である場合は常にその旨を表示しておき、基準値が適切でなくなった場合にその表示を警告する表示に変更するようにしてもよい。また、基準値用カラーバー87をディスプレイ18に表示する場合、基準値用カラーバー87上に示す矢印形状の平均値指標98について、基準値が適切でなくなった場合に矢印形状の平均値指標98の色を変更する、又は大きさを変更することにより、ユーザの注意を引くようにしてもよい。
【0093】
図20に示すように、例えば、基準値用カラーバー87上に矢印形状の平均値指標98を表示する場合、基準値が適切である場合は、矢印形状の平均値指標98を通常の大きさで表示し、基準値が適切でなくなった場合は、矢印形状の平均値指標98を大きくして表示する。
【0094】
以上の画像処理装置であるプロセッサ装置16によれば、生体情報を画像化することにより生体情報を観察するにあたり、基準値を設定して内視鏡画像82と生体情報画像83との両者を見やすくした場合、基準値より高く設定値以下である準低値領域105が存在する際に、基準値に関する通知がされるため、準低値領域105を見逃さず、準低値領域105に注意を払うことができる。したがって、画像処理装置により、例えば、内視鏡による観察において、生体情報が基準値以下の領域である低値領域84のみならず、病変等の可能性がある準低値領域105の部分の見逃しを防ぐことができる。生体情報が基準値より低い場合は、従来であれば、生体情報の画像化により基準値より低いとの表示がされないため、ユーザーは、例えば生体情報が酸素飽和度の場合、酸素飽和度が低い領域がないと推定する可能性がある。
【0095】
特に、例えば、被写体の酸素飽和度が全体的に低めのケースにおいて、酸素飽和度が特に低い領域を観察するために基準値を低めに設定した場合、又は、観察部位の変更又は時間経過によって基準値より低い低酸素領域(低値領域)84がなくなった場合は、生体情報画像83である酸素飽和度画像において、低酸素領域84の表示がされない。しかしながら、プロセッサ装置16によれば、基準値より高いが酸素飽和度が低い領域とされる準低酸素領域(準低値領域)105がある場合は通知がなされるため、酸素飽和度に関して特定的な領域である低酸素領域84と準低酸素領域105との両方に、ユーザが気が付かないことを防止することができる。
【0096】
また、基準値に関する通知がされた場合に、ユーザは基準値をすぐに変更することができる。基準値は、例えば、1%刻みで、キーボード19、スコープボタン12g又はフットスイッチ(図示せず)等で容易に変更可能である。したがって、基準値を変更する場合は、素早くしかもユーザの負担にならずに、柔軟に変更することができる。また、基準値を変更すると、基準値に基づく基準値用対応情報、又は基準値用カラーバー87等の各種の対応情報等が自動的に変更される。したがって、ユーザは手間をかけずに適切な設定又は表示にて観察を行うことができ、生体情報が特異的な領域の見逃しも防止される。
【0097】
なお、プロセッサ装置16は、表示用画像81を表示するディスプレイ18と接続され、表示用画像81を保存する表示用画像保存部109と、保存した表示用画像81をディスプレイ18にサムネイル表示する制御を行う表示制御部66とを備えることが好ましい。
図21に示すように、プロセッサ装置は、さらに、表示用画像保存部109を備える。表示用画像生成部71が生成した表示用画像81は、表示用画像保存部109が保存する。
【0098】
表示制御部66は、予め設定する条件に従い、表示用画像保存部109が保存する1つ又は複数の表示用画像81を、ディスプレイ18にサムネイル表示する制御を行う。予め設定する条件は、例えば、所定期間過去から現在まで表示した表示用画像81のすべてから予め設定した基準に基づいて選択したものとする。表示用画像81がフレーム毎に作成される場合は、例えば、30秒毎に1つの表示用画像81を選択して、30秒過去から2分過去までのうちで選択された表示用画像81の4つをサムネイルとしてサムネイル表示する。新しい表示用画像81が生成された場合は、ディスプレイ18にサムネイル表示されている表示用画像81のうち最も古い表示用画像81を削除して、代わりに新しい表示用画像81を表示し、30秒毎にこれを繰り返す。この場合は、内視鏡での観察中において、生体情報の変化を時系列で表示することができる。
【0099】
図22に示すように、具体的には、例えば、30秒毎に1つの表示用画像81を4つ分選択して、30秒過去から2分過去までのうちで選択されたサムネイル画像111を表示する場合は、現在観察している表示用画像81の右横に、上から新しい順に、30秒前、1分前、1分30秒前、及び2分前前のサムネイル画像111を表示する。なお、
図22において、図の煩雑さを避けるために、符号は一部のみ付す。
【0100】
また、予め設定する条件を、例えば、同じ患者の同じ部位における過去の表示用画像81とする。この場合は、同じ部位等における生体情報の比較が容易に行うことができる。例えば、同じ患者において、胃の吻合前と吻合後とにおける酸素飽和度の変化を同じディスプレイ18上に表示することができる。また、例えば、内視鏡画像82が含む取得時間の情報を用いて、表示用画像保存部109から一定の時間間隔で選択した表示用画像81をサムネイル表示するようにしてもよい。
【0101】
また、サムネイル表示する過去の複数の表示用画像81においては、生体情報を疑似カラーで示した生体情報画像83とした表示用画像81としてもよい。疑似カラーは、生体情報を画像化する方法の一つであり、内視鏡画像82の画素ごとに算出した生体情報に基づき、生体情報に応じて異なる色を表示するものである。この方法は、内視鏡画像における自然な観察で示される色とは異なる疑似色を使用するため、疑似カラーと呼ばれる。生体情報を擬似カラーで表示するために、例えば、カラー対応情報(カラーテーブル)を用いる方法、又は、生体情報に応じて、内視鏡画像の分光画像に異なるゲインをかける方法等が挙げられる。カラー対応情報は、生体情報に応じて異なる色を対応させた対応情報である。本実施形態において、生体情報は酸素飽和度であるため、カラー対応情報は、酸素飽和度に応じて異なる色を対応させた疑似カラー用対応情報であり、酸素飽和度の範囲を、例えば、青から赤までの各色に対応させた疑似カラー用対応情報である。
【0102】
疑似カラー用対応情報は、生体情報画像の被写体の種類、又は観察の目的等に応じて設定することができる。例えば、酸素飽和度の0%から100%までの1%ずつを、青から赤を101段階とした各段階の各色に対応させた疑似カラー用対応情報とする。したがって、疑似カラー用対応情報は、酸素飽和度の測定値と色とを対応させた対応情報であり、酸素飽和度の値と色とを一対一で対応させている。これにより、生体情報画像である酸素飽和度画像において、酸素飽和度の測定値に応じた色が画素毎に表示できる。したがって、サムネイル画像において、酸素飽和度の絶対的な測定値に応じた色が表示されるため、画像間での酸素飽和度の比較可能であり、酸素飽和度の絶対的な変化を把握しやすい。
【0103】
なお、表示制御部66は、基準値設定部73が基準値を設定した場合、ディスプレイにサムネイル表示する表示用画像81を基準値に基づいて変更した上で表示する制御を行うことが好ましい。表示用画像生成部71は、基準値設定部73が基準値を設定した場合に基準値用カラー対応情報を生成する。そして、サムネイル表示されている表示用画像81が含む生体情報画像83についても、基準値用カラー対応情報が生成された場合に、この基準値用カラー対応情報に基づいた生体情報画像83を生成する。表示用画像生成部71は、サムネイル表示される表示用画像81が含む生体情報画像83を保存してもよいし、表示用画像保存部109に保存されている表示用画像81を取得してもよい。表示用画像生成部71により、サムネイル表示されている表示用画像81が含む生体情報画像83が改めて生成され、表示用画像81も改めて生成される。生成された表示用画像81は、基準値の変更に対応して、生体情報画像83が変更されている。表示用画像81が生成され次第、再びディスプレイにサムネイル表示する。また、生成された表示用画像81は、例えば、表示用画像保存部109に保存される際に、表示用画像81が含む内視鏡画像82において同じ取得時間を含む表示用画像81が保存されている場合は、この過去の表示用画像81を更新して保存される。このようにして、基準値が変更された場合は、サムネイル表示されている表示用画像81においても変更した基準値に伴い変更がされて再び表示される。
【0104】
過去の表示用画像81をサムネイル表示する場合、基準値を変更したことにより、サムネイル表示されている表示用画像においても変更した基準値に基づいた表示が行われることにより、ディスプレイ18に表示される表示用画像81のすべてにおいて、画像間で単一の基準値により表示用画像81を比較可能であり、酸素飽和度の変化を把握しやすいため好ましい。
【0105】
なお、本実施形態のように、生体情報は、被写体の酸素飽和度であることが好ましい。生体情報が酸素飽和度であることにより、被写体において基準値を用いて酸素飽和度を効率的に観察することができる。被写体において、酸素飽和度が低い領域は、病変又は腸管等の縫合不全等である可能性があることが知られている。したがって、生体情報が酸素飽和度であることにより、内視鏡により観察、検査、又は診断に有効である。
【0106】
また、上記では生体情報の基準値以下の低値領域84、及び準低値領域105について記載したが、生体情報の基準値以上の高値領域、及び準高値領域についても同様に適用可能である。
【0107】
次に、画像処理装置が行う処理の一連の流れについて、
図23に示すフローチャートに沿って説明を行う。観察を開始すると内視鏡画像82が取得され(ステップST110)、取得した内視鏡画像82に基づ生体情報を算出する(ステップST120)。基準値設定部73は基準値を設定する(ステップST130)。基準値に基づき生体情報画像を生成する(ステップST140)。生体情報画像に基づき表示用画像を生成する(ステップST150)。判定部が基準値を判定し(ステップST160)、判定結果が基準値が適切でないとの場合は(ステップST170でYES)、通知を行う(ステップST180)。基準値が適切でないとの判定結果でない場合は(ステップST170でNO)通知は行わない。観察が終了されると(ステップST190でYES)、一連の流れが終了する。観察を継続する場合は(ステップST190でNO)、内視鏡画像82の取得に戻る。
【0108】
なお、上記実施形態では、内視鏡画像82の処理を行う内視鏡システムに対して、本発明の適用を行っているが、内視鏡画像82以外の医療画像を処理する医療画像処理システムに対しても、静止画を保存する際に本発明の適用は可能である。
【0109】
上記実施形態及び変形例等においては、プロセッサ装置16が画像処理装置として機能するが、
図24に示すように、プロセッサ装置16とは別に、画像処理部61は、表示用画像生成部71、生体情報算出部72、基準値設定部73、生体情報画像生成部74、適正判定部75、及び部位認識部76を備える画像処理装置201を設けることができる。
【0110】
この他、
図25に示すように、表示用画像生成部71、生体情報算出部72、基準値設定部73、生体情報画像生成部74、適正判定部75、及び部位認識部76は、例えば内視鏡システム10から直接的に、または、PACS(Picture Archiving and Communication Systems)910から間接的に、内視鏡12で撮影したRAW画像を取得する診断支援装置911に設けることができる。また、
図26に示すように、内視鏡システム10を含む、第1検査装置921、第2検査装置922、…、第K検査装置923等の各種検査装置と、ネットワーク926を介して接続する医療業務支援装置930に、表示用画像生成部71、生体情報算出部72、基準値設定部73、生体情報画像生成部74、適正判定部75、及び部位認識部76を設けることができる。
【0111】
上記各実施形態及び変形例は、その一部または全部を任意に組み合わせて実施することができる。また、上記各実施形態及び変形例においては、内視鏡12は可撓性の挿入部12aを有するいわゆる軟性内視鏡を用いているが、被写体が嚥下して使用するカプセル型の内視鏡、外科手術等に使用する硬性内視鏡(腹腔鏡)を用いる場合も本発明は好適である。
【0112】
上記実施形態及び変形例等は、画像用プロセッサを備える画像処理装置の作動方法であって、画像用プロセッサは、内視鏡により被写体を撮像して得られる内視鏡画像を取得し、内視鏡画像に基づいて生体情報を算出し、生体情報の基準値を設定し、基準値以下の低値領域とそれ以外とが区別可能であるように生体情報を画像化した生体情報画像を生成し、内視鏡画像に生体情報画像を重畳した表示用画像を生成し、生体情報画像において、生体情報が前記基準値より高く、かつ、予め設定した設定値以下である準低値領域が存在する場合に、前記基準値は適切でないとの判定を行い、基準値は適切でないと判定した場合、基準値に関する通知を行う画像処理装置の作動方法を含む。
【0113】
上記実施形態において、プロセッサ装置16に含まれる制御部52、画像取得部54、DSP56、ノイズ低減部58、変換部59、画像処理部61、表示制御部66、及び通知制御部67といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
【0114】
1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGAや、CPUとFPGAの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
【0115】
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路(circuitry)である。
【0116】
なお、本発明は、内視鏡画像を取得等する内視鏡システム、プロセッサ装置、その他関連する装置等の他に、内視鏡画像以外の医療画像(動画を含む)を取得するシステムまたは装置等においても利用できる。例えば、本発明は、超音波検査装置、X線画像撮影装置(CT(Computed Tomography)検査装置及びマンモグラフィ装置等を含む)、MRI(magnetic resonance imaging)装置、等に適用できる。
【符号の説明】
【0117】
10 内視鏡システム
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
12e アングルノブ
12f 処置具挿入口
12g スコープボタン
13 ズーム操作部
14 光源装置
16 プロセッサ装置
18 ディスプレイ
19 キーボード
20 光源部
20a V-LED
20b B-LED
20c G-LED
20d R-LED
22 光源制御部
30a 照明光学系
30b 撮影光学系
45 照明レンズ
46 対物レンズ
47 ズームレンズ
48 イメージセンサ
52 制御部
54 画像取得部
56 DSP
58 ノイズ低減部
59 変換部
61 画像処理部
66 表示制御部
67 通知制御部
71 表示用画像生成部
72 生体情報算出部
73 基準値設定部
74 生体情報画像生成部
75 適正判定部
76 部位認識部
81 表示用画像
82 内視鏡画像
83 生体情報画像(酸素飽和度画像)
84 低値領域(低酸素領域)
85 高値領域
86 中間領域
87 基準値用カラーバー
91~94 目盛り
95 基準値指標
96 高値指標
97 重畳画像
98 平均値指標
101a、101b スライドバー
102a、102b スライダ
105 準低値領域(準低酸素領域)
107 警告表示
109 表示用画像保存部
111 サムネイル画像
201 画像処理装置
910 PACS
911 診断支援装置
921 第1検査装置
922 第2検査装置
923 第K検査装置
926 ネットワーク
930 医療業務支援装置
ST110~ST190 ステップ