(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-16
(45)【発行日】2022-12-26
(54)【発明の名称】画像処理装置、内視鏡システム、及び画像処理装置の作動方法
(51)【国際特許分類】
A61B 1/045 20060101AFI20221219BHJP
A61B 1/00 20060101ALI20221219BHJP
【FI】
A61B1/045 615
A61B1/045 622
A61B1/00 735
(21)【出願番号】P 2021548868
(86)(22)【出願日】2020-09-17
(86)【国際出願番号】 JP2020035329
(87)【国際公開番号】W WO2021060159
(87)【国際公開日】2021-04-01
【審査請求日】2022-02-18
(31)【優先権主張番号】P 2019177808
(32)【優先日】2019-09-27
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】110001988
【氏名又は名称】弁理士法人小林国際特許事務所
(72)【発明者】
【氏名】渡辺 広樹
【審査官】鷲崎 亮
(56)【参考文献】
【文献】特開2010-142546(JP,A)
【文献】特開2007-020728(JP,A)
【文献】国際公開第2019/078204(WO,A1)
【文献】国際公開第2019/142689(WO,A1)
【文献】国際公開第2013/140667(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 1/00-1/32
(57)【特許請求の範囲】
【請求項1】
プロセッサを備え、
前記プロセッサは、
第1拡大率にて観察対象を拡大する第1観察環境において前記観察対象を撮像して得られる第1医療画像に基づいて、前記第1観察環境から、前記第1拡大率よりも大きい第2拡大率にて前記観察対象を拡大する第2観察環境への切替の判定に用いる切替判定用指標値を算出し、
前記切替判定用指標値に基づいて、前記第1観察環境から前記第2観察環境に切り替えるか否かを判定し、
前記第2観察環境への切替えを行うと判定された場合において、特定動作によって、前記観察対象の拡大率を前記第2拡大率にして前記第2観察環境に切り替え
、
前記切替判定用指標値は前記観察対象の赤色成分を示す赤色特徴量である画像処理装置。
【請求項2】
前記プロセッサは、
前記赤色特徴量が赤色特徴量用範囲の下限値未満、又は、前記赤色特徴量が前記赤色特徴量用範囲の上限値以上の場合には、前記第2観察環境への切替えを行わないと判定し、
前記赤色特徴量が前記赤色特徴量用範囲内である場合には、前記第2観察環境への切替えを行うと判定する請求項
1記載の画像処理装置。
【請求項3】
前記第1観察環境には、通常光又は特殊光を用いて前記観察対象を照明すること、又は、前記観察対象における複数の観察対象範囲の色の差を拡張した色差拡張画像をディスプレイに表示することを含み、
前記第2観察環境には、特殊光を用いて前記観察対象を照明することを含む請求項1
または2記載の画像処理装置。
【請求項4】
前記第1拡大率は60倍未満であり、前記第2拡大率は60倍以上である請求項1ないし
3いずれか1項記載の画像処理装置。
【請求項5】
前記プロセッサは、前記第2観察環境において前記観察対象を撮像して得られる第2医療画像に基づいて、疾患の状態に関する疾患状態処理を行い、
前記疾患状態処理には、前記第2医療画像に基づいて、前記疾患のステージに関する指標値を算出すること、前記疾患のステージを判定すること、又は、前記疾患の病理的寛解又は病理的非寛解を判定することの少なくともいずれかが含まれる請求項1ないし
4いずれか1項記載の画像処理装置。
【請求項6】
前記プロセッサは、
前記観察対象における出血の程度を示す出血用指標値、又は、表層血管の不規則度を算出し、
前記出血用指標値、又は、前記表層血管の不規則度に基づいて、前記疾患の病理的寛解又は病理的非寛解を判定する請求項
5記載の画像処理装置。
【請求項7】
前記プロセッサは、
前記出血用指標値が出血用閾値以下であり、且つ、前記表層血管の不規則度が不規則度用閾値以下である場合には、前記疾患が病理的寛解であると判定し、
前記出血用指標値が出血用閾値を超えること、又は、前記表層血管の不規則度が不規則度用閾値を超えることのいずれか一方を満たす場合には、前記疾患が病理的非寛解であると判定する請求項
6記載の画像処理装置。
【請求項8】
前記出血用指標値は、前記第2医療画像の青色画像のうち青色用閾値以下の画素値を有する画素数であり、
前記不規則度は、前記第2医療画像に含まれる前記表層血管の密集度が密集度用閾値以上の領域の画素数である請求項
6又は
7記載の画像処理装置。
【請求項9】
前記特定動作は、前記第2観察環境への切替えを促す旨の報知に従って行われるユーザー操作、又は、前記第2観察環境への自動切替を含む請求項1ないし
8いずれか1項記載の画像処理装置。
【請求項10】
前記疾患は潰瘍性大腸炎である請求項
5記載の画像処理装置。
【請求項11】
観察対象の照明及び撮像を行い、且つ、前記観察対象の拡大率が変更可能な内視鏡と、
プロセッサを有するプロセッサ装置とを有し、
前記プロセッサは、
第1拡大率にて前記観察対象を拡大する第1観察環境において前記内視鏡から得られる第1医療画像に基づいて、前記第1観察環境から、前記第1拡大率よりも大きい第2拡大率にて前記観察対象を拡大する第2観察環境への切替の判定に用いる切替判定用指標値を算出し、
前記切替判定用指標値に基づいて、前記第1観察環境から前記第2観察環境に切り替えるか否かを判定し、
前記第2観察環境への切替えを行うと判定された場合において、特定動作によって、前記観察対象の拡大率を前記第2拡大率にして前記第2観察環境に切り替え
、
前記切替判定用指標値は前記観察対象の赤色成分を示す赤色特徴量である内視鏡システム。
【請求項12】
第1拡大率にて観察対象を拡大する第1観察環境において前記観察対象を撮像して得られる第1医療画像に基づいて、前記第1観察環境から、前記第1拡大率よりも大きい第2拡大率にて前記観察対象を拡大する第2観察環境への切替の判定に用いる切替判定用指標値を算出するステップと、
前記切替判定用指標値に基づいて、前記第1観察環境から前記第2観察環境に切り替えるか否かを判定するステップと、
前記第2観察環境への切替えを行うと判定された場合において、特定動作によって、前記観察対象の拡大率を前記第2拡大率にして前記第2観察環境に切り替えるステップとを有
し、
前記切替判定用指標値は前記観察対象の赤色成分を示す赤色特徴量である画像処理装置の作動方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、潰瘍性大腸炎など疾患に関連する処理を行う画像処理装置、内視鏡システム、及び画像処理の作動方法に関する。
【背景技術】
【0002】
医療分野においては、医療画像を用いて診断することが広く行われている。例えば、医療画像を用いる装置として、光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムがある。内視鏡システムでは、観察対象に対して照明光を照射し、照明光で照明された観察対象を撮像することにより、医療画像を取得する。医療画像は、ディスプレイに表示され、診断に使用される。
【0003】
また、内視鏡を用いる診断においては、照明光又は画像処理の種類によって、観察環境に適した画像がディスプレイに表示されるようにしている。例えば、特許文献1では、医療画像に基づいて酸素飽和度の測定を行っている状況下において、低酸素状態になった場合には、血管強調を行った通常光画像から、酸素飽和度画像にディスプレイの表示を切り替えている。ユーザーは、ディスプレイに表示された酸素飽和度を観察することで、病変部かどうかの診断を行い易くなる。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
また、近年では、内視鏡画像に対して適切な画像処理を施して、疾患のステージの判定を行う疾患の状態に関する疾患状態処理が開発されている。疾患状態処理を確実に行うためには、医療画像上の特徴が、疾患の状態判定に関して正解である病理検査の特徴と高い相関を有している必要性がある。しかしながら、病理検査での特徴は、かならずしも医療画像上で描画されているわけではないため、照明光のスペクトルや観察対象の拡大率などの観察環境を変えることによって、病理検査と相関の高い特徴が医療画像上に見いだされるようになる。そこで、内視鏡検査中に、病理検査と相関の高い特徴を内視鏡画像上に見出すことができる観察環境にすることが求められていた。
【0006】
本発明は、病理検査と相関の高い特徴を医療画像上に見出せる観察環境にすることができる画像処理装置、内視鏡システム、及び画像処理の作動方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の画像処理装置は、プロセッサを備え、プロセッサは、第1拡大率にて観察対象を拡大する第1観察環境において観察対象を撮像して得られる第1医療画像に基づいて、第1観察環境から、第1拡大率よりも大きい第2拡大率にて観察対象を拡大する第2観察環境への切替の判定に用いる切替判定用指標値を算出し、切替判定用指標値に基づいて、第1観察環境から第2観察環境に切り替えるか否かを判定し、第2観察環境への切替えを行うと判定された場合において、特定動作によって、観察対象の拡大率を第2拡大率にして第2観察環境に切り替え、切替判定用指標値は観察対象の赤色成分を示す赤色特徴量である。
【0008】
切替判定用指標値は観察対象の赤色成分を示す赤色特徴量であることが好ましい。プロセッサは、赤色特徴量が赤色特徴量用範囲の下限値未満、又は、赤色特徴量が赤色特徴量用範囲の上限値以上の場合には、第2観察環境への切替えを行わないと判定し、赤色特徴量が赤色特徴量用範囲内である場合には、第2観察環境への切替えを行うと判定することが好ましい。
【0009】
第1観察環境には、通常光又は特殊光を用いて観察対象を照明すること、又は、観察対象における複数の観察対象範囲の色の差を拡張した色差拡張画像をディスプレイに表示することを含み、第2観察環境には、特殊光を用いて観察対象を照明することを含むことが好ましい。第1拡大率は60倍未満であり、第2拡大率は60倍以上であることが好ましい。
【0010】
プロセッサは、第2観察環境において観察対象を撮像して得られる第2医療画像に基づいて、疾患の状態に関する疾患状態処理を行い、疾患状態処理には、第2医療画像に基づいて、疾患のステージに関する指標値を算出すること、疾患のステージを判定すること、又は、疾患の病理的寛解又は病理的非寛解を判定することの少なくともいずれかが含まれることが好ましい。
【0011】
プロセッサは、観察対象における出血の程度を示す出血用指標値、又は、表層血管の不規則度を算出し、出血用指標値、又は、表層血管の不規則度に基づいて、疾患の病理的寛解又は病理的非寛解を判定することが好ましい。プロセッサは、出血用指標値が出血用閾値以下であり、且つ、表層血管の不規則度が不規則度用閾値以下である場合には、疾患が病理的寛解であると判定し、出血用指標値が出血用閾値を超えること、又は、表層血管の不規則度が不規則度用閾値を超えることのいずれか一方を満たす場合には、疾患が病理的非寛解であると判定することが好ましい。
【0012】
出血用指標値は、第2医療画像の青色画像のうち青色用閾値以下の画素値を有する画素数であり、不規則度は、第2医療画像に含まれる表層血管の密集度が密集度用閾値以上の領域の画素数であることが好ましい。特定動作は、第2観察環境への切替えを促す旨の報知に従って行われるユーザー操作、又は、第2観察環境への自動切替を含むことが好ましい。疾患は潰瘍性大腸炎であることが好ましい。
【0013】
本発明の内視鏡システムは、観察対象の照明及び撮像を行い、且つ、観察対象の拡大率が変更可能な内視鏡と、プロセッサを有するプロセッサ装置とを有し、プロセッサは、第1拡大率にて観察対象を拡大する第1観察環境において内視鏡から得られる第1医療画像に基づいて、第1観察環境から、第1拡大率よりも大きい第2拡大率にて観察対象を拡大する第2観察環境への切替の判定に用いる切替判定用指標値を算出し、切替判定用指標値に基づいて、第1観察環境から第2観察環境に切り替えるか否かを判定し、第2観察環境への切替えを行うと判定された場合において、特定動作によって、観察対象の拡大率を第2拡大率にして第2観察環境に切り替え、切替判定用指標値は観察対象の赤色成分を示す赤色特徴量である。
【0014】
本発明の画像処理装置の作動方法は、第1拡大率にて観察対象を拡大する第1観察環境において観察対象を撮像して得られる第1医療画像に基づいて、第1観察環境から、第1拡大率よりも大きい第2拡大率にて観察対象を拡大する第2観察環境への切替の判定に用いる切替判定用指標値を算出するステップと、切替判定用指標値に基づいて、第1観察環境から第2観察環境に切り替えるか否かを判定するステップと、第2観察環境への切替えを行うと判定された場合において、特定動作によって、観察対象の拡大率を第2拡大率にして第2観察環境に切り替えるステップとを有し、切替判定用指標値は観察対象の赤色成分を示す赤色特徴量である。
【発明の効果】
【0015】
本発明によれば、病理検査と相関の高い特徴を医療画像上に見出せる観察環境にすることができる。
【図面の簡単な説明】
【0016】
【
図2】第1実施形態の内視鏡システムの機能を示すブロック図である。
【
図3】紫色光V、青色光B、緑色光G、及び赤色光Rのスペクトルを示すグラフである。
【
図4】第1実施形態の特殊光のスペクトルを示すグラフである。
【
図5】紫色光Vのみを含む特殊光のスペクトルを示すグラフである。
【
図6】拡大率を段階的に変える場合に表示する拡大率表示部と拡大率を連続的に変える場合に表示する拡大率表示部とを示す説明図である。
【
図7】色差拡張画像生成部の機能を示すブロック図である。
【
図8】信号比空間における正常粘膜と異常領域とを示す説明図である。
【
図10】動径rと彩度強調処理後の動径Rx(r)との関係を示すグラフである。
【
図11】信号比空間における彩度強調処理の前後の異常領域の位置関係を示す説明図である。
【
図13】角度θと色相強調処理後の角度Fx(θ)との関係を示すグラフである。
【
図14】信号比空間における色相強調処理の前後の異常領域の位置関係を示す説明図である。
【
図15】疾患関連処理部の機能を示すブロック図である。
【
図16】第2観察環境への切替に関する判定を示す説明図である。
【
図18】第2観察環境への切替えを行うと判定された場合に報知されるメッセージを示す画像図である。
【
図19】出血用指標値又は表層血管の不規則度に基づく疾患の病理的寛解又は病理的非寛解の判定を示す説明図である。
【
図20】疾患が病理的寛解であると判定された場合に報知されるメッセージを示す画像図である。
【
図21】疾患関連処理モードの一連の流れを示すフローチャートである。
【
図22】第2実施形態の内視鏡システムの機能を示すブロック図である。
【
図24】第3実施形態の内視鏡システムの機能を示すブロック図である。
【
図25】第3実施形態の通常光のスペクトルを示すグラフである。
【
図26】第3実施形態の特殊光のスペクトルを示すグラフである。
【
図28】医療業務支援装置を示すブロック図である。
【発明を実施するための形態】
【0017】
[第1実施形態]
図1において、内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、ディスプレイ18と、ユーザーインターフェース19とを有する。内視鏡12は、光源装置14と光学的に接続され、且つ、プロセッサ装置16と電気的に接続される。内視鏡12は、観察対象の体内に挿入される挿入部12aと、挿入部12aの基端部分に設けられた操作部12bと、挿入部12aの先端側に設けられた湾曲部12c及び先端部12dとを有している。湾曲部12cは、操作部12bのアングルノブ12eを操作することにより湾曲動作する。先端部12dは、湾曲部12cの湾曲動作によって所望の方向に向けられる。
【0018】
また、操作部12bには、アングルノブ12eの他、モードの切り替え操作に用いるモード切替SW(モード切替スイッチ)12fと、観察対象の静止画の取得指示に用いられる静止画取得指示部12gと、ズームレンズ43(
図2参照)の操作に用いられるズーム操作部12hとが設けられている。
【0019】
なお、内視鏡システム10は、通常光モード、特殊光モード、疾患関連処理モードの3つのモードを有している。通常光モードでは、通常光を観察対象に照明して撮像することによって、自然な色合いの通常光画像をディスプレイ18に表示する。特殊光モードでは、通常光と波長帯域が異なる特殊光に基づいて得られる特殊光画像をディスプレイ18に表示する。特殊光画像には、観察対象における複数の観察対象範囲の色の差を拡張した色差拡張処理が施された色差拡張画像が含まれる。疾患関連処理モードでは、潰瘍性大腸炎の病理的寛解又は病理的非寛解を判定する。なお、疾患関連処理モードでは、潰瘍性大腸炎のステージに関する指標値を算出すること、又は、潰瘍性大腸炎のステージを判定することを行ってもよい。
【0020】
なお、疾患関連処理モードで用いる画像としては、医療画像の一つである内視鏡画像としての特殊光画像の他、放射線撮影装置で得られる放射線画像、CT(Computed Tomography)で得られるCT画像、MRI(Magnetic Resonance Imaging)で得られるMRI画像などの医療画像を用いてもよい。また、内視鏡12が接続されたプロセッサ装置16が本発明の画像処理装置に対応し、このプロセッサ装置16において、疾患関連処理モードを実行するが、その他の方法で疾患関連処理モードを実行するようにしてもよい。例えば、内視鏡システム10とは別の外部の画像処理装置に疾患関連処理部66の機能を設け、医療画像を外部の画像処理装置に入力して疾患関連処理モードを実行し、その実行結果を、外部の画像処理装置に接続された外部のディスプレイに表示するようにしてもよい。
【0021】
プロセッサ装置16は、ディスプレイ18及びユーザーインターフェース19と電気的に接続される。ディスプレイ18は、観察対象の画像や、観察対象の画像に付帯する情報などを出力表示する。ユーザーインターフェース19は、機能設定などの入力操作を受け付ける機能を有する。なお、プロセッサ装置16には、画像や画像情報などを記録する外付けの記録部(図示省略)を接続してもよい。また、プロセッサ装置16は、本発明の画像処理装置に対応する。
【0022】
図2において、光源装置14は、光源部20と、光源部20を制御する光源制御部21とを備えている。光源部20は、例えば、複数の半導体光源を有し、これらをそれぞれ点灯または消灯し、点灯する場合には各半導体光源の発光量を制御することにより、観察対象を照明する照明光を発する。本実施形態では、光源部20は、V-LED(Violet Light Emitting Diode)20a、B-LED(Blue Light Emitting Diode)20b、G-LED(Green Light Emitting Diode)20c、及びR-LED(Red Light Emitting Diode)20dの4色のLEDを有する。
【0023】
図3に示すように、V-LED20aは、中心波長405±10nm、波長範囲380~420nmの紫色光Vを発生する。B-LED20bは、中心波長460±10nm、波長範囲420~500nmの青色光Bを発生する。G-LED20cは、波長範囲が480~600nmに及ぶ緑色光Gを発生する。R-LED20dは、中心波長620~630nmで、波長範囲が600~650nmに及ぶ赤色光Rを発生する。
【0024】
光源制御部21は、V-LED20a、B-LED20b、G-LED20c、及びR-LED20dを制御する。また、光源制御部21は、通常光モード時には、紫色光V、青色光B、緑色光G、及び赤色光R間の光強度比がVc:Bc:Gc:Rcとなる通常光を発光するように、各LED20a~20dを制御する。
【0025】
また、光源制御部21は、特殊光モード時には、短波長の狭帯域光としての紫色光Vと、青色光B、緑色光G、及び赤色光Rとの光強度比がVs:Bs:Gs:Rsとなる特殊光を発光するように、各LED20a~20dを制御する。光強度比Vs:Bs:Gs:Rsは、特殊光は、表層血管などを強調することが好ましい。そのため、特殊光は、紫色光Vの光強度を青色光Bの光強度よりも大きくすることが好ましい。例えば、
図4に示すように、紫色光Vの光強度Vsと青色光Bの光強度Bsとの比率を「4:1」とする。また、
図5に示すように、特殊光については、紫色光V、青色光B、緑色光G、及び赤色光R間の光強度比を1:0:0:0にして、短波長の狭帯域光としての紫色光Vのみを発光するようにしてもよい。
【0026】
また、光源制御部21は、疾患関連処理モード時には、第1拡大率で観察対象を拡大する第1観察環境においては、通常光又は特殊光のいずれかで観察対象を照明し、第1拡大率よりも大きい第2拡大率で観察対象を拡大する第2観察環境においては、特殊光で観察対象を照明する。したがって、光源制御部21は、切替判定部87(
図15参照)によって、第1観察環境から第2観察環境に切り替える旨の判定が行われた場合には、観察対象に照明する照明光を、通常光
から、特殊光に切り替える制御が行われる。本実施形態では、第1観察環境においては、特殊光を照明し、特殊光画像として色差拡張画像をディスプレイ18に表示するが、第1観察環境において、通常光を照明し、通常光画像をディスプレイ18に表示するようにしてもよい。また、第2観察環境では、通常光を照明し、通常光画像をディスプレイ18に表示してもよい。第1観察環境又は第2観察環境における照明光の種類、又は、ディスプレイ18に表示する画像の種類の選択については、ユーザーインターフェース19による操作に従って、プロセッサ装置16内に設けた観察環境選択部(図示しない)を選択操作することにより行われる。
【0027】
なお、本明細書において、光強度比は、少なくとも1つの半導体光源の比率が0(ゼロ)の場合を含む。したがって、各半導体光源のいずれか1つまたは2つ以上が点灯しない場合を含む。例えば、紫色光V、青色光B、緑色光G、及び赤色光R間の光強度比が1:0:0:0の場合のように、半導体光源の1つのみを点灯し、他の3つは点灯しない場合も、光強度比を有するものとする。
【0028】
各LED20a~20dが発する光は、ミラーやレンズなどで構成される光路結合部23を介して、ライトガイド25に入射される。ライトガイド25は、内視鏡12及びユニバーサルコード(内視鏡12と、光源装置14及びプロセッサ装置16を接続するコード)に内蔵されている。ライトガイド25は、光路結合部23からの光を、内視鏡12の先端部12dまで伝搬する。
【0029】
内視鏡12の先端部12dには、照明光学系30aと撮像光学系30bが設けられている。照明光学系30aは照明レンズ32を有しており、ライトガイド25によって伝搬した照明光は照明レンズ32を介して観察対象に照射される。撮像光学系30bは、対物レンズ42、ズームレンズ43、撮像センサ44を有している。照明光を照射したことによる観察対象からの光は、対物レンズ42及びズームレンズ43を介して撮像センサ44に入射する。これにより、撮像センサ44に観察対象の像が結像される。ズームレンズ43は観察対象を拡大するためのレンズであり、ズーム操作部12hを操作することによって、テレ端とワイド端と間を移動する。なお、観察対象の拡大については、ズームレンズ43を用いた光学的に観察対象を拡大する他、観察対象の撮像により得られる画像の一部を切り取って拡大するデジタル拡大を用いてもよい。
【0030】
本実施形態では、ズームレンズ43を用いて、段階的に拡大率を変えることができる。ここで、拡大率とは、ディスプレイ18にて表示される物体の寸法を、実際の物体の寸法で除して得られる値である。例えば、ディスプレイ18が19インチのディスプレイである場合には、
図6に示すように、2段階、3段階、5段階で段階的に拡大率を変えること、又は、連続的に拡大率を変えることができる。使用中の拡大率をディスプレイ18に表示するために、ディスプレイ18の特定の表示位置には、拡大率を段階的に変える場合に表示する拡大率表示部47と拡大率を連続的に変える場合に表示する拡大率表示部49とが設けられている。なお、実際のディスプレイ18においては、拡大率表示部47及び拡大率表示部49のうちのいずれか1つが表示される。
【0031】
拡大率表示部47では、近景を表すN(Near)と遠景を表すF(Far)の間に設けられたボックスBx1、Bx2、Bx3、Bx4の枠非表示、枠表示、及び全体表示を組み合わせることによって、使用中の拡大率を表す。なお、内視鏡システム10で一般的に用いられるディスプレイ18のサイズは19インチ~32インチであり、横幅にして23.65cm~39.83cmである。
【0032】
具体的には、拡大率を40倍と60倍と変化させる2段階の拡大率変化に設定されている場合には、ボックスBx1、Bx2、Bx3について枠非表示とし、使用中の拡大率が40倍の場合にボックスBx4を枠表示とし、使用中の拡大率が60倍の場合にボックスBx4を全体表示とする。また、拡大率を40倍、60倍、85倍と変化させる3段階の拡大率変化に設定されている場合には、ボックスBx1、Bx2は枠非表示とされ、使用中の拡大率が40倍の場合にボックスBx3、Bx4を枠表示とする。そして、使用中の拡大率が60倍の場合にボックスBx3を枠表示、Bx4を全体表示とし、使用中の拡大率が85倍の場合に、ボックスBx3、Bx4を全体表示とする。
【0033】
また、拡大率を40倍、60倍、85倍、100倍、135倍の5段階の拡大率変化に設定されている場合には、使用中の拡大率が40倍の場合に、ボックスBx1、Bx2、Bx3、Bx4を枠表示とする。また、使用中の拡大率が60倍の場合に、ボックスBx1、Bx2、Bx3を枠表示とし、ボックスBx4を全体表示とする。また、拡大率が85倍の場合に、ボックスBx1、Bx2を枠表示とし、ボックスBx3、Bx4を全体表示とする。また、拡大率が100倍の場合に、ボックスBx1を枠表示とし、ボックスBx2、Bx3、Bx4を全体表示とする。また、拡大率が135倍の場合に、ボックスBx1、Bx2、Bx3、Bx4を全体表示とする。
【0034】
拡大率表示部49は、近景を表すN(Near)と遠景を表すF(Far)の間に設けられた横長バー49aを備えている。拡大率が40倍までの間は、横長バー49aの枠のみが表示される。そして、拡大率が40倍を超えると、横長バー49aの枠内が特定色SCで表示されるようになる。そして、拡大率が135倍に到達するまでの間は、拡大率が大きくなるごとに、横長バー49a内の特定色の領域が徐々にF側に広がっていく。そして、拡大率が135倍に到達すると、特定色の領域は上限表示バー49bにまで広がり、それ以上はF側に広がらない。
【0035】
図2に示すように、撮像センサ44としては、CCD(Charge Coupled Device)撮像センサやCMOS(Complementary Metal-Oxide Semiconductor)撮像センサを利用可能である。また、原色の撮像センサ44の代わりに、C(シアン)、M(マゼンタ)、Y(イエロー)及びG(グリーン)の補色フィルタを備えた補色撮像センサを用いても良い。補色撮像センサを用いる場合には、CMYGの4色の画像信号が出力されるので、補色-原色色変換によって、CMYGの4色の画像信号をRGBの3色の画像信号に変換することにより、撮像センサ44と同様のRGB各色の画像信号を得ることができる。
【0036】
撮像センサ44は、撮像制御部45によって駆動制御される。撮像制御部45における制御は、各モードによって異なっている。通常光モードでは、撮像制御部45は、通常光で照明された観察対象を撮像するように、撮像センサ44を制御する。これにより、撮像センサ44のB画素からBc画像信号が出力され、G画素からGc画像信号が出力され、R画素からRc画像信号が出力される。
【0037】
特殊光モードでは、撮像制御部45は撮像センサ44を制御して、特殊光で照明された観察対象を撮像するように、撮像センサ44を制御する。これにより、撮像センサ44のB画素からBs画像信号が出力され、G画素からGs画像信号が出力され、R画素からRs画像信号が出力される。疾患関連処理モードでは、第1観察環境及び第2観察環境のいずれにおいても、特殊光の照明によって、撮像センサ44のB画素、G画素、及びR画素から、Bc画像信号、Gc画像信号、及びRc画像信号が出力される。
【0038】
CDS/AGC(Correlated Double Sampling/Automatic Gain Control)回路46は、撮像センサ44から得られるアナログの画像信号に相関二重サンプリング(CDS)や自動利得制御(AGC)を行う。CDS/AGC回路46を経た画像信号は、A/D(Analog/Digital)コンバータ48により、デジタルの画像信号に変換される。A/D変換後のデジタル画像信号がプロセッサ装置16に入力される。
【0039】
プロセッサ装置16は、各種処理に関するプログラムがプログラム用メモリ(図示しない)に組み込まれている。プロセッサ装置16には、プロセッサによって構成される中央制御部(図示しない)が設けられている。中央制御部によってプログラム用メモリ内のプログラムが実行することによって、画像取得部50、DSP(Digital Signal Processor)52、ノイズ低減部54、画像処理部58、及び、映像信号生成部60との機能が実現する。
【0040】
画像取得部50は、内視鏡12から入力される医療画像の一つである内視鏡画像の画像信号を取得する。取得した画像信号はDSP52に送信される。DSP52は、受信した画像信号に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、マトリクス処理、ガンマ変換処理、デモザイク処理、及びYC変換処理等の各種信号処理を行う。欠陥補正処理では、撮像センサ44の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理を施した画像信号から暗電流成分を除かれ、正確な零レベルを設定される。ゲイン補正処理は、オフセット処理後の各色の画像信号に特定のゲインを乗じることにより各画像信号の信号レベルを整える。ゲイン補正処理後の各色の画像信号には、色再現性を高めるマトリクス処理が施される。
【0041】
その後、ガンマ変換処理によって、各画像信号の明るさや彩度が整えられる。マトリクス処理後の画像信号には、デモザイク処理(等方化処理,同時化処理とも言う)が施され、補間により各画素の欠落した色の信号を生成される。デモザイク処理によって、全画素がRGB各色の信号を有するようになる。DSP52は、デモザイク処理後の各画像信号にYC変換処理を施し、輝度信号Yと色差信号Cb及び色差信号Crをノイズ低減部54に出力する。ノイズ低減部54は、DSP56でデモザイク処理等を施した画像信号に対して、例えば移動平均法やメディアンフィルタ法等によるノイズ低減処理を施す。
【0042】
画像処理部58は、通常光画像生成部62と、特殊光画像生成部64と、疾患関連処理部66とを備えている。特殊光画像生成部64には、色差拡張画像生成部64aが含まれている。画像処理部58は、通常光観察モードの場合には、Rc画像信号、Gc画像信号、及びBc画像信号を通常光画像生成部62に入力する。また、画像処理部58は、特殊光観察モード又は疾患関連処理モードの場合には、Rs画像信号、Gs画像信号、及びBs画像信号を特殊光画像生成部64に入力する。また、画像処理部58は、疾患関連処理モードの場合には、特殊光画像生成部64にて生成した特殊光画像又は色差拡張画像を、疾患関連処理部66に入力する。
【0043】
通常光画像生成部62は、入力した1フレーム分のRc画像信号、Gc画像信号、Bc画像信号に対して、通常光画像用画像処理を施す。通常光画像用画像処理には、3×3のマトリクス処理、階調変換処理、3次元LUT(Look Up Table)処理等の色変換処理、色彩強調処理、空間周波数強調等の構造強調処理が含まれる。通常光画像用画像処理が施されたRc画像信号、Gc画像信号、Bc画像信号は、通常光画像として映像信号生成部60に入力される。
【0044】
特殊光画像生成部64は、色差拡張処理を行う場合の処理部と、色差拡張処理を行わない場合の処理部とを有している。色差拡張処理を行わない場合には、特殊光画像生成部64は、入力した1フレーム分のRs画像信号、Gs画像信号、Bs画像信号に対して、特殊光画像用画像処理を施す。特殊光画像用画像処理には、3×3のマトリクス処理、階調変換処理、3次元LUT(Look Up Table)処理等の色変換処理、色彩強調処理、空間周波数強調等の構造強調処理が含まれる。特殊光画像用画像処理が施されたRs画像信号、Gs画像信号、Bs画像信号は、特殊光画像として映像信号生成部60又は疾患関連処理部66に入力される。
【0045】
一方、色差拡張処理を行う場合には、色差拡張画像生成部64aは、入力した1フレーム分のRs画像信号、Gs画像信号、Bs画像信号に対して、複数の観察対象範囲の色の差を拡張する色差拡張処理を施すことによって、色差拡張画像を生成する。生成された色差拡張画像は、映像信号生成部60又は疾患関連処理部66に入力される。色差拡張画像生成部64aの詳細については後述する。
【0046】
疾患関連処理部66は、第1観察環境において観察対象を撮像して得られる第1医療画像に基づいて、第1観察環境から第1観察環境と異なる第2観察環境に切り替えるか否かを判定し、且つ、第2観察環境において観察対象を撮像して得られる第2医療画像に基づいて、疾患の状態に関連する疾患状態処理を行う。なお、疾患状態処理には、特殊光画像に基づいて、潰瘍性大腸炎のステージに関する指標値を算出すること、潰瘍性大腸炎のステージを判定すること、又は、潰瘍性大腸炎の病理的寛解又は病理的非寛解を判定することのうち少なくともいずれかが含まれる。病理的寛解又は病理的非寛解の判定結果に関する情報は、映像信号生成部60に入力される。疾患関連処理部66の詳細については、後述する。なお、第1~第3実施形態では、疾患関連処理部66が潰瘍性大腸炎の病理的寛解又は病理的非寛解を判定する場合について説明を行う。
【0047】
映像信号生成部60は、画像処理部58から出力される通常光画像、特殊光画像、色差拡張画像、又は判定結果に関する情報を、ディスプレイ18においてフルカラーで表示可能にする映像信号に変換する。変換済みの映像信号はディスプレイ18に入力される。これにより、ディスプレイ18には通常光画像、特殊光画像、色差拡張画像、又は判定結果に関する情報が表示される。
【0048】
色差拡張画像生成部64aは、
図7に示すように、逆ガンマ変換部70と、Log変換部71と、信号比算出部72と、極座標変換部73と、色差拡張部74と、直交座標変換部78と、RGB変換部79と、明るさ調整部81と、構造強調部82と、逆Log変換部83と、ガンマ変換部84とを備えている。
【0049】
逆ガンマ変換部70には、特殊光に基づくRs、Gs、Bs画像信号が入力される。逆ガンマ変換部70は、入力されたRGB3チャンネルのデジタル画像信号に対して逆ガンマ変換を施す。この逆ガンマ変換後のRGB画像信号は、検体からの反射率に対してリニアな反射率リニアRGB信号であるため、RGB画像信号のうち、検体の各種生体情報に関連する信号が占める割合が多くなる。なお、反射率リニアR画像信号を第1R画像信号とし、反射率リニアG画像信号を第1G画像信号とし、反射率リニアB画像信号を第1B画像信号とする。これら第1R画像信号、第1G画像信号、及び第1B画像信号をまとめて第1RGB画像信号とする。
【0050】
Log変換部71は、反射率リニアRGB画像信号をそれぞれLog変換する。これにより、Log変換済みのR画像信号(logR)、Log変換済みのG画像信号(logG)、及びLog変換済みのB画像信号(logB)が得られる。信号比算出部72(本発明の「色情報取得部」に対応する)は、Log変換済みのG画像信号とB画像信号に基づいて差分処理(logG-logB =logG/B=-log(B/G))することにより、B/G比(-log(B/G)のうち「-log」を省略したものを「B/G比」と表記する)を算出する。また、Log変換済みのR画像信号とG画像信号に基づいて差分処理(logR-logG=logR/G=-log(G/R))することにより、G/R比を算出する。G/R比については、B/G比と同様、-log(G/R)のうち「-log」を省略したものを表している。
【0051】
なお、B/G比及びG/R比は、B画像信号、G画像信号、及びR画像信号において同じ位置にある画素の画素値から画素毎に求める。また、B/G比及びG/R比は画素毎に求める。また、B/G比は、血管深さ(粘膜表面から特定の血管がある位置までの距離)に相関があることから、血管深さが異なると、それに伴ってB/G比も変動する。また、G/R比は、血液量(ヘモグロビンインデックス)と相関があることから、血液量に変動が有ると、それに伴ってG/R比も変動する。
【0052】
極座標変換部73は、信号比算出部72で求めたB/G比及びG/R比を、動径rと角度θに変換する。この極座標変換部73において、動径rと角度θへの変換は、全ての画素について行う。色差拡張部74は、複数の色情報の一つであるB/G比及びG/R比により形成される信号比空間(特徴空間)において、複数の観察対象範囲のうち、正常粘膜と、潰瘍性大腸炎を含む病変部などの異常領域との色の差を拡張する色差拡張処理を行う。色差拡張処理として、本実施形態では、正常粘膜と異常領域との彩度差を拡張すること、又は、正常粘膜と異常領域との色相差を拡張することを行う。そのために、色差拡張部74は、彩度強調処理部76と、色相強調処理部77とを有している。
【0053】
彩度強調処理部76は、信号比空間において、正常粘膜と異常領域との彩度差を拡張する彩度強調処理を行う。具体的には、彩度強調処理は、信号比空間において、動径rを拡張又は圧縮することによって行われる。色相強調処理部77は、信号比空間において、正常粘膜と異常領域との色相差を拡張する色相強調処理を行う。具体的には、色相強調処理は、信号比空間において、角度θを拡張又は圧縮することによって行われる。以上の彩度強調処理部76及び色相強調処理部77の詳細については後述する。
【0054】
直交座標変換部78では、彩度強調処理及び色相強調処理済みの動径r及び角度θを、直交座標に変換する。これにより、角度拡張・圧縮済みのB/G比及びG/R比に変換される。RGB変換部79では、第1RGB画像信号のうち少なくともいずれか1つの画像信号を用いて、彩度強調処理及び色相強調処理済みのB/G比及びG/R比を、第2RGB画像信号に変換する。例えば、RGB変換部79は、第1RGB画像信号のうち第1G画像信号とB/G比とに基づく演算を行うことにより、B/G比を第2B画像信号に変換する。また、RGB変換部79は、第1RGB画像信号のうち第1G画像信号とG/R比に基づく演算を行うことにより、G/R比を第2R画像信号に変換する。また、RGB変換部79は、第1G画像信号については、特別な変換を施すことなく、第2G画像信号として出力する。これら第2R画像信号、第2G画像信号、及び第2B画像信号をまとめて第2RGB画像信号とする。
【0055】
明るさ調整部81は、第1RGB画像信号と第2RGB画像信号とを用いて、第2RGB画像信号の画素値を調整する。明るさ調整部81で、第2RGB画像信号の画素値を調整するのは、以下の理由による。彩度強調処理部76及び色相強調処理部77で色領域を拡張・圧縮する処理により得られた第2RGB画像信号は、第1RGB画像信号と明るさが大きく変わってしまう可能性がある。そこで、明るさ調整部81で第2RGB画像信号の画素値を調整することによって、明るさ調整後の第2RGB画像信号が第1RGB画像信号と同じ明るさになるようにする。
【0056】
明るさ調整部81は、第1RGB画像信号に基づいて第1明るさ情報Yinを求める第1明るさ情報算出部81aと、第2RGB画像信号に基づいて第2明るさ情報Youtを求める第2明るさ情報算出部81bとを備えている。第1明るさ情報算出部81aは、「kr×第1R画像信号の画素値+kg×第1G画像信号の画素値+kb×第1B画像信号の画素値」の演算式に従って、第1明るさ情報Yinを算出する。第2明るさ情報算出部81bにおいても、第1明るさ情報算出部81aと同様に、上記と同様の演算式に従って、第2明るさ情報Youtを算出する。第1明るさ情報Yinと第2明るさ情報Youtが求まると、明るさ調整部81は、以下の式(E1)~(E3)に基づく演算を行うことにより、第2RGB画像信号の画素値を調整する。
(E1):R*=第2R画像信号の画素値×Yin/Yout
(E2):G*=第2G画像信号の画素値×Yin/Yout
(E3):B*=第2B画像信号の画素値×Yin/Yout
なお、「R*」は明るさ調整後の第2R画像信号を、「G*」は明るさ調整後の第2G画像信号を、「B*」は明るさ調整後の第2B画像信号を表している。また、「kr」、「kg」、及び「kb」は「0」~「1」の範囲にある任意の定数である。
【0057】
構造強調部82では、RGB変換部79を経た第2RGB画像信号に対して構造強調処理を施す。構造強調処理としては、周波数フィルタリングなどが用いられる。逆Log変換部83は、構造強調部82を経た第2RGB画像信号に対して、逆Log変換を施す。これにより、真数の画素値を有する第2RGB画像信号が得られる。ガンマ変換部84は、逆Log変換部83を経たRGB画像信号に対してガンマ変換を施す。これにより、ディスプレイ18などの出力デバイスに適した階調を有する第2RGB画像信号が得られる。ガンマ変換部84を経た第2RGB画像信号は、映像信号生成部60に送られる。
【0058】
彩度強調処理部76及び色相強調処理部77では、
図8に示すように、B/G比、G/R比により形成される信号比空間(特徴空間)の第一象限において分布する正常粘膜と異常領域との彩度差又は色相差を大きくする。異常領域としては、信号比空間において、正常粘膜以外の様々な位置に分布しているが、本実施形態では、赤味を帯びている病変部とする。色差拡張部74では、正常粘膜と異常領域との色の差が拡張するように、信号比空間において拡張中心が定められている。具体的には、彩度強調処理部76では、正常粘膜と異常領域との彩度差を拡張するための彩度用の拡張中心CES及び拡張中心線SLsが定められている。また、色相強調処理部77では、正常粘膜と異常領域との色相差を拡張するための色相用の拡張中心CEH及び拡張中心線SLhが定められている。
【0059】
図9に示すように、彩度強調処理部76では、信号比空間において、動径変更範囲Rm内にある座標が示す動径rを変更する一方で、動径変更範囲R
m外の座標については動径rの変更は行わない。動径変更範囲Rmは、動径rが「r1」から「r2」の範囲内である(r1<r2)。また、動径変更範囲Rmにおいては、動径r1と動径r2との間にある動径rc上に、彩度用の拡張中心線SLsが設定されている。
【0060】
ここで、動径rは大きければ大きいほど彩度が高くなることから、彩度用の拡張中心線SLsが示す動径rcよりも動径rが小さい範囲rcr1(r1<r<rc)は低彩度範囲とされる。一方、彩度用の拡張中心線SLsが示す動径rcよりも動径rが大きい範囲rcr2(rc<r<r2)は高彩度範囲とされる。
【0061】
彩度強調処理は、
図10に示すように、動径変更範囲Rm内に含まれる座標の動径rの入力に対して、動径Rx(r)を出力する。この彩度強調処理による入出力の関係は実線で表される。彩度強調処理は、S字の変換カーブが用いられ、低彩度範囲rcr1においては、出力値Rx(r)を入力値rよりも小さくする一方で、高彩度範囲rcr2においては、出力値Rx(r)を入力値rよりも大きくする。また、Rx(rc)における傾きKxは、「1」以上に設定されている。これにより、低彩度範囲に含まれる観察対象の彩度をより低くする一方で、高彩度範囲に含まれる観察対象の彩度をより高くすることができる。このような彩度強調
処理により、複数の観察対象範囲の間の彩度差を大きくすることができる。
【0062】
以上のように、彩度強調処理を行うことにより、
図11に示すように、彩度強調処理後の異常領域(実線)は、彩度強調処理前の異常領域(点線)よりも彩度用の拡張中心線SLsから離れる方向に移動している。特徴空間において動径方向は彩度の大小を表すことから、彩度強調処理後の異常領域(実線)と正常粘膜との彩度差は、彩度強調処理前の異常領域(点線)と正常粘膜との彩度差よりも大きくなっている。
【0063】
図12に示すように、色相強調処理部77では、信号比空間において、角度変更範囲Rn内にある座標が示す角度θを変更する一方で、角度変更範囲Rn外の座標については角度θの変更は行わない。角度変更範囲Rnは、色相用の拡張中心線SLhから反時計回り方向(第1色相方向)の角度θ1の範囲と、色相用の拡張中心線SLhから時計回り方向(第2色相方向)の角度θ2の範囲とで構成されている。
【0064】
角度変更範囲Rnに含まれる座標の角度θは、色相用の拡張中心線SLhに対するなす角度θで再定義され、色相用の拡張中心線SLhに対して反時計回り方向側をプラス側とし、色相用の拡張中心線SLhに対して時計回り方向側をマイナス側とする。角度θが変わると色相も変化することから、角度変更範囲Rnのうち、角度θ1の範囲を、プラス側の色相範囲θ1と、角度θ2の範囲をマイナス側の色相範囲θ2とする。なお、色相用の拡張中心線SLhについても、彩度用の拡張中心線SLsと同様に、特徴空間における正常粘膜の範囲を交差する線であることが好ましい。
【0065】
色相強調処理は、
図13に示すように、角度変更範囲Rn内に含まれる座標の角度θの入力に対して、角度Fx(θ)を出力する。この色相強調処理による入出力の関係は実線で表される。色相強調処理は、マイナス側の色相範囲θ2においては、出力Fx(θ)を入力θよりも小さくする一方で、プラス側の色相範囲θ1においては、出力Fx(θ)を入力θよりも大きくする。これにより、マイナス側の色相範囲に含まれる観察対象とプラス側の色相範囲に含まれる観察対象との色相の違いを大きくすることができる。
【0066】
以上のように、色相強調処理を行うことにより、
図14に示すように、色相強調処理後の異常領域(実線)は、色相強調処理前の異常領域(点線)よりも色相用の拡張中心線SLhから離れる方向に移動している。特徴空間において角度方向は色相の違いを表すことから、色相強調処理後の異常領域(実線)と正常粘膜との色相差は、色相強調処理前の異常領域(点線)と正常粘膜との色相差よりも大きくなっている。
【0067】
なお、特徴空間としては、信号比空間の他に、第1RGB画像信号をLab変換部でLab変換して得られるa*、b*(色情報であるCIE Lab空間の色味の要素a*、b*を表す。以下同様)から形成されるab空間、色差信号Cr、Cbから形成されるCr、Cb空間、色相H及び彩度Sから形成されるHS空間であってもよい。
【0068】
図15に示すように、疾患関連処理部66は、切替判定用指標値算出部86、切替判定部87、観察環境切替部88、処理実行部90を備えている。切替判定用指標値算出部86は、第1医療画像に基づいて、第1観察環境から第2観察環境への切替えの判定に用いる切替判定用指標値を算出する。ここで、第1観察環境では、第1拡大率によって観察対象を拡大し、特殊光によって観察対象を照明する。また、第1観察環境においては、第1医療画像をディスプレイ18に表示する。第1医療画像は、色差拡張画像であることが好ましい。第2観察環境では、第2拡大率によって観察対象を拡大し、特殊光によって観察対象を照明する。また、第2観察環境においては、第2医療画像をディスプレイ18に表示する。第2医療画像は、特殊光画像であることが好ましい。
【0069】
なお、第1拡大率は、潰瘍性大腸炎の病理的寛解又は非寛解が明らかなパターン(
図16の(A)、(E)のパターン)について、寛解判定部90bによる疾患の寛解又は非寛解の自動判定を用いずに、ユーザーによる目視で病理的寛解又は非寛解を判断することが可能な拡大率であることが好ましい。一方、第2拡大率は、ユーザーによる目視で潰瘍性大腸炎の寛解又は非寛解の判断が難しいパターン(
図16の(B)、(C)、(D)のパターン)について、寛解判定部90bによる疾患の寛解又は非寛解の自動判定を正確に行うことができる程度の拡大率であることが好ましい。例えば、第1拡大率は60倍未満、第2拡大率は60倍以上であることが好ましい。
【0070】
切替判定用指標値算出部86は、第1医療画像である色差強調画像に基づいて、切替判定用指標値として、観察対象の発赤由来の赤色成分を示す赤色特徴量を算出する。赤色特徴量は、色差強調画像の赤色画像のうち赤色用閾値が一定以上の画素値を有する画素数とすることが好ましい。
【0071】
切替判定部87は、切替判定用指標値に基づいて、第1観察環境から第2観察環境に切り替えるか否かを判定する。具体的には、
図16に示すように、切替判定部87は、赤色特徴量が赤色特徴量用範囲の下限値Lx未満の場合(観察対象における炎症は弱い)、又は、赤色特徴量が赤色特徴量用範囲の上限値Ux以上の場合(観察対象における炎症が強い)には、ユーザーによる色差拡張画像への目視で病理的寛解又は非寛解を判断することが可能な疾患の状態(パターン(A)、(E))であるとし、第2観察環境への切替えを行わないと判定する。一方、切替判定部87は、赤色特徴量が赤色特徴量用範囲内である場合には、ユーザーによる色差拡張画像への目視で病理的寛解又は非寛解を判断することが難しい疾患の状態(パターン(B)、(C)、(D))であるとし、第2観察環境への切替えを行うと判定する。なお、疾患関連処理部66では、赤色特徴量が赤色特徴量用範囲の下限値Lx未満の場合には、疾患が病理的寛解であると自動的に判定し、赤色特徴量が赤色特徴量用範囲の上限値Ux以上の場合に、疾患が病理的非寛解であると自動的に判定してもよい。この場合の判定結果は、ディスプレイ18に表示することが好ましい。
【0072】
なお、疾患の状態の一つである潰瘍性大腸炎の状態は、重症度が悪化する毎に、血管構造のパターンが変化することを発明者らが見出している。潰瘍性大腸炎が病理的寛解、又は、潰瘍性大腸炎が発生していない場合(又は、内視鏡的軽症である場合)には、
図16(A)に示すように、表層血管のパターンが規則的であり、又は、
図16(B)に示すように、表層血管のパターンの規則性に多少の乱れが生じている程度である。一方、潰瘍性大腸炎が病理的非寛解であり、且つ、内視鏡的軽症である場合には、表層血管が局所的に密集しているパターンとなっている(
図16(C))。また、潰瘍性大腸炎が病理的非寛解であり、且つ、内視鏡的中等症である場合には、粘膜内出血が発生しているパターンとなっている(
図16(D))。
また、潰瘍性大腸炎が病理的非寛解であり、且つ、内視鏡的重症である場合には、粘膜外出血が発生しているパターンとなっている(
図16(E))。
【0073】
ここで、「表層血管の密集」とは、表層血管が蛇行し、集まる状態をいい、画像上の見た目では、
図17に示すように、腸腺嵩(クリプト)の周りを表層血管が何本も囲んでいることをいう。「粘膜内出血」とは、粘膜組織内の出血で内腔への出血との鑑別を要することをいう。「粘膜内出血」とは、画像上の見た目では、粘膜の中、且つ内腔(管腔、ひだの穴)ではない出血を指している。「粘膜外出血」とは、管腔内への少量の血液、管腔内を洗浄した後も内視鏡前方の管腔、又は粘膜からにじみ出て視認可能な血液、又は、出血性粘膜上でにじみを伴った管腔内の血液のことをいう。
【0074】
観察環境切替部88は、第2観察環境への切替えを行うと判定された場合において、特定動作によって、観察対象の拡大率を第2拡大率にして、第2観察環境に切り替える。具体的には、観察環境切替部88は、特定動作として、ズーム操作部12hを自動的に操作する指示を行うことによって、第2拡大率にする。または、観察環境切替部88は、
図18に示すように、特定動作として、「拡大率を60倍以上にして下さい」とのメッセージ(報知)をディスプレイ18に表示する。ユーザーは、ディスプレイ18上のメッセージを見て、特定動作として、ズーム操作部12hを操作し、拡大率を第2拡大率(60倍以上)にする操作を行う。また、観察環境切替部88は、ディスプレイ18に表示する画像を、色差強調画像から色差強調処理が施されていない特殊光画像に切り替える。特殊光画像については、ディスプレイ18への表示の他に、疾患状態処理に用いられる。なお、観察環境切替部88によって、拡大率の他、照明光の種類、スペクトルを切り替えてもよい。例えば、特殊光から通常光に切り替える、又は、4色の特殊光から紫色光V単色の発光に切り替えてもよい。
【0075】
処理実行部90は、第2医療画像に基づいて、疾患の状態に関する疾患状態処理を行う。処理実行部90は、寛解判定用指標値算出部90aと、寛解判定部90bとを備えている。寛解判定用指標値算出部90aは、観察対象における出血の程度を示す出血用指標値、又は、表層血管の不規則度を算出する。具体的には、出血用指標値は、特殊光画像の青色画像のうち青色用閾値以下の画素値を有する画素数とすることが好ましい。青色用閾値以下の画素値を有する画素は、表層血管が有するヘモグロビンの光吸収によって、画素値が低下している画素とみなすことができる。表層血管の不規則度は、特殊光画像に含まれる表層血管の密集度が密集度用閾値以上の領域の画素数とすることが好ましい。表層血管の密集度については、特殊光画像からラプラシアン処理で表層血管を抽出し、抽出した表層血管に基づいて算出することが好ましい。具体的には、密集度は、特定領域SAにおける表層血管の密度(=表層血管の本数/特定領域SAの画素数)としてもよい。なお、出血用指標値又は表層血管の密集度については、機械学習等を行い、機械学習済みのモデルに対して特殊光画像を入力することによって、出血用指標値又は表層血管の密集度を出力するようにしてもよい。
【0076】
寛解判定部90bは、出血用指標値、又は、表層血管の不規則度に基づいて、疾患の病理的寛解又は病理的非寛解を判定する。具体的には、寛解判定部90bは、
図19に示すように、出血用指標値が出血用閾値Thb以下であり、且つ、表層血管の不規則度が不規則度用閾値Thr以下である場合には、潰瘍性大腸炎が病理的寛解であると判定する。一方、寛解判定部90bは、出血用指標値が出血用閾値Thbを超えること、又は、表層血管の不規則度が不規則度用閾値Thrを超えることのいずれか一方を満たす場合には、潰瘍性大腸炎が病理的非寛解であると判定する。寛解判定部90bによる判定処理を用いることによって、ユーザーによる目視での病理的寛解又は非寛解を判断することが難しい疾患の状態(パターン(B)、(C)、(D))を判定することができる。なお、潰瘍性大腸炎が病理的寛解であると判定された場合には、
図20に示すように、その旨のメッセージをディスプレイ18上に表示することが好ましい。なお、第1観察環境においても寛解判定部90bでの判定は可能であるが、第2観察環境における寛解判定部90b(
図15参照)の判定精度は、第1観察環境における寛解判定部90bの判定精度よりも高いため、寛解判定部90bでの判定を行う場合には第2観察環境にすることが好ましい。
【0077】
次に、疾患関連処理モードの一連の流れについて、
図21に示すフローチャートに沿って説明する。モード切替SW12fを操作して、疾患関連処理モードに切り替えると、観察対象を観察する環境が、第1観察環境に設定される。第1観察環境においては、観察対象を第1拡大率で拡大し、特殊光で照明する。また、第1観察環境においては、特殊光の照明及び色差拡張処理により得られる色差拡張画像がディスプレイ18に表示される。なお、第1観察環境の設定は、自動又は手動で行うことが好ましい。
【0078】
切替判定用指標値算出部86は、色差拡張画像に基づいて、切替判定用指標値として、赤色特徴量を算出する。切替判定部87は、赤色特徴量が赤色特徴量用範囲外である場合(赤色特徴量が下限値Lx未満、又は、上限値Ux以上の場合)、第2観察環境への切替えは行わないと判定する。この場合には、ユーザーによって、疾患の病理的寛解又は非寛解の判定が行われる。
【0079】
一方、切替判定部87は、赤色特徴量が赤色特徴量用範囲内である場合には、第2観察環境への切替えを行うと判定する。観察環境切替部88は、特定動作によって、観察対象の拡大率を第2拡大率にして第2観察環境への切替えを行う。第2観察環境では、第1観察環境と同様、特殊光の照明が行われる一方、ディスプレイ18には、色差拡張画像から特殊光画像に表示が切り替えられる。
【0080】
寛解判定用指標値算出部90aは、特殊光画像に基づいて、出血用指標値、又は、表層血管の不規則度を算出する。寛解判定部90bは、出血用指標値が出血用閾値以下であり、且つ、表層血管の不規則度が不規則度用閾値以下である場合には、疾患が病理的寛解であると判定する。一方、寛解判定部90bは、出血用指標値が出血用閾値を超えること、又は、表層血管の不規則度が不規則度用閾値を超える場合には、疾患が病理的非寛解であると判定する。寛解判定部90bでの判定結果は、ディスプレイ18に表示される。
【0081】
[第2実施形態]
第2実施形態では、上記第1実施形態で示した4色のLED20a~20dの代わりに、キセノンランプなどの広帯域光源と回転フィルタを用いて観察対象の照明を行う。また、カラーの撮像センサ44に代えて、モノクロの撮像センサで観察対象の撮像を行う。それ以外については、第1実施形態と同様である。
【0082】
図22に示すように、第2実施形態の内視鏡システム100では、光源装置14において、4色のLED20a~20
dに代えて、広帯域光源102、回転フィルタ104、フィルタ切替部105が設けられている。また、撮像光学系30bには、カラーの撮像センサ44の代わりに、カラーフィルタが設けられていないモノクロの撮像センサ106が設けられている。
【0083】
広帯域光源102はキセノンランプ、白色LEDなどであり、波長域が青色から赤色に及ぶ白色光を発する。回転フィルタ104には、内側から順に、通常光用フィルタ107と、特殊光用フィルタ108とが設けられている(
図23参照)。フィルタ切替部105は、回転フィルタ104を径方向に移動させるものであり、モード切替SW12fにより通常光モードにセットしたときに、通常光用フィルタ107を白色光の光路に挿入し、特殊光モード又は疾患関連処理モードにセットしたときに、特殊光用フィルタ108を白色光の光路に挿入する。
【0084】
図23に示すように、通常光用フィルタ107には、周方向に沿って、白色光のうち広帯域青色光Bを透過させるBフィルタ107a、白色光のうち広帯域緑色光Gを透過させるGフィルタ107b、及び、白色光のうち広帯域赤色光Rを透過させるRフィルタ107cが設けられている。したがって、通常光モード時には、回転フィルタ104が回転することで、通常光として、広帯域青色光B、広帯域緑色光G、広帯域赤色光Rが交互に観察対象に照射される。
【0085】
特殊光用フィルタ108には、周方向に沿って、白色光のうち青色狭帯域光を透過させるBnフィルタ108a、及び、白色光のうち緑色狭帯域光を透過させるGnフィルタ108bが設けられている。したがって、特殊光モード又は疾患関連処理モード時には、回転フィルタ104が回転することで、特殊光として、短波長の狭帯域光としての青色狭帯域光と緑色狭帯域光が交互に観察対象に照射される。なお、青色狭帯域光の波長帯域は400~450nmであり、緑色狭帯域光の波長帯域は540~560nmであることが好ましい。
【0086】
内視鏡システム100では、通常光モード時には、広帯域青色光B、広帯域緑色光G、広帯域赤色光Rで観察対象が照明される毎にモノクロの撮像センサ106で観察対象を撮像する。これにより、Bc画像信号、Gc画像信号、Rc画像信号が得られる。そして、それら3色の画像信号に基づいて、上記第1実施形態と同様の方法で、通常光画像が生成される。
【0087】
内視鏡システム100では、特殊光モード又は疾患関連処理モード時には、青色狭帯域光と緑色狭帯域光で観察対象が照明される毎にモノクロの撮像センサ106で観察対象を撮像する。これにより、Bs画像信号、Gs画像信号が得られる。そして、それら2色の画像信号に基づいて、上記第1実施形態と同様の方法で、特殊光画像が生成される。
【0088】
[第3実施形態]
第3実施形態では、上記第1実施形態で示した4色のLED20a~20dの代わりに、レーザ光源と蛍光体を用いて観察対象の照明を行う。以下においては、第1実施形態と異なる部分のみ説明を行い、第1実施形態と略同様の部分については、説明を省略する。
【0089】
図24に示すように、第3実施形態の内視鏡システム200では、光源装置14の光源部20において、4色のLED20a~20
dの代わりに、短波長の狭帯域光に相当する中心波長405±10nmの紫色レーザ光を発する紫色レーザ光源部203(「405LD」と表記。LDは「Laser Diode」を表す)と、中心波長445±10nmの青色レーザ光を発する青色レーザ光源
部(「445LD」と表記)204とが設けられている。これら各光源部20
3、20
4の半導体発光素子からの発光は、光源制御部208により個別に制御されている。
【0090】
光源制御部208は、通常光モードの場合には、青色レーザ光源部204を点灯させる。これに対して、特殊光モード又は疾患関連処理モードの場合には、紫色レーザ光源部203と青色レーザ光源部204を同時点灯させる。
【0091】
なお、紫色レーザ光、又は青色レーザ光の半値幅は±10nm程度にすることが好ましい。また、紫色レーザ光源部203又は青色レーザ光源部204は、ブロードエリア型のInGaN系レーザダイオードが利用でき、また、InGaNAs系レーザダイオードやGaNAs系レーザダイオードを用いることもできる。また、上記光源として、発光ダイオードなどの発光体を用いた構成としてもよい。
【0092】
照明光学系30aには、照明レンズ32の他に、ライトガイド25からの紫色レーザ光又は青色レーザ光が入射する蛍光体210が設けられている。蛍光体210は、青色レーザ光によって励起され、蛍光を発する。したがって、青色レーザ光は励起光に相当する。また、青色レーザ光の一部は、蛍光体210を励起させることなく透過する。
【0093】
ここで、通常光モードにおいては、主として青色レーザ光が蛍光体210に入射するため、
図25に示すように、青色レーザ光、及び青色レーザ光により蛍光体210から励起発光する蛍光を合波した通常光が観察対象に照明される。この通常光で照明された観察対象を撮像センサ44で撮像することによって、Bc画像信号、Gc画像信号、Rc画像信号からなる通常光画像が得られる。
【0094】
また、特殊光モード又は疾患関連処理モードにおいては、紫色レーザ光及び青色レーザ光が蛍光体210に同時に入射することにより、
図26に示すように、紫色レーザ光及び青色レーザ光に加えて、紫色レーザ光及び青色レーザ光によって蛍光体210から励起発光する蛍光を含む疑似白色光が、特殊光として発せられる。この特殊光で照明された観察対象を撮像センサ44で撮像することによって、Bs画像信号、Gs画像信号、Rs画像信号からなる特殊光画像が得られる。なお、疑似白色光は、V-LED20a、B-LED20b、G-LED20c、及びR-LED20dから発せられる紫色光V、青色光B、緑色光G、及び赤色光を組み合わせた光としてもよい。
【0095】
なお、蛍光体210は、青色レーザ光の一部を吸収して、緑色~黄色に励起発光する複数種の蛍光体(例えばYKG系蛍光体、或いはBAM(BaMgAl10O17)などの蛍光体)を含んで構成されるものを使用することが好ましい。本構成例のように、半導体発光素子を蛍光体210の励起光源として用いれば、高い発光効率で高強度の白色光が得られ、白色光の強度を容易に調整できる上に、白色光の色温度、色度の変化を小さく抑えることができる。
【0096】
なお、上記実施形態では、医療画像の一つである内視鏡画像の処理を行う内視鏡システムに対して、本発明の適用を行っているが、内視鏡画像以外の医療画像を処理する医療画像処理システムに対しても本発明の適用は可能である。また、医療画像を用いてユーザーに診断支援を行うための診断支援装置に対しても本発明の適用は可能である。また、医療画像を用いて、診断レポートなどの医療業務を支援するための医療業務支援装置に対しても本発明の適用は可能である。
【0097】
例えば、
図27に示すように、診断支援装置600は、医療画像処理システム602などのモダリティやPACS(Picture Archiving and Communication Systems)604を組み合わせて使用される。また、
図28に示すように、医療業務支援装置610は、第1医療画像処理システム621、第2医療画像処理システム622、…、第N医療画像処理システム623等の各種検査装置と任意のネットワーク626を介して接続する。医療業務支援装置610は、第1~第N医療画像処理システム621、622・・・、623からの医療画像を受信し、受信した医療画像に基づいて、医療業務の支援を行う。
【0098】
上記実施形態において、画像処理部58に含まれる通常光画像生成部62、特殊光画像生成部64、色差拡張画像生成部64a、疾患関連処理部66、逆ガンマ変換部70、Log変換部71、信号比算出部72、極座標変換部73、色差拡張部74、彩度強調処理部76、色相強調処理部77、直交座標変換部78、RGB変換部79、明るさ調整部81、構造強調部82、逆Log変換部83、ガンマ変換部84、切替判定用指標値算出部86、切替判定部87、観察環境切替部88、処理実行部90、寛解判定用指標値算出部90a、寛解判定部90bといった各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
【0099】
1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGAや、CPUとFPGAの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
【0100】
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路(circuitry)である。また、記憶部のハードウェア的な構造はHDD(hard disc drive)やSSD(solid state drive)等の記憶装置である。
【0101】
なお、本発明は、下記の他の実施形態によっても実施可能である。
プロセッサ装置において、
切替判定用指標値算出部によって、第1拡大率にて観察対象を拡大する第1観察環境において観察対象を撮像して得られる第1医療画像に基づいて、第1観察環境から、第1拡大率よりも大きい第2拡大率にて観察対象を拡大する第2観察環境への切替の判定に用いる切替判定用指標値を算出し、切替判定部によって、切替判定用指標値に基づいて、第1観察環境から第2観察環境に切り替えるか否かを判定し、観察環境切替部によって、第2観察環境への切替えを行うと判定された場合において、特定動作によって、観察対象の拡大率を第2拡大率にして第2観察環境に切り替え、処理実行部によって、第2観察環境において観察対象を撮像して得られる第2医療画像に基づいて、疾患の状態に関する疾患状態処理を行うプロセッサ装置。
【符号の説明】
【0102】
10 内視鏡システム
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
12e アングルノブ
12f モード切替スイッチ
12g 静止画取得指示部
12h ズーム操作部
14 光源装置
16 プロセッサ装置
18 ディスプレイ
19 ユーザーインターフェース
20 光源部
20a V-LED
20b B-LED
20c G-LED
20d R-LED
21 光源制御部
23 光路結合部
25 ライトガイド
30a 照明光学系
30b 撮像光学系
32 照明レンズ
42 対物レンズ
43 ズームレンズ
44 撮像センサ
45 撮像制御部
46 CDS/AGC回路
47 拡大率表示部
48 A/Dコンバータ
49 拡大率表示部
49a 横長バー
49b 上限表示バー
50 画像取得部
52 DSP
54 ノイズ低減部
58 画像処理部
60 映像信号生成部
62 通常光画像生成部
64 特殊光画像生成部
64a 色差拡張画像生成部
66 疾患関連処理部
70 逆ガンマ変換部
71 Log変換部
72 信号比算出部
73 極座標変換部
74 色差拡張部
76 彩度強調処理部
77 色相強調処理部
78 直交座標変換部
79 RGB変換部
81 明るさ調整部
81a 第1明るさ情報算出部
81b 第2明るさ情報算出部
82 構造強調部
83 逆Log変換部
84 ガンマ変換部
86 切替判定用指標値算出部
87 切替判定部
88 観察環境切替部
90 処理実行部
90a 寛解判定用指標値算出部
90b 寛解判定部
100 内視鏡システム
102 広帯域光源
104 回転フィルタ
105 フィルタ切替部
106 撮像センサ
107 通常光用フィルタ
107a Bフィルタ
107b Gフィルタ
107c Rフィルタ
108 特殊光用フィルタ
108a Bnフィルタ
108b Gnフィルタ
200 内視鏡システム
203 紫色レーザ光源部
204 青色レーザ光源部
208 光源制御部
210 蛍光体
600 診断支援装置
602 医療画像処理システム
604 PACS
610 医療業務支援装置
621 第1医療画像処理システム
622 第2医療画像処理システム
623 第N医療画像処理システム
626 ネットワーク