特許 7621512 画像処理装置、光免疫治療システム、画像処理方法及び画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-01-16

(45)【発行日】2025-01-24

(54)【発明の名称】画像処理装置、光免疫治療システム、画像処理方法及び画像処理プログラム

(51)【国際特許分類】

   A61B 1/00 20060101AFI20250117BHJP

   A61B 1/045 20060101ALI20250117BHJP

   A61N 5/06 20060101ALI20250117BHJP

   A61N 5/067 20060101ALI20250117BHJP

【ＦＩ】

A61B1/00 511

A61B1/045 610

A61B1/00 621

A61N5/06 Z

A61N5/067

【請求項の数】 9

(21)【出願番号】P 2023570540

(86)(22)【出願日】2021-12-27

(86)【国際出願番号】 JP2021048668

(87)【国際公開番号】W WO2023127053

(87)【国際公開日】2023-07-06

【審査請求日】2024-03-05

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】若菜 和明

【審査官】▲高▼ 芳徳

(56)【参考文献】

【文献】国際公開第２０１９／２１５７９６（ＷＯ，Ａ１）

【文献】特開２００２－１０２１４７（ＪＰ，Ａ）

【文献】国際公開第２０１９／２３００９５（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １／００ － １／３２

Ａ６１Ｂ １０／００

Ａ６１Ｎ ５／０６ － ５／０８

Ａ６１Ｂ １８／２０ － １８／２８

(57)【特許請求の範囲】

【請求項1】

薬剤を反応させる治療光によって得られる蛍光画像を取得する蛍光画像取得部と、
前記蛍光画像の蛍光強度の分布に基づいて画像の階調範囲を設定する階調範囲設定部と、
前記階調範囲設定部が設定した階調範囲に応じて階調を割り当てることによって、階調拡大画像を生成する階調拡大画像生成部と、
を備え、
前記蛍光画像取得部は、前記治療光の照射開始時における初期蛍光画像を取得し、
前記初期蛍光画像と、前記治療光照射時の蛍光画像との蛍光強度の差分を表現する差分画像を生成する差分画像生成部、をさらに備え、
前記階調範囲設定部は、前記差分に対して階調範囲を設定する、
画像処理装置。

【請求項2】

前記階調範囲設定部は、前記差分画像の差分の最大値又は最小値に対して予め設定される条件にしたがって階調範囲を設定するクリップ処理を行う、
請求項１に記載の画像処理装置。

【請求項3】

薬剤を反応させる治療光を出射する治療光出射部と、
前記治療光の照射開始時における初期蛍光画像、および前記治療光照射時の蛍光画像を取得する蛍光画像取得部と、
前記初期蛍光画像と、前記治療光照射時の蛍光画像との蛍光強度の差分を表現する差分画像を生成する差分画像生成部と、
前記蛍光画像の蛍光強度の分布に基づいて画像の階調範囲を設定する階調範囲設定部と、
前記階調範囲設定部が設定した階調範囲に応じて階調を割り当てることによって、階調拡大画像を生成する階調拡大画像生成部と、
を備え、
前記階調範囲設定部は、前記差分に対して階調範囲を設定する、
光免疫治療システム。

【請求項4】

蛍光画像取得部が、薬剤を反応させる治療光の照射開始時における初期蛍光画像、および、前記治療光照射時の蛍光画像を取得する蛍光画像取得ステップと、
差分画像生成部が、前記初期蛍光画像と、前記治療光照射時の蛍光画像との蛍光強度の差分を表現する差分画像を生成する差分画像生成ステップと、
階調範囲設定部が、前記差分に対して画像の階調範囲を設定する階調範囲設定ステップと、
階調拡大画像生成部が、前記階調範囲設定部が設定した階調範囲に応じて階調を割り当てることによって、階調拡大画像を生成する階調拡大画像生成ステップと、
を含む画像処理方法。

【請求項5】

薬剤を反応させる治療光の照射開始時における初期蛍光画像、および、前記治療光照射時の蛍光画像を取得する蛍光画像取得ステップと、
差分画像生成部が、前記初期蛍光画像と、前記治療光照射時の蛍光画像との蛍光強度の差分を表現する差分画像を生成する差分画像生成ステップと、
前記差分に対して画像の階調範囲を設定する階調範囲設定ステップと、
前記階調範囲設定ステップで設定した階調範囲に応じて階調を割り当てることによって、階調拡大画像を生成する階調拡大画像生成ステップと、
をコンピュータに実行させる画像処理プログラム。

【請求項6】

薬剤を反応させる治療光の照射開始時における初期蛍光画像、および、前記治療光照射時の蛍光画像を取得する蛍光画像取得部と、
前記初期蛍光画像と、前記治療光照射時の蛍光画像との蛍光強度の差分を表現する差分画像を生成する差分画像生成部と、
前記初期蛍光画像における蛍光量と、治療が完了したと判断される蛍光画像に相当する減衰目標画像における蛍光量との差分の最大値を最大値とする階調範囲を設定する階調範囲設定部と、
前記階調範囲設定部が設定した階調範囲に応じて階調を割り当てることによって、階調拡大画像を生成する階調拡大画像生成部と、
を備える画像処理装置。

【請求項7】

薬剤を反応させる治療光を出射する治療光出射部と、
前記治療光の照射開始時における初期蛍光画像、および、前記治療光照射時の蛍光画像を取得する蛍光画像取得部と、
前記初期蛍光画像と、前記治療光照射時の蛍光画像との蛍光強度の差分を表現する差分画像を生成する差分画像生成部と、
前記初期蛍光画像における蛍光量と、治療が完了したと判断される蛍光画像に相当する減衰目標画像における蛍光量との差分の最大値を最大値とする階調範囲を設定する階調範囲設定部と、
前記階調範囲設定部が設定した階調範囲に応じて階調を割り当てることによって、階調拡大画像を生成する階調拡大画像生成部と、
を備える光免疫治療システム。

【請求項8】

蛍光画像取得部が、薬剤を反応させる治療光の照射開始時における初期蛍光画像、および、前記治療光照射時の蛍光画像を取得する蛍光画像取得ステップと、
差分画像生成部が、前記初期蛍光画像と、前記治療光照射時の蛍光画像との蛍光強度の差分を表現する差分画像を生成する差分画像生成ステップと、
階調範囲設定部が、前記初期蛍光画像における蛍光量と、治療が完了したと判断される蛍光画像に相当する減衰目標画像における蛍光量との差分の最大値を最大値とする階調範囲を設定する階調範囲設定ステップと、
階調拡大画像生成部が、前記階調範囲設定部が設定した階調範囲に応じて階調を割り当てることによって、階調拡大画像を生成する階調拡大画像生成ステップと、
を含む画像処理方法。

【請求項9】

薬剤を反応させる治療光の照射開始時における初期蛍光画像、および、前記治療光照射時の蛍光画像を取得する蛍光画像取得ステップと、
前記初期蛍光画像と、前記治療光照射時の蛍光画像との蛍光強度の差分を表現する差分画像を生成する差分画像生成ステップと、
前記初期蛍光画像における蛍光量と、治療が完了したと判断される蛍光画像に相当する減衰目標画像における蛍光量との差分の最大値を最大値とする階調範囲を設定する階調範囲設定ステップと、
前記階調範囲設定ステップで設定した階調範囲に応じて階調を割り当てることによって、階調拡大画像を生成する階調拡大画像生成ステップと、
をコンピュータに実行させる画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、光免疫治療システム、画像処理方法及び画像処理プログラムに関する。

【背景技術】

【0002】

近年、抗体薬剤を癌細胞のタンパク質に特異的に結合させ、治療光である近赤外光の照射によって抗体薬剤を活性化させて癌細胞を破壊することによって癌の治療を行う光免疫療法（Photoimmunotherapy：ＰＩＴ）の研究が進められている。近赤外光が照射された抗体薬剤は、癌細胞を膨張させ、該癌細胞の細胞死を誘導する。この際、抗体薬剤は、励起されることによって蛍光を発する。この蛍光の強度は、治療効果の指標として用いられる。

【0003】

また、蛍光の強度によって治療の評価を行う技術としては、血中に導入したインドシアニングリーン（Indocyanine Green：ＩＣＧ）を用いて、このＩＣＧの蛍光を撮像することによって皮下の血液循環を観察する技術が知られている（例えば、特許文献１を参照）。特許文献１では、観察画像において、全体の階調を表現するためにコントラストやダイナミックレンジの圧縮を行っている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１６－１３５２５３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、ＰＩＴでは、観察される蛍光強度の減少によって治療が完了したか否かを判断している。この際、治療が完了に近付くと蛍光強度が小さくなるが、蛍光強度が小さいと、画像において視覚的に蛍光の変化を認識することが難しくなる。治療の進捗や完了を正確に判断するには、蛍光の変化を的確に把握することが求められる。

【0006】

本発明は、上記に鑑みてなされたものであって、蛍光強度の変化を正確に把握することができる画像処理装置、光免疫治療システム、画像処理方法及び画像処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

上述した課題を解決し、目的を達成するために、本発明にかかる画像処理装置は、薬剤を反応させる治療光によって得られる蛍光画像を取得する蛍光画像取得部と、前記蛍光画像の蛍光強度の分布に基づいて画像の階調範囲を設定する階調範囲設定部と、前記階調範囲設定部が設定した階調範囲に応じて階調を割り当てることによって、階調拡大画像を生成する階調拡大画像生成部と、を備える。

【0008】

また、本発明にかかる画像処理装置は、上記発明において、前記蛍光画像取得部は、前記治療光の照射開始時における初期蛍光画像を取得し、前記初期蛍光画像と、前記治療光照射時の蛍光画像との蛍光強度の差分を表現する差分画像を生成する差分画像生成部、をさらに備え、前記階調範囲設定部は、前記差分に対して階調範囲を設定する。

【0009】

また、本発明にかかる画像処理装置は、上記発明において、前記階調範囲設定部は、前記蛍光画像の蛍光強度の最大値又は最小値に対して予め設定される条件にしたがって階調範囲を設定するクリップ処理を行う。

【0010】

また、本発明にかかる画像処理装置は、上記発明において、前記階調範囲設定部は、前記差分画像の差分の最大値又は最小値に対して予め設定される条件にしたがって階調範囲を設定するクリップ処理を行う。

【0011】

また、本発明にかかる画像処理装置は、上記発明において、前記階調範囲設定部は、前記最大値又は前記最小値に対して予め設定される比率にしたがって階調範囲を設定する。

【0012】

また、本発明にかかる画像処理装置は、上記発明において、前記階調範囲設定部は、前記蛍光画像に対して設定される減衰目標値に基づいて階調範囲を設定する。

【0013】

また、本発明にかかる画像処理装置は、上記発明において、前記蛍光画像に対して前記階調範囲設定部が階調範囲を設定する関心領域を設定する制御部、をさらに備える。

【0014】

また、本発明にかかる光免疫治療システムは、薬剤を反応させる治療光を出射する治療光出射部と、前記治療光によって得られる蛍光画像を取得する蛍光画像取得部と、前記蛍光画像の蛍光強度の分布に基づいて画像の階調範囲を設定する階調範囲設定部と、前記階調範囲設定部が設定した階調範囲に応じて階調を割り当てることによって、階調拡大画像を生成する階調拡大画像生成部と、を備える。

【0015】

また、本発明にかかる画像処理方法は、蛍光画像取得部が、薬剤を反応させる治療光によって得られる蛍光画像を取得する蛍光画像取得ステップと、階調範囲設定部が、前記蛍光画像の蛍光強度の分布に基づいて画像の階調範囲を設定する階調範囲設定ステップと、階調拡大画像生成部が、前記階調範囲設定部が設定した階調範囲に応じて階調を割り当てることによって、階調拡大画像を生成する階調拡大画像生成ステップと、を含む。

【0016】

また、本発明にかかる画像処理プログラムは、薬剤を反応させる治療光によって得られる蛍光画像を取得する蛍光画像取得ステップと、前記蛍光画像の蛍光強度の分布に基づいて画像の階調範囲を設定する階調範囲設定ステップと、前記階調範囲設定ステップで設定した階調範囲に応じて階調を割り当てることによって、階調拡大画像を生成する階調拡大画像生成ステップと、をコンピュータに実行させる。

【発明の効果】

【0017】

本発明によれば、蛍光強度の変化を正確に把握することができるという効果を奏する。

【図面の簡単な説明】

【0018】

【図1】図１は、本発明の実施の形態１にかかる内視鏡システムの概略構成を示す図である。

【図2】図２は、本発明の実施の形態１にかかる内視鏡システムの概略構成を示すブロック図である。

【図3】図３は、本発明の実施の形態１にかかる内視鏡の先端構成を説明する図である。

【図4】図４は、本発明の実施の形態１にかかる内視鏡を用いた治療の流れの一例を示す図である。

【図5】図５は、本発明の実施の形態１にかかる処理装置の処理の一例を示すフローチャートである。

【図6】図６は、蛍光像を含む観察画像の一例を示す図である。

【図7】図７は、図６に示す観察画像における蛍光量を示す蛍光画像を示す図である。

【図8】図８は、関心領域における蛍光強度と出現頻度との関係を示す図である。

【図9】図９は、蛍光画像の画素に対する蛍光強度分布の一例を示す図（その１）である。

【図10】図１０は、蛍光画像の画素に対する蛍光強度分布の一例を示す図（その２）である。

【図11】図１１は、図７に示す蛍光画像に階調拡大処理を施した階調拡大画像の一例を示す図である。

【図12】図１２は、図７に示す蛍光画像に階調拡大処理を施した階調拡大画像の他の表示例を示す図（その１）である。

【図13】図１３は、図７に示す蛍光画像に階調拡大処理を施した階調拡大画像の他の表示例を示す図（その２）である。

【図14】図１４は、本発明の実施の形態１にかかる階調拡大処理について説明するための図（その１）である。

【図15】図１５は、本発明の実施の形態１の変形例にかかるクリップ処理について説明するための図である。

【図16】図１６は、本発明の実施の形態２にかかる内視鏡システムの概略構成を示すブロック図である。

【図17】図１７は、本発明の実施の形態２にかかる処理装置の処理の一例を示すフローチャートである。

【図18】図１８は、異なる時刻に取得した対応画素の蛍光量の一例を示す図である。

【図19】図１９は、差分画像の一例を示す図である。

【図20】図２０は、差分画像の画素に対する蛍光量差分の分布と、階調範囲の一例を示す図（その１）である。

【図21】図２１は、差分画像の画素に対する蛍光量差分の分布と、階調範囲の一例を示す図（その２）である。

【図22】図２２は、図１９に示す差分画像に階調拡大処理を施した階調拡大画像の一例を示す図である。

【図23】図２３は、異なる時刻に取得した対応画素の蛍光量の一例を示す図である。

【図24】図２４は、差分画像の一例を示す図である。

【図25】図２５は、差分画像の画素に対する蛍光量差分の分布と、階調範囲の一例を示す図（その１）である。

【図26】図２６は、差分画像の画素に対する蛍光量差分の分布と、階調範囲の一例を示す図（その２）である。

【図27】図２７は、図２４に示す差分画像に階調拡大処理を施した階調拡大画像の一例を示す図である。

【図28】図２８は、本発明の実施の形態３にかかる処理装置の処理の一例を示すフローチャートである。

【図29】図２９は、異なる時刻に取得した対応画素の蛍光量の一例を示す図である。

【図30】図３０は、蛍光画像の画素に対する蛍光量差分の分布の一例を示す図（その１）である。

【図31】図３１は、蛍光画像の画素に対する蛍光量差分の分布の一例を示す図（その２）である。

【図32】図３２は、階調範囲の最小値の設定の一例について説明する図である。

【発明を実施するための形態】

【0019】

以下、本発明を実施するための形態（以下、「実施の形態」という）を説明する。実施の形態では、本発明に係る画像処理装置、光免疫治療システムおよび蛍光内視鏡を含むシステムの一例として、患者等の被検体内の画像を撮像して表示する医療用の内視鏡システムについて説明する。また、この実施の形態によって、この発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付して説明する。

【0020】

（実施の形態１）
図１は、本発明の実施の形態１に係る内視鏡システムの概略構成を示す図である。図２は、本実施の形態１に係る内視鏡システムの概略構成を示すブロック図である。図３は、本実施の形態１にかかる内視鏡の先端構成を説明する図である。

【0021】

図１および図２に示す内視鏡システム１は、被検体内に先端部を挿入することによって被検体の体内画像を撮像する内視鏡２と、内視鏡２の先端から出射する照明光を発生する光源装置３と、内視鏡２が撮像した撮像信号に所定の信号処理を施すとともに、内視鏡システム１全体の動作を統括的に制御する処理装置４と、処理装置４の信号処理によって生成された体内画像を表示する表示装置５と、処置装置６とを備える。

【0022】

内視鏡２は、可撓性を有する細長形状をなす挿入部２１と、挿入部２１の基端側に接続され、各種の操作信号の入力を受け付ける操作部２２と、操作部２２から挿入部２１が延びる方向と異なる方向に延び、光源装置３および処理装置４に接続する各種ケーブルを内蔵するユニバーサルコード２３と、を備える。

【0023】

挿入部２１は、光を受光して光電変換することによって信号を生成する画素が２次元状に配列された撮像素子２４４を内蔵した先端部２４と、複数の湾曲駒によって構成された湾曲自在な湾曲部２５と、湾曲部２５の基端側に接続され、可撓性を有する長尺状の可撓管部２６と、を有する。挿入部２１は、被検体の体腔内に挿入され、外光の届かない位置にある生体組織などの被写体を撮像素子２４４によって撮像する。

【0024】

操作部２２は、湾曲部２５を上下方向および左右方向に湾曲させる湾曲ノブ２２１と、被検体の体腔内に治療光照射装置、生検鉗子、電気メスおよび検査プローブ等の処置具を挿入する処置具挿入部２２２と、処理装置４に加えて、送気手段、送水手段、画面表示制御等の周辺機器の操作指示信号を入力する操作入力部である複数のスイッチ２２３と、を有する。処置具挿入部２２２から挿入される処置具は、先端部２４の処置具チャンネル（図示せず）を経由して開口部から表出する（図３参照）。

【0025】

ユニバーサルコード２３は、ライトガイド２４１と、一または複数の信号線をまとめた集合ケーブル２４５と、を少なくとも内蔵している。ユニバーサルコード２３は、操作部２２に接続する側と反対側の端部において分岐している。ユニバーサルコード２３の分岐端部には、光源装置３に着脱自在なコネクタ２３１と、処理装置４に着脱自在なコネクタ２３２とが設けられる。コネクタ２３１は、端部からライトガイド２４１の一部が延出している。ユニバーサルコード２３は、光源装置３から出射された照明光を、コネクタ２３１（ライトガイド２４１）、操作部２２および可撓管部２６を経て先端部２４に伝播する。また、ユニバーサルコード２３は、先端部２４に設けられた撮像素子２４４が撮像した画像信号を、コネクタ２３２を経由して、処理装置４に伝送する。集合ケーブル２４５は、撮像信号を伝送するための信号線や、撮像素子２４４を駆動するための駆動信号を伝送するための信号線、内視鏡２（撮像素子２４４）に関する固有情報などを含む情報を送受信するための信号線を含む。なお、本実施の形態では、信号線を用いて電気信号を伝送するものとして説明するが、光信号を伝送するものであってもよいし、無線通信によって内視鏡２と処理装置４との間で信号を伝送するものであってもよい。

【0026】

先端部２４は、グラスファイバ等を用いて構成されて光源装置３が発光した光の導光路をなすライトガイド２４１と、ライトガイド２４１の先端に設けられた照明レンズ２４２と、集光用の光学系２４３と、光学系２４３の結像位置に設けられ、光学系２４３が集光した光を受光して電気信号に光電変換して所定の信号処理を施す撮像素子２４４とを有する。

【0027】

光学系２４３は、一または複数のレンズを用いて構成される。光学系２４３は、撮像素子２４４の受光面上に観察像を結像させる。なお、光学系２４３は、画角を変化させる光学ズーム機能および焦点を変化させるフォーカス機能を有してもよい。

【0028】

撮像素子２４４は、光学系２４３からの光を光電変換して電気信号（画像信号）を生成する。撮像素子２４４は、光量に応じた電荷を蓄積するフォトダイオードや、フォトダイオードから転送される電荷を電圧レベルに変換するコンデンサなどをそれぞれ有する複数の画素がマトリックス状に配列されてなる。撮像素子２４４は、各画素が光学系２４３を経て入射する光を光電変換して電気信号を生成し、複数の画素のうち読み出し対象として任意に設定された画素が生成した電気信号を順次読み出して、画像信号として出力する。撮像素子２４４は、例えばＣＣＤ（Charge Coupled Device）イメージセンサや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いて実現される。

【0029】

なお、内視鏡２は、撮像素子２４４が各種動作を実行するための実行プログラムおよび制御プログラムや、内視鏡２の識別情報を含むデータを記憶するメモリを有する（図示せず）。識別情報には、内視鏡２の固有情報（ＩＤ）、年式、スペック情報、および伝送方式等が含まれる。また、メモリは、撮像素子２４４が生成した画像データ等を一時的に記憶してもよい。

【0030】

なお、内視鏡２は、撮像素子２４４が各種動作を実行するための実行プログラムおよび制御プログラムや、内視鏡２の識別情報を含むデータを記憶するメモリを有する（図示せず）。識別情報には、内視鏡２の固有情報（ＩＤ）、年式、スペック情報、および伝送方式等が含まれる。また、メモリは、撮像素子２４４が生成した画像データ等を一時的に記憶してもよい。

【0031】

光源装置３の構成について説明する。光源装置３は、光源部３１と、照明制御部３２と、光源ドライバ３３とを備える。光源部３１は、照明制御部３２の制御のもと、被写体（被検体）に対して、異なる露光量の照明光を順次切り替えて出射する。

【0032】

光源部３１は、光源や、一または複数のレンズ等を用いて構成され、光源の駆動により光（照明光）を出射する。光源部３１発生した光は、ライトガイド２４１を経由して先端部２４の先端から被写体に向けて出射される。光源部３１は、白色光源３１１を有する。

【0033】

白色光源３１１は、可視広域の波長帯域を有する光（白色光）を出射する。白色光源３１１は、ＬＥＤ光源のほか、レーザー光源、キセノンランプ、ハロゲンランプなどのいずれかの光源を用いて実現される。

【0034】

照明制御部３２は、処理装置４からの制御信号（調光信号）に基づいて、光源部３１に供給する電力量を制御するとともに、発光させる光源や、光源の駆動タイミングを制御する。

【0035】

光源ドライバ３３は、照明制御部３２の制御のもと、発光対象の光源に対して電流を供給することにより、光源部３１に光を出射させる。

【0036】

処理装置４の構成について説明する。処理装置４は、画像処理部４１と、同期信号生成部４２と、入力部４３と、制御部４４と、記憶部４５と、を備える。

【0037】

画像処理部４１は、内視鏡２から、撮像素子２４４が撮像した各色の照明光の画像データを受信する。画像処理部４１は、内視鏡２からアナログの画像データを受信した場合はＡ／Ｄ変換を行ってデジタルの撮像信号を生成する。また、画像処理部４１は、内視鏡２から光信号として画像データを受信した場合は光電変換を行ってデジタルの画像データを生成する。

【0038】

画像処理部４１は、内視鏡２から受信した画像データに対して所定の画像処理を施して画像を生成して表示装置５へ出力したり、画像に基づいて判定した強化領域を設定したり、蛍光強度の時間変化を算出したりする。画像処理部４１は、白色光画像生成部４１１と、蛍光画像生成部４１２と、階調範囲設定部４１３と、階調拡大画像生成部４１４とを有する。

【0039】

白色光画像生成部４１１は、白色光によって形成される像に基づく白色光画像を生成する。

【0040】

蛍光画像生成部４１２は、蛍光によって形成される像に基づく蛍光画像を生成する。

【0041】

階調範囲設定部４１３は、蛍光強度に基づいて、階調設定を行う画像の範囲（例えば輝度の範囲等）を設定する。

【0042】

階調拡大画像生成部４１４は、階調範囲設定部４１３が設定した階調範囲に応じて階調を割り当てることによって、階調拡大画像を生成する。階調拡大画像生成部４１４は、例えば蛍光画像の一部の階調を拡大した階調拡大画像を生成する。

【0043】

白色光画像生成部４１１、蛍光画像生成部４１２および階調拡大画像生成部４１４は、所定の画像処理を施すことによって画像を生成する。ここで、所定の画像処理とは、同時化処理、階調補正処理および色補正処理等である。同時化処理は、ＲＧＢの各色成分の画像データを同時化する処理である。階調補正処理は、画像データに対して階調の補正を行う処理である。色補正処理は、画像データに対して色調補正を行う処理である。なお、白色光画像生成部４１１、蛍光画像生成部４１２および階調拡大画像生成部４１４は、画像の明るさに応じてゲイン調整してもよい。

【0044】

画像処理部４１は、ＣＰＵ（Central Processing Unit）等の汎用プロセッサや、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。なお、画像処理部４１は、Ｒ画像データ、Ｇ画像データおよびＢ画像データを保持するフレームメモリを有する構成としてもよい。

【0045】

同期信号生成部４２は、処理装置４の動作の基準となるクロック信号（同期信号）を生成するとともに、生成した同期信号を光源装置３や、画像処理部４１、制御部４４、内視鏡２へ出力する。ここで、同期信号生成部４２が生成する同期信号は、水平同期信号と垂直同期信号とを含む。
このため、光源装置３、画像処理部４１、制御部４４、内視鏡２は、生成された同期信号によって、互いに同期をとって動作する。

【0046】

入力部４３は、キーボード、マウス、スイッチ、タッチパネルを用いて実現され、内視鏡システム１の動作を指示する動作指示信号等の各種信号の入力を受け付ける。なお、入力部４３は、操作部２２に設けられたスイッチや、外部のタブレット型のコンピュータなどの可搬型端末を含んでもよい。

【0047】

制御部４４は、撮像素子２４４および光源装置３を含む各構成部の駆動制御、および各構成部に対する情報の入出力制御などを行う。制御部４４は、記憶部４５に記憶されている撮像制御のための制御情報データ（例えば、読み出しタイミングなど）を参照し、集合ケーブル２４５に含まれる所定の信号線を経由して駆動信号として撮像素子２４４へ送信する。また、制御部４４は、観察する光に応じてモードを切り替えてもよい。制御部４４は、例えば、白色光の照明によって得られる画像を観察する通常観察モードと、治療光の照明によって得られる蛍光画像を観察する蛍光観察モードとを切り替える。制御部４４は、ＣＰＵ等の汎用プロセッサやＡＳＩＣ等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。

【0048】

記憶部４５は、内視鏡システム１を動作させるための各種プログラム、および内視鏡システム１の動作に必要な各種パラメータ等を含むデータを記憶する。また、記憶部４５は、処理装置４の識別情報を記憶する。ここで、識別情報には、処理装置４の固有情報（ＩＤ）、年式およびスペック情報等が含まれる。

【0049】

また、記憶部４５は、処理装置４の画像取得処理方法を実行するための画像取得処理プログラムを含む各種プログラムを記憶する。各種プログラムは、ハードディスク、フラッシュメモリ、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、フレキシブルディスク等のコンピュータ読み取り可能な記録媒体に記録して広く流通させることも可能である。なお、上述した各種プログラムは、通信ネットワークを経由してダウンロードすることによって取得することも可能である。ここでいう通信ネットワークは、例えば既存の公衆回線網、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）などによって実現されるものであり、有線、無線を問わない。

【0050】

以上の構成を有する記憶部４５は、各種プログラム等が予めインストールされたＲＯＭ（Read Only Memory）、および各処理の演算パラメータやデータ等を記憶するＲＡＭやハードディスク等を用いて実現される。

【0051】

表示装置５は、映像ケーブルを経由して処理装置４（画像処理部４１）から受信した画像信号に対応する表示用の画像を表示する。表示装置５は、液晶または有機ＥＬ（Electro Luminescence）等のモニタを用いて構成される。

【0052】

処置装置６は、処置具操作部６１と、処置具操作部６１から延びる可撓性の処置具６２とを有する。ＰＩＴに使用される処置具６２は、治療のための光（以下、治療光という）を出射する治療光出射部である。処置具操作部６１は、処置具６２の治療光の出射を制御する。処置具操作部６１は、操作入力部６１１を有する。操作入力部６１１は、例えば、スイッチ等によって構成される。処置具操作部６１は、操作入力部６１１への入力（例えばスイッチの押下）によって、処置具６２に治療光を出射させる。なお、処置装置６において、治療光を発する光源は、処置具６２に設けられてもよいし、処置具操作部６１に設けられてもよい。光源は、半導体レーザーや、ＬＥＤ等を用いて実現される。治療光は、例えばＰＩＴの場合、６８０ｎｍ以上の波長帯域の光であり、例えば６９０ｎｍを中心波長とする光である。
ここで、処置具６２が備える照明光学系は、治療光の照射範囲を変更できる構成としてもよい。例えば、処置具操作部６１の制御のもと、焦点距離を変更可能な光学系や、ＤＭＤ（Digital Micromirror Device）等によって構成され、被写体に照射する光のスポット径や、照射範囲の形状を変更することができる。

【0053】

続いて、内視鏡２を用いた治療の流れについて、図４を参照して説明する。図４は、本発明の実施の形態１にかかる内視鏡を用いた治療の流れの一例を示す図である。図４は、ＰＩＴの実施の一例を示す図であり、胃ＳＴに挿入部２１を挿入して治療を行う。

【0054】

まず、術者は、胃ＳＴ内に挿入部２１を挿入する（図４の（ａ）参照）。この際、術者は、光源装置３に白色光を照射させ、表示装置５が表示する胃ＳＴ内の白色光画像を観察しながら治療位置を探索する。ここでは、治療対象として腫瘍Ｂ₁、Ｂ₂の治療を行うものとする。この際、治療対象部位である腫瘍Ｂ₁、Ｂ₂に対して、抗体薬剤の投与が行われる。抗体薬剤の投与は、内視鏡２を用いて実施してもよいし、他の機器を用いて実施してもよいし、患者に薬剤を飲み込ませてもよい。
術者は、白色光画像を観察して腫瘍Ｂ₁、Ｂ₂を含む領域を照射領域として決定する。また、必要に応じて、照射領域に励起光等を照射してもよい。

【0055】

術者は、先端部２４を腫瘍Ｂ₁に向け、内視鏡２の先端から処置具６２を突出させて腫瘍Ｂ₁に治療光を照射する（図４の（ｂ）参照）。治療光の照射によって、腫瘍Ｂ₁に結合した抗体薬剤が反応し、腫瘍Ｂ₁に対する治療が施される。

【0056】

そして、術者は、先端部２４を腫瘍Ｂ₂に向け、内視鏡２の先端から処置具６２を突出させて腫瘍Ｂ₂に治療光を照射する（図４の（ｃ）参照）。治療光の照射によって、腫瘍Ｂ₂に結合した抗体薬剤が反応し、腫瘍Ｂ₂に対する治療が施される。

【0057】

その後、術者は、先端部２４を腫瘍Ｂ₁に向け、内視鏡２の先端から腫瘍Ｂ₁に治療光や励起光を照射する（図４の（ｄ）参照）。術者は、治療後の蛍光画像を取得することによって腫瘍Ｂ₁における治療効果を確認する。治療効果の確認は、例えば後述する画像の観察によって、術者が判断する。なお、本実施の形態では、治療光によって得られる蛍光を観察する例について説明する。

【0058】

また、術者は、先端部２４を腫瘍Ｂ₂に向け、内視鏡２の先端から腫瘍Ｂ₂に治療光を照射する（図４の（ｅ）参照）。術者は、治療後の蛍光画像を取得することによって腫瘍Ｂ₂における治療効果を確認する。

【0059】

術者は、必要に応じて、治療光の追加照射と、治療効果の確認とを繰り返す。

【0060】

続いて、処理装置４における処理について、図５を参照して説明する。図５は、本発明の一実施の形態にかかる処理装置の処理の一例を示すフローチャートである。図５は、ＰＩＴにおいて、白色光を照射して、被写体（ここでは抗体薬剤を結合させた癌細胞を含む領域）を探索し、該被写体に治療光を照射して、蛍光強度から治療効果を確認する際の処理を示す。術者は、表示装置５に表示される白色光画像を観察しながら、治療箇所を探索する。なお、処理装置４では、観察する光に応じて観察モードを変更してもよい。

【0061】

まず、術者の操作によって、処置具６２から、癌細胞に結合させた抗体薬剤に治療光が照射されて薬剤が反応する（ステップＳ１０１：薬剤反応工程）。この薬剤反応工程において、治療光である近赤外光の照射によって抗体薬剤を活性化させて癌細胞を破壊する治療が施される。

【0062】

なお、制御部４４は、治療光の照射によって、観察モードを蛍光観察モードに設定してもよい。この際の制御部４４の治療光出射の判断は、例えば操作入力部６１１の操作信号の受信、または術者の入力部４３への治療光照射開始入力のいずれかによって実行される。

【0063】

治療光が照射されている状態において、内視鏡２は、治療光によって発生する蛍光を検出する（ステップＳ１０２：蛍光検出工程）。治療光の出射によって、被写体の抗体薬剤が励起されて蛍光を発する。蛍光画像生成部４１２は、撮像信号に基づいて、蛍光画像、又は、蛍光を含む白色光画像を生成する。

【0064】

図６は、蛍光像を含む観察画像の一例を示す図である。図７は、図６に示す観察画像における蛍光量を示す蛍光画像を示す図である。図６は、白色光及び治療光を照射した場合に得られる観察画像の一例を示す。図６に示す観察画像Ｗ１では、白色光によって照明された反射光が表現されるとともに、治療光が照射され抗体薬剤が発する蛍光が表現される。図７に示す蛍光画像Ｆ１では、蛍光によって形成される像が表現される。なお、蛍光画像は、撮像素子２４４において、プリズム等によって蛍光のみを分離して、撮像素子２４４において白色光と蛍光とを互いに異なる位置で受光させたり、フィルタ等によって蛍光のみを通過させたりすることによって生成できる。

【0065】

ここで、観察画像Ｗ１と蛍光画像Ｆ１とは、被検体における同じ領域を撮像した画像である。また、観察画像Ｗ１及び蛍光画像Ｆ１には、関心領域Ｒ１が設定される。関心領域は、予め画像に対して位置が設定されるものであってもよいし、入力部４３への入力によって術者が任意に設定するものであってもよいし、画像の特徴部分を検出して、制御部４４が設定するものであってもよい。また、制御部４４は、取得時刻が異なる画像や、白色光画像と蛍光画像との間における対応位置に応じて、関心領域の位置を調整して追従させる。この際、制御部４４は、パターンマッチング等の公知の方法によって画像間の対応位置を検出する。

【0066】

その後、階調範囲設定部４１３が、蛍光強度の出現頻度を示すヒストグラムを生成する（ステップＳ１０３：ヒストグラム生成工程）。図８は、関心領域における蛍光強度と出現頻度との関係を示す図である。図８は、蛍光強度の出現頻度を示すヒストグラムである。階調範囲設定部４１３は、例えば図８に示すヒストグラムを生成する。このヒストグラムにおいて、蛍光強度には、関心領域に蛍光画像の輝度が用いられる。なお、輝度は、予め設定した間隔で分割してもよく、例えば、０～２５５を１０個の範囲に分けてもよい。具体的には、例えば、０～２５、２６～５１、５２～７６、７７～１０２、１０３～１２７、１２８～１５３、１５４～１７８、１７９～２０４、２０５～２２９、２３０～２５５に分け、輝度に応じて各画素を振り分ける。

【0067】

階調範囲設定部４１３は、ヒストグラム生成後、階調範囲の設定を行う（ステップＳ１０４：階調範囲設定工程）。階調範囲設定部４１３は、予め設定されている出現頻度の閾値Ｆ_TH以上の蛍光強度を、階調変更範囲に設定する。例えば、図８において、蛍光強度Ｐ_Lから蛍光強度Ｐ_Hまでの範囲を階調変更範囲に設定する。その後、階調範囲設定部４１３は、蛍光画像の各画素の蛍光強度分布において、階調変更範囲に対応する蛍光強度の範囲を、階調範囲に設定する。

【0068】

図９及び図１０は、蛍光画像の画素に対する蛍光強度分布の一例を示す図である。図９に示す階調変更前の蛍光強度分布では、例えば最小の蛍光強度（例えば０）から最大の蛍光強度（例えば輝度の上限値（２５５））に対して、階調が設定される。これに対し、図１０に示す階調変更後の蛍光強度分布では、ヒストグラムに基づいて設定された最小の蛍光強度Ｐ_Lから最大の蛍光強度Ｐ_Hに対して、階調が設定される。この際、最小の蛍光強度Ｐ_Lの輝度が０、最大の蛍光強度Ｐ_Hの輝度が２５５に設定され、階調変更範囲Ｒ_P内において、輝度が割り振られる。この際の階調拡大率は、最大階調値（ここでは２５５）を階調変更前の蛍光画像の最大輝度値で除した値に相当する。

【0069】

階調範囲設定後、階調拡大画像生成部４１４は、ステップＳ１０４において設定された階調範囲に基づいて、蛍光強度に輝度を割り振った階調拡大画像を生成する（ステップＳ１０５）。

【0070】

その後、制御部４４は、生成された階調拡大画像を表示装置５に表示させる（ステップＳ１０６：表示工程）。図１１は、図７に示す蛍光画像に階調拡大処理を施した階調拡大画像の一例を示す図である。図１１に示す階調拡大画像Ｔ１では、図７に示す蛍光画像と比して、蛍光が一層明確に表現された画像となっている。

【0071】

図１２及び図１３は、図７に示す蛍光画像に階調拡大処理を施した階調拡大画像の他の表示例を示す図である。階調拡大画像生成部４１４は、図１１に示す階調拡大画像のほか、階調を反転させた階調拡大画像Ｔ２（図１２参照）や、蛍光強度に応じた色を付与した蛍光量のカラーマップを示す階調拡大画像Ｔ３（図１３参照）を生成してもよい。

【0072】

以上説明した実施の形態１では、蛍光強度の分布に基づいて階調を変更する範囲を設定し、設定した階調変更範囲の最小蛍光強度から最大蛍光強度までの範囲において階調を割り振ることによって、蛍光を明確に表現する階調拡大画像を生成し、表示装置５に表示させる。本実施の形態１によれば、蛍光画像の蛍光強度の分布に応じて、多数を占める蛍光強度の範囲に限定して階調を設定し、階調拡大画像を生成するため、蛍光強度の変化を正確に把握することができる。

【0073】

ＰＩＴでは、治療光の照射の経過にともない試薬からの蛍光量が減少することを利用して、蛍光量を用いて治療の進捗状態を把握する。この際、初期の蛍光強度が大きい状態から、治療終了直前の蛍光強度が小さい状態までを、同じダイナミックレンジで表示すると、蛍光強度の小さい状態では、部分的な強度の違いが認識しにくくなる。そこで、蛍光量の減少に応じて表示する表示対象とする蛍光量（蛍光強度）の範囲を選択して、表示するダイナミックレンジを割り当て、蛍光強度の低い領域での階調を拡大することで、治療が進んで蛍光強度が低くなった領域での蛍光強度の部分的な違いが認識しやすくなる。

【0074】

図１４は、本発明の実施の形態１にかかる階調拡大処理について説明するための図である。蛍光強度に応じて階調拡大処理を繰り返すによって、蛍光検出量の最大減衰値Ｐ_THに至るまでの間、蛍光画像の蛍光強度の分布に応じて、多数を占める蛍光強度の範囲に限定して階調を設定することによって、蛍光強度の大きさによらず、蛍光強度の変化を正確に把握することができる。

【0075】

（実施の形態１の変形例）
次に、実施の形態１の変形例について説明する。本変形例にかかる内視鏡システムは、実施の形態１にかかる内視鏡システム１と同じであるため、説明を省略する。変形例では、蛍光量の差分の値に応じて階調設定を行う蛍光量の範囲を調整するクリップ処理を実施する。図１５は、本発明の実施の形態１の変形例にかかるクリップ処理について説明するための図である。

【0076】

階調範囲設定部４１３は、予め設定される条件にしたがって、階調設定を行う蛍光量の範囲を設定する。本変形例では、階調設定範囲の最小値は、予め設定される最小値Ｐ_MINに設定される。また、階調設定範囲の最大値は、蛍光量の最大値Ｐ_Hに対して予め設定した比率を乗じた最大値Ｐ_MAXに設定される。本変形例では、例えば比率として０．８（８０％）が設定される。なお、この比率は任意に設定することができる。また、階調設定範囲の最小値も、蛍光量の最小値に対して予め設定された比率を乗じてもよい。

【0077】

本変形例によれば、実施の形態１と同様の効果を得ることができるとともに、蛍光量が検出された領域の一部の蛍光変化を詳細に表現することができる。

【0078】

（実施の形態２）
次に、実施の形態２について説明する。図１６は、本発明の実施の形態２にかかる内視鏡システムの概略構成を示すブロック図である。本実施の形態２にかかる内視鏡システム１Ａは、実施の形態１にかかる内視鏡システム１の処理装置４に代えて処理装置４Ａを備える。処理装置４Ａ以外の構成は内視鏡システム１と同じであるため、説明を省略する。

【0079】

処理装置４Ａの構成について説明する。処理装置４Ａは、画像処理部４１Ａと、同期信号生成部４２と、入力部４３と、制御部４４と、記憶部４５と、を備える。

【0080】

画像処理部４１Ａは、白色光画像生成部４１１と、蛍光画像生成部４１２と、階調範囲設定部４１３と、階調拡大画像生成部４１４と、差分画像生成部４１５と、を有する。

【0081】

差分画像生成部４１５は、互いに撮像時刻が異なる二つの蛍光画像における、蛍光量の差分を示す差分画像を生成する。ここで、差分画像は、二つの蛍光画像において、被写体における位置が互いに対応する画素同士の蛍光量の差分をとった画像である。

【0082】

続いて、処理装置４Ａにおける処理について、図１７を参照して説明する。図１７は、本実施の形態２にかかる処理装置の処理の一例を示すフローチャートである。

【0083】

まず、治療を開始する前に、治療光を照射して、治療前の蛍光を検出する（ステップＳ２０１：初期蛍光検出工程）。この工程によって、治療開始前の蛍光画像が得られる。この治療開始前の蛍光画像は、基準蛍光画像として、記憶部４５に記憶される。

【0084】

その後、術者の操作によって、処置具６２から、癌細胞に結合させた抗体薬剤に治療光が照射されて薬剤が反応する（ステップＳ２０２：薬剤反応工程）。薬剤反応処理によって、処置具６２から被写体に治療光が照射され、癌細胞を破壊する治療が施される。

【0085】

内視鏡２は、治療光によって発生する蛍光を検出する（ステップＳ２０３：蛍光検出工程）。治療光の出射によって、被写体の抗体薬剤が励起されて蛍光を発する。蛍光画像生成部４１２は、撮像信号に基づいて、蛍光画像、又は、蛍光を含む白色光画像を生成する。

【0086】

その後、差分画像生成部４１５が、ステップＳ２０１で取得した治療開始前の蛍光画像（基準蛍光画像）と、ステップＳ２０３で取得した蛍光画像との差分画像を生成する（ステップＳ２０４：差分画像生成工程）。

【0087】

図１８は、異なる時刻に取得した対応画素の蛍光量の一例を示す図である。図１８に示す蛍光量曲線Ｌ１は、基準蛍光画像における各画素（例えば関心領域に位置する画素）の蛍光量を示す。また、蛍光量曲線Ｌ２は、基準蛍光画像とは異なる時刻に取得した蛍光画像の画素であって、基準蛍光量の画素位置と対応する画素の蛍光量を示す。ここでの蛍光量は、蛍光画像の輝度値に相当する。図１８に示す蛍光量曲線Ｌ２では、治療光によって反応が進んだ部分の蛍光量が低下している。

【0088】

差分画像生成部４１５は、基準蛍光画像の蛍光量と、蛍光画像の蛍光量との差を算出し、その差によって表現される差分画像を生成する。図１９は、差分画像の一例を示す図である。図１９に示す差分画像Ｄ１は、基準蛍光画像の蛍光量と、蛍光画像の蛍光量との差分（蛍光変化量）を表現する画像である。基準蛍光画像の蛍光量と、蛍光画像の蛍光量との差分が小さい場合は差分を視覚的に識別することは難しい。差分を明確に表現するため、最大の差分に相当する範囲（最大差分範囲）において階調を設定する。例えば、図１８では、蛍光量差分の最小値（ここでは差分ゼロ）から最大値ＰＤ_Hまでの範囲Ｒ_D１が最大差分範囲（最大差分範囲Ｒ_D１ともいう）に相当する。

【0089】

階調範囲設定部４１３は、差分画像生成後、階調範囲の設定を行う（ステップＳ２０５：階調範囲設定工程）。図２０及び図２１は、差分画像の画素に対する蛍光量差分の分布と、階調範囲の一例を示す図である。階調範囲設定部４１３は、最大差分範囲Ｒ_D１に基づいて、予め設定されている蛍光量差分の上限設定値を変更して、階調範囲を変更する。例えば、階調範囲設定部４１３は、図２０において、最大差分範囲Ｒ_D１を階調変更範囲に設定する。階調範囲の変更によって、蛍光量差分の最小値から最大値ＰＤ_Hまでに対して輝度が割り振られる（図２１参照）。

【0090】

階調範囲設定後、階調拡大画像生成部４１４は、ステップＳ２０５において設定された階調範囲に基づいて、蛍光強度に輝度を割り振った階調拡大画像を生成する（ステップＳ２０６）。

【0091】

その後、制御部４４は、生成された階調拡大画像を表示装置５に表示させる（ステップＳ２０７：表示工程）。図２２は、図１９に示す差分画像に階調拡大処理を施した階調拡大画像の一例を示す図である。図２２に示す階調拡大画像Ｔ４では、図１９に示す差分画像と比して、蛍光量の差分が一層明確に表現された画像となっている。なお、図２２に示す階調拡大画像のほか、階調を反転させた階調拡大画像（図１２参照）や、蛍光強度に応じた色を付与した蛍光量のカラーマップを示す階調拡大画像（図１３参照）を生成してもよい。

【0092】

また、治療が進み、治療前の蛍光量と比して蛍光量が十分に低下した場合においても、上述した階調変更処理が実行される。図２３は、異なる時刻に取得した対応画素の蛍光量の一例を示す図である。図２３に示す蛍光量曲線Ｌ３は、基準蛍光画像とは異なる時刻であって、治療が進んだ時刻に取得した蛍光画像の画素であって、基準蛍光量の画素位置と対応する画素の蛍光量を示す。

【0093】

差分画像生成部４１５は、基準蛍光画像の蛍光量と、蛍光画像の蛍光量との差を算出し、その差によって表現される差分画像を生成する。図２４は、差分画像の一例を示す図である。図２４に示す差分画像Ｄ２は、基準蛍光画像の蛍光量と、蛍光画像の蛍光量との差分（蛍光変化量）を表現する画像である。

【0094】

図２５及び図２６は、差分画像の画素に対する蛍光量差分の分布と、階調範囲の一例を示す図である。階調範囲設定部４１３は、最大差分範囲Ｒ_D２に基づいて、予め設定されている蛍光量差分の上限設定値を変更して、階調範囲を変更する。例えば、階調範囲設定部４１３は、図２３において、最大差分範囲Ｒ_D２を階調変更範囲に設定する。階調範囲の変更によって、蛍光量差分の最小値（ここではゼロ）から最大値ＰＤ_Hまでに対して輝度が割り振られる（図２６参照）。

【0095】

階調範囲設定後、階調拡大画像生成部４１４は、設定された階調範囲に基づいて、蛍光強度に輝度を割り振った階調拡大画像を生成する。その後、制御部４４は、生成された階調拡大画像を表示装置５に表示させる。図２７は、図２４に示す差分画像に階調拡大処理を施した階調拡大画像の一例を示す図である。図２７に示す階調拡大画像Ｔ５では、図２４に示す差分画像と比して、蛍光量の差分が一層明確に表現された画像となっている。

【0096】

以上説明した実施の形態２では、蛍光強度の差分に基づいて階調を変更する範囲を設定し、設定した階調変更範囲において階調を割り振ることによって、蛍光を明確に表現する階調拡大画像を生成し、表示装置５に表示させる。本実施の形態２によれば、蛍光画像の蛍光強度の分布に応じて、多数を占める蛍光強度の範囲に限定して階調を設定し、階調拡大画像を生成するため、蛍光強度の変化を正確に把握することができる。

【0097】

また、実施の形態２では、蛍光強度の差分に対して階調範囲を設定し、その差分を表現する差分画像の階調を変更して表示するため、術者は蛍光量の変化を直接視認することができる。本実施の形態２によれば、蛍光量の変化を一層正確に術者に把握させることができる。

【0098】

なお、実施の形態２では、上述した変形例のクリップ処理を採用することができる。この場合、予め設定される最小値及び最大値、又は、差分に対する比率によって階調設定範囲が決定される。

【0099】

（実施の形態３）
次に、実施の形態３について説明する。本実施の形態３にかかる内視鏡システムは、実施の形態２にかかる内視鏡システム１Ａと同じであるため、説明を省略する。なお、本実施の形態３では、記憶部４５が、蛍光量の減衰目標画像を記憶する。この減衰目標画像は、治療が完了したと判断される蛍光画像に相当する。図２８は、本実施の形態３にかかる処理装置の処理の一例を示すフローチャートである。

【0100】

まず、治療を開始する前に、図１７のステップＳ２０１と同様にして、治療光を照射して、治療前の蛍光を検出する（ステップＳ３０１：初期蛍光検出工程）。

【0101】

その後、術者の操作によって、処置具６２から、癌細胞に結合させた抗体薬剤に治療光が照射されて薬剤が反応する（ステップＳ３０２：薬剤反応工程）。薬剤反応処理によって、癌細胞を破壊する治療が施される。

【0102】

内視鏡２は、治療光によって発生する蛍光を検出する（ステップＳ３０３：蛍光検出工程）。治療光の出射によって、被写体の抗体薬剤が励起されて蛍光を発する。蛍光画像生成部４１２は、撮像信号に基づいて、蛍光画像、又は、蛍光を含む白色光画像を生成する。

【0103】

その後、制御部４４は、記憶部４５を参照して減衰目標画像を読み出し、該減衰目標画像と、基準蛍光画像との減衰目標差分値の最大値を算出する（ステップＳ３０４：減衰目標値算出工程）。

【0104】

図２９は、異なる時刻に取得した対応画素の蛍光量の一例を示す図である。図２９に示す蛍光量曲線Ｌ１は、基準蛍光画像における各画素（例えば関心領域に位置する画素）の蛍光量を示す。また、蛍光量曲線Ｌ２は、基準蛍光画像とは異なる時刻に取得した蛍光画像の画素であって、治療中の、基準蛍光量の画素位置と対応する画素の蛍光量を示す。蛍光量曲線Ｌ４は、減衰目標画像における蛍光量を示す。蛍光量曲線Ｌ１と、蛍光量曲線Ｌ４との差分が、減衰目標差分値となり、その最大値は、減衰差分の最大値ＰＤ_Hとなる。

【0105】

その後、差分画像生成部４１５が、ステップＳ２０１で取得した治療開始前の蛍光画像（基準蛍光画像）と、ステップＳ２０３で取得した蛍光画像との差分画像を生成する（ステップＳ３０５：差分画像生成工程）。

【0106】

階調範囲設定部４１３は、差分画像生成後、階調範囲の設定を行う（ステップＳ３０６：階調範囲設定工程）。図３０及び図３１は、蛍光画像の画素に対する蛍光量差分の分布と、階調範囲の一例を示す図である。階調範囲設定部４１３は、最大差分範囲Ｒ_D１に基づいて、予め設定されている蛍光量差分の上限設定値（図３０参照）を変更して、階調範囲を変更する。例えば、階調範囲設定部４１３は、蛍光量曲線Ｌ２を示す蛍光画像の場合、蛍光量曲線Ｌ１と蛍光量曲線Ｌ４との差分を算出し、その最大値ＰＤ_Hを最大値とする範囲を階調変更範囲に設定する（図３１参照）。階調範囲の変更によって、蛍光量差分の最小値（ここではゼロ）から最大値ＰＤ_Hまでに対して輝度が割り振られる。

【0107】

階調範囲設定後、階調拡大画像生成部４１４は、ステップＳ３０６において設定された階調範囲に基づいて、蛍光強度に輝度を割り振った階調拡大画像を生成する（ステップＳ３０７）。

【0108】

その後、制御部４４は、生成された階調拡大画像を表示装置５に表示させる（ステップＳ３０８：表示工程）。

【0109】

以上説明した実施の形態３では、蛍光強度の差分に基づいて階調を変更する範囲を設定し、設定した階調変更範囲において階調を割り振ることによって、蛍光を明確に表現する階調拡大画像を生成し、表示装置５に表示させる。本実施の形態３によれば、蛍光画像の蛍光強度の分布に応じて、多数を占める蛍光強度の範囲に限定して階調を設定し、階調拡大画像を生成するため、蛍光強度の変化を正確に把握することができる。

【0110】

また、実施の形態３では、減衰目標の蛍光強度を用いて階調範囲を設定し、その差分を表現する差分画像の階調を変更して表示するため、治療の完了を判断する蛍光量の変化を一層確実に確認することができる。本実施の形態３によれば、蛍光量の変化を一層正確に術者に把握させることができる。

【0111】

なお、上述した実施の形態３では、階調設定処理において、蛍光量の最小値をゼロとして階調範囲の設定を行う例について説明したが、術者が差分画像や蛍光画像に対して最小値の設定を行ってもよい。図３２は、階調範囲の最小値の設定の一例について説明する図である。図３２に示す設定画面Ｑ１では、カーソルＣ１の位置における蛍光量（又は輝度値）のレベルが表示される。術者は、最小値として設定する位置にカーソルＣ１を合わせて、その位置における蛍光量（又は輝度値）のレベルを確認しつつ、そのレベルを最小値として設定することができる。なお、この最小値の設定は、実施の形態１、２においても適用することができる。

【0112】

また、上述した実施の形態において、治療光によって治療と抗体薬剤の励起とを行う例について説明したが、抗体薬剤を励起させるための励起光を別で照射する構成としてもよい。この場合、例えば、光源装置が、励起光を出射する励起光源を設けた構成とする。

【0113】

なお、上述した実施の形態では、光源装置３が、処理装置４とは別体である例を説明したが、光源装置３および処理装置４を一体化した構成としてもよい。また、実施の形態では、処置具によって治療光を照射する例について説明したが、光源装置３が治療光を出射する構成としてもよい。

【0114】

また、上述した実施の形態では、本発明にかかる内視鏡システムが、観察対象が被検体内の生体組織などである軟性の内視鏡２を用いた内視鏡システム１であるものとして説明したが、硬性の内視鏡や、材料の特性を観測する工業用の内視鏡、ファイバースコープ、光学視管などの光学内視鏡の接眼部にカメラヘッドを接続したものを用いた内視鏡システムであっても適用できる。

【産業上の利用可能性】

【0115】

以上のように、本発明にかかる画像処理装置、光免疫治療システム、画像処理方法及び画像処理プログラムは、蛍光強度の変化を正確に把握するのに有用である。

【符号の説明】

【0116】

１、１Ａ 内視鏡システム
２ 内視鏡
３ 光源装置
４、４Ａ 処理装置
５ 表示装置
６ 処置装置
２１ 挿入部
２２ 操作部
２３ ユニバーサルコード
２４ 先端部
２５ 湾曲部
２６ 可撓管部
３１ 光源部
３２ 照明制御部
３３ 光源ドライバ
４１ 画像処理部
４２ 同期信号生成部
４３ 入力部
４４ 制御部
４５ 記憶部
６１ 処置具操作部
６２ 処置具
３１１ 白色光源
４１１ 白色光画像生成部
４１２ 蛍光画像生成部
４１３ 階調範囲設定部
４１４ 階調拡大画像生成部
４１５ 差分画像生成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】