(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-10
(45)【発行日】2024-01-18
(54)【発明の名称】医療用画像処理装置、医療用撮像装置、医療用観察システム、医療用画像処理装置の作動方法およびプログラム
(51)【国際特許分類】
A61B 1/00 20060101AFI20240111BHJP
A61B 1/045 20060101ALI20240111BHJP
【FI】
A61B1/00 513
A61B1/045 610
A61B1/00 511
(21)【出願番号】P 2022507019
(86)(22)【出願日】2020-03-09
(86)【国際出願番号】 JP2020010105
(87)【国際公開番号】W WO2021181484
(87)【国際公開日】2021-09-16
【審査請求日】2022-07-15
(73)【特許権者】
【識別番号】000000376
【氏名又は名称】オリンパス株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】河野 秀太郎
(72)【発明者】
【氏名】小山 雄高
(72)【発明者】
【氏名】小笠原 弘太郎
【審査官】永田 浩司
(56)【参考文献】
【文献】特開2003-528(JP,A)
【文献】特開平7-155292(JP,A)
【文献】米国特許出願公開第2003/0078477(US,A1)
【文献】特開2018-126174(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 1/00
(57)【特許請求の範囲】
【請求項1】
医療用画像処理装置であって、以下を備える、
以下を実行する様に構成されたプロセッサ、
生体組織に対して狭帯域光を照射した場合の前記生体組織からの反射光、及び、前記狭帯域光が前記生体組織に照射されることで蛍光を発する観察対象からの蛍光の少なくとも一方を撮像することによって生成された画像データを取得して、取得した前記画像データに基づいて、赤色の成分を示す赤色成分信号、緑色の成分を示す緑色成分信号および青色の成分を示す青色成分信号から成る色成分信号を有する撮像画像を生成し、
前記撮像画像の画素における、前記赤色成分信号、前記緑色成分信号および前記青色成分信号のうち前記蛍光への感度が高い蛍光成分信号と、前記赤色成分信号、前記緑色成分信号および前記青色成分信号のうち前記狭帯域光が前記生体組織に照射された際に前記生体組織からの反射光に感度が高い反射光成分信号と、の強度比を算出し、
前記撮像画像の画素の強度比に基づいて、前記撮像画像における蛍光領域と背景領域とを判定し、
前記蛍光領域と前記背景領域とを判定した判定結果に基づいて、前記蛍光領域に位置する画素の前記色成分信号および前記背景領域に位置する画素の前記色成分信号の各々に対して互いに異なるパラメータの画像処理を行うことによって蛍光画像を生成する、
医療用画像処理装置。
【請求項2】
請求項1に記載の医療用画像処理装置であって、
前記観察対象は、
前記生体組織に熱処置を施すことによって生じる終末糖化産物である、
医療用画像処理装置。
【請求項3】
請求項2に記載の医療用画像処理装置であって、
前記蛍光成分信号は、
前記緑色成分信号であり、
前記反射光成分信号は、
前記青色成分信号である、
医療用画像処理装置。
【請求項4】
請求項1に記載の医療用画像処理装置であって、
前記観察対象は、
蛍光物質を含む薬剤である、
医療用画像処理装置。
【請求項5】
請求項4に記載の医療用画像処理装置であって、
前記蛍光成分信号は、
前記赤色成分信号であり、
前記反射光成分信号は、
前記青色成分信号である、
医療用画像処理装置。
【請求項6】
請求項1~5のいずれか一つに記載の医療用画像処理装置であって、
前記プロセッサは、
前記蛍光領域に位置する画素の前記色成分信号に対するゲインを、前記背景領域に位置する画素の前記色成分信号に対するゲインより大きくしたゲイン調整処理を前記画像処理として行う、
医療用画像処理装置。
【請求項7】
請求項1~6のいずれか一つに記載の医療用画像処理装置であって、
前記プロセッサは、
前記撮像画像の明るさを検出し、
前記明るさに基づいて、前記蛍光領域と前記背景領域とを判定するための閾値を設定し、
ここで、前記プロセッサは、
設定した前記閾値と前記強度比とに基づいて、前記蛍光領域と前記背景領域とを判定する、
医療用画像処理装置。
【請求項8】
請求項7に記載の医療用画像処理装置であって、
前記プロセッサは、
当該医療用画像処理装置に接続可能な医療用撮像装置の種別を示す種別情報に基づいて、前記強度比の前記蛍光成分信号および前記反射光成分信号を設定する、
医療用画像処理装置。
【請求項9】
請求項8に記載の医療用画像処理装置であって、
当該医療用画像処理装置は、
第1の医療用撮像装置または第2の医療用撮像装置を接続可能であり、
前記第1の医療用撮像装置は、
2次元マトリクス状に配置されてなる複数の画素を有する画素部と、前記複数の画素の各々の受光面に赤色フィルタ、緑色フィルタおよび青色フィルタのいずれか一つが設けられてなるカラーフィルタと、を有する第1の撮像素子を備え、
前記第2の医療用撮像装置は、
2次元マトリクス状に配置されてなる複数の画素を有する画素部と、前記複数の画素の各々の受光面に赤色フィルタ、緑色フィルタおよび青色フィルタのいずれか一つが設けられてなるカラーフィルタと、を有する第2の撮像素子と、
前記第2の撮像素子に受光面に被写体像を結像する光学系と、
前記第2の撮像素子と前記光学系との光路上に設けられたカットフィルタと、
を備え、
前記カットフィルタは、
前記狭帯域光の波長帯域を含む短波長側の一部の光を遮光する一方、前記遮光する波長帯域より長波長側の波長帯域を透過し、
前記プロセッサは、
前記第1の医療用撮像装置および前記第2の医療用撮像装置のいずれか一方の前記種別情報に基づいて、前記強度比の前記蛍光成分信号および前記反射光成分信号を設定する、
医療用画像処理装置。
【請求項10】
請求項9に記載の医療用画像処理装置であって、
前記プロセッサは、
前記種別情報に基づいて、当該医療用画像処理装置に前記第1の医療用撮像装置または前記第2の医療用撮像装置が接続されたか否かを判断し、
当該医療用画像処理装置に前記第1の医療用撮像装置が接続されたと判断した場合、前記赤色成分信号と、前記青色成分信号と、を用いて、前記強度比を算出し、
当該医療用画像処理装置に前記第2の医療用撮像装置が接続されたと判断した場合、前記緑色成分信号と、前記青色成分信号と、を用いて、前記強度比を算出する、
医療用画像処理装置。
【請求項11】
請求項10に記載の医療用画像処理装置であって、
前記蛍光は、
波長帯域が500nm~640nmである、
医療用画像処理装置。
【請求項12】
請求項11に記載の医療用画像処理装置であって、
前記狭帯域光は、
波長帯域が390nm~470nmであり、
前記カットフィルタは、
前記470nmより短波長側の一部の光を遮光する、
医療用画像処理装置。
【請求項13】
請求項2に記載の医療用画像処理装置であって、
前記終末糖化産物は、
エネルギーデバイスによる熱処置によって生成される、
医療用画像処理装置。
【請求項14】
2次元マトリクス状に配置されてなる複数の画素を有する画素部と、前記複数の画素の各々の受光面に赤色フィルタ、緑色フィルタおよび青色フィルタのいずれか一つが設けられてなるカラーフィルタと、を有する撮像素子と、
前記撮像素子に受光面に被写体像を結像する光学系と、
前記撮像素子と前記光学系との光路上に設けられたカットフィルタと、
を備え、
前記撮像素子は、
生体組織に対して短波長側の狭帯域光を照射した場合の前記生体組織からの反射光および前記生体組織に熱処置を施すことによって生じる終末糖化産物からの蛍光の少なくとも一方を撮像することによって画像データを生成し、
前記カットフィルタは、
前記狭帯域光の波長帯域を含む短波長側の一部の光をカットする一方、前記カットする波長帯域より長波長側の波長帯域を透過する、
医療用撮像装置。
【請求項15】
医療用観察システムであって、以下を備える、
狭帯域光を照射可能な光源装置、
画像データを生成する医療用撮像装置、
以下を実行する様に構成されたプロセッサ、を有する医療用画像処理装置、
生体組織に対して前記狭帯域光を照射した場合の前記生体組織からの反射光、及び、前記狭帯域光が前記生体組織に照射されることで蛍光を発する観察対象からの蛍光を撮像することによって生成された前記画像データを取得して、取得した前記画像データに基づいて、赤色の成分を示す赤色成分信号、緑色の成分を示す緑色成分信号および青色の成分を示す青色成分信号から成る色成分信号を有する撮像画像を生成し、
前記撮像画像の画素における、前記赤色成分信号、前記緑色成分信号および前記青色成分信号のうち前記蛍光への感度が高い蛍光成分信号と、前記赤色成分信号、前記緑色成分信号および前記青色成分信号のうち前記狭帯域光が前記生体組織に照射された際に前記生体組織からの反射光に感度が高い反射光成分信号と、の強度比を算出し、
前記撮像画像の画素の強度比に基づいて、前記撮像画像における蛍光領域と背景領域とを判定し、
前記蛍光領域と前記背景領域とを判定した判定結果に基づいて、前記蛍光領域に位置する画素の前記色成分信号および前記背景領域に位置する画素の前記色成分信号の各々に対して互いに異なるパラメータの画像処理を行うことによって蛍光画像を生成する、
医療用観察システム。
【請求項16】
請求項15に記載の医療用観察システムであって、
被検体内に挿入可能であり、前記反射光および前記蛍光を集光する光学系を有する挿入部をさらに備え、
前記挿入部は、
前記医療用撮像装置に対して着脱自在である、
医療用観察システム。
【請求項17】
請求項15に記載の医療用観察システムであって、
被検体内に挿入可能な先端部を有する挿入部を有する内視鏡をさらに備え、
前記医療用撮像装置は、
前記先端部に設けられてなる、
医療用観察システム。
【請求項18】
請求項15に記載の医療用観察システムであって、
前記医療用撮像装置を回動可能に支持する支持部と、
前記支持部の基端部を回動可能に保持し、床面上を移動可能なベース部と、
をさらに備える、
医療用観察システム。
【請求項19】
プロセッサを備える医療用画像処理装置の作動方法であって、
前記プロセッサが、
生体組織に対して狭帯域光
が照射
された場合の前記生体組織からの反射光、及び、前記狭帯域光が前記生体組織に照射されることで蛍光を発する観察対象からの蛍光の少なくとも一方
が撮像
されることによって生成された画像データを取得して、取得した前記画像データに基づいて、赤色の成分を示す赤色成分信号、緑色の成分を示す緑色成分信号および青色の成分を示す青色成分信号から成る色成分信号を有する撮像画像を生成し、
前記撮像画像の画素における、前記赤色成分信号、前記緑色成分信号および前記青色成分信号のうち前記蛍光への感度が高い蛍光成分信号と、前記赤色成分信号、前記緑色成分信号および前記青色成分信号のうち前記狭帯域光が前記生体組織に照射された際に前記生体組織からの反射光に感度が高い反射光成分信号と、の強度比を算出し、
前記撮像画像の画素の強度比に基づいて、前記撮像画像における蛍光領域と背景領域とを判定し、
前記蛍光領域と前記背景領域とを判定した判定結果に基づいて、前記蛍光領域に位置する画素の前記色成分信号および前記背景領域に位置する画素の前記色成分信号の各々に対して互いに異なるパラメータの画像処理を行うことによって蛍光画像を生成する、
医療用画像処理装置の作動方法。
【請求項20】
医療用画像処理装置が実行するプログラムであって、
生体組織に対して狭帯域光を照射した場合の前記生体組織からの反射光、及び、前記狭帯域光が前記生体組織に照射されることで蛍光を発する観察対象からの蛍光の少なくとも一方を撮像することによって生成された画像データを取得して、取得した前記画像データに基づいて、赤色の成分を示す赤色成分信号、緑色の成分を示す緑色成分信号および青色の成分を示す青色成分信号から成る色成分信号を有する撮像画像を生成し、
前記撮像画像の画素における、前記赤色成分信号、前記緑色成分信号および前記青色成分信号のうち前記蛍光への感度が高い蛍光成分信号と、前記赤色成分信号、前記緑色成分信号および前記青色成分信号のうち前記狭帯域光が前記生体組織に照射された際に前記生体組織からの反射光に感度が高い反射光成分信号と、の強度比を算出し、
前記撮像画像の画素の強度比に基づいて、前記撮像画像における蛍光領域と背景領域とを判定し、
前記蛍光領域と前記背景領域とを判定した判定結果に基づいて、前記蛍光領域に位置する画素の前記色成分信号および前記背景領域に位置する画素の前記色成分信号の各々に対して互いに異なるパラメータの画像処理を行うことによって蛍光画像を生成する、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、被検体を撮像することによって生成された画像データに対して画像処理を行う医療用画像処理装置、医療用撮像装置、医療用観察システム、画像処理方法およびプログラムに関する。
【背景技術】
【0002】
従来、内視鏡において、撮像素子の入射側に励起光をカットし、蛍光の波長を透過するフィルタを設けることによって、蛍光観察と可視光観察とを行う技術が知られている(例えば特許文献1参照)。この技術では、ランプが照射する白色光の光路上に配置した可視光照明フィルタと励起光照射用フィルタとを有する回転板を回転させて、蛍光観察のために照射する励起光と、可視光観察のために照射する白色光とを切り替えて照射することによって、蛍光観察と可視光観察とを1つの撮像素子で行う。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、上述した特許文献1では、被検体に照射された励起光の反射光の情報と、蛍光物質が発光する蛍光の情報と、に基づいて、背景画像に蛍光画像を重畳した重畳画像を生成している。このため、上述した特許文献1では、蛍光の波長帯域と励起光の波長帯域とが近い場合において、励起光と蛍光の分離性が悪いため蛍光の視認性が悪化するという問題点があった。
【0005】
本開示は、上記に鑑みてなされたものであって、蛍光の視認性を向上させる医療用画像処理装置、医療用撮像装置、医療用観察システム、画像処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示は、上記に鑑みてなされたものであって、医療用画像処理装置は、生体組織に対して狭帯域光を照射した場合の前記生体組織からの反射光、前記狭帯域光が前記生体組織に照射されることで蛍光を発する観察対象からの蛍光の少なくとも一方を撮像することによって生成された画像データを取得して、取得した前記画像データに基づいて、赤色の成分を示す赤色成分信号、緑色の成分を示す緑色成分信号および青色の成分を示す青色成分信号から成る色成分信号を有する撮像画像を生成するデモザイク処理部と、前記撮像画像の画素における、前記赤色成分信号、前記緑色成分信号および前記青色成分信号のうち前記蛍光への感度が高い蛍光成分信号と、前記赤色成分信号、前記緑色成分信号および前記青色成分信号のうち前記狭帯域光が前記生体組織に照射された際に前記生体組織からの反射光に感度が高い反射光成分信号と、の強度比を算出する算出部と、前記算出部が算出した前記撮像画像の画素の強度比に基づいて、前記撮像画像における蛍光領域と背景領域とを判定する判定部と、前記判定部が判定した判定結果に基づいて、前記蛍光領域に位置する画素の前記色成分信号および前記背景領域に位置する画素の前記色成分信号の各々に対して互いに異なるパラメータの画像処理を行うことによって蛍光画像を生成する生成部と、を備える。
【0007】
また、本開示に係る医療用画像処理装置は、上記開示において、前記観察対象は、前記生体組織に熱処置を施すことによって生じる終末糖化産物である。
【0008】
また、本開示に係る医療用画像処理装置は、上記開示において、前記蛍光成分信号は、前記緑色成分信号であり、前記反射光成分信号は、前記青色成分信号である。
【0009】
また、本開示に係る医療用画像処理装置は、上記開示において、前記観察対象は、蛍光物質を含む薬剤である。
【0010】
また、本開示に係る医療用画像処理装置は、上記開示において、前記蛍光成分信号は、前記赤色成分信号であり、前記反射光成分信号は、前記青色成分信号である。
【0011】
また、本開示に係る医療用画像処理装置は、上記開示において、前記生成部は、前記蛍光領域に位置する画素の前記色成分信号に対するゲインを、前記背景領域に位置する画素の前記色成分信号に対するゲインより大きくしたゲイン調整処理を前記画像処理として行う。
【0012】
また、本開示に係る医療用画像処理装置は、上記開示において、前記撮像画像の明るさを検出する検出部と、前記検出部が検出した前記明るさに基づいて、前記判定部が前記蛍光領域と前記背景領域とを判定するための閾値を設定する制御部と、をさらに備え、前記判定部は、前記制御部が設定した前記閾値と前記強度比とに基づいて、前記制御部は、当該医療用画像処理装置に接続可能な医療用撮像装置の種別を示す種別情報に基づいて、前記算出部が算出する前記強度比の前記蛍光成分信号および前記反射光成分信号を設定する。
【0013】
また、本開示に係る医療用画像処理装置は、上記開示において、当該医療用画像処理装置は、第1の医療用撮像装置または第2の医療用撮像装置を接続可能であり、前記第1の医療用撮像装置は、2次元マトリクス状に配置されてなる複数の画素を有する画素部と、前記複数の画素の各々の受光面に赤色フィルタ、緑色フィルタおよび青色フィルタのいずれか一つが設けられてなるカラーフィルタと、を有する撮像素子を備え、前記第2の医療用撮像装置は、2次元マトリクス状に配置されてなる複数の画素を有する画素部と、前記複数の画素の各々の受光面に赤色フィルタ、緑色フィルタおよび青色フィルタのいずれか一つが設けられてなるカラーフィルタと、を有する撮像素子と、前記撮像素子に受光面に被写体像を結像する光学系と、前記撮像素子と前記光学系との光路上に設けられたカットフィルタと、を備え、前記カットフィルタは、前記狭帯域光の波長帯域を含む短波長側の一部の光を遮光する一方、前記遮光する波長帯域より長波長側の波長帯域を透過し、前記制御部は、前記第1の医療用撮像装置および前記第2の医療用撮像装置のいずれか一方の前記種別情報に基づいて、前記算出部が算出する前記強度比の前記蛍光成分信号および前記反射光成分信号を設定する。
【0014】
また、本開示に係る医療用画像処理装置は、上記開示において、前記制御部は、前記種別情報に基づいて、当該医療用画像処理装置に前記第1の医療用撮像装置または前記第2の医療用撮像装置が接続されたか否かを判断し、当該医療用画像処理装置に前記第1の医療用撮像装置が接続されたと判断した場合、前記算出部に前記赤色成分信号と、前記青色成分信号と、を用いて、前記強度比を算出させ、当該医療用画像処理装置に前記第2の医療用撮像装置が接続されたと判断した場合、前記緑色成分信号と、前記青色成分信号と、を用いて、前記強度比を算出させる。
【0015】
また、本開示に係る医療用画像処理装置は、上記開示において、前記蛍光は、波長帯域が500nm~640nmである。
【0016】
また、本開示に係る医療用画像処理装置は、上記開示において、前記制御部は、前記種別情報に基づいて、当該医療用画像処理装置に前記第1の医療用撮像装置または前記第2の医療用撮像装置が接続されたか否かを判断し、当該医療用画像処理装置に前記第1の医療用撮像装置が接続されたと判断した場合、前記算出部に前記赤色成分信号と、前記青色成分信号と、を用いて、前記強度比を算出させ、当該医療用画像処理装置に前記第2の医療用撮像装置が接続されたと判断した場合、前記緑色成分信号と、前記青色成分信号と、を用いて、前記強度比を算出させる。
【0017】
また、本開示に係る医療用画像処理装置は、上記開示において、前記狭帯域光は、波長帯域が390nm~470nmであり、前記カットフィルタは、前記470nmより短波長側の一部の光を遮光する。
【0018】
また、本開示に係る医療用画像処理装置は、上記開示において、前記終末糖化産物は、エネルギーデバイスによる熱処置によって生成される。
【0019】
また、本開示に係る医療用撮像装置は、2次元マトリクス状に配置されてなる複数の画素を有する画素部と、前記複数の画素の各々の受光面に赤色フィルタ、緑色フィルタおよび青色フィルタのいずれか一つが設けられてなるカラーフィルタと、を有する撮像素子と、前記撮像素子に受光面に被写体像を結像する光学系と、前記撮像素子と前記光学系との光路上に設けられたカットフィルタと、を備え、前記撮像素子は、生体組織に対して短波長側の狭帯域光を照射した場合の前記生体組織からの反射光および前記生体組織に熱処置を施すことによって生じる終末糖化産物からの蛍光の少なくとも一方を撮像することによって画像データを生成し、前記カットフィルタは、前記狭帯域光の波長帯域を含む短波長側の一部の光をカットする一方、前記カットする波長帯域より長波長側の波長帯域を透過する。
【0020】
また、本開示に係る医療用観察システムは、上記の医療用画像処理装置と、前記狭帯域光を照射可能な光源装置と、前記画像データを生成する医療用撮像装置と、を備える。
【0021】
また、本開示に係る医療用観察システムは、上記開示において、被検体内に挿入可能であり、前記反射光および前記蛍光を集光する光学系を有する挿入部をさらに備え、前記挿入部は、前記医療用撮像装置に対して着脱自在である。
【0022】
また、本開示に係る医療用観察システムは、上記開示において、被検体内に挿入可能な先端部を有する挿入部を有する内視鏡をさらに備え、前記医療用撮像装置は、前記先端部に設けられてなる。
【0023】
また、本開示に係る医療用観察システムは、上記開示において、前記医療用撮像装置を回転可能に支持する支持部と、前記支持部の基端部を回動可能に保持し、床面上を移動可能なベース部と、をさらに備える。
【0024】
また、本開示に係る画像処理方法は、生体組織に対して狭帯域光を照射した場合の前記生体組織からの反射光、前記狭帯域光が前記生体組織に照射されることで蛍光を発する観察対象からの蛍光の少なくとも一方を撮像することによって生成された画像データを取得して、取得した前記画像データに基づいて、赤色の成分を示す赤色成分信号、緑色の成分を示す緑色成分信号および青色の成分を示す青色成分信号から成る色成分信号を有する撮像画像を生成し、前記撮像画像の画素における、前記赤色成分信号、前記緑色成分信号および前記青色成分信号のうち前記蛍光への感度が高い蛍光成分信号と、前記赤色成分信号、前記緑色成分信号および前記青色成分信号のうち前記狭帯域光が前記生体組織に照射された際に前記生体組織からの反射光に感度が高い反射光成分信号と、の強度比を算出し、前記撮像画像の画素の強度比に基づいて、前記撮像画像における蛍光領域と背景領域とを判定し、判定結果に基づいて、前記蛍光領域に位置する画素の前記色成分信号および前記背景領域に位置する画素の前記色成分信号の各々に対して互いに異なるパラメータの画像処理を行うことによって蛍光画像を生成する。
【0025】
また、本開示に係るプログラムは、生体組織に対して狭帯域光を照射した場合の前記生体組織からの反射光、前記狭帯域光が前記生体組織に照射されることで蛍光を発する観察対象からの蛍光の少なくとも一方を撮像することによって生成された画像データを取得して、取得した前記画像データに基づいて、赤色の成分を示す赤色成分信号、緑色の成分を示す緑色成分信号および青色の成分を示す青色成分信号から成る色成分信号有する撮像画像を生成し、前記撮像画像の画素における、前記赤色成分信号、前記緑色成分信号および前記青色成分信号のうち前記蛍光への感度が高い蛍光成分信号と、前記赤色成分信号、前記緑色成分信号および前記青色成分信号のうち前記狭帯域光が前記生体組織に照射された際に前記生体組織からの反射光に感度が高い反射光成分信号と、の強度比を算出し、前記撮像画像の画素の強度比に基づいて、前記撮像画像における蛍光領域と背景領域とを判定し、判定結果に基づいて、前記蛍光領域に位置する画素の前記色成分信号および前記背景領域に位置する画素の前記色成分信号の各々に対して互いに異なるパラメータの画像処理を行うことによって蛍光画像を生成させる。
【発明の効果】
【0026】
本開示によれば、蛍光の視認性を向上させることができるという効果を奏する。
【図面の簡単な説明】
【0027】
【
図1】
図1は、実施の形態1に係る内視鏡システムの概略構成を示す図である。
【
図2】
図2は、実施の形態1に係る内視鏡システムの要部の機能構成を示すブロック図である。
【
図3】
図3は、実施の形態1に係る第2の光源部の各々が発光する光の波長特性を模式的に示す図である。
【
図4】
図4は、実施の形態1に係る画素部の構成を模式的に示す図である。
【
図5】
図5は、実施の形態1に係るカラーフィルタの構成を模式的に示す図である。
【
図6】
図6は、実施の形態1に係る各フィルタの感度と波長帯域を模式的に示す図である。
【
図7A】
図7Aは、実施の形態1に係る撮像素子のR画素の信号値を模式的に示す図である。
【
図7B】
図7Bは、実施の形態1に係る撮像素子のG画素の信号値を模式的に示す図である。
【
図7C】
図7Cは、実施の形態1に係る撮像素子のB画素の信号値を模式的に示す図である。
【
図8】
図8は、実施の形態1に係る内視鏡システムが実行する処理の概要を示すフローチャートである。
【
図9】
図9は、
図8の薬剤蛍光観察モード処理の概要を示すフローチャートである。
【
図10】
図10は、実施の形態1に係る画像処理部による薬剤蛍光観察モード処理時における画像処理の概要を模式的に説明する図である。
【
図12】
図12は、実施の形態1に係る画像処理部による熱処置観察モード処理時における画像処理の概要を模式的に説明する図である。
【
図13】
図13は、
図8の通常光観察モード処理の概要を示すフローチャートである。
【
図14】
図14は、実施の形態2に係る内視鏡システムの要部の機能構成を示すブロック図である。
【
図15A】
図15Aは、実施の形態2に係るカットフィルタの透過特性を模式的に示す図である。
【
図15B】
図15Bは、実施の形態2に係るカットフィルタの別の透過特性を模式的に示す図である。
【
図16】
図16は、実施の形態2に係る薬剤蛍光観察モード時における観察原理を模式的に示す図である。
【
図17】
図17は、実施の形態2に係る熱処置観察モード時における観察原理を模式的に示す図である。
【
図18】
図18は、実施の形態2に係る通常光観察モード時における観察原理を模式的に示す図である。
【
図19】
図19は、実施の形態3に係る内視鏡システムが実行する処理の概要を示すフローチャートである。
【
図20】
図20は、実施の形態4に係る内視鏡システムの概略構成を示す図である。
【
図21】
図21は、実施の形態4に係る内視鏡システムの要部の機能構成を示すブロック図である。
【
図22】
図22は、実施の形態5に係る手術用顕微鏡システムの概略構成を示す図である。
【発明を実施するための形態】
【0028】
以下、本開示を実施するための形態を図面とともに詳細に説明する。なお、以下の実施の形態により本開示が限定されるものでない。また、以下の説明において参照する各図は、本開示の内容を理解でき得る程度に形状、大きさ、および位置関係を概略的に示してあるに過ぎない。即ち、本開示は、各図で例示された形状、大きさ、および位置関係のみに限定されるものでない。さらに、図面の記載において、同一の部分には同一の符号を付して説明する。さらにまた、本開示に係る医療用観察システムの一例として、硬性鏡および医療用撮像装置を備える内視鏡システムについて説明する。
【0029】
(実施の形態1)
〔内視鏡システムの構成〕
図1は、実施の形態1に係る内視鏡システムの概略構成を示す図である。
図1に示す内視鏡システム1は、医療分野に用いられ、生体等の被検体内の生体組織を観察するシステムである。なお、実施の形態1では、内視鏡システム1として、
図1に示す硬性鏡(挿入部2)を用いた硬性内視鏡システムについて説明するが、これに限定されることなく、例えば軟性の内視鏡を備えた内視鏡システムであってもよいし、被検体を撮像する医療用撮像装置を備え、この医療用撮像装置によって撮像された画像データに基づく表示画像を表示装置に表示させながら手術や処置等を行う医療用顕微鏡システムであっても適用することができる。
【0030】
また、
図1に示す内視鏡システム1は、被検体の生体組織における観察対象に、5-アミノレブリン酸(以下、「5-ALA」という)等の光感受性物質が投与等の処置が施された被検体に対してPDD(Photodynamic Diagnosis)観察を行う際に用いられる。さらに、
図1に示す内視鏡システム1は、熱処置が可能な電気メスやエネルギーデバイス等の処置具(図示せず)を用いて被検体の手術や処置を行う際に用いられる。
【0031】
図1に示す内視鏡システム1は、挿入部2と、光源装置3と、ライトガイド4と、内視鏡カメラヘッド5(内視鏡用撮像装置)と、第1の伝送ケーブル6と、表示装置7と、第2の伝送ケーブル8と、制御装置9と、第3の伝送ケーブル10と、を備える。
【0032】
挿入部2は、硬質または少なくとも一部が軟性で細長形状を有する。挿入部2は、トロッカーを経由して患者等の被検体内に挿入される。挿入部2は、内部に観察像を結像するレンズ等の光学系が設けられている。
【0033】
光源装置3は、ライトガイド4の一端が接続され、制御装置9による制御のもと、ライトガイド4の一端に被検体内に照射する照明光を供給する。光源装置3は、LED(Light Emitting Diode)光源、キセノンランプおよびLD(laser Diode)等の半導体レーザ素子のいずれかの1つ以上の光源と、FPGA(Field Programmable Gate Array)やCPU(Central Processing Unit)等のハードウェアを有する処理装置であるプロセッサと、プロセッサが使用する一時的な記憶域であるメモリを用いて実現される。なお、光源装置3および制御装置9は、
図1に示すように個別に通信する構成をしてもよいし、一体化した構成であってもよい。
【0034】
ライトガイド4は、一端が光源装置3に着脱自在に接続され、かつ、他端が挿入部2に着脱自在に接続される。ライトガイド4は、光源装置3から供給された照明光を一端から端に導光し、挿入部2へ供給する。
【0035】
内視鏡カメラヘッド5は、挿入部2の接眼部21が着脱自在に接続される。内視鏡カメラヘッド5は、制御装置9による制御のもと、挿入部2によって結像された観察像を受光して光電変換を行うことによって画像データ(RAWデータ)を生成し、この画像データを第1の伝送ケーブル6を経由して制御装置9へ出力する。
【0036】
第1の伝送ケーブル6は、一端がビデオコネクタ61を経由して制御装置9に着脱自在に接続され、他端がカメラヘッドコネクタ62を経由して内視鏡カメラヘッド5に着脱自在に接続される。第1の伝送ケーブル6は、内視鏡カメラヘッド5から出力される画像データを制御装置9へ伝送し、かつ、制御装置9から出力される設定データおよび電力等を内視鏡カメラヘッド5へ伝送する。ここで、設定データとは、内視鏡カメラヘッド5を制御する制御信号、同期信号およびクロック信号等である。
【0037】
表示装置7は、制御装置9による制御のもと、制御装置9において画像処理が施された画像データに基づく表示画像および内視鏡システム1に関する各種情報を表示する。表示装置7は、液晶または有機EL(Electro Luminescence)等の表示モニタを用いて実現される。
【0038】
第2の伝送ケーブル8は、一端が表示装置7に着脱自在に接続され、他端が制御装置9に着脱自在に接続される。第2の伝送ケーブル8は、制御装置9において画像処理が施された画像データを表示装置7へ伝送する。
【0039】
制御装置9は、GPU(Graphics Processing Unit)、FPGAまたはCPU等のハードウェアを有する処理装置であるプロセッサと、プロセッサが使用する一時的な記憶域であるメモリを用いて実現される。制御装置9は、メモリに記録されたプログラムに従って、第1の伝送ケーブル6、第2の伝送ケーブル8および第3の伝送ケーブル10の各々を経由して、光源装置3、内視鏡カメラヘッド5および表示装置7の動作を統括的に制御する。また、制御装置9は、第1の伝送ケーブル6を経由して入力された画像データに対して各種の画像処理を行って第2の伝送ケーブル8へ出力する。
【0040】
第3の伝送ケーブル10は、一端が光源装置3に着脱自在に接続され、他端が制御装置9に着脱自在に接続される。第3の伝送ケーブル10は、制御装置9からの制御データを光源装置3へ伝送する。
【0041】
〔内視鏡システムの要部の機能構成〕
次に、上述した内視鏡システム1の要部の機能構成について説明する。
図2は、内視鏡システム1の要部の機能構成を示すブロック図である。
【0042】
〔挿入部の構成〕
まず、挿入部2の構成について説明する。挿入部2は、光学系22と、照明光学系23と、を有する。
【0043】
光学系22は、被写体から反射された反射光、被写体からの戻り光、被写体からの励起光および被写体が発光した発光等の光を集光する。光学系22は、1または複数のレンズ等を用いて実現される。
【0044】
照明光学系23は、ライトガイド4から供給されて照明光を被写体に向けて照射する。照明光学系23は、1または複数のレンズ等を用いて実現される。
【0045】
〔光源装置の構成〕
次に、光源装置3の構成について説明する。光源装置3は、集光レンズ30と、第1の光源部31と、第2の光源部32と、光源制御部34と、を備える。
【0046】
集光レンズ30は、第1の光源部31、第2の光源部32の各々が発光した光を集光してライトガイド4へ出射する。
【0047】
第1の光源部31は、光源制御部34による制御のもと、可視光である白色光(通常光)を発光することによってライトガイド4へ白色光を照明光として供給する。第1の光源部31は、コリメートレンズ、白色LEDランプおよび駆動ドライバ等を用いて構成される。なお、第1の光源部31は、赤色LEDランプ、緑色LEDランプおよび青色LEDランプを用いて同時に照射することによって可視光の白色光を照射してもよい。もちろん、第1の光源部31は、ハロゲンランプやキセノンランプ等を用いて構成されてもよい。
【0048】
第2の光源部32は、光源制御部34による制御のもと、狭帯域光を発光することによってライトガイド4へ狭帯域光を照明光として供給する。ここで、狭帯域光は、波長帯域が390nm~470nmの少なくとも一部を含む。第2の光源部32は、コリメートレンズ、紫色LEDおよび駆動ドライバ等を用いて実現される。
【0049】
光源制御部34は、FPGAまたはCPU等のハードウェアを有する処理装置であるプロセッサと、プロセッサが使用する一時的な記憶域であるメモリを用いて実現される。光源制御部34は、制御装置9から入力される制御データに基づいて、第1の光源部31および第2の光源部32の各々の発光タイミングおよび発光時間等を制御する。
【0050】
ここで、第2の光源部32の各々が発光する光の波長特性について説明する。
図3は、第2の光源部32の各々が発光する光の波長特性を模式的に示す図である。
図3において、横軸が波長(nm)を示し、縦軸が波長特性を示す。また、
図3において、折れ線L
Vが第2の光源部32が発光する狭帯域光の波長特性を示す。また、
図3において、曲線L
Bが青色の波長帯域を示し、曲線L
Gが緑色の波長帯域を示し、曲線L
Rが赤色の波長帯域を示す。
【0051】
図3の折れ線L
Vに示すように、第2の光源部32は、波長帯域が390nm~470nmの少なくとも一部を含む狭帯域光を発光する。
【0052】
〔内視鏡カメラヘッドの構成〕
図2に戻り、内視鏡システム1の構成の説明を続ける。
次に、内視鏡カメラヘッド5の構成について説明する。内視鏡カメラヘッド5は、光学系51と、駆動部52と、撮像素子53と、A/D変換部54と、P/S変換部55と、撮像記録部56と、撮像制御部57と、を備える。
【0053】
光学系51は、挿入部2の光学系22が集光した被写体像を撮像素子53の受光面に結像する。光学系51は、焦点距離および焦点位置を変更可能である。光学系51は、複数のレンズ511を用いて構成される。光学系51は、駆動部52によって複数のレンズ511の各々が光軸L1上を移動することによって、焦点距離および焦点位置を変更する。
【0054】
駆動部52は、撮像制御部57による制御のもと、光学系51の複数のレンズ511を光軸L1上に沿って移動させる。駆動部52は、ステッピングモータ、DCモータおよびボイスコイルモータ等のモータと、光学系51にモータの回転を伝達するギア等の伝達機構と、を用いて構成される。
【0055】
撮像素子53は、CCD(Charge Coupled Device)またはCMOS(Complementary
Metal Oxide Semiconductor)のイメージセンサを用いて実現される。撮像素子53は、撮像制御部57による制御のもと、光学系51によって結像された被写体像(光線)であって、カットフィルタ58を経由した被写体像を受光し、光電変換を行って画像データ(RAWデータ)を生成してA/D変換部54へ出力する。撮像素子53は、画素部531と、カラーフィルタ532と、を有する。
【0056】
図4は、画素部531の構成を模式的に示す図である。
図4に示すように、画素部531は、光量に応じた電荷を蓄積するフォトダイオード等の複数の画素P
nm(n=1以上の整数,m=1以上の整数)が二次元マトリクス状に配置されてなる。画素部531は、撮像制御部57による制御のもと、複数の画素P
nmのうち読み出し対象として任意に設定された読み出し領域の画素P
nmから画像信号を画像データとして読み出してA/D変換部54へ出力する。
【0057】
図5は、カラーフィルタ532の構成を模式的に示す図である。
図5に示すように、カラーフィルタ532は、2×2を1つのユニットとするベイヤー配列で構成される。カラーフィルタ532は、赤色の波長帯域の光を透過するフィルタRと、緑色の波長帯域の光を透過する2つのフィルタGと、青色の波長帯域の光を透過するフィルタBと、を用いて構成される。
【0058】
図6は、各フィルタの感度と波長帯域を模式的に示す図である。
図6において、横軸が波長(nm)を示し、縦軸が透過特性(感度特性)を示す。また、
図6において、曲線L
BがフィルタBの透過特性を示し、曲線L
GがフィルタGの透過特性を示し、曲線L
RがフィルタRの透過特性を示す。
【0059】
図6の曲線L
Bに示すように、フィルタBは、青色の波長帯域の光を透過する。また、
図6の曲線L
Gが示すように、フィルタGは、緑色の波長帯域の光を透過する。さらに、
図6の曲線L
Rが示すように、フィルタRは、赤色の波長帯域の光を透過する。なお、以下においては、フィルタRが受光面に配置されてなる画素P
nmをR画素、フィルタGが受光面に配置されてなる画素P
nmをG画素、フィルタBが受光面に配置されてなる画素P
nmをB画素として表記して説明する。
【0060】
このように構成された撮像素子53によれば、光学系51によって結像された被写体像を受光した場合、
図7A~
図7Cに示すように、R画素、G画素およびB画素の各々の色信号(赤色成分信号、緑色成分信号および青色成分信号)を生成する。
【0061】
A/D変換部54は、撮像制御部57による制御のもと、撮像素子53から入力されたアナログの画像データに対してA/D変換処理を行ってP/S変換部55へ出力する。A/D変換部54は、A/D変換回路等を用いて実現される。
【0062】
P/S変換部55は、撮像制御部57による制御のもと、A/D変換部54から入力されたデジタルの画像データをパラレル/シリアル変換を行い、このパラレル/シリアル変換を行った画像データを、第1の伝送ケーブル6を経由して制御装置9へ出力する。P/S変換部55は、P/S変換回路等を用いて実現される。なお、実施の形態1では、P/S変換部55に換えて、画像データを光信号に変換するE/O変換部を設け、光信号によって制御装置9へ画像データを出力するようにしてもよいし、例えばWi-Fi(Wireless Fidelity)(登録商標)等の無線通信によって画像データを制御装置9へ送信するようにしてもよい。
【0063】
撮像記録部56は、内視鏡カメラヘッド5に関する各種情報(例えば撮像素子53の画素情報の特性)を記録する。また、撮像記録部56は、第1の伝送ケーブル6を経由して制御装置9から伝送されてくる各種設定データおよび制御用のパラメータを記録する。撮像記録部56は、不揮発性メモリや揮発性メモリを用いて構成される。
【0064】
撮像制御部57は、第1の伝送ケーブル6を経由して制御装置9から受信した設定データに基づいて、駆動部52、撮像素子53、A/D変換部54およびP/S変換部55の各々の動作を制御する。撮像制御部57は、TG(Timing Generator)と、CPU等のハードウェアを有する処理装置であるプロセッサと、プロセッサが使用する一時的な記憶域であるメモリを用いて実現される。
【0065】
〔制御装置の構成〕
次に、制御装置9の構成について説明する。
制御装置9は、S/P変換部91と、検出部92と、画像処理部93と、入力部94と、記録部95と、制御部96と、を備える。
【0066】
S/P変換部91は、制御部96による制御のもと、第1の伝送ケーブル6を経由して内視鏡カメラヘッド5から受信した画像データに対してシリアル/パラレル変換を行って画像処理部93へ出力する。なお、内視鏡カメラヘッド5が光信号で画像データを出力する場合、S/P変換部91に換えて、光信号を電気信号に変換するO/E変換部を設けてもよい。また、内視鏡カメラヘッド5が無線通信によって画像データを送信する場合、S/P変換部91に換えて、無線信号を受信可能な通信モジュールを設けてもよい。
【0067】
検出部92は、S/P変換部91から入力された画像データに対応する撮像画像に基づいて、各画素の輝度値から明るさレベルを検出し、この明るさレベルを画像処理部93および制御部96の各々へ出力する。例えば、検出部92は、各画素の輝度値の統計値、例えば平均値または中央値を撮像画像の明るさレベルとして検出する。
【0068】
画像処理部93は、制御部96による制御のもと、S/P変換部91から入力されたパラレルデータの画像データに所定の画像処理を施して表示装置7へ出力する。ここで、所定の画像処理とは、ゲインコントロール処理、デモザイク処理、ホワイトバランス処理、ゲイン調整処理、γ補正処理およびフォーマット変換処理等である。画像処理部93は、GPUまたはFPGA等のハードウェアを有する処理装置であるプロセッサと、プロセッサが使用する一時的な記憶域であるメモリを用いて実現される。なお、実施の形態1では、画像処理部93が医療用画像処理装置として機能する。
【0069】
ここで、画像処理部93の詳細な構成について説明する。画像処理部93は、少なくとも、デモザイク処理部931と、算出部932と、判定部933と、生成部934と、を有する。
【0070】
デモザイク処理部931は、生体組織に対して短波長側の狭帯域光を照射した場合の前記生体組織からの反射光、狭帯域光が生体組織に照射されることで蛍光を発する観察対象からの蛍光の少なくとも一方を撮像することによって生成された画像データを取得して、取得した画像データに基づいて、赤色の成分を示す赤色成分信号、緑色の成分を示す緑色成分信号および青色の成分を示す青色成分信号から成る色成分信号を有する撮像画像を生成する。具体的には、デモザイク処理部931は、周知のデモザイク処理によって各画素の画素値(色成分信号)を補完する。
【0071】
算出部932は、制御部96の制御のもと、撮像画像に基づいて、赤色成分信号、緑色成分信号および青色成分信号のうち蛍光への感度が高い蛍光成分信号と、赤色成分信号、緑色成分信号および青色成分信号のうち狭帯域光が生体組織に照射された際に生体組織からの反射光に感度が高い反射光成分信号と、の強度比を算出する。
【0072】
判定部933は、算出部932が算出した撮像画像の画素毎の強度比に基づいて、撮像画像における蛍光領域と背景領域とを判定する。具体的には、判定部933は、後述する制御部96の制御のもと、制御部96が設定した閾値と、算出部932が算出した撮像画像の画素毎の強度比と、に基づいて、撮像画像における蛍光領域と背景領域とを判定する。
【0073】
生成部934は、判定部933が判定した判定結果に基づいて、撮像画像における蛍光領域に位置する画素の色成分信号と背景領域に位置する画素の色成分信号とを互いに異なるパラメータの画像処理を行うことによって蛍光画像を生成する。具体的には、生成部934は、蛍光領域に位置する画素の色成分信号に対しては、蛍光用パラメータの画像処理として、蛍光領域に位置する画素の色成分信号に対するゲインを、背景領域に位置する画素の色成分信号に対するゲインより大きくしたゲイン調整処理を行う。これに対して、生成部934は、背景領域に位置する画素の色成分信号に対しては、背景用パラメータの画像処理として、背景領域に位置する画素の色成分信号に対するゲインを、蛍光領域に位置する画素の色成分信号に対するゲインより小さくしたゲイン調整処理を行う。さらに、生成部934は、ゲイン以外に、蛍光領域および背景領域の各々に対して互いに異なる蛍光用パラメータおよび背景用パラメータの画像処理を施して蛍光画像を生成する。ここで、蛍光用パラメータおよび背景用パラメータとしては、例えばホワイトバランス調整処理、輪郭強調処理、コントラスト強調処理および、γ補正処理および色相変換処理等が含まれる。
【0074】
入力部94は、内視鏡システム1に関する各種操作の入力を受け付け、受け付けた操作を制御部96へ出力する。入力部94は、マウス、フットスイッチ、キーボード、ボタン、スイッチおよびタッチパネル等を用いて構成される。
【0075】
記録部95は、揮発性メモリ、不揮発性メモリ、SSD(Solid State Drive)およびHDD(Hard Disk Drive)等やメモリカード等の記録媒体を用いて実現される。記録部95は、内視鏡システム1の動作に必要な各種パラメータ等を含むデータを記録する。また、記録部95は、内視鏡システム1を動作させるための各種プログラムを記録するプログラム記録部951を有する。
【0076】
制御部96は、FPGAまたはCPU等のハードウェアを有する処理装置であるプロセッサと、プロセッサが使用する一時的な記憶域であるメモリを用いて実現される。制御部96は、内視鏡システム1を構成する各部を統括的に制御する。また、制御部96は、検出部92が検出した明るさレベルに基づいて、判定部933が撮像画像における蛍光領域と背景領域とを判定するための閾値を設定する。さらに、制御部96は、入力部94から入力される内視鏡システム1が実行可能な観察モードを指示する指示信号に基づいて、算出部932が算出する強度比の蛍光成分信号および反射光成分信号を算出部932に設定する。
【0077】
〔内視鏡システムの処理〕
次に、内視鏡システム1が実行する処理について説明する。
図8は、内視鏡システム1が実行する処理の概要を示すフローチャートである。なお、以下においては、画像処理部93は、画像データを現像するための種々の画像処理を行うが、説明を簡略化するため、各観察モードにおける特徴的な画像処理のみを記載する。
【0078】
図8に示すように、まず、制御部96は、入力部94から入力される観察モードを示すモード信号に応じて内視鏡システム1が薬剤蛍光観察モードに設定されているか否かを判断する(ステップS1)。制御部96によって内視鏡システム1が薬剤蛍光観察モードに設定されていると判断された場合(ステップS1:Yes)、内視鏡システム1は、後述するステップS2へ移行する。これに対して、制御部96によって内視鏡システム1が薬剤蛍光観察モードに設定されていないと判断された場合(ステップS1:No)、内視鏡システム1は、後述するステップS4へ移行する。
【0079】
ステップS2において、内視鏡システム1は、薬剤蛍光観察モード処理を実行する。ステップS2の後、内視鏡システム1は、後述するステップS3へ移行する。
【0080】
〔薬剤蛍光観察モード処理〕
図9は、
図8のステップS2における薬剤蛍光観察モード処理の概要を示すフローチャートである。
図10は、画像処理部93による薬剤蛍光観察モード処理時における画像処理の概要を模式的に説明する図である。
図9においては、薬剤蛍光観察として、PDD観察を行う場合について説明する。
【0081】
PDD観察は、PDD観察において用いられる励起光が例えば375nm~445nmの波長帯域(中心波長410nm)の青色の可視光である。また、被検体の観察対象には、5-アミノレブリン酸(以下、「5-ALA」という)等の光感受性物質が投与等の処置が施されている。なお、医者等の術者は、患者等の被検体に、5-ALAの溶解液を服用させていてもよい。5-ALAは、元来、動植物の生体内に含まれる天然アミノ酸である。この5-ALAは、体内投与後に細胞内に取り込まれ、ミトコンドリア内でプロトポルフィリンに生合成される。そして、癌細胞では、プロトポルフィリンが過剰に集積する。また、癌細胞に過剰集積するプロトポルフィリンは、光活性を有する。このため、プロトポルフィリンは、励起光(例えば375nm~445nmの波長帯域の青色可視光)で励起すると、蛍光(例えば600nm~740nmの波長帯域の赤色蛍光)を発光する。このように、PDD観察は、光感受性物質を用いて癌細胞を蛍光発光させる癌診断法である光線力学診断を用いた観察である。
【0082】
図9に示すように、まず、制御部96は、光源制御部34を制御し、第2の光源部32の各々を発光させることによって、被検体に向けて狭帯域光を照射させる(ステップS21)。
【0083】
続いて、制御部96は、撮像制御部57を制御することによって、光学系22および光学系51が集光した被写体像を撮像素子53に撮像させる(ステップS22)。
【0084】
続いて、検出部92は、A/D変換部54、P/S変換部55およびS/P変換部91を経由して入力された画像データに対応する撮像画像に基づいて、各画素の輝度値から明るさレベルを検出する(ステップS23)。この場合、検出部92は、明るさレベルを画像処理部93および制御部96の各々へ出力する。
【0085】
続いて、制御部96は、内視鏡システム1に設定された観察モードに応じた算出部932が算出する強度比の色成分信号および検出部92から入力された明るさレベルに基づいて、撮像画像を構成する各画素を蛍光領域および背景領域に判定するための閾値を設定する(ステップS24)。
【0086】
その後、デモザイク処理部931は、A/D変換部54、P/S変換部55およびS/P変換部91を経由して入力された画像データ(RAWデータ)に対して、周知のデモザイク処理を行う(ステップS25)。具体的には、
図10に示すように、デモザイク処理部931は、画像データに対して周知のデモザイク処理を行って撮像画像を生成し、この撮像画像を算出部932へ出力する。この場合、
図10に示すように、各画素には、R成分信号、G成分信号、B成分信号が含まれる。例えば、画素P
11は、R成分信号が0(R=0)、G成分信号が0(G=0)、B成分信号が100(B=100)を含む。また、画素P
12は、R成分信号が80(R=80)、G成分信号が0(G=0)、B成分信号が100(B=100)を含む。
【0087】
続いて、算出部932は、制御部96で設定された色成分信号に基づいて、デモザイク処理部931から入力された撮像画像の各画素の強度比を算出する(ステップS26)。具体的には、
図10に示すように、算出部932は、R成分信号、G成分信号およびB成分信号のうち、PDD観察における蛍光への感度が高い蛍光成分と、R成分信号、G成分信号およびB成分信号のうち、狭帯域光が生体組織に照射された際に、この生体組織において反射した反射光に感度が高い反射光成分と、の強度比を撮像画像の各画素に算出する。より具体的には、
図10の画素P
11に示すように、算出部932は、薬剤蛍光観察モードの場合、R成分信号の値(R=0)に対してB成分信号の値(B=100)で除算した値(R/B=0.0)を強度比として算出する。また、
図10の画素P
12に示すように、算出部932は、R成分信号の値(R=80)に対してB成分信号の値(B=100)で除算した値(R/B=0.8)を強度比として算出する。
【0088】
その後、判定部933は、制御部96が設定した閾値と、算出部932が算出した各画素の強度比と、に基づいて、蛍光領域を判定する(ステップS27)。具体的には、判定部933は、撮像画像の画素毎に、強度比が閾値以上か否かを判定し、閾値以上の画素を蛍光領域(蛍光画素)と判定する一方、閾値未満である画素を背景領域(背景画素)として判定する。より具体的には、判定部933は、
図10に示す画素P
11の場合、強度比が0.0であり、閾値(例えば0.5以上とする)未満であるため、画素P
11を背景領域として判定し、画素P
11に背景領域(背景画素)であることを示す情報(例えば「0」)を付加する。また、判定部933は、
図10に示す画素P12の場合、強度比が0.8であり、閾値以上であるため、画素P
12を蛍光領域(蛍光画素)として判定し、画素P
12に蛍光領域(蛍光画素)であることを示す情報(例えば「1」)を付加する。
【0089】
続いて、生成部934は、制御部96が内視鏡カメラヘッド5の種別に応じて設定した画像処理パラメータと、判定部933が判定した判定結果と、に基づいて、デモザイク処理部931から入力された撮像画像の各画素に対して異なるパラメータの画像処理を行う(ステップS28)。具体的には、生成部934は、判定部933によって背景領域と判定された画素の信号値に対して背景用パラメータとしてのゲインを下げる画像処理を行う。これに対して、判定部933によって蛍光領域と判定された画素の信号値に対して蛍光用パラメータとしてのゲインを上げる画像処理を行う。これにより、蛍光領域に位置する画素の画素値は、大きくなり、背景領域に位置する画素の画素値が小さくするため、蛍光領域を強調することができる。
【0090】
その後、生成部934は、互いに異なるパラメータの画像処理を施した撮像画像の各画素に対してγ補正処理、色調変換処理、ホワイトバランス処理およびフォーマット変換処理等を行って薬剤蛍光画像Q1(疑似カラー画像)を生成する(ステップS29)。
【0091】
続いて、生成部934は、薬剤蛍光画像Q1を表示装置7へ出力する(ステップS30)。これにより、医者等の術者は、背景領域から蛍光領域が強調された薬剤蛍光画像Q1を観察することができる。
【0092】
制御部96は、入力部94から内視鏡システム1の観察モードを切り替える切替信号が入力されたか否かを判断する(ステップS31)。制御部96によって入力部94から内視鏡システム1の観察モードを切り替える切替信号が入力されたと判断された場合(ステップS31:Yes)、内視鏡システム1は、
図8のメインルーチンへ戻る。これに対して、制御部96によって入力部94から内視鏡システム1の観察モードを切り替える切替信号が入力されていないと判断された場合(ステップS31:No)、内視鏡システム1は、上述したステップS21へ戻る。
【0093】
図8に戻り、ステップS3以降の説明を続ける。
ステップS3において、制御部96は、入力部94から被検体の観察の終了を指示する指示信号が入力されたか否かを判断する。制御部96によって入力部94から被検体の観察の終了を指示する指示信号が入力されたと判断された場合(ステップS3:Yes)、内視鏡システム1は、本処理を終了する。これに対して、制御部96によって入力部94から被検体の観察の終了を指示する指示信号が入力されていないと判断された場合(ステップS3:No)、内視鏡システム1は、上述したステップS1へ戻る。
【0094】
ステップS4において、制御部96は、入力部94から入力される観察モードを示すモード信号に応じて内視鏡システム1が熱処置観察モードに設定されているか否かを判断する。制御部96によって内視鏡システム1が熱処置観察モードに設定されていると判断された場合(ステップS4:Yes)、内視鏡システム1は、後述するステップS5へ移行する。これに対して、制御部96によって内視鏡システム1が熱処置観察モードに設定されていないと判断された場合(ステップS4:No)、内視鏡システム1は、後述するステップS6へ移行する。
【0095】
〔熱処置観察モード処理〕
図11は、上述した
図8のステップS5における熱処置観察モードの概要を示すフローチャートである。
図12は、画像処理部93による熱処置観察モード処理時における画像処理の概要を模式的に説明する図である。
【0096】
近年、医療分野では、内視鏡および腹腔鏡等を用いた低侵襲治療が広く行われるようになっている。例えば、内視鏡および腹腔鏡等を用いた低侵襲治療としては、内視鏡的粘膜下層剥離術(ESD:Endoscopic Submucosal Dissection)、腹腔鏡内視鏡合同胃局所切除術(LECS:Laparoscopy and Endoscopy Cooperative Surgery)、非穿孔式内視鏡的胃壁内反切除術(NEWS:Non-exposed Endoscopic Wall-inversion Surgery)等が広く行われている。
【0097】
これらの低侵襲治療では、処置を行う場合、例えば、前処置として手術対象領域のマーキング等のために、医者等の術者が高周波ナイフおよび電気メス等のエネルギーデバイスの処置具を用いて生体組織に対する熱処置や熱処置によるマーキング処置を行う。また、術者は、実際の処置の場合にも、エネルギーデバイス等を用いて被検体の生体組織の切除および凝固等の処置を行う。
【0098】
エネルギーデバイスによって生体組織に加えられる熱処置の度合いは、術者が目視や触覚および勘等に頼って確認を行っているのが実情である。このため、従来のエネルギーデバイス等を用いた治療では、術者が手術等の作業中に熱処置を加えるべき度合い等をリアルタイムで確認することが難しく、非常に熟練を要する作業項目となっていた。この結果、術者等は、エネルギーデバイスを用いて生体組織に熱処置を施した場合、熱処置(熱処置)による熱処置領域への焼灼状態を可視化することができる技術を望んでいた。
【0099】
ところで、アミノ酸と、還元糖と、を加熱した場合、糖化反応(メイラード反応)が生じる。このメイラード反応の結果生じる最終産物は、総じて終末糖化産物(AGEs:Advanced glycation end products)と呼ばれる。AGEsの特徴としては、蛍光特性を有する物質が含まれることが知られている。
【0100】
つまり、AGEsは、生体組織をエネルギーデバイスで熱処置した場合、生体組織中のアミノ酸と還元糖が加熱されて、メイラード反応が生じることによって生成される。この加熱により生成されたAGEsは、蛍光観察することにより熱処置の状態の可視化が可能となる。さらに、AGEsは、生体組織内に元来存在する自家蛍光物質よりも、強い蛍光を発するが知られている。
【0101】
即ち、熱処置観察モードは、エネルギーデバイス等により熱処置されることで生体組織中に発生したAGEsの蛍光特性を利用して、熱処置による熱処置領域を可視化する観察手法である。このため、熱処置観察モードは、光源装置3からAGEsを励起させるための波長415nmm近傍の青色光を生体組織に照射する。これにより、熱処置観察モードは、AGEsから発生する蛍光(例えば、波長490~625nmの緑色光)を撮像した熱処置画像(蛍光画像)を観察することができる。
【0102】
図11に示すように、まず、制御部96は、光源制御部34を制御し、第2の光源部32を発光させることによって、被検体に向けて狭帯域光を照射させる(ステップS51)。
【0103】
続いて、制御部96は、撮像制御部57を制御することによって、光学系22および光学系51が集光した被写体像を撮像素子53に撮像させる(ステップS52)。
【0104】
続いて、検出部92は、A/D変換部54、P/S変換部55およびS/P変換部91を経由して入力された画像データに対応する撮像画像に基づいて、各画素の輝度値から明るさレベルを検出する(ステップS53)。この場合、検出部92は、明るさレベルを画像処理部93および制御部96の各々へ出力する。
【0105】
続いて、制御部96は、検出部92から入力された明るさレベルに基づいて、撮像画像を構成する各画素を蛍光領域および背景領域に判定するための閾値を設定する(ステップS54)。
【0106】
その後、デモザイク処理部931は、A/D変換部54、P/S変換部55およびS/P変換部91を経由して入力された画像データ(RAWデータ)に対して、周知のデモザイク処理を行う(ステップS55)。具体的には、
図12に示すように、デモザイク処理部931は、画像データに対して周知のデモザイク処理を行って撮像画像を生成し、この撮像画像を算出部932へ出力する。この場合、
図12に示すように、各画素には、R成分信号、G成分信号、B成分信号が含まれる。例えば、画素P
11は、R成分信号が0(R=0)、G成分信号が20(G=20)、B成分信号が100(B=100)を含む。また、画素P
12は、R成分信号が0(R=0)、G成分信号が80(G=80)、B成分信号が100(B=100)を含む。
【0107】
続いて、算出部932は、制御部96で設定された色成分信号に基づいて、デモザイク処理部931から入力された撮像画像の各画素の強度比を算出する(ステップS56)。具体的には、
図12に示すように、算出部932は、R成分信号、G成分信号およびB成分信号のうち、熱処置観察における蛍光への感度が高い蛍光成分と、R成分信号、G成分信号およびB成分信号のうち、狭帯域光が生体組織に照射された際に、この生体組織において反射した反射光に感度が高い反射光成分と、の強度比を撮像画像の各画素に算出する。より具体的には、
図12の画素P
11に示すように、算出部932は、熱処置観察モードの場合、G成分信号の値(G=20)に対してB成分信号の値(B=100)で除算した値(G/B=0.2)を強度比として算出する。また、
図12の画素P
12に示すように、算出部932は、G成分信号の値(G=80)に対してB成分信号の値(B=100)で除算した値(G/B=0.8)を強度比として算出する。
【0108】
その後、判定部933は、制御部96が設定した閾値と、算出部932が算出した各画素の強度比と、に基づいて、蛍光領域を判定する(ステップS57)。具体的には、判定部933は、撮像画像の画素毎に、強度比が閾値以上か否かを判定し、閾値以上の画素を蛍光領域(蛍光画素)と判定する一方、閾値未満である画素を背景領域(背景画素)として判定する。より具体的には、判定部933は、
図12に示す画素P
11の場合、強度比が0.2であり、閾値(例えば0.5以上とする)未満であるため、画素P
11を背景領域として判定し、画素P
11に背景領域(背景画素)であることを示す情報(例えば「0」)を付加する。また、判定部933は、
図12に示す画素P12の場合、強度比が0.8であり、閾値以上であるため、画素P
12を蛍光領域(蛍光画素)として判定し、画素P
12に蛍光領域(蛍光画素)であることを示す情報(例えば「1」)を付加する。
【0109】
続いて、生成部934は、制御部96が内視鏡カメラヘッド5の種別に応じて設定した画像処理パラメータと、判定部933が判定した判定結果と、に基づいて、デモザイク処理部931から入力された撮像画像の各画素に対して互いに異なるパラメータの画像処理を行う(ステップS58)。具体的には、生成部934は、判定部933によって背景領域と判定された画素の信号値に対して背景用パラメータとしてのゲインを下げる第1の画像処理を行う。これに対して、判定部933によって蛍光領域と判定された画素の信号値に対して蛍光用パラメータとしてのゲインを上げる第1の画像処理を行う。これにより、蛍光領域に位置する画素の画素値は、大きくなり、背景領域に位置する画素の画素値が小さくするため、蛍光領域を強調することができる。
【0110】
その後、生成部934は、互いに異なるパラメータの画像処理を施した撮像画像の各画素に対してγ補正処理、色調変換処理、ホワイトバランス処理およびフォーマット変換処理等を行って熱処置画像Q2(疑似カラー画像)を生成する(ステップS59)。
【0111】
続いて、生成部934は、熱処置画像Q2を表示装置7へ出力する(ステップS60)。これにより、医者等の術者は、背景領域から熱処置領域が強調された熱処置画像Q2を観察することができる。
【0112】
制御部96は、入力部94から内視鏡システム1の観察モードを切り替える切替信号が入力されたか否かを判断する(ステップS61)。制御部96によって入力部94から内視鏡システム1の観察モードを切り替える切替信号が入力されたと判断された場合(ステップS61:Yes)、内視鏡システム1は、
図8のメインルーチンへ戻る。これに対して、制御部96によって入力部94から内視鏡システム1の観察モードを切り替える切替信号が入力されていないと判断された場合(ステップS61:No)、内視鏡システム1は、上述したステップS51へ戻る。
【0113】
図8に戻り、ステップS6以降の説明を続ける。
ステップS6において、制御部96は、入力部94から入力される観察モードを示すモード信号に応じて内視鏡システム1が通常光観察モードに設定されているか否かを判断する。制御部96によって内視鏡システム1が通常光観察モードに設定されていると判断された場合(ステップS6:Yes)、内視鏡システム1は、後述するステップS7へ移行する。これに対して、制御部96によって内視鏡システム1が通常光観察モードに設定されていないと判断された場合(ステップS6:No)、内視鏡システム1は、ステップS3へ移行する。
【0114】
S7において、内視鏡システム1は、通常光観察モード処理を実行する。ステップS7の後、内視鏡システム1は、ステップS3へ移行する。
【0115】
〔通常光観察モード処理〕
図13は、上述した
図8のステップS7の通常光観察モード処理の概要を示すフローチャートである。
【0116】
図13に示すように、まず、制御部96は、光源制御部34を制御することによって、第1の光源部31を発光させることによって、被検体に向けて白色光を照射させる(ステップS71)。
【0117】
続いて、制御部96は、撮像制御部57を制御することによって、光学系22および光学系51が集光した被写体像を撮像素子53に撮像させる(ステップS72)。
【0118】
その後、制御部96は、デモザイク処理部931に、A/D変換部54、P/S変換部55およびS/P変換部91を経由して入力された画像データに対してデモザイク処理を実行させる(ステップS73)。
【0119】
続いて、生成部934は、デモザイク処理部931がデモザイク処理を行った撮像画像に対してγ補正処理、色調変換処理、ホワイトバランス処理およびフォーマット変換処理等の第2の画像処理を行って白色光画像を生成し(ステップS74)、この白色光画像を表示装置7へ出力する(ステップS75)。
【0120】
続いて、制御部96は、入力部94から内視鏡システム1の観察モードを切り替える切替信号が入力されたか否かを判断する(ステップS76)。制御部96によって入力部94から内視鏡システム1の観察モードを切り替える切替信号が入力されたと判断された場合(ステップS76:Yes)、内視鏡システム1は、
図8のメインルーチンへ戻る。これに対して、制御部96によって入力部94から内視鏡システム1の観察モードを切り替える切替信号が入力されていないと判断された場合(ステップS76:No)、内視鏡システム1は、上述したステップS71へ戻る。
【0121】
以上説明した実施の形態1によれば、算出部932が撮像画像の画素毎に蛍光への感度が高い蛍光成分信号と反射光に感度が高い反射光成分信号との強度比を算出し、判定部933が算出部932によって算出された画素後の強度比に基づいて、撮像画像の蛍光領域と背景領域とを判定し、生成部934が判定部933によって判定された蛍光領域に位置する画素の色成分信号および背景領域に位置する画素の色成分信号の各々に対して互いに異なるパラメータの画像処理を行ってことによって熱処置画像または薬剤蛍光画像を生成するため、蛍光の視認性を向上させることができる。
【0122】
また、実施の形態1によれば、生成部943が蛍光領域に位置する画素の色成分信号に対するゲインを、背景領域に位置する画素の色成分信号に対するゲインより大きくしたゲイン調整処理を画像処理として行って熱処置画像または薬剤蛍光画像を生成するため、蛍光の視認性を向上させることができる。
【0123】
また、実施の形態1によれば、制御部96が検出部92の検出結果に基づいて、閾値を設定するため、判定部933が撮像画像に含まれるノイズと蛍光の発光とを区別して判定することができる。
【0124】
また、実施の形態1によれば、内視鏡カメラヘッド5を一つの撮像素子53のみで構成しているため、内視鏡カメラヘッド5の抵コスト化、小型化軽量化および制御装置9の制御処理の簡素化を図ることができる。
【0125】
(実施の形態2)
次に、実施の形態2について説明する。実施の形態2に係る内視鏡システムは、上述した実施の形態1に係る内視鏡システム1と構成が異なる。具体的には、実施の形態2に係る内視鏡システムは、励起光としての狭帯域光が生体組織で反射した反射光および戻り光を遮光する光学素子としてのカットフィルタをさらに備える。以下においては、実施の形態2に係る内視鏡システムの構成を説明する。なお、上述した実施の形態1に係る内視鏡システム1と同一の構成には同一の符号を付して詳細な説明を省略する。
【0126】
〔内視鏡システムの要部の機能構成〕
図14は、内視鏡システムの要部の機能構成を示すブロック図である。
図14に示す内視鏡システム1Aは、上述した実施の形態1に係る内視鏡カメラヘッド5に代えて、内視鏡カメラヘッド5Aを備える。
【0127】
〔内視鏡カメラヘッドの構成〕
内視鏡カメラヘッド5Aは、上述した実施の形態1に係る内視鏡カメラヘッド5の構成に加えて、カットフィルタ58をさらに備える。
【0128】
カットフィルタ58は、光学系51と撮像素子53との光路上に配置される。カットフィルタ58は、狭帯域光の波長帯域を含む短波長の波長帯域の光の大部分を遮光し、この大部分を遮光する波長帯域より長波長側の波長帯域を透過する。
【0129】
図15Aは、カットフィルタ58の透過特性を模式的に示す図である。
図15Aにおいて、横軸は波長(nm)を示す、縦軸が透過特性を示す。また、
図15Aにおいて、折れ線L
Fがカットフィルタ58の透過特性を示し、折れ線L
Vが狭帯域光の波長特性を示し、折れ線L
NGがAGEsの蛍光における波長特性を示し、折れ線L
PDDが5-ALAの蛍光における波長特性を示す。
【0130】
図15Aに示すように、カットフィルタ58は、短波長の波長帯域の光の大部分を遮光し、この大部分を遮光する波長帯域より長波長側の波長帯域を透過する。具体的には、カットフィルタ58は、狭帯域光の波長帯域を含む430nm~470nmのいずれかの波長未満の短波長側の波長帯域の大部分の光を遮光し、かつ、この大部分を遮光する波長帯域より長波長側の波長帯域の光を透過する。例えば、カットフィルタ58は、折れ線L
N
Gおよび折れ線L
PDDに示すように、熱処置によって生じたAGEsの蛍光および5-ALAの蛍光を透過する。
【0131】
なお、カットフィルタ58は、別の透過特性を有してもよい。
図15Bは、カットフィルタ58の別の透過特性を模式的に示す図である。
【0132】
図15Bに示すように、カットフィルタ58は、上述した透過特性と同様に、短波長の波長帯域の光の大部分を遮光し、この大部分を遮光する波長帯域より長波長側の波長帯域を透過する。具体的には、カットフィルタ58は、狭帯域光の波長帯域を含む430nm~470nmのいずれかの波長未満の短波長側の波長帯域の大部分の光を遮光し、かつ、この大部分を遮光する波長帯域より長波長側の波長帯域の光を透過する。例えば、カットフィルタ58は、折れ線L
NGおよび折れ線L
PDDに示すように、熱処置によって生じたAGEsの蛍光および5-ALAの蛍光を透過する。
【0133】
〔各観察モードの概要〕
次に、内視鏡システム1Aが実行する各観察モードの概要について説明する。なお、以下においては、薬剤蛍光観察モード、熱処置観察モードおよび通常光観察モードの順に説明する。
【0134】
〔薬剤蛍光観察モードの概要〕
まず、薬剤蛍光観察モードについて説明する。
図16は、薬剤蛍光観察モード時における観察原理を模式的に示す図である。
【0135】
図16のグラフG1に示すように、まず、光源装置3は、制御装置9による制御のもと、第2の光源部32を発光させることによって、狭帯域光(励起光415nm)を薬剤(5-ALA)が投与された被検体の生体組織O1に照射させる。この場合、少なくとも被検体等の生体組織O1で励起された蛍光WF1は、R画素に入射する。さらに、反射された複数の成分を含む反射光および戻り光(以下、単に「反射光W1」という)は、カットフィルタ58によって遮光され強度が低下する一方、この大部分を遮光する波長帯域より長波長側の成分の一部は強度を落とさず撮像素子53に入射する。
【0136】
より具体的には、
図16のグラフG2の折れ線L
Fに示すように、カットフィルタ58は、R画素に入射する反射光W1であって、狭帯域光の波長帯域を含む短波長の波長帯域の反射光W1の大部分を遮光し、この大部分を遮光する波長帯域より長波長側の波長帯域を透過する。さらに、
図16のグラフG2に示すように、カットフィルタ58は、生体組織O1(薬剤領域)が励起されることで発生した蛍光(蛍光WF1)を透過する。このため、R画素およびB画素の各々には、強度が低下した反射光W1および蛍光WF1が入射する。
【0137】
続いて、
図16の透過特性の表G3に示すように、R画素、G画素およびB画素の各々は、透過特性(感度特性)が互いに異なる。具体的には、B画素は、狭帯域光の反射光W1に感度を有するため、反射光W1の受光量に対応する出力値が大きな値となる。さらに、R画素は、蛍光WF1に感度を有するが、蛍光が微小な反応のため、出力値が小さい値となる。
【0138】
その後、画像処理部93は、内視鏡カメラヘッド5Aの撮像素子53から画像データ(RAWデータ)を取得し、取得した画像データに含まれるR画素およびB画素の各々の色成分信号(画素値)に対して画像処理を行って薬剤蛍光画像(疑似カラー画像)を生成する。この場合において、R画素の色成分信号には、薬剤からの蛍光情報が含まれる。また、B画素には、被検体の生体組織からの背景情報が含まれる。このため、画像処理部93は、上述した実施の形態1と同様の処理を行って薬剤蛍光画像を生成する。具体的には、画像処理部93は、デモザイク処理、画素毎の強度比を算出する処理、蛍光領域と背景領域とを判定する処理、蛍光領域に位置する画素の色成分信号(画素値)および背景領域に位置する画素の色成分信号(画素値)の各々に対して互いに異なるパラメータの画像処理を行って薬剤蛍光画像(疑似カラー画像)を生成する。そして、画像処理部93は、薬剤蛍光画像を表示装置7へ出力する。ここで、蛍光領域とは、背景情報に比べて蛍光情報が優位な領域である。また、背景領域とは、蛍光情報に比べて背景情報が優位な領域を指す。具体的には、画像処理部93は、画素に含まれる背景情報に相当する反射光成分信号と蛍光情報に相当する蛍光成分信号との強度比が所定の閾値以上(例えば0.5以上)である場合、蛍光領域と判定する一方、強度比が所定の閾値未満である場合、背景領域として判定する。
【0139】
このように薬剤蛍光観察モードは、白色光(通常光)で視認が難しい薬剤の蛍光領域を強調して表示することができる。
【0140】
〔熱処置観察モードの概要〕
次に、熱処置観察モードについて説明する。
図17は、熱処置観察モード時における観察原理を模式的に示す図である。
【0141】
図17のグラフG11に示すように、まず、光源装置3は、制御装置9による制御のもと、第2の光源部32を発光させることによって、励起光(中心波長415nm)である狭帯域光をエネルギーデバイス等により被検体に対して熱処置が施された生体組織O2(熱処置領域)に照射する。この場合、
図17のグラフG12に示すように、少なくとも生体組織O2(熱処置領域)で反射された狭帯域光の成分および戻り光を含む反射光(以下、単に「反射光W10」という)は、カットフィルタ58によって遮光され強度が低下する一方、この大部分を遮光する波長帯域より長波長側の成分の一部は強度を落とさず撮像素子53に入射する。
【0142】
より具体的には、
図17のグラフG12に示すように、カットフィルタ58は、G画素に入射する反射光W10であって、狭帯域光の波長帯域を含む短波長の波長帯域の反射光W10の大部分を遮光し、この大部分を遮光する波長帯域より長波長側の波長帯域を透過する。さらに、
図17のグラフG12に示すように、カットフィルタ58は、生体組織O1(熱処置領域)におけるAGEsが自家発光した蛍光(WF10)を透過する。このため、R画素、G画素およびB画素の各々には、強度が低下した反射光W10および蛍光(WF10)が入射する。
【0143】
また、
図17のグラフG12における蛍光特性の折れ線L
NGに示すように、G画素は、蛍光に感度を有するが、蛍光が微小な反応のため、出力値が小さい値となる。
【0144】
その後、画像処理部93は、内視鏡カメラヘッド5Aの撮像素子53から画像データ(RAWデータ)を取得し、取得した画像データに含まれるG画素およびB画素の各々の信号値に対して画像処理を行って疑似カラー画像(熱処置蛍光画像)を生成する。この場合において、G画素の信号値には、熱処置領域から発せられた蛍光情報が含まれる。また、B画素には、熱処置領域を含む被検体の生体組織からの背景情報が含まれる。このため、画像処理部93は、上述した実施の形態1と同様の処理を行って熱処置画像を生成する。具体的には、画像処理部93は、デモザイク処理、画素毎の強度比を算出する処理、蛍光領域と背景領域とを判定する処理、蛍光領域に位置する画素の色成分信号(画素値)および背景領域に位置する画素の色成分信号(画素値)の各々に対して互いに異なるパラメータの画像処理を行って熱処置画像(疑似カラー画像)を生成する。そして、画像処理部93は、熱処置画像を表示装置7へ出力する。ここで、蛍光領域とは、背景情報に比べて蛍光情報が優位な領域である。また、背景領域とは、蛍光情報に比べて背景情報が優位な領域を指す。具体的には、画像処理部93は、画素に含まれる背景情報に相当する反射光成分信号と蛍光情報に相当する蛍光成分信号との強度比が所定の閾値以上(例えば0.5 以上)である場合、蛍光領域と判定する一方、強度比が所定の閾値未満である場合、背景領域として判定する。
【0145】
このように熱処置観察モードは、エネルギーデバイス等による熱処置の生体組織O2(熱処置領域)を容易に観察することができる。
【0146】
〔通常光観察モードの概要〕
次に、通常光観察モードについて説明する。
図18は、通常光観察モード時における観察原理を模式的に示す図である。
【0147】
図18に示すように、まず、光源装置3は、制御装置9による制御のもと、第1の光源部31を発光させることによって、白色光W3を被検体の生体組織O3に照射する。この場合、生体組織で反射された反射光および戻り光(以下、単に「反射光WR30、反射光WG30,反射光WB30」という)は、一部がカットフィルタ58に遮光され、残りが撮像素子53に入射する。具体的には、
図18に示すように、カットフィルタ58は、狭帯域光の波長帯域を含む短波長の波長帯域の反射光を遮光する。このため、
図18に示すように、B画素に入射する青色の波長帯域の光の成分が、カットフィルタ58を配置していない状態と比べて小さくなる。
【0148】
続いて、画像処理部93は、内視鏡カメラヘッド5Aの撮像素子53から画像データ(RAWデータ)を取得し、取得した画像データに含まれるR画素、G画素およびB画素の各々の信号値に対して画像処理を行って白色光画像を生成する。この場合において、画像処理部93は、画像データに含まれる青色成分が従来の白色光観察と比べて小さいため、赤色成分、緑色成分および青色成分の比率が一定となるようにホワイトバランスを調整するホワイトバランス調整処理を行う。
【0149】
このように通常光観察モードは、カットフィルタ58を配置している場合であっても、自然な白色画像を観察することができる。
【0150】
即ち、内視鏡システム1Aは、上述した実施の形態1と同様の処理を行い、薬剤蛍光観察モードおよび熱処置観察モードの各々で背景領域と蛍光領域とを判定し、背景領域および蛍光領域の各々で互いに異なる画像処理パラメータを施すことによって、背景領域から蛍光領域を強調した薬剤蛍光画像または熱処置画像を生成して表示装置7に表示させる。
【0151】
以上説明した実施の形態2によれば、上述した実施の形態1と同様の効果を奏し、かつ、光学素子としてのカットフィルタ58を設けたので、生体組織で反射した反射光および戻り光に、熱処置領域からの蛍光が埋もれてしまうことを防止することができる。
【0152】
(実施の形態3)
次に、実施の形態3について説明する。実施の形態3に係る内視鏡システムは、上述した実施の形態1,2に係る内視鏡システムと同様の構成を有し、実行する処理が異なる。具体的には、上述した実施の形態1,2では、入力部から入力されるモード信号に応じて設定される観察モードに応じて制御部が算出部に算出させる色成分信号の強度比を設定していたが、実施の形態3では、制御装置に接続される内視鏡カメラヘッドの種別に応じて制御部が算出部に算出させる色成分信号の強度比を設定する。以下においては、実施の形態3に係る内視鏡システムが実行する処理について説明する。なお、上述した実施の形態1に係る内視鏡システムと同一の構成には同一の符号を付して詳細な説明を省略する。
【0153】
〔内視鏡システムの処理〕
図19は、実施の形態3に係る内視鏡システムが実行する処理の概要を示すフローチャートである。なお、
図19では、上述した実施の形態1に係る内視鏡カメラヘッド5または上述した実施の形態2に係る内視鏡カメラヘッド5Aのいずれか一方が接続される。即ち、実施の形態3では、内視鏡カメラヘッド5が第1の医療用撮像装置として機能し、内視鏡カメラヘッド5Aが第2の医療用撮像装置として機能する。さらに、以下においては、内視鏡カメラヘッド5および内視鏡カメラヘッド5Aのいずれか一方を指す場合、単に内視鏡カメラヘッドと表現する。
【0154】
図19に示すように、まず、制御部96は、制御装置9に接続された内視鏡カメラヘッドの撮像記録部56に記録された内視鏡カメラヘッドの種別を示す種別情報を取得する(ステップS101)。
【0155】
続いて、制御部96は、ステップS101で取得した種別情報に基づいて、制御装置9に接続された内視鏡カメラヘッドが薬剤蛍光観察モードを行うことができる内視鏡カメラヘッド5(第1の医療用撮像装置)であるか否かを判断する(ステップS101)。制御部96によって制御装置9に接続された内視鏡カメラヘッドが薬剤蛍光観察モードを行うことができる内視鏡カメラヘッド5(第1の医療用撮像装置)であると判断された場合(ステップS101:Yes)、内視鏡システム1は、後述するステップS102へ移行する。これに対して、制御部96によって制御装置9に接続された内視鏡カメラヘッドが薬剤蛍光観察モードを行うことができる内視鏡カメラヘッド5(第1の医療用撮像装置)でないと判断された場合(ステップS101:No)、内視鏡システム1は、後述するステップS104へ移行する。
【0156】
ステップS102およびステップS103は、上述した
図8のステップS2およびステップS3それぞれに対応する。
【0157】
ステップS104において、ステップS101で取得した種別情報に基づいて、制御装置9に接続された内視鏡カメラヘッドが熱処置観察モードを行うことができる内視鏡カメラヘッド5A(第2の医療用撮像装置)であるか否かを判断する。制御部96によって制御装置9に接続された内視鏡カメラヘッドが熱処置観察モードを行うことができる内視鏡カメラヘッド5A(第2の医療用撮像装置)であると判断された場合(ステップS104:Yes)、内視鏡システム1は、後述するステップS105へ移行する。これに対して、制御部96によって制御装置9に接続された内視鏡カメラヘッドが熱処置観察モードを行うことができる内視鏡カメラヘッド5A(第2の医療用撮像装置)でないと判断された場合(ステップS104:No)、内視鏡システム1は、後述するステップS106へ移行する。
【0158】
ステップS105~ステップS107は、上述した
図8のステップS105~ステップS107それぞれに対応する。
【0159】
以上説明した実施の形態3によれば、制御部96が制御装置9に接続される内視鏡カメラヘッドの種別を示す識別情報に基づいて、算出部932が算出する強度比の色成分信号を設定するため、制御装置9に接続される内視鏡カメラヘッドで行う観察モードに応じたパラメータの画像処理を行うことができ、かつ、上述した実施の形態1,2と同様に、蛍光の視認性を向上させることができる。
【0160】
(実施の形態4)
次に、実施の形態3について説明する。上述した実施の形態1~3では、硬性鏡を備える内視鏡システムであったが、実施の形態4では、軟性の内視鏡を備える内視鏡システムについて説明する。以下においては、実施の形態4に係る内視鏡システムについて説明する。なお、実施の形態4では、上述した実施の形態1に係る内視鏡システム1と同一の構成には同一の符号を付して詳細な説明を省略する。
【0161】
〔内視鏡システムの構成〕
図20は、実施の形態4に係る内視鏡システムの概略構成を示す図である。
図21は、実施の形態4に係る内視鏡システムの要部の機能構成を示すブロック図である。
【0162】
図20および
図21に示す内視鏡システム100は、患者等の被検体内に挿入することによって被検体の体内を撮像し、この撮像した画像データに基づく表示画像を表示装置7が表示する。医者等の術者は、表示装置7が表示する表示画像の観察を行うことによって、検査対象部位である出血部位、腫瘍部位および異常部位が写る異常領域の各々の有無や状態を検査する。さらに、医者等の術者は、内視鏡の処置具チャンネルを経由してエネルギーデバイス等の処置具を被検体の体内に挿入して被検体の処置を行う。内視鏡システム100は、上述した光源装置3、表示装置7および制御装置9に加えて、内視鏡102を備える。
【0163】
〔内視鏡の構成〕
内視鏡102の構成について説明する。内視鏡102は、被検体の体内を撮像することによって画像データを生成し、この生成した画像データを制御装置9へ出力する。内視鏡102は、操作部122と、ユニバーサルコード123と、を備える。
【0164】
挿入部121は、可撓性を有する細長形状をなす。挿入部121は、後述する撮像装置を内蔵した先端部124と、複数の湾曲駒によって構成された湾曲自在な湾曲部125と、湾曲部125の基端側に接続され、可撓性を有する長尺状の可撓管部126と、を有する。
【0165】
先端部124は、グラスファイバ等を用いて構成される。先端部124は、光源装置3から供給された光の導光路をなすライトガイド241と、ライトガイド241の先端に設けられた照明レンズ242と、撮像装置243と、を有する。
【0166】
撮像装置243は、集光用の光学系244と、上述した実施の形態1の撮像素子53と、カットフィルタ58、A/D変換部54、P/S変換部55、撮像記録部56、撮像制御部57と、を備える。なお、実施の形態3では、撮像装置243が医療用撮像装置として機能する。
【0167】
ユニバーサルコード123は、ライトガイド241と、1または複数のケーブルをまとめた集光ケーブルと、を少なくとも内蔵している。集合ケーブルは、内視鏡102および光源装置3と制御装置9との間で信号を送受信する信号線であって、設定データを送受信するための信号線、撮像画像(画像データ)を送受信するための信号線、撮像素子53を駆動するための駆動用のタイミング信号を送受信するための信号線等を含む。ユニバーサルコード123は、光源装置3に着脱自在なコネクタ部127を有する。コネクタ部127は、コイル状のコイルケーブル127aが延設し、コイルケーブル127aの延出端に制御装置9に着脱自在なコネクタ部128を有する。
【0168】
このように構成された内視鏡システム100は、上述した実施の形態1に係る内視鏡システム1と同様の処理を行う。
【0169】
以上説明した実施の形態4によれば、上述した実施の形態1と同様の効果を有するうえ、1つの撮像素子53のみで狭帯域光観察とエネルギーデバイス等による熱処置によって生じる蛍光観察とを行うことができるため、挿入部121の細径化を図ることができる。
【0170】
(実施の形態5)
次に、実施の形態5について説明する。上述した実施の形態1~4では、内視鏡システムであったが、実施の形態5では、手術用顕微鏡システムに適用した場合について説明する。なお、実施の形態5では、上述した実施の形態1に係る内視鏡システム1と同一の構成には同一の符号を付して詳細な説明は省略する。
【0171】
〔手術用顕微鏡システムの構成〕
図22は、実施の形態5に係る手術用顕微鏡システムの概略構成を示す図である。
図22に示す手術用顕微鏡システム300は、被写体を観察するための画像を撮像することによって取得する医療用撮像装置である顕微鏡装置310と、表示装置7と、を備える。なお、表示装置7と顕微鏡装置310とを一体に構成することも可能である。
【0172】
顕微鏡装置310は、被写体の微小部位を拡大して撮像する顕微鏡部312と、顕微鏡部312の基端部に接続し、顕微鏡部312を回動可能に支持するアームを含む支持部313と、支持部313の基端部を回動可能に保持し、床面上を移動可能なベース部314と、を有する。ベース部314は、顕微鏡装置310から被写体に照射する白色光、狭帯域光等を生成する光源装置3と、手術用顕微鏡システム300の動作を制御する制御装置9と、を有する。なお、光源装置3および制御装置9の各々は、少なくとも上述した実施の形態1と同様の構成を有する。具体的には、光源装置3は、集光レンズ30と、第1の光源部31と、第2の光源部32と、光源制御部34と、を備える。また、制御装置9は、S/P変換部91と、画像処理部93と、入力部94と、記録部95と、制御部96と、を備える。ベース部314は、床面上に移動可能に設けるのではなく、天井や壁面等に固定して支持部313を支持する構成としてもよい。
【0173】
顕微鏡部312は、例えば、円柱状をなして、その内部に上述した医用用撮像装置を有する。具体的には、医療用撮像装置は、上述した実施の形態1に係る内視鏡カメラヘッド5と同様の構成を有する。例えば、顕微鏡部312は、光学系51と、駆動部52と、撮像素子53と、A/D変換部54と、P/S変換部55と、撮像記録部56と、撮像制御部57と、カットフィルタ58と、を備える。また、顕微鏡部312の側面には、顕微鏡装置310の動作指示の入力を受け付けるスイッチが設けられている。顕微鏡部312の下端部の開口面には、内部を保護するカバーガラスが設けられている(図示せず)。
【0174】
このように構成された手術用顕微鏡システム300は、術者等のユーザが顕微鏡部312を把持した状態で各種スイッチを操作しながら、顕微鏡部312を移動させたり、ズーム操作を行ったり、照明光を切り替えたりする。なお、顕微鏡部312の形状は、ユーザが把持して視野方向を変更しやすいように、観察方向に細長く延びる形状であれば好ましい。このため、顕微鏡部312の形状は、円柱状以外の形状であってもよく、例えば多角柱状であってもよい。
【0175】
以上説明した実施の形態5によれば、手術用顕微鏡システム300においても、上述した実施の形態1と同様の効果を得ることができるうえ、顕微鏡部312の小型化を図ることができる。
【0176】
(その他の実施の形態)
上述した本開示の実施の形態1~4に係る医療用観察システムに開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した本開示の実施の形態に係る医療用観察システムに記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、上述した本開示の実施の形態に係る医療用観察システムで説明した構成要素を適宜組み合わせてもよい。
【0177】
また、本開示の実施の形態1~4に係る医療用観察システムでは、上述してきた「部」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。
【0178】
なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
【0179】
以上、本願の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、本開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
【符号の説明】
【0180】
1,1A,100 内視鏡システム
2,121 挿入部
3 光源装置
4,241 ライトガイド
5,5A 内視鏡カメラヘッド
6 第1の伝送ケーブル
7 表示装置
8 第2の伝送ケーブル
9 制御装置
10 第3の伝送ケーブル
21 接眼部
22 光学系
23 照明光学系
30 集光レンズ
31 第1の光源部
32 第2の光源部
34 光源制御部
51 光学系
52 駆動部
53 撮像素子
54 A/D変換部
55 P/S変換部
56 撮像記録部
57 撮像制御部
58,58A,58C カットフィルタ
61 ビデオコネクタ
62 カメラヘッドコネクタ
91 S/P変換部
92 検出部
93 画像処理部
94 入力部
95 記録部
96 制御部
102 内視鏡
122 操作部
123 ユニバーサルコード
124 先端部
125 湾曲部
126 可撓管部
127,128 コネクタ部
127a コイルケーブル
242 照明レンズ
243 撮像装置
244 光学系
300 手術用顕微鏡システム
310 顕微鏡装置
312 顕微鏡部
313 支持部
314 ベース部
511 レンズ
531 画素部
532 カラーフィルタ
541,542 透過部
931 デモザイク処理部
932 算出部
933 判定部
934 生成部
951 プログラム記録部