(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-02-28
(45)【発行日】2023-03-08
(54)【発明の名称】医療用画像処理装置及び医療用観察システム
(51)【国際特許分類】
A61B 1/045 20060101AFI20230301BHJP
A61B 1/00 20060101ALI20230301BHJP
【FI】
A61B1/045 610
A61B1/00 511
(21)【出願番号】P 2019042028
(22)【出願日】2019-03-07
【審査請求日】2022-01-05
(73)【特許権者】
【識別番号】313009556
【氏名又は名称】ソニー・オリンパスメディカルソリューションズ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】出口 達也
【審査官】鷲崎 亮
(56)【参考文献】
【文献】特開2015-099104(JP,A)
【文献】米国特許出願公開第2015/0088001(US,A1)
【文献】特開2013-198545(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 1/00- 1/32
G02B 21/06-21/36
(57)【特許請求の範囲】
【請求項1】
観察対象に励起光が照射され、前記観察対象を介した前記励起光と前記励起光によって励起された前記観察対象からの蛍光とが撮像素子にて撮像された撮像画像を取得する撮像画像取得部と、
前記撮像画像に対して画像処理を実行する画像処理部とを備え、
前記撮像素子の受光面には、
互いに異なる分光特性を有する複数のフィルタ群が特定の形式で配列されたカラーフィルタが設けられ、
前記撮像画像は、
前記複数のフィルタ群の分光特性にそれぞれ応じた複数の色の第1の成分情報を含み、
前記画像処理部は、
前記複数の色の第1の成分情報のうち少なくとも2つの第1の成分情報を組み合わせて第2の成分情報を生成し、前記第2の成分情報
を行列要素として含む入力マトリクスを予め設定された色補正マトリクスに乗算することによって、前記複数の色の第1の成分情報を補正する色補正処理を実行する医療用画像処理装置。
【請求項2】
前記入力マトリクスは、
前記複数の色の第1の成分情報をそれぞれ行列要素として含む請求項
1に記載の医療用画像処理装置。
【請求項3】
前記第2の成分情報は、
前記複数の色の第1の成分情報のうち少なくとも2つの第1の成分情報を乗算した成分情報である請求項1
または2に記載の医療用画像処理装置。
【請求項4】
前記複数のフィルタ群は、
赤、緑、及び青の波長帯域に応じてグループ分けされた3つのフィルタ群であり、
前記撮像画像は、
前記3つのフィルタ群の分光特性にそれぞれ応じた赤、緑、及び青の前記第1の成分情報を含む請求項1~
3のいずれか一つに記載の医療用画像処理装置。
【請求項5】
前記第2の成分情報は、
前記赤の前記第1の成分情報である赤の画素値R、前記緑の前記第1の成分情報である画素値G、及び前記青の前記第1の成分情報である画素値Bの少なくとも2つを乗算した成分情報である(R*G)、(G*B)、(R*B)、及び(R*G*B)の少なくともいずれかを含む請求項4に記載の医療用画像処理装置。
【請求項6】
前記励起光は、
プロトポルフィリンを励起する光である請求項1~5のいずれか一つに記載の医療用画像処理装置。
【請求項7】
励起光を出射可能とする光源装置と、
観察対象に前記励起光が照射され、前記観察対象を介した前記励起光と前記励起光によって励起された前記観察対象からの蛍光とを撮像することで撮像画像を生成する撮像素子、及び前記撮像素子の受光面に設けられ、互いに異なる分光特性を有する複数のフィルタ群が特定の形式で配列されたカラーフィルタを有する撮像装置と、
前記撮像画像を処理する請求項1~6のいずれか一つに記載の医療用画像処理装置とを備える医療用観察システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、医療用画像処理装置及び医療用観察システムに関する。
【背景技術】
【0002】
従来、癌細胞を検出する癌診断法の一つである光線力学診断(Photo Dynamic Diagnosis:PDD)を行うための光線力学診断装置が知られている(例えば、特許文献1参照)。
光線力学診断では、例えば5-アミノレブリン酸(以下、5-ALAと記載)等の光感受性物質が用いられる。当該5-ALAは、元来、動植物の生体内に含まれる天然アミノ酸である。この5-ALAは、体内投与後に細胞内に取り込まれ、ミトコンドリア内でプロトポルフィリンに生合成される。そして、癌細胞では、当該プロトポルフィリンが過剰に集積する。また、当該癌細胞に過剰集積するプロトポルフィリンは、光活性を有する。このため、当該プロトポルフィリンは、励起光(例えば375nm~445nmの波長帯域の青色可視光)で励起すると、蛍光(例えば600nm~740nmの波長帯域の赤色蛍光)を発光する。このように、光感受性物質を用いて癌細胞を蛍光発光させる癌診断法を光線力学診断という。
そして、特許文献1に記載の光線力学診断装置は、励起光によって励起された光感受性物質からの蛍光を撮像して蛍光撮像画像を生成する蛍光撮像装置と、当該蛍光撮像装置の光路前段に設けられ、当該蛍光撮像装置に向かう励起光をカットする光学フィルタとを備える。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、光学フィルタによって蛍光撮像装置に向かう全ての励起光をカットした場合には、蛍光撮像装置は、光感受性物質からの蛍光のみを撮像することとなる。このように蛍光のみを撮像した場合には、蛍光撮像装置は、蛍光成分(癌細胞)のみを含む画像であって、背景(当該蛍光部分の周囲にある組織)を視認することができない画像となる。このため、医師等は、蛍光撮像画像を観察しても、背景を視認することができないため、癌細胞がどの位置にあるかを認識することが難しい。特許文献1に記載の光線力学診断装置は、蛍光撮像装置とは別に、観察対象にて反射された照明光(可視光)を撮像して照明光撮像画像を生成する照明光撮像装置を備える。すなわち、照明光撮像画像を観察することにより、上述した背景を視認することができる。しかしながら、撮像装置が2つ必要となり、構造の簡素化を図ることができない、という問題がある。
【0005】
ここで、蛍光撮像装置を1台のみ用いる構成として、光学フィルタによって蛍光撮像画像に向かう全ての励起光をカットせずに一部の励起光を透過させることで、蛍光撮像画像において、上述した背景を励起光成分で視認可能とすることが考えられる。しかしながら、光学フィルタの製造バラつきや温度変化及び経年劣化等により、蛍光撮像画像において、蛍光成分と励起光成分との明るさのバランスが所望のバランスとはならず、当該蛍光撮像画像が観察に適した画像とならない場合がある。
【0006】
本開示は、上記に鑑みてなされたものであって、構造の簡素化を図りつつ、観察に適した画像を生成することができる医療用画像処理装置及び医療用観察システムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上述した課題を解決し、目的を達成するために、本開示に係る医療用画像処理装置は、観察対象に励起光が照射され、前記観察対象を介した前記励起光と前記励起光によって励起された前記観察対象からの蛍光とが撮像素子にて撮像された撮像画像を取得する撮像画像取得部と、前記撮像画像に対して画像処理を実行する画像処理部とを備え、前記撮像素子の受光面には、互いに異なる分光特性を有する複数のフィルタ群が特定の形式で配列されたカラーフィルタが設けられ、前記撮像画像は、前記複数のフィルタ群の分光特性にそれぞれ応じた複数の色の第1の成分情報を含み、前記画像処理部は、前記複数の色の第1の成分情報のうち少なくとも2つの第1の成分情報を組み合わせて第2の成分情報を生成し、前記第2の成分情報を行列要素として含む入力マトリクスを予め設定された色補正マトリクスに乗算することによって、前記複数の色の第1の成分情報を補正する色補正処理を実行する。
【0009】
また、本開示に係る医療用画像処理装置では、上記開示において、前記入力マトリクスは、前記複数の色の第1の成分情報をそれぞれ行列要素として含む。
【0010】
また、本開示に係る医療用画像処理装置では、上記開示において、前記第2の成分情報は、前記複数の色の第1の成分情報のうち少なくとも2つの第1の成分情報を乗算した成分情報である。
【0011】
また、本開示に係る医療用画像処理装置では、上記開示において、前記複数のフィルタ群は、赤、緑、及び青の波長帯域に応じてグループ分けされた3つのフィルタ群であり、前記撮像画像は、前記3つのフィルタ群の分光特性にそれぞれ応じた赤、緑、及び青の前記第1の成分情報を含む。
また、本開示に係る医療用画像処理装置では、上記開示において、前記第2の成分情報は、前記赤の前記第1の成分情報である赤の画素値R、前記緑の前記第1の成分情報である画素値G、及び前記青の前記第1の成分情報である画素値Bの少なくとも2つを乗算した成分情報である(R*G)、(G*B)、(R*B)、及び(R*G*B)の少なくともいずれかを含む。
【0012】
また、本開示に係る医療用画像処理装置では、上記開示において、前記励起光は、プロトポルフィリンを励起する光である。
【0013】
本開示に係る医療用観察システムは、励起光を出射可能とする光源装置と、観察対象に前記励起光が照射され、前記観察対象を介した前記励起光と前記励起光によって励起された前記観察対象からの蛍光とを撮像することで撮像画像を生成する撮像素子、及び前記撮像素子の受光面に設けられ、互いに異なる分光特性を有する複数のフィルタ群が特定の形式で配列されたカラーフィルタを有する撮像装置と、前記撮像画像を処理する上述した医療用画像処理装置とを備える。
【発明の効果】
【0014】
本開示に係る医療用画像処理装置及び医療用観察システムによれば、構造の簡素化を図りつつ、観察に適した画像を生成することができる。
【図面の簡単な説明】
【0015】
【
図1】
図1は、実施の形態1に係る医療用観察システムの構成を示す図である。
【
図2】
図2は、カメラヘッド及び制御装置の構成を示すブロック図である。
【
図4】
図4は、カラーフィルタの分光特性を示す図である。
【
図6】
図6は、色補正マトリクスの算出方法を示すフローチャートである。
【
図7】
図7は、
図6に示した色補正マトリクスの算出方法で用いられるカラーパッチを示す図である。
【
図8】
図8は、実施の形態2に係る医療用観察システムの構成を示す図である。
【
図9】
図9は、実施の形態3に係る医療用観察システムの構成を示す図である。
【発明を実施するための形態】
【0016】
以下に、図面を参照して、本開示を実施するための形態(以下、実施の形態)について説明する。なお、以下に説明する実施の形態によって本開示が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付している。
【0017】
(実施の形態1)
〔医療用観察システムの概略構成〕
図1は、実施の形態1に係る医療用観察システム1の構成を示す図である。
医療用観察システム1は、医療分野において用いられ、被写体となる生体内(観察対象)を撮像(観察)するシステムである。この医療用観察システム1は、
図1に示すように、挿入部2と、光源装置3と、ライトガイド4と、カメラヘッド5と、第1伝送ケーブル6と、表示装置7と、第2伝送ケーブル8と、制御装置9と、第3伝送ケーブル10とを備える。
【0018】
実施の形態1では、挿入部2は、硬性内視鏡で構成されている。すなわち、挿入部2は、全体が硬質、または一部が軟質で他の部分が硬質である細長形状を有し、生体内に挿入される。この挿入部2内には、1または複数のレンズを用いて構成され、被写体からの光を集光する光学系が設けられている。
【0019】
光源装置3は、制御装置9による制御の下、励起光を生成する。そして、光源装置3は、ライトガイド4の一端に当該励起光を供給する。実施の形態1では、光源装置3は、プロトポルフィリンを励起する青の波長帯域(例えば375nm~445nmの波長帯域)の励起光を発光する半導体レーザで構成されている。また、当該プロトポルフィリンは、当該励起光で励起すると、赤の波長帯域(例えば、600nm~740nmの波長帯域)の蛍光を発光する。
なお、実施の形態1では、光源装置3は、制御装置9とは別体で構成されているが、これに限らず、当該制御装置9内部に設けられた構成を採用しても構わない。
【0020】
ライトガイド4は、一端が光源装置3に着脱自在に接続されるとともに、他端が挿入部2に着脱自在に接続される。そして、ライトガイド4は、光源装置3から供給された励起光を一端から他端に伝達し、挿入部2に供給する。挿入部2に供給された励起光は、当該挿入部2の先端から出射され、生体内に照射される。生体内に照射され、当該生体内を介した励起光(当該生体内で反射された励起光)と、当該生体内における病変部に集積するプロトポルフィリンが励起され、当該プロトポルフィリンから発せられた蛍光とは、挿入部2内の光学系により集光される。なお、以下では、説明の便宜上、挿入部2内の光学系により集光された励起光と蛍光とを被写体像と記載する。
【0021】
カメラヘッド5は、本開示に係る撮像装置に相当する。このカメラヘッド5は、挿入部2の基端(接眼部21(
図1))に着脱自在に接続される。そして、カメラヘッド5は、制御装置9による制御の下、挿入部2にて集光された被写体像(励起光及び蛍光)を撮像し、当該撮像による画像信号(RAW信号)を出力する。当該画像信号は、例えば、4K以上の画像信号である。
なお、カメラヘッド5の詳細な構成については、後述する。
【0022】
第1伝送ケーブル6は、一端がコネクタCN1(
図1)を介して制御装置9に着脱自在に接続され、他端がコネクタCN2(
図1)を介してカメラヘッド5に着脱自在に接続される。そして、第1伝送ケーブル6は、カメラヘッド5から出力される画像信号等を制御装置9に伝送するとともに、制御装置9から出力される制御信号、同期信号、クロック、及び電力等をカメラヘッド5にそれぞれ伝送する。
なお、第1伝送ケーブル6を介したカメラヘッド5から制御装置9への画像信号等の伝送は、当該画像信号等を光信号で伝送してもよく、あるいは、電気信号で伝送しても構わない。第1伝送ケーブル6を介した制御装置9からカメラヘッド5への制御信号、同期信号、クロックの伝送も同様である。
【0023】
表示装置7は、液晶または有機EL(Electro Luminescence)等を用いた表示ディスプレイで構成され、制御装置9にて処理された画像を表示する。
第2伝送ケーブル8は、一端が表示装置7に着脱自在に接続され、他端が制御装置9に着脱自在に接続される。そして、第2伝送ケーブル8は、制御装置9にて処理された画像を表示装置7に伝送する。
【0024】
制御装置9は、本開示に係る医療用画像処理装置に相当する。この制御装置9は、CPU(Central Processing Unit)やFPGA(Field-Programmable Gate Array)等で構成され、光源装置3、カメラヘッド5、及び表示装置7の動作を統括的に制御する。
なお、制御装置9の詳細な構成については、後述する。
第3伝送ケーブル10は、一端が光源装置3に着脱自在に接続され、他端が制御装置9に着脱自在に接続される。そして、第3伝送ケーブル10は、制御装置9からの制御信号を光源装置3に伝送する。
【0025】
〔カメラヘッドの構成〕
次に、カメラヘッド5の構成について説明する。
図2は、カメラヘッド5及び制御装置9の構成を示すブロック図である。
なお、
図2では、説明の便宜上、制御装置9及びカメラヘッド5と第1伝送ケーブル6との間のコネクタCN1,CN2、制御装置9及び表示装置7と第2伝送ケーブル8との間のコネクタ、制御装置9及び光源装置3と第3伝送ケーブル10との間のコネクタの図示を省略している。
カメラヘッド5は、
図2に示すように、レンズユニット51と、撮像部52と、通信部53とを備える。
【0026】
レンズユニット51は、1または複数のレンズを用いて構成され、挿入部2にて集光された被写体像(励起光及び蛍光)を撮像部52(撮像素子521)の撮像面に結像する。
撮像部52は、制御装置9による制御の下、生体内を撮像する。この撮像部52は、
図2に示すように、撮像素子521と、カラーフィルタ522と、信号処理部523とを備える。
撮像素子521は、レンズユニット51が結像した光を受光して電気信号(アナログ信号)に変換するCCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)等で構成されている。以下では、説明の便宜上、撮像素子521により被写体像(励起光及び蛍光)を撮像することで生成された撮像画像をPDD画像と記載する。
信号処理部523は、撮像素子521にて生成されたPDD画像(アナログ信号)に対して信号処理を行ってPDD画像(RAW信号(デジタル信号))を出力する。
【0027】
図3は、カラーフィルタ522を示す図である。
カラーフィルタ522は、撮像素子521の撮像面(受光面)に設けられ、透過させる光(R(赤),G(緑),B(青))の波長帯域に応じてグループ分けされた3つのフィルタ群が特定の形式(例えば、ベイヤ配列)で配列されたカラーフィルタである。
具体的に、カラーフィルタ522は、
図3に示すように、Rの波長帯域の光を主に透過させるRフィルタ群522rと、Bの波長帯域の光を主に透過させるBフィルタ群522bと、Gの波長帯域の光を主に透過させる第1Gフィルタ群(Rフィルタ群522rと同一の列に配列)と、Gの波長帯域の光を主に透過させる第2Gフィルタ群(Bフィルタ群522bと同一の列に配列)とを有する。なお、
図3では、第1,第2Gフィルタ群を纏めてGフィルタ群522gとしている。また、
図3では、Rフィルタ群522rには「R」の文字を付し、Gフィルタ群522gには「G」の文字を付し、Bフィルタ群522bには「B」の文字を付している。
【0028】
図4は、カラーフィルタ522の分光特性を示す図である。具体的に、
図4では、Rフィルタ群522rの分光特性を曲線CRにて示し、Gフィルタ群522gの分光特性を曲線CGにて示し、Bフィルタ群522bの分光特性を曲線CBにて示している。また、
図4では、励起光のスペクトルSPE、及び蛍光のスペクトルSPFについても図示している。
Rフィルタ群522rは、
図4に示すように、蛍光を含むRの波長帯域の光を主に透過させるが、励起光も一部透過させる。すなわち、撮像部52にて生成されたPDD画像において、Rフィルタ群522rに対応する画素の画素データ(本開示に係る第1の成分情報に相当、以下、r値と記載)は、蛍光成分と励起光成分とが混ざり合ったものとなる。また、Gフィルタ群522gは、Gの波長帯域の光を主に透過させるが、蛍光及び励起光も一部透過させる。すなわち、PDD画像において、Gフィルタ群522gに対応する画素の画素データ(本開示に係る第1の成分情報に相当、以下、g値と記載)は、蛍光成分と励起光成分とが混ざり合ったものとなる。さらに、Bフィルタ群522bは、励起光を含むBの波長帯域の光を主に透過させるが、蛍光も一部透過させる。すなわち、PDD画像において、Bフィルタ群522bに対応する画素の画素データ(本開示に係る第1の成分情報に相当、以下、b値と記載)は、蛍光成分と励起光成分とが混ざり合ったものとなる。
【0029】
図5は、PDD画像FFの一例を示す図である。具体的に、
図5において、グレーで表現した領域ArFは、プロトポルフィリンが過剰集積した病変部に相当し、主に蛍光成分によって構成された領域である。
撮像部52にて生成されたPDD画像FFにおいて、領域ArFの周囲にある背景(PDD画像FFにおいて白で表現した領域)は、主に励起光の成分によって構成される。実施の形態1では、撮像部52は、撮像素子521に向かう励起光をカットする光学フィルタが設けられていない。すなわち、観察対象で反射された多くの光量の励起光が撮像素子521に入射することとなる。このため、上述した背景は、領域ArFよりも明るくなり、当該領域ArFが視認し難いものとなる。
そこで、実施の形態1では、後述する制御装置9が実行する画像処理によって、r値、g値、及びb値において互いに混ざり合った蛍光成分と励起光成分とを分離し、領域ArFと上述した背景との明るさのバランスを所望のバランスとするものである。
【0030】
通信部53は、第1伝送ケーブル6を介して、撮像部52から出力されるPDD画像(RAW信号(デジタル信号))を制御装置9に送信するトランスミッタとして機能する。この通信部53は、例えば、第1伝送ケーブル6を介して、制御装置9との間で、1Gbps以上の伝送レートでPDD画像の通信を行う高速シリアルインターフェースで構成されている。
【0031】
〔制御装置の構成〕
次に、制御装置9の構成について
図2を参照しながら説明する。
制御装置9は、
図2に示すように、通信部91と、画像処理部92と、制御部93と、入力部94と、出力部95と、記憶部96とを備える。
通信部91は、本開示に係る撮像画像取得部に相当する。この通信部91は、第1伝送ケーブル6を介して、カメラヘッド5(通信部53)から出力されるPDD画像(RAW信号(デジタル信号))を受信するレシーバとして機能する。この通信部91は、例えば、通信部53との間で、1Gbps以上の伝送レートでPDD画像の通信を行う高速シリアルインターフェースで構成されている。
【0032】
画像処理部92は、制御部93による制御の下、カメラヘッド5(通信部53)から順次、出力され、通信部91にて受信したPDD画像(RAW信号(デジタル信号))を処理する。この画像処理部92は、
図2に示すように、WB処理部921と、デモザイク処理部922と、色補正マトリクス処理部923と、ガンマ処理部924と、YC変換部925とを備える。
【0033】
WB処理部921は、PDD画像(RAW信号(デジタル信号))におけるr値、g値、及びb値に特定のゲインをそれぞれ乗算するWB(ホワイトバランス)処理を行う。
デモザイク処理部922は、WB処理後のPDD画像に対して、1画素毎に補間によりr値、g値、及びb値の画素値(R(r値),G(g値),B(b値))を持たせるデモザイク処理を行う。
【0034】
色補正マトリクス処理部923は、デモザイク処理後のPDD画像に対して色補正マトリクス処理(本開示に係る色補正処理に相当)を行う。
具体的に、色補正マトリクス処理部923は、以下の式(1)により、1画素毎の画素値(R,G,B)を画素値(Rm,Gm,Bm)に補正する。なお、式(1)において、Mcolは、色補正マトリクスである。式(1)は、色補正マトリクスMcolとして、3*8のマトリクスを採用した場合を示したものである。当該色補正マトリクスの算出方法については後述する。また、Minputは、色補正マトリクスMcolに乗算される入力マトリクスである。式(1)では、入力マトリクスMinputは、画素値(R,G,B)を行列要素としてそれぞれ含む他、「R*G」、「G*B」、「R*B」、及び「R*G*B」を行列要素としてそれぞれ含む。
すなわち、入力マトリクスMinputは、3つの第1の成分情報(画素値(R,G,B))のうち少なくとも2つの第1の成分情報を組み合わせた第2の成分情報(「R*B」、「G*B」、「R*B」、「R*G*B」)を行列要素として含む。
【0035】
ここで、画素値(R,G,B)に含まれるRとGとを乗算した「R*G」の行列要素は、曲線CRがRの波長帯域だけでなく、Gの波長帯域まで延びている結果、R(r値)の中にどれだけGの波長帯域の光に応じた成分が含まれているかを示す行列要素である。また、当該「R*G」の行列要素は、曲線CGがGの波長帯域だけでなくRの波長帯域まで延びている結果、G(g値)の中にどれだけRの波長帯域の光に応じた成分が含まれているかを示す行列要素である。
【0036】
また、画素値(R,G,B)に含まれるGとBとを乗算した「G*B」の行列要素は、曲線CGがGの波長帯域だけでなく、Bの波長帯域まで延びている結果、G(g値)の中にどれだけBの波長帯域の光に応じた成分が含まれているかを示す行列要素である。また、当該「G*B」の行列要素は、曲線CBがBの波長帯域だけでなくGの波長帯域まで延びている結果、B(b値)の中にどれだけGの波長帯域の光に応じた成分が含まれているかを示す行列要素である。
【0037】
さらに、画素値(R,G,B)に含まれるRとBとを乗算した「R*B」の行列要素は、曲線CRがRの波長帯域だけでなく、Bの波長帯域まで延びている結果、R(r値)の中にどれだけBの波長帯域の光に応じた成分が含まれているかを示す行列要素である。また、当該「R*B」の行列要素は、曲線CBがBの波長帯域だけでなくRの波長帯域まで延びている結果、B(b値)の中にどれだけRの波長帯域の光に応じた成分が含まれているかを示す行列要素である。
【0038】
また、画素値(R,G,B)に含まれるR,G,Bの全てを乗算した「R*G*B」の行列要素は、曲線CRがRの波長帯域だけでなく、G,Bの波長帯域まで延びている結果、R(r値)の中にどれだけG,Bの波長帯域の光に応じた成分が含まれているかを示す行列要素である。また、当該「R*G*B」の行列要素は、曲線CGがGの波長帯域だけでなく、R,Bの波長帯域までそれぞれ延びている結果、G(g値)の中にどれだけR,Bの波長帯域の光に応じた成分が含まれているかを示す行列要素である。さらに、当該「R*G*B」の行列要素は、曲線CBがBの波長帯域だけでなく、R,Gの波長帯域まで延びている結果、B(b値)の中にどれだけR,Gの波長待機の光に応じた成分が含まれているかを示す行列要素である。
【0039】
【0040】
そして、色補正マトリクス処理部923は、1画素毎の画素値(R,G,B)から入力マトリクスMinputを算出し、当該入力マトリクスMinputを色補正マトリクスMcolに乗算することで、補正された画素値(Rm,Gm,Bm)を算出する。
【0041】
なお、式(1)では、3*8の色補正マトリクスMcolを採用した場合を例示しているが、これに限らない。例えば、以下の式(2)に示す3*7の色補正マトリクスMcol、以下の式(3)に示す3*6の色補正マトリクスMcol、あるいは、以下の式(4)に示す3*5の色補正マトリクスMcolを採用しても構わない。式(2)に示した入力マトリクスMinputは、式(1)に示した入力マトリクスMinputにおける「R*G*B」の行列要素が省略されたものである。式(3)では、入力マトリクスMinputを3つ挙げているが、当該3つのうちいずれの入力マトリクスMinputを用いても構わない。当該3つの入力マトリクスMinputは、式(2)に示した入力マトリクスMinputにおける「R*G」の行列要素、「G*B」の行列要素、及び「R*B」の行列要素のいずれか1つの行列要素が省略されたものである。式(4)では、入力マトリクスMinputを3つ挙げているが、当該3つのうちいずれの入力マトリクスMinputを用いても構わない。当該3つの入力マトリクスMinputは、式(2)に示した入力マトリクスMinputにおける「R*G」の行列要素、「G*B」の行列要素、及び「R*B」の行列要素のいずれか2つの行列要素が省略されたものである。
【0042】
【0043】
【0044】
【0045】
ガンマ処理部924は、色補正マトリクス処理後のPDD画像に対してガンマ処理(γ補正)を行う。
YC変換部925は、ガンマ処理後のPDD画像(RGB信号)を輝度信号及び色差信号(Y,CB/CR信号)に変換するYC変換を行う。そして、画像処理部92は、第2伝送ケーブル8を介して、YC変換後のPDD画像を表示装置7に出力する。これにより、表示装置7は、当該PDD画像を表示する。
【0046】
制御部93は、例えば、CPUやFPGA等を用いて構成され、第1~第3伝送ケーブル6,8,10を介して制御信号を出力することで、光源装置3、カメラヘッド5、及び表示装置7の動作を制御するとともに、制御装置9全体の動作を制御する。
入力部94は、マウス、キーボード、及びタッチパネル等の操作デバイスを用いて構成され、医師等のユーザによるユーザ操作を受け付ける。そして、入力部94は、当該ユーザ操作に応じた操作信号を制御部93に出力する。
出力部95は、スピーカやプリンタ等を用いて構成され、各種情報を出力する。
記憶部96は、制御部93が実行するプログラムや、制御部93の処理に必要な情報等を記憶する。
【0047】
〔色補正マトリクスの算出方法〕
次に、上述した色補正マトリクスM
colの算出方法について説明する。
図6は、色補正マトリクスM
colの算出方法を示すフローチャートである。
図7は、
図6に示した色補正マトリクスの算出方法で用いられるカラーパッチ100を示す図である。
先ず、作業者は、光源装置3にて生成された励起光をカラーパッチ100(
図7)に照射した状態で、撮像部52にて当該カラーパッチ100を撮像させる(ステップS1)。
ここで、カラーパッチ100は、例えばマクベスカラーチャート等で構成され、互いに異なる色見本(以下、パッチと記載)が配列されたものである。なお、
図7では、説明の便宜上、パッチに対して1~nの文字を付している。
【0048】
ステップS1の後、作業者は、画像処理部92を利用して、撮像部52にて生成されたPDD画像(RAW信号(デジタル信号))に対してWB処理(ステップS2)及びデモザイク処理(ステップS3)を実行することにより、1~nのパッチ毎の画素値(R,G,B)を取得する(ステップS4)。
【0049】
ステップS4の後、作業者は、入力マトリクスMinputのタイプを選択する(ステップS5)。
具体的に、作業者は、3*8の色補正マトリクスMcolを算出する場合には、式(1)の入力マトリクスMinputを選択する。また、作業者は、3*7の色補正マトリクスMcolを算出する場合には、式(2)の入力マトリクスMinputを選択する。さらに、作業者は、3*6の色補正マトリクスMcolを算出する場合には、式(3)の3つの入力マトリクスMinputのいずれかを選択する。また、作業者は、3*5の色補正マトリクスMcolを算出する場合には、式(4)の3つの入力マトリクスMinputのいずれかを選択する。
【0050】
ステップS5の後、作業者は、ステップS4で取得した1~nのパッチ毎の各画素値(R,G,B)からステップS5で選択した入力マトリクスMinputをそれぞれ算出する(ステップS6)。すなわち、ステップS6により、入力マトリクスMinputが1~nのパッチ毎に算出される。
ステップS6の後、作業者は、ステップS6で算出した1~nのパッチ毎の入力マトリクスMinput、及び1~nのパッチ毎のターゲット値(Rtarget,Gtarget,Btarget)を以下の式(5)に入力する(ステップS7)。すなわち、ステップS7により、色補正マトリクスMcolを変数とする式(5)が1~nのパッチ毎に生成される。
【0051】
【0052】
ここで、1~nのパッチ毎のターゲット値(Rtarget,Gtarget,Btarget)は、1~nのパッチ毎の理想となる画素値であり、例えば、撮像素子521に向かう励起光の一部をカットする光学フィルタを撮像部52に設けた状態で撮像したPDD画像における1~nのパッチ毎の画素値を採用することができる。
【0053】
ステップS7の後、作業者は、ステップS7で生成した色補正マトリクスMcolを変数とする1~nのパッチ毎の式(5)から誤差最小二乗法により、当該色補正マトリクスMcolを算出する(ステップS8)。
【0054】
以上説明した実施の形態1によれば、以下の効果を奏する。
実施の形態1に係る制御装置9は、3つの第1の成分情報(画素値(R,G,B))のうち少なくとも2つの第1の成分情報を組み合わせて第2の成分情報(「R*B」、「G*B」、「R*B」、「R*G*B」)を生成し、当該第2の成分情報に基づいて3つの第1の成分情報を補正する色補正処理を実行する。より具体的に、制御装置9は、3つの第1の成分情報と第2の成分情報とを行列要素としてそれぞれ含む入力マトリクスMinputを色補正マトリクスMcolに乗算することによって、3つの第1の成分情報を補正する色補正処理を実行する。
このため、r値、g値、及びb値において互いに混ざり合った蛍光成分と励起光成分とを色補正処理によって分離し、PDD画像FFの領域ArF(蛍光成分)と背景(励起光成分)との明るさのバランスを所望のバランスとすることができる。
したがって、医療用観察システム1の構成として、撮像素子521を1つのみ有する単板型の構成とすることができるとともに、従来の励起光をカットする光学フィルタを用いる必要がないため、構造の簡素化を図ることができる。また、制御装置9は、PDD画像FFの領域ArFと背景との明るさのバランスを所望のバランスとすることができるため、観察に適した画像を生成することができる。
【0055】
(実施の形態2)
次に、実施の形態2について説明する。
以下の説明では、上述した実施の形態1と同様の構成には同一符号を付し、その詳細な説明は省略または簡略化する。
上述した実施の形態1では、硬性内視鏡(挿入部2)を用いた医療用観察システム1に本開示を適用していた。
これに対して、実施の形態2では、挿入部の先端側に撮像部を有する所謂ビデオスコープを用いた医療用観察システムに本開示を適用している。
【0056】
図8は、実施の形態2に係る医療用観察システム1Aの構成を示す図である。
実施の形態2に係る医療用観察システム1Aは、
図8に示すように、生体内に挿入部2Aを挿入することによって観察部位の体内画像を撮像して画像信号を出力する内視鏡11と、内視鏡11の先端から出射する照明光を発生する光源装置3と、内視鏡11から出力された画像信号を処理する制御装置9と、制御装置9に第2伝送ケーブル8を介して接続し、制御装置9にて処理されたPDD画像を表示する表示装置7とを備える。
【0057】
内視鏡11は、
図8に示すように、可撓性を有する細長形状をなす挿入部2Aと、挿入部2Aの基端側に接続され、各種の操作を受け付ける操作部111と、操作部111から挿入部2Aが延びる方向と異なる方向に延び、光源装置3及び制御装置9に接続する各種ケーブルを内蔵するユニバーサルコード112とを備える。
挿入部2Aは、
図8に示すように、先端部22と、先端部22の基端側に接続され、複数の湾曲駒によって構成された湾曲自在な湾曲部23と、湾曲部23の基端側に接続され、可撓性を有する長尺状の可撓管部24とを備える。
そして、先端部22内部には、具体的な図示は省略したが、上述した実施の形態1で説明した撮像部52と略同様の構成が内蔵されている。また、操作部111内部には、具体的な図示は省略したが、上述した実施の形態1で説明した通信部53と略同様の構成が内蔵されている。そして、先端部22(撮像部)にて撮像されたPDD画像は、操作部111及びユニバーサルコード112を介して、制御装置9に出力される。
【0058】
以上説明した実施の形態2のように軟性内視鏡(内視鏡11)を用いた場合であっても、上述した実施の形態1と同様の効果を奏する。
【0059】
(実施の形態3)
次に、実施の形態3について説明する。
以下の説明では、上述した実施の形態1と同様の構成には同一符号を付し、その詳細な説明は省略または簡略化する。
上述した実施の形態1では、硬性内視鏡(挿入部2)を用いた医療用観察システム1に本開示を適用していた。
これに対して、実施の形態3では、被検体内部(生体内)や被検体表面(生体表面)の所定の視野領域を拡大して撮像する手術用顕微鏡を用いた医療用観察システムに本開示を適用している。
【0060】
図9は、実施の形態3に係る医療用観察システム1Bの構成を示す図である。
実施の形態3に係る医療用観察システム1Bは、
図9に示すように、被検体を撮像してPDD画像を出力する手術用顕微鏡12と、手術用顕微鏡12から出力されたPDD画像を処理する制御装置9と、制御装置9に第2伝送ケーブル8を介して接続し、制御装置9にて処理されたPDD画像を表示する表示装置7とを備える。
【0061】
手術用顕微鏡12は、
図9に示すように、被写体の微小部位を拡大して撮像し、PDD画像を出力する顕微鏡部121と、顕微鏡部121の基端部に接続し、顕微鏡部121を回動可能に支持するアームを含む支持部122と、支持部122の基端部を回転可能に保持し、床面上を移動可能なベース部123とを備える。
そして、制御装置9は、
図9に示すように、ベース部123に設置されている。また、具体的な図示は省略したが、ベース部123には、手術用顕微鏡12から被写体に照射する励起光を生成する光源装置3も設置されている。
なお、ベース部123は、床面上に移動可能に設けるのではなく、天井や壁面等に固定して支持部122を支持する構成としてもよい。
【0062】
顕微鏡部121には、具体的な図示は省略したが、上述した実施の形態1で説明した撮像部52及び通信部53と略同様の構成が内蔵されている。そして、顕微鏡部121(撮像部)にて撮像されたPDD画像は、支持部122に沿って配線された第1伝送ケーブル6を介して、制御装置9に出力される。
【0063】
以上説明した実施の形態3のように手術用顕微鏡12を用いた場合であっても、上述した実施の形態1と同様の効果を奏する。
【0064】
(その他の実施の形態)
ここまで、本開示を実施するための形態を説明してきたが、本開示は上述した実施の形態1~3によってのみ限定されるべきものではない。
上述した実施の形態1~3では、光線力学診断を行うための医療用観察システム1(1A,1B)に本開示に係る医療用画像処理装置を搭載していたが、これに限らない。すなわち、励起光や蛍光の波長帯域が上述した実施の形態1~3で説明した波長帯域とは異なる波長帯域であって、当該光線力学診断とは異なる観察手法を行うための医療用観察システムに本開示に係る医療用画像処理装置を搭載しても構わない。
【0065】
上述した実施の形態1~3では、デモザイク処理をWB処理と色補正マトリクス処理との間に行う構成としていたが、これに限らない。当該デモザイク処理は、ガンマ処理の前であれば、色補正マトリクス処理の前に行ってもよく、あるいは、WB処理の前に行っても構わない。また、上述した実施の形態1~3において、画像処理部92は、各処理部921~925が
図2に示した順序とは異なる順序で配置された構成としても構わない。
【0066】
上述した実施の形態1~3では、入力マトリクスMinputの行列要素に含める第2の成分情報として、3つの第1の成分情報(画素値(R,G,B))のうち少なくとも2つの第1の成分情報を乗算した成分情報としていたが、これに限らず、当該少なくとも2つの第1の成分情報を組み合わせた成分情報であれば、その他の成分情報としても構わない。
【0067】
上述した実施の形態1~3では、カラーフィルタ522を構成する各フィルタ群522r,522g,522bは、R,G,Bの波長帯域の光を主に透過するフィルタ群としてそれぞれ構成されていたが、これに限らない。本開示に係る複数のフィルタ群としては、互いに異なる分光特性を有していれば、上述した実施の形態1~3で説明した色の組み合わせのフィルタ群522r,522g,522bに限らず、その他の色の組み合わせのフィルタ群として構成しても構わない。
上述した実施の形態1~3において、カメラヘッド5の一部の構成や制御装置9の一部の構成を例えばコネクタCN1やコネクタCN2に設けても構わない。
【符号の説明】
【0068】
1,1A,1B 医療用観察システム
2,2A 挿入部
3 光源装置
4 ライトガイド
5 カメラヘッド
6 第1伝送ケーブル
7 表示装置
8 第2伝送ケーブル
9 制御装置
10 第3伝送ケーブル
11 内視鏡
12 手術用顕微鏡
21 接眼部
22 先端部
23 湾曲部
24 可撓管部
51 レンズユニット
52 撮像部
53 通信部
91 通信部
92 画像処理部
93 制御部
94 入力部
95 出力部
96 記憶部
100 カラーパッチ
111 操作部
112 ユニバーサルコード
121 顕微鏡部
122 支持部
123 ベース部
521 撮像素子
522 カラーフィルタ
522b Bフィルタ群
522g Gフィルタ群
522r Rフィルタ群
523 信号処理部
921 WB処理部
922 デモザイク処理部
923 色補正マトリクス処理部
924 ガンマ処理部
925 YC変換部
ArF 領域
CB,CG,CR 曲線
CN1,CN2 コネクタ
FF PDD画像
SPE,SPF スペクトル