(58)【調査した分野】(Int.Cl.,DB名)
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1の画像処理装置のように、手技を行う場合には、病変と背景との双方が表示されている方が、より観察しやすい。一方で、病変を探す場合には、病変のみが強調して表示されている方が、より観察しやすい。そのため、利用シーンに応じた画像処理を行う画像処理装置が求められていた。
【0005】
本発明は、上記に鑑みてなされたものであって、病変を探す場合と、病変に処置を施す場合との双方において観察しやすい画像データを生成する画像処理装置、内視鏡システム、画像処理方法、及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
上述した課題を解決し、目的を達成するために、本発明の一態様に係る画像処理装置は、特殊観察光を用いた観察により取得された、少なくとも、赤色、緑色、青色の各色成分を含む撮像画像に対して、前記撮像画像の所定の色成分に対して色調を変更する第1の色調整部と、前記撮像画像の前記所定の色成分及びその他の色成分に対して色調を変更する第2の色調整部と、を備えることを特徴とする。
【0007】
また、本発明の一態様に係る画像処理装置は、前記第1の色調整部と前記第2の色調整部との切り替えを行う切り替え部を備え、前記切り替え部により選択された、前記第1の色調整部と前記第2の色調整部とのいずれか一方が色調を変更する処理を行うことを特徴とする。
【0008】
また、本発明の一態様に係る画像処理装置は、前記特殊観察光は、赤外光を含み、前記撮像画像の前記赤色成分には、被写体から発光された蛍光を含む赤外光の色成分が含まれることを特徴とする。
【0009】
また、本発明の一態様に係る画像処理装置は、前記第1の色調整部は、前記撮像画像のうち、前記蛍光を含む赤外光の色成分が含まれる赤色成分のみを抽出して、該赤色成分にk倍のゲインをかけるゲイン演算回路と、前記赤色成分を前記緑色成分及び前記青色成分に振り分ける色調整回路と、を有し、前記第2の色調整部は、前記緑色成分及び前記青色成分のゲインは等倍とし、前記赤色成分にn倍のゲインをかけるゲイン演算回路と、前記赤色成分を前記緑色成分に変換するとともに、前記緑色成分を前記赤色成分に変換する色調整回路と、を有し、前記第1の色調整部による前記赤色成分のゲインの倍率kと、前記第2の色調整部による前記赤色成分のゲインの倍率nとの大小関係は、k>nであることを特徴とする。
【0010】
また、本発明の一態様に係る内視鏡システムは、上記の画像処理装置と、被検体に前記特殊観察光を照射する光源装置と、近赤外域の励起光を反射するフィルタと、赤色光及び赤外光を透過する赤色カラーフィルタ、緑色光を透過する緑色カラーフィルタ、及び青色光を透過する青色カラーフィルタのいずれか1つであるカラーフィルタと、2次元格子状に配列されている複数の画素を有し、各画素が前記カラーフィルタを介して受光した光を光電変換して前記撮像画像を生成する撮像部と、を有する内視鏡と、を備えることを特徴とする。
【0011】
また、本発明の一態様に係る画像処理方法は、特殊観察光を用いた観察により取得された、少なくとも、赤色、緑色、青色の各色成分を含む撮像画像に対して画像処理を行う画像処理方法であって、外部からの入力に応じて、前記撮像画像の所定の色成分に対して色調を変更する第1の色調整部と、前記撮像画像の前記所定の色成分及びその他の色成分に対して色調を変更する第2の色調整部と、の一方から他方への切り替えを行う切り替え処理と、前記切り替え処理により選択された、前記第1の色調整部と前記第2の色調整部とのうちいずれか一方が色調を変更する処理を行う色調変更処理と、を含むことを特徴とする。
【0012】
また、本発明の一態様に係る画像処理プログラムは、特殊観察光を用いた観察により取得された、少なくとも、赤色、緑色、青色の各色成分を含む撮像画像に対して画像処理を行う画像処理プログラムであって、外部からの入力に応じて、前記撮像画像の所定の色成分に対して色調を変更する第1の色調整部と、前記撮像画像の前記所定の色成分及びその他の色成分に対して色調を変更する第2の色調整部と、の一方から他方への切り替えを行う切り替えステップと、前記切り替えステップにより選択された、前記第1の色調整部と前記第2の色調整部とのうちいずれか一方が色調を変更する処理を行う色調変更ステップと、を実行させることを特徴とする。
【発明の効果】
【0013】
本発明によれば、病変を探す場合と、病変に処置を施す場合との双方において観察しやすい画像データを生成する画像処理装置、内視鏡システム、画像処理方法、及び画像処理プログラムを実現することができる。
【発明を実施するための形態】
【0015】
以下に、図面を参照して本発明に係る画像処理装置、内視鏡システム、画像処理方法、及び画像処理プログラムの実施の形態を説明する。なお、これらの実施の形態により本発明が限定されるものではない。以下の実施の形態においては、内視鏡用の画像処理装置、内視鏡システム、画像処理方法、及び画像処理プログラムを例示して説明するが、本発明は、内視鏡や顕微鏡等の病変を探して手技を行う装置に用いる画像処理装置、内視鏡システム、画像処理方法、及び画像処理プログラムの一般に適用することができる。
【0016】
また、図面の記載において、同一又は対応する要素には適宜同一の符号を付している。また、図面は模式的なものであり、各要素の寸法の関係、各要素の比率などは、現実と異なる場合があることに留意する必要がある。図面の相互間においても、互いの寸法の関係や比率が異なる部分が含まれている場合がある。
【0017】
(実施の形態)
図1は、本発明の実施の形態に係る画像処理装置を含む内視鏡システムの構成を示す模式図である。
図1に示すように、内視鏡システム1は、被検体の体腔内に先端部を挿入することによって被検体の撮像画像を撮像する撮像装置としての内視鏡2と、内視鏡2が撮像した撮像画像に所定の処理を施すとともに、内視鏡システム1全体の動作を統括的に制御する制御装置3と、内視鏡2の先端から出射する照明光又は励起光を発生する光源である光源装置4と、観察者が所定の操作を入力するタッチパネル5と、制御装置3が画像処理を施した画像データを表示するモニタ6と、を備える。
【0018】
内視鏡2は、内視鏡2の先端に設けられ、光源装置4からの照明光又は励起光を出力する照明レンズ21と、集光用の対物光学系22と、対物光学系22の結像位置に設けられており、対物光学系22が集光した光を受光して電気信号に光電変換して所定の信号処理を施した撮像画像として出力する撮像部23と、を備える。
【0019】
対物光学系22は、体腔内の光を集光するレンズと、後述する近赤外域の励起光を反射する硬性鏡フィルタと、所定の波長帯域の光を透過するカラーフィルタと、を有し、所定の波長帯域の光を透過する。カラーフィルタは、赤色(R)光及び赤外光を透過するRカラーフィルタと、緑色(G)光を透過するGカラーフィルタと、青色(B)光を透過するBカラーフィルタとのいずれか1つである。
【0020】
撮像部23は、例えばCCD(Change Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサで構成される。
図10は、撮像部を3種のイメージセンサとカラーフィルタとで実現する構成を表す図である。
図10に示すように、撮像部23に入射したRGB成分を含む光は、プリズム231等の光学素子により分割され、各カラーフィルタを介して各イメージセンサにそれぞれ入射する。より具体的には、Rカラーフィルタ23aaを介してイメージセンサ23abにR光及び赤外光が入射し、Gカラーフィルタ23baを介してイメージセンサ23bbにG光が入射し、Bカラーフィルタ23caを介してイメージセンサ23cbにB光及び赤外光が入射する。各イメージセンサは、2次元格子状に配列されている複数の画素に対応し、各画素が各カラーフィルタを介して、R光、G光、B光のうちいずれか1つの光を受光し、受光した光を光電変換して撮像画像を生成する。
【0021】
制御装置3は、内視鏡システム1全体の動作を制御する制御部31と、内視鏡2が撮像した撮像画像に所定の処理を施す画像処理装置としての画像処理部32と、を有する。
【0022】
制御部31は、CPU等を用いて構成され、各構成部の駆動制御、及び各構成部に対する情報の入出力制御などを行う。制御部31は、タッチパネル5に入力された信号を受け付け、入力に応じた制御信号を画像処理部32に出力する。
【0023】
画像処理部32は、制御部からの信号に応じてカラーモードを切り替える切り替え部33と、撮像画像の所定の色成分に対して色調を変更する第1の色調整部34aと、撮像画像の所定の色成分及びその他の色成分に対して色調を変更する第2の色調整部34bと、を備える。さらに、第1の色調整部34aは、所定の色成分に対してゲインを調整するゲイン演算回路35aと、所定の色成分に対して色調を変換する色調整回路36aと、を有する。第2の色調整部34bは、所定の色成分及びその他の色成分に対してゲインを調整するゲイン演算回路35bと、所定の色成分及びその他の色成分に対して色調を変換する色調整回路36bと、を有する。画像処理部32についてのより詳細な説明は後述する。
【0024】
光源装置4は、制御部31からの制御信号に応じて照明光又は励起光を出力する光源部41を有する。光源部41は、白色照明光を出力する白色LED(Light Emitting Diode)と、特殊観察光を出力する特殊観察光源と、を有する。
【0025】
図2は、光源装置から出力される特殊観察光の色成分を表す図である。
図2において、縦軸は光強度を表し、横軸は波長を表している。
図2に示すように、特殊観察光源は、被検体に導入された蛍光物質を励起するための近赤外域の励起光と、背景を撮像するためのG光及びB光を含む照明光と、を発生する。従って、内視鏡システム1は、IRI(赤外光観察:Infrared Imaging)で観察する機能を有する。また、近赤外域の励起光の光強度は、G光、B光の光強度よりも高い。特殊観察光源が発生する特殊観察光には、R光は含まれない。なお、特殊観察光源が発生する特殊観察光としては、たとえば血液中のヘモグロビンに吸収されやすくなるように狭帯域化されたG光及びB光の2種の帯域のNBI(Narrow Band Imaging)照明光等を発生させてもよい。
【0026】
タッチパネル5は、カラーモードをカラーモード1に切り替えるボタン51と、カラーモードをカラーモード2に切り替えるボタン52と、を有する。観察者がボタン51又はボタン52に触れると、タッチパネル5から所定の信号が出力され、制御部31に入力される。なお、タッチパネル5は、観察者が所望のカラーモードを入力できる構成に代替することができ、例えばキーボードやマウスに代替することができる。
【0027】
モニタ6は、映像ケーブルを介して制御装置3が生成した画像データを制御装置3から受信して表示する機能を有する。モニタ6は、液晶、有機EL(Electro Luminescence)等の表示ディスプレイを有する。
【0028】
次に、内視鏡システム1を用いて被検体の観察を行う際の処理について説明する。
図3は、本発明の実施の形態に係る内視鏡システムが実行する処理の概要を示すフローチャートである。
【0029】
図3に示すように、観察者は、タッチパネル5のボタン51又はボタン52を押すことにより、カラーモード1又はカラーモード2を選択する(選択ステップ:S101)。
【0030】
タッチパネル5への外部からの入力は、制御装置3の制御部31に送信され、制御部31がカラーモードを識別する(識別ステップ:S102)。
【0031】
制御部31は、識別したカラーモードに応じた画像処理を行うように画像処理部32の切り替え部33に制御信号を出力する。画像処理部32の切り替え部33は、制御部31からの制御信号に基づいて、カラーモード1又はカラーモード2の切り替えを行う(切り替えステップ:S103)。
【0032】
画像処理部32は、特殊観察光を用いた観察により取得された、少なくとも、赤色、緑色、青色の各色成分を含む撮像画像に対して、切り替え部33により選択されたカラーモード1又はカラーモード2に応じた色調変更処理を行う(色調変更ステップ:S104)。
【0033】
画像処理部32は、画像処理を施した画像データをモニタ6に出力する。モニタ6は、画像処理部32からの画像データを表示する(表示ステップ:S105)。
【0034】
ここで、画像処理部32でカラーモード1、カラーモード2の場合に行われる色調変更処理について詳細に説明する。カラーモード1は、観察者が病変を探す際に、病変を見つけやすくするためのカラーモードであり、カラーモード2は、観察者が病変に処置を行う場合に処置を行いやすくするためのカラーモードである。
【0035】
図4は、カラーモード1が選択された場合に、モニタに表示される画像の一例を示す図である。
図5は、カラーモード2が選択された場合に、モニタに表示される画像の一例を示す図である。カラーモード1では、
図4に示すように、病変Lを探すために、病変Lのみが観察しやすい色調で表示されるのが好ましい。一方、カラーモード2では、
図5に示すように、病変Lと背景Bとの両方が観察しやすい色調で表示されるのが好ましい。なお、
図5では、処置具Tもモニタ6に表示されている。
【0036】
まず、病変Lには、近赤外域の励起光が吸収されやすい試薬が注射等により注入されている。そして、病変L及び背景Bを含む観察部位には、
図2に示した光の色成分を有する特殊観察光が照射される。すると、試薬が近赤外域の励起光を吸収し、被写体が蛍光自発光を発光する。
【0037】
図6は、内視鏡に入射する光の色成分毎の光強度を表す図である。
図6において、縦軸は光強度を表し、横軸は波長を表している。
図6に示すように、内視鏡2に入射する光の色成分は、特殊観察光が被検体の体腔内でそのまま反射された近赤外域の励起光、B光、G光と、励起光より波長の長い近赤外域の試薬からの蛍光自発光の色成分である。ここで、
図6の破線は、対物光学系22の硬性鏡フィルタが透過する光の波長帯域を示しており、硬性鏡フィルタは、B光、G光、蛍光自発光を透過するが、近赤外域の励起光を透過しない。
【0038】
図7は、撮像部が検出する光の色成分毎の光強度を表す図である。
図7において、縦軸は撮像部23が検出する光強度を表し、横軸は波長を表している。
図7の破線は、R、G、Bの各カラーフィルタが透過する光の色成分である。換言すると、
図7の破線は、撮像部23のR、G、Bの光に対する感度を示している。
図7に示すように、撮像部23は、カラーフィルタにより、G光、B光、R光及び赤外光に感度を有する。特に、撮像部23は、赤外域において蛍光自発光の領域にまで感度を有し、赤外光の色成分はR成分として撮像部23に検出される。なお、赤外域の感度は、長波長側では弱くなる。
【0039】
撮像部23が検出する光の色成分のうち、R成分として検出される光は、被写体の試薬からの蛍光自発光であるから、病変Lの情報を有する。一方、撮像部23が検出する光の色成分のうち、G、B成分として検出される光は、背景Bの情報を有する。
【0040】
図8は、カラーモード1における画像処理の様子を説明するための図である。カラーモード1を選択した場合、第1の色調整部34aのゲイン演算回路35aは、病変Lのみを表示させるために、R成分のみを抽出して(すなわち、G、B成分のゲインをゼロにする)、抽出したR成分にk倍のゲインをかけるゲイン演算処理を行う。この様子を概略的に図示すると、
図7で示した撮像部23が検出した光の色成分が、
図8の上側の図に示す色成分に変換される。
【0041】
次に、第1の色調整部34aの色調整回路36aは、
図8に示すように、R成分をG、B成分に振り分ける色調整処理を行う。この様子を概略的に図示すると、
図8の上側の図に示す色成分が、
図8の下側の図に示す色成分に変換される。この色調整処理により、病変Lの僅かな色味の違いでも視認しやすくすることができる。なお、
図8には、R成分をG、B成分に均等に振り分ける色調整処理を図示したが、R成分をG、B成分に重みをつけて振り分ける、又は、R成分をG、B成分のいずれか一方に振り分ける色調整処理を行ってもよい。そして、画像処理部32は、色調整処理を施した画像データをモニタ6に出力し、モニタ6が画像データを表示する。以上説明した画像処理によって、
図4に示すように病変Lのみを表示させることができる。
【0042】
図9は、カラーモード2における画像処理の様子を説明するための図である。カラーモード2を選択した場合、第2の色調整部34bのゲイン演算回路35bは、病変L及び背景Bを表示させるために、G、B成分のゲインは等倍(増幅せずそのままの値を用いる)とし、R成分にn倍のゲインをかけるゲイン演算処理を行う。この様子を概略的に図示すると、
図7で示した撮像部23が検出した光の色成分が、
図9の上側の図に示す色成分に変換される。
【0043】
次に、第2の色調整部34bの色調整回路36bは、
図9に示すように、R成分をG成分に、G成分をR成分にそれぞれ変換する色調整処理を行う。この様子を概略的に図示すると、
図9の上側の図に示す色成分が、
図9の下側の図に示す色成分に変換される。この色調整処理により、病変Lを強調表示して僅かな色味の違いでも視認しやすくするとともに、背景Bも視認できるようにすることができる。そして、画像処理部32は、色調整処理を施した画像データをモニタ6に出力し、モニタ6が画像データを表示する。以上説明した画像処理によって、
図5に示すように病変L及び背景Bを表示させることができる。
【0044】
なお、第2の色調整部34bのゲイン演算回路35bでのゲインの倍率nは、第1の色調整部34aのゲイン演算回路35aでのゲインの倍率kよりも小さい値に設定する。第1の色調整部34aでは、ゲイン演算回路35aから抽出したR成分のみから、色調整回路36aにてG、B成分を生成する。そのため、R成分の情報量を増加させてG、B成分へ振り分ける必要があるため、ゲインの倍率kは大きい値となる。
【0045】
一方で、第2の色調整部34bでは、R、G、B成分の情報量から色調整を行うため、第1の色調整部34aより小さいゲインの倍率nで画像を生成できる。ゲイン演算を行うとノイズ成分が大きくなりノイズが目立つデメリットと、色成分の情報量がクリップしハレーションが発生するデメリットが生じる。第2の色調整部34bでは、このような影響を少なくするためにも、第1の色調整部34aのゲインの倍率kに比べて、小さいゲインの倍率nに設定する。
【0046】
内視鏡システム1では、観察者の入力により画像処理部32における画像処理を、病変Lのみを強調表示するカラーモード1と、病変L及び背景Bを表示させるカラーモード2とに切り替えることができる。従って、この画像処理部32は、病変を探す場合と、病変に処置を施す場合との双方において観察しやすい画像データを生成する画像処理装置である。
【0047】
なお、上述した実施の形態では、特殊観察光の近赤外域の励起光を反射する硬性鏡フィルタを有する硬性鏡について説明したが、これに限られない。上述した画像処理装置を被検体の体腔内に挿入する可撓性を有する挿入部を有する軟性鏡に適応することも可能である。
【0048】
また、上述した実施の形態では、切り替え部33がカラーモード1とカラーモード2との切り替えを行う構成について説明したが、これに限られない。例えば、画像処理装置は、常時第1の色調整部34aと第2の色調整部34bとの双方が処理を行い、モニタ6は、第1の色調整部34aにより生成された画像データと第2の色調整部34bにより生成された画像データとを並べて表示する構成であってよい。この構成では、第1の色調整部34aによる病変のみを強調した画像と、第2の色調整部34bによる病変及び背景を表示した画像とを同時に見ることができる。
【0049】
また、上述した実施の形態では、カラーモード1とカラーモード2との2つのカラーモードで切り替えを行う構成について説明したが、カラーモードの数は3以上の複数であってもよい。
【0050】
また、上述した実施の形態では、第1の色調整部34aがゲイン演算回路35aと色調整回路36aとを有し、第2の色調整部34bがゲイン演算回路35bと色調整回路36bとを有する構成について説明したが、これに限られない。例えば、第1の色調整部34aは、撮像画像に対してゲイン演算処理と色調整処理を一括して行う画像処理回路を有し、第2の色調整部34bは、撮像画像に対してゲイン演算処理と色調整処理とを一括して行う画像処理回路を有する構成であってよい。このように、第1の色調整部34a及び第2の色調整部34bは、1つの回路として構成されていてもよいが、2以上の複数の回路からなる構成であってもよい。
【0051】
また、画像処理装置の第1の色調整部34aと第2の色調整部34bとにおける各色成分に対するゲインの調整や、各色成分の色調整処理は、観察する部位に応じて変更される構成としてもよい。この構成により、色味が違う複数の部位を観察する場合であっても、部位毎により観察しやすい画像データを生成することができる。
【0052】
また、上述した実施の形態では、
図10に示すように、撮像部23が3種のイメージセンサで実現される構成について説明したが、ベイヤー配列を有する1つのイメージセンサを有する構成や
図11に示すRGB用のイメージセンサと蛍光自発光を撮像するイメージセンサとを有する2種のイメージセンサを有する構成であってもよい。
【0053】
図11は、撮像部を2種のイメージセンサとカラーフィルタとで実現する構成を表す図である。具体的には、撮像部23に入射した光がプリズム231等の光学素子により、R光、G光、B光の成分と蛍光自発光の成分とに分けられ、R光、G光、B光の成分の光はRGBカラーフィルタ23eaを介してR光、G光、B光の成分を受光するイメージセンサ23ebに入射し、蛍光自発光の成分の光は赤外域のカラーフィルタ23daを介して蛍光自発光の成分の光を受光するイメージセンサ23dbに入射する。
【0054】
図12は、
図11に示す2種のイメージセンサの構成において、撮像部が検出する光の色成分毎の光強度を表す図である。
図7と同様に、縦軸は撮像部23が検出する光強度を表し、横軸は波長を表している。
図12の破線は、R光、G光、B光、蛍光成分の各カラーフィルタが透過する光の色成分であり、換言すると、撮像部23のR光、G光、B光及び蛍光自発光に対する感度を示している。このような構成とすることで、イメージセンサの数を少なくすることができ、撮像部23の構造が小さくなり、内視鏡2を小型化することが可能となる。
【0055】
さらなる効果や変形例は、当業者によって容易に導き出すことができる。よって、本発明のより広範な態様は、以上のように表わしかつ記述した特定の詳細及び代表的な実施形態に限定されるものではない。従って、添付のクレーム及びその均等物によって定義される総括的な発明の概念の精神又は範囲から逸脱することなく、様々な変更が可能である。