(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-09-12
(45)【発行日】2022-09-21
(54)【発明の名称】画像処理システム、蛍光内視鏡照明撮像装置及び撮像方法
(51)【国際特許分類】
A61B 1/00 20060101AFI20220913BHJP
A61B 1/06 20060101ALI20220913BHJP
A61B 1/045 20060101ALI20220913BHJP
【FI】
A61B1/00 511
A61B1/06 610
A61B1/045 610
(21)【出願番号】P 2020558539
(86)(22)【出願日】2018-08-20
(86)【国際出願番号】 CN2018101378
(87)【国際公開番号】W WO2019205359
(87)【国際公開日】2019-10-31
【審査請求日】2020-10-15
(31)【優先権主張番号】201810376241.4
(32)【優先日】2018-04-25
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】520401918
【氏名又は名称】上海凱利泰医療科技股▲ふん▼有限公司
【氏名又は名称原語表記】SHANGHAI KINETIC MEDICAL CO., LTD
【住所又は居所原語表記】2nd Floor, Building 23, No.528 Ruiqing Rd, East Zhangjiang High-Tech Park, Pudong New District Shanghai 201201 China
(74)【代理人】
【識別番号】100142804
【氏名又は名称】大上 寛
(72)【発明者】
【氏名】張升進
(72)【発明者】
【氏名】唐偉
【審査官】高松 大
(56)【参考文献】
【文献】国際公開第2015/025640(WO,A1)
【文献】国際公開第2017/073302(WO,A1)
【文献】特開2012-157559(JP,A)
【文献】特開2013-102898(JP,A)
【文献】特開2007-111328(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 1/00
A61B 1/06
A61B 1/045
(57)【特許請求の範囲】
【請求項1】
下記工程を有することを特徴とする、
画像処理システムによる蛍光画像の処理方法。
S1:白色光源及び励起光源を観察エリアに照射し、励起光源の強度を最大に調整する。赤色光、緑色光、青色光センサーによって白色光の反射光中の赤色光、緑色光、青色光をそれぞれ撮像する。また、前記赤色光、緑色光、青色光センサーのいずれかのセンサーは、さらに観察エリアが発する近赤外蛍光を撮像する。
S2:近赤外蛍光を受信しない2つのセンサーの各ピクセルが受信した赤色光、緑色光、青色光中の2種類の光信号の強度を加重平均し、第3の種類の光信号の強度値に変換し、強度値a0とする。
S3:近赤外蛍光を撮像したセンサーの各ピクセルが受信した光強度a1が工程S2で得た強度値a0より大きいかどうかを判断するために工程S4に進む。
並行して、光強度a1が強度値a0と同じであるか否かを判断するために工程S8に進む。
S4:連続的なN個のピクセルが光強度a1>強度値a0を満足するかどうかを判断する。YESの場合、工程S5に進み、NOの場合、前記白色光源の強度を減少して工程S2に戻る。Nは2以上の自然数である。
S5:近赤外蛍光を撮像したセンサーを制御して近赤外蛍光信号を出力し、その他2つのセンサーが信号を出力しない。対応するセンサーの特定面積内の近赤外蛍光信号の強度の平均値を取って、平均値a1′とする。
S6:平均値a1′と強度値a0の差がデフォルトの最適値に達成又は接近するかどうかを判断する。YESの場合、工程S7に進み、NOの場合、前記白色光源の強度を調整して工程S2に戻る。
S7:近赤外蛍光映像信号を出力する。
S8:光強度a1が強度値a0と同一であるかどうかを判断する。YESの場合、工程S9に進む。NOの場合、前記白色光源の強度を減少して工程S2に戻る。
S9:前記白色光源の強度を減少する。
S10:前記白色光源の強度を減少した後、前記近赤外蛍光を撮像したセンサーの各ピクセルが受信した光強度a11が工程S2で得た強度値a0より小さいかどうかを順に判断する。NOの場合、工程S2に戻り、YESの場合、工程S11に進む。
S11:前記白色光源の強度を工程S9で減少する前の値に回復する。
S12:RGBカラー映像信号を出力する。
S13:工程S7で出力した近赤外蛍光映像信号、及び、工程S12で出力したRGBカラー映像信号に基づいて、カラー蛍光映像信号を出力する。
【請求項2】
下記工程を有することを特徴とする、
画像処理システムによる蛍光画像の処理方法。
S1:白色光源及び励起光源を観察エリアに照射し、励起光源の強度を最大に調整する。赤色光、緑色光、青色光センサーによって白色光の反射光中の赤色光、緑色光、青色光をそれぞれ撮像する。また、前記赤色光、緑色光、青色光センサーのいずれかのセンサーは、さらに観察エリアが発する近赤外蛍光を撮像する。
S2:近赤外蛍光を受信しない2つのセンサーの各ピクセルが受信した赤色光、緑色光、青色光中の2種類の光信号の強度を加重平均し、第3の種類の光信号の強度値に変換し、強度値a0とする。
S3:近赤外蛍光を撮像したセンサーの各ピクセルが受信した光強度a1が工程S2で得た強度値a0より大きいかどうかを判断するために工程S4に進む。
並行して、工程S7に進む。S4:連続的なN個のピクセルが光強度a1>強度値a0を満足するかどうかを判断する。YESの場合、工程S5に進み、NOの場合、前記白色光源の強度を減少して工程S2に戻る。Nは2以上の自然数である。
S5:近赤外蛍光を撮像したセンサーを制御して近赤外蛍光信号を出力し、その他2つのセンサーが信号を出力しない。近赤外蛍光信号及びRGB背景光のコントラスト比がデフォルトの最適値に達成又は接近するかどうかを判断する。YESの場合、工程S6に進み、NOの場合、前記白色光源の強度を調整して工程S2に戻る。
S6:近赤外蛍光映像信号を出力する。
S7:前記観察エリアが近赤外蛍光を発しないかどうかを判断する。YESの場合、工程S8に進み、NOの場合、前記白色光源の強度を減少して工程S2に戻る。
S8:RGBカラー映像信号を出力する。
S9:工程S6で出力した近赤外蛍光映像信号及び工程S8で出力したRGBカラー映像信号に基づいて、カラー蛍光映像信号を出力する。
【請求項3】
前記工程S5において、近赤外蛍光信号及びRGB背景光のコントラスト比がデフォルトの最適値に達成又は接近するかどうかを判断するには、下記工程を有することを特徴とする、請求項2に記載の
画像処理システムによる蛍光画像の処理方法。
S51:対応するセンサーの特定面積内の近赤外蛍光信号の強度の平均値を取って、平均値a1′とする。
S52:平均値a1′と強度値a0の差がデフォルトの最適値に達成又は接近するかどうかを判断する。YESの場合、近赤外蛍光信号及びRGB背景光のコントラスト比がデフォルトの最適値に達成又は接近したと決定する。NOの場合、近赤外蛍光信号及びRGB背景光のコントラスト比がデフォルトの最適値に達成又は接近しなかったと決定する。
【請求項4】
前記工程S7は、下記工程を有することを特徴とする、請求項2に記載の
画像処理システムによる蛍光画像の処理方法。
S71:光強度a1が強度値a0より小さいかどうかを判断する。YESの場合、前記白色光源の強度を減少して工程S2に戻る。NOの場合、前記白色光源の強度を減少して工程S72に進む。
S72:前記白色光源の強度を減少した後、前記近赤外蛍光を撮像したセンサーの各ピクセルが受信した光強度a11が工程S2で得た強度値a0より小さいかどうかを順に判断する。NOの場合、工程S2に戻り、YESの場合、工程S73に進む。
S73:前記白色光源の強度を、工程S71で減少して工程S72に進む前の値に回復する。
S74:赤色光、緑色光、青色光センサーがそれぞれの光信号を出力する。
【請求項5】
下記工程を有することを特徴とする、
画像処理システムによる蛍光画像の処理方法。
S1:白色光源及び励起光源を観察エリアに照射し、赤色光、緑色光、青色光センサーによって白色光の反射光中の赤色光、緑色光、青色光をそれぞれ撮像する。また、前記赤色光、緑色光、青色光センサーのいずれかのセンサーは、さらに観察エリアが発する近赤外蛍光を撮像する。
S2:近赤外蛍光を撮像したセンサーが近赤外蛍光信号を受信したかどうかを判断するために工程S3に進む。
並行して、工程S6に進む。
S3:受信した近赤外蛍光信号が連続的なN個のピクセルであるかどうかを判断する。
受信した近赤外蛍光信号が連続的なN個のピクセルである場合には、工程S4に進み、受信した近赤外蛍光信号が連続的なN個のピクセルでない場合には、前記白色光源の強度を減少して工程S2に戻る。Nは2以上の自然数である。
S4:近赤外蛍光を撮像したセンサーを制御して近赤外蛍光信号を出力し、その他2つのセンサーが信号を出力しない。
近赤外蛍光信号及びRGB背景光のコントラスト比がデフォルトの最適値に達成又は接近するかどうかを判断する。YESの場合、工程S5に進む。NOの場合、前記白色光源の強度又は前記励起光源の強度を調整し、若しくは前記白色光源及び前記励起光源の強度を同時に調整し、工程S2に戻る。
S5:近赤外蛍光映像信号を出力する。
S6:前記観察エリアが近赤外蛍光を発しないことにあるかどうかを判断する。YESの場合、工程S7に進み、NOの場合、前記白色光源の強度を減少して工程S2に戻る。
S7:RGBカラー映像信号を出力する。
S8:工程S5で出力した近赤外蛍光映像信号及び工程S7で出力したRGBカラー映像信号に基づいて、カラー蛍光映像信号を出力する。
【請求項6】
前記工程S2は、下記工程を有することを特徴とする、請求項5に記載の
画像処理システムによる蛍光画像の処理方法。
S21:近赤外蛍光を受信しない2つのセンサーの各ピクセルが受信した赤色光、緑色光、青色光中の2種類の光信号の強度を加重平均し、第3の種類の光信号の強度値に変換し、強度値a0とする。
S22:近赤外蛍光を撮像したセンサーの各ピクセルが受信した光強度a1が工程S21で得た強度値a0より大きいかどうかを順に判断する。YESの場合、近赤外蛍光を撮像したセンサーが近赤外蛍光信号を受信したと決定する。NOの場合、近赤外蛍光を撮像したセンサーが近赤外蛍光信号を受信しなかったと決定する。
【請求項7】
前記工程S4において、近赤外蛍光信号及びRGB背景光のコントラスト比がデフォルトの最適値に達成又は接近するかどうかを判断するには、下記工程を有することを特徴とする、請求項6に記載の
画像処理システムによる蛍光画像の処理方法。
S41:特定面積内の近赤外蛍光信号の強度の平均値を取って、平均値a1′とする。
S42:平均値a1′と強度値a0の差がデフォルトの最適値に達成又は接近するかどうかを判断する。YESの場合、近赤外蛍光信号及びRGB背景光のコントラスト比がデフォルトの最適値に達成又は接近したと決定する。NOの場合、近赤外蛍光信号及びRGB背景光のコントラスト比がデフォルトの最適値に達成又は接近しなかったと決定する。
【請求項8】
前記工程S6は、下記工程に有することを特徴とする、請求項6又は7に記載の
画像処理システムによる蛍光画像の処理方法。
S61:光強度a1が強度値a0より小さいかどうかを判断する。YESの場合、前記白色光源の強度を減少して工程S2に戻る。NOの場合、前記白色光源の強度を減少して工程S62に進む。
S62:前記白色光源の強度を減少した後、前記近赤外蛍光を撮像したセンサーの各ピクセルが受信した光強度a11が工程S21で得た強度値a0より小さいかどうかを順に判断する。NOの場合、工程S2に戻り、YESの場合、工程S63に進む。
S63:前記白色光源の強度を工程S61で減少して工程S62に進む前の値に回復する。
S64:赤色光、緑色光、青色光センサーがそれぞれの光信号を出力する。
S65:赤色光、緑色光、青色光センサーで出力した光信号に基づいて、RGBカラー映像信号を出力する。
【請求項9】
前記工程S4において、前記励起光源の強度調整は、励起光源の強度を最大値に調整することを特徴とする、請求項5に記載の
画像処理システムによる蛍光画像の処理方法。
【請求項10】
パルス発生器及び画像処理器を有する画像処理システムであって、
前記画像処理器は、信号変換部、信号処理部、比較部、命令部、及び信号出力部を有し、
前記信号変換部は、それぞれ赤色光、緑色光、青色光センサーの各ピクセルが受信した光信号の強度値を採集、光電変換させ、
赤色光、緑色光、青色光センサーは、白色光の反射光中の赤色光、緑色光、青色光をそれぞれ撮像し、
赤色光、緑色光、青色光センサーのいずれかのセンサーは、さらに近赤外蛍光を撮像し、
前記白色光の反射光は、白色光源を観察エリアに照射して反射したものであり、
前記近赤外蛍光は、白色光源及び励起光源を共に観察エリアに照射して反射したものであり、
前記信号処理部は、近赤外蛍光を受信しない2つのセンサーの各ピクセルが受信した赤色光、緑色光、青色光中の2種類の光信号を光電変換させ、その強度値を加重平均し、第3の種類の光信号の強度値に変換し、強度値a0とし、
前記比較部は、受信した近赤外蛍光のセンサーの各ピクセルの光電変換後の光強度a1及び強度値a0を比較し、
前記命令部は、前記比較部の比較結果を受信、判断してから、対応動作を実行し、
光強度a1>強度値a0と判断された場合、
連続的なN個のピクセルが光強度a1>強度値a0を満足する場合、第1命令を前記パルス発生器に発信し、前記パルス発生器は、近赤外蛍光を撮像したセンサーが近赤外蛍光信号を出力し、その他2つのセンサーが光信号を出力しないように制御し、近赤外蛍光を撮像したセンサーの特定面積内の近赤外蛍光信号の強度の平均値a1′と強度値a0の差がデフォルトの最適値に達成又は接近する場合、第2命令を発信し、デフォルトの最適値に達成又は接近しない場合、第3命令を発信して白色光源の強度を減少し、
連続的なN個のピクセルが光強度a1>強度値a0を満足しない場合、第3命令を発信して白色光源の強度を減少し、又は平均値a1′と強度値a0の差がデフォルトの最適値に達成又は接近しない場合、第4命令を発信して白色光源の強度を増大又は減少し、
並行して光強度a1<強度値a0と判断された場合、第3命令を発信して白色光源の強度を減少し、
並行して光強度a1=強度値a0と判断された場合、第3命令を発信して白色光源の強度を減少し、白色光源減少後の近赤外蛍光を撮像したセンサーの各ピクセルの光電変換後の光強度a11及び強度値a0を比較し、光強度a11<強度値a0の場合、第5命令を発信し、白色光源の強度を光強度a1=強度値a0が成立する時の値に回復し、第2命令を前記パルス発生器に発信し、前記パルス発生器は、赤色光、緑色光、青色光センサーがそれぞれ回復後の白色光源の強度で赤色光、緑色光、青色光信号を出力するように制御し、
前記信号出力部は、第2命令を受信した後、近赤外蛍光センサーで出力した近赤外蛍光信号、及び赤色光、緑色光、青色光センサーで出力した赤色光、緑色光、青色光信号に基づいて、カラー蛍光映像信号を出力することを特徴とする、
画像処理システム。
【請求項11】
請求項10に記載の画像処理システムと、
光照射装置、光学採集部、画像採集部、及び画像表示部を更に有することを特徴とする、蛍光内視鏡照明撮像装置。
【請求項12】
前記光学採集部は、撮像レンズ群、及び前記撮像レンズ群の後端に位置する光学アダプターを有し、
前記撮像レンズ群は、観察エリアで反射した白色光及び観察エリアが発する近赤外蛍光を伝送し、
前記光学アダプターは、前記撮像レンズ群によって伝送した反射した白色光及び近赤外蛍光を画像採集部に結合させることを特徴とする、
請求項11に記載の蛍光内視鏡照明撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、内視鏡撮像の技術分野に関し、特に画像処理システム、蛍光内視鏡照明撮像装置及び撮像方法に関する。
【背景技術】
【0002】
分子撮像技術の発展につれて、蛍光内視鏡は、腫瘍細胞、癌病変等の微小分子の活動及び転移等を観察する利点がより明確となる。例えば、近赤外蛍光は、乳癌センチネルリンパ結、甲状腺癌、子宮頸癌、大腸癌等の早期腫瘍センチネルリンパ結の臨床マーカーを探すために用いられる。その原理としては、患者の体内にICG(インドシアニングリーン)試薬を注射し、しばらくしてから近赤外励起光及び白色光を患者の検査部位に照射する。励起光が蛍光試薬に照射すると、ICGと結合した異常の組織分子が励起光エネルギーを吸収して近赤外蛍光を発し、正常の組織で反射した白色光と共に内視鏡撮像システムに受信される。さらに光電信号変換及び画像処理を経て、カラー蛍光合成画像を終端モニターに出力する。画像を分析することで、対応の組織の病変状況を得られる。
【0003】
対応の組織の病変状況を正確に分析するには、カラー蛍光合成画像の解像度が非常に重要である。カラー蛍光合成画像の解像度を確保するために、カラー画像及び蛍光画像を最適なコントラスト比でフレーム画像に出力しなければならない。
【0004】
カラー画像及び蛍光画像を最適なコントラスト比でフレーム画像に出力するために、従来手段としては、まず、カラー画像及び蛍光画像をそれぞれ生成し、ソフトウェア処理によって画像の輝度及びコントラスト比を調整し、最適なコントラスト比を有するカラー蛍光画像を出力する。前記手段は、下記工程を有する。
【0005】
S1:異なるセンサーを利用し、反射した照明光を受信してカラー画像を得て、且つ蛍光剤への励起光の照射による生成した蛍光を受信して蛍光画像を得る。
【0006】
S2:上記カラー画像及び蛍光画像に対して減算又は除算処理を行って、病変部位のみに属する新たな蛍光画像を抽出する。
【0007】
S3:カラー画像及び新たな蛍光画像を合成し、輝度及びコントラスト比を最適な状態に調整する。
【0008】
S4:調整したカラー蛍光合成画像を出力する。
【0009】
上記従来手段の欠点としては、画像処理の方法が複雑過ぎて、正確さも高くない。合成画像がフレーム画像を間隔をあけて出力されるため、画像の遅延感がある。なお、前後の2つの画像位置がずれた場合に、蛍光画像の完全性に影響を与える。
【0010】
よって、カラー蛍光を簡単且つ正確に画像処理を行うことで、最適なコントラスト比に達成又は接近してから出力する技術を求めている。
【発明の概要】
【発明が解決しようとする課題】
【0011】
本発明の目的は、蛍光画像の撮像方法を提供する。カラー蛍光画像を生成する前に画像処理を行い、カラー蛍光の最適なコントラスト比の出力に達成又は接近する。
【0012】
本発明の別の目的は、画像処理システムを提供する。カラー蛍光画像を生成する前に画像処理を行い、処理方法をより簡単化する。
【0013】
本発明のさらに他の目的は、蛍光内視鏡照明撮像装置を提供する。カラー蛍光画像を生成する前に画像処理を行い、カラー蛍光の最適なコントラスト比の出力に達成又は接近する。
【課題を解決するための手段】
【0014】
上記問題を解決するために、本発明は、下記技術的な特徴を含む。
【0015】
本発明の1つの実施例において、下記工程を有する蛍光画像の撮像方法を提供する。
【0016】
S1:白色光源及び励起光源を観察エリアに照射し、励起光源の強度を最大に調整する。赤色光、緑色光、青色光センサーによって白色光の反射光中の赤色光、緑色光、青色光をそれぞれ撮像する。また、前記赤色光、緑色光、青色光センサーのいずれかのセンサーは、さらに観察エリアが発する近赤外蛍光を撮像する。
S2:近赤外蛍光を受信しない2つのセンサーの各ピクセルが受信した赤色光、緑色光、青色光中の2種類の光信号の強度を加重平均し、第3種類の光信号の強度値に変換し、a0とする。
S3:前記近赤外蛍光撮像用センサーの各ピクセルが受信した光強度a1が工程S2で得た強度値a0より大きいかどうかを順に判断する。YESの場合、工程S4に進み、NOの場合、工程S8に進む。
S4:連続的なN個のピクセルがa1>a0を満足するかどうかを判断する。YESの場合、工程S5に進み、NOの場合、前記白色光源の強度を減少して工程S2に戻る。Nは2以上の自然数である。
S5:近赤外蛍光撮像用センサーを制御して近赤外蛍光信号を出力し、その他2つのセンサーが信号を出力しない。対応するセンサーの特定面積内の近赤外蛍光信号の強度の平均値を取って、a1′とする。
S6:a1′とa0の差がデフォルトの最適値に達成又は接近するかどうかを判断する。YESの場合、工程S7に進み、NOの場合、前記白色光源の強度を調整して工程S2に戻る。
S7:近赤外蛍光映像信号を出力する。
S8:a1がa0より小さいかどうかを判断する。YESの場合、前記白色光源の強度を減少して工程S2に戻る。NOの場合、工程S9に進む。
S9:前記白色光源の強度を減少する。
S10:前記白色光源の強度を減少した後、前記近赤外蛍光撮像用センサーの各ピクセルが受信した光強度a11が工程S2で得た強度値a0より小さいかどうかを順に判断する。NOの場合、工程S2に戻り、YESの場合、工程S11に進む。
S11:前記白色光源の強度を減少前の値に回復する。
S12:RGBカラー映像信号を出力する。
S13:工程S7で出力した近赤外蛍光映像信号及び工程S12で出力したRGBカラー映像信号に基づいて、カラー蛍光映像信号を出力する。
【0017】
本発明の1つの実施例において、前記工程S1と工程S2の間に下記工程をさらに有する。
【0018】
工程S20:励起光源がオンになってその強度が最大値になるかどうかを判断する。YESの場合、工程S2に進み、NOの場合、励起光源を調整してから再びその強度が最大値になるかどうかを判断する。
【0019】
本発明の1つの実施例において、下記工程を有する蛍光画像の撮像方法を提供する。
【0020】
S1:白色光源及び励起光源を観察エリアに照射し、励起光源の強度を最大に調整する。赤色光、緑色光、青色光センサーによって白色光の反射光中の赤色光、緑色光、青色光をそれぞれ撮像する。また、前記赤色光、緑色光、青色光センサーのいずれかのセンサーは、さらに観察エリアが発する近赤外蛍光を撮像する。
S2:近赤外蛍光を受信しない2つのセンサーの各ピクセルが受信した赤色光、緑色光、青色光中の2種類の光信号の強度を加重平均し、第3種類の光信号の強度値に変換し、a0とする。
S3:前記近赤外蛍光撮像用センサーの各ピクセルが受信した光強度a1が工程S2で得た強度値a0より大きいかどうかを順に判断する。YESの場合、工程S4に進み、NOの場合、工程S7に進む。
S4:連続的なN個のピクセルがa1>a0を満足するかどうかを判断する。YESの場合、工程S5に進み、NOの場合、前記白色光源の強度を減少して工程S2に戻る。Nは2以上の自然数である、
S5:近赤外蛍光撮像用センサーを制御して近赤外蛍光信号を出力し、その他2つのセンサーが信号を出力しない。近赤外蛍光信号及びRGB背景光のコントラスト比がデフォルトの最適値に達成又は接近するかどうかを判断する。YESの場合、工程S6に進み、NOの場合、前記白色光源の強度を調整して工程S2に戻る。
S6:近赤外蛍光映像信号を出力する。
S7:a1≦a0の原因は前記観察エリアが近赤外蛍光を発しないことにあるかどうかを判断する。YESの場合、工程S8に進み、NOの場合、前記白色光源の強度を減少して工程S2に戻る。
S8:RGBカラー映像信号を出力する。
S9:工程S6で出力した近赤外蛍光映像信号及び工程S8で出力したRGBカラー映像信号に基づいて、カラー蛍光映像信号を出力する。
【0021】
本発明の1つの実施例において、前記工程S5中の近赤外蛍光信号及びRGB背景光のコントラスト比がデフォルトの最適値に達成又は接近するかどうかを判断するには、下記工程を有する。
【0022】
S51:対応するセンサーの特定面積内の近赤外蛍光信号の強度の平均値を取って、a1′とする。
S52:a1′とa0の差がデフォルトの最適値に達成又は接近するかどうかを判断する。YESの場合、近赤外蛍光信号及びRGB背景光のコントラスト比がデフォルトの最適値に達成又は接近したと決定する。NOの場合、近赤外蛍光信号及びRGB背景光のコントラスト比がデフォルトの最適値に達成又は接近しなかったと決定する。
【0023】
本発明の1つの実施例において、前記工程S7は、下記工程を有する。
【0024】
S71:a1がa0より小さいかどうかを判断する。YESの場合、前記白色光源の強度を減少して工程S2に戻る。NOの場合、前記白色光源の強度を減少して工程S72に進む、
S72:前記白色光源の強度を減少した後、前記近赤外蛍光撮像用センサーの各ピクセルが受信した光強度a11が工程S2で得た強度値a0より小さいかどうかを順に判断する。NOの場合、工程S2に戻り、YESの場合、工程S73に進む。
S73:前記白色光源の強度を減少前の値に回復する。
S74:赤色光、緑色光、青色光センサーがそれぞれの光信号を出力する。
【0025】
本発明の1つの実施例において、前記工程S1と工程S2の間に下記工程をさらに有する。
【0026】
工程S20:励起光源がオンになってその強度が最大値になるかどうかを判断する。YESの場合、工程S2に進み、NOの場合、励起光源を調整してから再びその強度が最大値になるかどうかを判断する。
【0027】
本発明の1つの実施例において、下記工程を有する蛍光画像の撮像方法を提供する。
【0028】
S1:白色光源及び励起光源を観察エリアに照射し、赤色光、緑色光、青色光センサーによって白色光の反射光中の赤色光、緑色光、青色光をそれぞれ撮像する。また、前記赤色光、緑色光、青色光センサーのいずれかのセンサーは、さらに観察エリアが発する近赤外蛍光を撮像する。
S2:近赤外蛍光撮像用センサーが近赤外蛍光信号を受信したかどうかを判断する。YESの場合、工程S3に進み、NOの場合、工程S6に進む。
S3:受信した近赤外蛍光信号が連続的なN個のピクセルであるかどうかを判断する。YESの場合、工程S4に進み、NOの場合、前記白色光源の強度を減少して工程S2に戻る。Nは2以上の自然数である。
S4:近赤外蛍光撮像用センサーを制御して近赤外蛍光信号を出力し、その他2つのモノクロセンサーが信号を出力しない。近赤外蛍光信号及びRGB背景光のコントラスト比がデフォルトの最適値に達成又は接近するかどうかを判断する。YESの場合、工程S5に進む。NOの場合、前記白色光源の強度又は前記励起光源の強度を調整し、若しくは前記白色光源及び前記励起光源の強度を同時に調整し、工程S2に戻る。
S5:近赤外蛍光映像信号を出力する。
S6:工程S2において近赤外蛍光信号を受信しなかった原因は前記観察エリアが近赤外蛍光を発しないことにあるかどうかを判断する。YESの場合、工程S7に進み、NOの場合、前記白色光源の強度を減少して工程S2に戻る。
S7:RGBカラー映像信号を出力する。
S8:工程S5で出力した近赤外蛍光映像信号及び工程S7で出力したRGBカラー映像信号に基づいて、カラー蛍光映像信号を出力する。
【0029】
本発明の1つの実施例において、前記工程S2具体的に有する。
【0030】
S21:近赤外蛍光を受信しない2つのセンサーの各ピクセルが受信した赤色光、緑色光、青色光中の2種類の光信号の強度を加重平均し、第3種類の光信号の強度値に変換し、a0とする。
S22:前記近赤外蛍光撮像用センサーの各ピクセルが受信した光強度a1が工程S21で得た強度値a0より大きいかどうかを順に判断する。YESの場合、近赤外蛍光撮像用センサーが近赤外蛍光信号を受信したと決定する。NOの場合、近赤外蛍光撮像用センサーが近赤外蛍光信号を受信しなかったと決定する。
【0031】
本発明の1つの実施例において、前記工程S4において近赤外蛍光信号及びRGB背景光のコントラスト比がデフォルトの最適値に達成又は接近するかどうかを判断するには、下記工程を有する。
【0032】
S41:特定面積内の近赤外蛍光信号の強度の平均値を取って、a1′とする。
S42:a1′とa0の差がデフォルトの最適値に達成又は接近するかどうかを判断する。YESの場合、近赤外蛍光信号及びRGB背景光のコントラスト比がデフォルトの最適値に達成又は接近したと決定する。NOの場合、近赤外蛍光信号及びRGB背景光のコントラスト比がデフォルトの最適値に達成又は接近しなかったと決定する。
【0033】
本発明の1つの実施例において、前記工程S6は、下記工程に有する。
【0034】
S61:a1がa0より小さいかどうかを判断する。YESの場合、前記白色光源の強度を減少して工程S2に戻る。NOの場合、前記白色光源の強度を減少して工程S62に進む。
【0035】
S62:前記白色光源の強度を減少した後、前記近赤外蛍光撮像用センサーの各ピクセルが受信した光強度a11が工程S21で得た強度値a0より小さいかどうかを順に判断する。NOの場合、工程S2に戻り、YESの場合、工程S63に進む。
S63:前記白色光源の強度を減少前の値に回復する。
S64:赤色光、緑色光、青色光センサーがそれぞれの光信号を出力する。
S65:赤色光、緑色光、青色光センサーで出力した光信号に基づいて、RGBカラー映像信号を出力する。
【0036】
本発明の1つの実施例において、前記工程S4において、前記励起光源の強度調整は、励起光源の強度を最大値に調整する。
【0037】
本発明の1つの実施例において、パルス発生器及び画像処理器を有する画像処理システムを提供する。
【0038】
前記画像処理器は、信号変換部、信号処理部、比較部、命令部、及び信号出力部を有する。
前記信号変換部は、それぞれ赤色光、緑色光、青色光センサーの各ピクセルが受信した光信号の強度値を採集、光電変換させる。赤色光、緑色光、青色光センサーは、白色光の反射光中の赤色光、緑色光、青色光をそれぞれ撮像する。赤色光、緑色光、青色光センサーのいずれかのセンサーは、さらに近赤外蛍光を撮像する。前記白色光の反射光は、白色光源を観察エリアに照射して反射したものである。前記近赤外蛍光は、白色光源及び励起光源を共に観察エリアに照射して反射したものである。
前記信号処理部は、近赤外蛍光を受信しない2つのセンサーの各ピクセルが受信した赤色光、緑色光、青色光中の2種類の光信号を光電変換させ、その強度値を加重平均し、第3種類の光信号の強度値に変換し、a0とする。
前記比較部は、受信した近赤外蛍光のセンサーの各ピクセルの光電変換後の強度値a1及びa0を比較する。
前記命令部は、前記比較部の比較結果を受信、判断してから、対応動作を実行する。
a1>a0の場合、
連続的なN個のピクセルがa1>a0を満足する場合、第1命令を前記パルス発生器に発信する。前記パルス発生器は、近赤外蛍光受信用センサーが近赤外蛍光信号を出力し、その他2つのセンサーが光信号を出力しないように制御する。近赤外蛍光受信用センサーの特定面積内の近赤外蛍光信号の強度の平均値a1′とa0の差がデフォルトの最適値に達成又は接近する場合、第2命令を発信する。デフォルトの最適値に達成又は接近しない場合、第3命令を発信して白色光源の強度を減少する。
連続的なN個のピクセルがa1>a0を満足しない場合、第3命令を発信して白色光源の強度を減少する。又は、a1′とa0の差がデフォルトの最適値に達成又は接近しない場合、第4命令を発信して白色光源の強度を増大又は減少する。
a1<a0の場合、第3命令を発信して白色光源の強度を減少する。
a1=a0の場合、第3命令を発信して白色光源の強度を減少する。白色光源減少後の近赤外蛍光受信用センサーの各ピクセルの光電変換後の強度値a11及びa0を比較し、a11<a0の場合、第5命令を発信して白色光源の強度を減少前の値に回復し、第2命令を前記パルス発生器に発信する。前記パルス発生器は、赤色光、緑色光、青色光センサーがそれぞれ回復後の白色光源の強度で緑色光、青色光信号を出力するように制御する。
信号出力部は、第2命令を受信した後、近赤外蛍光のセンサーで出力した近赤外蛍光信号、及び赤色光、緑色光、青色光センサーで出力した赤色光、緑色光、青色光信号に基づいて、カラー蛍光映像信号を出力する。
【0039】
本発明の1つの実施例において、上記画像処理システムを有する蛍光内視鏡照明撮像装置を提供する。
【0040】
本発明の1つの実施例において、前記蛍光内視鏡照明撮像装置は、光照射装置、光学採集部、画像採集部、及び画像表示部をさらに有する。
前記光照射装置は、強度調整可能な白色光及び励起光を観察エリアに照射する。
前記光学採集部は、観察エリアで反射した白色光及び観察エリアが発する近赤外蛍光を画像採集部に送信、結合させる。
前記画像採集部は、ビームスプリッタープリズム組、赤色光センサー、緑色光センサー、及び青色光センサーを有する。前記ビームスプリッタープリズム組は、結合された反射した白色光をR光、G光、B光に分けて、それぞれ赤色光センサー、緑色光センサー、青色光センサーに撮像する。結合された近赤外蛍光は、前記ビームスプリッタープリズム組によって前記赤色光センサー、緑色光センサー、青色光センサーのいずれかの1つのセンサーに撮像する。
前記画像表示部は、前記画像処理システムで出力したカラー蛍光映像信号を映像変換させ、カラー蛍光画像を出力する。
【0041】
本発明の1つの実施例において、前記光照射装置は、白色光源、励起光源、及び光源制御部を有する。前記光源制御部は、前記白色光源及び前記励起光源の強度を調整する。
【0042】
本発明の1つの実施例において、前記光学採集部は、撮像レンズ群、及び前記撮像レンズ群の後端に位置する光学アダプターを有する。前記撮像レンズ群は、観察エリアで反射した白色光の反射光及び観察エリアが発する近赤外蛍光を伝送する。前記光学アダプターは、前記撮像レンズ群によって伝送した白色光の反射光及び近赤外蛍光を画像採集部に結合させる。
【0043】
本発明の1つの実施例において、前記光学アダプター内にフィルタを設けられる。前記フィルタは、観察エリアが発する励起光を濾過し、白色光の反射光及び近赤外蛍光を通る。
【0044】
本発明の1つの実施例において、前記撮像レンズ群は、内視鏡の一部である。
【発明の効果】
【0045】
上記技術的な特徴によれば、従来技術と比べて、本発明は以下の利点及び効果を有する。
【0046】
1)本発明は、蛍光画像の撮像方法を提供する。前記方法は、カラー蛍光画像を生成する前に画像処理を行い、ソフトウェアの処理速度に影響を与えない前提で、3つのモノクロセンサーによってそれぞれ白色光中の赤色光、緑色光、青色光を撮像し、且つその中の1つのモノクロセンサーによって近赤外蛍光を撮像する。その後、近赤外蛍光受信用センサーが蛍光信号を受信したかどうかを判断し、且つ前記センサーが受信した光信号及びその他の2つのモノクロセンサーが受信した光信号の強度を計算する。2種類の光信号の強度差に基づいて白色光源及び/又は励起光源の照射強度を自動調整し、閉ループ系を形成する。カラー蛍光を最適なコントラスト比で出力すると共に、フレーム画像に表示できる。前記方法によって撮像する時に、白色光照明及び蛍光励起光の照明強度を自動に調整し、蛍光信号とカラー背景信号との信号差を常に一定に維持できるため、蛍光信号の有無を正確に容易に判断できる。蛍光信号がある場合に、カラー背景を十分な輝度値に維持させ、医師が体腔を正確に容易に観測できる。
【0047】
2)さらに、前記方法は、撮像前に画像処理を行うため、情報処理量が少なく、演算速度が速く、画面が流暢である。
【図面の簡単な説明】
【0048】
【
図1】本発明の実施例の蛍光画像の撮像方法のフローチャートである。
【
図2】本発明の他の実施例の蛍光画像の撮像方法のフローチャートである。
【
図3】本発明のさらに他の実施例の蛍光画像の撮像方法のフローチャートである。
【
図4】本発明のまたさらに他の実施例の蛍光画像の撮像方法のフローチャートである。
【
図5】本発明の実施例の画像処理システムの構造ブロック図である。
【
図6】本発明の実施例の蛍光内視鏡照明撮像装置の構造模式図である。
【
図7】本発明の実施例の励起光カットフィルタの表面コーティング曲線の模式図である。
【
図8】本発明の実施例のビームスプリッタープリズム組の内部光路の模式図である。
【
図9】本発明の実施例のビームスプリッタープリズムの分光面コーティング曲線の模式図である。
【発明を実施するための形態】
【0049】
以下、図面及び実施例を開示しながら、本発明の画像処理システム、蛍光内視鏡照明撮像装置、及び撮像方法を詳しく説明する。下記説明及び請求の範囲によって本発明の利点及び特徴をより明確にする。留意すべきことは、本発明の実施例の目的を容易に明確に説明するために、図面は、いずれも簡略化され、非常に精確な比率で表現するものではない。明細書及び請求の範囲において、特定の名詞によって特定の素子を示すが、製造メーカーによって異なる名詞によって同じ素子を示す場合もある。本明細書及び請求の範囲は、そのような名詞の差異によって素子を区別するのではなく、その素子の機能によって区別する。明細書及び請求の範囲において、「有する」はオープンエンドの用語であるため、「有するがそれらに限定されない」に解釈すべき。また、「連結」又は「接続」等の用語は、すべての直接的又は間接的な電気的又は構造的な接続手段を示す。そのため、の第1装置が第2装置に連結/接続されるとの記載は、前記第1装置が直接的に前記第2装置に電気的又は構造的に接続され、又は他の装置又は接続手段を介して間接的に前記第2装置に電気的又は構造的に接続されることを示す。
【0050】
図1を参照しながら説明する。本発明の1つの実施例において、下記工程を有する蛍光画像の撮像方法を提供する。
【0051】
S1:白色光源及び励起光源を観察エリアに照射し、励起光源の強度を最大に調整し、白色光源の強度が任意の値である。赤色光、緑色光、青色光センサーによって白色光の反射光中の赤色光、緑色光、青色光をそれぞれ撮像する。青色光センサーは、さらに観察エリアが発する近赤外蛍光を撮像する。
【0052】
白色光源は、LED白色光源であってもよく、RGB3色のLED光源を合成した白色光であってもよい。励起光源は、808±10nmのレーザーであり、観察エリアのICG(インドシアニングリーン)を励起させて近赤外蛍光を生成する。また、本実施例において、青色光センサーによって観察エリアが発する近赤外蛍光を撮像するが、それらに限定されない。他の実施例において、赤色光センサー又は緑色光センサーによって観察エリアが発する近赤外蛍光を撮像してもよい。
【0053】
工程S20:励起光源がオンになってその強度が最大値になるかどうかを判断する。YESの場合、工程S2に進み、NOの場合、励起光源を調整してから再びその強度が最大値になるかどうかを判断する。
【0054】
前記工程は、本実施例の好ましい実施形態であるが、他の実施形態において、工程S20を設けなくてもよい。
【0055】
S2:赤色光センサー及び緑色光センサーの各ピクセルが受信した赤色光及び緑色光信号の強度を加重平均し、経験係数rを掛けて青色光信号の強度値に変換し、a0とする。
【0056】
S3:青色光センサーの各ピクセルが受信した光強度a1がa0より大きいかどうかを順に判断する。YESの場合、工程S4に進み、NOの場合、工程S8に進む。
a1>a0は、青色光センサーが近赤外蛍光信号を受信したことを示す。
【0057】
S4:青色光センサーの連続的なN個のピクセルがa1>a0を満足するかどうかを判断する。YESの場合、工程S5に進み、NOの場合、白色光源の強度を減少して工程S2に戻る。Nは2以上の自然数である。
【0058】
前記工程の目的は偽蛍光信号を排除することにある。あるピクセルが蛍光信号を現れても、観察エリアが近赤外蛍光を発することとは限らず、偽蛍光信号の可能性がある。連続的なピクセルが蛍光信号を検知した場合のみ、観察エリアが確実に近赤外蛍光を発すると確定できる。本発明において、前記工程によって偽蛍光現象の可能性を排除するため、画像処理の正確度を向上できる。
【0059】
S5:青色光センサーを制御して近赤外蛍光信号を出力し、B色とマークする。その他2つのセンサーが信号を出力しない。すべてのピクセルを検査した後、蛍光信号の強度の平均値を取って、a1′とする。
【0060】
他の実施例において、近赤外蛍光信号を他の設定色とマークしてもよい。また、青色光センサーの特定面積内の近赤外蛍光信号の強度の平均値を取って、a1′と表記してもよい。
【0061】
S6:a1′とa0の差がデフォルトの最適値Cに達成又は接近するかどうかを判断する。YESの場合、工程S7に進み、NOの場合、前記白色光源の強度を調整して工程S2に戻る。
【0062】
最適値Cは、事前の設定値であり、蛍光及びカラー背景光のコントラスト比が最適な状態に達成又は接近することを満足させる。それによって、後の合成カラー蛍光画像において、蛍光画像をはっきりと見ることができる。
【0063】
S7:B色の近赤外蛍光映像信号を出力する。
【0064】
工程S5において、近赤外蛍光信号を他の設定色とマークしてもよい。その場合、工程S7において、他の色の近赤外蛍光映像信号を出力する。
【0065】
S8:a1がa0より小さいかどうかを判断する。YESの場合、白色光源の強度を減少して工程S2に戻り、NOの場合、工程S9に進む。
【0066】
S9:白色光源の強度を減少する。
【0067】
具体的には、a1がa0以上である、即ちa1=a0と判断した場合、その時の白色光源の強度をA1とする。白色光源の強度をA2に減少する。a1=a0は、赤色光センサー及び緑色光センサーの各ピクセルが受信した赤色光及び緑色光信号を青色光信号に変換した強度値は、青色光センサーが受信した青色光の強度値と等しいことを示す。通常の状況下では、観察エリアが近赤外蛍光信号を発しなく、即ち観察エリアが正常組織エリアであると判断できる。しなしながら、下記状況の可能性がある。青色光センサーが受信した近赤外蛍光信号の強度の平均値は、ちょうど赤色光センサー及び緑色光センサーを変換した後の青色光信号の強度値と等しく、即ち病変エリア及び正常組織エリアが発する光信号強度が等しいである。このような可能性を排除して画像処理の正確度を向上するために、本発明において、下記工程S10及びS11を設ける。
【0068】
S10:前記白色光源の強度を減少した後、青色光センサーの各ピクセルが受信した光強度a11がa0より小さいかどうかを順に判断する。NOの場合、工程S2に戻り、YESの場合、工程S11に進む。
【0069】
S11:白色光源の強度を減少前の値、即ちA1に回復する。
【0070】
S12:RGBカラー映像信号を出力する。
【0071】
具体的には、青色光センサーがB光信号を出力し、緑色光センサーがG光信号を出力し、赤色光センサーがR光信号を出力する。B光信号、G光信号、及びR光信号に基づいて、RGBカラー映像信号を出力する。
【0072】
S13:工程S7で出力した近赤外蛍光映像信号及び工程S12で出力したRGBカラー映像信号に基づいて、カラー蛍光映像信号を出力する。
【0073】
具体的には、カラー蛍光映像信号を画像表示部に出力して表示する。
【0074】
図2を参照しながら説明する。本発明の他の実施例において、下記工程を有する蛍光画像の撮像方法を提供する。
【0075】
S1:白色光源及び励起光源を観察エリアに照射し、励起光源の強度を最大に調整すし、白色光源の強度が任意の値である。赤色光、緑色光、青色光センサーによって白色光の反射光中の赤色光、緑色光、青色光をそれぞれ撮像する。青色光センサーは、さらに観察エリアが発する近赤外蛍光を撮像する。
【0076】
白色光源は、LED白色光源であってもよく、RGB3色のLED光源を合成した白色光であってもよい。励起光源は、808±10nmのレーザーであり、観察エリアのICG(インドシアニングリーン)を励起させて近赤外蛍光を生成する。また、本実施例において、青色光センサーによって観察エリアが発する近赤外蛍光を撮像するが、それらに限定されない。他の実施例において、赤色光センサー又は緑色光センサーによって観察エリアが発する近赤外蛍光を撮像してもよい。
【0077】
S2:赤色光センサー及び緑色光センサーの各ピクセルが受信した赤色光及び緑色光信号の強度を加重平均し、経験係数rを掛けて青色光信号の強度値に変換し、a0とする。
【0078】
S3:青色光センサーの各ピクセルが受信した光強度a1がa0より大きいかどうかを順に判断する。YESの場合、工程S4に進み、NOの場合、工程S7に進む。
【0079】
a1>a0は、青色光センサーが近赤外蛍光信号を受信したことを示す。
【0080】
S4:青色光センサーの連続的なN個のピクセルがa1>a0を満足するかどうかを判断する。YESの場合、工程S5に進み、NOの場合、前記白色光源の強度を減少して工程S2に戻る。Nは2以上の自然数である。
【0081】
前記工程の目的は偽蛍光信号を排除することにある。ピクセルが蛍光信号を現れても、観察エリアが近赤外蛍光を発することとは限らず、偽蛍光信号の可能性がある。連続的なピクセルが蛍光信号を検知した場合のみ、観察エリアが確実に近赤外蛍光を発すると確定できる。本発明において、前記工程によって偽蛍光現象の可能性を排除するため、画像処理の正確度を向上できる。
【0082】
S5:青色光センサーを制御して近赤外蛍光信号を出力し、B色とマークする。その他2つのセンサーが信号を出力しない。近赤外蛍光信号及びRGB背景光のコントラスト比がデフォルトの最適値に達成又は接近するかどうかを判断する。YESの場合、工程S6に進み、NOの場合、前記白色光源の強度を調整して工程S2に戻る。
【0083】
S6:B色の近赤外蛍光映像信号を出力する。
【0084】
S7:a1≦a0の原因は前記観察エリアが近赤外蛍光を発しないことにあるかどうかを判断する。YESの場合、工程S8に進み、NOの場合、前記白色光源の強度を減少して工程S2に戻る。
【0085】
S8:RGBカラー映像信号を出力する。
【0086】
S9:工程S6で出力した近赤外蛍光映像信号及び工程S8で出力したRGBカラー映像信号に基づいて、カラー蛍光映像信号を出力する。
【0087】
好ましくは、工程S1と工程S2の間に下記工程S20を有する。
【0088】
工程S20:励起光源がオンになってその強度が最大値になるかどうかを判断する。YESの場合、工程S2に進み、NOの場合、励起光源を調整してから再びその強度が最大値になるかどうかを判断する。他の実施形態において、工程S20を設けなくてもよい。
【0089】
1つの実施形態において、工程S5において、近赤外蛍光信号及びRGB背景光のコントラスト比がデフォルトの最適値に達成又は接近するかどうかを判断するには、下記工程を有する。
【0090】
S51:青色光センサーの特定面積内の近赤外蛍光信号の強度の平均値を取って、a1′とする。
【0091】
S52:a1′とa0の差がデフォルトの最適値Cに達成又は接近するかどうかを判断する。YESの場合、近赤外蛍光信号及びRGB背景光のコントラスト比がデフォルトの最適値に達成又は接近したと決定する。NOの場合、近赤外蛍光信号及びRGB背景光のコントラスト比がデフォルトの最適値に達成又は接近しなかったと決定する。
【0092】
最適値Cは、事前の設定値であり、蛍光及びカラー背景光のコントラスト比が最適な状態に達成又は接近することを満足させる。それによって、後の合成カラー蛍光画像において、蛍光画像をはっきりと見ることができる。当業者は、他の方法によって近赤外蛍光信号及びRGB背景光のコントラスト比がデフォルトの最適値に達成又は接近するかどうかを判断できる。近赤外蛍光信号及びRGB背景光のコントラスト比がデフォルトの最適値に達成又は接近するかどうかを判断できるすべての方法は、本発明に含む。
【0093】
1つの実施形態において、工程S7において、a1≦a0の原因は前記観察エリアが近赤外蛍光を発しないことにあるかどうかを判断するには、下記工程を有する。
【0094】
S71:a1がa0より小さいかどうかを判断する。YESの場合、白色光源の強度を減少して工程S2に戻る。NOの場合、白色光源の強度を減少して工程S72に進む。
【0095】
S72:前記白色光源の強度を減少した後、青色光センサーの各ピクセルが受信した光強度a11がa0より小さいかどうかを順に判断する。NOの場合、工程S2に戻り、YESの場合、工程S73に進む。
【0096】
S73:白色光源の強度を減少前の値に回復する。
【0097】
S74:赤色光、緑色光、青色光センサーがそれぞれの光信号を出力する。
【0098】
当業者は、他の方法によってa1≦a0の原因は前記観察エリアが近赤外蛍光を発しないことにあるかどうかを判断できる。a1≦a0の原因は観察エリアが近赤外蛍光を発しないことにあるかどうかを判断できるすべての方法は、本発明に含む。
【0099】
なお、他の実施形態において、上記工程S5の実施形態及び工程S7の実施形態を同時に使用できる。工程S5の前記実施形態を選択して、工程S7の他の実施形態を使用できる。又は、工程S7の前記実施形態を使用して、工程S5の他の実施形態を使用できる。
【0100】
図3を参照しながら説明する。
図3は、本発明のさらに他の実施例であり、下記工程を有する蛍光画像の撮像方法を示す。
【0101】
S1:白色光源及び励起光源を観察エリアに照射し、赤色光、緑色光、青色光センサーによって白色光の反射光中の赤色光、緑色光、青色光をそれぞれ撮像する。青色光センサーは、さらに観察エリアが発する近赤外蛍光を撮像する。
【0102】
白色光源は、LED白色光源であってもよく、RGB3色のLED光源を合成した白色光であってもよい。励起光源は、808±10nmのレーザーであり、観察エリアのICG(インドシアニングリーン)を励起させて近赤外蛍光を生成する。本実施例において、白色光源及び励起光源の強度は、いずれも任意の値である。また、本実施例において、青色光センサーによって観察エリアが発する近赤外蛍光を撮像するが、それらに限定されない。他の実施例において、赤色光センサー又は緑色光センサーによって観察エリアが発する近赤外蛍光を撮像してもよい。
【0103】
S2:青色光センサーが近赤外蛍光信号を受信したかどうかを判断する。YESの場合、工程S3に進み、NOの場合、工程S6に進む。
【0104】
S3:受信した近赤外蛍光信号が連続的なN個のピクセルであるかどうかを判断する。YESの場合、工程S4に進み、NOの場合、白色光源の強度を減少して工程S2に戻る。Nは2以上の自然数である。
【0105】
S4:青色光センサーを制御して近赤外蛍光信号を出力し、その他2つのモノクロセンサーが信号を出力しない。近赤外蛍光信号及びRGB背景光のコントラスト比がデフォルトの最適値に達成又は接近するかどうかを判断する。YESの場合、工程S5に進み、NOの場合、白色光源の強度を増大又は減少すると共に、励起光源の強度を最大値に調整して、工程S2に戻る。また、白色光源の強度値のみを調整してもよく、励起光源の強度値のみを調整してもよい。
【0106】
S5:近赤外蛍光映像信号を出力する。
【0107】
S6:工程S2において近赤外蛍光信号を受信しなかった原因は観察エリアが近赤外蛍光を発しないことにあるかどうかを判断する。YESの場合、工程S7に進み、NOの場合、白色光源の強度を減少して工程S2に戻る。
【0108】
S7:RGBカラー映像信号を出力する。
【0109】
S8:工程S5で出力した近赤外蛍光映像信号及び工程S7で出力したRGBカラー映像信号に基づいて、カラー蛍光映像信号を出力する。
【0110】
1つの実施形態において、工程S2は下記工程を有する。
【0111】
S21:赤色光センサー及び緑色光センサーの各ピクセルが受信した赤色光及び緑色光信号の強度を加重平均し、経験係数rを掛けて青色光信号の強度値に変換し、a0とする。
【0112】
S22:青色光センサーの各ピクセルが受信した光強度a1がa0より大きいかどうかを順に判断する。YESの場合、青色光センサーが近赤外蛍光信号を受信したと決定する。NOの場合、青色光センサーが近赤外蛍光信号を受信しなかったと決定する。
【0113】
当業者は、他の方法によって青色光センサーが近赤外蛍光信号を受信したかどうかを判断できる。青色光センサーが近赤外蛍光信号を受信したかどうかを判断できるすべての方法は、本発明に含む。
【0114】
1つの実施形態において、工程S4において赤外蛍光信号及びRGB背景光のコントラスト比がデフォルトの最適値に達成又は接近するかどうかを判断するには、下記工程を有する。
【0115】
S41:特定面積内の近赤外蛍光信号の強度の平均値を取って、a1′とする。
【0116】
S42:a1′とa0の差がデフォルトの最適値に達成又は接近するかどうかを判断する。YESの場合、近赤外蛍光信号及びRGB背景光のコントラスト比がデフォルトの最適値に達成又は接近したと決定する。NOの場合、近赤外蛍光信号及びRGB背景光のコントラスト比がデフォルトの最適値に達成又は接近しなかったと決定する。
【0117】
当業者は、他の方法によって近赤外蛍光信号及びRGB背景光のコントラスト比がデフォルトの最適値に達成又は接近するかどうかを判断できる。近赤外蛍光信号及びRGB背景光のコントラスト比がデフォルトの最適値に達成又は接近するかどうかを判断できるすべての方法は、本発明に含む。
【0118】
1つの実施形態において、工程S6は下記工程に有する。
【0119】
S61:a1がa0より小さいかどうかを判断する。YESの場合、白色光源の強度を減少して工程S2に戻る。NOの場合、白色光源の強度を減少して工程S62に進む。
【0120】
S62:前記白色光源の強度を減少した後、近赤外蛍光撮像用センサーの各ピクセルが受信した光強度a11が工程S21で得た強度値a0より小さいかどうかを順に判断する。NOの場合、工程S2に戻り、YESの場合、工程S63に進む。
【0121】
S63:白色光源の強度を減少前の値に回復する。
【0122】
S64:赤色光、緑色光、青色光センサーがそれぞれの光信号を出力する。
【0123】
S65:赤色光、緑色光、青色光センサーで出力した光信号に基づいて、RGBカラー映像信号を出力する。
【0124】
当業者は、他の方法によってa1≦a0の原因は前記観察エリアが近赤外蛍光を発しないことにあるかどうかを判断できる。a1≦a0の原因は観察エリアが近赤外蛍光を発しないことにあるかどうかを判断できるすべての方法は、本発明に含む。
【0125】
なお、他の実施形態において、上記工程S4の実施形態及び工程S6の実施形態を同時に使用できる。工程S4の前記実施形態を選択して、工程S6の他の実施形態を使用できる。又は、工程S6の前記実施形態を使用して、工程S4の他の実施形態を使用できる。
【0126】
本発明において、
図4に示すように、白色光源をオンする時に白色光源の強度を最大値のA%(例えば30%、ダークノイズより大きい範囲内でできる限りに小さくして、その時の励起光の強度が0~最大値の範囲内の任意の値である)に減少(調整)して固定してもよい。その後の工程において、励起光源の強度のみを調整することで、近赤外蛍光及びRGBカラー光のコントラスト比が最適値に達成又は接近することができる。
【0127】
本発明は、蛍光画像の撮像方法を提供する。前記方法は、カラー蛍光画像を生成する前に画像処理を行い、ソフトウェアの処理速度に影響を与えない前提で、3つのモノクロセンサーによってそれぞれ白色光中の赤色光、緑色光、青色光を撮像し、且つその中の1つのモノクロセンサーによって近赤外蛍光を撮像する。その後、近赤外蛍光受信用センサーが蛍光信号を受信したかどうかを判断し、且つ前記センサーが受信した光信号及びその他の2つのモノクロセンサーが受信した光信号の強度を計算する。2種類の光信号の強度差に基づいて白色光源及び/又は励起光源の照射強度を自動調整し、閉ループ系を形成する。カラー蛍光を最適なコントラスト比で出力すると共に、フレーム画像に表示できる。前記方法によって撮像する時に、白色光照明及び蛍光励起光の照明強度を自動に調整し、蛍光信号とカラー背景信号との信号差を常に一定に維持できるため、蛍光信号の有無を正確に容易に判断できる。蛍光信号がある場合に、カラー背景を十分な輝度値に維持させ、医師が体腔を正確に容易に観測できる。さらに、前記方法は、撮像前に画像処理を行うため、情報処理量が少なく、演算速度が速く、画面が流暢である。
【0128】
図5を参照しながら説明する。
図5に示すように、本発明の実施例の画像処理システムは、パルス発生器及び画像処理器を有する。前記画像処理器は、信号変換部、信号処理部、比較部、命令部、及び信号出力部を有する。
【0129】
前記信号変換部は、それぞれ赤色光、緑色光、青色光センサーの各ピクセルが受信した光信号の強度値を採集、光電変換させる。赤色光、緑色光、青色光センサーは、白色光の反射光中の赤色光、緑色光、青色光をそれぞれ撮像する。青色光センサーは、さらに近赤外蛍光を撮像する。白色光の反射光は、白色光源を観察エリアに照射して反射したものである。近赤外蛍光は、白色光源及び励起光源を共に観察エリアに照射して反射したものである。白色光源は、LED白色光源であってもよく、RGB3色のLED光源を合成した白色光であってもよい。励起光源は、808±10nmのレーザーであり、観察エリアのICG(インドシアニングリーン)を励起させて近赤外蛍光を生成する。また、本実施例において、青色光センサーによって観察エリアが発する近赤外蛍光を撮像するが、それらに限定されない。他の実施例において、赤色光センサー又は緑色光センサーによって観察エリアが発する近赤外蛍光を撮像してもよい。
【0130】
前記信号処理部は、赤色光センサー及び緑色光センサーの各ピクセルが受信した赤色光及び緑色光信号の強度を加重平均し、経験係数rを掛けて青色光信号の強度値に変換し、a0とする。
【0131】
前記比較部は、青色光センサーの各ピクセルの光電変換後の強度値a1及びa0を比較する。
【0132】
前記命令部は、比較部の比較結果を受信、判断してから、対応動作を実行する。
【0133】
a1>a0の場合、
連続的なN個のピクセルがa1>a0を満足する場合、第1命令をパルス発生器に発信する。パルス発生器は、青色光センサーが近赤外蛍光信号を出力し、その他2つのセンサーが光信号を出力しないように制御する。また、青色光センサーの特定面積内の近赤外蛍光信号の強度の平均値a1′とa0の差がデフォルトの最適値に達成又は接近する場合、第2命令を発信し、デフォルトの最適値に達成又は接近しない場合、第3命令を発信して白色光源の強度を減少する。
【0134】
連続的なN個のピクセルがa1>a0を満足しない場合、第3命令を発信して白色光源の強度を減少し、又はa1′とa0の差がデフォルトの最適値に達成又は接近しない場合、第4命令を発信して白色光源の強度を増大又は減少する。
【0135】
a1<a0の場合、第3命令を発信して白色光源の強度を減少する。
【0136】
a1=a0の場合、第3命令を発信して白色光源の強度を減少し、白色光源減少後の青色光センサーの各ピクセルの光電変換後の強度値a11及びa0を比較する。a11<a0の場合、第5命令を発信して白色光源の強度を減少前の値に回復し、第2命令を前記パルス発生器に発信する。パルス発生器は、赤色光、緑色光、青色光センサーがそれぞれ回復後の白色光源の強度で緑色光、青色光信号を出力するように制御する。
【0137】
前記信号出力部は、第2命令を受信した後、近赤外蛍光のセンサーで出力した近赤外蛍光信号、及び赤色光、緑色光、青色光センサーで出力した赤色光、緑色光、青色光信号に基づいて、カラー蛍光映像信号を出力する。
【0138】
図6を参照しながら説明する。
図6に示すように、本発明は、蛍光内視鏡照明撮像装置を提供する。前記蛍光内視鏡照明撮像装置は、光照射装置、光学採集部、画像採集部、画像処理システム、及び画像表示部を有する。
【0139】
前記光照射装置は、強度調整可能な白色光及び励起光を観察エリアに照射する。白色光源は、LED白色光源であってもよく、RGB3色のLED光源を合成した白色光であってもよい。励起光源は、808±10nmのレーザーであり、観察エリアのICG(インドシアニングリーン)を励起させて近赤外蛍光を生成する。具体的には、光照射装置は、白色光源、励起光源、及び光源制御部を有する。光源制御部は、白色光源及び励起光源の強度を調整する。
【0140】
前記光学採集部は、観察エリアで反射した白色光の反射光及び観察エリアが発する近赤外蛍光を画像採集部に送信、結合させる。具体的には、光学採集部は、撮像レンズ群、及び撮像レンズ群の後端に位置する光学アダプターを有する。撮像レンズ群は、観察エリアで反射した白色光の反射光及び観察エリアが発する近赤外蛍光を伝送する。光学アダプターは、撮像レンズ群によって伝送した反射した白色光の反射光及び近赤外蛍光を画像採集部に結合させる。撮像レンズ群は、一般設計の光学レンズ群であり、可視光~近赤外光のマルチスペクトルの撮像の要求を満足できる。光学アダプター内にフィルタを設けられる。前記フィルタは、観察エリアが発する励起光を濾過し、反射した白色光の反射光及び近赤外蛍光を通る。
図7は、フィルタの表面コーティング曲線を示す。
図7から分かるように、前記フィルタによって、400~800nmの可視光及び830~850nmの近赤外蛍光を通って、808nmの励起光を濾過する。
【0141】
好ましい実施形態において、撮像レンズ群は、内視鏡の一部である。それによって、全体的なシステムの構造をより小さくなり、医者の操作を影響せずに従来の内視鏡を置換できる。
【0142】
画像採集部は、ビームスプリッタープリズム組、赤色光センサー、緑色光センサー、及び青色光センサーからなる。ビームスプリッタープリズム組は、2つのプリズムで構成され、光学アダプターの後端に位置し、反射した白色光の反射光をR光、G光、B光の3つのチャネルに分けてる。その後、それぞれ赤色光センサー、緑色光センサー、青色光センサーに撮像する。
図8に示すように、NIR蛍光がB光チャネルに分けられ、B光と共に青色光センサーに撮像する。以下、具体的な分光プロセスを示す。ビームスプリッタープリズム組に入射した白色光及び近赤外蛍光は、R+G光、及びB+NIR光の2つの部分に分けられる。R+G光が第1プリズムのb面を透過する。そのうち、G光が第2プリズムのd面を透過して緑色光センサーに撮像する。R光が第2プリズムのd面で反射してから全反射して、第2プリズムのf面から射出して赤色光センサーに撮像する。B+NIR光は、第1プリズムのb面で反射してから全反射して、第1プリズムのc面から射出して青色光センサーに撮像する。
【0143】
図9は、第1プリズムのb面、c面、第2プリズムのd面のコーティング曲線を示す。b面のコーティングは、緑色光及び赤色光を透過して、青色光及び近赤外蛍光を反射する。c面のコーティングは、青色光及び近赤外蛍光を透過して、緑色光及び赤色光を濾過する。d面のコーティングは、緑色光を透過して赤色光を反射する。青色光が暗色であるため、人体組織を表示する色として利用価値が低い。そのため、近赤外蛍光をB光チャネルに分けて青色光センサーに撮像してもよい。即ち、NIR蛍光及びB光は青色光センサーを共有する。しかしながら、本発明はそれらに限定されない。他の実施例において、赤色光センサー又は緑色光センサーによって観察エリアが発する近赤外蛍光を撮像してもよい。
【0144】
画像処理システムは、パルス発生器及び画像処理器を有する。前記画像処理器は、信号変換部、信号処理部、比較部、命令部、及び信号出力部を有する。
【0145】
前記信号変換部は、それぞれ赤色光、緑色光、青色光センサーの各ピクセルが受信した光信号の強度値を採集、光電変換させる。
【0146】
前記信号処理部は、赤色光センサー及び緑色光センサーの各ピクセルが受信した赤色光及び緑色光信号の強度を加重平均し、経験係数rを掛けて青色光信号の強度値に変換し、a0とする。
【0147】
前記比較部は、青色光センサーの各ピクセルの光電変換後の強度値a1及びa0を比較する。
【0148】
前記命令部は、比較部の比較結果を受信、判断してから、対応動作を実行する。
【0149】
a1>a0の場合、
連続的なN個のピクセルがa1>a0を満足する場合、第1命令をパルス発生器に発信する。パルス発生器は、青色光センサーが近赤外蛍光信号を出力してB色とマークし、その他2つのセンサーが光信号を出力しないように制御する。具体的には、パルス発生器は、赤色、緑色センサーの出力チャネルをオフして、信号を出力しないようにする。また、青色光センサーの特定面積内の近赤外蛍光信号の強度の平均値a1′とa0の差がデフォルトの最適値に達成又は接近する場合、第2命令を発信する。NOの場合、第3命令を発信して白色光源の強度を減少する。
【0150】
連続的なN個のピクセルがa1>a0を満足しない場合、第3命令を発信して白色光源の強度を減少し、又はa1′とa0の差がデフォルトの最適値に達成又は接近しない場合、第4命令を発信して白色光源の強度を増大又は減少する。
【0151】
a1<a0の場合、第3命令を発信して白色光源の強度を減少する。
【0152】
a1=a0の場合、第3命令を発信して白色光源の強度を減少し、白色光源減少後の青色光センサーの各ピクセルの光電変換後の強度値a11及びa0を比較する。a11<a0の場合、第5命令を発信して白色光源の強度を減少前の値に回復し、第2命令を前記パルス発生器に発信する。パルス発生器は、赤色光、緑色光、青色光センサーがそれぞれ回復後の白色光源の強度で緑色光、青色光信号を出力するように制御する。具体的には、パルス発生器は、赤色、緑色センサーのチャネルをオンして対応の光信号を出力する。
【0153】
前記信号出力部は、第2命令を受信した後、近赤外蛍光のセンサーで出力した近赤外蛍光信号、及び赤色光、緑色光、青色光センサーで出力した赤色光、緑色光、青色光信号に基づいて、カラー蛍光映像信号を出力する。即ち、観察エリアにおける正常組織エリアで反射した白色光に対してRGBカラー合成を行って出力すると共に、異常組織エリアが発する近赤外蛍光をB色で出力する。
【0154】
画像表示部は、モニターを有し、信号出力部で出力したカラー蛍光映像信号を映像変換させ、カラー蛍光画像を出力してモニターのスクリーンに表示する。
【0155】
以下、本発明の実施例の蛍光内視鏡照明撮像装置を医療検査に利用する例を説明する。
【0156】
まず、人体に注射ICG試薬を注射し、しばらくしてから、白色光源及びレーザー光源を同時にオンして、白色光源をA1値に、レーザー光源を最大値に調整する。すると、組織表面で反射した白色光、励起光、及び発する近赤外蛍光は、撮像レンズ群(腹腔鏡でもよい)に入射し、光学アダプターを経てビームスプリッタープリズム組の前端に到達する。その時に、励起光は、光学アダプター内部にあるフィルタによって濾過される。残った白色光及び近赤外蛍光がビームスプリッタープリズム組に入射し、第1プリズムのa面を透過して第1プリズムに入射する。その後、第1プリズムのb面において、白色光中のR光、G光が透過して第2プリズムに入射し、白色光中のB光及びNIR蛍光が第1プリズムのa面に反射して全反射して、第1プリズムのc面から第1プリズムに射出して青色光センサーに撮像する。第2プリズムに入射したR光及びG光は、第2プリズムのd面に到達してから、G光が第2プリズムのd面から第2プリズムに射出して緑色光センサーに撮像する。R光が第2プリズムのe面に反射して全反射して、第2プリズムのf面から第2プリズムを射出して赤色光センサーに撮像する。
【0157】
その後、画像処理システムによって生成したR光信号、G光信号、B光信号及びNIR蛍光信号に対して処理する。R光及びG光の信号強度の加重平均値を取って、経験係数rを掛けて、a0とする。青色光センサーが光信号強度a1>a0を検知した場合、B色のNIR蛍光信号を出力する。その場合、緑色光センサー及び赤色光センサーが信号を出力しない。a1≦a0の場合、B光信号を出力し、緑色光センサーで出力したG光信号、赤色光センサーで出力したR光信号と共にRGBカラー信号を出力することで、カラー蛍光映像信号を出力する。
【0158】
青色光センサーがすべてのNIR蛍光信号を検知した後、画像処理器から命令を光源制御部に出力する。光源制御部は、LED白色光源の強度を次第に増加又は減少することで、蛍光信号の強度の平均値a1’とa0の差を最適値Cに達成又は接近させる。即ち、蛍光及びカラー背景光が最適なのコントラスト比に達成する。
【0159】
最後、上記カラー蛍光映像信号を画像表示部に出力し、モニターの変換を経て、カラー蛍光画像をモニターのスクリーンに出力する。そのうち、蛍光が青色で、背景がカラーである。
【0160】
当業者は、本発明の精神及び範囲内で他のさまざまな変更及び改良を行うことができる。しかしながら、前記変更及び改良が本発明の請求項及びその均等的な範囲内であれば、すべて本発明に含む。