IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ パナソニックi−PROセンシングソリューションズ株式会社の特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023075696
(43)【公開日】2023-05-31
(54)【発明の名称】3板式カメラ
(51)【国際特許分類】
   A61B 1/04 20060101AFI20230524BHJP
   A61B 34/20 20160101ALI20230524BHJP
   H04N 23/45 20230101ALI20230524BHJP
   H04N 23/55 20230101ALI20230524BHJP
【FI】
A61B1/04 530
A61B34/20
H04N5/225 800
H04N5/225 400
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2021188762
(22)【出願日】2021-11-19
(71)【出願人】
【識別番号】320008672
【氏名又は名称】i-PRO株式会社
(74)【代理人】
【識別番号】110002000
【氏名又は名称】弁理士法人栄光事務所
(72)【発明者】
【氏名】橋本 洋太
(72)【発明者】
【氏名】木庭 優治
【テーマコード(参考)】
4C161
5C122
【Fターム(参考)】
4C161CC06
4C161DD01
4C161FF40
4C161MM04
4C161NN01
4C161PP11
4C161SS09
5C122DA16
5C122DA26
5C122EA12
5C122FB15
5C122FB16
5C122FC04
5C122FG03
5C122HB05
(57)【要約】
【課題】サイズアップおよびコストアップすることなく、対象物からの光に含まれる可視光およびIR光の分離を高精度に行い、対象物内の鮮明な映像の出力を支援する。
【解決手段】3板式カメラは、観察部位からの入射光のうち第1波長帯光を分光する第1プリズムと第2波長帯光を分光する第2プリズムと第3波長帯光を分光する第3プリズムとにより構成される分光プリズムと、第1プリズムからの光を入射して撮像する第1イメージセンサと、第2プリズムからの光を入射して撮像する第2イメージセンサと、第3プリズムからの光を入射して撮像する第3イメージセンサと、第1イメージセンサ、第2イメージセンサおよび第3イメージセンサのそれぞれにより撮像された撮像出力信号に基づいて、観察部位の映像信号を生成する映像信号処理部と、を備える。第1イメージセンサにカラーフィルタが配置される。
【選択図】図3C
【特許請求の範囲】
【請求項1】
観察部位からの入射光のうち第1波長帯光を分光する第1プリズムと、前記入射光のうち第2波長帯光を分光する第2プリズムと、前記入射光のうち第3波長帯光を分光する第3プリズムと、により構成される分光プリズムと、
前記第1プリズムからの光を入射して前記観察部位を撮像する第1イメージセンサと、
前記第2プリズムからの光を入射して前記観察部位を撮像する第2イメージセンサと、
前記第3プリズムからの光を入射して前記観察部位を撮像する第3イメージセンサと、
前記第1イメージセンサ、前記第2イメージセンサおよび前記第3イメージセンサのそれぞれにより撮像された撮像出力信号に基づいて、前記観察部位の映像信号を生成してモニタに出力する映像信号処理部と、を備え、
前記第1イメージセンサまたは前記第2イメージセンサにカラーフィルタが配置される、
3板式カメラ。
【請求項2】
前記カラーフィルタは、前記第1イメージセンサに対応して配置され、
前記第1プリズムは、前記第1波長帯光である青色光およびIR光を分光する特性を有し、
前記映像信号処理部は、前記第1イメージセンサからの撮像出力信号に基づいて、前記カラーフィルタを透して前記第1イメージセンサに入射する前記青色光に対応する青色映像信号と前記カラーフィルタを透して前記第1イメージセンサに入射する前記IR光に対応するIR映像信号とを分離して生成する、
請求項1に記載の3板式カメラ。
【請求項3】
前記第2プリズムは、前記第2波長帯光である赤色光を分光する特性を有し、
前記第3プリズムは、前記第3波長帯光である緑色光を分光する特性を有し、
前記映像信号処理部は、前記第2イメージセンサからの撮像出力信号に基づいて、前記第2イメージセンサに入射する前記赤色光に対応する赤色映像信号を生成し、さらに、前記第3イメージセンサからの撮像出力信号に基づいて、前記第3イメージセンサに入射する前記緑色光に対応する緑色映像信号を生成する、
請求項2に記載の3板式カメラ。
【請求項4】
前記第2プリズムは、前記第2波長帯光である赤色光を分光する特性を有し、
前記第3プリズムは、前記第3波長帯光である緑色光を分光する特性を有し、
前記映像信号処理部は、前記青色光、前記赤色光および前記緑色光に対応する可視映像信号を生成する、
請求項2に記載の3板式カメラ。
【請求項5】
前記カラーフィルタは、前記第2イメージセンサに対応して配置され、
前記第2プリズムは、前記第2波長帯光である赤色光およびIR光を分光する特性を有し、
前記映像信号処理部は、前記第2イメージセンサからの撮像出力信号に基づいて、前記カラーフィルタを透して前記第2イメージセンサに入射する前記赤色光に対応する赤色映像信号と前記カラーフィルタを透して前記第2イメージセンサに入射する前記IR光に対応するIR映像信号とを分離して生成する、
請求項1に記載の3板式カメラ。
【請求項6】
前記第1プリズムは、前記第1波長帯光である青色光を分光する特性を有し、
前記第3プリズムは、前記第3波長帯光である緑色光を分光する特性を有し、
前記映像信号処理部は、前記第1イメージセンサからの撮像出力信号に基づいて、前記第1イメージセンサに入射する前記青色光に対応する青色映像信号を生成し、さらに、前記第3イメージセンサからの撮像出力信号に基づいて、前記第3イメージセンサに入射する前記緑色光に対応する緑色映像信号を生成する、
請求項5に記載の3板式カメラ。
【請求項7】
前記第1イメージセンサは、前記第1プリズムからの光を入射する第1カラーフィルタを有し、前記第1カラーフィルタを透過した光に基づいて前記観察部位を撮像し、
前記第2イメージセンサは、前記第2プリズムからの光を入射する第2カラーフィルタを有し、前記第2カラーフィルタを透過した光に基づいて前記観察部位を撮像し、
前記第3イメージセンサは、前記第3プリズムからの光を入射する第3カラーフィルタを有し、前記第3カラーフィルタを透過した光に基づいて前記観察部位を撮像する、
請求項1に記載の3板式カメラ。
【請求項8】
前記映像信号処理部は、
前記第1イメージセンサからの撮像出力信号に基づいて、前記第1波長帯光の波長帯をK分割した各波長帯の光に基づくK(K:2以上の整数)個の第1波長映像信号を生成し、
前記第2イメージセンサからの撮像出力信号に基づいて、前記第2波長帯光の波長帯をL分割した各波長帯の光に基づくL(L:2以上の整数)個の第2波長映像信号を生成し、
前記第3イメージセンサからの撮像出力信号に基づいて、前記第3波長帯光の波長帯をM分割した各波長帯の光に基づくM(M:2以上の整数)個の第3波長映像信号を生成する、
請求項7に記載の3板式カメラ。
【請求項9】
前記映像信号処理部は、K個の前記第1波長映像信号、L個の前記第2波長映像信号、M個の前記第3波長映像信号に基づいて、RGB形式の可視映像信号を生成する、
請求項8に記載の3板式カメラ。
【請求項10】
前記映像信号処理部は、K個の前記第1波長映像信号、L個の前記第2波長映像信号、M個の前記第3波長映像信号に基づいて、RGB形式の可視映像信号とIR映像信号とを生成する、
請求項8に記載の3板式カメラ。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、3板式カメラに関する。
【背景技術】
【0002】
近年、手術あるいは検査時に、被検体内に蛍光試薬としてICG(インドシアニングリーン)が投与され、励起光の照射等によりICGを励起させ、ICGが発する近赤外の蛍光像を被写体像とともに撮像し、観察することにより診断を行う方法が注目されている。例えば特許文献1には、対象物からの光を3原色光および赤外光を含む複数の色成分に分解する色分解プリズムと、分解された複数の色成分の光学像をそれぞれ電気信号に変換する複数のイメージセンサとを有する内視鏡を備え、この内視鏡により撮像された映像信号を出力する内視鏡システムが開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2017-205354号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1で使用される色分解プリズムは、対象物(例えば被検体内の患部)からの光をRGB(Red Green Blue)の光およびIR(Infrared Ray)光に分解するために4つの異なるプリズムが接合されて構成される。このため、各プリズムを介して入射する光に基づいて撮像するためのイメージセンサも4つ必要となり、内視鏡のサイズアップならびにコストアップを避けることが困難である。
【0005】
一方で、このようなサイズアップならびにコストアップを避けるために、特許文献1の色分解プリズムとは異なる構成として、例えば青色の波長帯ならびにIR帯に高い分光透過率を有するプリズム、緑色の波長帯に高い分光透過率を有するプリズム、赤色の波長帯に高い分光透過率を有するプリズムを用いて色分解することも考えられる。ところが、青色の波長帯ならびにIR帯に高い分光透過率を有するプリズムにより分解された光がイメージセンサに入射した場合、青色の波長帯を有する光の光学像が撮像されたのか、IR光の光学像が撮像されたのかを区別することができないという課題があった。特に、上述した手術あるいは検査時に、蛍光試薬が投与された観察部位のより鮮明な蛍光画像の出力が困難であり、医師等による患部の把握ができない可能性があった。
【0006】
本開示は、上述した従来の事情に鑑みて案出され、サイズアップおよびコストアップすることなく、対象物からの光に含まれる可視光およびIR光の分離を高精度に行い、対象物内の鮮明な映像の出力を支援する3板式カメラを提供することを目的とする。
【課題を解決するための手段】
【0007】
本開示は、観察部位からの入射光のうち第1波長帯光を分光する第1プリズムと、前記入射光のうち第2波長帯光を分光する第2プリズムと、前記入射光のうち第3波長帯光を分光する第3プリズムと、により構成される分光プリズムと、前記第1プリズムからの光を入射して前記観察部位を撮像する第1イメージセンサと、前記第2プリズムからの光を入射して前記観察部位を撮像する第2イメージセンサと、前記第3プリズムからの光を入射して前記観察部位を撮像する第3イメージセンサと、前記第1イメージセンサ、前記第2イメージセンサおよび前記第3イメージセンサのそれぞれにより撮像された撮像出力信号に基づいて、前記観察部位の映像信号を生成してモニタに出力する映像信号処理部と、を備え、前記第1イメージセンサまたは前記第2イメージセンサにカラーフィルタが配置される、3板式カメラを提供する。
【発明の効果】
【0008】
本開示によれば、サイズアップおよびコストアップすることなく、対象物からの光に含まれる可視光およびIR光の分離を高精度に行い、対象物内の鮮明な映像の出力を支援できる。
【図面の簡単な説明】
【0009】
図1】実施の形態1に係る3板式カメラの内部構成例を示すブロック図
図2】分光プリズムの構造例を示す図
図3A】分光プリズムの分光透過率の特性例を示すグラフ
図3B】カラーフィルタが設けられたイメージセンサのセンサ感度の特性例を示すグラフ
図3C】Bプリズムにより分光されてカラーフィルタを透過した光の分光感度の特性例を示すグラフ
図4】実施の形態1に係る映像信号処理部の第1構成例を示すブロック図
図5】実施の形態1に係る映像信号処理部の第2構成例を示すブロック図
図6】実施の形態1の変形例に係る3板式カメラの内部構成例を示すブロック図
図7】Rプリズムにより分光されてカラーフィルタを透過した光の分光感度の特性例を示すグラフ
図8】実施の形態1に係る映像信号処理部の第3構成例を示すブロック図
図9】実施の形態2に係る3板式カメラの内部構成例を示すブロック図
図10A】Bプリズムにより分光されてカラーフィルタを透した光の分光感度の特性例を示すグラフ
図10B】Gプリズムを透過してカラーフィルタを透した光の分光感度の特性例を示すグラフ
図10C】Rプリズムにより分光されてカラーフィルタを透した光の分光感度の特性例を示すグラフ
図11】人間の眼の分光特性例を示すグラフ
図12】実施の形態2に係る映像信号処理部の第1構成例を示すブロック図
図13】実施の形態2に係る映像信号処理部の第2構成例を示すブロック図
図14】実施の形態2に係る映像信号処理部の第3構成例を示すブロック図
図15】実施の形態2に係る映像信号処理部の第4構成例を示すブロック図
図16】3板式カメラにより生成された複数波長映像信号のモニタでの表示例を示す図
【発明を実施するための形態】
【0010】
以下、適宜図面を参照しながら、本開示に係る3板式カメラを具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明および実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
【0011】
(実施の形態1)
図1は、実施の形態1に係る3板式カメラ100の内部構成例を示すブロック図である。図2は、分光プリズム3の構造例を示す図である。図1に示す3板式カメラ100は、レンズ1と、分光プリズム3と、イメージセンサ5a,5b,5cと、映像信号処理部7とを含む構成である。映像信号処理部7の詳細な構成については図4あるいは図5を参照して後述する。
【0012】
本開示に係る3板式カメラ100,100A,100Bは、例えば医療行為(例えば医師等のユーザによる手術あるいは検査)時に、患者である被検体内の観察部位(例えば患部)に予め投与された蛍光試薬(例えばインドシアニングリーン。以下「ICG」と略記する。)に所定の波長帯(例えば760nm~800nm)の励起光を照射し、その励起光に基づいて長波長側(例えば820~860nm)に蛍光発光した観察部位を撮像する医療観察システムで使用される。3板式カメラ100により撮像された映像(例えば患部の様子が判明可能な映像)は、モニタMN1(図16参照)に表示され、医師等のユーザによる医療行為の実行を支援する。分光プリズム3は、例えば上述した医療観察システムで使用される例を説明するが、使用は医療用途に限定されず工業用途でもよい。また、3板式カメラ100,100A,100Bは上述した医療観察システム以外の用途で使用されても構わない。
【0013】
図1では図示を省略しているが、3板式カメラ100のレンズ1よりも先端側は観察部位(例えば患部。以下同様。)に挿通される硬性内視鏡スコープ等により構成されている。この硬性内視鏡スコープは、例えば観察部位まで挿通される硬性内視鏡等の医療器具の先端部を構成する主要部であり、観察部位からの光L1をレンズ1まで導光可能な細長い導光部材である。
【0014】
レンズ1は、分光プリズム3の対物側(先端側)に取り付けられ、観察部位からの光L1(例えば観察部位での反射光)を集光する。集光された光L2は、分光プリズム3に入射する。
【0015】
光学部品の一例としての分光プリズム3は、観察部位からの光L2を入射し、入射光である光L2のうち第1波長帯光である第1波長光W1(例えば400~500[nm]の波長を有する青色光、および、750~1000[nm]の波長を有するIR光)と、入射光である光L2のうち第2波長帯光である第2波長光W2(例えば600~750[nm]の波長を有する赤色光)と、入射光である光L2のうち第3波長帯光である第3波長光W3(例えば500~600[nm]の波長を有する緑色光)とに分光する。具体的には、分光プリズム3は、B(Blue)プリズム31と、R(Red)プリズム32と、G(Green)プリズム33とを有する構成である(図2参照)。第1波長光W1は、Bプリズム31に対向するように配置されたイメージセンサ5aに入射する。第2波長光W2は、Rプリズム32に対向するように配置されたイメージセンサ5bに入射する。第3波長光W3は、Gプリズム33に対向するように配置されたイメージセンサ5cに入射する。分光プリズム3の詳細な構造例については、図2を参照して後述する。
【0016】
イメージセンサ5a(第1イメージセンサの一例)は、例えば可視光のカラー画像の撮像に適する複数の画素(例えば赤/緑/緑/青の4画素を基準とした公知のベイヤ画素)が配列されたカラーフィルタCF1を有する、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)により構成される。イメージセンサ5aは、Bプリズム31と対向するように配置される(図2参照)。イメージセンサ5aは、Bプリズム31からの光を入射して観察部位の光学像を電気信号に変換するための撮像処理を行い、この撮像処理により得られた観察部位の撮像出力信号である第1センサ出力信号WS1を生成して映像信号処理部7に送る。カラーフィルタCF1の感度(つまり、センサ感度)の特性例について、図3Bを参照して後述する。
【0017】
イメージセンサ5b(第2イメージセンサの一例)は、例えば可視光の白黒画像の撮像に適した複数の画素が配列された、CCDまたはCMOSにより構成される。イメージセンサ5bは、Rプリズム32と対向するように配置される(図2参照)。イメージセンサ5bは、Rプリズム32からの光を入射して観察部位の光学像を電気信号に変換するための撮像処理を行い、この撮像処理により得られた観察部位の撮像出力信号である第2センサ出力信号WS2を生成して映像信号処理部7に送る。
【0018】
イメージセンサ5c(第3イメージセンサの一例)は、例えば可視光の白黒画像の撮像に適した複数の画素が配列された、CCDまたはCMOSにより構成される。イメージセンサ5cは、Gプリズム33と対向するように配置される(図2参照)。イメージセンサ5cは、Gプリズム33からの光を入射して観察部位の光学像を電気信号に変換するための撮像処理を行い、この撮像処理により得られた観察部位の撮像出力信号である第3センサ出力信号WS3を生成して映像信号処理部7に送る。
【0019】
映像信号処理部7は、例えばDSP(Digital Signal Processor)、ISP(Image Signal Processor)あるいはFPGA(Field Programmable Gate Array)等のプロセッサにより構成される。映像信号処理部7は、イメージセンサ5aからの第1センサ出力信号WS1、イメージセンサ5bからの第2センサ出力信号WS2およびイメージセンサ5cからの第3センサ出力信号WS3に基づいて、観察部位の映像信号である複数波長映像信号OPT1を生成してモニタMN1、録画機等に出力する。複数波長映像信号OPT1は、例えば映像信号処理部7によって分離生成される青色映像信号およびIR映像信号(図4あるいは図5参照)と、赤色映像信号と、緑色映像信号とに基づいて合成処理されて生成される映像信号である。青色映像信号とIR映像信号との分離生成については、図4あるいは図5を参照して後述する。
【0020】
モニタMN1(図16参照)は、例えば手術あるいは検査時に手術室に配置される画像コンソール(図示略)を構成し、3板式カメラ100により生成された観察部位の複数波長映像信号OPT1を表示する。これにより、医師等のユーザは、モニタMN1に表示された複数波長映像信号OPT1を目視で視認することで、観察部位の様態を視覚的に把握し易くできたり、観察部位中の蛍光発光した部位を詳細に把握できたりする。録画機は、例えば3板式カメラ100により生成された複数波長映像信号OPT1のデータを録画可能なレコーダである。
【0021】
次に、図2を参照して、分光プリズム3の構造例を説明する。
【0022】
分光プリズム3は、Bプリズム31(第1プリズムの一例)と、Rプリズム32(第2プリズムの一例)と、Gプリズム33(第3プリズムの一例)とが接着剤等によって接合された光学部品である。例えばBプリズム31、Rプリズム32およびGプリズム33が、レンズ1により集光された光L2の光軸方向に順に組み付けられる。
【0023】
Bプリズム31は、光L2が入射する入射面31aと、光L2のうち青色光およびIR光を反射させるダイクロイックミラーDYM1が形成される反射面31bと、青色光およびIR光(第1波長光W1の一例)が出射する出射面31cとを有する。ダイクロイックミラーDYM1は、蒸着等により反射面31bに形成され、光L2のうち青色光(例えば400~500[nm]の波長を有する可視光)およびIR光(例えば750~1000[nm]の波長を有する非可視光)を反射させるとともに、光L2のうち青色光およびIR光のいずれでもない光(例えば500nm~750[nm]の波長を有する可視光)を透過させる(図3A参照)。具体的には、Bプリズム31の入射面31aに入射した光L2のうち青色光およびIR光が反射面31bで反射する。この青色光およびIR光は、反射面31bで反射した後にBプリズム31の入射面31aで全反射し、出射面31cを介してカラーフィルタCF1が設けられたイメージセンサ5aに入射する。
【0024】
Rプリズム32は、ダイクロイックミラーDYM1を透過した光が入射する入射面32aと、その透過した光のうち赤色光を反射させるダイクロイックミラーDYM2が形成される反射面32bと、赤色光(第2波長光W2の一例)が出射する出射面32cとを有する。ダイクロイックミラーDYM2は、蒸着等により反射面32bに形成され、赤色光(例えば600~750[nm]の波長を有する可視光)を反射させるとともに、赤色光でない光(例えば500~600[nm]の波長を有する可視光)を透過させる(図3A参照)。具体的には、Rプリズム32の入射面32aに入射した可視光のうち赤色光が反射面32bで反射する。赤色光は、反射面32bで反射した後にRプリズム32の入射面32aで全反射し、出射面32cを介して白黒フィルタが設けられたイメージセンサ5bに入射する。
【0025】
Gプリズム33は、ダイクロイックミラーDYM2を透過した光が入射する入射面33aと、その光である緑色光(第3波長光W3の一例)が出射する出射面33cとを有する。具体的には、ダイクロイックミラーDYM2を透過した光(例えば500~600[nm]の波長を有する緑色光)が入射してそのまま出射して白黒フィルタが設けられたイメージセンサ5cに入射する(図4C参照)。
【0026】
図3Aは、分光プリズム3の分光透過率の特性例を示すグラフである。図3Bは、カラーフィルタCF1が設けられたイメージセンサ5aのセンサ感度の特性例を示すグラフである。図3Cは、Bプリズム31により分光されてカラーフィルタCF1を透過した光の分光感度の特性例を示すグラフである。図3A図3Bおよび図3Cの横軸は波長[nm]であり、図3Aの縦軸は透過率(言い換えると、分光透過率)、図3Bの縦軸はセンサ感度、図3Cの縦軸は分光感度である。分光感度は、透過率とセンサ感度との乗算により求められる。図3Cの分光感度は、例えば図3Bに示されるセンサ感度の最大値(例えば波長520[nm]に対応するセンサ感度の値)を1.0とし、分光プリズム3による対応する波長ごとの分光透過率とセンサ感度とを乗算した値として示されている。
【0027】
図3Aに示されるように、分光プリズム3の透過率は、Bプリズム31の透過率(言い換えると、Bプリズム31により分光される光の出射率)を示す透過率特性B1と、Rプリズム32の透過率(言い換えると、Rプリズム32により分光される光の出射率)を示す透過率特性R1と、Gプリズム33の透過率(言い換えると、Gプリズム33により分光される光の出射率)を示す透過率特性G1とにより示される。Bプリズム31は、青色光(例えば400~500[nm]の波長を有する光)だけでなく、IR光(例えば750~1000[nm]の波長を有する光)を分光かつ出射する特性を有する。Rプリズム32は、赤色光(例えば600~750[nm]の波長を有する光)を分光かつ出射する特性を有する。Gプリズム33は、緑色光(例えば500~600[nm]の波長を有する光)を分光かつ出射する特性を有する。つまり、分光プリズム3によれば、光L2のうち青色光、緑色光、赤色光、IR光のそれぞれが他の光の影響(例えば混色)が少なく分光可能となる。
【0028】
図3Bに示されるように、カラーフィルタCF1が設けられたイメージセンサ5a単体のセンサ感度は、青色画素の感度特性B2と、緑色画素の感度特性G2と、赤色画素の感度特性R2とにより示される。これらの特性によると、例えば青色光の波長帯域にも青色のセンサ感度以外に緑色のセンサ感度が一定程度高いため、カラーフィルタCF1の青色画素の出力には青色光だけでなく緑色光が混じってしまう。同様に、緑色光の波長帯域にも緑色のセンサ感度以外に赤色のセンサ感度が一定程度高いため、カラーフィルタCF1の緑色画素の出力には緑色光だけでなく赤色光が混じってしまう。また、赤色光の波長帯域(例えば650[nm])にも赤色のセンサ感度以外に青色および緑色の各センサ感度が一定程度高いため、カラーフィルタCF1の赤色画素の出力には赤色光だけでなく青色光および緑色光が混じってしまう。つまり、カラーフィルタCF1が設けられたイメージセンサ5aの各画素を介して純粋な青色光、緑色光、赤色光が入射しないため、イメージセンサ5a単体のセンサ感度による各色の再現性が高くないという課題がある。
【0029】
図3Cに示されるように、分光プリズム3のBプリズム31により分光されてカラーフィルタCF1を透過した光の分光感度(つまりイメージセンサ5aのセンサ感度)は、青色画素の感度特性B3と、緑色画素の感度特性G3と、赤色画素の感度特性R3とにより示される。赤色画素の感度特性R3によると、可視光(つまり、400~750[nm]の波長を有する光)の感度が低く、IR光にのみ感度を有することが分かった。また、青色画素,緑色画素の感度特性B3,G3によると、青色光(つまり、400~500[nm]の波長を有する光)の感度およびIR光にのみ感度を有することが分かった。つまり、次のように表すことが可能となる。
【0030】
Bch(カラーフィルタCF1の青色画素):青色光およびIR光が入射する。つまり、Bch(カラーフィルタCF1の青色画素)の出力から、青色光とIR光とが混じって得られる。
【0031】
Gch(カラーフィルタCF1の緑色画素):緑色光およびIR光が入射する。つまり、Gch(カラーフィルタCF1の緑色画素)の出力から、緑色光とIR光とが混じって得られる。
【0032】
Rch(カラーフィルタCF1の赤色画素):IR光が入射する。つまり、Rch(カラーフィルタCF1の赤色画素)の出力から、IR光のみが得られる。
【0033】
したがって、映像信号処理部7は、「青色光に基づく信号=Bch(カラーフィルタCF1の青色画素)の出力に基づく信号+Gch(カラーフィルタCF1の緑色画素)の出力に基づく信号-2*Rch(カラーフィルタCF1の赤色画素)の出力に基づく信号」(*:乗算。以下同様。)の演算を行うことで、Bch(カラーフィルタCF1の青色画素)の出力に含まれる青色光に基づく信号とIR光に基づく信号との割合を導出できる。つまり、映像信号処理部7は、Bch(カラーフィルタCF1の青色画素)の出力に含まれる青色光に基づく信号とIR光に基づく信号とを高精度に分離できる。なお、映像信号処理部7での演算処理は上述した演算に限定されない。映像信号処理部7は、分光プリズムの分光特性およびカラーセンサとしてのイメージセンサの各画素の感度特性に応じて、適した信号処理を行えばよい。
【0034】
図4は、実施の形態1に係る映像信号処理部7の第1構成例を示すブロック図である。図4に示す映像信号処理部71は、色情報分離処理部72と、波長分離演算処理部73とを含む構成である。
【0035】
色情報分離処理部72は、第1センサ出力信号WS1を入力し、入力された第1センサ出力信号WS1を、カラーフィルタCF1を構成する各色の画素出力に相当する色情報(具体的には、青色(B)、緑色(G)、赤色(R))ごとの信号に分離処理して波長分離演算処理部73に送る。つまり、色情報分離処理部72は、第1センサ出力信号WS1のうち青色画素(Bch)の出力に対応する信号(図3Cの感度特性B3参照)と、第1センサ出力信号WS1のうち緑色画素(Gch)の出力に対応する信号(図3Cの感度特性G3参照)と、第1センサ出力信号WS1のうち赤色画素(Rch)の出力に対応する信号(図3Cの感度特性R3参照)とに分離する。
【0036】
波長分離演算処理部73は、色情報分離処理部72からの各画素の出力に基づく信号を入力し、上述した「青色光に基づく信号=Bch(カラーフィルタCF1の青色画素)の出力に基づく信号+Gch(カラーフィルタCF1の緑色画素)の出力に基づく信号-2*Rch(カラーフィルタCF1の赤色画素)の出力に基づく信号」の演算を行うことで、Bch(カラーフィルタCF1の青色画素)の出力に含まれる青色光に基づく信号とIR光に基づく信号とを分離する。波長分離演算処理部73あるいは映像信号処理部71は、分離により得られた青色光に基づく信号に公知のカメラ信号処理を施して青色映像信号であるB映像信号BV1を生成して出力し、さらに、分離により得られたIR光に基づく信号に公知のカメラ信号処理を施してIR映像信号IRV1を生成して出力する。
【0037】
また、映像信号処理部71は、第2センサ出力信号WS2を入力し、入力された第2センサ出力信号WS2に公知のカメラ信号処理を施して赤色映像信号であるR映像信号WSV2を生成して出力する。同様に、映像信号処理部71は、第3センサ出力信号WS3を入力し、入力された第3センサ出力信号WS3に公知のカメラ信号処理を施して緑色映像信号であるG映像信号WSV3を生成して出力する。このように、映像信号処理部71は、分離処理により得られたIR映像信号IRV1、分離処理により得られたB映像信号BV1、R映像信号WSV2、G映像信号WSV3からなる複数波長映像信号OPT1をモニタMN1等に出力する。
【0038】
図5は、実施の形態1に係る映像信号処理部7の第2構成例を示すブロック図である。図5に示す映像信号処理部71Aは、色情報分離処理部72と、波長分離演算処理部73と、IR映像信号処理部74と、可視映像信号処理部75と、可視映像・IR映像重畳処理部77とを含む構成である。図5の説明において、図4の構成要素と同一のものには同一の符号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。
【0039】
IR映像信号処理部74は、波長分離演算処理部73により分離されたIR光に基づく信号IRV0に公知のカメラ信号処理を施してIR映像信号IRV1を生成してモニタMN1等に出力する。
【0040】
可視映像信号処理部75は、波長分離演算処理部73により分離された青色光に基づく信号、第2センサ出力信号WS2および第3センサ出力信号WS3を用いて公知のカメラ信号処理を施してRGB形式の可視映像信号VSL1を生成してモニタMN1等に出力する。
【0041】
可視映像・IR映像重畳処理部77は、可視映像信号VSL1にIR映像信号IRV1を重畳した重畳映像信号を生成してモニタMN1等に出力する。このように、映像信号処理部71Aは、分離処理により得られたIR映像信号IRV1、可視映像信号VSL1、重畳映像信号からなる複数波長映像信号OPT1をモニタMN1等に出力する。
【0042】
以上により、実施の形態1に係る3板式カメラ100は、観察部位からの入射光のうち第1波長帯光を分光する第1プリズム(例えばBプリズム31)と、入射光のうち第2波長帯光を分光する第2プリズム(例えばRプリズム32)と、入射光のうち第3波長帯光を分光する第3プリズム(例えばGプリズム33)と、により構成される分光プリズム3と、第1プリズムからの光を入射して観察部位を撮像する第1イメージセンサ(例えばイメージセンサ5a)と、第2プリズムからの光を入射して観察部位を撮像する第2イメージセンサ(例えばイメージセンサ5b)と、第3プリズムからの光を入射して観察部位を撮像する第3イメージセンサ(例えばイメージセンサ5c)と、第1イメージセンサ、第2イメージセンサおよび第3イメージセンサのそれぞれにより撮像された撮像出力信号に基づいて、観察部位の映像信号を生成してモニタMN1に出力する映像信号処理部7と、を備える。第1イメージセンサ(例えばイメージセンサ5a)にカラーフィルタCF1が配置される。
【0043】
これにより、3板式カメラ100は、特許文献1のように対象物(例えば観察部位)からの光をRGBおよびIRに分光する4つのプリズムからなる色分解プリズムではなくRGBに分光する3つの異なるプリズムにより構成される分光プリズム3を備えることで、内視鏡等の医療器具のサイズアップならびにコストアップを避けながら、観察部位からの光に含まれる可視光およびIR光の分離を高精度に行って対象物内の鮮明な映像の出力を支援できる。
【0044】
また、カラーフィルタCF1は、第1イメージセンサ(例えばイメージセンサ5a)に対応して配置される。第1プリズム(例えばBプリズム31)は、第1波長帯光である青色光およびIR光を分光する特性を有する(図3A参照)。映像信号処理部7は、第1イメージセンサからの撮像出力信号(例えば第1センサ出力信号WS1)に基づいて、カラーフィルタCF1を透して第1イメージセンサに入射する青色光に対応する青色映像信号(例えばB映像信号BV1)とカラーフィルタCF1を透して第1イメージセンサに入射するIR光に対応するIR映像信号IRV1とを分離して生成する。これにより、3板式カメラ100は、青色光およびIR光に高い感度を有するBプリズム31を有する分光プリズム3が使用された場合、イメージセンサ5aからの第1センサ出力信号からIR光に基づく信号と青色光に基づく信号とを高精度に分離でき、青色光に関する映像の情報とIR光に関する映像の情報とを同時に得ることができる。
【0045】
また、第2プリズム(例えばRプリズム32)は、第2波長帯光である赤色光を分光する特性を有する(図3A参照)。第3プリズム(例えばGプリズム33)は、第3波長帯光である緑色光を分光する特性を有する(図3A参照)。映像信号処理部7は、第2イメージセンサ(例えばイメージセンサ5b)からの撮像出力信号(例えば第2センサ出力信号WS2)に基づいて、第2イメージセンサに入射する赤色光に対応する赤色映像信号(例えばR映像信号WSV2)を生成し、さらに、第3イメージセンサ(例えばイメージセンサ5c)からの撮像出力信号(例えば第3センサ出力信号WS3)に基づいて、第3イメージセンサに入射する緑色光に対応する緑色映像信号(例えばG映像信号WSV3)を生成する(図4参照)。これにより、3板式カメラ100は、IR映像信号IRV1、B映像信号BV1、R映像信号WSV2、G映像信号WSV3を高精度に得ることができ、色再現性の高い映像信号をモニタMN1等に出力できる。
【0046】
また、第2プリズム(例えばRプリズム32)は、第2波長帯光である赤色光を分光する特性を有する(図3A参照)。第3プリズム(例えばGプリズム33)は、第3波長帯光である緑色光を分光する特性を有する(図3A参照)。映像信号処理部7は、青色光、赤色光および緑色光に対応する可視映像信号を生成する(図5参照)。これにより、3板式カメラ100は、混色が少ない分離処理後の青色光に基づく信号、分光プリズム3によって高精度に分光された赤色光に基づく信号、分光プリズム3によって高精度に分光された緑色光に基づく信号から高精細なRGB形式の可視映像信号を生成できるので、モニタMN1を閲覧する医師等のユーザによる患部の様態把握を効果的に支援できる。
【0047】
(実施の形態1の変形例)
実施の形態1では、Bプリズム31が青色光およびIR光を分光しやすい特性を有し、Bプリズム31により分光された光(例えば青色光およびIR光)がイメージセンサ5aに入射し、映像信号処理部7がイメージセンサ5aの撮像出力信号から青色光に基づく信号とIR光に基づく信号とを分離する例を説明した。実施の形態1の変形例では、Rプリズム32が赤色光およびIR光を分光しやすい特性を有し、Rプリズム32により分光された光(例えば赤色光およびIR光)がイメージセンサ5bに入射し、映像信号処理部7Aがイメージセンサ5bの撮像出力信号から赤色光に基づく信号とIR光に基づく信号とを分離する例を説明する。
【0048】
図6は、実施の形態1の変形例に係る3板式カメラ100Aの内部構成例を示すブロック図である。図6に示す3板式カメラ100Aは、レンズ1と、分光プリズム3Aと、イメージセンサ5aA,5bA,5cと、映像信号処理部7Aとを含む構成である。映像信号処理部7Aの詳細な構成については図8を参照して後述する。図6の説明において、図1の構成要素と同一のものには同一の符号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。
【0049】
光学部品の一例としての分光プリズム3Aは、観察部位からの光L2を入射し、入射光である光L2のうち第1波長帯光である第1波長光W1(例えば400~500[nm]の波長を有する青色光)と、入射光である光L2のうち第2波長帯光である第2波長光W2(例えば600~750[nm]の波長を有する赤色光、および、750~1000[nm]の波長を有するIR光)と、入射光である光L2のうち第3波長帯光である第3波長光W3(例えば500~600[nm]の波長を有する緑色光)とに分光する。具体的には、分光プリズム3Aは、実施の形態1に係る分光プリズム3と同様に、B(Blue)プリズム31と、R(Red)プリズム32と、G(Green)プリズム33とを有する構成である(図2参照)。第1波長光W1は、Bプリズム31に対向するように配置されたイメージセンサ5aに入射する。第2波長光W2は、Rプリズム32に対向するように配置されたイメージセンサ5bに入射する。第3波長光W3は、Gプリズム33に対向するように配置されたイメージセンサ5cに入射する。
【0050】
実施の形態1の変形例と実施の形態1との違いは、分光プリズム3Aにおいて、Bプリズム31に設けられるダイクロイックミラーが青色光を反射してIR光を透過し、Rプリズム32に設けられるダイクロイックミラーが赤色光およびIR光を反射する点である。つまり、実施の形態1の変形例では、Bプリズム31はIR光を分光しやすい特性を有せず、Rプリズム32がIR光を分光しやすい特性を有する。
【0051】
イメージセンサ5aAは、例えば可視光の白黒画像の撮像に適する複数の画素が配列された、CCDまたはCMOSにより構成される。イメージセンサ5aAは、Bプリズム31からの光を入射して観察部位の光学像を電気信号に変換するための撮像処理を行い、この撮像処理により得られた観察部位の撮像出力信号である第1センサ出力信号WS1を生成して映像信号処理部7Aに送る。
【0052】
イメージセンサ5bAは、例えば可視光のカラー画像の撮像に適する複数の画素(例えば赤/緑/緑/青の4画素を基準とした公知のベイヤ画素)が配列されたカラーフィルタCF2を有する、CCDまたはCMOSにより構成される。イメージセンサ5bAは、Rプリズム32からの光を入射して観察部位の光学像を電気信号に変換するための撮像処理を行い、この撮像処理により得られた観察部位の撮像出力信号である第2センサ出力信号WS2を生成して映像信号処理部7Aに送る。
【0053】
映像信号処理部7Aは、例えばDSP、ISPあるいはFPGA等のプロセッサにより構成される。映像信号処理部7Aは、イメージセンサ5aAからの第1センサ出力信号WS1、イメージセンサ5bAからの第2センサ出力信号WS2およびイメージセンサ5cからの第3センサ出力信号WS3に基づいて、観察部位の映像信号である複数波長映像信号OPT1を生成してモニタMN1に出力する。複数波長映像信号OPT1は、例えば映像信号処理部7Aによって分離生成される赤色映像信号およびIR映像信号(図8参照)と、青色映像信号と、緑色映像信号とに基づいて合成処理されて生成される映像信号である。
【0054】
図7は、Rプリズム32により分光されてカラーフィルタCF2を透過した光の分光感度の特性例を示すグラフである。図7の横軸は波長[nm]であり、図7の縦軸は分光感度である。図7の分光感度は、例えば図3Bに示されるセンサ感度の最大値(例えば波長520[nm]に対応するセンサ感度の値)を1.0とし、分光プリズム3AのRプリズム32による対応する波長ごとの分光透過率とセンサ感度とを乗算した値として示されている。
【0055】
図7に示されるように、分光プリズム3AのRプリズム32により分光されてカラーフィルタCF2を透過した光の分光感度(つまりイメージセンサ5bAのセンサ感度)は、青色画素の感度特性B3’と、緑色画素の感度特性G3’と、赤色画素の感度特性R3’とにより示される。青色画素の感度特性B3’によると、可視光(つまり、400~750[nm]の波長を有する光)の感度が低く、IR光にのみ感度を有することが分かった。また、緑色画素,赤色画素の感度特性G3’,R3’によると、赤色光(つまり、600~750[nm]の波長を有する光)の感度およびIR光にのみ感度を有することが分かった。つまり、次のように表すことが可能となる。
【0056】
Rch(カラーフィルタCF2の赤色画素):赤色光およびIR光が入射する。つまり、Rch(カラーフィルタCF2の赤色画素)の出力から、赤色光とIR光とが混じって得られる。
【0057】
Gch(カラーフィルタCF2の緑色画素):赤色光およびIR光が入射する。つまり、Gch(カラーフィルタCF2の緑色画素)の出力から、赤色光とIR光とが混じって得られる。
【0058】
Bch(カラーフィルタCF2の青色画素):IR光が入射する。つまり、Bch(カラーフィルタCF2の青色画素)の出力から、IR光のみが得られる。
【0059】
したがって、映像信号処理部7Aは、「赤色光に基づく信号=Rch(カラーフィルタCF2の赤色画素)の出力に基づく信号+Gch(カラーフィルタCF2の緑色画素)の出力に基づく信号-2*Bch(カラーフィルタCF2の青色画素)の出力に基づく信号」(*:乗算。以下同様。)の演算を行うことで、Rch(カラーフィルタCF2の赤色画素)の出力に含まれる赤色光に基づく信号とIR光に基づく信号との割合を導出できる。つまり、映像信号処理部7Aは、Rch(カラーフィルタCF2の赤色画素)の出力に含まれる赤色光に基づく信号とIR光に基づく信号とを高精度に分離できる。なお、映像信号処理部7Aでの演算処理は上述した演算に限定されない。映像信号処理部7Aは、分光プリズムの分光特性およびカラーセンサとしてのイメージセンサの各画素の感度特性に応じて、適した信号処理を行えばよい。
【0060】
図8は、実施の形態1に係る映像信号処理部7の第3構成例を示すブロック図である。図8に示す映像信号処理部71Bは、色情報分離処理部72Bと、波長分離演算処理部73Bとを含む構成である。
【0061】
色情報分離処理部72Bは、第2センサ出力信号WS2を入力し、入力された第2センサ出力信号WS2を、カラーフィルタCF2を構成する各色の画素出力に相当する色情報(具体的には、青色(B)、緑色(G)、赤色(R))ごとの信号に分離処理して波長分離演算処理部73Bに送る。つまり、色情報分離処理部72Bは、第2センサ出力信号WS2のうち赤色画素(Rch)の出力に対応する信号(赤色光およびIR光が混じった光に基づく信号)と、第2センサ出力信号WS2のうち緑色画素(Gch)の出力に対応する信号(緑色光とIR光とが混じった光に基づく信号)と、第2センサ出力信号WS2のうち青色画素(Bch)の出力に対応する信号(IR光のみに基づく信号)とに分離する。
【0062】
波長分離演算処理部73Bは、色情報分離処理部72Bからの各画素の出力に基づく信号を入力し、上述した「赤色光に基づく信号=Rch(カラーフィルタCF2の赤色画素)の出力に基づく信号+Gch(カラーフィルタCF2の緑色画素)の出力に基づく信号-2*Bch(カラーフィルタCF2の青色画素)の出力に基づく信号」の演算を行うことで、Rch(カラーフィルタCF2の赤色画素)の出力に含まれる赤色光に基づく信号とIR光に基づく信号とを分離する。波長分離演算処理部73Bあるいは映像信号処理部71Bは、分離により得られた赤色光に基づく信号に公知のカメラ信号処理を施して赤色映像信号であるR映像信号RV2を生成して出力し、さらに、分離により得られたIR光に基づく信号に公知のカメラ信号処理を施してIR映像信号IRV2を生成して出力する。
【0063】
また、映像信号処理部71Bは、第1センサ出力信号WS1を入力し、入力された第1センサ出力信号WS1に公知のカメラ信号処理を施して青色映像信号であるB映像信号WSV1を生成して出力する。同様に、映像信号処理部71Bは、第3センサ出力信号WS3を入力し、入力された第3センサ出力信号WS3に公知のカメラ信号処理を施して緑色映像信号であるG映像信号WSV3を生成して出力する。このように、映像信号処理部71Bは、分離処理により得られたIR映像信号IRV1、B映像信号WSV1、分離処理により得られたR映像信号RV2、G映像信号WSV3からなる複数波長映像信号OPT1をモニタMN1等に出力する。
【0064】
以上により、実施の形態1の変形例に係る3板式カメラ100Aでは、カラーフィルタCF2は、第2イメージセンサ(例えばイメージセンサ4b)に対応して配置される。第2プリズム(例えばRプリズム32)は、第2波長帯光である赤色光およびIR光を分光する特性を有する。映像信号処理部7Aは、第2イメージセンサからの撮像出力信号に基づいて、カラーフィルタCF2を透して第2イメージセンサに入射する赤色光に対応するR映像信号RV2とカラーフィルタCF2を透して第2イメージセンサに入射するIR光に対応するIR映像信号IRV2とを分離して生成する。これにより、3板式カメラ100Aは、赤色光およびIR光に高い感度を有するRプリズム32を有する分光プリズム3Aが使用された場合、イメージセンサ5bからの第2センサ出力信号からIR光に基づく信号と赤色光に基づく信号とを高精度に分離でき、赤色光に関する映像の情報とIR光に関する映像の情報とを同時に得ることができる。
【0065】
また、第1プリズム(例えばBプリズム31)は、第1波長帯光である青色光を分光する特性を有する。第3プリズム(例えばGプリズム33)は、第3波長帯光である緑色光を分光する特性を有する。映像信号処理部7Bは、第1イメージセンサ(例えばイメージセンサ5a)からの撮像出力信号に基づいて、第1イメージセンサに入射する青色光に対応するB映像信号WSV1を生成し、さらに、第3イメージセンサ(例えばイメージセンサ5c)からの撮像出力信号に基づいて、第3イメージセンサに入射する緑色光に対応するG映像信号WSV3を生成する。これにより、3板式カメラ100Aは、IR映像信号IRV1、R映像信号RV2、B映像信号WSV1、G映像信号WSV3を高精度に得ることができ、実施の形態1に係る3板式カメラ100と同様に色再現性の高い映像信号をモニタMN1等に出力できる。
【0066】
(実施の形態2)
実施の形態2では、実施の形態1およびその変形例とは異なり、全てのイメージセンサ5a,5b,5cのそれぞれにカラーフィルタCF1,CF2,CF3が設けられ、映像信号処理部7Bが第1センサ出力信号、第2センサ出力信号および第3センサ出力信号のそれぞれを対象として色分離処理および波長分離の各処理を同様に実行する例を説明する。
【0067】
図9は、実施の形態2に係る3板式カメラ100Bの内部構成例を示すブロック図である。図9に示す3板式カメラ100Bは、レンズ1と、分光プリズム3と、イメージセンサ5aB,5bB,5cBと、映像信号処理部7Bとを含む構成である。映像信号処理部7Bの詳細な構成については図12図15のそれぞれを参照して後述する。図9の説明において、図1あるいは図6の構成要素と同一のものには同一の符号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。なお、3板式カメラ100Bにおいて、Bプリズム31にIR光の高い感度を有する分光プリズム3の代わりに、Rプリズム32にIR光の高い感度を有する分光プリズム3A(図6参照)が設けられてもよい。
【0068】
イメージセンサ5aB(第1イメージセンサの一例)は、例えば可視光の撮像に適する複数の画素(例えば赤/緑/緑/青の4画素を基準とした公知のベイヤ画素)が配列されたカラーフィルタCF1を有する、CCDまたはCMOSにより構成される。イメージセンサ5aは、Bプリズム31と対向するように配置される(図2参照)。イメージセンサ5aは、Bプリズム31からの光を入射して観察部位の光学像を電気信号に変換するための撮像処理を行い、この撮像処理により得られた観察部位の撮像出力信号である第1センサ出力信号WS1を生成して映像信号処理部7Bに送る。
【0069】
イメージセンサ5bB(第2イメージセンサの一例)は、例えば可視光の撮像に適する複数の画素(例えば赤/緑/緑/青の4画素を基準とした公知のベイヤ画素)が配列されたカラーフィルタCF2を有する、CCDまたはCMOSにより構成される。イメージセンサ5bは、Rプリズム32と対向するように配置される(図2参照)。イメージセンサ5bは、Rプリズム32からの光を入射して観察部位の光学像を電気信号に変換するための撮像処理を行い、この撮像処理により得られた観察部位の撮像出力信号である第2センサ出力信号WS2を生成して映像信号処理部7Bに送る。
【0070】
イメージセンサ5cB(第3イメージセンサの一例)は、例えば可視光の撮像に適する複数の画素(例えば赤/緑/緑/青の4画素を基準とした公知のベイヤ画素)が配列されたカラーフィルタCF3を有する、CCDまたはCMOSにより構成される。イメージセンサ5cは、Gプリズム33と対向するように配置される(図2参照)。イメージセンサ5cは、Gプリズム33からの光を入射して観察部位の光学像を電気信号に変換するための撮像処理を行い、この撮像処理により得られた観察部位の撮像出力信号である第3センサ出力信号WS3を生成して映像信号処理部7Bに送る。
【0071】
映像信号処理部7Bは、例えばDSP、ISPあるいはFPGA等のプロセッサにより構成される。映像信号処理部7Bは、イメージセンサ5aBからの第1センサ出力信号WS1、イメージセンサ5bBからの第2センサ出力信号WS2およびイメージセンサ5cBからの第3センサ出力信号WS3に基づいて、観察部位の映像信号である複数波長映像信号OPT1を生成してモニタMN1に出力する。複数波長映像信号OPT1は、例えば映像信号処理部7Bによって第1センサ出力信号WS1、第2センサ出力信号WS2および第3センサ出力信号WS3のそれぞれごとに分離生成される各種の色に対応する波長帯の映像信号に基づいて合成処理されて生成される映像信号である。
【0072】
図10Aは、Bプリズム31により分光されてカラーフィルタCF1を透した光の分光感度の特性例を示すグラフである。図10Bは、Gプリズム33を透過してカラーフィルタCF3を透した光の分光感度の特性例を示すグラフである。図10Cは、Rプリズム32により分光されてカラーフィルタCF2を透した光の分光感度の特性例を示すグラフである。図11は、人間の眼の分光特性例を示すグラフである。図10A図10Cの横軸は波長[nm]であり、図10A図10Cの縦軸は分光感度である。図11の横軸は波長[nm]であり、図11の縦軸は相対感度である。
【0073】
図10Aの分光感度の特性は、図3Cの分光感度の特性と同一である。つまり、図10Aの分光感度は、例えば図3Bに示されるセンサ感度の最大値(例えば波長520[nm]に対応するセンサ感度の値)を1.0とし、分光プリズム3のBプリズム31による対応する波長ごとの分光透過率(図3A参照)とセンサ感度とを乗算した値として示されている。つまり、カラーフィルタCF1を透過してイメージセンサ5aBに入射する光は、図10Aの分光感度の特性にしたがって分布する。赤色画素の感度特性R3によると、IR光(つまり、750~1000[nm]の波長を有する光)のみで全体で感度が高いが、特に短波長側(例えば750~800[nm]の波長を有する近赤外光)の感度が他の感度特性B3,G3に比べて高いことが分かった(範囲V3,V4参照)。緑色画素の感度特性G3によると、青色光(つまり、400~500[nm]の波長を有する光)の長波長側(つまり水色光)の感度が高く(範囲V2参照)、IR光(例えば750~1000[nm]の波長を有する光)の短波長側(例えば750~800[nm]の波長を有する近赤外光)の感度が赤色画素の感度特性R3に比べて低いことが分かった。青色画素の感度特性B3によると、青色光(つまり、400~500[nm]の波長を有する光)の全体で感度が高く(範囲V1,V2参照)、IR光(例えば750~1000[nm]の波長を有する光)の短波長側(例えば750~800[nm]の波長を有する近赤外光)の感度が赤色画素の感度特性R3に比べて低いことが分かった。したがって、映像信号処理部7Bは、第1センサ出力信号WS1と図10Aの分光感度の特性とに基づいて、第1センサ出力信号WS1からK(K:2以上の整数、ここではK=4)個の映像信号(例えば、範囲V1の波長帯を有する信号と範囲V2の波長帯を有する信号と範囲V3の波長帯を有する信号と範囲V4の波長帯を有する信号)を分離生成できる。
【0074】
図10Bの分光感度は、例えば図3Bに示されるセンサ感度の最大値(例えば波長520[nm]に対応するセンサ感度の値)を1.0とし、分光プリズム3のGプリズム33による対応する波長ごとの分光透過率(図3A参照)とセンサ感度とを乗算した値として示されている。つまり、カラーフィルタCF3を透過してイメージセンサ5cBに入射する光は、図10Bの分光感度の特性にしたがって分布する。分光プリズム3のGプリズム33により分光されてカラーフィルタCF3を透過した光の分光感度(つまりイメージセンサ5cのセンサ感度)は、青色画素の感度特性B4と、緑色画素の感度特性G4と、赤色画素の感度特性R4とにより示される。赤色画素の感度特性R4によると、緑色光(つまり、500~600[nm]の波長を有する光)の長波長側の感度が高いことが分かった(範囲V7参照)。青色画素の感度特性B4によると、緑色光(つまり、500~600[nm]の波長を有する光)の短波長側(つまり水色光)の感度が高いことが分かった(範囲V5参照)。緑色画素の感度特性G4によると、緑色光から橙色光(つまり、500~580[nm]の波長を有する光)の全体で感度が高いが、特に中央部分に相当する530~570[nm]の波長を有する緑色光の感度が高いことが分かった(範囲V6参照)。したがって、映像信号処理部7Bは、第3センサ出力信号WS3と図10Bの分光感度の特性とに基づいて、第3センサ出力信号WS3からM(M:2以上の整数、ここではM=3)個の映像信号(例えば、範囲V5の波長帯を有する信号と範囲V6の波長帯を有する信号と範囲V7の波長帯を有する信号)を分離生成できる。
【0075】
図10Cの分光感度は、例えば図3Bに示されるセンサ感度の最大値(例えば波長520[nm]に対応するセンサ感度の値)を1.0とし、分光プリズム3のRプリズム32による対応する波長ごとの分光透過率(図3A参照)とセンサ感度とを乗算した値として示されている。つまり、カラーフィルタCF2を透過してイメージセンサ5bBに入射する光は、図10Cの分光感度の特性にしたがって分布する。分光プリズム3のRプリズム32により分光されてカラーフィルタCF2を透過した光の分光感度(つまりイメージセンサ5bのセンサ感度)は、青色画素の感度特性B5と、緑色画素の感度特性G5と、赤色画素の感度特性R5とにより示される。赤色画素の感度特性R5によると、橙色光から赤色光(つまり、580~750[nm]の波長を有する光)の全体で感度が高いことが分かった。緑色画素の感度特性G5によると、橙色光から赤色光(つまり、580~750[nm]の波長を有する光)の全体で感度が高いが、特に短波長側(つまり橙色光)の感度が高いことが分かった(範囲V8参照)。青色画素の感度特性B5によると、橙色光から赤色光(つまり、580~750[nm]の波長を有する光)の全体で感度が低いことが分かった(範囲V9参照)。したがって、映像信号処理部7Bは、第2センサ出力信号WS2と図10Cの分光感度の特性とに基づいて、第2センサ出力信号WS2からL(L:2以上の整数、ここではL=2)個の映像信号(例えば、範囲V8の波長帯を有する信号と範囲V9の波長帯を有する信号)を分離生成できる。
【0076】
したがって、実施の形態2に係る3板式カメラ100Bは、分光プリズム3の3チャンネル(つまり3つのプリズムであるBプリズム31、Rプリズム32、Gプリズム33)とカラーフィルタCF1,CF2,CF3が設けられたイメージセンサ5aB,5bB,5cBとを有する構成により、範囲V1~V9の9つの波長帯を有する信号を分離生成できる。これにより、3板式カメラ100Bは、簡易的な構成でありながらマルチスペクトルカメラとして機能できる。また、3板式カメラ100Bは、分光プリズム3およびイメージセンサ5aB,5bB,5cBにより可視光から近赤外光の波長の光を範囲V1~V9の9個の帯域に分離することができ、それぞれの帯域の相対感度を独立に補正することができるので、図11に示される人間の眼の分光特性(つまり、青色感度特性B6、緑色感度特性G6、赤色感度特性R6)に近い分光特性を実現可能であり、高い色再現性を有する映像信号を生成できる。
【0077】
なお、上述した実施の形態では、範囲V1~V9の9つの各帯域に分離したが、各帯域の波長は分光プリズムの分光特性およびイメージセンサのカラーフィルタの分光特性によって変わる。また、分離される帯域数は必ずしも9つに限定されない。
【0078】
図12は、実施の形態2に係る映像信号処理部7Bの第1構成例を示すブロック図である。図12に示す映像信号処理部71Cは、色情報分離処理部72,72C1,72C2と、波長分離演算処理部73Cとを含む構成である。図12の説明において、図4に示す構成要素と同一のものには同一の符号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。
【0079】
色情報分離処理部72C1は、第2センサ出力信号WS2を入力し、入力された第2センサ出力信号WS2を、カラーフィルタCF2を構成する各色の画素出力に相当する色情報(具体的には、青色(B)、緑色(G)、赤色(R))ごとの信号に分離処理して波長分離演算処理部73Cに送る。つまり、色情報分離処理部72C1は、第2センサ出力信号WS2のうち青色画素(Bch)の出力に対応する信号(図10Cの感度特性B5参照)と、第2センサ出力信号WS2のうち緑色画素(Gch)の出力に対応する信号(図10Cの感度特性G5参照)と、第2センサ出力信号WS2のうち赤色画素(Rch)の出力に対応する信号(図10Cの感度特性R5参照)とに分離する。
【0080】
色情報分離処理部72C2は、第3センサ出力信号WS3を入力し、入力された第3センサ出力信号WS3を、カラーフィルタCF3を構成する各色の画素出力に相当する色情報(具体的には、青色(B)、緑色(G)、赤色(R))ごとの信号に分離処理して波長分離演算処理部73Cに送る。つまり、色情報分離処理部72C2は、第3センサ出力信号WS3のうち青色画素(Bch)の出力に対応する信号(図10Bの感度特性B4参照)と、第3センサ出力信号WS3のうち緑色画素(Gch)の出力に対応する信号(図10Bの感度特性G4参照)と、第3センサ出力信号WS3のうち赤色画素(Rch)の出力に対応する信号(図10Bの感度特性R4参照)とに分離する。
【0081】
波長分離演算処理部73Cは、色情報分離処理部72,72C1,72C2からの各画素の出力に基づく信号を用いて、図10A図10Cで説明した各波長帯を有する信号(範囲V1~V9の各波長帯を有する信号)を分離するとともに、分離された後のそれぞれの信号に公知のカメラ信号処理を施して対応する映像信号(つまり、第1波長映像信号WSVV1、第2波長映像信号WSVV2、第3波長映像信号WSVV3、…、第N波長映像信号WSVVN)を生成する。波長分離演算処理部73Cは、分離により得られた範囲V1~V9のそれぞれの映像信号(第1波長映像信号WSVV1、第2波長映像信号WSVV2、第3波長映像信号WSVV3、…、第N波長映像信号WSVVN)をモニタMN1等に出力する。なお、Nは、分離可能な信号の数を示す整数であり、Nは3以上であれば常に9でなくてもよい。このように、映像信号処理部71Cは、波長分離演算処理部73Cにより生成された第1波長映像信号WSVV1、第2波長映像信号WSVV2、第3波長映像信号WSVV3、…、第N波長映像信号WSVVNからなる複数波長映像信号OPT1をモニタMN1等に出力する。
【0082】
図13は、実施の形態2に係る映像信号処理部7Bの第2構成例を示すブロック図である。図13に示す映像信号処理部71Dは、色情報分離処理部72,72C1,72C2と、高色再現可視映像生成部76とを含む構成である。図13の説明において、図4または図12に示す構成要素と同一のものには同一の符号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。
【0083】
高色再現可視映像生成部76は、色情報分離処理部72,72C1,72C2からの各画素の出力に基づく信号を用いて、図10A図10Cで説明した各波長帯を有する信号(範囲V1~V9の各波長帯を有する信号)を分離するとともに、分離された後のそれぞれの信号に公知のカメラ信号処理を施して対応する映像信号(つまり、第1波長映像信号WSVV1、第2波長映像信号WSVV2、第3波長映像信号WSVV3、…、第N波長映像信号WSVVN)を生成する。さらに、高色再現可視映像生成部76は、分離により得られた範囲V1~V9のそれぞれの映像信号(第1波長映像信号WSVV1、第2波長映像信号WSVV2、第3波長映像信号WSVV3、…、第N波長映像信号WSVVN)を組み合わせて高い色再現性を有する高色再現可視映像信号HCRP1を生成してモニタMN1等に出力する。このように、映像信号処理部71Cは、高色再現可視映像生成部76により生成された高色再現可視映像信号HCRP1からなる複数波長映像信号OPT1をモニタMN1等に出力する。
【0084】
図14は、実施の形態2に係る映像信号処理部7Bの第3構成例を示すブロック図である。図14に示す映像信号処理部71Eは、色情報分離処理部72,72C1,72C2と、波長分離演算処理部73Eと、高色再現可視映像生成部76とを含む構成である。図14の説明において、図4図12または図13に示す構成要素と同一のものには同一の符号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。
【0085】
波長分離演算処理部73Eは、実施の形態1に係る波長分離演算処理部73と同様に、色情報分離処理部72からの各画素の出力に基づく信号を入力し、実施の形態1で説明した「青色光に基づく信号=Bch(カラーフィルタCF1の青色画素)の出力に基づく信号+Gch(カラーフィルタCF1の緑色画素)の出力に基づく信号-2*Rch(カラーフィルタCF1の赤色画素)の出力に基づく信号」の演算を行うことで、Bch(カラーフィルタCF1の青色画素)の出力に含まれる青色光に基づく信号とIR光に基づく信号とを分離する。波長分離演算処理部73Eあるいは映像信号処理部71Eは、分離により得られたIR光に基づく信号に公知のカメラ信号処理を施してIR映像信号IRVV1を生成してモニタMN1等に出力する。このように、映像信号処理部71Eは、高色再現可視映像信号HCRP1、IR映像信号IRVV1からなる複数波長映像信号OPT1をモニタMN1等に出力する。
【0086】
図15は、実施の形態2に係る映像信号処理部7Bの第4構成例を示すブロック図である。図15に示す映像信号処理部71Fは、色情報分離処理部72,72C1,72C2と、波長分離演算処理部73Fと、高色再現可視映像生成部76Fとを含む構成である。図15の説明において、図4図12図13または図14に示す構成要素と同一のものには同一の符号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。
【0087】
波長分離演算処理部73Fは、実施の形態1の変形例に係る波長分離演算処理部73Bと同様に、色情報分離処理部72C1からの各画素の出力に基づく信号を入力し、実施の形態1で説明した「赤色光に基づく信号=Rch(カラーフィルタCF2の赤色画素)の出力に基づく信号+Gch(カラーフィルタCF2の緑色画素)の出力に基づく信号-2*Bch(カラーフィルタCF2の青色画素)の出力に基づく信号」の演算を行うことで、Rch(カラーフィルタCF2の赤色画素)の出力に含まれる赤色光に基づく信号とIR光に基づく信号とを分離する。波長分離演算処理部73Fあるいは映像信号処理部71Fは、分離により得られたIR光に基づく信号に公知のカメラ信号処理を施してIR映像信号IRVV2を生成してモニタMN1等に出力する。
【0088】
高色再現可視映像生成部76Fは、色情報分離処理部72,72C1,72C2からの各画素の出力に基づく信号を用いて、図10A図10Cで説明した各波長帯と同等の各波長帯を有する信号を分離するとともに、分離された後のそれぞれの信号に公知のカメラ信号処理を施して対応する映像信号(つまり、第1波長映像信号、第2波長映像信号、第3波長映像信号、…、第N波長映像信号)を生成する。さらに、高色再現可視映像生成部76Fは、分離により得られた各波長帯の範囲のそれぞれの映像信号(第1波長映像信号、第2波長映像信号、第3波長映像信号、…、第N波長映像信号)を組み合わせて高い色再現性を有する高色再現可視映像信号HCRP2を生成してモニタMN1等に出力する。このように、映像信号処理部71Fは、高色再現可視映像信号HCRP2、IR映像信号IRVV2からなる複数波長映像信号OPT1をモニタMN1等に出力する。
【0089】
図16は、3板式カメラ100,100A,100Bにより生成された複数波長映像信号OPT1のモニタMN1での表示例を示す図である。図16に示す複数波長映像信号OPT1は、例えば被検体である患者AFP1の観察部位(例えば蛍光試薬であるICGが堆積した患部の周囲)での撮像に基づいて生成されてモニタMN1に表示されている。図16では、手術あるいは検査の前に予め患者体内の患部に投与されたICGの蛍光試薬が発光し、複数波長映像信号OPT1ではその箇所(例えば患部FL1)が分かるように示されている。このように、3板式カメラ100,100A,100Bは、例えば手術あるいは検査時に、医師等のユーザによる観察部位の詳細を把握可能な鮮明な複数波長映像信号OPT1を生成してモニタMN1に表示できる。
【0090】
以上により、実施の形態2に係る3板式カメラ100Bでは、第1イメージセンサ(例えばイメージセンサ5a)は、第1プリズム(例えばBプリズム31)からの光を入射する第1カラーフィルタ(例えばカラーフィルタCF1)を有し、第1カラーフィルタを透過した光に基づいて観察部位を撮像する。第2イメージセンサ(例えばイメージセンサ5b)は、第2プリズム(例えばRプリズム32)からの光を入射する第2カラーフィルタ(例えばカラーフィルタCF2)を有し、第2カラーフィルタを透過した光に基づいて観察部位を撮像する。第3イメージセンサ(例えばイメージセンサ5c)は、第3プリズム(例えばGプリズム33)からの光を入射する第3カラーフィルタ(例えばカラーフィルタCF3)を有し、第3カラーフィルタを透過した光に基づいて観察部位を撮像する。
【0091】
これにより、3板式カメラ100Bは、イメージセンサ5a,5b,5cのそれぞれにカラーフィルタCF1,CF2,CF3が配置されることで、複数の異なる波長帯のそれぞれを有する映像信号を生成できるので、簡易的な構成でありながらマルチスペクトルカメラとして機能でき、さらに、高い色再現性を有する映像信号を生成できる。
【0092】
また、映像信号処理部7Bは、第1イメージセンサ(例えばイメージセンサ5a)からの撮像出力信号に基づいて、第1波長帯光(例えば青色光およびIR光)の波長帯をK(K:2以上の整数であり、例えばK=4)分割した各波長帯の光に基づくK個の第1波長映像信号(例えば、第1波長映像信号(例えば範囲V1参照)、第2波長映像信号(例えば範囲V2参照)、第3波長映像信号(例えば範囲V3参照)および第4波長映像信号(例えば範囲V4参照))を生成する。映像信号処理部7Bは、第2イメージセンサ(例えばイメージセンサ5b)からの撮像出力信号に基づいて、第2波長帯光(例えば赤色光)の波長帯をL(L:2以上の整数であり、例えばL=2)分割した各波長帯の光に基づくL個の第2波長映像信号(例えば、第5波長映像信号(例えば範囲V8参照)および第6波長映像信号(例えば範囲V9参照))を生成する。映像信号処理部7Bは、第3イメージセンサ(例えばイメージセンサ5c)からの撮像出力信号に基づいて、第3波長帯光(例えば緑色光)の波長帯をM(M:2以上の整数であり、例えばM=3)分割した各波長帯の光に基づくM個の第3波長映像信号(例えば、第7波長映像信号(例えば範囲V5参照)、第8波長映像信号(例えば範囲V6参照)および第9波長映像信号(例えば範囲V7参照))を生成する。これにより、3板式カメラ100Bは、例えば9種類の異なる波長帯を有する光のそれぞれに対応する映像信号を混色を抑えて生成できるので、高性能なマルチスペクトルカメラとして動作できる。
【0093】
また、映像信号処理部7Bは、K個の第1波長映像信号(例えば、第1波長映像信号(例えば範囲V1参照)、第2波長映像信号(例えば範囲V2参照)、第3波長映像信号(例えば範囲V3参照)、第4波長映像信号(例えば範囲V4参照))、L個の第2波長映像信号(例えば、第5波長映像信号(例えば範囲V5参照)、第6波長映像信号(例えば範囲V6参照))、M個の第3波長映像信号(例えば、第7波長映像信号(例えば範囲V7参照)、第8波長映像信号(例えば範囲V8参照)および第9波長映像信号(例えば範囲V9参照))に基づいて、RGB形式の可視映像信号を生成する。これにより、3板式カメラ100Bは、9種類の異なる波長帯を有する光のそれぞれに対応する映像信号を用いて、高い色再現性を有する可視映像信号を生成出力できる。
【0094】
また、映像信号処理部7Bは、K個の第1波長映像信号(例えば、第1波長映像信号(例えば範囲V1参照)、第2波長映像信号(例えば範囲V2参照)、第3波長映像信号(例えば範囲V3参照)、第4波長映像信号(例えば範囲V4参照))、L個の第2波長映像信号(例えば、第5波長映像信号(例えば範囲V5参照)、第6波長映像信号(例えば範囲V6参照))、M個の第3波長映像信号(例えば、第7波長映像信号(例えば範囲V7参照)、第8波長映像信号(例えば範囲V8参照)および第9波長映像信号(例えば範囲V9参照))に基づいて、RGB形式の可視映像信号とIR映像信号とを生成する。これにより、3板式カメラ100Bは、最大で9種類の異なる波長帯を有する光のそれぞれに対応する映像信号を用いて、高い色再現性を有する可視映像信号と白黒の鮮明なIR映像信号との両方を生成出力できる。
【0095】
以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。
【産業上の利用可能性】
【0096】
本開示は、サイズアップおよびコストアップすることなく、対象物からの光に含まれる可視光およびIR光の分離を高精度に行い、対象物内の鮮明な映像の出力を支援する3板式カメラとして有用である。
【符号の説明】
【0097】
1 レンズ
3 分光プリズム
5a、5aA、5b、5bA、5c イメージセンサ
7、7A、71、71A、71B、71C、71D、71E、71F 映像信号処理部
31 Bプリズム
31a、32a、33a 入射面
31b、32b 反射面
31c、32c、33c 出射面
32 Rプリズム
33 Gプリズム
72、72B、72C1、72C2 色情報分離処理部
73、73B、73C、73E、73F 波長分離演算処理部
74 IR映像信号処理部
75 可視映像信号処理部
76、76F 高色再現可視映像生成部
77 可視映像・IR映像重畳処理部
100、100A、100B 3板式カメラ
DYM1、DYM2 ダイクロイックミラー
MN1 モニタ
図1
図2
図3A
図3B
図3C
図4
図5
図6
図7
図8
図9
図10A
図10B
図10C
図11
図12
図13
図14
図15
図16