(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-07
(45)【発行日】2024-10-16
(54)【発明の名称】投影装置
(51)【国際特許分類】
G01N 21/27 20060101AFI20241008BHJP
G03B 21/14 20060101ALI20241008BHJP
【FI】
G01N21/27 Z
G03B21/14 D
(21)【出願番号】P 2021002923
(22)【出願日】2021-01-12
【審査請求日】2023-12-25
(73)【特許権者】
【識別番号】320008672
【氏名又は名称】i-PRO株式会社
(74)【代理人】
【識別番号】110002000
【氏名又は名称】弁理士法人栄光事務所
(72)【発明者】
【氏名】和田 穣二
(72)【発明者】
【氏名】橋本 洋太
(72)【発明者】
【氏名】和智 隼
(72)【発明者】
【氏名】宮西 哲
【審査官】井上 徹
(56)【参考文献】
【文献】特開2016-007397(JP,A)
【文献】特開2019-136269(JP,A)
【文献】国際公開第2020/261741(WO,A1)
【文献】特開2003-270129(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01N 21/00-21/01
G01N 21/17-21/74
A61B 1/00- 1/32
A61B 10/00
G01J 3/00- 4/04
G01J 7/00- 9/04
G02B 5/00- 5/136
G03B 21/00-21/64
G09G 5/00
JSTPlus/JMEDPlus/JST7580(JDreamIII)
(57)【特許請求の範囲】
【請求項1】
可視光と近赤外光とを含む光である観察部位からの光が入射するレンズと、
前記レンズを透して受光された光に基づいて、前記観察部位の画像を撮像する撮像部と、
前記撮像部により撮像された前記観察部位の画像に基づいて、前記観察部位への投影画像を生成する投影部と、
前記レンズより前記観察部位側とは反対側に配置される分光プリズムと、を備え、
前記レンズは、前記投影部からの前記投影画像の光を、前記観察部位からの光が入射する方向と逆方向であって、かつ前記観察部位からの光の入射軸と同軸である投光軸に沿って投光
し、
前記分光プリズムは、前記レンズを介して入射する前記観察部位からの光のうち前記近赤外光を反射して前記可視光を透過する第1面と、前記第1面とは異なり、かつ可視光である前記投影部からの前記投影画像の光を前記投光軸に向けて反射して前記レンズに投光する第2面と、を有する、
投影装置。
【請求項2】
前記撮像部は、前記近赤外光に基づいて前記観察部位の近赤外画像を撮像する第1撮像部と、前記可視光に基づいて前記観察部位の可視画像を撮像する第2撮像部と、を有し、
前記投影部は、前記観察部位の近赤外画像と前記観察部位の可視画像とに基づいて前記投影画像を生成し、前記分光プリズムおよび前記レンズを介して前記投影画像を前記観察部位に投影する、
請求項
1に記載の投影装置。
【請求項3】
前記投影部は、前記投影画像の青色光を、前記レンズを介して前記観察部位に投影する、
請求項
2に記載の投影装置。
【請求項4】
前記撮像部により撮像された前記観察部位の少なくとも第1画像および第2画像に基づいて、前記観察部位の対象物を分析する信号処理部、をさらに備え、
前記投影部は、前記対象物の分析結果を示す前記投影画像を生成する、
請求項1に記載の投影装置。
【請求項5】
前記撮像部により撮像された前記観察部位の画像に基づいて、前記観察部位の対象物の良否を分析する信号処理部、をさらに備え、
前記投影部は、前記対象物の良否を分析するための基準画像を前記観察部位に予め投影し、
前記撮像部は、前記投影部により投影された前記基準画像を含む前記観察部位の画像を撮像し、
前記信号処理部は、前記撮像部により撮像された前記基準画像を含む前記観察部位の画像に基づいて、前記対象物の良否を分析し、
前記投影部は、前記対象物の良否の分析結果を示す前記投影画像を生成する、
請求項1に記載の投影装置。
【請求項6】
前記分光プリズムは、前記第1面において前記観察部位の光のうち近赤外光を反射しかつ前記観察部位の光のうち可視光と同じ波長帯域を有する第1偏光を透過し、
前記撮像部は、前記近赤外光に基づいて前記観察部位の近赤外画像を撮像する第1撮像部と、前記第1偏光に基づいて前記観察部位の可視画像を撮像する第2撮像部と、を有し、
前記投影部は、前記観察部位の近赤外画像と前記観察部位の可視画像とに基づいて、前記投影画像を生成し、可視光と同じ波長帯域を有する第2偏光により前記分光プリズムおよび前記レンズを介して前記投影画像を投影する、
請求項
1に記載の投影装置。
【請求項7】
蛍光試薬が予め投与された前記観察部位に所定の波長帯域を有する励起光を照射する照明部、をさらに備え、
前記分光プリズムは、前記励起光に基づいて前記蛍光試薬が発光した光である蛍光を前記第1面において反射し、
前記第1撮像部は、前記分光プリズムを介して前記蛍光を受光して前記観察部位の近赤外画像を撮像し、
前記投影部は、前記観察部位の近赤外画像に基づいて、前記蛍光試薬の発光箇所を教示するための前記投影画像を生成する、
請求項
2に記載の投影装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、投影装置に関する。
【背景技術】
【0002】
近年、手術あるいは検査時に、被検体内に蛍光試薬としてICG(インドシアニングリーン)が投与され、励起光の照射等によりICGを励起させ、ICGが発する近赤外の蛍光像を被写体像とともに撮像し、観察することにより診断を行う方法が注目されている。例えば特許文献1に開示されている光学イメージングシステムは、サイト(例えば患者が手術される場所)の画像とプロジェクタから投影される画像とを撮像する電子イメージングデバイスと、手術中にサイト上で撮像される画像が目に見えるように表現した物を投影するプロジェクタと、電子イメージングデバイスとプロジェクタとの各光軸を一直線状に整列する光学要素とを含む。
【先行技術文献】
【特許文献】
【0003】
【文献】米国特許出願公開第2008/0004533号明細書
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1の構成では、光学イメージングシステムを構成する電子イメージングデバイス(例えばカメラ)とプロジェクタとがそれぞれ別体で異なる位置に配置され、電子イメージングデバイスおよびプロジェクタのそれぞれが異なるレンズを有する構成となっている。このため、電子イメージングデバイスが撮像する時の光軸およびプロジェクタが投影する時の光軸を個別に一直線状に調整するために煩雑な作業が要求されるだけでなく、システムの小型化の実現が困難であった。つまり、被写体(例えば患者)の撮像時および投影時の各光軸の調整とともに全体的なシステムの小型化とを実現する上で改善の余地があった。
【0005】
本開示は、上述した従来の事情に鑑みて案出され、被写体の撮像時および投影時の各光軸の調整の煩雑化を抑制するとともに、全体的なシステムの小型化および軽量化を実現する投影装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示は、可視光と近赤外光とを含む光である観察部位からの光が入射するレンズと、前記レンズを透して受光された光に基づいて、前記観察部位の画像を撮像する撮像部と、前記撮像部により撮像された前記観察部位の画像に基づいて、前記観察部位への投影画像を生成する投影部と、前記レンズより前記観察部位側とは反対側に配置される分光プリズムと、を備え、前記レンズは、前記投影部からの前記投影画像の光を、前記観察部位からの光が入射する方向と逆方向であって、かつ前記観察部位からの光の入射軸と同軸である投光軸に沿って投光し、前記分光プリズムは、前記レンズを介して入射する前記観察部位からの光のうち前記近赤外光を反射して前記可視光を透過する第1面と、前記第1面とは異なり、かつ可視光である前記投影部からの前記投影画像の光を前記投光軸に向けて反射して前記レンズに投光する第2面と、を有する、投影装置を提供する。
【発明の効果】
【0007】
本開示によれば、被写体の撮像時および投影時の各光軸の調整の煩雑化を抑制でき、全体的なシステムの小型化および軽量化を実現できる。
【図面の簡単な説明】
【0008】
【
図1】実施の形態1に係る分光プリズムカメラのユースケース例を示す図
【
図2】実施の形態1に係る分光プリズムカメラの内部構成例を示すブロック図
【
図3】実施の形態1に係る分光プリズムカメラの動作概要を示す図
【
図4A】クロスプリズムのA面の反射特性例を示すグラフ
【
図4B】クロスプリズムのB面の反射特性例を示すグラフ
【
図4C】光学フィルタの透過特性の第1例を示すグラフ
【
図4D】光学フィルタの透過特性の第2例を示すグラフ
【
図5】実施の形態1に係る分光プリズムカメラの第1動作手順例を示すフローチャート
【
図6】実施の形態1に係る分光プリズムカメラの第2動作手順例を示すフローチャート
【
図7】実施の形態1に係る分光プリズムカメラの第3動作手順例を示すフローチャート
【
図8】実施の形態2に係る分光プリズムカメラの内部構成例を示すブロック図
【
図9】実施の形態2に係る分光プリズムカメラの動作概要を示す図
【
図10】実施の形態2に係る分光プリズムカメラの第1動作手順例を示すフローチャート
【発明を実施するための形態】
【0009】
以下、適宜図面を参照しながら、本開示に係る投影装置を具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明および実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
【0010】
図1は、実施の形態1に係る分光プリズムカメラ100のユースケース例を示す図である。本開示に係る投影装置の一例としての分光プリズムカメラ100は、例えば看護師等の補助者U2の協力の下で患者PAT1への手術を施している医師U1により装着されて使用され、投影画像(後述参照)の光PJL1を患者PAT1の患部AFP1に投影する。分光プリズムカメラ100は、例えば医師U1の頭部の外周を覆うヘッドバンドHMB1の先端側に取り付けられて固定され、医師U1の頭部の動きに追従するように投影画像を投影するヘッドマウント型の投影装置である。なお、分光プリズムカメラ100のユースケースは、手術中の医師U1に装着されるような医療用途に限定されなくてもよい。
【0011】
(実施の形態1)
図2は、実施の形態1に係る分光プリズムカメラ100の内部構成例を示すブロック図である。分光プリズムカメラ100は、共用レンズLS1と、カメラヘッド部10と、カメラ信号処理部20と、CCU(Camera Control Unit)30と、投影機部40と、カメラ制御部50と、ABF(Auto Back Focus)制御部51と、照明制御部52と、レンズ制御部54と、照明部ILM1とを含む構成である。また、分光プリズムカメラ100は、表示器DP1と有線あるいは無線を介して接続されている。
【0012】
レンズの一例としての共用レンズLS1は、カメラヘッド部10のクロスプリズムCXP1(後述参照)より対物側(言い換えると、観察部位の一例としての患部AFP1側)に取り付けられた光学レンズを含むレンズユニットとして構成される。共用レンズLS1には観察部位からの光(例えば観察部位での反射光)が入射し、共用レンズLS1はその入射した光を集光する。共用レンズLS1により集光された観察部位からの光は、カメラヘッド部10のクロスプリズムCXP1に入射する。
【0013】
また、共用レンズLS1は、カメラヘッド部10のイメージセンサ11,12で受光される光を集光する機能と、投影機部40からの投影画像(後述参照)の光を投光する機能とを有する。つまり、共用レンズLS1は、投影機部40からの投影画像(後述参照)の光を、観察部位からの光が入射する方向と逆方向であって、かつ観察部位からの光の入射軸IMX1(例えば光軸)と同軸である投光軸PJX1に沿って投光する。言い換えると、実施の形態1において、共用レンズLS1は、カメラヘッド部10と投影機部40とで共用されている。
【0014】
カメラヘッド部10は、共用レンズLS1の次に対物側(つまり観察部位側)に配置され、共用レンズLS1を透過した光を分光したり撮像したりする。カメラヘッド部10は、2つの光学面(後述するA面AS1およびB面BS1参照)を有するクロスプリズムCXP1と、光学フィルタOPF1と、イメージセンサ11を含むオートバックフォーカス機構ABF1と、光学フィルタOPF2と、イメージセンサ12を含むオートバックフォーカス機構ABF2と、光学フィルタOPF3とを含む。
【0015】
分光プリズムの一例としてのクロスプリズムCXP1は、光学面としての性質を有するA面AS1およびB面BS1を有し、プリズム固定部材FX1により固定される。クロスプリズムCXP1は、共用レンズLS1により集光された光(つまり観察部位からの光)をB面BS1において反射および透過するとともに、投影機部40から投光された投影画像(後述参照)の光をA面AS1において反射あるいは全反射して共用レンズLS1に投光する。
【0016】
ここで、
図4Aおよび
図4Bを参照して、クロスプリズムCXP1のA面AS1およびB面BS1の光学特性について説明する。
図4Aは、クロスプリズムCXP1のA面AS1の反射特性例を示すグラフである。
図4Bは、クロスプリズムCXP1のB面BS1の反射特性例を示すグラフである。
図4Aおよび
図4Bにおいて、横軸は波長[nm:ナノメートル]、縦軸は反射特性の一例としての反射率を示す。
【0017】
図4Aにおいて、A面AS1は、例えば400±20[nm]の波長を有する青色単色の光(青色光)を高い反射率(例えば70%)で反射する光学的性質を有している。なお、
図4AではA面AS1の青色光の反射率が70%となっているが、100%(つまり全反射可能な反射率)であってもよい。一方で、A面AS1は、例えば830±30[nm]の波長を有する近赤外(IR:Infrared Ray)光をほぼ透過させずに反射させる光学的性質を有している。例えば透過率に関する光学濃度(OD(Optical Density)値)は4から5である。
【0018】
図4Bにおいて、B面BS1は、例えば430~680[nm]の波長を有する可視光を高い反射率(例えば70%)で反射する光学的性質を有している。なお、
図4BではB面BS1の可視光の反射率が70%となっているが、70%に限定されなくてよい。一方で、B面BS1は、例えば830±30[nm]の波長を有する近赤外(IR)光をほぼ透過させずに反射させる光学的性質を有している。例えば透過率に関する光学濃度(OD値)は4から5である。
【0019】
光学フィルタOPF1は、例えば840~900[nm]の波長を有する近赤外(IR)光のみを透過させて他の帯域の波長を有する光を遮断するバンドパスフィルタ(BPF:Band Pass Filter)により構成される。なお、光学フィルタOPF1(バンドパスフィルタ)が透過させる光の波長帯域は840~900[nm]に限定されなくてよい。光学フィルタOPF1は、クロスプリズムのB面BS1により反射された近赤外(IR)光(例えば観察部位により反射された励起光(後述参照)および蛍光(後述参照))のうち840~900[nm]の光(例えば観察部位により反射された蛍光)を透過する。光学フィルタOPF1を透過した近赤外(IR)光はイメージセンサ11により受光される。なお、光学フィルタOPF1は、オートバックフォーカス機構ABF1内に設けられるように配置されてもよいし、オートバックフォーカス機構ABF1とは別体で設けられてもよい。
【0020】
ここで、
図4Cおよび
図4Dを参照して、光学フィルタOPF1の光学特性について説明する。
図4Cは、光学フィルタOPF1の透過特性の第1例を示すグラフである。
図4Dは、光学フィルタOPF1の透過特性の第2例を示すグラフである。
図4Cおよび
図4Dにおいて、横軸は波長[nm:ナノメートル]、縦軸は透過特性の一例としての透過率を示す。
【0021】
図4Cにおいて、光学フィルタOPF1は、例えば840~900[nm]の波長を有する近赤外(IR)光を高い透過率(例えば80%)で透過する光学的性質を有している。これは、例えば患部APF1に手術前に予め投与された蛍光試薬(例えばICG:インドシアニングリーン)が720~820[nm]の励起光に基づいて発光した蛍光の波長帯域が840~900[nm]であることに基づく。なお、
図4Cでは光学フィルタOPF1の840~900[nm]の波長を有する近赤外(IR)光の透過率が80%となっているが、80%に限定されなくてよい。一方で、光学フィルタOPF1は、例えば600~670[nm]の波長を有する可視光をほぼ透過させずに反射させる光学的性質を有している。例えば透過率に関する光学濃度(OD値)は5である。
【0022】
図4Dにおいて、光学フィルタOPF1は、例えば800~860[nm]の波長を有する近赤外(IR)光を高い透過率(例えば80%)で透過する光学的性質を有している。これは、例えば患部APF1に手術前に予め蛍光試薬(例えば720~820[nm]の励起光に基づいて発光した蛍光の波長帯域が800~860[nm]となる蛍光試薬)が投与されていることに基づく。なお、
図4Dでは光学フィルタOPF1の800~860[nm]の波長を有する近赤外(IR)光の透過率が80%となっているが、80%に限定されなくてよい。一方で、光学フィルタOPF1は、例えば600~670[nm]の波長を有する可視光をほぼ透過させずに反射させる光学的性質を有している。例えば透過率に関する光学濃度(OD値)は5である。
【0023】
イメージセンサ11は、例えば近赤外(IR)光の撮像に適した複数の画素が配列されたCCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)を含む。イメージセンサ11は、クロスプリズムCXP1のB面BS1により反射あるいは全反射された近赤外(IR)光が受光し易くなるように、上述した入射軸IMXと直交する撮像軸CAX1と撮像面が直交する状態で配置される。イメージセンサ11は、受光された近赤外(IR)光に基づいて観察部位の近赤外画像(例えばICGの蛍光発光に基づいて患部AFP1の位置を特定可能な蛍光画像)を撮像する。イメージセンサ11は、撮像により得られた観察部位の近赤外画像信号を第1信号処理部21に送る。
【0024】
オートバックフォーカス機構ABF1は、例えば特許第3738777号公報に開示されているような機構により構成され、ABF制御部51からの制御信号に基づいて、イメージセンサ11の撮像面が撮像軸CAX1に直交する状態を維持しながらイメージセンサ11を撮像軸CAX1の方向に移動させることでイメージセンサ11の焦点距離を適宜調整する機能を有している。つまり、オートバックフォーカス機構ABF1によれば、例えばイメージセンサ11に受光される光の波長帯域がカメラ制御部50(後述参照)によって異なる波長帯域に選択される場合でも、異なる波長帯域に伴う光路長の変化があってもイメージセンサ11を撮像軸CAX1の方向に移動可能となることでピントの合う鮮明な近赤外画像を得ることができる。
【0025】
光学フィルタOPF2は、例えば430~680[nm]の波長を有する可視光(但し青色光は少ない)のみを透過させて他の帯域の波長を有する光を遮断するバンドパスフィルタ(BPF)により構成される。つまり、光学フィルタOPF2は赤外光カットフィルタとしての機能を有する。なお、光学フィルタOPF2(バンドパスフィルタ)が透過させる光の波長帯域は430~680[nm]に限定されなくてよい。光学フィルタOPF2は、クロスプリズムのB面BS1を透過した430~680[nm]の波長を有する可視光(但し青色光は少ない)を透過する。光学フィルタOPF2を透過した可視光(但し青色光は少ない)はイメージセンサ12により受光される。なお、光学フィルタOPF2は、オートバックフォーカス機構ABF2内に設けられるように配置されてもよいし、オートバックフォーカス機構ABF2とは別体で設けられてもよい。
【0026】
イメージセンサ12は、例えば可視光の撮像に適した複数の画素が配列されたCCDまたはCMOSを含む。イメージセンサ12は、クロスプリズムCXP1のB面BS1を透過した可視光(但し青色光は少ない)が受光し易くなるように、上述した入射軸IMX1と撮像面が直交する状態で配置される。イメージセンサ12は、受光された可視光(但し青色光は少ない)に基づいて観察部位の可視画像を撮像する。イメージセンサ12は、撮像により得られた観察部位の可視画像信号を第2信号処理部22に送る。なお、イメージセンサ12は、イメージセンサ11と同様に、近赤外(IR)光の撮像に適した複数の画素が配列されたCCDまたはCMOSを含む構成としてもよい。
【0027】
オートバックフォーカス機構ABF2は、例えば特許第3738777号公報に開示されているような機構により構成され、ABF制御部51からの制御信号に基づいて、イメージセンサ12の撮像面が入射軸IMX1に直交する状態を維持しながらイメージセンサ12を入射軸IMX1の方向に移動させることでイメージセンサ12の焦点距離を適宜調整する機能を有している。つまり、オートバックフォーカス機構ABF2によれば、例えばイメージセンサ12に受光される光の波長帯域がカメラ制御部50(後述参照)によって異なる波長帯域に選択される場合でも、異なる波長帯域に伴う光路長の変化があってもイメージセンサ12を入射軸IMX1の方向に移動可能となることでピントの合う鮮明な可視画像を得ることができる。
【0028】
光学フィルタOPF3は、例えば400±20[nm]の波長を有する青色光のみを透過させて他の帯域の波長を有する光を遮断するバンドパスフィルタ(BPF)により構成される。なお、光学フィルタOPF3(バンドパスフィルタ)が透過させる光の波長帯域は400[nm]に限定されなくてよい。光学フィルタOPF3は、投影機部40の画像結像面43(後述参照)により形成された投影画像(後述参照)の光のうち400±20[nm]の青色光を透過する。光学フィルタOPF3を透過した青色光はクロスプリズムCXP1のA面AS1により反射あるいは全反射される。なお、光学フィルタOPF3は、オートバックフォーカス機構ABF3内に設けられるように配置されてもよいし、オートバックフォーカス機構ABF3とは別体で設けられてもよい。
【0029】
カメラ信号処理部20は、カメラヘッド部10での撮像により得られた画像信号を用いて人が認知可能な形式(例えばRGB形式もしくはYUV形式)の撮像画像データを生成する。カメラ信号処理部20は、第1信号処理部21と、第2信号処理部22とを含む。なお、後述するCCU30はカメラ信号処理部20内に含まれる構成としてもよい。
【0030】
第1信号処理部21は、例えばDSP(Digital Signal Processor)あるいはFPGA(Field Programmable Gate Array)等のプロセッサにより構成される。第1信号処理部21は、イメージセンサ11からの画像信号(例えば観察部位の近赤外画像信号)を用いて各種のカメラ信号処理を施して撮像画像データ(例えば観察部位の蛍光画像データ)を生成してCCU30に送る。なお、第1信号処理部21により生成される撮像画像データは、上述した観察部位の近赤外画像データに限定されず、例えば観察部位の可視画像データ、もしくは観察部位の特定波長画像データであってもよい。特定波長画像データは、第1信号処理部21におけるカメラ信号処理によって、予め設定された特定の波長帯域の成分のみ抽出された画像データである。
【0031】
第2信号処理部22は、例えばDSPあるいはFPGA等のプロセッサにより構成される。第2信号処理部22は、イメージセンサ12からの画像信号(例えば観察部位の可視画像信号)を用いて各種のカメラ信号処理を施して撮像画像データ(例えば観察部位の可視画像データ)を生成してCCU30に送る。なお、第2信号処理部22により生成される撮像画像データは、上述した観察部位の可視画像データに限定されず、例えば観察部位の近赤外画像データ(上述参照)、もしくは観察部位の特定波長画像データであってもよい。特定波長画像データは、第2信号処理部22におけるカメラ信号処理によって、予め設定された特定の波長帯域の成分のみ抽出された画像データである。
【0032】
CCU30は、例えばDSPあるいはFPGA等のプロセッサにより構成され、第1信号処理部21および第2信号処理部22のそれぞれからの撮像画像データを用いて各種の画像解析処理(例えば画像間演算もしくは画像合成)を行う。また、CCU30は、前述した画像解析処理によって観察部位あるいは観察部位に置かれている対象物(例えば分析対象の物体)の状態、性質等を分析してもよい。
【0033】
また、CCU30は、第1信号処理部21からの観察部位の近赤外画像データと第2信号処理部22からの観察部位の可視画像データとを用いて観察部位の近赤外画像データを観察部位の可視画像データ(例えば投影機部40による投影用の青色単色の投影画像データ)に変換するための生成指示を生成して投影処理部41に指示してもよい。なお、この投影画像データの生成はCCU30により実行されてもよい。また、CCU30は、第1信号処理部21からの観察部位の近赤外画像データと第2信号処理部22からの観察部位の可視画像データとを重畳した画像合成を行って表示器DP1に表示出力してもよい。これにより、医師U1あるいは補助者U2は、可視画像データと近赤外画像データとにより観察部位の詳細な状態を直感的に把握できて医療行為(例えば手術)の進行の支援を受けることができる。
【0034】
投影機部40は、CCU30での画像解析処理結果に基づいて観察部位に投影するべき投影画像を生成し、投影画像の光をカメラヘッド部10に投光する。投影機部40は、投影処理部41と、データベース42と、画像結像面43と、オートバックフォーカス機構ABF3とを含む。
【0035】
投影処理部41は、CCU30からの生成指示に基づいて、観察部位に投影するべき投影画像を生成して投影画像の光を画像結像面43に投光する。投影処理部41は、CCU30からの生成指示に基づいて、データベース42に予め登録(保存)されている基準となる画像を参照(例えば部分的もしくは全体的に組み合わせるまたは削る等)して投影画像を生成してもよい。
【0036】
データベース42は、投影処理部41が生成する投影画像の一部あるいは全部となり得る、基準となる画像データを保存している。基準となる画像データは、例えば「〇」、「×」、数字、割合(例えば「%」)であるが、これらに限定されないことは言うまでもない。
【0037】
画像結像面43は、例えば公知のMEMS(Micro Electro Mechanical System)ミラーを用いて構成され、投影処理部41からの投影画像の光を結像することで投影画像を形成して光学フィルタOPF3に投光する。
【0038】
オートバックフォーカス機構ABF3は、例えば特許第3738777号公報に開示されているような機構により構成され、ABF制御部51からの制御信号に基づいて、画像結像面43が初期投光軸PJX0に直交する状態を維持しながら画像結像面43を初期投光軸PJX0の方向に移動させることで画像結像面43の焦点距離を適宜調整する機能を有している。初期投光軸PJX0に沿って投光された投影画像の光は、クロスプリズムCXP1のA面AS1において反射あるいは全反射されて、初期投光軸PJX0と直交する投光軸PJX1に沿って共用レンズLS1を介して観察部位に投影される。つまり、オートバックフォーカス機構ABF3によれば、例えば画像結像面43に結像される光の波長帯域がカメラ制御部50(後述参照)によって異なる波長帯域に選択される場合でも、異なる波長帯域に伴う光路長の変化があっても画像結像面43を初期投光軸PJX0の方向に移動可能となることでピントの合う鮮明な投影画像を得ることができる。
【0039】
カメラ制御部50は、例えばCPU(Central Processing Unit)、DSPあるいはFPGA等のプロセッサにより構成され、分光プリズムカメラ100の作動に関する各種の制御を統括する。例えば、カメラ制御部50は、ABF制御部51にオートバックフォーカスに関する制御信号を送ったり、照明制御部52に励起光の照射に関する制御信号を送ったり、レンズ制御部54に共用レンズLS1の特性調整に関する制御信号を送ったりする。また、カメラ制御部50は、分光プリズムカメラ100とは異なる外部入力に基づく外部制御信号を受けて、分光プリズムカメラ100の作動に関する各種の制御を実行してもよい。
【0040】
ABF制御部51は、カメラ制御部50からの制御信号に基づいて、3つのオートバックフォーカス機構ABF1,ABF2,ABF3のそれぞれに、前進、原点検出、位置保持に関する制御信号を独立に生成して送る。これにより、3つのオートバックフォーカス機構ABF1,ABF2,ABF3のそれぞれは、ABF制御部51からの制御信号に基づいて、前進、原点検出、位置保持を実行できる。
【0041】
照明制御部52は、カメラ制御部50からの制御信号に基づいて、照明部ILM1から照射する光の点灯もしくは消灯、光量に関する制御信号を生成して照明部ILM1に送る。照明部ILM1から照射される光は、例えば可視光、近赤外(IR)光、特定波長帯域(例えば720~820[nm])の励起光である。なお、720~820[nm]の波長を有する励起光は、手術前に予め観察部位(例えば患部AFP1)に投与された蛍光試薬(ICG)が蛍光発光するために照射される。これにより、照明部ILM1は、可視光、近赤外(IR)光、あるいは特定波長帯域の励起光を照射できる。
【0042】
レンズ制御部54は、カメラ制御部50からの制御信号に基づいて、共用レンズLS1の絞り、倍率、焦点に関する制御信号を生成する。これにより、分光プリズムカメラ100において、共用レンズLS1の絞り、倍率、焦点が適切に調整可能となる。
【0043】
照明部ILM1は、照明制御部52からの制御信号(上述参照)に基づいて、可視光、近赤外(IR)光、あるいは特定波長帯域(上述参照)の励起光を観察部位(例えば患部AFP1)に向けて照射する。
【0044】
表示器DP1は、例えばLCD(Liquid Crystal Display)あるいは有機EL(Electroluminescence)デバイスを用いて構成され、CCU30により画像合成された後の画像データを表示する。
【0045】
図3は、実施の形態1に係る分光プリズムカメラ100の動作概要を示す図である。
図3では、患者PAT1の手術時における分光プリズムカメラ100のユースケース例が示されている。分光プリズムカメラ100は、例えば720~820[nm]の波長を有する近赤外(IR)光である励起光(照明光)を患者PAT1に照射する。なお、患者PAT1に照射される照明光は、上述した励起光に限定されず、例えば430~680[nm]の波長を有する可視照明でもよいし、400~680[nm]の波長を有する無影灯でもよい。患者PAT1の観察部位(例えば
図1の患部AFP1)からの光は共用レンズLS1を透してクロスプリズムCXP1に入射する。この光には、励起光の照射に基づいて蛍光試薬(例えばICG)が発光した蛍光(例えば840~900[nm]の波長を有する蛍光)が含まれる。
【0046】
クロスプリズムCXP1に入射した光(例えば400~900[nm]の波長を有する光)のうち840~900[nm]の波長を有する蛍光はB面BS1において反射あるいは全反射して光学フィルタOPF1を透過してイメージセンサ11において受光される。イメージセンサ11によって蛍光が撮像された撮像画像信号はCCU30に伝送されてCCU30により蛍光画像データが生成される。
【0047】
一方、クロスプリズムCXP1に入射した光(例えば400~900[nm]の波長を有する光)のうち430~680[nm]の波長を有する可視光(但し青色光は少ない)はB面BS1、光学フィルタOPF2(
図3では図示を省略)を透過してイメージセンサ12において受光される。イメージセンサ12によって可視光(但し青色光は少ない)が撮像された撮像画像信号はCCU30に伝送されてCCU30により可視画像データが生成される。
【0048】
CCU30は、蛍光画像データと可視画像データとを合成して表示器DP1に表示したり、蛍光画像データと可視画像データとを用いて投影用の投影画像データの生成指示を投影機部40に送ったりする。投影機部40は、CCU30からの生成指示に基づいて、例えば患者PAT1等の人物の皮膚に投影し易い(言い換えると、識別し易い)青色単色の投影画像の光(例えば400[nm]の波長を有する光)を、光学フィルタOPF3、A面AS1を介して観察部位に投影する。400[nm]の波長を有する光は、光学フィルタOPF3を透過し易く、さらに、A面AS1において反射し易い(
図4A参照)。
【0049】
次に、実施の形態1に係る分光プリズムカメラ100の動作手順例について、
図5、
図6および
図7のそれぞれを参照して説明する。
図5は、実施の形態1に係る分光プリズムカメラ100の第1動作手順例を示すフローチャートである。
図6は、実施の形態1に係る分光プリズムカメラ100の第2動作手順例を示すフローチャートである。
図7は、実施の形態1に係る分光プリズムカメラ100の第3動作手順例を示すフローチャートである。
図6および
図7の説明において、
図5の処理と重複する処理については同一の符号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。
【0050】
図5に示す第1動作手順では、分光プリズムカメラ100は、患者PATの患部AFP1(例えば腹部の内臓)に励起光(例えば720~820[nm]の波長を有する励起光)を照射し、励起光の照射に基づく蛍光の撮像を用いて投影画像を患部AFP1に投影する例を説明する。
【0051】
図5において、分光プリズムカメラ100は、ICG用の励起光(例えば720~820[nm]の波長を有する励起光)を照明部ILM1から観察部位に向けて照射する(St1)。分光プリズムカメラ100は、ステップSt1で照射された励起光に基づいて観察部位の蛍光試薬(例えばICG)が発光した蛍光を含む光(観察部位からの光)を、共用レンズLS1を透して入光する。分光プリズムカメラ100は、共用レンズLS1により集光された観察部位からの光のうち近赤外(IR)光である蛍光をクロスプリズムCXP1のB面BS1で反射あるいは全反射する(St2)。分光プリズムカメラ100は、ステップSt2においてB面BS1で反射あるいは全反射された蛍光をイメージセンサ11で受光して撮像する(St3)。
【0052】
分光プリズムカメラ100は、共用レンズLS1により集光された観察部位からの光のうち可視光(例えば430~680[nm]の波長を有する可視光)をクロスプリズムCXP1のB面BS1で透過させてイメージセンサ12で受光して撮像する。分光プリズムカメラ100は、イメージセンサ11,12のそれぞれでの撮像に基づいて得られた観察部位の蛍光画像データおよび可視画像データを用いて、蛍光画像データを投影用の投影画像データ(具体的には青色単色の投影画像データ)に変換する(St4)。分光プリズムカメラ100は、ステップSt4で生成された投影画像データをクロスプリズムCXP1のA面AS1で反射あるいは全反射させて共用レンズLS1を介して観察部位に向けて投光(投影)する(St5)。
【0053】
ステップSt5の後、分光プリズムカメラ100の処理が終了とならない場合には(St6、NO)、分光プリズムカメラ100の処理はステップSt1に戻る。つまり、分光プリズムカメラ100の処理が終了となるまで、分光プリズムカメラ100はステップSt1からステップSt6までの処理を繰り返す。一方、ステップSt5の後、分光プリズムカメラ100の処理が終了となる場合(例えば医師U1あるいは補助者U2の操作による分光プリズムカメラ100の電源OFFがなされた場合)には(St6、YES)、分光プリズムカメラ100の処理は終了する。
【0054】
図6に示す第2動作手順では、分光プリズムカメラ100は、第1動作手順とは異なり、異なる波長帯の光をイメージセンサ11,12のそれぞれで撮像し、観察部位に置かれている対象物の状態(例えばみかん等の果物あるいは葉っぱの活性度)を分析し、その分析結果を示す投影画像を観察部位に投影する例を説明する。
【0055】
図6において、分光プリズムカメラ100は、例えば430~680[nm]の波長を有する可視光を照明部ILM1から観察部位に向けて照射する。分光プリズムカメラ100は、照射された可視光に基づいて観察部位に置かれている対象物(例えばみかん)により反射された光を、共用レンズLS1を透して入光する。分光プリズムカメラ100は、共用レンズLS1により集光された対象物からの光のうち第1波長帯(例えば800[nm]の波長)を有する近赤外(IR)光をクロスプリズムCXP1のB面BS1で反射あるいは全反射する(St11)。分光プリズムカメラ100は、ステップSt11においてB面BS1で反射あるいは全反射された800[nm]の近赤外(IR)光をイメージセンサ11で受光して撮像する(St12)。
【0056】
分光プリズムカメラ100は、共用レンズLS1により集光された対象物からの光のうち第2波長帯(例えば850[nm]の波長)を有する近赤外(IR)光をクロスプリズムCXP1のB面BS1で透過させる(St13)。分光プリズムカメラ100は、ステップSt13においてB面BS1を透過した850[nm]の近赤外(IR)光をイメージセンサ12で受光して撮像する(St14)。分光プリズムカメラ100は、イメージセンサ11,12のそれぞれでの撮像に基づいて得られた観察部位の近赤外画像データを画像解析処理し、観察部位に置かれている対象物(例えばみかん)の糖度を分析処理する(St15)。分光プリズムカメラ100は、ステップSt15での分析処理によって得られた分析結果(例えばみかんの糖度)を示す投影画像データを生成し、その投影画像データの光をクロスプリズムCXP1のA面AS1で反射あるいは全反射させて共用レンズLS1を介して観察部位に向けて投光(投影)する(St16)。ステップSt16以降の処理は
図5と同一であるため説明は省略する。
【0057】
図7に示す第3動作手順では、分光プリズムカメラ100は、第1動作手順および第2動作手順とは異なり、観察部位に置かれている対象物(例えばみかん等の果物)の大きさあるいは真円度を分析し、その分析結果(例えば良否判定結果)を示す投影画像を観察部位に投影する例を説明する。
【0058】
図7において、分光プリズムカメラ100は、例えば400[nm]の波長を有する青色単色の投影画像(例えば基準となる形状を示す図もしくは目盛り(メジャー)を示す投影画像)の光を、クロスプリズムCXP1のA面AS1で反射あるいは全反射させて共用レンズLS1を介して観察部位に向けて投光(投影)する(St21)。分光プリズムカメラ100は、ステップSt21で投影された投影画像が対象物によって反射された光を含む対象物(例えばみかん)からの光を、共用レンズLS1を透して入光する。分光プリズムカメラ100は、共用レンズLS1により集光された対象物からの光の一部をクロスプリズムCXP1のB面BS1で反射する(St22)。分光プリズムカメラ100は、ステップSt22においてB面BS1で反射された一部の光をイメージセンサ11で受光して撮像する(St23)。
【0059】
分光プリズムカメラ100は、共用レンズLS1により集光された対象物からの光のうち残りの光をクロスプリズムCXP1のB面BS1で透過させる。分光プリズムカメラ100は、B面BS1を透過した残りの光をイメージセンサ12で受光して撮像する。分光プリズムカメラ100は、イメージセンサ11,12のそれぞれでの撮像に基づいて得られた観察部位の近赤外画像データを画像解析処理し、観察部位に置かれている対象物(例えばみかん)の大きさもしくは真円度等を分析処理して対象物の良否判定を実行する(St24)。分光プリズムカメラ100は、データベース42を参照して、ステップSt24での良否判定によって得られた判定結果(例えばみかんの大きさあるいは真円度)を既存の投影画像(ステップSt21参照)に重畳した投影画像データを生成する(St25)。分光プリズムカメラ100は、その生成された投影画像データの光をクロスプリズムCXP1のA面AS1で反射あるいは全反射させて共用レンズLS1を介して観察部位に向けて投光(投影)する(St26)。ステップSt16以降の処理は
図5と同一であるため説明は省略する。
【0060】
以上により、実施の形態1に係る分光プリズムカメラ100は、観察部位からの光が入射するレンズ(例えば共用レンズLS1)と、レンズを透して受光された光に基づいて、観察部位の画像を撮像する撮像部(例えばカメラヘッド部10)と、撮像部により撮像された観察部位の画像に基づいて、観察部位への投影画像を生成する投影部(例えば投影機部40)と、を備える。レンズは、投影部からの投影画像の光を、観察部位からの光が入射する方向と逆方向であって、かつ観察部位からの光の入射軸IMX1と同軸である投光軸PJX1に沿って投光する。
【0061】
これにより、分光プリズムカメラ100は、投影画像を観察部位に投影する投影機部40と観察部位からの光に基づいて撮像するカメラヘッド部10とを別体とする必要無く、共用レンズLS1を投影機部40とカメラヘッド部10とで共用できるので、被写体(例えば観察部位)の撮像時および投影時の各光軸の調整の煩雑化を抑制できる(つまり、それぞれの光軸の微調整が不要となる)。したがって、分光プリズムカメラ100によれば、一つの筐体内に投影機部40およびカメラヘッド部10を配置可能となるので全体的なシステムの小型化および軽量化を実現でき、例えばヘッドマウント型の投影装置(
図1参照)のようにユーザの使い勝手が向上する。例えば医療現場等において、ヘッドマウント型の分光プリズムカメラ100によって観察部位への患部AFP1等に画像の投影が可能となる。入射軸IMX1と投光軸PJX1とが同軸となるので、分光プリズムカメラ100の筐体が揺れたとしてもぶれにくくなり、撮像された画像の画質劣化が抑制される。
【0062】
また、分光プリズムカメラ100は、観察部位からの光の一部を反射して残りの光を透過する第1面(例えばB面BS1)と、投影画像の光を投光軸PJX1に向けて反射する第2面(例えばA面AS1)と、を有する分光プリズム(例えばクロスプリズムCXP1)をさらに備える。レンズ(例えば共用レンズLS1)は、分光プリズムよりも観察部位側に配置される。これにより、分光プリズムカメラ100は、簡易な構造で、観察部位からの光をB面BS1で2つの光に分光できて2種類の撮像画像を得ることができるとともに、投影画像の光を反射して観察部位に投影(投光)できる。
【0063】
また、分光プリズム(例えばクロスプリズムCXP1)は、第1面(例えばB面BS1)において観察部位の光のうち近赤外光(例えば840~900[nm]の波長を有する光)を反射しかつ観察部位の光のうち可視光(例えば430~680[nm]の波長を有する光)を透過する。撮像部(例えばカメラヘッド部10)は、近赤外光に基づいて観察部位の近赤外画像を撮像する第1撮像部(例えばイメージセンサ11)と、可視光に基づいて観察部位の可視画像を撮像する第2撮像部(例えばイメージセンサ12)と、を有する。投影部(例えば投影機部40)は、観察部位の近赤外画像と観察部位の可視画像とに基づいて投影画像を生成し、分光プリズムおよびレンズを介して投影画像を観察部位に投影する。これにより、分光プリズムカメラ100は、クロスプリズムCXP1のB面BS1において蛍光試薬(例えばICG)の発光により生じた蛍光を反射してその蛍光に基づく観察部位の画像を得ることができるとともに、青色が少ない可視光に基づく観察部位の画像を得ることができる。
【0064】
また、投影部(例えば投影機部40)は、投影画像の青色光を、レンズ(例えば共用レンズLS1)を介して観察部位に投影する。これにより、分光プリズムカメラ100を装着する医師U1あるいは補助者U2は、観察部位(例えば患者PAT1の患部AFP1)に投影してもその内容が認識し易い青色の投影画像を的確に認識できて、医療行為の進行の支援を適応的に受けることができる。
【0065】
また、分光プリズムカメラ100は、撮像部により撮像された観察部位の少なくとも2つの第1画像(例えば800[nm]の波長を有する近赤外(IR)光に基づく近赤外画像)および第2画像(例えば850[nm]の波長を有する近赤外(IR)光に基づく近赤外画像)に基づいて、観察部位の対象物を分析する信号処理部(例えばCCU30)をさらに備える。投影部(例えば投影機部40)は、対象物の分析結果(例えばみかん等の果物の糖度、あるいは葉っぱの活性度)の分析結果を示す投影画像を生成する。これにより、分光プリズムカメラ100は、医療行為(例えば手術)時に観察部位(例えば患部AFP1)の状態の観察だけでなく、観察部位に置かれている対象物(例えばみかん等の果物)の状態(例えば糖度)の分析に利用できて多目的なユースケースに対応して使用できる。また、800[nm]の波長を有する近赤外(IR)光に基づく近赤外画像)と第2画像(例えば850[nm]の波長を有する近赤外(IR)光に基づく近赤外画像)とにより、患部AFP1(例えば患者PAT1の血管)を観察部位としている際にその結果の識別(例えば動脈あるいは静脈)が可能となり、医療行為時の進行を適切に支援可能となる。
【0066】
また、分光プリズムカメラ100は、撮像部により撮像された観察部位の画像に基づいて、観察部位の対象物の良否を分析する信号処理部(例えばCCU30)をさらに備える。投影部(例えば投影機部40)は、対象物の良否を分析するための基準画像を観察部位に予め投影する。撮像部(例えばイメージセンサ11あるいはイメージセンサ12)は、投影部により投影された基準画像を含む観察部位の画像を撮像する。信号処理部は、撮像部により撮像された基準画像を含む観察部位の画像に基づいて、対象物の良否を分析する。投影部は、対象物の良否の分析結果を示す投影画像を生成する。これにより、分光プリズムカメラ100は、観察部位に配置されている対象物の基準となる図あるいはメジャー等の基準画像を予め投影しておき、対象物からの光に基づく撮像によって得られた対象物の撮像画像と基準画像とから対象物の良否を判定できてその判定結果を投影できるので、対象物の良否状態を直感的にユーザに認識させることができる。
【0067】
また、分光プリズムカメラ100は、蛍光試薬が予め投与された観察部位に所定の波長帯域(例えば720~820[nm]の波長)を有する励起光を照射する照明部ILM1をさらに備える。分光プリズムは、励起光に基づいて蛍光試薬が発光した光である蛍光を第1面(例えばB面BS1)において反射する。第1撮像部(例えばイメージセンサ11)は、分光プリズムを介して蛍光を受光して観察部位の近赤外画像を撮像する。投影部(例えば投影機部40)は、観察部位の近赤外画像に基づいて、蛍光試薬の発光箇所を教示するための投影画像を生成する。これにより、手術時において、医師U1あるいは補助者U2は、患者PAT1に予め投与されたICG等の蛍光試薬の発光箇所を直感的に把握できるので、適切な医療行為の進行の支援を受けることができる。
【0068】
(実施の形態2)
実施の形態1に係る分光プリズムカメラ100では、クロスプリズムCXP1のB面BS1を透過した可視光の波長が430~680[nm]であるために青色光が少なく、イメージセンサ12により撮像された可視画像信号にも青色成分が少なかった。このため、第2信号処理部22により生成された可視画像データにも青色成分が少なく、観察部位(被写体の一例)によってはその状況の把握が容易ではないことがあり得る。
【0069】
そこで、以下の実施の形態2では、クロスプリズムのB面を透過した可視光の波長帯域に青色光が少なくなることを抑制する分光プリズムカメラ100Aの例を説明する。
【0070】
図8は、実施の形態2に係る分光プリズムカメラ100Aの内部構成例を示すブロック図である。分光プリズムカメラ100Aは、共用レンズLS1と、カメラヘッド部10Aと、カメラ信号処理部20と、CCU30と、投影機部40と、カメラ制御部50と、ABF制御部51と、照明制御部52と、偏光フィルタ制御部53と、レンズ制御部54と、照明部ILM1とを含む構成である。
図8の説明において、
図2の構成と同一の構成については同一の符号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。
【0071】
カメラヘッド部10Aは、共用レンズLS1の次に対物側(つまり観察部位側)に配置され、共用レンズLS1を透過した光を分光したり撮像したりする。カメラヘッド部10Aは、偏光フィルタPLF1と、2つの光学面(後述するA面AS2およびB面BS2参照)を有するクロスプリズムCXP2と、光学フィルタOPF1と、イメージセンサ11を含むオートバックフォーカス機構ABF1と、光学フィルタOPF2と、イメージセンサ12を含むオートバックフォーカス機構ABF2と、光学フィルタOPF4とを含む。
【0072】
偏光フィルタPLF1は、共用レンズLS1により集光された光(つまり観察部位からの光)のうち特定の偏光成分(例えば偏光フィルタ制御部53により設定された光の進行方向に対するp偏光成分およびs偏光成分)のみ透過させる光学的性質を有している。
【0073】
分光プリズムの一例としてのクロスプリズムCXP2は、光学面としての性質を有するA面AS2およびB面BS2を有し、プリズム固定部材FX1により固定される。クロスプリズムCXP2は、偏光フィルタPLF1を透過したp偏光成分およびs偏光成分の光のうちs偏光成分をB面BS2において反射しかつp偏光成分をB面BS2において透過するとともに、投影機部40から投光された投影画像(後述参照)の光(s偏光成分)をA面AS2において反射あるいは全反射して偏光フィルタPLF1を介して共用レンズLS1に投光する。
【0074】
B面BS2において反射されたs偏光成分のうち840~900[nm]の波長を有する近赤外(IR)光だけが光学フィルタOPF1を透過してイメージセンサ11において受光される。イメージセンサ11およびオートバックフォーカス機構ABF1の動作内容は実施の形態1と同様であるため、説明を省略する。
【0075】
B面BS2を透過したp偏光成分のうち400~680[nm]の波長を有する可視光(p偏光成分)だけが光学フィルタOPF2を透過してイメージセンサ12において受光される。イメージセンサ12およびオートバックフォーカス機構ABF2の動作内容は実施の形態1と同様であるため、説明を省略する。
【0076】
光学フィルタOPF4は、例えば400~680[nm]の波長を有する可視光のみを透過させて他の帯域の波長を有する光を遮断するバンドパスフィルタ(BPF)により構成される。つまり、光学フィルタOPF4は赤外光カットフィルタとしての機能を有する。なお、光学フィルタOPF4(バンドパスフィルタ)が透過させる光の波長帯域は400~680[nm]に限定されなくてよい。光学フィルタOPF4は、投影機部40の画像結像面43により形成された投影画像の光(例えば400~680[nm]の波長を有する可視光(s偏光成分))を透過する。光学フィルタOPF4を透過した可視光(s偏光成分)はクロスプリズムCXP2のA面AS2により反射あるいは全反射される。なお、光学フィルタOPF4は、オートバックフォーカス機構ABF3内に設けられるように配置されてもよいし、オートバックフォーカス機構ABF3とは別体で設けられてもよい。
【0077】
実施の形態2では、投影機部40の投影処理部41は、CCU30からの生成指示に基づいて、観察部位に投影するべき投影画像を生成して投影画像の光(例えば400~680[nm]の波長を有する可視光(s偏光成分))を画像結像面43に投光する。この光は、画像結像面43および光学フィルタOPF4を介してクロスプリズムCXP2のA面AS2において反射あるいは全反射され、偏光フィルタPLF1および共用レンズLS1を介して観察部位に投影される。
【0078】
偏光フィルタ制御部53は、カメラ制御部50からの制御信号に基づいて偏光フィルタPLF1を旋回させることで、偏光フィルタPLF1で透過させるべき観察部位からの光の偏光角度(例えば観察部位からの光の進行方向に対するp偏光成分およびs偏光成分の角度)を設定する。
【0079】
図9は、実施の形態2に係る分光プリズムカメラ100Aの動作概要を示す図である。
図9では、例えば
図3と同様に、患者PAT1の手術時における分光プリズムカメラ100Aのユースケース例が示されている。
図9の説明において、
図3の要素と同一のものには同一の符号もしくは名称を付与して説明を簡略化あるいは省略し、異なる内容について説明する。
【0080】
分光プリズムカメラ100Aは、例えば720~820[nm]の波長を有する近赤外(IR)光である励起光(照明光)を患者PAT1に照射する。なお、患者PAT1に照射される照明光は、上述した励起光に限定されず、例えば430~680[nm]の波長を有する可視照明でもよいし、400~680[nm]の波長を有する無影灯でもよい。患者PAT1の観察部位(例えば
図1の患部AFP1)からの光は共用レンズLS1を透過し、その透過した光のうち特定の偏光成分(例えば偏光フィルタ制御部53により設定された光の進行方向に対するp偏光成分およびs偏光成分)がクロスプリズムCXP2に入射する。この光には、励起光の照射に基づいて蛍光試薬(例えばICG)が発光した蛍光(例えば840~900[nm]の波長を有する蛍光)が含まれる。
【0081】
クロスプリズムCXP2は、偏光フィルタPLF1を透過したp偏光成分およびs偏光成分の光のうちs偏光成分をB面BS2において反射しかつp偏光成分をB面BS2において透過する。したがって、s偏光成分(例えば蛍光)は光学フィルタOPF1を透過してイメージセンサ11において受光され、イメージセンサ11によって蛍光が撮像された撮像画像信号はCCU30に伝送されてCCU30により蛍光画像データが生成される。
【0082】
一方、クロスプリズムCXP2のB面BS2を透過したp偏光成分(例えば400~680[nm]の波長を有する可視光)は光学フィルタOPF2(
図3では図示を省略)を透過してイメージセンサ12において受光される。イメージセンサ12によって可視光が撮像された撮像画像信号はCCU30に伝送されてCCU30により可視画像データが生成される。
【0083】
CCU30は、蛍光画像データと可視画像データとを合成して表示器DP1に表示したり、蛍光画像データと可視画像データとを用いて投影用の投影画像データの生成指示を投影機部40に送ったりする。投影機部40は、CCU30からの生成指示に基づいて、例えば患者PAT1等の人物の皮膚に投影し易い(言い換えると、識別し易い)青色単色の投影画像の光(例えば400[nm]の波長を有するs偏光成分の光)を、光学フィルタOPF4(
図9では図示を省略)、A面AS2を介して観察部位に投影する。400[nm]の波長を有する光は、光学フィルタOPF4を透過し易く、さらに、A面AS2において反射し易い。
【0084】
次に、実施の形態2に係る分光プリズムカメラ100Aの動作手順例について、
図10を参照して説明する。
図10は、実施の形態2に係る分光プリズムカメラ100Aの第1動作手順例を示すフローチャートである。
図10の説明において、
図5の処理と同一の処理については同一のステップ番号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。
【0085】
図10において、ステップSt2の後、分光プリズムカメラ100Aは、クロスプリズムCXP2のB面BS2を透過したp偏光成分(例えば400~680[nm]の波長を有する可視光)を光学フィルタOPF2(
図3では図示を省略)で透過させてイメージセンサ12において受光する(St31)。ステップSt3の後、分光プリズムカメラ100Aは、イメージセンサ11の撮像により得られた蛍光画像信号に基づく蛍光画像データとイメージセンサ12の撮像により得られた可視画像信号(p偏光成分)に基づく可視画像データ(p偏光成分)とを用いて、蛍光画像データを投影用の投影画像データ(具体的には可視光による投影画像データ(s偏光成分))に変換する(St4A)。
【0086】
分光プリズムカメラ100Aは、ステップSt4Aで生成された投影画像データ(s偏光成分)をクロスプリズムCXP2のA面AS2で反射あるいは全反射させて共用レンズLS1を介して観察部位に向けて投光(投影)する(St5A)。ステップSt5A以降の処理は
図5と同一であるため、説明を省略する。
【0087】
なお、実施の形態2に係る分光プリズムカメラ100Aは、実施の形態1に係る分光プリズムカメラ100と同様に、
図6あるいは
図7に示す動作手順と同一の動作手順にしたがった動作を実行しても構わない。
【0088】
以上により、実施の形態2に係る分光プリズムカメラ100Aでは、分光プリズム(例えばクロスプリズムCXP2)は、第1面(例えばB面BS2)において観察部位の光のうち近赤外光(例えば840~900[nm]の波長を有する光)を反射しかつ観察部位の光のうち可視光と同じ波長帯域を有する第1偏光(例えば400~680[nm]の波長を有する可視光のp偏光成分)を透過する。撮像部(例えばカメラヘッド部10A)は、近赤外光に基づいて観察部位の近赤外画像を撮像する第1撮像部(例えばイメージセンサ11)と、第1偏光に基づいて観察部位の可視画像を撮像する第2撮像部(例えばイメージセンサ12)と、を有する。投影部(例えば投影機部40)は、観察部位の近赤外画像と観察部位の可視画像とに基づいて、投影画像を生成し、可視光と同じ波長帯域を有する第2偏光(例えば400~680[nm]の波長を有する可視光のs偏光成分)により分光プリズム(例えばクロスプリズムCXP2)およびレンズ(例えば共用レンズLS1)を介して投影画像を投影する。
【0089】
これにより、分光プリズムカメラ100Aは、実施の形態1に係る分光プリズムカメラ100と同様に、投影画像を観察部位に投影する投影機部40と観察部位からの光に基づいて撮像するカメラヘッド部10Aとを別体とする必要無く、共用レンズLS1を投影機部40とカメラヘッド部10Aとで共用できるので、被写体(例えば観察部位)の撮像時および投影時の各光軸の調整の煩雑化を抑制できる。また、分光プリズムカメラ100Aは、イメージセンサ12において受光される可視光(p偏光成分)と投影機部40から投影される投影画像の光(つまり可視光のs偏光成分)とが異なる偏光成分となるので、クロスプリズムCXP2のB面BS2を透過してイメージセンサ12において受光される可視光の波長帯域に青色光が少なくなることを抑制できる。したがって、分光プリズムカメラ100Aは、実施の形態1に係る分光プリズムカメラ100に比べて、第2信号処理部22により得られる可視光画像データに青色の情報をより多く保持できるので、高画質な投影画像を形成できる。
【0090】
以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。
【産業上の利用可能性】
【0091】
本開示は、被写体の撮像時および投影時の各光軸の調整の煩雑化を抑制するとともに、全体的なシステムの小型化および軽量化を実現する投影装置として有用である。
【符号の説明】
【0092】
10、10A カメラヘッド部
11、12 イメージセンサ
20 カメラ信号処理部
21 第1信号処理部
22 第2信号処理部
30 CCU
40 投影機部
41 投影処理部
42 データベース
43 画像結像面
50 カメラ制御部
51 ABF制御部
52 照明制御部
53 偏光フィルタ制御部
54 レンズ制御部
100、100A 分光プリズムカメラ
ABF1、ABF2、ABF3 オートバックフォーカス機構
AS1、AS2 A面
BS1、BS2 B面
CXP1 クロスプリズム
DP1 表示器
FX1 プリズム固定部材
ILM1 照明部
LS1 共用レンズ
OPF1、OPF2、OPF3 光学フィルタ