特許第6142389号(P6142389)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 岩崎電気株式会社の特許一覧 ▶ 国立大学法人高知大学の特許一覧

<>
  • 特許6142389-撮像システム 図000002
  • 特許6142389-撮像システム 図000003
  • 特許6142389-撮像システム 図000004
  • 特許6142389-撮像システム 図000005
  • 特許6142389-撮像システム 図000006
  • 特許6142389-撮像システム 図000007
  • 特許6142389-撮像システム 図000008
  • 特許6142389-撮像システム 図000009
  • 特許6142389-撮像システム 図000010
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6142389
(24)【登録日】2017年5月19日
(45)【発行日】2017年6月7日
(54)【発明の名称】撮像システム
(51)【国際特許分類】
   H04N 5/232 20060101AFI20170529BHJP
   A61B 10/00 20060101ALI20170529BHJP
【FI】
   H04N5/232 Z
   A61B10/00 E
【請求項の数】10
【全頁数】15
(21)【出願番号】特願2013-105130(P2013-105130)
(22)【出願日】2013年5月17日
(65)【公開番号】特開2014-225839(P2014-225839A)
(43)【公開日】2014年12月4日
【審査請求日】2016年5月13日
(73)【特許権者】
【識別番号】000000192
【氏名又は名称】岩崎電気株式会社
(73)【特許権者】
【識別番号】504174180
【氏名又は名称】国立大学法人高知大学
(74)【代理人】
【識別番号】110001081
【氏名又は名称】特許業務法人クシブチ国際特許事務所
(72)【発明者】
【氏名】畠中 三幸
(72)【発明者】
【氏名】佐藤 敬
(72)【発明者】
【氏名】梶原 望
(72)【発明者】
【氏名】小宮 敬哲
(72)【発明者】
【氏名】佐藤 隆幸
【審査官】 佐藤 直樹
(56)【参考文献】
【文献】 特開2009−279171(JP,A)
【文献】 特開2009−066121(JP,A)
【文献】 特開2011−206227(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/232
A61B 10/00
(57)【特許請求の範囲】
【請求項1】
撮像対象物を可視光で照明する第1照明装置と、
前記撮像対象物を前記可視光外の光で照明する第2照明装置と、
所定周期のフレームごとに所定のシャッター期間に亘り前記第1照明装置の可視光による前記撮像対象物からの光、及び前記第2照明装置の光による前記撮像対象物からの光を受光し、それぞれの光の受光量に応じた受光信号を出力するイメージセンサと、を備え、
前記第1照明装置の可視光による受光量に基づいて生成した可視光画像に前記第2照明装置の可視外光による受光量に基づく可視外光画像を合わせて出力する撮像システムであって、
前記シャッター期間に同期して、前記シャッター期間に応じた光出力で前記第2照明装置を点灯する点灯制御手段を備え
前記点灯制御手段は、前記第1照明装置の光出力を維持しつつ、前記第2照明装置の光出力を、前記シャッター期間に応じた前記第1照明装置の光の受光量を表すV1と前記シャッター期間に応じた前記第2照明装置の光の受光量を表すV2との比V1:V2が所定の比になるように調整し、前記シャッター期間の間だけ前記第2照明装置を連続して点灯し、その他の期間では前記第2照明装置を消灯することを特徴とする撮像システム。
【請求項2】
前記シャッター期間を調整可能にしたことを特徴とする請求項1に記載の撮像システム。
【請求項3】
前記点灯制御手段は、
前記第1照明装置の可視光、及び前記第2照明装置の可視外光による各々の受光信号の強度の比が略等しくなる光出力で前記第2照明装置を点灯することを特徴とする請求項に記載の撮像システム。
【請求項4】
前記シャッター期間を調整するユーザ操作可能な調整手段を備えることを特徴とする請求項2又は3に記載の撮像システム。
【請求項5】
前記第2照明装置の可視外光による前記撮像対象物からの光は、前記第2照明装置の可視外光によって励起された蛍光であることを特徴とする請求項1乃至のいずれかに記載の撮像システム。
【請求項6】
前記第2照明装置を点灯するパルス電源を備えたことを特徴とする請求項1乃至5のいずれかに記載の撮像システム。
【請求項7】
前記パルス電源は、前記シャッター期間に同期した所定の期間の間前記第2照明装置を点灯することを特徴とする請求項6に記載の撮像システム。
【請求項8】
前記シャッター期間が調整される度に前記所定の期間を変更するように構成されたパルス周期設定部を備えることを特徴とする請求項7に記載の撮像システム。
【請求項9】
前記点灯制御手段は、前記シャッター期間の開始タイミングに一致させて前記第2照明装置を点灯して前記シャッター期間の間前記第2照明装置を連続して駆動し、前記シャッター期間の終了タイミングに一致させて前記第2照明装置を消灯する
ことを特徴とする請求項1乃至8のいずれかに記載の撮像システム。
【請求項10】
蛍光を励起して前記イメージセンサに向かう励起光をカットする励起光カットフィルタを備えたことを特徴とする請求項5に記載の撮像システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、可視光画像に可視外光画像を合わせて出力する撮像システムに関する。
【背景技術】
【0002】
手術等の医療現場においては、通常の可視光画像に加え、例えばインドシアニングリーン(ICG)等の蛍光物質を患部に投与して撮影することで蛍光画像を生成し、これらの画像を重ねて表示して患部を観察することが行われている。ここで、可視光画像の光量が多くなると白飛び(ハレーション)が生じ、蛍光画像の光量が多くなると視認性が悪化することから、可視光画像及び蛍光画像の光量バランスを調整する必要がある。
そこで、従来、可視光画像及び蛍光画像を生成する撮像システムとして、所望の光量バランスで可視光及び蛍光を透過させる光学フィルタを設けたものや、可視光をカットする開口絞りを設けたものが知られている(例えば、特許文献1及び2参照)
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第4971816号明細書
【特許文献2】国際公開第2011/007461号
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記従来の構成では、光学系が複雑化するとともに、可視光をカットしているため、光利用効率が悪いという問題がある。
本発明は、上述した事情に鑑みてなされたものであり、光利用効率を高めた上で可視光画像と可視外光画像の光量バランスを最適化可能な撮像システムを提供することを目的とする。
【課題を解決するための手段】
【0005】
上記目的を達成するために、本発明の撮像システムは、撮像対象物を可視光で照明する第1照明装置と、前記撮像対象物を前記可視光外の光で照明する第2照明装置と、所定周期のフレームごとに所定のシャッター期間に亘り前記第1照明装置の可視光による前記撮像対象物からの光、及び前記第2照明装置の光による前記撮像対象物からの光を受光し、それぞれの光の受光量に応じた受光信号を出力するイメージセンサと、を備え、前記第1照明装置の可視光による受光量に基づいて生成した可視光画像に前記第2照明装置の可視外光による受光量に基づく可視外光画像を合わせて出力する撮像システムであって、前記シャッター期間に同期して、前記シャッター期間に応じた光出力で前記第2照明装置を点灯する点灯制御手段を備え、前記点灯制御手段は、前記第1照明装置の光出力を維持しつつ、前記第2照明装置の光出力を、前記シャッター期間に応じた前記第1照明装置の光の受光量を表すV1と前記シャッター期間に応じた前記第2照明装置の光の受光量を表すV2との比V1:V2が所定の比になるように調整し、前記シャッター期間の間だけ前記第2照明装置を連続して点灯し、その他の期間では前記第2照明装置を消灯することを特徴とする。
【0006】
上記構成において、前記シャッター期間を調整可能にしてもよい。
【0007】
上記構成において、前記点灯制御手段は、前記第1照明装置の可視光、及び前記第2照明装置の可視外光による各々の受光信号の強度の比が略等しくなる光出力で前記第2照明装置を点灯してもよい。
【0008】
上記構成において、前記シャッター期間を調整するユーザ操作可能な調整手段を備えてもよい。
【0010】
上記構成において、前記第2照明装置の可視外光による前記撮像対象物からの光は、前記第2照明装置の可視外光によって励起された蛍光であってもよい。
上記構成において、前記第2照明装置を点灯するパルス電源を備えてもよい。
上記構成において、前記パルス電源は、前記シャッター期間に同期した所定の期間の間前記第2照明装置を点灯してもよい。
上記構成において、前記シャッター期間が調整される度に前記所定の期間を変更するように構成されたパルス周期設定部を備えてもよい。
上記構成において、前記点灯制御手段は、前記シャッター期間の開始タイミングに一致させて前記第2照明装置を点灯して前記シャッター期間の間前記第2照明装置を連続して駆動し、前記シャッター期間の終了タイミングに一致させて前記第2照明装置を消灯してもよい。
上記構成において、蛍光を励起して前記イメージセンサに向かう励起光をカットする励起光カットフィルタを備えてもよい。
【発明の効果】
【0011】
本発明によれば、シャッター期間に同期して、シャッター期間に応じた光出力で可視外光で照明する第2照明装置を点灯するため、可視光をカットすることがなく、光利用効率を高めた上で可視光画像と第2照明装置の可視外光による可視外光画像の光量バランスを最適化できる。
【図面の簡単な説明】
【0012】
図1】本発明の実施形態に係る撮像システムの構成を示す図である。
図2】シャッター期間(露光期間)が調整される前の撮影データのフレームを示す図であり、(A)は撮影データ中の可視光及び蛍光の受光信号(受光量)、(B)は可視光光源の強度(光量)、(C)は可視外光光源の強度(光量)を示す。
図3】可視光の受光量が最大量Vmax以下となるようにシャッター期間が調整された撮影データのフレームを示す図であり、(A)は撮影データ中の可視光及び蛍光の受光信号(受光量)、(B)は可視光光源の強度(光量)、(C)は可視外光光源の強度(光量)を示す。
図4】蛍光の受光量が最小量Vmin以上となるような光出力で可視外光光源2Aを点灯させた場合の撮影データのフレームを示す図であり、(A)は撮影データ中の可視光及び蛍光の受光信号(受光量)、(B)は可視光光源の強度(光量)、(C)は可視外光光源の強度(光量)を示す。
図5】開口絞りを備えた従来撮像システムの作用を示す説明図であり、(A)はレンズへの入射光強度、(B)は開口絞りの透過率、(C)は撮像システムの受光信号を示す。
図6】シャッター期間(露光期間)が調整されずに可視外光光源を常時点灯させた場合の撮像システムの作用を示す説明図であり、(A)はレンズへの入射光強度、(B)は励起光カットフィルタの透過率、(C)は撮像システムの受光信号を示す。
図7】シャッター期間(露光期間)を調整するとともに、可視外光光源をパルス点灯させた本実施形態の撮像システムの作用を示す説明図であり、(A)は可視外光光源を消灯した時のレンズへの入射光強度、(B)は可視外光光源を点灯した時のレンズへの入射光強度、(C)は励起光カットフィルタの透過率、(D)は撮像システムの受光信号を示す。
図8】本発明の変形例に係る撮像システムの構成を示す図である。
図9】本発明の背景技術を説明する図である。
【発明を実施するための形態】
【0013】
以下、図面を参照して本発明の実施形態について説明する。
まず、本発明の背景技術について詳細に説明する。
医学研究や医療分野においては、皮下の血管の可視化法として、血管内のヘモグロビンが近赤外光を吸収する原理を応用して、近赤外反射光または近赤外透過光を撮影することで近赤外吸収像を生成する技術が知られている。
また、インドシアニングリーン(ICG)が近赤外の励起光(おおむね740−780nm)を照射すると近赤外の蛍光(おおむね800−850nm)を発する原理を応用して、皮下や脂肪組織内のリンパ管・リンパ節・血管等にICGを投与し撮影することで近赤外蛍光画像を生成し可視化する技術が知られている。例えば、図9を参照し、癌細胞Cが転移する可能性のあるリンパ節LNを可視化する場合には、まず、皮下に蛍光物質R(ICG)を注入する。ここで、蛍光物質R(ICG)は、迅速にリンパ管LV及びリンパ節LNに吸収される。関心対象であるリンパ節LNが位置する皮膚に近赤外光の励起光K1(約740−780nm)を照射すると、近赤外光の励起光K1は皮下2cmまでは透過して、リンパ節LNに届く。近赤外光の励起光K1によってリンパ節LN中のICG分子が励起して近赤外の蛍光K3(約800−850nm)を発し、この近赤外の蛍光K3は皮膚Dを透過してカメラ(不図示)に捕捉される。
【0014】
医療現場では、肉眼作業を最適に行うことができるように、可視光照明(おおむね400−700nm)が関心領域に照射されている。
近赤外吸収像を観察する場合でも、あるいは、近赤外蛍光像を観察する場合でも、当該関心対象(近赤外吸収像または近赤外蛍光像)以外の背景が最適なバランスで撮像されることが望ましい。背景が同時に撮像されて初めて当該関心領域に関する位置情報を得ることが可能になるからである。
単一のイメージセンサからなる撮像システムで、当該関心対象と背景を最適なバランスで撮像する場合、可視光照明の強度を変化させることは不適である。なぜなら、可視光照明の強度は肉眼作業のために最適化されるべきであるからである。肉眼作業に最適化された照度の場合、被写体から反射される可視光のイメージセンサへの入射光量は過大である場合が多い。
【0015】
そこで、従来文献(特許第4971816号明細書あるいは国際公開第2011/007461号)には、光学フィルタまたは開口絞りによって、被写体から撮像システムに入射する可視光を減弱させる技術が開示されている。
一般に、近赤外吸収像あるいは近赤外蛍光像の強度は微弱であるため、肉眼作業に最適化された可視光の照度下で、上述のような従来技術を実施せずに、単一のイメージセンサからなる撮像システムで、当該関心対象と背景を最適なバランスで撮像することは困難である。なぜなら、背景となる可視光光量が過大にイメージセンサに入射し、いわゆる“白飛び現象”、“飽和現象”、“スミア”等を生じるからである。
【0016】
指や四肢等の撮影対象に近赤外光を照射して近赤外反射光を単一のイメージセンサで撮影する反射型撮像システム、あるいは、指や四肢等の撮影対象に近赤外光を照射して近赤外透過光を単一のイメージセンサで撮像する透過型撮像システムにおいては、可視光照明の皮膚面から反射する可視光を減弱させるための光学フィルタをイメージセンサの入射光路に挿入する。しかし、この場合、可視光減光量を最適にするための光学フィルタを用意しなければならない。光学フィルタの代わりに開口絞りを配置した場合には、可視光光量のみを独立して連続的に制御することができるが、開口絞りを有する撮像システムは大型でコストが高くつく。
そこで、本実施形態では、撮像システムを、大型化を抑制するとともに光利用効率を高めた上で、可視光画像と可視外光画像(可視光外の光による画像)の光量バランスを最適化可能に構成している。
【0017】
以下、本実施形態の撮像システムについて詳細に説明する。
図1は、本実施形態に係る撮像システムの構成を示す図である。
撮像システム1は、蛍光物質Rが投与された患部(撮像対象物)Tの可視外光画像(蛍光画像)及び可視光画像(背景画像)を合わせて成るカラー画像を生成し表示するシステムであり、光源装置(光源手段)2と、カメラ10と、コントローラ20と、表示装置3とを備えて構成されている。
光源装置2は、患部Tに対して、蛍光物質Rを励起する励起光(可視外の光、以下、単に可視外光と言う。)K1、及び背景用の可視光K2を照射する装置であり、上記励起光K1を照射する可視外光光源(第2照明装置)2Aと、上記可視光K2を照射する可視光光源(第1照明装置)2Bとを備えている。可視外光光源2A及び可視光光源2Bは、患部Tの撮像対象面TB側に配置されている。
【0018】
ここで、本実施形態では、波長740−780nm付近の近赤外光により励起され波長800−850nm付近の近赤外蛍光を発するICG(インドシアニングリーン)が蛍光物質Rとして用いられている。したがって、可視外光光源2Aには、波長740−780nm付近の近赤外光を放射する光源、例えば近赤外LEDを用いるとともに、波長700nm以下の光をカットする非近赤外光カットフィルタ2Cが設けられている。一方、可視光光源2Bには、例えば白色LEDが用いられている。この可視光光源2Bは、外乱光(室内光源、例えば、室内灯、モニター類、無影灯等による光)の可視光K5とは別に可視光K2を照射する。
【0019】
カメラ10は、レンズ10Aと、2次元空間に離散的に配置されたCCD(Charge Coupled Device)イメージセンサ10Bとを有するカメラであり、患部Tの撮像対象面TB側に配置されている。カメラ10は、所定のフレームレートおよび所定の解像度でカラー画像を順次取り込みフレーム毎の撮影データとして順次コントローラ20に出力する。このカメラ10は、励起光K1に相当する波長域(波長700〜800nm)の光をカットする励起光カットフィルタ10Cを備えている。励起光カットフィルタ10Cは、蛍光物質Rの蛍光K3及び可視光K2,K5の反射光である可視光K2’を透過率100%で透過する。こうすることで、撮影時に、可視外光光源2Aの照射光の影響を受けずに蛍光K3のみを撮影し像に映し出すことができる。
イメージセンサ10Bは、蛍光K3の波長域(本実施形態では近赤外波長域)及び可視光K2,K5の波長域の両方に感度を有し、画素Pごとに、赤(R)、緑(G)、青(B)、赤外光(Ir)をそれぞれ受光する受光素子11−14を備えている。赤(R)、緑(G)、青(B)の受光素子11−13は、可視光K2’の波長に感度を有し、患部Tで反射された可視光K2’の受光量に応じた受光信号をコントローラ20に出力する。赤外光(Ir)を受光する受光素子14は、蛍光K3の波長域(すなわち、波長830nm付近の近赤外蛍光)に感度を有し、蛍光K3の受光量に応じた受光信号をコントローラ20に出力する。
【0020】
コントローラ20は、カメラ10の撮影データに基づいて、蛍光画像と、可視光画像とを含むカラー画像を生成して表示装置3に表示する。カラー画像は、可視光画像と蛍光画像とを合算した画像と同等である。したがって、このカラー画像においては、患部Tを肉眼で観察する場合と同様な可視光画像に、蛍光画像によって得られる蛍光部位が重ねて表示されるため、可視光画像と蛍光画像をそれぞれ見比べて患部Tを観察する必要がなく患部Tの観察を容易かつ正確に行うことができる。特に、蛍光物質RとしてICGを用いることで、リンパ節や血管の血流が可視光画像に重ねて表示され、かかる血流を一目で認識でき、また血流と周辺組織との関係を明確に把握することができる。
また、コントローラ20は、可視外光光源2Aを駆動する可視外光用駆動回路21、及び可視光光源2Bを駆動する可視光用駆動回路22をそれぞれ備えている。
【0021】
図2は、シャッター期間(露光期間)Sが調整される前の撮影データのフレームを示す図であり、図2(A)は撮影データ中の可視光及び蛍光の受光信号(受光量)、図2(B)は可視光光源2Bの強度(光量)、図2(C)は可視外光光源2Aの強度(光量)を示す。また、図3は、可視光の受光量が最大量Vmax以下となるようにシャッター期間Sが調整された撮影データのフレームを示す図であり、図3(A)は撮影データ中の可視光及び蛍光の受光信号(受光量)、図3(B)は可視光光源2Bの強度(光量)、図3(C)は可視外光光源2Aの強度(光量)を示す。なお、図2及び図3において、横軸は時間tを示す。
【0022】
撮像システム1による撮影は動画撮影であるため、図2(A)に示すように、シャッター期間(露光期間)Sは最長、フレームの長さ(フレーム間隔F)、例えば、1/30秒に規定される。また、本実施形態では、シャッター期間Sの終了のタイミングは、フレームの終了と一致するものとする。
図1に示すカメラ10は、所定のシャッター期間Sの間に亘り、可視光及び蛍光を受光し、光を電荷に変換して電荷を蓄積するように構成されている。したがって、図2(A)に示すように、可視光及び蛍光の受光量(受光信号の強度)は、所定のシャッター期間Sの間だけ増加する。
ここで、所定のシャッター期間Sにおいて、可視光の受光量(可視光信号)が所定の最大量Vmaxを超え、可視光信号が飽和すると、カラー画像に白飛びが生じ、カラー画像が見づらくなってしまう。また、可視光光量は、肉眼作業に最適化されているため、制御することが困難である。
【0023】
そこで、本実施形態では、図1に示すように、シャッター期間S(図2)を調整するユーザ操作可能な操作部(調整手段)4を設けることで、シャッター期間Sを調整可能にしている。図2の例のように、可視光の受光量が白飛びを生じさせない最大量Vmaxを超える場合には、コントローラ20は、その旨を表示装置3に表示する。ユーザは、シャッター期間Sを短くするように操作部4を操作して、可視光の受光量が最大量Vmax以下となるようにシャッター期間Sを調整する。本実施形態では、シャッター期間Sの終了のタイミングは、フレームの終了と一致するため、具体的には、シャッター期間Sの開始タイミングを調整することとなる。これにより、図3(A)に示すように、可視光の受光量が最大量Vmax以下とすることができ、白飛びを防止できる。
一方、図示は省略するが、撮影データ中の可視光の受光信号(受光量)が最大量Vmaxより少ない場合には、シャッター期間Sを調整しなくともよいが、可視光の受光信号(受光量)が不十分な際には、フレーム間隔Fの範囲内でシャッター期間Sを長くして、可視光の受光信号(受光量)が最大量Vmaxとなるようにシャッター期間Sを調整する。なお、コントローラ20は、可視光の受光量を表示装置3に表示するように構成されてもよい。
【0024】
ところで、図1に示すカメラ10は、可視光領域の感度に比べ、近赤外領域の感度が低い特性を有している。また、蛍光物質RとしてICGを用いた場合、照射した励起光に対する蛍光の光量は1%程度である。したがって、図3(A)に示すように、蛍光の受光量は可視光に比べ少なくなる。所定のシャッター期間Sにおいて、蛍光の受光量が所定の最小量Vminを下回ると、カラー画像における近赤外蛍光画像の視認性を確保できなくなってしまう。
【0025】
そこで、本実施形態では、コントローラ20は、蛍光の受光量が視認性を確保可能な最小量Vmin以上となるような光出力で可視外光光源2Aを点灯させる点灯制御部(点灯制御手段)23を備えている。したがって、図4に示すように、蛍光の受光量が最小量Vmin以上となるように、点灯制御部23によって可視外光光源2Aの光出力を調整することで、患部Tのカラー画像における蛍光部分の映り具合を簡単かつリアルタイムに調整することができる。
特に、外乱光を生じさせる室内光源は、肉眼作業を可能にするための可視光K5を照射するように構成されており、強度及び照射時間を制御できない場合が多い。本実施形態では、室内光源を通常通り点灯した状態で、外乱光及び可視光光源2Bの可視光の光出力に合わせて可視外光光源2Aの光出力を調整することで、可視光画像(背景画像)と可視外光画像(蛍光画像)の光量バランスを最適化できる。
【0026】
ここで、可視光と蛍光のバランスを最適化したときの、可視光(反射光)、及び蛍光の各々の受光量の比をV1:V2とする。
本実施形態の点灯制御部23は、可視光、及び蛍光の各々の受光量の比V1:V2が略等しくなる光出力で可視外光光源2Aを点灯するように構成されている。比V1:V2は、点灯制御部23が備える記憶装置に予め設定されていてもよいし、ユーザによって設定可能にされてもよい。したがって、受光素子11−14(図1)への入射光(可視光及び蛍光)のバランスを最適化(V1:V2)した後に、受光素子11−14のシャッター期間を最長にすることで、最適な可視光と蛍光からなるカラー画像(動画映像)を容易に得ることができる。また、可視光及び蛍光の受光量のバランスを最適化(V1:V2)した後に、シャッター期間Sが調整され、可視光の受光量がVmax以下となっても、可視光画像(背景画像)と可視外光画像(蛍光画像)の光量バランスを最適化した状態で維持できる。
【0027】
ところで、可視外光光源2Aに用いるLEDには許容最大電力が規定されている。したがって、可視外光光源2Aを常時点灯させている状態で、可視外光光源2Aに用いる各LEDの光出力をあげると、やがて許容最大電力に到達してしまうおそれがある。したがって、可視外光光源2A(図1)を常時点灯させた場合は、可視外光光源2Aに用いるLEDの発熱量の上限が、連続電流印加の定格上限、または、撮像対象への放射の安全上限に鑑み、所定値(放射強度×放射時間)に決められているため、可視外光(励起光)による蛍光の光量は、可視光による反射された可視光の光量に比べ微弱である。一方、可視外光光源2Aに用いるLEDの数を増やし、個々のLEDの光出力(発熱量)を抑えることも考えられるが、可視外光光源2Aの全体が大型化してしまう。
上述したように、微弱な蛍光を十分受光するために、例えば、シャッター期間を1/30秒とした場合には、可視光については、白飛びを生じる悪い映像となる飽和レベルに達してしまう(図2)。
【0028】
そこで、本実施形態のコントローラ20は、図3(C)に示すように、シャッター期間Sの間だけ可視外光光源2Aを点灯し(ON)、その他の期間では消灯する(OFF)ように構成されている。具体的には、図1に示すように、可視外光用駆動回路21は、可視外光光源2Aに電源を所定の周期で供給するパルス電源5を介して可視外光光源2Aに接続されている。この所定の周期は、シャッター期間Sと一致するように設定され、操作部4の操作によってシャッター期間Sが調整される度に、コントローラ20が備えるパルス周期設定部24によって再設定される。パルス周期設定部24は、操作部4の操作によってシャッター期間Sが調整されると、当該期間をパルス電源5のパルス周期として設定し、可視外光用駆動回路21に出力する。
【0029】
このようにして、コントローラ20の点灯制御部23は、可視外光用駆動回路21を制御して可視外光光源2Aを所定の周期、すなわち、露光終了のタイミング(撮像データ読み出しのタイミング)を各フレーム間隔Fの終了のタイミングと一致させてシャッター期間Sの間だけ点灯させる。この場合においても、放射強度(W:ワット)×放射時間(s:秒)で規定される、可視外光光源2Aに用いるLEDの発熱量(J:ジュール)の上限は、可視外光光源2Aを常時点灯させた場合と同一である(図2図3及び図4の各斜線部の面積)。これにより、可視外光光源2Aに用いるLEDの許容最大電力に到達することなく、また、可視外光光源2Aを大型化することなく、可視外光光源2Aの光出力をあげることができる。ここで、フレーム間隔F(1/30秒)に対する可視外光光源2Aの点灯時間(シャッター期間S)を可視外光光源2Aのデューティー比とする。本実施形態では、可視外光光源2AとしてLEDを用いるため、可視外光光源2Aのデューティー比を20%(1/150秒)にした場合には(図4)、LEDに印加可能な電流は5倍となり、可視外光光源2Aの放射強度は常時点灯の上限の5倍になる。
このように、本実施形態では、シャッター期間S内に受光素子11−14(図1)に入射した光量が積分され、受光信号となる原理を応用して、励起光の照射をシャッター期間S中にのみ行い、相対的に強い可視光の影響を減弱させ、可視光画像と蛍光画像の光量バランスを最適化している。
【0030】
なお、可視光用駆動回路22は、可視光光源2Bに電源を常時供給する直流電源6を介して可視光光源2Bに接続されており、コントローラ20は、可視光用駆動回路22によって可視光光源2Bを常時点灯する。なお、可視光用駆動回路22も、可視外光用駆動回路21と同様にパルス電源に接続して、シャッター期間Sの間だけ可視光光源2Bを点灯するようにしてもよい。
【0031】
次に、図5乃至図7を参照し、開口絞りを備えた従来の撮像システムと、シャッター期間(露光期間)が調整されずに可視外光光源2Aを常時点灯させた場合の撮像システムと、シャッター期間Sを調整するとともに、可視外光光源2Aをパルス点灯させた本実施形態の撮像システム1とを比較して説明する。
図5は、開口絞りを備えた従来撮像システムの作用を示す説明図であり、図5(A)はレンズへの入射光強度、図5(B)は開口絞りの透過率、図5(C)は撮像システムの受光信号を示す。図5の例では、可視外光光源2Aは常時点灯され、シャッター期間(露光期間)は1/30秒とする。
レンズには、図5(A)に示すように、被写体(患部T)から反射される可視光と、被写体から反射される励起光と、励起光によって発光する近赤外蛍光とが入射する。開口絞りを備えた従来の撮像システムでは、図5(B)に示すように、開口絞りは、可視光を減光し、励起光を遮断し(透過率0%)、蛍光を透過させる(透過率100%)光学フィルタであり、可視光透過率は自在に可変できるように構成されている。すなわち、開口絞りは、可視光の透過率のみを制御できるため、蛍光が微弱な場合には蛍光の受光量は微弱となってしまう。また、開口絞りを備えるため、光学系が複雑化するとともに、可視光をカットしているので、光利用効率が悪いという問題がある。
【0032】
図6は、シャッター期間(露光期間)が調整されずに可視外光光源2Aを常時点灯させた場合の撮像システムの作用を示す説明図であり、図6(A)はレンズへの入射光強度、図6(B)は励起光カットフィルタの透過率、図6(C)は撮像システムの受光信号を示す。
この撮像システムでも、図6(A)に示すように、図5(A)と同様に可視光、励起光、及び近赤外蛍光がレンズに入射する。この撮像システムでは、本実施形態と同様に、開口絞りの代わりに、図5(B)に示すように、励起光を遮断し(透過率0%)、可視光及び蛍光を透過させる(透過率100%)励起光カットフィルタを用いている。微弱な蛍光を十分受光するために露光期間を1/30秒とすると、図6(C)に示すように、可視光の受光量(可視光信号)が最大量Vmaxを超えて可視光信号が飽和し、カラー画像に白飛びが生じてしまう。
【0033】
図7は、シャッター期間(露光期間)を調整するとともに、可視外光光源2Aをパルス点灯させた本実施形態の撮像システム1の作用を示す説明図であり、図7(A)は可視外光光源2Aを消灯した時のレンズへの入射光強度、図7(B)は可視外光光源2Aを点灯した時のレンズへの入射光強度、図7(C)は励起光カットフィルタの透過率、図7(D)は撮像システム1の受光信号を示す。
本実施形態では、上述したように、シャッター期間を短くするとともに、可視外光光源2A(図1)をシャッター期間の間だけ点灯させ、さらに、蛍光の受光量(蛍光信号)が最小量Vmin以上となるように可視外光光源2Aの光出力を調整している。これにより、カラー画像の白飛びを防止するとともに、可視光画像と蛍光画像の光量バランスを最適化できる。具体的には、可視外光光源2Aのデューティー比が20%であるため、図7(B)に示すように、可視外光光源2Aの放射強度を、図5(A)及び図6(A)の例の場合の5倍にすることができる。
【0034】
以上説明したように、本実施形態によれば、シャッター期間Sに同期して、シャッター期間Sに応じた光出力で蛍光物質Rが蛍光を発する励起光を点灯する点灯制御部23を備える構成とした。この構成により、可視光をカットすることなく、光利用効率を高めた上で可視光画像(背景画像)と可視外光画像(蛍光画像)の光量バランスを最適化できる。また、従来のような開口絞りも必要としないので、撮像システム1を大型化することがなく、安価に撮像システム1を製造できる。
【0035】
また、本実施形態によれば、シャッター期間Sを調整可能にし、より具体的には、シャッター期間Sを調整するユーザ操作可能な操作部4を備える構成とした。この構成により、可視光の受光量が白飛びを生じさせない最大量Vmax以下となるようにシャッター期間Sを調整することで、カラー画像に白飛びが生じることを防止できる。
【0036】
また、本実施形態によれば、点灯制御部23は、可視光の反射光、及び蛍光の各々の受光信号の強度の比V1:V2が略等しくなる光出力で励起光を点灯する構成とした。この構成により、シャッター期間Sが調整されても、可視光画像(背景画像)と可視光画像(蛍光画像)の光量バランスを最適化した状態で維持できる。
【0037】
また、本実施形態によれば、点灯制御部23は、露光終了のタイミング(撮像データ読み出しのタイミング)を各フレーム間隔Fの終了のタイミングと一致させてシャッター期間Sの間だけ可視外光光源2Aの可視外光を点灯する構成とした。この構成により、可視外光光源2Aに用いるLEDの許容最大電力に到達することを防止できるとともに、可視外光光源2Aの大型化も防止できる。
【0038】
但し、上記実施形態は本発明の一態様であり、本発明の趣旨を逸脱しない範囲において適宜変更可能であるのは勿論である。
例えば、上記実施形態では、シャッター期間Sを1/150秒としたが、シャッター期間Sは、これに限定されるものではなく、フレーム間隔F(1/30秒)以下であればよい。シャッター期間Sは、可視光画像(背景画像)と可視外光画像(蛍光画像)の光量バランスを最適化するように調整されるものであり、例えば、1/30秒、1/150秒、1/300秒、あるいは、1/1000秒であってもよい。また、上記実施形態では、フレーム間隔Fを1/30秒としたが、これに限定されるものではない。さらに、上記実施形態では、シャッター期間Sの終了タイミングがフレームの終了と一致していたが、シャッター期間Sの終了タイミングがフレームの終了と必ずしも一致する必要はない。
【0039】
また、上記実施形態では、イメージセンサ10Bは、画素Pごとに、赤(R)、緑(G)、青(B)、赤外光(Ir)をそれぞれ受光する受光素子11−14を備え、蛍光画像と可視光画像とを含むカラー画像を生成していたが、これに限定されるものではない。例えば、イメージセンサ10Bは、赤(R)、緑(G)、青(B)を受光する受光素子11−13と、赤外光(Ir)を受光する受光素子14とを別体に備え、可視光画像(背景画像)と可視外光画像(蛍光画像)とを生成し、これらを合算したカラー画像を生成してもよい。
【0040】
また、上記実施形態では、背景光として、撮像対象物で反射した可視光光源2B及び外乱光の可視光K2’を受光していたが、外乱光の可視光が十分な場合には、コントローラ20は可視光光源2Bを消灯してもよい。また、外乱光の可視光が十分な場合には、可視光光源2B並びに可視光用駆動回路22及び直流電源6を省略してもよい。これらの場合にも、外乱光の可視光の光出力に合わせて可視外光光源2Aの光出力を調整することで、可視光画像(背景画像)と可視外光画像(蛍光画像)の光量バランスを最適化できる。なお、外乱光がない場合には外乱光の分だけ光出力を上げて可視光光源2Bを点灯すればよい。
【0041】
また、上記実施形態では、シャッター期間Sを調整するユーザ操作可能な操作部4を設けたが、操作部4を設ける代わりに、コントローラ20が、可視光の受光量が白飛びを生じさせない最大量Vmax以上となるようにシャッター期間Sを調整してもよい。この場合には、可視光の受光量が最大量Vmaxを越えた旨を表示装置3に表示しなくてもよい。
【0042】
また、上記実施形態では、蛍光物質RとしてICGを例示したが、これに限るものではない。このとき、可視外光光源2Aには、そのときに用いられた蛍光物質を励起する励起光を放射するLEDを用いることは勿論である。
【0043】
また、上記実施形態では、光源装置2の光源にLEDを用いたが、光源は、LEDに限定されるものではなく、有機EL等の発光素子や、ランプ等であってもよい。
【0044】
また、上記実施形態では、撮像システムを、患部を撮像対象物とした医療用の撮像システム1として説明したが、これに限定されるものではなく、例えば、部品を撮像対象物とした産業用の撮像システムであってもよい。この場合、部品に紫外光の照射によって蛍光を発する蛍光物質を浸透させ、当該部品に紫外光及び可視光を照射するようにすればよい。これにより、部品に生じた亀裂等の欠陥を映し出す蛍光画像が、背景画像である可視光画像と合わせて出力されるので、部品の欠陥を可視化できる。
【0045】
また、特開2013−36889に示すように、撮像システムは、植物を撮像対象物とした農業用の撮像システムであってもよい。この場合、植物にクロロフィル及び/又は病原菌体を励起させる励起光と可視光とを照射するようにすればよい。これにより、クロロフィル及び/又は病原菌体による蛍光画像が、背景となる可視光画像と合わせて出力されるので、植物の感染状態を可視化できる。
【0046】
また、上記実施形態では、撮像システムは、可視光に関し、撮像対象物で反射した可視光を受光する反射型の撮像システム1として説明したが、撮像対象物を透過した可視光を受光する透過型の撮像システムであってもよい。この場合、点灯制御部23は、撮像対象物を透過した可視光、及び蛍光の各々の受光信号の強度の比が略等しくなる光出力で可視外光光源2Aを点灯すればよい。
【0047】
また、上記実施形態では、可視外光光源2Aの可視外光によって励起された蛍光を受光する蛍光型の撮像システム1として説明したが、撮像対象物で反射した可視外光光源2Aの可視外光を受光する反射型の撮像システムであってもよいし、また、撮像対象物を透過した可視外光を受光する透過型の撮像システムであってもよい。
また、上記実施形態では、可視外光に蛍光物質を励起する励起光を用いたが、撮像対象物に蛍光物質を含ませない場合には、可視外光は励起光でなくともよい。
図8は、撮像対象物に蛍光物質を用いず、可視外光を撮像対象物に透過させて受光する撮像システム100を示す図である。なお図8では、図1に示す撮像システム1と同一部分には同一の符号を付して説明を省略する。
この撮像システム100では、指Tを撮像対象物とし、光源装置2の可視外光光源2Aによって指Tの背面である非撮像対象面TAに可視外光K1(例えば、赤外光)を照射するとともに、光源装置2の可視光光源2Bによって指Tの腹面である撮像対象面TBに可視光K2を照射している。すなわち、可視外光光源2Aは非撮像対象面TA側に配置され、この可視外光光源2Aに対向するようにカメラ10が撮像対象面TB側に配置される。また、可視光光源2Bは撮像対象面TB側に配置される。なお、図8に示す撮像システム100の可視外光光源2A、可視光光源2B、非近赤外光カットフィルタ2C及びカメラ10は、図1に示す撮像システム1のものと配置位置のみが異なるため、同一の符号を付している。
カメラ10は、可視外光K1の透過光K1”と、可視光光源2Bの可視光K2及び外乱光の可視光K5による指Tの撮像対象面TBで反射した可視光K2’とを受光し、撮影データとしてコントローラ20に出力する。コントローラ20は、カメラ10の撮影データに基づいて、可視外光(赤外光)画像と、可視光画像とを生成し、それぞれを合わせて成るカラー画像を表示装置3に表示する。このカラー画像においては、指Tを肉眼で観察する場合と同様な可視光画像に、赤外部位(例えば、指Tの血管V)が重ねて表示されることとなる。図8の例では、点灯制御部23は、指Tで反射した可視光K2’、及び指Tを透過した透過光K1”の各々の受光信号の強度の比が略等しくなる光出力で可視外光光源2Aを点灯すればよい。図8の例でも、図1に示す撮像システム1と同様に、室内光源を通常通り点灯した状態で、外乱光及び可視光光源2Bの可視光の光出力に合わせて可視外光光源2Aの光出力を調整することで、可視光画像と可視外光画像の光量バランスを最適化できる。図8の例においても、外乱光の可視光が十分な場合には、コントローラ20は可視光光源2Bを消灯してもよく、また、可視光光源2B並びに可視光用駆動回路22及び直流電源6を省略してもよいことは当然である。
【符号の説明】
【0048】
1,100 撮像システム
2 光源装置(光源手段)
2A 可視外光光源(第2照明装置)
2B 可視光光源(第1照明装置)
4 操作部(調整手段)
10B イメージセンサ
20 コントローラ
23 点灯制御部(点灯制御手段)
F フレーム間隔
R 蛍光物質
S シャッター期間
T 撮像対象物
図1
図2
図3
図4
図5
図6
図7
図8
図9