特許 6236658 撮像システム及び撮像方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6236658

(24)【登録日】2017年11月10日

(45)【発行日】2017年11月29日

(54)【発明の名称】撮像システム及び撮像方法

(51)【国際特許分類】

   H04N 5/243 20060101AFI20171120BHJP

   H04N 5/232 20060101ALI20171120BHJP

   G03B 15/02 20060101ALI20171120BHJP

   G03B 15/05 20060101ALI20171120BHJP

【ＦＩ】

   H04N5/243

   H04N5/232

   G03B15/02 F

   G03B15/05

【請求項の数】13

【全頁数】14

(21)【出願番号】特願2013-30165(P2013-30165)

(22)【出願日】2013年2月19日

(65)【公開番号】特開2014-160919(P2014-160919A)

(43)【公開日】2014年9月4日

【審査請求日】2016年1月7日

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(73)【特許権者】

【識別番号】000227836

【氏名又は名称】日本アビオニクス株式会社

(73)【特許権者】

【識別番号】504176911

【氏名又は名称】国立大学法人大阪大学

(74)【代理人】

【識別番号】100077838

【弁理士】

【氏名又は名称】池田 憲保

(74)【代理人】

【識別番号】100129023

【弁理士】

【氏名又は名称】佐々木 敬

(72)【発明者】

【氏名】小田 直樹

(72)【発明者】

【氏名】須藤 孝行

(72)【発明者】

【氏名】大久保 修一

(72)【発明者】

【氏名】磯山 悟朗

(72)【発明者】

【氏名】加藤 龍好

(72)【発明者】

【氏名】入澤 明典

(72)【発明者】

【氏名】川瀬 啓悟

【審査官】 鹿野 博嗣

(56)【参考文献】

【文献】 特開平０７−０３８９０２（ＪＰ，Ａ）

【文献】 特表２００６−５２５７４７（ＪＰ，Ａ）

【文献】 特開平１０−２２４６３６（ＪＰ，Ａ）

【文献】 特開２００８−３０４８０９（ＪＰ，Ａ）

【文献】 特開２００４−００７４０２（ＪＰ，Ａ）

【文献】 国際公開第２００５／０４３９２４（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２４３

Ｇ０３Ｂ １５／０２

Ｇ０３Ｂ １５／０５

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

光源からの光を撮像対象物に照射する第１の光学系と、
前記撮像対象物からの反射光あるいは透過光を撮像手段に入射する第２の光学系と、
前記光源のON/OFFを繰り返すように制御する制御手段と、
前記光源のON/OFFを繰り返して複数フレームにわたる時系列画像データを取得し、各画素の時系列画素データのうちの最大画素強度を各画素の画素データとして割り当てることにより、前記光源がON時のON画像データを得る処理手段とを有し、
前記処理手段は、前記ON画像データから、前記時系列画素データのうちの最小画素強度を各画素の画素データとして割り当てて得られる前記光源がOFF時のOFF画像データを差し引くことにより、ロックイン差分画像データを構築し、
前記撮像手段が画像を撮像及び更新するフレーム周期と、前記光源のON/OFFの周期は整数倍の関係を満たさないことを特徴とする撮像システム。

【請求項2】

光源からの光を撮像対象物に照射する第１の光学系と、
前記撮像対象物からの反射光あるいは透過光を撮像手段に入射する第２の光学系と、
前記光源のON/OFFを繰り返すように制御する制御手段と、
前記光源のON/OFFを繰り返して複数フレームにわたる時系列画像データを取得し、各画素の時系列画素データのうちの最大画素強度を各画素の画素データとして割り当てることにより、前記光源がON時のON画像データを得る処理手段とを有し、
前記処理手段は、前記ON画像データから、前記時系列画素データのうち所定の画素強度より低い画素データの平均画素強度を各画素の画素データとして割り当てて得られる前記光源がOFF時のOFF画像データを差し引くことにより、ロックイン差分画像データを構築し、
前記撮像手段が画像を撮像及び更新するフレーム周期と、前記光源のON/OFFの周期は整数倍の関係を満たさないことを特徴とする撮像システム。

【請求項3】

前記光源は自由電子レーザ発光装置であり、
前記制御手段には商用電源が接続されており、
前記制御手段は、前記商用電源の周波数を利用して前記光源から照射される光の発光周期を制御することを特徴とする請求項１または２に記載の撮像システム。

【請求項4】

前記撮像手段はカメラセンサを有し、
前記光源の発光パルス幅は、前記カメラセンサの時定数よりも短いことを特徴とする請求項３に記載の撮像システム。

【請求項5】

前記自由電子レーザ発光装置が照射する光はテラヘルツ光であり、
前記テラヘルツ光の発光パルス幅はμｓのオーダーであり、前記カメラセンサの時定数はｍｓのオーダーであることを特徴とする請求項４に記載の撮像システム。

【請求項6】

前記処理手段は、前記撮像手段に接続された画像処理装置であることを特徴とする請求項１から５のいずれか１項に記載の撮像システム。

【請求項7】

前記処理手段は、前記撮像手段の内部に設けられていることを特徴とする請求項１から５のいずれか１項に記載の撮像システム。

【請求項8】

光源からの光を撮像対象物に照射する第１の光学系と、
前記撮像対象物からの反射光あるいは透過光を撮像手段に入射する第２の光学系と、
全画素の画素強度が、前記光が前記撮像対象物に照射された後１フレーム時間以内に読み出された画素強度となる１枚の画像データをON画像データとして取得し、前記光源がOFF時のOFF画像データと前記ON画像データとを用いて、前記撮像手段のセンサ熱時定数による出力減少を補正して画像データを構築する処理手段とを有し、
前記センサ熱時定数による出力減少の補正は、画素ごとに前記ON画像データと前記OFF画像データとの差分を取ることにより行い、
前記撮像手段が画像を撮像及び更新するフレーム周期と、前記光源のON/OFFの周期は整数倍の関係を満たさないことを特徴とする撮像システム。

【請求項9】

前記ON画像データは、外部トリガを用いることにより取得されることを特徴とする請求項８に記載の撮像システム。

【請求項10】

光源から所定の光を撮像対象物に対して照射し、
前記撮像対象物からの反射光又は透過光を撮像手段に入射し、
前記光源のON/OFFを繰り返して、複数のフレームにわたる時系列画像データを所定枚数だけ取得し、
各画素に対して、前記取得した所定枚数の時系列画像データから画素強度が最大の最大画素強度を選択し、
各画素に対する前記最大画素強度に基づいて、１枚の最終画像データを前記光源がON時のON画像データとして構築し、
前記ON画像データから、前記時系列画素データのうちの最小画素強度を各画素の画素データとして割り当てて得られる前記光源がOFF時のOFF画像データを差し引くことにより、ロックイン差分画像データを構築し、
前記撮像手段が画像を撮像及び更新するフレーム周期と、前記光の発光周期とは整数倍の関係を満たさないことを特徴とする撮像方法。

【請求項11】

前記取得すべき画像データの所定枚数は、前記光の発光周期と前記フレーム周期により決定されることを特徴とする請求項１０に記載の撮像方法。

【請求項12】

光源から所定の光を撮像対象物に対して照射し、
前記撮像対象物からの反射光又は透過光を撮像手段に入射し、
全画素に対して、光照射経過からの経過時間が１フレーム周期以下となる前記光源がON時のON画像データを取得し、
前記光源をOFFにすることによりOFF画像データを取得し、
画素毎に、前記ON画像データと前記OFF画像データとの差分を取ることにより画素振幅を算出して、前記画素振幅の減衰比を補正することを特徴とする撮像方法。

【請求項13】

前記ON画像データは、外部トリガを用いることにより取得されることを特徴とする請求項１２に記載の撮像方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像システム及び撮像方法に関し、特に、光源のON/OFFに必ずしも正確に同期して撮像を行わなくても本来の画像を構築できる撮像システム及び撮像方法に関する。

【背景技術】

【0002】

最近、光源のON/OFFに同期させて画像を取得するロックインイメージング技術が開発されている。これに関連する技術として、例えば、特開２０１２−２０５２１７号公報（特願２０１１−７００５８号、以下、特許文献１という）、N. Oda等、Proceedings of SPIE, Vol.8496-25 (2012) in press（以下、非特許文献１という）がある。

【0003】

特許文献１は、光源およびカメラを備え、両者の間の光路中に測定対象を置く撮像装置に関し、特に、光源のON/OFFと同期させて測定対象の撮像を行う撮像装置に関する。

【0004】

このように、特許文献１は、光源およびカメラを備え、両者の間の光路中に測定対象を置く撮像装置であり、この撮像装置において、光源のON/OFFに同期させて測定対象の撮像（所謂、ロックイン撮像）を行うことにより、光源以外の輻射による画像を除去することができると共に、１／ｆノイズのような低周波ノイズを相殺する。

【0005】

図２を参照して、特許文献１に記載のロックインイメージング技術の一例について説明する。

【0006】

テラヘルツ（THz）カメラ100のフレームレートを決めるSync信号101を分周器102に入力して2ⁿ（n=1, 2,…）分周する。nの選択については、図示していないが、ディップスイッチのようなもので切り換える。分周された同期信号103を量子カスケードレーザ（QCL）と呼ばれるTHz光源104のコントローラ105の中の論理積回路106に入力し、高圧パルス電源107からのパルス108と論理積（AND）を取ってQCL駆動パルス109を作る。

【0007】

駆動パルス109は駆動回路110に入力されて光源104をON/OFFし、サンプル111にTHz波112を照射する。サンプル111で反射されたTHz波112は、THzカメラ100で検出され画像化される。ここでは、反射モードの配置を示したが、THz波がサンプルを透過するモードの配置でも構わない。

【0008】

カメラ100により取得されたデータは、画像データ取得装置113に入力される。画像データ取得装置113内のCPU114がバッファー115に、THz光源104のON期間中の画像データ、OFF期間中の画像データおよびこれらの差画像のデータを格納する。位相補償回路116は、THzカメラ100の内部の回路による位相のずれを補償することによって、THz光源104のON/OFFのタイミングに合わせて画像を取得する役割を果たしている。

【0009】

このようにして取得されたロックイン画像200を図３に示す。

【0010】

これは透過モードで取得した画像で、サンプル111は紙の下に頭髪を置いたものである。周波数2THzの量子カスケードレーザの光源104を、ロックイン周波数3.75HzでON/OFFしてサンプル111に照射し、透過したTHz波112をTHzカメラ100で撮像したものである。撮像時の諸元は、フレーム積分4回、空間フィルター3x3画素である。頭髪による吸収画像201が観測されている。同心円状のパターン202は量子カスケードレーザの高いコヒーレンシによる光学系内部での干渉に起因すると考えられる。

【先行技術文献】

【特許文献】

【0011】

【特許文献1】特開２０１２−２０５２１７号公報

【非特許文献】

【0012】

【非特許文献1】N. Oda等、Proceedings of SPIE, Vol.8496-25 (2012) in press

【発明の概要】

【発明が解決しようとする課題】

【0013】

しかしながら、上記特許文献１に記載のロックインイメージング技術を、加速器から発生するTHz光源に適用すると、同期が取れず正しい画像を取得することができないという問題が発生する。以下に、その例を挙げて、理由を説明し課題を明らかにする。

【0014】

加速器のような大型の装置、例えば大阪大学産業科学研究所の自由電子レーザー（FEL：Free Electron Laser）装置は、交流電源の周波数60Hzを利用して、同装置から輻射されるTHz光源の周期やデューティーサイクル等を制御している。以降、この光源をTHz-FELと呼ぶ。

【0015】

一方、NECの製品であるTHzカメラ（IRV-T0831）では、カメラ内部の回路でフレームレートの周波数を発生させており、THz-FEL光源の周期とカメラのフレームレートの間に微妙な差が生ずる。THz-FEL装置では交流電源の60Hzを用いて10Hzの周期でTHz波が輻射されている。

【0016】

これに対して、カメラのフレームレートは内部の発振器で作られており、59.75Hzと60Hzから少しずれている。このような条件下で取得した画像の幾つかを図４に示す。

【0017】

一見同期が取れたかのような画像300が、位相が段々ずれていくことにより、信号強度が部分的に弱くなった画像301になったり、全体の信号強度が小さい画像302になったりするため、光源がON時に得られるべき画像、光源がOFF時に得られるべき画像を明確に区別することができず、正確なロックイン画像を得ることができないという問題が生じる。特に、この問題は、光源がONとなる時間がセンサの時定数に比べて極端に短い場合に顕著となる。

【0018】

本発明の目的は、光源の発光の周期とカメラのフレーム周期が少しずれている（整数倍の関係にならない）場合に、非同期で取得した画像信号を元に本来の画像信号を再生（構築）可能な撮像システム及び撮像方法を提供することにある。

【課題を解決するための手段】

【0019】

本発明に係る撮像システムは、
光源からの光を撮像対象物に照射する第１の光学系と、
前記撮像対象物からの反射光あるいは透過光を撮像手段に入射する第２の光学系と、
前記光源のON/OFFを繰り返すように制御する制御手段と、
前記光源のON/OFFを繰り返して複数フレームにわたる時系列画像データを取得し、各画素の時系列画素データのうちの最大画素強度を各画素の画素データとして割り当てることにより、前記光源がON時のON画像データを得る処理手段とを有することを特徴とする。

【0020】

また、本発明に係る撮像システムは、
光源からの光を撮像対象物に照射する第１の光学系と、
前記撮像対象物からの反射光あるいは透過光を撮像手段に入射する第２の光学系と、
全画素の画素強度が、前記光が前記撮像対象物に照射された後１フレーム時間以内に読み出された画素強度となる１枚の画像データをON画像データとして取得し、前記光源がOFF時のOFF画像データと前記ON画像データとを用いて、前記撮像手段のセンサ熱時定数による出力減少を補正して画像データを構築する処理手段とを有することを特徴とする。

【0021】

また、本発明に係る撮像方法は、
光源から所定の光を撮像対象物に対して照射し、
前記撮像対象物からの反射光又は透過光を撮像手段に入射し、
前記光源のON/OFFを繰り返して、複数のフレームにわたる時系列画像データを所定枚数だけ取得し、
各画素に対して、前記取得した所定枚数の時系列画像データから画素強度が最大の最大画素強度を選択し、
各画素に対する前記最大画素強度に基づいて、１枚の最終画像データを前記光源がON時のON画像データとして構築することを特徴とする。

【0022】

また、本発明に係る撮像方法は、
光源から所定の光を撮像対象物に対して照射し、
前記撮像対象物からの反射光又は透過光を撮像手段に入射し、
全画素に対して、光照射経過からの経過時間が１フレーム周期以下となる前記光源がON時のON画像データを取得し、
前記光源をOFFにすることによりOFF画像データを取得し、
画素毎に、前記ON画像データと前記OFF画像データとの差分を取ることにより画素振幅を算出して、前記画素振幅の減衰比を補正することを特徴とする。

【0023】

また、本発明に係る撮像方法は、
光源からの光を撮像対象物に照射し、
前記撮像対象物からの反射光あるいは透過光を撮像手段に入射し、
前記光源のON/OFFの周期と前記撮像手段のフレーム周期とが同期していない状態で、前記光源がON時の最終画像データを得ることを特徴とする。

【発明の効果】

【0024】

本発明によれば、光源のON/OFFの周期とカメラのフレーム周期とが同期していなくても（つまり、整数倍の関係にない場合でも）、本来得るべき画像を構築することができる。特に、本発明によれば、光源の発光期間がカメラセンサの時定数に比べて極端に短い場合に特に顕著な効果を奏する。

【図面の簡単な説明】

【0025】

【図1】本発明の実施の形態に係る撮像システムの構成を示す図である。

【図2】特許文献１に記載の撮像システムの構成の一例を説明する図である。

【図3】特許文献１に記載の撮像システムで得られた画像の一例を示す図である。

【図4】特許文献１に記載の撮像システムで得られた画像の一例を示す図である。

【図5】自由電子レーザ発光装置から照射されるテラヘルツ光の発光タイミングとカメラの撮像タイミングの関係を示す図である。

【図6】本発明の実施の形態による画像構築の手順を説明するための図である。

【図7】自由電子レーザ発光装置から照射されるテラヘルツ光を観察して得られた複数フレームにわたる画素データの時系列変化を示す図である。

【図8】本発明の実施の形態により得られる画像の一例を示す図である。

【図9】特許文献１に記載の撮像システムで得られた画像の一例を示す図である。

【図10】特許文献１に記載の撮像システムにより得られる差分画像の一例を示す図である。

【図11】本発明の実施の形態により得られる差分画像の一例を示す図である。

【図12】画素読出しにかかる時間とセンサ時定数を考慮して画素強度を補正する手順を説明するための図である。

【図13】本発明の実施の形態により得られる画像の一例を示す図である。

【発明を実施するための形態】

【0026】

以下、図面を参照しながら、本発明の実施の形態について詳細に説明する。

【0027】

まず、図１を参照して、本発明の実施の形態の概要について説明する。ここで、図１は、本発明の実施の形態に係る撮像システムの構成を示す図である。

【0028】

図１に示すように、撮像システム１０００は、商用電源１、商用電源１に接続された制御回路２、制御回路２に接続された自由電子レーザ発光装置（光源）３、サンプル（撮像対象物）５、テラヘルツカメラ（撮像手段）６、テラヘルツカメラ６に接続された画像処理装置８を有する。そして、自由電子レーザ発光装置３からの光をサンプル５に照射する第１の光学系と、サンプル５からの反射光あるいは透過光をテラヘルツカメラ６に入射する第２の光学系とを有する。

【0029】

このような構成の下、商用電源１の周波数（例えば60 Hz）を制御回路２で分周した周波数に応じて、自由電子レーザ発光装置３から照射されるテラヘルツ光４の発光の周期が制御される。例えば、６分周の場合には、図２に示すように100ms(10 Hz)の周期となる。テラヘルツ光４の発光パルス幅はμsのオーダーであり、テラヘルツセンサの時定数約17 msやカメラのフレームレート約16msと比べて極端に短い。

【0030】

サンプル５で反射されたテラヘルツ光４はテラヘルツカメラ６に入射し、テラヘルツカメラ６で取得された画像データ７はUSBなどのI/Fを介してパソコン等の画像処理装置８へ供給される。本実施の形態で使用したテラヘルツカメラ６のフレームレートは59.75 Hz、有効画素数は３２０×２４０であった。

【0031】

画像処理装置８への画像データ転送レートはテラヘルツカメラ６のフレームレートの1/2（取得した画像データのうち、２枚に１枚を転送）とした。ここで、画像データ転送レートをテラヘルツカメラ６のフレームレートの1/2としたのは、画像処理装置８の処理負荷を軽減してデータの欠落を防ぐためである。処理性能が十分に高い画像処理装置８であれば、画像データの転送レートを意図的に低減する必要はない。また、画像データの転送レートはテラヘルツカメラ６のフレームレートの1/2であっても、テラヘルツ光４の発光の周期より速いのでデータ取得上問題はない。

【0032】

また、図１における画像処理装置８は必須の構成要件ではなく、将来的にテラヘルツカメラ６の性能が向上すれば、画像処理装置８が担っている複数フレームにわたる画像処理をテラヘルツカメラ６の内部で行っても良い。

【0033】

図１の撮像システム１０００では、サンプル５で反射されたテラヘルツ光４がテラヘルツカメラ６に入射するように構成されているが、サンプル５から透過されたテラヘルツ光４がテラヘルツカメラ６に入射するように構成しても良い。

【0034】

（第１の実施形態）
次に、本発明の第１の実施の形態について詳細に説明する。

【0035】

図１に示した実施の形態の構成において、画像データを複数フレームにわたって時系列に取得すると、テラヘルツ光４の発光の周期がテラヘルツカメラ６のフレームレートの約１／６であるため、テラヘルツカメラ６で取得される画像データ６枚のうち１枚、画像処理装置８に転送される画像データ３枚のうち１枚に、テラヘルツ光４が照射された画像データが含まれることになる。これ以降、簡単のため、画像処理装置８に転送される画像データを代表して”画像データ”と呼ぶこととする。また、フレームやフレームレートはテラヘルツカメラ６本体が取得する画像に対して定義することとする。

【0036】

本実施の形態では、３枚に１枚、テラヘルツ光４が照射された画像データが得られるものの、毎回同じ画像データが得られるわけではない。この理由を以下に説明する。

【0037】

フレームレートがテラヘルツ光４の発光の周期の逆数（以降、発光周波数と呼ぶ）の整数倍ではないため、図５に示すように、テラヘルツ光４の発光タイミングと画素強度読出タイミングが時間経過と共にずれていってしまう。画像データはフレーム周期（16.74 ms）の時間をかけて左上の画素強度から右下の画素強度まで順次読み出されるのに対し、テラヘルツ光４の発光パルス幅はフレーム周期に比べて非常に短い。その結果、例えば、パルス（A）が照射されるタイミングで読み出される画像データでは、半分以上の画素に対する画素強度がパルス未照射の状態で読み出されてしまうことがある。また、パルス（C）が照射されるタイミングで読み出される画像データでは、全ての画素に対する画素強度がパルス照射後に読み出されるものの、パルス幅が極端に短いため、ほとんど全ての画素強度はパルス照射終了から一定時間経過した状態で、かつ、画素毎にその経過時間が異なる状態で読み出されることになる。

【0038】

テラヘルツセンサの過渡応答出力はセンサ時定数にしたがって指数関数的に減少するので、読出しまでの経過時間が長い画素、すなわち、読み出される順番が遅い画素（下側の画素）ほど、パルス照射終了直後に比べてより減少した強度が読み出されることになってしまう。このため、仮に複数フレームにわたる画像データを取得したとしても、全ての画素強度が観測すべき正しい強度、すなわち、パルス照射直後の画素強度となっている画像データは１枚も存在しない。

【0039】

図６を参照しながら、本発明の第１の実施形態における本来観測すべき画像データを得る手順について説明する。

【0040】

まず、複数フレームの時系列画像データを取得する（ステップ６０１）。本実施の形態では２４０枚の画像データを取得する。

【0041】

次に、画素毎にステップ６０１で取得した２４０枚の画像データから、各画素に対して２４０個の画素強度のうちの最大値を選択し、その画素の画素強度とする（ステップ６０２）。

【0042】

最後に、ステップ６０２で求めた最大値をもとに１枚の画像データを構築し、最終画像（ON画像）とする（ステップ６０３）。

【0043】

有効画素数320×240の場合、画像の左上画素座標を(1,1)、右下画素座標を(320,240)として、2n-1フレーム目に取得された(i,j)画素座標の画素強度をPix(i,j,2n-1)とすると、最終画像（ON画像）を構成する画素の画素強度Pix_f_ON(i,j)は、
Pix_f_ON(i,j) =Pix_max(i,j)=max(Pix(i,j,2n-1),n=1〜240)・・・・・（式１）
となる。ここで、式１中で、max( )は、( )内の値の最大値を選択することを意味している。

【0044】

ステップ６０１で必要な画像データ数（nの上限値である240、フレーム数はデータ数の２倍）は、テラヘルツ光４の発光周期、フレームレートにより決定される。本実施の形態では、テラヘルツ光４のパルス発光タイミングはテラヘルツカメラ６の画像データ読み出し開始時刻に対して１パルス照射ごとに約422 μsずつずれる。これは、テラヘルツ光発光周期0.1 s（10 Hz）に対し、テラヘルツカメラ６の６フレーム周期が0.100422s（59.749/6 Hz）となっているためである。画像データが読み出される周期は33.47 ms（59.749/2 Hz）であるので、33.47 ms/422 μs〜80パルス照射分の画像データ、すなわち、パルスOFF時の画像データも含めて連続で3×80=240枚の画像データを取得すれば、240枚の画像データのいずれかには、ある１画素に着目した場合のパルス照射直後の画素強度が含まれることになる。

【0045】

仮に、テラヘルツカメラ６で取得した画像データを全て画像処理装置８に転送する場合を想定すると、画像データが読み出される周期は16.74msであるので、16.74 ms/422 μs〜40パルス照射分の画像データ、すなわち、パルスOFF時の画像データも含めて連続で6×40=240枚の画像データを取得すれば、240枚の画像データのいずれかには、ある１画素に着目した場合のパルス照射直後の画素強度が含まれることになる。必要な画像データの枚数は、画像処理装置８への転送レートに依存せず、テラヘルツ光４の発光周期、テラヘルツカメラ６のフレームレートにより決定される（本実施の形態の構成であれば２４０枚）。

【0046】

テラヘルツ光４の発光周波数10 Hz、発光パルス幅5 μsの条件において取得した画像データのうち、代表例として、座標(162,108), (162, 115), (162, 143) の３画素の画素データ時系列変化を図７に示す。

【0047】

画素毎に最大値を示すフレーム（図７の横軸はフレーム数ではなく、数式１におけるｎ：データインデックスとしている）が異なっており、全画素がテラヘルツ光照射直後の画素強度となる画像データを１枚の画像データからは取得できないことが分かる。本実施形態に用いたテラヘルツカメラ６では1行分の画素データを読み出すのに約62.7 μsの時間が必要であるため、ある画素(i,j)を基準に考えた場合、7行前の画素(i,j-7)が読み出されるのは62.7×7=440 μs〜422μs前となる。したがって、(i,j)画素がテラヘルツ光照射直後に読み出された場合、次のテラヘルツ光照射直後に読み出されるのは、テラヘルツ光４の発光周期を制御する商用電源１の周波数がテラヘルツカメラ６のフレームレートより少し早いため、(i,j-7)画素及びその周囲の画素となる。

【0048】

図７から分かるように、この関係を反映して、(162,115)画素が最大となるタイミングは(162,108)画素が最大となるタイミングから６フレーム前（画像データとして３枚前）、(162,143)画素が最大となるタイミングは(162,108)画素が最大となるタイミングから３０フレーム前（画像データとして１５枚前）となっている。

【0049】

画素毎に２４０フレーム中の最大値を割り当てて得られた画像データを図８に示す。

【0050】

特許文献１に記載の撮像システムで得られた図９の画像データに比べて画像のコントラストが改善されていることが分かる（図８の画素最大値は７３００であり、図９の画素最大値は６６００である）。また、中心部の画像において、より微細な強度分布が確認できるようになっていることが分かる。なお、図９の画像は図４における画像３００を比較のために拡大表示し直したものである。

【0051】

（第２の実施の形態）
次に、本発明の第２の実施の形態について詳細に説明する。

【0052】

センサを含めた撮像システムが持つ固定ノイズ（有色ノイズ）を軽減する手法として、特許文献１で説明したロックインイメージング技術が知られている。

【0053】

第１の実施の形態で用いた撮像条件では、画素毎にテラヘルツ光４が照射されるタイミングが異なるため、ある１枚の画像をON画像として選択し、その画像から所定時間経過後（本実施の形態では、テラヘルツ光４が照射されるフレーム間隔が６フレームであるので、４フレーム後をテラヘルツ光OFFとする）の画像をOFF画像として選択して、ロックイン演算を行ったとしても画質を改善することはできない。

【0054】

例として、図４の画像データ３００をON画像とし、その４フレーム後に取得した画像データをOFF画像として得たロックイン画像を図１０に示す。このロックイン画像では、図４の画像に比べてさらに画像の細かな形状が失われてしまい、差分演算により却って画像が劣化してしまうことが分かる。

【0055】

第２の実施の形態では、第１の実施の形態で取得した２４０枚の画像データに対して、テラヘルツ光４がOFFの時の画像データ（OFF画像）を構成する画素の画素強度Pix_f_OFF(i,j)を、
Pix_f_OFF(i,j)=Pix_min(i,j)=min(Pix(i,j,2n-1),n=1〜240)・・・・・（式２）
により求めた。ここで、式２において、min( )は、( )内の値の最小値を選択することを意味している。最小値に相当するのは、テラヘルツ光照射から少なくとも５フレーム以上（ほぼ６フレーム）経過した時点での画素強度であり、テラヘルツ光照射の影響はほとんどない。第１の実施の形態で得たON画像から、第２の実施の形態で得たOFF画像を差し引いて得たロックイン画像を図１１に示す。図１０とは異なって画像が劣化することはなく、図８の画像をほぼ再現できていることが分かる。

【0056】

以上、ON画像における画素強度を画素の最大値、OFF画像における画素強度を画素の最小値として割り当てる手法について説明してきた。

【0057】

更に、時系列に得られるデータの平均値を用いてシステムの白色ノイズを低減することも可能である。OFF画像であれば、Pix(i,j,2n-1):(n=1〜240)のうち、例えば、以下の式３を用いて、ある条件を満たすデータについて平均を取ることができる。
Pix(i,j,2n-1)≦min(Pix(i,j,2n-1), n=1〜240)+Δ・・・・・（式３）

【0058】

ここで、式３において、例えばΔは、カメラの検出性能からON画像内の画素強度振幅の1/100程度に設定を満たす画素データ間の平均値によりOFF画像における画素強度を得ても良い。

【0059】

ON画像については、計測時間を長くして、例えば９６０枚の画像データを取得し、２４０枚単位で画素毎の局所最大強度を求め、４つ（960/240=4）の局所最大強度の平均値をPix_f_ON(i,j)としても良い。このように平均化したON画像とOFF画像の差を取ることにより信号雑音比がより高い画像を得ることができる。

【0060】

（第３の実施の形態）
次に、本発明の第３の実施の形態について詳細に説明する。

【0061】

上記第１及び第２の実施の形態では、複数枚（240枚）の画像データを用いて画像を構築する手法について説明した。第３の実施の形態では、光源照射時の１枚の画像データから本来得るべき画像を構築する。

【0062】

図１２を参照して、第３の実施の形態について説明する。図１２は、画素読出しにかかる時間とセンサ時定数を考慮して画素強度を補正する手順を説明するための図である。

【0063】

まず、外部トリガ等を用いることにより、全画素に対してテラヘルツ光照射経過からの経過時間が１フレーム周期以下となるON画像データを取得する（ステップ１２１）。

【0064】

次に、テラヘルツ光４をOFFとして、OFF画像データを取得する（ステップ１２２）。

【0065】

次に、画素毎に、ステップ１２１で取得されたON画像データとステップ１２２で取得されたOFF画像データの差分により画素振幅を算出し、読出しに要する時間による画素振幅減衰比を補正する（ステップ１２３）。

【0066】

ステップ１２３で求められる画素振幅をI(i,j)、撮像開始から(i,j)画素が読み出されるまでの経過時間をT(i,j)、センサ時定数をτとすると、求めるべき画素強度I_c(i,j)は
I_c(i,j)=I(i,j)×exp(T(i,j)/τ）・・・・・（式４）
で表される。

【0067】

本手法により求めたI_c(i,j)からなる画像を図１３に示す。

【0068】

図１に近い画像が再現できていることが分かる。なお、式４ではノイズ成分も含めて強度補正が行われるため、図８あるいは図１１の画像の方が画像のS/Nとしては良好であるが、本手法では、処理する画像データが少なくとも２枚あれば良いという利点がある。

【0069】

上述のように、本発明の実施の形態では、光源、カメラ、該光源からの光をサンプルに照射する光学系、該サンプルからの反射光あるいは透過光を該カメラに入射する光学系を含む撮像システムにおいて、前記光源のON/OFFを繰り返して複数フレームにわたる画像データを取得し、各画素の時系列画素データのうちの最大強度を各画素の画素データとして割り当てることにより、光源がON時のON画像データを得る。

【0070】

また、本発明の他の実施の形態では、前記ON画像データから、前記時系列画素データのうちの最小強度を各画素の画素データとして割り当てて得られる、光源がOFF時のOFF画像データを差し引くことで、ロックイン差分画像データを構築することを特徴とする。

【0071】

また、本発明の他の実施の形態では、前記ON画像データから、前記時系列画素データのうち、所定値より低い画素データの平均値を各画素の画素データとして割り当てて得られる、光源がOFF時のOFF画像データを差し引くことで、ロックイン差分画像データを構築する。

【0072】

また、本発明の他の実施の形態では、光源、カメラ、該光源からの光をサンプルに照射する光学系、該サンプルからの反射光あるいは透過光を該カメラに入射する光学系を含み、全画素の画素強度が、前記光源からの光が前記サンプルに照射された後１フレーム時間以内に読み出された画素強度となる１枚の画像データをON画像データとして取得し、光源がOFF時のOFF画像データと該ON画像データとを用いて、センサ熱時定数による出力減少を補正して画像データを構築する。

【0073】

本発明の実施の形態によれば、光源のON/OFFの周期とカメラのフレーム周期とが同期していなくても（整数倍の関係に無い場合でも）本来得るべき画像を構築することができる。特に、本発明によれば、光源の発光期間がカメラセンサの時定数に比べて極端に短い場合に特に顕著な効果を奏する。

【0074】

以上、本発明の実施の形態について具体的に説明したが、本発明は上述の実施形態に限定されるものではなく、本発明の技術的思想に基づく各種の変形が可能である。

【符号の説明】

【0075】

1 商用電源
2 制御回路
3 自由電子レーザ発光装置
4 テラヘルツ光
5 サンプル
6 テラヘルツカメラ
7 画像データ
8 画像処理装置
100 THzカメラ
101 Sync信号
102 分周器
103 分周された同期信号
104 THz光源
105 THz光源のコントローラ
106 論理積回路
107 高圧パルス電源
108 高圧パルス電源からのパルス
109 QCL駆動パルス
110 駆動回路
111 サンプル
112 THz波
113 画像データ取得装置
114 CPU
115 バッファー
116 位相補償回路
200 THz画像
201 頭髪による吸収画像
202 同心円状のパターン
300 一見同期が取れたかのような画像
301 信号強度が部分的に弱くなった画像
302 全体の信号強度が小さい画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】