特許 6384594 画像処理装置、撮像装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6384594

(24)【登録日】2018年8月17日

(45)【発行日】2018年9月5日

(54)【発明の名称】画像処理装置、撮像装置及びプログラム

(51)【国際特許分類】

   H04N 5/238 20060101AFI20180827BHJP

   H04N 5/225 20060101ALI20180827BHJP

   H04N 5/232 20060101ALI20180827BHJP

   H04N 9/07 20060101ALI20180827BHJP

【ＦＩ】

   H04N5/238

   H04N5/225 600

   H04N5/232 290

   H04N9/07 A

   H04N5/225 500

【請求項の数】25

【全頁数】25

(21)【出願番号】特願2017-510100(P2017-510100)

(86)(22)【出願日】2016年3月30日

(86)【国際出願番号】JP2016060384

(87)【国際公開番号】WO2016159073

(87)【国際公開日】20161006

【審査請求日】2017年6月15日

(31)【優先権主張番号】特願2015-73351(P2015-73351)

(32)【優先日】2015年3月31日

(33)【優先権主張国】JP

(31)【優先権主張番号】特願2015-110125(P2015-110125)

(32)【優先日】2015年5月29日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000004112

【氏名又は名称】株式会社ニコン

(74)【代理人】

【識別番号】110000877

【氏名又は名称】龍華国際特許業務法人

(72)【発明者】

【氏名】船水 航

(72)【発明者】

【氏名】大木 裕史

(72)【発明者】

【氏名】青木 滋

(72)【発明者】

【氏名】大河内 直紀

(72)【発明者】

【氏名】高木 徹

(72)【発明者】

【氏名】手塚 洋二郎

(72)【発明者】

【氏名】中西 奏太

【審査官】 鹿野 博嗣

(56)【参考文献】

【文献】 特開２０１０−１７２６３８（ＪＰ，Ａ）

【文献】 特開平７−２４６１８５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３８

Ｈ０４Ｎ ５／２２５

Ｈ０４Ｎ ５／２３２

Ｈ０４Ｎ ９／０７

(57)【特許請求の範囲】

【請求項1】

複数の変調周波数または変調周波数帯で強度変調された光が照射された被写体が時間的に異なって撮像された複数の画像を取得する画像取得部と、
前記複数の画像の画素値を、前記複数の変調周波数または変調周波数帯に基づく複数の復調周波数または復調周波数帯で画素毎に復調することによって、前記複数の変調周波数または変調周波数帯で強度変調された光のそれぞれによる前記被写体からの被写体光量を示す複数の画素情報を画素毎に生成する復調部と
を備える画像処理装置。

【請求項2】

前記復調部は、前記複数の画像の画素値に対して、前記複数の変調周波数または変調周波数帯を復調周波数または復調周波数帯として画素毎に復調する
請求項１に記載の画像処理装置。

【請求項3】

前記復調部が前記複数の変調周波数または変調周波数帯のうちの少なくとも１つの変調周波数または変調周波数帯で復調することによって得られた画素情報を周波数解析することにより、前記被写体の時間的な変化の周波数を特定する変化周波数特定部
をさらに備え、
前記復調部はさらに、前記複数の画像の画素値を、前記複数の変調周波数または変調周波数帯のうち少なくとも１つの変調周波数と前記被写体の時間的な変化の周波数との和及び差の少なくとも一方の周波数を用いて、前記被写体の時間的な変化を表す画素情報を生成する
請求項１または２に記載の画像処理装置。

【請求項4】

前記複数の変調周波数または変調周波数帯で強度変調された光のうちの少なくとも１つの光の強度変化の位相と、前記複数の画像がそれぞれ撮像された位相との間の位相差を示す情報を取得する位相差情報取得部
をさらに備える
請求項１から３のいずれか１項に記載の画像処理装置。

【請求項5】

前記画像取得部は、前記複数の変調周波数または変調周波数帯で強度変調された、複数の波長域の光が照射された前記被写体が撮像された前記複数の画像を取得する
請求項１から４のいずれか１項に記載の画像処理装置。

【請求項6】

前記複数の波長域は、可視領域に属する第１の色成分の波長域、可視領域に属する第２の色成分の波長域、及び、可視領域に属する第３の色成分の波長域を含み、
前記複数の画像は、第１の変調周波数または変調周波数帯で強度変調された前記第１の色成分の波長域の光、第２の変調周波数または変調周波数帯で強度変調された前記第２の色成分の波長域の光、及び、第３の変調周波数または変調周波数帯で強度変調された前記第３の色成分の波長域の光が照射された被写体の画像であり、
前記復調部は、
各画素について前記複数の画像の画素値を第１の復調周波数または復調周波数帯で復調することによって前記第１の色成分の画素情報を各画素について生成し、各画素について前記複数の画像の画素値を第２の復調周波数または復調周波数帯で復調することによって前記第２の色成分の画素情報を各画素について生成し、各画素について前記複数の画像の画素値を第３の復調周波数または復調周波数帯で復調することによって前記第３の色成分の画素情報を各画素について生成する
請求項５に記載の画像処理装置。

【請求項7】

前記画像取得部は、前記複数の変調周波数または変調周波数帯で強度変調され、波長域が一致する光が照射された被写体が撮像された複数の画像を取得する
請求項１から４のいずれか１項に記載の画像処理装置。

【請求項8】

前記復調部は、各画素について前記複数の画像の画素値を前記複数の復調周波数または復調周波数帯で復調することによって、前記複数の画素情報を各画素について生成し、
前記画像処理装置は、
前記復調部によって生成された各画素の前記複数の画素情報に基づいて、前記複数の変調周波数で強度変調された光のそれぞれによる前記被写体からの光による画像を生成する画像生成部
をさらに備える請求項１から７のいずれか１項に記載の画像処理装置。

【請求項9】

前記複数の復調周波数または復調周波数帯のいずれかを選択する選択部をさらに備え、
前記復調部は、選択された復調周波数または復調周波数帯で復調する請求項１から８のいずれか１項に記載の画像処理装置。

【請求項10】

前記選択部は、前記複数の復調周波数または復調周波数帯のうち、背景光の時間変化の周波数との差が最も大きい復調周波数または復調周波数帯を選択する
請求項９に記載の画像処理装置。

【請求項11】

前記選択部は、前記複数の復調周波数のうち、背景光の時間変化の周波数に対してｎ倍（ｎは整数）の復調周波数を選択する
請求項９に記載の画像処理装置。

【請求項12】

前記選択部は、前記複数の復調周波数のうち、背景光の時間変化の周波数に対して２^ｎ倍（ｎは整数）の復調周波数を選択する
請求項１１に記載の画像処理装置。

【請求項13】

前記画像取得部は、前記複数の変調周波数または変調周波数帯のいずれよりも高い周波数で撮像された複数の画像を取得する
請求項１から１２のいずれか１項に記載の画像処理装置。

【請求項14】

前記画像取得部は、少なくとも前記複数の変調周波数または変調周波数帯のいずれか１つより低い周波数で、位相を異ならせて複数回撮像された画像を取得する
請求項１から１２のいずれか１項に記載の画像処理装置。

【請求項15】

前記複数の変調周波数は、互いにｎ倍（ｎは整数）の関係にある
請求項１から１４のいずれか１項に記載の画像処理装置。

【請求項16】

前記複数の変調周波数は、互いに２^ｎ倍（ｎは整数）の関係にある
請求項１から１５のいずれか１項に記載の画像処理装置。

【請求項17】

請求項１から１６のいずれか１項に記載の画像処理装置と、
前記複数の画像を撮像する撮像部と
を備える撮像装置。

【請求項18】

前記複数の変調周波数または変調周波数帯で強度変調された光を出射する光出射部
をさらに備える請求項１７に記載の撮像装置。

【請求項19】

互いに位相が異なって強度変調された複数の光を多重化して照射された被写体が時間的に異なって撮像された複数の画像を取得する画像取得部と、
前記複数の画像の画素値を、前記複数の光のそれぞれの位相情報を用いて画素毎に復調することによって、前記複数の光のそれぞれによる前記被写体からの被写体光量を示す複数の画素情報を画素毎に生成する復調部と
を備える画像処理装置。

【請求項20】

請求項１９に記載の画像処理装置と、
前記複数の光を出射する光出射部と、
前記複数の画像を撮像する撮像部と
を備える撮像装置。

【請求項21】

前記撮像部を含む撮像チップと、
前記撮像部から出力される画素信号を処理する処理回路を含む信号処理チップと
をさらに備え、
前記撮像チップと前記信号処理チップとが、積層構造により電気的に接続されている
請求項１７、１８、２０のいずれか１項に記載の撮像装置。

【請求項22】

複数の変調周波数または変調周波数帯で強度変調された光を出射する光出射部と、
前記光が照射された被写体を撮像する撮像部と、
前記撮像部によって時間的に異なって撮像された前記被写体の複数の画像を、前記複数の変調周波数または変調周波数帯を示す情報に対応づけて、前記複数の変調周波数または変調周波数帯に基づく複数の復調周波数または復調周波数帯で画素毎に復調する画像処理装置へ向けて出力する出力部と
を備える撮像装置。

【請求項23】

前記出力部はさらに、前記複数の変調周波数または変調周波数帯で強度変調された光のうちの少なくとも１つの光の強度変化の位相と、前記複数の画像がそれぞれ撮像された位相との間の位相差を示す情報を、前記複数の画像に対応づけて出力する
請求項２２に記載の撮像装置。

【請求項24】

前記複数の画像のそれぞれを、前記複数の変調周波数または変調周波数帯のうちの少なくとも１つの変調周波数または変調周波数帯で変調された光の強度変化に同期して前記撮像部に撮像させる撮像制御部
をさらに備える請求項１７、１８、２２、２３のいずれか１項に記載の撮像装置。

【請求項25】

コンピュータに、
互いに異なる複数の変調周波数または変調周波数帯で強度変調された光が照射された被写体が撮像された複数の画像を取得するステップと、
前記複数の画像の画素値を、前記複数の変調周波数または変調周波数帯に基づく複数の復調周波数または復調周波数帯で画素毎に復調することによって、前記複数の変調周波数または変調周波数帯で強度変調された光のそれぞれによる前記被写体からの被写体光量を示す複数の画素情報を画素毎に生成するステップと
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、撮像装置及びプログラムに関する。

【背景技術】

【0002】

撮像された映像に基づいて、映像の時間変動成分を周波数領域ごとに分解する技術が知られている（例えば、特許文献１参照。）。
特許文献１ 特許第４８２６３５５号公報

【発明の概要】

【発明が解決しようとする課題】

【0003】

特性が異なる光で被写体を撮像する場合に、それぞれの光を時分割で照射すると、時間分解能が悪くなる。例えば、複数の波長域の光を用いて被写体を撮像するために、各波長域の光を時間分割で照射して、各波長域の光を時分割で受光して撮像する方法を用いると、時間分解能が悪くなる。

【0004】

本発明の第１の態様における画像処理装置は、複数の変調周波数または変調周波数帯で強度変調された光が照射された被写体が時間的に異なって撮像された複数の画像を取得する画像取得部と、複数の画像の画素値を、複数の変調周波数または変調周波数帯に基づく複数の復調周波数または復調周波数帯で画素毎に復調することによって、複数の変調周波数または変調周波数帯で強度変調された光のそれぞれによる被写体からの被写体光量を示す複数の画素情報を画素毎に生成する復調部とを備える。

【0005】

本発明の第２の態様における撮像装置は、上記の画像処理装置と、複数の画像を撮像する撮像部とを備える。

【0006】

本発明の第３の態様における撮像装置は、複数の変調周波数または複数の変調周波数帯で強度変調された光を出射する光出射部と、光が照射された被写体を撮像する撮像部と、撮像部によって時間的に異なって撮像された被写体の複数の画像を、複数の変調周波数または変調周波数帯を示す情報に対応づけて出力する出力部とを備える。

【0007】

本発明の第４の態様におけるプログラムは、コンピュータに、複数の変調周波数または変調周波数帯で強度変調された光が照射された被写体が時間的に異なって撮像された複数の画像を取得するステップと、複数の画像の画素値を、複数の変調周波数または変調周波数帯に基づく複数の復調周波数または復調周波数帯で画素毎に復調することによって、複数の変調周波数または変調周波数帯で強度変調された光のそれぞれによる被写体からの被写体光量を示す複数の画素情報を画素毎に生成するステップとを実行させる。

【0008】

なお、上記の発明の概要は、本発明の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

【図面の簡単な説明】

【0009】

【図1】本実施形態に係る撮像システム５を、被写体とともに概略的に示す。

【図2】画像処理ユニット４０の機能的構成を示すブロック図である。

【図3】出射光の制御シーケンス及び撮像シーケンスの一例を示す。

【図4A】画像処理ユニット４０における画像処理を概略的に示す。

【図4B】変化周波数特定部２４０の画像処理を概略的に示す。

【図5】復調部２００における画素単位の処理を概略的に示す。

【図6】撮像素子１０の代替例としての撮像素子１００の断面図である。

【図7】撮像シーケンスの変形例を出射光の制御シーケンスとともに示す。

【発明を実施するための形態】

【0010】

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

【0011】

図１は、本実施形態に係る撮像システム５を、被写体とともに概略的に示す。撮像システム５は、腹腔鏡撮像システムとして利用される。被写体は、一例として人体等の生体である。

【0012】

撮像システム５は、スコープ部２０と、制御ユニット３０と、画像処理ユニット４０と、出力装置７０とを備える。出力装置７０は、表示装置５０と、記憶装置６０とを有する。表示装置５０は、腹腔鏡手術中の体内のモニタ画像等を表示するためのディスプレイ等である。記憶装置６０は、例えば、ハードディスク等の不揮発性の記憶媒体であり、腹腔鏡手術中の体内の画像等を記憶する。出力装置７０は、腹腔鏡手術中の体内のモニタ画像等を、外部ネットワークを通じて他の装置に送信する通信装置等を有してよい。

【0013】

スコープ部２０は、撮像素子１０と、対物レンズ１４と、ライトガイド２２とを有する。撮像素子１０は、スコープ部２０の先端部の近傍に設けられる。スコープ部２０は、光出射口２４及び光入射口２６をスコープ部２０の先端部に有する。ライトガイド２２は光出射口２４に光学的に接続される。光入射口２６は、撮像素子１０が有する撮像部１２に対して設けられた対物レンズ１４に対向して設けられる。

【0014】

発光部１３０は、互いに特性が異なる光を発する。光の特性には、その光が属する波長域や、光を強度変調する変調周波数などが含まれる。発光部１３０は、光源１３１、光源１３２、光源１３３、光源１３４を有する。光源１３１、光源１３２、光源１３３、光源１３４は、ＬＥＤ光源であってよい。本実施形態では、光源１３１、光源１３２、光源１３３及び光源１３４は、互いに特性が異なる光を発する。具体的には、光源１３１は、赤の波長域に属する光を発する。光源１３２は、緑の波長域に属する光を発する。光源１３３は、青の波長域に属する光を発する。光源１３４は、赤外の波長域に属する光を発する。なお、赤、緑及び青は、それぞれ可視光の波長域における１つの色成分の一例である。また、赤の波長域に属する光を、Ｒ光と呼ぶ場合がある。同様に、緑の波長域に属する光をＧ光と呼び、青の波長域に属する光をＢ光と呼び、赤外の波長域に属する光をＩＲ光と呼ぶ場合がある。

【0015】

発光制御部１４０は、光源１３１の駆動を制御することにより、変調周波数ｆ１で強度変調されたＲ光を光源１３１に発光させる。また、発光制御部１４０は、光源１３２の駆動を制御することにより、変調周波数ｆ２で強度変調されたＧ光を光源１３２に発光させる。また、発光制御部１４０は、光源１３３の駆動を制御することにより、変調周波数ｆ３で強度変調されたＢ光を光源１３３に発光させる。また、発光制御部１４０は、光源１３４の駆動を制御することにより、変調周波数ｆ４で強度変調されたＩＲ光を光源１３４に発光させる。発光制御部１４０は、光源１３３の駆動を制御することにより、これらのＲ光、Ｇ光、Ｂ光、ＩＲ光を重ね合わせて（重畳して）発光させる。一例として、ｆ１＝１００Ｈｚ、ｆ２＝２００Ｈｚ、ｆ３＝４００Ｈｚ、ｆ４＝５０Ｈｚである。このように、発光制御部１４０、発光部１３０及びライトガイド２２は、互いに異なる変調周波数で強度変調された複数の波長域の光を出射する光出射部として機能する。なお、発光制御部１４０、発光部１３０及びライトガイド２２は、互いに異なる複数の変調周波数で強度変調された光を出射する光出射部の一例である。変調周波数であるｆ１、ｆ２、ｆ３及びｆ４の値を示す情報は、発光制御部１４０から撮像情報出力部１５０に供給される。

【0016】

変調周波数ｆ１で変調された光源１３１からのＲ光、変調周波数ｆ２で変調された光源１３２からのＧ光、変調周波数ｆ３で変調された光源１３３からのＢ光、及び、変調周波数ｆ４で変調された光源１３４からのＩＲ光は、重ね合わせられてライトガイド２２に供給される。ライトガイド２２は、例えば光ファイバで形成される。ライトガイド２２は、発光部１３０から供給されたＲ光、Ｇ光、Ｂ光及びＩＲ光を光出射口２４に導く。ライトガイド２２を通じて光出射口２４に到達した光は、Ｒ光、Ｇ光、Ｂ光及びＩＲ光を成分光として含む出射光として光出射口２４から出射する。このように、発光部１３０からのＲ光、Ｇ光、Ｂ光及びＩＲ光は、多重化されて光出射口２４から出射される。

【0017】

撮像素子１０は、ＭＯＳイメージセンサを含んで形成される。撮像部１２は、撮像素子において、例えば複数のフォトダイオード等の複数の画素素子が２次元的に配列された撮像領域により形成される。撮像素子１０は、被写体からの光を複数の波長成分の光に分離する波長フィルタを有しない。例えば、撮像素子１０は、例えばベイヤ配列等配列で互いに異なる波長域の光を選択的に透過するフィルタが複数の画素素子に一対一に対応して２次元的に配列されたカラーフィルタを有しない。したがって、撮像部１２が有する複数の画素素子は、各々が、複数の波長域の光によって被写体から生じる被写体光をそれぞれ同時に受光する。このように、撮像部１２の各画素素子に入射し得る光の波長域は、画素素子毎に実質的に同じである。

【0018】

撮像部１２は、被写体からの光である被写体光を受光して被写体を撮像する。具体的には、撮像部１２は、Ｒ光、Ｇ光、Ｂ光及びＩＲ光が照射されている被写体からの戻り光を含む被写体光を受光する。被写体光には、光出射口２４から出射して被写体で反射又は散乱したＲ光、光出射口２４から出射して被写体で反射又は散乱したＧ光、光出射口２４から出射して被写体で反射又は散乱したＢ光、及び、光出射口２４から出射して被写体で反射又は散乱したＩＲ光が含まれる。

【0019】

撮像制御部１２０は、撮像素子１０を制御して、変調周波数ｆ１、変調周波数ｆ２、変調周波数ｆ３及び変調周波数ｆ４のいずれより高い周波数で、撮像部１２に撮像させることにより、撮像部１２に複数の画像を撮像させる。例えば、撮像制御部１２０は、８００Ｈｚで撮像部１２に撮像させる。このように、撮像制御部１２０は、互いに異なる変調周波数ｆ１、ｆ２、ｆ３及びｆ４で強度変調された複数の波長域の光が照射された被写体を、変調周波数のいずれの周波数よりも高い周波数で撮像部１２に撮像させる。なお、後述するように、撮像制御部１２０は、変調周波数ｆ１、変調周波数ｆ２、変調周波数ｆ３及び変調周波数ｆ４周波数の少なくともいずれか１つより低い周波数で、位相を異ならせて撮像部１２に複数回撮像させてよい。

【0020】

撮像情報出力部１５０は、撮像素子１０が時間的に異なって撮像した複数の画像の画像信号を取得して、撮像素子１０から取得した画像信号を、画像処理ユニット４０に画像データとして出力する。撮像情報出力部１５０は、撮像素子１０から取得した画像信号を、発光制御部１４０から供給された変調周波数情報に対応づけて画像処理ユニット４０に出力する。このように、撮像情報出力部１５０は、撮像部１２によって撮像された、複数の波長域の光が照射された被写体の複数の画像を、変調周波数ｆ１、ｆ２、ｆ３及びｆ４を示す情報に対応づけて出力する。これにより、撮像部１２によって撮像された複数の画像は、変調周波数ｆ１、ｆ２、ｆ３及びｆ４を示す情報に対応づけて画像処理ユニット４０に向けて出力される。

【0021】

画像処理ユニット４０は、撮像情報出力部１５０から取得した画像信号を、変調周波数情報に基づいて復調することにより、種々の画像を生成する。例えば、画像処理ユニット４０は、表示用の画像データを生成して、生成した画像データに基づいて表示装置５０に画像を表示させる。また、画像処理ユニット４０は、記録用の画像データを生成して、生成した画像データを記憶装置６０に記憶させる。

【0022】

図２は、画像処理ユニット４０の機能的構成を示すブロック図である。画像処理ユニット４０は、撮像情報取得部２８０と、復調部２００と、画像生成部２２０と、変化周波数特定部２４０と、選択部２５０とを有する。

【0023】

撮像情報取得部２８０は、撮像情報出力部１５０から取得した撮像情報データを取得する。撮像情報データには、変調周波数ｆ１で強度変調されたＲ光、変調周波数ｆ２で強度変調されたＧ光、変調周波数ｆ３で強度変調されたＢ光、変調周波数ｆ４で強度変調されたＩＲ光が照射された被写体の複数の画像が含まれる。これらの複数の画像は、互いに異なる変調周波数ｆ１、ｆ２、ｆ３及びｆ４で強度変調された複数の波長域の光が照射された被写体が、変調周波数ｆ１、ｆ２、ｆ３及びｆ４のいずれの周波数よりも高い周波数で撮像された画像である。

【0024】

ここで、赤は、可視領域に属する第１の色成分の一例である。緑は、可視領域に属する第２の色成分の一例である。青の波長域は、可視領域に属する第３の色成分の一例である。また、赤外の波長域は、可視領域外の波長域の一例である。すなわち、撮像情報取得部２８０は、変調周波数ｆ１で強度変調されたＲ光、変調周波数ｆ２で強度変調されたＧ光、及び、変調周波数ｆ３で強度変調されたＢ光が照射された被写体の複数の画像を取得する。

【0025】

復調部２００は、複数の画像の画素値を、複数の変調周波数に基づく複数の復調周波数で画素毎に復調することによって、複数の変調周波数で強度変調された光のそれぞれによる被写体からの被写体光量を示す複数の画素情報を画素毎に生成する。復調部２００が生成する画素情報とは、画素毎の被写体光量の値そのものだけでなく、画素毎の被写体光量に等価な値も含む概念である。本実施形態では、復調部２００は、複数の画像の画素値を、複数の変調周波数に基づく複数の復調周波数で画素毎に復調することによって、複数の波長域の光のそれぞれによる被写体からの被写体光量を示す複数の画素情報を画素毎に生成する。具体的には、復調部２００は、複数の画像の画素値を、変調周波数ｆ１に基づく復調周波数で画素毎に復調することによって、Ｒ光による被写体からの被写体光量を示す複数の画素情報を画素毎に生成する。また、復調部２００は、複数の画像の画素値を、変調周波数ｆ２に基づく復調周波数で画素毎に復調することによって、Ｇ光による被写体からの被写体光量を示す複数の画素情報を画素毎に生成する。また、復調部２００は、複数の画像の画素値を、変調周波数ｆ３に基づく復調周波数で画素毎に復調することによって、Ｂ光による被写体からの被写体光量を示す複数の画素情報を画素毎に生成する。また、復調部２００は、複数の画像の画素値を、変調周波数ｆ４に基づく復調周波数で画素毎に復調することによって、ＩＲ光による被写体からの被写体光量を示す複数の画素情報を画素毎に生成する。具体的には、復調部２００は、複数の画像の画素値を、変調周波数ｆ１、変調周波数ｆ２、変調周波数ｆ３及び変調周波数ｆ４で画素毎に復調する。すなわち、復調周波数は、変調周波数に一致する。このように、復調部２００は、複数の画像の画素値を、複数の変調周波数で画素毎に復調する。

【0026】

より具体的には、復調部２００は、各画素について、複数の画像の画素値を変調周波数ｆ１で復調することによって、赤の画素情報を各画素について生成する。また、復調部２００は、各画素について複数の画像の画素値を変調周波数ｆ２で復調することによって緑の画素情報を各画素について生成する。また、復調部２００は、各画素について複数の画像の画素値を変調周波数ｆ３で復調することによって、青の画素情報を各画素について生成する。また、復調部２００は、各画素について複数の画像の画素値を変調周波数ｆ４で復調することによって、赤外の画素情報を各画素について生成する。このように、復調部２００は、各画素について複数の画像の画素値を複数の変調周波数で復調することによって、複数の画素情報を各画素について生成する。なお、復調部２００は、上述の復調をおこなう前に、各画素について、周辺画素と比較してノイズを除去するノイズ除去等の前処理（補正処理）を行ってもよい。また、撮像情報取得部２８０と復調部２００の間に補正部を設けて、この補正部が前処理を行ってもよい。

【0027】

画像生成部２２０は、復調部２００によって生成された各画素の複数の画素情報に基づいて、複数の変調周波数で強度変調された光のそれぞれによる被写体からの光による画像を生成する。本実施形態では、画像生成部２２０は、復調部２００によって生成された各画素の複数の画素情報に基づいて、複数の波長域の光のそれぞれによる被写体からの光による画像を生成する。具体的には、画像生成部２２０は、赤の画素情報、緑の画素情報及び青の画素情報に基づいて、可視光画像を生成してよい。また、画像生成部２２０は、赤外の画素情報に基づいて、赤外光画像を生成してよい。なお、画像生成部２２０は、可視光画像に赤外光画像を重畳した画像を生成してよい。画像生成部２２０が生成した画像は、出力装置７０に出力される。また、画像生成部２２０は、撮像部１２が撮像した際の各画素素子の画素情報から、赤の画素情報、緑の画素情報、青の画素情報及び赤外の画素情報を分離することで、光源１３３からの光以外の背景光による画像を生成してよい。例えば、画像生成部２２０は、撮像部１２の各画素素子の画素情報をそれぞれ変調周波数に基づく時間で時間積分して得られた値から、画素素子に対応する赤の画素情報、緑の画素情報、青の画素情報及び赤外の画素情報の合計値を減算することによって、背景光による画像の画素情報を生成してよい。ここで、時間積分する時間として、変調周波数ｆ１、ｆ２、ｆ３及びｆ４のうちの最も低い周波数に対応する周期を適用してよい。

【0028】

変化周波数特定部２４０は、復調部２００が複数の変調周波数のうちの少なくとも１つの変調周波数で復調することによって得られた画素情報を周波数解析することにより、被写体の時間的な変化の周波数ｆｖを特定する。被写体の時間的な変化とは、被写体の動きである。被写体の動きとは、被写体全体又は被写体の一部の部位の位置の時間的な変化である。復調部２００はさらに、複数の画像の画素値を、変調周波数ｆ１と周波数ｆｖとの和の周波数で復調することによって、被写体の時間的な変化を表す画素情報を生成する。また、復調部２００はさらに、複数の画像の画素値を、変調周波数ｆ２と周波数ｆｖとの和の周波数で復調することによって、被写体の時間的な変化を表す画素情報を生成する。また、復調部２００はさらに、複数の画像の画素値を、変調周波数ｆ３と周波数ｆｖとの和の周波数で復調することによって、被写体の時間的な変化を表す画素情報を生成する。また、復調部２００はさらに、複数の画像の画素値を、変調周波数ｆ４と周波数ｆｖとの和の周波数で復調することによって、被写体の時間的な変化を表す画素情報を生成する。このように、復調部２００は、複数の画像の画素値を、複数の変調周波数のうち少なくとも１つの変調周波数と、変化周波数特定部２４０が特定した被写体の時間的な変化の周波数との和の周波数で復調することによって、被写体の時間的な変化を表す画素情報を生成する。なお、復調部２００は、複数の画像の画素値を、複数の変調周波数のうち少なくとも１つの変調周波数と、変化周波数特定部２４０が特定した被写体の時間的な変化の周波数との差の周波数で復調することによって、被写体の時間的な変化を表す画素情報を生成してもよい。このように、復調部２００は、複数の画像の画素値を、複数の変調周波数のうち少なくとも１つの変調周波数と、変化周波数特定部２４０が特定した被写体の時間的な変化の周波数との和及び差の少なくとも一方の周波数で復調することによって、被写体の時間的な変化を表す画素情報を生成してもよい。

【0029】

なお、復調部２００は、複数の変調周波数のうち少なくとも１つの変調周波数と、それぞれ複数の画素からなる複数のグループごとの時間的な変化の周波数との和及び差の少なくとも一方の周波数で復調することによって、被写体の時間的な変化を表す画素情報を複数生成してもよい。例えば、変化周波数特定部２４０は、復調部２００が複数の変調周波数のうちの少なくとも１つの変調周波数で復調することによって得られた画素情報を、複数の画素からなる複数のグループごとに周波数解析することにより、被写体の時間的な変化の周波数ｆｖを特定してよい。そして、復調部２００は、複数の変調周波数のうち少なくとも１つの変調周波数と、変化周波数特定部２４０が画素の複数のグループごとに特定した周波数ｆｖとの和及び差の少なくとも一方の周波数で復調することによって、被写体の時間的な変化を表す画素情報を、画素の複数のグループごとに生成してもよい。なお、複数の画素からなるグループとは、例えば、画像内の被写体やその一部を示す領域を示しており、複数のグループとは、そのような領域が画像内に複数存在することを示している。

【0030】

画像生成部２２０は、被写体の時間的な変化を表す画素情報に基づいて、被写体の変化を表す変化画像を生成してよい。画像生成部２２０は、上述した可視光画像に変化画像を重畳した画像を生成してよい。画像生成部２２０が生成した変化画像の情報を含む画像は、出力装置７０に出力される。

【0031】

なお、被写体の変化周波数が特定されている場合、復調部２００は、変調周波数で復調した画像を周波数解析することなく、複数の変調周波数のうち少なくとも１つの変調周波数と特定の変化周波数との和の周波数で復調してよい。このように、復調部２００は、複数の画像の画素信号を、複数の変調周波数のうち少なくとも１つの変調周波数と被写体の時間的な変化の周波数を表す予め定められた変化周波数との和の周波数で復調することによって、被写体の時間的な変化を表す画素信号を生成する。なお、復調部２００は、複数の画像の画素信号を、複数の変調周波数のうち少なくとも１つの変調周波数と被写体の時間的な変化の周波数を表す予め定められた変化周波数との差の周波数で復調することによって、被写体の時間的な変化を表す画素信号を生成してもよい。このように、復調部２００は、複数の画像の画素信号を、複数の変調周波数のうち少なくとも１つの変調周波数と被写体の時間的な変化の周波数を表す予め定められた変化周波数との和及び差の少なくとも一方の周波数で復調することによって、被写体の時間的な変化を表す画素信号を生成してもよい。なお、周波数解析することなく変化周波数を特定できるような変化としては、心臓の拍動の影響による被写体の変化、臓器の蠕動運動による影響による被写体の変化等を例示できる。被写体の変化周波数は、被写体としての生体に装着した心拍センサ等のセンサの出力に基づいて検出してよい。なお、被写体の変化周波数は、画像から抽出するべき周波数である関心周波数の一例である。

【0032】

上述したように、復調部２００が復調に用いる複数の復調周波数は、複数の変調周波数に一致してよい。一方で、複数の復調周波数は、複数の変調周波数と、被写体の変化の周波数等の関心周波数との和及び差の少なくとも一方であってよい。このように、復調部２００が復調に用いる複数の復調周波数は、少なくとも変調周波数に基づく周波数である。すなわち、復調部２００は、複数の画像の画素値を、複数の変調周波数に基づく複数の復調周波数で画素毎に復調することによって、複数の波長域の光のそれぞれによる被写体からの被写体光量を示す複数の画素情報を画素毎に生成する。

【0033】

なお、撮像情報取得部２８０は、複数の波長域の光のうちの少なくとも１つの光の強度変化の位相と、複数の画像がそれぞれ撮像された位相との間の位相差を示す情報を取得してよい。そして、復調部２００は、撮像情報取得部２８０が取得した情報が示す位相差に基づいて、複数の画像が撮像された位相と復調に用いる参照信号の位相とを予め定められた位相差に調整して複数の変調周波数で画素毎に復調してよい。例えば、復調部２００は、複数の画像が撮像された位相と復調に用いる参照信号の位相との間の位相差を、光の強度変化の位相と複数の画像がそれぞれ撮像された位相との間の位相差に実質的に一致させて、複数の変調周波数で画素毎に復調してよい。

【0034】

選択部２５０は、複数の復調周波数のうち、復調部２００が復調に用いるいずれかの復調周波数を選択してよい。例えば、復調部２００は、選択部２５０が選択した復調周波数で復調してよい。選択部２５０は、複数の復調周波数のうち、背景光の時間変化の周波数に対してｎ倍（ｎは整数）の復調周波数を選択してよい。また、選択部２５０は、複数の復調周波数のうち、背景光の時間変化の周波数に対して２^ｎ倍（ｎは整数）の復調周波数を選択してもよい。変調周波数が矩形波である場合は、信号に高調波が含まれている為、各々の変調信号の基本周波数が２^ｎ倍の関係にした場合に分離性能が良くなる。一方で、変調周波数が単一の周波数信号（例えば、ｓｉｎ波）の場合には、２^ｎ倍ではなく、ｎ倍で十分に分離可能である。これらは離散フーリエ変換の性質によるものである。なお、選択部２５０は、背景光の時間変化の周波数が既知の場合に、背景光の時間変化の周波数に対してｎ倍又は２^ｎ倍（ｎは整数）の復調周波数を選択してよい。背景光の時間変化の周波数は、外部から入力されてよい。また、選択部２５０は、複数の復調周波数のうち、背景光の時間変化の周波数との差が最も大きい復調周波数を選択してよい。選択部２５０は、背景光の時間変化の周波数が時間的に変化している場合や、背景光の時間変化の周波数が場所によって異なる場合等に、背景光の時間変化の周波数との差が最も大きい復調周波数を選択してよい。なお、例えば、選択部２５０は、ユーザからの指示に基づいて、特定の変調周波数を選択してもよい。例えば、ＩＲ光による画像を表示する旨の指示をユーザから受け付けた場合、選択部２５０は、ユーザからの指示に基づいて、変調周波数ｆ４を選択する。

【0035】

図３は、出射光の制御シーケンス及び撮像シーケンスの一例を示す。シーケンス３８１は、光源１３１の発光状態を表す。シーケンス３８２は、光源１３２の発光状態を示す。シーケンス３８３は、光源１３３の発光状態を示す。シーケンス３８４は、光源１３４の発光状態を示す。ＯＮは発光している状態を示し、ＯＦＦは発光していない状態を示す。

【0036】

シーケンス３９０は、撮像部１２の撮像シーケンスを示す。シーケンス３９０が示す各タイミング３９２は、それぞれ１つの画像を撮像するタイミングを示す。例えば、タイミング３９２は、垂直同期信号のタイミングを示す。撮像部１２は、撮像制御部１２０の制御に基づいて、撮像間隔Ｔで画像を撮像する。撮像間隔Ｔは、時間的に隣接するタイミング３９２の間の時間で表される。

【0037】

変調周波数ｆ１、変調周波数ｆ２、変調周波数ｆ３及び変調周波数ｆ４のうち、最も高い周波数は変調周波数ｆ３である。撮像部１２の撮像間隔Ｔは、変調周波数ｆ３に対応する変調周期１／ｆ３より短い。撮像間隔Ｔは、変調周期１／ｆ３の半周期より短い。なお、撮像間隔Ｔは、変調周期１／ｆ３の１／３周期より短くてよい。撮像間隔Ｔは、変調周期１／ｆ３の１／４周期より短くてよい。

【0038】

上述したように、撮像部１２と被写体との間には、色分離用のカラーフィルタが設けられていない。時刻ｔ１のタイミングで得られる画像３１０の複数の画素のうちの１つの画素３０１の画素値は、被写体に入射したＲ光が被写体で反射又は散乱等することによって被写体から戻ってくるＲ光と、被写体に入射したＧ光が被写体で反射又は散乱等することによって被写体から戻ってくるＧ光と、被写体に入射したＢ光が被写体で反射又は散乱等することによって被写体から戻ってくるＢ光と、被写体に入射したＩＲ光が被写体で反射又は散乱等することによって被写体から戻ってくるＩＲ光との合計光量に応じた値を持つことができる。時刻ｔ２のタイミングで得られる画像３２０及び時刻ｔ４のタイミングで得られる画像３４０も、画像３１０と同様である。

【0039】

時刻ｔ３のタイミングでは、Ｂ光は照射されていない。そのため、時刻ｔ３のタイミングで得られる画像３３０の複数の画素のうちの１つの画素３０１の画素値は、被写体に入射したＲ光が被写体で反射又は散乱等することによって被写体から戻ってくるＲ光と、被写体に入射したＧ光が被写体で反射又は散乱等することによって被写体から戻ってくるＧ光と、被写体に入射したＩＲ光が被写体で反射又は散乱等することによって被写体から戻ってくるＩＲ光との合計光量に応じた値を持つことができる。このように、各画像の各画素値は、照射される光の複数の波長域の光のそれぞれによる被写体からの光の合計量に応じた値を持ち得る。なお、光源１３３からの光以外に背景光が存在する場合、各画像の各画素値は、背景光による被写体からの光量に応じた値を持ち得る。すなわち、各画像の各画素値は、光源１３３からの複数の波長域の光のそれぞれによる被写体からの光の合計量と背景光による被写体からの光量の和に応じた値を持ち得る。

【0040】

なお、撮像制御部１２０は、複数の画像のそれぞれを、複数の波長域の光の強度変化に対して予め定められた位相に合わせて撮像部１２に撮像させてよい。例えば、Ｂ光の発光強度が立ち上がるタイミングを基準タイミングとした場合、撮像制御部１２０は、基準タイミングに同期して撮像させてよい。この場合、撮像制御部１２０は、撮像周期Ｔを１／ｆ３の整数分の１としてよい。このように、出射光の強度変化に対して位相を合わせて撮像部１２を撮像させることで、復調部２００が復調する場合に、撮像の位相差を考慮して参照波形を調整しなくて済む場合がある。

【0041】

なお、撮像制御部１２０は、各画像の撮像順序、撮像タイミングを示す情報を、撮像情報出力部１５０に出力する。また、発光制御部１４０は、発光部１３０が有する各光源の発光タイミングを示す情報を、撮像情報出力部１５０に出力する。また、発光制御部１４０は、発光部１３０が有する各光源の発光強度の変調を開始したタイミングを示す情報を、撮像情報出力部１５０に出力する。また、発光制御部１４０は、発光部１３０が有する各光源の発光強度を示す情報を、撮像情報出力部１５０に出力する。撮像情報出力部１５０は、発光制御部１４０及び撮像制御部１２０から取得したこれらの情報を、画像に対応づけて画像処理ユニット４０に出力する。これにより、画像処理ユニット４０において、復調部２００は、画像に対応づけられた情報を用いて正確に復調することができる。また、画像生成部２２０は、各光源の発光強度等に基づいて、適切な輝度の画像を生成することができる。

【0042】

なお、本実施形態では、Ｂ光、Ｇ光、Ｒ光、ＩＲ光の順で変調周波数が高い。しかし、変調周波数は、観察対象に応じて適切に決定してよい。例えば、赤の画像をより高い時間分解能で取得したい場合は、Ｒ光の変調周波数を他の光より高くしてよい。

【0043】

図４Ａは、画像処理ユニット４０における画像処理を概略的に示す。

【0044】

復調部２００は、複数の画像３１０、画像３２０、画像３３０、画像３４０・・・を、変調周波数ｆ１で画素毎に復調することにより複数の画像４１０Ｒ、画像４２０Ｒ、画像４３０Ｒ、画像４４０Ｒ・・・を生成する。例えば、復調部２００は、画像３１０における画素３０１の画素値Ｐ１、画像３２０における画素３０１の画素値Ｐ２、画像３３０における画素３０１の画素値Ｐ３、画像３４０における画素３０１の画素値Ｐ４・・・の離散的な時系列データを、変調周波数ｆ１で復調することにより、画像４１０Ｒの画素３０１の画素値ＱＲ１、画像４２０Ｒの画素３０１の画素値ＱＲ２、画像４３０Ｒの画素３０１の画素値ＱＲ３、画像４４０Ｒの画素３０１の画素値ＱＲ４・・・の離散的な時系列データを生成する。なお、復調処理の詳細については、図５に関連して後述する。復調部２００は、同様の処理を他の画素について適用することにより、画像４１０Ｒ、画像４２０Ｒ、画像４３０Ｒ、画像４４０Ｒ・・・のそれぞれの各画素の画素値を生成する。

【0045】

また、復調部２００は、複数の画像３１０、画像３２０、画像３３０、画像３４０・・・を、変調周波数ｆ２で画素毎に復調することにより、複数の画像４１０Ｇ、画像４２０Ｇ、画像４３０Ｇ、画像４４０Ｇ・・・を生成する。また、復調部２００は、複数の画像３１０、画像３２０、画像３３０、画像３４０・・・を、変調周波数ｆ３で画素毎に復調することにより、複数の画像４１０Ｂ、画像４２０Ｂ、画像４３０Ｂ、画像４４０Ｂ・・・を生成する。また、復調部２００は、複数の画像３１０、画像３２０、画像３３０、画像３４０・・・を、変調周波数ｆ４で画素毎に復調することにより、複数の画像４１０ＩＲ、画像４２０ＩＲ、画像４３０ＩＲ、画像４４０ＩＲ・・・を生成する。これらの画像を生成するための復調部２００の処理は、復調周波数に基づく処理が異なる点を除いて、画像４１０Ｒ、画像４２０Ｒ、画像４３０Ｒ、画像４４０Ｒを生成する処理と同様である。そのため、これらの画像を生成するための処理の詳細については説明を省略する。

【0046】

画像生成部２２０は、画像群４００Ｒ、画像群４００Ｇ、画像群４００Ｂから、可視光のカラーの動画を構成する画像群である可視光画像群４００Ｃを生成する。具体的には、画像生成部２２０は、画像４１０Ｒ、画像４１０Ｇ及び画像４１０Ｂから、各色成分を持つ画像４１０Ｃを生成する。同様に、画像生成部２２０は、画像４２０Ｒ、画像４２０Ｇ及び画像４２０Ｂから、各色成分を持つ画像４２０Ｃを生成する。また、同様に、画像生成部２２０は、画像４３０Ｒ、画像４３０Ｇ及び画像４３０Ｂから、各色成分を持つ画像４３０Ｃを生成する。また、同様に、画像生成部２２０は、画像４４０Ｒ、画像４４０Ｇ及び画像４４０Ｂから、各色成分を持つ画像４４０Ｃを生成する。画像４１０Ｃ、画像４２０Ｃ、画像４３０Ｃ及び画像４４０Ｃは、可視光のカラー動画を構成する画像であってよい。画像生成部２２０は、後段の処理のために輝度信号及び色差信号で表される可視光画像群４００Ｃの画像データを生成してよい。例えば、画像生成部２２０は、表示用の映像信号情報を生成する場合、ＹＵＶのコンポーネント信号情報を生成する。画像生成部２２０は、記録用の画像データを生成する場合、可視光の画像群４００のからＹＣｒＣｂの画像データを生成して、動画圧縮処理を行う。また、画像生成部２２０は、画像群４００ＩＲに含まれる画像を、赤外光による動画を構成する画像として生成する。

【0047】

図４Ｂは、変化周波数特定部２４０に関する画像処理を概略的に示す。

【0048】

変化周波数特定部２４０は、例えば画像４１０Ｒ、画像４２０Ｒ、画像４３０Ｒ、画像４４０Ｒ・・・の画素値を周波数解析することによって、被写体の動き等を表す変化周波数ｆｖを特定する。例えば、変化周波数特定部２４０は、画像４１０Ｒ、画像４２０Ｒ、画像４３０Ｒ、画像４４０Ｒ・・・における特定の画素の画素値で形成される時系列信号を周波数成分に分解して、予め定められた閾値より大きい周波数成分が得られた周波数を、変化周波数ｆｖとして決定する。

【0049】

復調部２００は、複数の画像３１０、画像３２０、画像３３０、画像３４０・・・を、変調周波数ｆ１＋ｆｖで画素毎に復調することにより、複数の画像４１０Ｒｖ、画像４２０Ｒｖ、画像４３０Ｒｖ、画像４４０Ｒｖ・・・を生成する。また、復調部２００は、複数の画像３１０、画像３２０、画像３３０、画像３４０・・・を、変調周波数ｆ２＋ｆｖで画素毎に復調することにより、複数の画像４１０Ｇｖ、画像４２０Ｇｖ、画像４３０Ｇｖ、画像４４０Ｇｖ・・・を生成する。また、復調部２００は、複数の画像３１０、画像３２０、画像３３０、画像３４０・・・を、変調周波数ｆ３＋ｆｖで画素毎に復調することにより、複数の画像４１０Ｂｖ、画像４２０Ｂｖ、画像４３０Ｂｖ、画像４３０Ｂｖ・・・を生成する。また、復調部２００は、複数の画像３１０、画像３２０、画像３３０、画像３４０・・・を、変調周波数ｆ４＋ｆｖで画素毎に復調することにより、複数の画像４１０ＩＲｖ、画像４２０ＩＲｖ、画像４３０ＩＲｖ、画像４４０ＩＲｖ・・・を生成する。これらの画像を生成するための復調部２００の処理は、復調周波数に基づく処理が異なる点を除いて、画像４１０Ｒ、画像４２０Ｒ、画像４３０Ｒ、画像４４０Ｒを生成する処理と同様である。そのため、これらの画像を生成するための処理の詳細については説明を省略する。

【0050】

画像生成部２２０は、画像群４００Ｒｖ、画像群４００Ｇｖ、画像群４００Ｂｖから、被写体の動きを表す可視光のカラー動画を構成する画像群である可視光画像群４００Ｃｖを生成する。具体的には、画像生成部２２０は、画像４１０Ｒｖ、画像４１０Ｇｖ及び画像４１０Ｂｖから、各色成分を持つ画像４１０Ｃｖを生成する。同様に、画像生成部２２０は、画像４２０Ｒｖ、画像４２０Ｇｖ及び画像４２０Ｂｖから、各色成分を持つ画像４２０Ｃｖを生成する。また、同様に、画像生成部２２０は、画像４３０Ｒｖ、画像４３０Ｇｖ及び画像４３０Ｂｖから、各色成分を持つ画像４３０Ｃｖを生成する。また、同様に、画像生成部２２０は、画像４４０Ｒｖ、画像４４０Ｇｖ及び画像４４０Ｂｖから、各色成分を持つ画像４４０Ｃｖを生成する。画像４１０Ｃｖ、画像４２０Ｃｖ、画像４３０Ｃｖ及び画像４４０Ｃｖは、被写体の変化を表す可視光のカラー動画を構成するフレーム画像であってよい。また、画像生成部２２０は、画像群４００ＩＲｖに含まれる画像を、赤外光による動画を構成する画像として生成する。

【0051】

なお、変化周波数特定部２４０は、画像４１０Ｒ、画像４２０Ｒ、画像４３０Ｒ、画像４４０Ｒ・・・の複数の画素のそれぞれについて、画素値を周波数解析することによって、変化周波数ｆｖを特定してよい。また、変化周波数特定部２４０は、画素値の周波数解析を画素毎に行ってよい。他にも、変化周波数特定部２４０は、予め定められた複数の画素の平均値で形成される時系列信号を周波数解析することによって、変化周波数ｆｖを特定してよい。

【0052】

なお、ここでは、画像群４００Ｒｖを生成する復調処理に用いる復調周波数として、ｆ１＋ｆｖを用いる場合を説明した。しかし、画像群４００Ｒｖを生成する復調処理に用いる復調周波数として、ｆ１−ｆｖを用いてもよい。同様に、画像群４００Ｇｖを生成する復調処理に用いる復調周波数として、ｆ２−ｆｖを用いてもよい。また、画像群４００Ｂｖを生成する復調処理に用いる復調周波数として、ｆ３−ｆｖを用いてもよい。また、画像群４００ＩＲｖを生成する復調処理に用いる復調周波数として、ｆ４−ｆｖを用いてもよい。また、図４Ｂでは、１つの変化周波数ｆｖが特定された場合の処理を示す。複数の変化周波数が特定された場合は、複数の変化周波数毎に、変調周波数及び変化周波数に基づく復調周波数で復調することによって、変化の周波数毎に、画像を生成してよい。

【0053】

図５は、復調部２００における画素単位の処理を概略的に示す。ここでは、１つの画素３０１の画素値の時系列データＰｋ（ｋ＝１，２，３，４，・・・）に対する処理を説明する。

【0054】

復調部２００は、Ｐ１、Ｐ２、Ｐ３、Ｐ４・・・で形成される時系列データＰｋと、変調周波数ｆ１の参照波形の時系列データとの乗算５１０を行う。そして、復調部２００は、乗算５１０によって得られた時系列データに、周波数フィルタ５１２を適用して、赤の画素値の時系列データＱＲ１、ＱＲ２、ＱＲ３、ＱＲ４・・・を生成する。周波数フィルタ５１２は、変調周波数ｆ１と他の変調周波数との差の周波数の周波数成分及び変調周波数ｆ１と他の変調周波数との和の周波数の周波数成分を実質的にカットする周波数特性を有することが望ましい。周波数フィルタ５１２は、ローパスフィルタであってよい。

【0055】

同様に、復調部２００は、時系列データＰｋと、変調周波数ｆ２の参照波形の時系列データとの乗算５２０を行う。そして、復調部２００は、乗算５２０によって得られた時系列データに、周波数フィルタ５２２を適用して、緑の画素値の時系列データＱＧ１、ＱＧ２、ＱＧ３、ＱＧ４・・・を生成する。周波数フィルタ５２２は、変調周波数ｆ２と他の変調周波数との差の周波数の周波数成分及び変調周波数ｆ２と他の変調周波数との和の周波数の周波数成分を実質的にカットする周波数特性を有することが望ましい。周波数フィルタ５２２は、ローパスフィルタであってよい。

【0056】

また、復調部２００は、時系列データＰｋと、変調周波数ｆ３の参照波形の時系列データとの乗算５３０を行う。そして、復調部２００は、乗算５３０によって得られた時系列データに、周波数フィルタ５３２を適用して、緑の画素値の時系列データＱＢ１、ＱＢ２、ＱＢ３、ＱＢ４・・・を生成する。周波数フィルタ５３２は、変調周波数ｆ３と他の変調周波数との差の周波数の周波数成分及び変調周波数ｆ３と他の変調周波数との和の周波数の周波数成分を実質的にカットする周波数特性を有することが望ましい。周波数フィルタ５３２は、ローパスフィルタであってよい。

【0057】

また、復調部２００は、時系列データＰｋと、変調周波数ｆ４の参照波形の時系列データとの乗算５４０を行う。そして、復調部２００は、乗算５４０によって得られた時系列データに、周波数フィルタ５４２を適用して、緑の画素値の時系列データＱＩＲ１、ＱＩＲ２、ＱＩＲ３、ＱＩＲ４・・・を生成する。周波数フィルタ５４２は、変調周波数ｆ４と他の変調周波数との差の周波数の周波数成分及び変調周波数ｆ４と他の変調周波数との和の周波数の周波数成分を実質的にカットする周波数特性を有することが望ましい。周波数フィルタ５４２は、ローパスフィルタであってよい。

【0058】

なお、復調部２００は、乗算５１０で適用する変調周波数ｆ１の時系列データとして、Ｒ光の強度変化の位相と略同位相の時系列データを適用することが望ましい。例えば、Ｒ光の強度変化の立ち上がりタイミングと撮像時刻ｔ１との差を、乗算５１０で適用する時系列データが示す参照波形の立ち上がりタイミングと当該参照波形中における画像４１０が撮像されたタイミングとの差に略一致させることが望ましい。すなわち、復調処理における参照信号の位相を変調信号の位相に一致させることが望ましい。同様に、復調部２００は、乗算５２０で適用する変調周波数ｆ２の時系列データとして、Ｇ光の強度変化の位相と略同位相の時系列データを適用することが望ましい。また、復調部２００は、乗算５３０で適用する変調周波数ｆ３の時系列データとして、Ｂ光の強度変化の位相と略同位相の時系列データを適用することが望ましい。また、復調部２００は、乗算５３０で適用する変調周波数ｆ４の時系列データとして、ＩＲ光の強度変化の位相と略同位相の時系列データを適用することが望ましい。

【0059】

図５に関連して、画像内の特定の位置の画素３０１に画素値の時系列データＰｋに対する復調部２００の処理を説明した。復調部２００は、画像内の任意の位置（ｉ，ｊ）の画素について、画素値に対して同様の処理を適用することにより、任意の位置（ｉ，ｊ）の各波長域に対応する画素値の時系列データを得ることができる。

【0060】

また、図５に関連して、復調部２００が変調周波数を復調周波数として適用する場合を説明した。被写体の変化を表す赤の画素値の画像を生成する場合、復調部２００は、時系列データＰｋに対して、ｆ１＋ｆｖを復調周波数として適用して、同様の乗算及び周波数フィルタを適用すればよい。また、被写体の変化を表す緑の画素値の画像を生成する場合、復調部２００は、時系列データＰｋに対して、ｆ２＋ｆｖを復調周波数として適用して、同様の乗算及び周波数フィルタを適用すればよい。被写体の変化を表す青の画素値の画像を生成する場合、復調部２００は、時系列データＰｋに対して、ｆ３＋ｆｖを復調周波数として適用して、同様の乗算及び周波数フィルタを適用すればよい。また、被写体の変化を表す赤外の画素値の画像を生成する場合、復調部２００は、時系列データＰｋに対して、ｆ４＋ｆｖを復調周波数として適用して、乗算及び周波数フィルタを適用すればよい。

【0061】

以上に説明した撮像システム５によれば、波長毎に異なる変調周波数で強度変調した光を多重化して被写体に照射することによって、複数の波長域の光による画像を取得できる。そのため、波長域毎に時分割で照明光を照射して、各波長域の光を時分割で撮像することなく、複数の波長域の光に基づく画像を取得できる。また、撮像素子においてカラーフィルタ等で画素毎に波長分離をする必要がない。そのため、被写体を高解像度で撮像することができる。これにより、撮像装置を小型化することができる。

【0062】

図６は、撮像素子１０の変形例としての撮像素子１００の断面図である。撮像素子１００は、裏面照射型の撮像素子である。撮像素子１００は、入射光に対応した画素信号を出力する撮像チップ１１３と、画素信号を処理する信号処理チップ１１１と、画素信号を記憶するメモリチップ１１２とを備える。これら撮像チップ１１３、信号処理チップ１１１及びメモリチップ１１２は積層されており、Ｃｕ等の導電性を有するバンプ１０９により互いに電気的に接続される。

【0063】

なお、図示するように、入射光は主に白抜き矢印へ向かって入射する。本実施形態においては、撮像チップ１１３において、入射光が入射する側の面を裏面と称する。

【0064】

撮像チップ１１３は、一例として裏面照射型のＭＯＳイメージセンサである。フォトダイオード層１０６は、配線層１０８の裏面側に配されている。フォトダイオード層１０６は、二次元的に配された複数のフォトダイオード１０４、及び、フォトダイオード１０４に対応して設けられたトランジスタ１０５を有する。フォトダイオード１０４及びトランジスタ１０５の組が一つの画素素子を形成する。

【0065】

フォトダイオード層１０６における入射光の入射側にはパッシベーション膜１０３を介してマイクロレンズ１０１が設けられる。マイクロレンズ１０１は、それぞれの画素に対応して設けられる。マイクロレンズ１０１は、対応するフォトダイオード１０４へ向けて入射光を集光する。

【0066】

配線層１０８は、フォトダイオード層１０６からの画素信号を信号処理チップ１１１に伝送する配線１０７を有する。なお、配線１０７は多層であってもよく、また、受動素子及び能動素子が設けられてもよい。

【0067】

配線層１０８の表面には複数のバンプ１０９が配される。当該複数のバンプ１０９が信号処理チップ１１１の対向する面に設けられた複数のバンプ１０９と位置合わせされて、撮像チップ１１３と信号処理チップ１１１とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。

【0068】

同様に、信号処理チップ１１１及びメモリチップ１１２の互いに対向する面には、複数のバンプ１０９が配される。これらのバンプ１０９が互いに位置合わせされて、信号処理チップ１１１とメモリチップ１１２とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。なお、バンプ１０９間の接合には、固相拡散によるＣｕバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用しても良い。このように、撮像チップ１１３と、処理回路を含む信号処理チップ１１１とが、積層構造により電気的に接続されている。

【0069】

信号処理チップ１１１は、表裏面にそれぞれ設けられた回路を互いに接続するシリコン貫通電極１１０を有する。シリコン貫通電極１１０は、周辺領域に設けられることが好ましい。また、シリコン貫通電極１１０は、撮像チップ１１３の周辺領域、メモリチップ１１２にも設けられて良い。

【0070】

信号処理チップ１１１は、フォトダイオード層１０６からの画素信号を処理する信号処理回路を含む。例えば、信号処理チップ１１１は、カラムアンプ、相関二重サンプリング（ＣＤＳ）、アナログ／デジタル（Ａ／Ｄ）変換を行う信号処理回路を有する。フォトダイオード１０４からの画素信号は、信号処理チップ１１１が有する信号処理回路により、増幅、ＣＤＳ及びＡ／Ｄ変換される。このように、撮像素子１００によれば、信号処理チップ１１１にカラムアンプ、ＣＤＳ回路及びＡＤ変換回路を設けることができる。そのため、カラムアンプ、ＣＤＳ回路及びＡＤ変換器を多数設けることができる。そのため、フォトダイオード１０４が出力するアナログの画素信号を高速に処理することができる。したがって、画像の撮像周期を短くすることができる。

【0071】

メモリチップ１１２は、それぞれの画素に対応する画素メモリを有する。信号処理チップ１１１によってＡ／Ｄ変換された画素信号は、メモリチップ１１２が有する画素メモリに格納される。

【0072】

信号処理チップ１１１は、画素メモリに格納された画素信号を処理する演算回路を有する。信号処理チップ１１１が有する演算回路は、画像処理ユニット４０による処理の少なくとも一部を行う機能を有してよい。例えば、信号処理チップ１１１が有する演算回路は、撮像情報取得部２８０、復調部２００、変化周波数特定部２４０、選択部２５０及び画像生成部２２０による処理の少なくとも一部を行う機能を有してよい。このように、信号処理チップ１１１が有する演算回路は、出射光を多重化するための変調周波数に基づく周波数分離を行う処理の少なくとも一部を行う機能を有してよい。また、信号処理チップ１１１が有する演算回路は、画素信号をデータ圧縮して出力してよい。これにより、画素信号の入出力インタフェースの負荷を減らすことができる。なお、演算回路は、メモリチップ１１２に設けられてもよい。

【0073】

このように、撮像素子１００によれば、撮像チップ１１３、処理回路を含む信号処理チップ１１１、及びメモリチップ１１２が、積層構造により３次元的に積層されている。そのため、撮像チップ１１３の近傍の信号処理チップ１１１及びメモリチップ１１２において、画素信号を保持し画素信号に対して信号処理をすることができる。これにより、画素の読み出しを高速化でき、撮像素子１００から出力するデータ量を削減できる。また、撮像素子１００の後段の負荷を減らすことができる。したがって、画像の撮像周期を短くすることができる。

【0074】

上述した撮像システム５では、Ｒ光、Ｇ光、Ｂ光及びＩＲ光を用いて被写体を撮像する。しかし、撮像に用いる光は、Ｒ光、Ｇ光、Ｂ光及びＩＲ光の組み合わせに限定されない。様々な波長域の組み合わせの光を、撮像に用いる光として適用できる。なお、撮像に用いるある光の波長域は、波長域の一部が他の光の波長域に重なっていてもよい。また、撮像に用いるある光の波長域は、他の光の波長域の部分波長域であってよい。このように、複数の変調周波数で強度変調され、一部の波長域が重複する光を、被写体に照射してよい。

【0075】

また、撮像に用いるある光の波長域は、他の光の波長域と全範囲が重なっていてもよい。例えば、同一の波長域のＩＲ光を互いに異なる変調周波数で変調して被写体に照射してもよい。例えば、撮像システム５において、変調周波数ｆ４で強度変調した第１のＩＲ光に加えて、第１のＩＲ光と波長域が同一であり、変調周波数ｆ４とは異なる変調周波数ｆ５で強度変調された第２のＩＲ光を、被写体に照射してよい。また、白色光を互いに異なる変調周波数で変調して、被写体に照射してもよい。このように、複数の変調周波数で強度変調され、全ての波長域が重なる光を、被写体に照射してもよい。なお、波長域が同一であり、異なる変調周波数で強度変調された光は、特性が互いに異なる光の一例である。このように、被写体に照射する光の波長について冗長性を持たせて、互いに異なる変調周波数で強度変調された同一波長域の光を、被写体に照射してもよい。

【0076】

このように、複数の変調周波数で強度変調され、波長域が一致する光を被写体に照射してよい。ここで、「波長域が一致する」とは、波長域の上限値及び下限値が一致するのみならず、実質的に一致することを含む。なお、実質的に一致するとは、装置間のばらつきなどによる誤差を含む概念である。また、「波長域が一致する」とは、白色光等の波長域の範囲制限のない光が波長領域で重なることを含む概念である。さらに、「波長域が一致する」光は、波長域内における光のスペクトルがすべて一致してもよく、異なっていてもよい。また、波長域内において、照射強度のピーク波長が一致してもよく異なっていてもよい。波長域が一致する光を被写体に照射する場合、単一の光源からの光を複数の変調周波数の変調信号の足し合わせで強度変調してよいし、波長域が一致する光を発する複数の光源をからの光を異なる変調周波数で強度変調してもよい。

【0077】

ここで、波長域が同一の光を多重化して被写体に照射する場合の撮像システム５の動作の一例を、変調周波数ｆ４で強度変調されたＩＲ光及び変調周波数ｆ５で強度変調されたＩＲ光を被写体に照射する場合を取り上げて、具体的に説明する。発光制御部１４０は、変調周波数ｆ４及び変調周波数ｆ５を合わせた変調強度に従って単一の光源１３４を駆動することにより、光源１３４から変調周波数ｆ４で強度変調されたＩＲ光及び変調周波数ｆ５で強度変調されたＩＲ光が多重化されたＩＲ光を光源１３４から発生させる。なお、単一の光源１３４から多重化されたＩＲ光を発生させることに代えて、変調周波数ｆ５で強度変調されたＩＲ光を発生させるための別の光源を追加してもよい。

【0078】

画像処理ユニット４０において、選択部２５０は、変調周波数ｆ４及び変調周波数ｆ５のうち、いずれの変調周波数で強度変調された光による被写体からの被写体光量を示す画素情報を生成するかを選択する。例えば、選択部２５０は、変調周波数ｆ４及び変調周波数ｆ５のうち、光学的な外乱周波数との差が予め定められた値より大きい変調周波数を、復調周波数として選択する。具体的には、選択部２５０は、変調周波数ｆ４及び変調周波数ｆ５のうち、背景光の時間変化の周波数との差が大きい方の変調周波数を、復調周波数として選択する。例えば、選択部２５０は、変調周波数ｆ４が背景光の時間変化の周波数に一致する又は近傍の周波数である場合に、復調周波数としてｆ５を選択する。この場合、復調部２００はｆ５で復調する。そして、画像生成部２２０は、ｆ５で復調部２００が復調することによって生成された各画素の画素情報に基づいて、変調周波数ｆ５で強度変調されたＩＲ光による被写体からの光による画像を生成する。なお、背景光の時間変化の周波数は、画像生成部２２０が生成した背景光の画像の画素情報に基づいて特定されてよい。また、背景光の時間変化の周波数は、撮像システム５の外部から入力されてよいし、ユーザから指示されてもよい。

【0079】

変調周波数が背景光の時間変化の周波数に一致する又は近傍である場合、当該変調周波数に一致する復調周波数で復調して得られた画素情報には、背景光の影響が含まれる。そのため、ＩＲ光による画素情報のＳ／Ｎが低くなってしまう場合がある。しかし、上述したように、選択部２５０が背景光の時間変化の周波数から離れた周波数を選択することで、Ｓ／Ｎがより高い画素情報を用いて画像を生成させることができる。被写体に照射する光の波長について冗長性を持たせることで、光学的な外乱に対する耐性を高めることができる。なお、ここでは冗長性として２つの変調周波数で強度変調した光を照射する場合を説明したが、３つ以上の変調周波数で強度変調した光を照射してもよい。この場合、選択部２５０は、３つ以上の変調周波数のうち、背景光の時間変化の周波数との差が最も大きい変調周波数を、復調周波数として選択してよい。

【0080】

図７は、撮像シーケンスの変形例を出射光の制御シーケンスとともに示す。図７は、変調周波数ｆ３に対応する周期１／ｆ３より撮像間隔を長くしつつ、復調部２００が変調周波数ｆ３で復調することで実効的に画素情報を生成するための撮像シーケンスを示す。具体的には、図７は、撮像間隔Ｔ７を１／ｆ３＋１／（４×ｆ３）とした場合の撮像シーケンスを示す。

【0081】

周期１／ｆ３の１周期において時刻ｔ７１が位相０に対応するものとすると、時刻ｔ７２は位相２π／４に対応し、時刻ｔ７３は位相πに対応し、時刻ｔ７４は位相６π／４に対応する。そのため、本撮像シーケンスによれば、周期１／ｆ３の１周期において、実効的に異なる位相で４回撮像したことになる。そこで、復調部２００は、時刻ｔ７１、時刻ｔ７２、時刻ｔ７３及び時刻ｔ７４で撮像された画像７１０、画像７２０、画像７３０及び画像７４０がそれぞれ１周期内の位相０、位相２π／４、位相π、位相６π／４で撮像した画像とみなしてｆ３の復調周波数で復調する。これにより、周期１／ｆ３より撮像間隔を長くしつつ、変調周波数ｆ３で復調することでＢ画像の画素情報を実効的に生成することができる。

【0082】

撮像間隔Ｔ７としては、１／ｆ３の整数倍とは異なる様々な値を採用できる。なお、Ｎを正数として、撮像間隔Ｔ７を（Ｎ＋１／２）／ｆ３に一致させる場合は、撮像タイミングが照射光の立ち上がりタイミングに実質的に一致しないように、照射光の立ち上がりから撮像タイミングの位相をずらすことが望ましい。

【0083】

図７では、撮像制御部１２０がｆ３より低い周波数で撮像する場合を取り上げて説明した。しかし、撮像制御部１２０は、変調周波数ｆ１、変調周波数ｆ２及び変調周波数ｆ４のいずれか１つより低い周波数で撮像させてよい。また、撮像制御部１２０は、変調周波数ｆ１、変調周波数ｆ２、変調周波数ｆ３及び変調周波数ｆ４のいずれより低い周波数で撮像させてもよい。

【0084】

上述した撮像システム５は、変調周波数ｆ１、ｆ２、ｆ３及びｆ４等の複数の単一の変調周波数で強度変調された光を照射光として用い、復調部２００が、複数の単一の復調周波数で画素値を復調する。しかし、撮像システム５において、複数の特定の変調周波数で変調された光に代えて、複数の変調周波数帯で強度変調された光を用いてもよい。この場合、上述した撮像システム５において、変調周波数の記載を変調周波数帯に読み替えて適用することが可能である。変調周波数帯で強度変調された光とは、幅を持つ変調周波数帯（例えば、９０Ｈｚから１１０Ｈｚなど）に属する任意の周波数で強度変調された光であってよい。複数の変調周波数帯で強度変調された光を照射光として用いる場合、復調部２００は、変調周波数帯に基づく特定の複数の復調周波数で画素値を復調してよい。また、単一の変調周波数で強度変調された光と、変調周波数帯で強度変調された光とが混在してよい。すなわち、複数の変調周波数または変調周波数帯とは、単一の変調周波数と幅を持つ変調周波数のいずれかまたは両方からなることを示す。

【0085】

また、復調部２００は、特定の複数の復調周波数に代えて、複数の復調周波数帯で画素値を復調してもよい。複数の復調周波数帯で画素値を復調する場合、照射光が複数の特定の変調周波数で強度変調されているときは、復調部２００は、複数の特定の変調周波数に基づく複数の復調周波数帯で復調してよい。一方、照射光が複数の特定の変調周波数帯で強度変調されているときは、復調部２００は、複数の特定の変調周波数帯に基づく周波数帯で復調してよい。

【0086】

一例として、複数の変調周波数帯で強度変調された光を照射光として用いる場合の動作の概要を説明する。発光制御部１４０が発光部１３０からの光を複数の変調周波数帯で強度変調させることによって、発光制御部１４０、発光部１３０及びライトガイド２２から、複数の変調周波数帯で強度変調された光が出射される。撮像情報出力部１５０は、撮像部１２によって撮像された被写体の複数の画像を、複数の変調周波数帯を示す情報に対応づけて、画像処理ユニット４０へ向けて出力する。この場合、複数の変調周波数帯で強度変調された光のうちの少なくとも１つの光の強度変化の位相と、複数の画像がそれぞれ撮像された位相との間の位相差を示す情報が、画像処理ユニット４０へ向けて出力されてよい。

【0087】

画像処理ユニット４０において、撮像情報取得部２８０は、複数の変調周波数帯で強度変調された光が照射された被写体が時間的に異なって撮像された複数の画像を取得する。撮像情報取得部２８０はまた、複数の変調周波数帯で強度変調された光のうちの少なくとも１つの光の強度変化の位相と、複数の画像がそれぞれ撮像された位相との間の位相差を示す情報を取得する。復調部２００は、撮像情報取得部２８０が取得した複数の画像の画素値を、複数の変調周波数帯に基づく複数の復調周波数または複数の復調周波数帯で画素毎に復調することによって、複数の変調周波数帯で強度変調された光のそれぞれによる前記被写体からの被写体光量を示す複数の画素情報を画素毎に生成する。例えば、復調部２００は、撮像情報取得部２８０が取得した複数の画像の画素値に対して、複数の変調周波数帯を復調周波数帯として画素毎に復調する。

【0088】

変化周波数特定部２４０においては、復調部２００が複数の変調周波数帯のうちの少なくとも１つの変調周波数帯で復調することによって得られた画素情報を周波数解析することにより、被写体の時間的な変化の周波数を特定する。復調部２００はさらに、複数の画像の画素値を、複数の変調周波数帯のうち少なくとも１つの変調周波数帯と被写体の時間的な変化の周波数との和及び差の少なくとも一方の周波数を用いて、被写体の時間的な変化を表す画素情報を生成する。

【0089】

上述した撮像システム５は、被写体で反射又は散乱された光により、被写体を撮像する。しかし、撮像に用いる光は、反射又は散乱された光に限定されない。例えば、撮像システム５は、被写体が含むルミネッセンス物質を励起することによって被写体から生じるルミネッセンス光により、被写体を撮像してよい。この場合に、発光部１３０からの光には、当該ルミネッセンス物質を励起する励起光が成分光として含まれてよい。例えば、光源１３４が発光するＩＲ光がルミネッセンス物質を励起する励起光であってよく、撮像部１２は、ルミネッセンス物質がＩＲ光で励起されて生じるルミネッセンス光を含む被写体光により、被写体を撮像してよい。この場合、撮像部１２の被写体側の面には、光源１３４が発光するＩＲ光の波長域の光を実質的に遮断し、ルミネッセンス光の波長域の光を透過する波長フィルタが設けられてよい。なお、ルミネッセンス物質は、被写体内に注入又は被写体の表面に塗布されてよい。また、ルミネッセンス物質は、被写体が含む自家ルミネッセンス物質であってよい。ルミネッセンス光とは、蛍光、燐光等を含む概念である。

【0090】

また、撮像システム５と同様の構成の撮像システムは、上述した腹腔鏡撮像システムの他に、内視鏡撮像システムに適用できる。また、撮像システム５と同様の構成の撮像システムは、他の様々な撮像システムに適用できる。撮像システム５は、狭所用及び暗所用の撮像システムに適用できる。撮像システム５と同様の構成の撮像システムは、例えば配管内の撮像システムや、被写体の比較的に微細な構造を撮像する撮像システムに適用できる。被写体は、生体に限定されず、工業製品等の様々な物体であってよい。

【0091】

なお、上述した撮像システム５は、異なる変調周波数で強度変調した複数の光を多重化して被写体に照射していたが、これに代えて、異なる位相で強度変調された複数の光を多重化して被写体に照射することも可能である。この場合、発光部１３０は、同一の変調周波数で強度変調され、同一の波長域を有し、かつ位相が異なる複数の光を多重化して照射する。一例として、複数の光は、互いの位相が９０°異なっており、単一の周波数信号であればｓｉｎ波とｃｏｓ波の関係を有する。そして、撮像部１２が照射された光の被写体光を受光し、撮像情報出力部１５０を介して撮像情報取得部２８０が撮像情報データを取得する。復調部２００は、複数の画像の画素値を、照射された複数の光のそれぞれの位相情報を用いて画素毎に復調する。具体的には、復調部２００は、複数の画像の画素値を、それぞれｓｉｎ波とｃｏｓ波で乗算することで、強度変調の位相がｓｉｎ波の光による被写体からの被写体光量と、強度変調の位相がｃｏｓ波の光による被写体からの被写体光量を分離する。すなわち、復調部２００は、複数の光のそれぞれによる被写体からの被写体光量を示す複数の画素情報を画素毎に生成する。

【0092】

上記の説明において、画像処理ユニット４０の動作として説明した処理の少なくとも一部は、プロセッサがプログラムに従ってコンピュータが有する、ハードディスク、メモリ等の各ハードウェアを制御することにより実現できる。このように、画像処理ユニット４０の処理の少なくとも一部は、プロセッサがプログラムに従って動作して各ハードウェアを制御することにより、プロセッサ、ハードディスク、メモリ等を含む各ハードウェアとプログラムとが協働して動作することにより実現できる。すなわち、画像処理ユニット４０の各部の処理、例えば撮像情報取得部２８０の処理、復調部２００の処理、変化周波数特定部２４０の処理、及び画像生成部２２０の処理を、いわゆるコンピュータに実行させることができる。コンピュータは、上述した処理の実行を制御するプログラムを読み込み、読み込んだプログラムに従って動作して、当該処理を実行してよい。コンピュータは、当該プログラムを記憶しているコンピュータ読取可能な記録媒体から当該プログラムを読み込むことができる。また、当該プログラムは通信回線を通じてコンピュータに供給され、コンピュータは、通信回線を通じて供給されたプログラムを読み込んでよい。

【0093】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。

【0094】

請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

【符号の説明】

【0095】

５ 撮像システム
１０ 撮像素子
１２ 撮像部
１４ 対物レンズ
ｆ１ 変調周波数
ｆ２ 変調周波数
ｆ３ 変調周波数
ｆ４ 変調周波数
２０ スコープ部
２２ ライトガイド
２４ 光出射口
２６ 光入射口
３０ 制御ユニット
４０ 画像処理ユニット
５０ 表示装置
６０ 記憶装置
７０ 出力装置
１００ 撮像素子
１０１ マイクロレンズ
１０３ パッシベーション膜
１０４ フォトダイオード
１０５ トランジスタ
１０６ フォトダイオード層
１０７ 配線
１０８ 配線層
１０９ バンプ
１１０ シリコン貫通電極
１１１ 信号処理チップ
１１２ メモリチップ
１１３ 撮像チップ
１２０ 撮像制御部
１３０ 発光部
１３１ 光源
１３２ 光源
１３３ 光源
１３４ 光源
１４０ 発光制御部
１５０ 撮像情報出力部
２００ 復調部
２２０ 画像生成部
２４０ 変化周波数特定部
２５０ 選択部
２６０ ３次元情報取得部
２８０ 撮像情報取得部
３０１ 画素
３１０ 画像
３２０ 画像
３３０ 画像
３４０ 画像
３８１ シーケンス
３８２ シーケンス
３８３ シーケンス
３８４ シーケンス
３９０ シーケンス
３９２ タイミング
４００ 画像群
４１０ 画像
４２０ 画像
４３０ 画像
４４０ 画像
５１０ 乗算
５１２ 周波数フィルタ
５２０ 乗算
５２２ 周波数フィルタ
５３０ 乗算
５３２ 周波数フィルタ
５４０ 乗算
５４２ 周波数フィルタ
７１０、７２０、７３０、７４０ 画像

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7】