特許7146698撮像装置、撮像方法、撮像システムの送信装置、及び撮像システムの受信装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-09-26
(45)【発行日】2022-10-04
(54)【発明の名称】撮像装置、撮像方法、撮像システムの送信装置、及び撮像システムの受信装置
(51)【国際特許分類】
H04N 5/232 20060101AFI20220927BHJP
H04N 5/225 20060101ALI20220927BHJP
G06T 5/00 20060101ALI20220927BHJP
G06T 5/50 20060101ALI20220927BHJP
【ＦＩ】
H04N5/232 290
H04N5/225 300
H04N5/225 100
G06T5/00 705
G06T5/50
H04N5/225 400
【請求項の数】
19
(21)【出願番号】P 2019118394
(22)【出願日】2019-06-26
(65)【公開番号】P2021005786
(43)【公開日】2021-01-14
【審査請求日】2021-11-16
(73)【特許権者】
【識別番号】000005108
【氏名又は名称】株式会社日立製作所
(74)【代理人】
【識別番号】110000198
【氏名又は名称】弁理士法人湘洋特許事務所
(72)【発明者】
【氏名】川俣 良太
(72)【発明者】
【氏名】田島 和幸
(72)【発明者】
【氏名】中村 悠介
【審査官】吉田 千裕
(56)【参考文献】
【文献】特開２００８－１７５６９８（ＪＰ，Ａ）
【文献】特表２０１０－５０３８４４（ＪＰ，Ａ）
【文献】Nagaaki Ohyama et al.，An Advanced coded imaging without side lobes，Optics Communications，1978年12月，Volume 27 Issue 3，p.339-344
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ５／２２２－５／２５７
Ｇ０６Ｔ ５／００
Ｇ０６Ｔ ５／５０
(57)【特許請求の範囲】
【請求項1】
物体を撮像し、撮像の際の点拡がり関数におけるサイドローブに起因するグリッドノイズが生じ得ている画像を出力する撮像部と、グリッドノイズ情報に基づいて前記画像からグリッドノイズを除去するグリッドノイズ除去部と、
を備えることを特徴とする撮像装置。
【請求項2】
請求項１に記載の撮像装置であって、前記グリッドノイズ除去部に対して前記グリッドノイズ情報を出力するグリッドノイズ情報出力部、
を備えることを特徴とする撮像装置。
【請求項3】
請求項１に記載の撮像装置であって、前記撮像部は、
少なくとも１以上の基本撮像用パターンを含む撮像用パターンからなり、入射光の強度を変調する変調器と、
前記変調器を通過して入射した光を電気信号に変換することにより、投影像を生成する画像センサと、
前記投影像と、前記撮像用パターンに対応する現像用パターンとを用いた現像処理によって前記画像を生成する画像処理部と、
を有する
ことを特徴とする撮像装置。
【請求項4】
請求項３に記載の撮像装置であって、前記画像処理部は、初期位相が異なる複数の前記撮像用パターンをそれぞれ通過した複数の前記投影像を用いたフリンジスキャン演算処理によってノイズキャンセルを行う
ことを特徴とする撮像装置。
【請求項5】
請求項３に記載の撮像装置であって、前記画像センサは、複数の小型画像センサユニットからなる
ことを特徴とする撮像装置。
【請求項6】
請求項１に記載の撮像装置であって、前記撮像部は、
点拡がり関数にサイドローブを発生させる中間物と、
前記中間物を通過して入射した光に基づいて前記画像を生成するカメラモジュールと、
を有する
ことを特徴とする撮像装置。
【請求項7】
請求項６に記載の撮像装置であって、前記中間物は、有機ＥＬディスプレイである
ことを特徴とする撮像装置。
【請求項8】
請求項２に記載の撮像装置であって、前記グリッドノイズ情報出力部は、
前記撮像部に関する撮像部設計値を外部から入力する撮像部設計値入力部と、
前記撮像部設計値に基づいて前記グリッドノイズ情報を計算するグリッドノイズ情報計算部と、
を有する
ことを特徴とする撮像装置。
【請求項9】
請求項２に記載の撮像装置であって、前記グリッドノイズ情報出力部は、
前記物体を実際に撮像した実測撮像結果を外部から入力する実測撮像結果入力部と、
前記実測撮像結果から前記グリッドノイズ情報を抽出するグリッドノイズ情報抽出部と、
を有する
ことを特徴とする撮像装置。
【請求項10】
請求項２に記載の撮像装置であって、前記グリッドノイズ情報出力部は、
予め保持している、前記撮像部に関する撮像部設計値に基づいて前記グリッドノイズ情報を計算するグリッドノイズ情報計算部、
を有する
ことを特徴とする撮像装置。
【請求項11】
請求項２に記載の撮像装置であって、前記グリッドノイズ情報出力部は、
予め保持している、前記物体を実際に撮像した実測撮像結果から前記グリッドノイズ情報を抽出するグリッドノイズ情報抽出部、
を有する
ことを特徴とする撮像装置。
【請求項12】
撮像装置による撮像方法であって、物体を撮像し、撮像の際の点拡がり関数におけるサイドローブに起因するグリッドノイズが生じ得ている画像を出力する撮像ステップと、
グリッドノイズ情報に基づき、前記画像から前記グリッドノイズを除去するグリッドノイズ除去ステップと、
を含むことを特徴とする撮像方法。
【請求項13】
送信装置及び受信装置を備えた撮像システムにおける前記送信装置であって、物体を撮像し、撮像の際の点拡がり関数におけるサイドローブに起因するグリッドノイズが生じ得ている画像を出力する撮像部と、
グリッドノイズ情報に基づいて前記画像から前記グリッドノイズを除去するグリッドノイズ除去部を有する前記受信装置に対し、前記グリッドノイズ情報及び前記画像を送信するデータ送信部と、
前記グリッドノイズ情報を前記データ送信部に出力するグリッドノイズ情報出力部と、
を備えることを特徴とする送信装置。
【請求項14】
請求項１３に記載の送信装置であって、前記グリッドノイズ情報出力部は、外部から入力された情報に基づいて前記グリッドノイズ情報を生成して前記データ送信部に出力する
ことを特徴とする送信装置。
【請求項15】
請求項１３に記載の送信装置であって、前記グリッドノイズ情報出力部は、予め保持している情報に基づいて前記グリッドノイズ情報を生成して前記データ送信部に出力する
ことを特徴とする送信装置。
【請求項16】
送信装置及び受信装置を備えた撮像システムにおける前記受信装置であって、物体を撮像し、撮像の際の点拡がり関数におけるサイドローブに起因するグリッドノイズが生じ得ている画像を出力する撮像部と、グリッドノイズ情報及び前記画像を送信するデータ送信部と、前記グリッドノイズ情報を前記データ送信部に出力するグリッドノイズ情報出力部と、を備える送信装置から送信された前記グリッドノイズ情報及び前記画像を受信するデータ受信部と、
受信された前記グリッドノイズ情報に基づいて前記画像から前記グリッドノイズを除去するグリッドノイズ除去部と、
を備えることを特徴とする受信装置。
【請求項17】
送信装置及び受信装置を備えた撮像システムにおける前記受信装置であって、物体を撮像し、撮像の際の点拡がり関数におけるサイドローブに起因するグリッドノイズが生じ得ている画像を出力する撮像部と、前記画像を送信するデータ送信部と、を備える送信装置から送信された前記画像を受信するデータ受信部と、
グリッドノイズ情報に基づいて前記画像から前記グリッドノイズを除去するグリッドノイズ除去部と、
前記グリッドノイズ情報を前記グリッドノイズ除去部に出力するグリッドノイズ情報出力部と、
を備えることを特徴とする受信装置。
【請求項18】
請求項１７に記載の受信装置であって、前記グリッドノイズ情報出力部は、外部から入力された情報に基づいて前記グリッドノイズ情報を生成して前記グリッドノイズ除去部に出力する
ことを特徴とする受信装置。
【請求項19】
請求項１７に記載の受信装置であって、前記グリッドノイズ情報出力部は、予め保持している情報に基づいて前記グリッドノイズ情報を生成して前記グリッドノイズ除去部に出力する
ことを特徴とする受信装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置、撮像方法、撮像システムの送信装置、及び撮像システムの受信装置に関する。
【背景技術】
【0002】
ＩｏＴ(Internet of Things)デバイスやウェアラブルデバイス等のデバイスに搭載するための撮像装置は、設置するスペースが限られているため薄型化と低コスト化が求められる。
【0003】
撮像装置を薄型化する技術として、例えば特許文献１には、レンズを用いることなく物体像を得ることができる撮像方式が提案されている。
【0004】
また、特許文献２には、薄型化した撮像装置によって指の赤外画像を撮像し、赤外画像から検出した静脈パターンを認証に用いる際の認証精度を向上させる技術が提案されている。
【先行技術文献】
【特許文献】
【0005】
【文献】特開２０１８－０６１１０９号公報
【文献】特開２０１５－０２６２２８号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献１に記載の撮像方法によれば、物体の光が撮像用のパターンからなる変調器を通過し、画像センサに入射して得られる投影像に対し、撮像用のパターンに対応する現像用のパターンを用いて相互相関演算を行うことによって物体の現像画像を得ることができる。しかしながら、撮像の際の点拡がり関数が振動するサイドローブを持つため、それに起因するノイズが現像画像に生じてしまう問題がある。
【0007】
また、特許文献２に記載の技術では、指を撮像した赤外画像から、静脈を検出する際に支障となるノイズを除去している。ここでのノイズ源は、指のしわを想定している。ノイズを除去するためには、Ｔｏｐ－ｈａｔ変換による高周波成分の除去を行う。具体的には、皮膚のしわは血管幅よりも狭いことが多いことを利用し、構造化要素の長さの調整を経験的に行ない、可能な範囲でしわ成分を除去している。しかしながら、該技術では、血管の細い陰影を誤ってしわと判断して除去してしまう問題がある。また、鮮明な血管の陰影のコントラストを低下させてしまうことも問題である。
【0008】
本発明はこのような状況に鑑みてなされたものであり、撮像の結果得られる画像上に生じ得る、振動するサイドローブを持つ点拡がり関数に起因するノイズを適切に除去できるようにすることを目的とする。
【課題を解決するための手段】
【0009】
本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。
【0010】
上記課題を解決すべく、本発明の一態様に係る撮像装置は、物体を撮像し、撮像の際の点拡がり関数におけるサイドローブに起因するグリッドノイズが生じ得ている現像画像を出力する撮像部と、グリッドノイズ情報に基づいて前記現像画像から前記グリッドノイズを除去するグリッドノイズ除去部と、を備えることを特徴とする。
【発明の効果】
【0011】
本発明の一態様によれば、撮像の結果得られる画像に生じ得る、振動するサイドローブを持つ点拡がり関数に起因するノイズを適切に除去することが可能となる。
【0012】
上記した以外の課題、構成、及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【0013】
【発明を実施するための形態】
【0014】
以下、本発明の複数の実施形態を図面に基づいて説明する。なお、各実施形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。また、以下の実施形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合、及び原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。また、「Ａからなる」、「Ａより成る」、「Ａを有する」、「Ａを含む」と言うときは、特にその要素のみである旨明示した場合等を除き、それ以外の要素を排除するものでないことは言うまでもない。同様に、以下の実施形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合、及び原理的に明らかにそうでないと考えられる場合等を除き、実質的にその形状等に近似又は類似するもの等を含むものとする。
【0015】
＜撮像装置１０１の構成例＞
図１は、以下に説明する本発明の各実施形態の基礎となる撮像装置１０１の構成例を示している。撮像装置１０１は、撮像部１０２、及びコントローラ１０８を備える。
図１は、以下に説明する本発明の各実施形態の基礎となる撮像装置１０１の構成例を示している。撮像装置１０１は、撮像部１０２、及びコントローラ１０８を備える。
【0016】
撮像部１０２は、画像センサ１０３、パターン基板１０４、撮像用パターン１０５、及び画像処理部１０６を有する。撮像部１０２は、物体の光学像を結像させるためのレンズを用いることなく、物体を撮像し、所定の現像処理によって物体の撮像画像を生成し、コントローラ１０８に出力する。
【0017】
コントローラ１０８は、撮像部１０２から入力される撮像画像を、例えば、コンピュータや記録デバイス等の外部装置に出力する。コントローラ１０８は、外部装置に撮像画像を出力する場合、外部装置と接続するためのインターフェース（例えば、ＵＳＢ(Universal Serial Bus)等）に適合するように撮像画像のデータ形式を変換する。コントローラ１０８は、例えば、ＣＰＵ、メモリ、ストレージ、通信インターフェースを備える一般的なコンピュータによって実現できる。
【0018】
次に、図２は、撮像用パターン１０５周辺の構成例を示している。パターン基板１０４は、その下面が画像センサ１０３の受光面に密着して固定されており、パターン基板１０４の上面（光入射面）には、撮像用パターン１０５が形成されている。
【0019】
パターン基板１０４は、例えばガラスやプラスティック等の可視光に対して透明な材料からなる。撮像用パターン１０５は、例えば半導体プロセスに用いられるスパッタリング法等により、パターン基板１０４の上面にアルミニウム、クロム等の金属を蒸着することによって形成されている。
【0020】
なお、撮像用パターン１０５は、アルミニウム等の金属が蒸着されている部分と蒸着されていない部分とを設けることによって濃淡がつけられており、通過する可視光の透過率を変調することができるようになされている。すなわち、撮像用パターン１０５は、本発明の変調器に相当する。
【0021】
ただし、撮像用パターン１０５の形成は、金属の蒸着に限るものでない。例えばインクジェットプリンタ等によって印刷する等、可視光の透過率の変調を実現できる手段であればどのように形成してもよい。
【0022】
また、ここでは可視光を例に説明したが、可視光以外の光の撮像を行う場合には、パターン基板１０４を、該光を透過する材料（例えば、遠赤外光の場合、ゲルマニウム、シリコン、カルコゲナイド等）で形成し、撮像用パターン１０５を、該光を遮断する材料で形成するようにすればよい。
【0023】
次に、図３は、撮像用パターン１０５周辺の他の構成例を示している。図２の構成例では、撮像用パターン１０５をパターン基板１０４の上面に形成していた。図３の構成例では、撮像用パターン１０５を薄膜によって形成し、該薄膜が、支持部材３０１によって画像センサ１０３から所定の距離を離して保持されている。
【0024】
なお、撮像装置１０１による撮像画角は、パターン基板１０４の厚さによって変更可能である。したがって、図３に示された構成例の場合、支持部材３０１の長さを変更できる機構を設ければ、撮像画角を変更することが可能となる。
【0025】
画像センサ１０３は、その表面に受光素子である画素１０３ａが格子状に規則的に配置されている。画像センサ１０３は、各画素１０３ａによる光電変換の結果得られる入射光に応じた画素信号からなるセンサ画像（以下、投影像とも称する）を画像処理部１０６に出力する。
【0026】
画像処理部１０６は、画像センサ１０３から入力される投影像に、フリンジスキャン演算処理、現像処理等の画像処理を行うことにより、撮像画像を生成し、コントローラ１０８に出力する。画像処理部１０６は、例えば、専用の画像処理回路、またはコンピュータによって実現される。
【0027】
＜撮像装置１０１による撮像原理＞
ここで、撮像装置１０１による撮像原理について説明する。
ここで、撮像装置１０１による撮像原理について説明する。
【0028】
はじめに、撮像用パターン１０５について説明する。撮像用パターン１０５は、中心からの距離に反比例して間隔が細かくなる複数の同心円からなるパターン（模様）である。撮像用パターン１０５は、同心円の中心を基準座標とし、基準座標からの半径ｒ、係数βを用いて次式（１）のように表される。
【0029】
【数1】
【0030】
なお、撮像用パターン１０５は、実際に光を透過させる用途に用いるので、負の値となっては不都合であるため、ＣＯＳ値に１を加算してオフセットさせている。撮像用パターン１０５は、式（１）に比例して透過する光の透過率を変調する。このような複数の同心円からなる縞模様は、ガボールゾーンプレートまたはフレネルゾーンプレート等と称される。
【0031】
【0032】
なお、以下においては、説明を簡単化するため、ｘ方向についてのみ数式を用いて説明するが、ｙ方向についてもｘ方向と同様に処理することにより、ｘ方向及びｙ方向の２次元に展開することが可能である。
【0033】
次に、図６は、パターン基板１０４に対して斜め入射した平行光が画像センサ１０３上でシフトすることを説明するための図である。
【0034】
同図に示されるように、撮像用パターン１０５が形成されている厚さｄのパターン基板１０４に対し、ｘ方向に角度θ０で平行光が入射した場合、パターン基板１０４の中の屈折角をθとすれば、幾何光学的には、撮像用パターン１０５の透過率が乗じられた光が、ｋ＝ｄ・ｔａｎθだけシフトして画像センサ１０３に入射する。そして、次式（２）によって表される強度分布を有する投影像が画像センサ１０３によって生成される。
【0035】
【数2】
【0036】
式（２）におけるΦは、式（１）によって表される撮像用パターン１０５の透過率分布の初期位相である。
【0037】
次に、図７は、式（１）によって表される撮像用パターン１０５を通過し、画像センサ１０３に入射して得られた投影像の一例を示している。同図に示されるように、投影像は、撮像用パターン１０５に比べて、式（２）のようにｋだけずれたものとなる。
【0038】
ここで、画像処理部１０６における現像処理について説明する。画像処理部１０６における現像処理では、相関現像方式またはモアレ現像方式の一方により現像処理を実行する。図８は、現像処理に用いる現像用パターン８０１の一例である。
【0039】
【0040】
図９は、相関現像方式による現像画像の一例を示している。同図に示されるように、相関現像方式による現像画像には、シフト量ｋの輝点が出現する。
【0041】
なお、一般的に、相互相関関数の演算は、２次元畳み込み演算によって行うと演算量が大きくなる。そこで、本実施の形態では、相互相関関数の演算における演算量がより少なくなるように、フーリエ変換を用いて演算する。以下、フーリエ変換を用いて相互相関関数の演算を行う原理について説明する。
【0042】
投影像との相互相関関数を演算する現像用パターン８０１（図８）は、撮像用パターン１０５と同様、ガボールゾーンプレートやフレネルゾーンプレートを用いる。したがって、現像用パターン８０１は、初期位相Φを用いて次式（３）のように表すことができる。
【0043】
【数3】
【0044】
現像用パターン８０１は、現像処理にて演算に使用するだけであり、撮像用パターン１０５のように光を透過させる用途には用いないので、負の値となってもよい。よって、現像用パターン８０１を表す式（３）は、撮像用パターン１０５を表す式（１）のように１を加算してオフセットさせる必要はない。
【0045】
式（１），（３）のフーリエ変換の結果は、次式（４），（５）に示すとおりである。
【0046】
【数4】
【0047】
【数5】
【0048】
式（４），（５）におけるＦはフーリエ変換演算、ｕはｘ方向の周波数座標を表す。式（４）におけるδは、デルタ関数である。Ｆ，ｕ，δについては、以降の式においても同様とする。
【0049】
式（４），（５）で重要なことは、フーリエ変換後においても、フレネルゾーンプレートやガボールゾーンプレートを表す成分を含んでいる点である。よって、式（４），（５）に基づいてフーリエ変換後の現像用パターンを直接的に生成してもよい。これにより演算量の低減が可能となる。
【0050】
次に、式（４）と式（５）とを乗算して次式（６）を得る。
【0051】
【数6】
【0052】
式（６）における指数関数で表された項ｅ（－ｉｋｕ）が信号成分であり、この項を逆フーリエ変換すれば、次式（７）に示す点拡がり関数を得ることができる。
【0053】
【数7】
【0054】
式（７）は、図９に示された現像画像のように、元のｘ軸において、基準座標からｋだけずれた位置の輝点を表す。この輝点は、無限遠の光束を示しており、現像画像（図９）は、撮像部１０２によって撮像された画像にほかならない。
【0055】
なお、式（６）には、信号成分以外の項も存在し、これがノイズとなるため、フリンジスキャン演算処理によるノイズキャンセルを行う（詳細後述）。
【0056】
また、相関現像方式の場合、撮像用パターン１０５及び現像用パターン８０１は、そのパターンの自己相関関数が単一のピークを有するものであれば、フレネルゾーンプレートやガボールゾーンプレートに限定されず、例えばランダムなパターンであってもよい。
【0057】
次に、モアレ現像方式について説明する。モアレ現像方式では、撮像用パターン１０５を通過した光の投影像（図７）と、現像用パターン８０１（図８）とを乗算することによりモアレ縞を生成し、モアレ稿をフーリエ変換することによって現像画像を得る。
【0058】
【0059】
【数8】
【0060】
式（８）の展開式における第３項が信号成分であり、図１０に示されるように、投影像（図７）と、現像用パターン８０１（図８）とのパターンのずれの方向（図面横方向）と直交する等間隔の縞模様が、投影像（図７）と、現像用パターン８０１（図８）とのパターンが重なり合う領域の全体に生じていることが分かる。このような縞と縞との重ね合わせによって相対的に低い空間周波数で生じる縞がモアレ縞である。
【0061】
式（８）の展開式における第３項に２次元フーリエ変換を行えば、次式（９）に示す点拡がり関数を得ることができる。
【0062】
【数9】
【0063】
また、式（９）から、モアレ縞の空間周波数スペクトルにおいて、空間周波数のピークがｕ＝±ｋβ／πの位置に生じることが分かる。
【0064】
図１１は、モアレ縞をフーリエ変換することによって得られる現像画像の一例を示している。同図に示されるように、モアレ現像方式による現像画像には、シフト量±ｋβ／πの輝点が出現する。この輝点は、無限遠の光束を示しており、撮像部１０２によって撮像された画像にほかならない。
【0065】
なお、式（８）には、信号成分以外の項も存在し、これがノイズとなるため、フリンジスキャン演算処理によるノイズキャンセルを行う（詳細後述）。
【0066】
また、モアレ現像方式の場合、撮像用パターン１０５及び現像用パターン８０１のパターンは、両者を乗算して得られるモアレ縞が単一の周波数を有するものであれば、フレネルゾーンプレートやガボールゾーンプレートに限定されず、例えば楕円状のパターンであってもよい。
【0067】
＜フリンジスキャン演算に基づくノイズキャンセル＞
次に、式（６）及び式（８）における信号成分以外の項に起因するノイズをフリンジスキャン演算処理によってキャンセルする方法について説明する。
次に、式（６）及び式（８）における信号成分以外の項に起因するノイズをフリンジスキャン演算処理によってキャンセルする方法について説明する。
【0068】
フリンジスキャン演算処理を行うためには、初期位相Φが異なる複数の撮像用パターン１０５を使用して撮像を行う必要がある。
【0069】
図１２は、初期位相Φが異なる４種類の撮像用パターン１０５の例を示しており、左側から順に、初期位相Φが０，π／２，π，３π／２撮像用パターン１０５を示している。
【0070】
初期位相Φ（０，π／２，π，３π／２）が異なる４種類の撮像用パターン１０５を用いて４枚のセンサ画像を撮像し、次式（１０）に従って演算すると複素数のセンサ画像（以下、複素センサ画像と称する）を得ることができる。
【0071】
【数10】
【0072】
複素センサ画像に対応する現像用パターン８０１は、次式（１１）に示すとおりとなる。
【0073】
【数11】
【0074】
なお、式（１１）には複素数を含んでいるが、複素センサ画像に対応する現像用パターン８０１は、実際に光を透過させるわけではなく、フリンジスキャン演算処理に用いるだけなので複素数であっても問題ない。
【0075】
モアレ現像方式の場合には、複素センサ画像を表す式（１０）と、現像用パターン８０１を表す式（１１）とを乗算して次式（１２）を得る。
【0076】
【数12】
【0077】
式（１２）における指数関数で表された項ｅｘｐ（２ｉβｋｘ）が信号成分であり、式（８）のように信号成分以外の項が存在しないので、ノイズが除去されていることが分かる。
【0078】
一方、相関現像方式の場合には、複素センサ画像を表す式（１０）と、現像用パターン８０１をそれぞれフーリエ変換して次式（１３），（１４）を得る。
【0079】
【数13】
【0080】
【数14】
【0081】
次に、式（１３）と式（１４）とを乗算して次式（１５）を得る。
【0082】
【数15】
【0083】
式（１５）における指数関数で表された項ｅｘｐ（－ｉｋｕ）が信号成分であり、式（６）のように信号成分以外の項が存在しないので、ノイズが除去されていることが分かる。
【0084】
なお、上述したフリンジスキャン演算処理によるノイズキャンセルの説明では、初期位相Φが異なる４枚の撮像用パターン１０５を用いたが、フリンジスキャンに用いる撮像用パターン１０５の数は４に限らない。例えば、Ｎ（Ｎは２以上の整数）枚の撮像用パターン１０５を用いる場合、初期位相Φは０～２πの間の角度[ｒａｄ]をＮ等分して設定すればよい。
【0085】
初期位相Φが異なる複数の撮像用パターン１０５を用いて撮像を行うには、時分割で撮像用パターン１０５を切り替える方法と、空間分割で初期位相Φが異なる複数の撮像用パターン１０５を配置する方法がある。
【0086】
時分割で撮像用パターン１０５を切り替える方法は、例えば、初期位相Φが異なる複数の撮像用パターン１０５を切り替えて表示することが可能な液晶表示素子等を、撮像用パターン１０５として使用すればよい。この液晶表示素子の切替タイミングと画像センサ１０３のシャッタタイミングを同期させて撮像を行い、その結果得られた４枚のセンサ画像を画像処理部１０６に出力し、画像処理部１０６においてフリンジスキャン演算処理を実行すればよい。
【0087】
一方、空間分割で初期位相Φが異なる複数の撮像用パターン１０５を配置する方法は、初期位相Φが異なる複数の撮像用パターン１０５を空間的に組み合わせて１枚の撮像用パターン１０５を生成する。そして、該１枚の撮像用パターン１０５を用いて撮像を行い、その結果得られたセンサ画像を画像処理部１０６にて４枚に分割してからフリンジスキャン演算処理を実行すればよい。
【0088】
図１３は、図１２に示された初期位相Φが異なる４枚の撮像用パターンを空間的に組み合わせた撮像用パターン１０５の一例である。なお、図１３に示されたような１枚の撮像用パターン１０５を構成する初期位相Φが異なる４数の撮像用パターンを、以下、基本撮像用パターンと称する。
【0089】
＜画像処理部１０６による画像処理＞
次に、図１４は、画像処理部１０６によるフリンジスキャン演算処理の一例を説明するフローチャートである。
次に、図１４は、画像処理部１０６によるフリンジスキャン演算処理の一例を説明するフローチャートである。
【0090】
フリンジスキャン演算処理は、例えば、画像処理部１０６に対し、画像センサ１０３からセンサ画像が入力されたときに開始される。なお、画像センサ１０３からは、初期位相Φが異なる複数の撮像用パターン１０５をそれぞれ用いて撮像した複数のセンサ画像が入力される場合（以下、時分割フリンジスキャンの場合と称する）と、初期位相Φが異なる複数の基本撮像用パターンを空間的に組み合わせた１枚の撮像用パターン１０５を用いて撮像した１枚のセンサ画像が入力される場合（以下、空間分割フリンジスキャンの場合と称する）とがある。
【0091】
はじめに、画像処理部１０６は、空間分割フリンジスキャンの場合、１枚の撮像用パターン１０５をなす基本撮像用パターンの数に合わせてセンサ画像を複数に分割する（ステップＳ１）。なお、時分割フリンジスキャンの場合、ステップＳ１は省略される。
【0092】
次に、画像処理部１０６は、出力用の複素センサ画像を初期化する（ステップＳ２）。次に、画像処理部１０６は、１番目の初期位相Φに対応するセンサ画像を処理対象として取得し（ステップＳ３）、その初期位相Φに応じたｅｘｐ（ｉΦ）をセンサ画像に乗算し（ステップＳ４）、その乗算結果を複素センサ画像に加算する（ステップＳ５）。
【0093】
次に、画像処理部１０６は、全ての初期位相Φにそれぞれ対応するセンサ画像を処理対象としたか否かを判定する（ステップＳ６）。ここで、全ての初期位相Φにそれぞれ対応するセンサ画像を処理対象としていないと判定した場合（ステップＳ６でＮＯ）、画像処理部１０６は、処理をステップＳ３に戻して、ステップＳ３～Ｓ６を繰り返す。例えば、図１２に示されたように、初期位相Φが０，π／２，π，３π／２の４種類である場合、ステップＳ３～Ｓ６は４回繰り返される。その後、全ての初期位相Φにそれぞれ対応するセンサ画像を処理対象としたと判定した場合（ステップＳ６でＹＥＳ）、画像処理部１０６は、次に説明する現像処理に対して複素センサ画像を出力する（ステップＳ７）。以上で、画像処理部１０６によるフリンジスキャン演算処理は終了される。
【0094】
次に、画像処理部１０６による現像処理について説明する。
【0095】
図１５は、画像処理部１０６による相関現像方式を採用した現像処理を含む画像処理の一例を説明するフローチャートである。
【0096】
該画像処理は、上述したフリンジスキャン演算処理から複素センサ画像が入力されたことに応じて開始される。
【0097】
はじめに、画像処理部１０６は、フリンジスキャン演算処理から入力された複素センサ画像に対して２次元ＦＦＴ（高速フーリエ変換）演算を行う（ステップＳ１１）。
【0098】
次に、画像処理部１０６は、現像処理に使用する現像用パターン８０１を生成して２次元ＦＦＴ演算後の複素センサ画像に乗算し（ステップＳ１２）、逆２次元ＦＦＴ演算を実行する（ステップＳ１３）。ステップＳ１３の演算結果は複素数となるため、画像処理部１０６は、演算結果を絶対値化するか、または実部を取り出して撮像対象の像を実数化して画像化することにより現像画像を生成する（ステップＳ１４）。
【0099】
次に、画像処理部１０６は、得られた現像画像に対してコントラスト強調処理（ステップＳ１５）、カラーバランス調整処理（ステップＳ１６）等を行い、撮像画像としてコントローラ１０８に出力する。以上で、画像処理は終了される。
【0100】
次に、図１６は、画像処理部１０６によるモアレ現像方式を採用した現像処理を含む画像処理の一例を説明するフローチャートである。
【0101】
該画像処理は、上述したフリンジスキャン演算処理から複素センサ画像が入力されたことに応じて開始される。
【0102】
はじめに、画像処理部１０６は、現像処理に使用する現像用パターン８０１を生成してフリンジスキャン演算処理から入力された複素センサ画像に対して乗算し（ステップＳ２１）、２次元ＦＦＴ（高速フーリエ変換）演算を行うことにより周波数スペクトルを求め（ステップＳ２２）、この周波数スペクトルのうち、必要な周波数領域のデータを切り出す（ステップＳ２３）。
【0103】
必要な周波数領域のデータは複素数となるため次に、画像処理部１０６は、該データを絶対値化するか、または実部を取り出して撮像対象の像を実数化して画像化することにより現像画像を生成する（ステップＳ２４）。
【0104】
次に、画像処理部１０６は、得られた現像画像に対してコントラスト強調処理（ステップＳ２５）、カラーバランス調整処理（ステップＳ２６）等を行った後、撮像画像としてコントローラ１０８に出力する。以上で、画像処理は終了される。
【0105】
＜有限距離物体の撮像原理＞
ここまでは、撮像の対象とする物体が無限距離に存在していることを前提として説明した。図１７は、撮像の対象とする物体が無限距離に存在している場合における撮像用パターン１０５の画像センサ１０３への射影の様子を示している。
ここまでは、撮像の対象とする物体が無限距離に存在していることを前提として説明した。図１７は、撮像の対象とする物体が無限距離に存在している場合における撮像用パターン１０５の画像センサ１０３への射影の様子を示している。
【0106】
同図に示されるように、無限遠の物体を構成する点１７０１からの球面波は、十分に長い距離を伝搬する間に平面波となって撮像用パターン１０５を透過し、画像センサ１０３に入射する。したがって、画像センサ１０３にて得られる投影像１７０２は撮像用パターン１０５とほぼ同じ形状となる。この結果、投影像１７０２に対して、現像用パターンを用いて現像処理を行うことにより、単一の輝点を得ることが可能とある。
【0107】
次に、撮像の対象とする物体が有限距離に存在している場合について説明する。
【0108】
図１８は、撮像の対象とする物体が有限距離に存在している場合における撮像用パターン１０５の画像センサ１０３への射影の様子を示している。
【0109】
同図に示されるように、有限遠の物体を構成する点１８０１からの球面波は、球面波の状態で撮像用パターン１０５を透過し、画像センサ１０３に入射する。よって、画像センサ１０３にて得られる投影像１８０２は、撮像用パターン１０５がほぼ一様に拡大されたものとなる。なお、この拡大率αは、点１８０１から撮像用パターン１０５までの距離ｆを用いて、次式（１６）により算出できる。
【0110】
【数16】
【0111】
このように、撮像の対象とする物体が有限距離に存在している場合、投影像１８０２は、撮像用パターン１０５を拡大率αしたものとなるため、平行光に対して設計された現像用パターンをそのまま用いて現像処理を行った場合、単一の輝点を得ることができない。
【0112】
このような場合、現像用パターンを、投影像１８０２に合わせて、現像用パターン８０１を拡大させて用いれば、撮像の対象とする物体が有限距離に存在している場合と同様、単一の輝点を得ることができる。
【0113】
また、このような場合、現像用パターン８０１は、式（３）における係数βを、β／α２に置換することで補正が可能である。これにより、必ずしも無限遠でない距離の点１８０１からの光を選択的に現像画像上に再生することができる。これによって、任意の位置に焦点合わせて撮像を行うことができる。
【0114】
＜グリッドノイズの発生＞
以上の説明では、画像センサ１０３の大きさが無限に大きい理想的な状況を想定していた。したがって、撮像用パターン１０５の投影像も外側まで無限に続いていることを想定していた。
以上の説明では、画像センサ１０３の大きさが無限に大きい理想的な状況を想定していた。したがって、撮像用パターン１０５の投影像も外側まで無限に続いていることを想定していた。
【0115】
しかしながら、画像センサ１０３の大きさは有限であるため、以下においては、画像センサ１０３の大きさが有限である現実的な状況について説明する。
【0116】
画像センサ１０３の大きさが有限である場合、式(７)や式（９）によって示されていた点拡がり関数が変化し、現像画像にグリッドノイズが生じる。以下、現像画像に生じるグリッドノイズについて説明する。
【0117】
現像画像におけるグリッドノイズの発生は、撮像部１０２の設計値に依存している。はじめに、画像センサ１０３の大きさが有限である場合に点拡がり関数が変化することを説明する。
【0118】
画像センサ１０３の大きさが有限である場合、画像センサ１０３上で検出される投影像の大きさも有限となる。画像センサ１０３がｘ方向に－ｓから＋ｓまでの幅を有すると、撮像用パターン１０５の投影像を表す式（２）は、次式（１７）に示されるとおりとなる。
【0119】
【数17】
【0120】
式（１７）における矩形関数ｒｅｃｔ（ｘ）は、次式（１８）に示すとおりである。
【0121】
【数18】
【0122】
この場合、図６に示されたように、撮像用パターン１０５が形成されている厚さｄのパターン基板１０４に対し、ｘ方向に角度θ０で平行光が入射したとき現像画像を表す点拡がり関数は、式（７）から次式（１９）に変化する。
【0123】
【数19】
【0124】
すなわち、点拡がり関数が、δ関数からｓｉｎ（２βｓ（ｘ＋ｋ））/（２βｓ（ｘ＋ｋ））・ｃｏｓ（β（ｘ＋ｋ）２）へと、サイドローブを持つ関数に変化する。ここでサイドローブとは、メインローブの他に少なくとも一度出現する顕著な振動成分を指す。
【0125】
図１９及び図２０は、画像センサ１０３の大きさが異なる場合の、サイドローブを有する点広がり関数の例を示しており、図１９は、画像センサ１０３の大きさが小さい方に対応する点広がり関数であり、図２０が画像センサ１０３の大きさが大きい方に対応する点広がり関数である。
【0126】
図１９及び図２０からわかるように、サイドローブは、画像センサ１０３の大きさが小さいほど、その振動の収束が遅くなる。一方、メインローブは、画像センサ１０３の大きさが小さいほど、その拡がりが広くなる。なお、図示は省略するが、サイドローブは、撮像用パターン１０５が粗いほど、その振動の収束が遅くなる。一方、メインローブは、撮像用パターン１０５が粗いほど、その拡がりが広くなる。
【0127】
以下、式（１９）においてｋ＝０としたときの点拡がり関数を、ＰＳＦ（ｘ）と称する。
【0128】
次に、点拡がり関数がサイドローブを有し、かつ、所定の条件下で現像画像にグリッドノイズが発生することについて説明する。
【0129】
はじめに、単一輝度（例えば、白色）の四角形の物体を撮像する場合を考える。図２１は、単一輝度の四角形の物体の一例を示している。該物体は、ｘ方向の幅が２Ｌであり、該物体を矩形関数ｒｅｃｔ（ｘ／２Ｌ）と表した場合、現像画像ｒ（ｘ）は、次式（２０）のように表される。ここで、単一輝度の四角形の物体を撮像撮影して得られる現像画像ｒ（ｘ）を、特にｇｒｉｄ（ｘ）と表す。
【0130】
【数20】
【0131】
【0132】
図２４からわかるように、輝度が急激に変化する物体の縁の部分の周囲で、点拡がり関数のサイドローブの振動の影響が顕著に現れる。具体的には、サイドローブの形状で決まる縁からの距離で暗線と明線が繰り返される。これがグリッドノイズである。
【0133】
一方、物体が単一輝度ではない場合、発生するノイズは太さや現れる位置が変化し、グリッド状ではない。数式で表すと、物体が単一輝度ではなく、その輝度分布が関数ｆ（ｘ）である場合、現像画像ｒ（ｘ）は、次式（２１）のように表される。
【0134】
【数21】
【0135】
しかしながら、物体が単一輝度に近い輝度分布を有する場合、グリッドノイズの位置を計算で近似することができる。物体が単一輝度に近い輝度分布を有する場合、輝度分布を表す関数ｆ（ｘ）は、微小量ｈを用いて次式（２２）のように表される。
【0136】
【数22】
【0137】
式（２２）におけるｏ（ｘ）は、物体の輝度分布から定数成分を差し引いたものである。これに対応する現像画像ｒ（ｘ）は、次式（２３）のように表される。
【0138】
【数23】
【0139】
式（２３）によって表される現像画像ｒ（ｘ）ではグリッドノイズが卓越しており、その出現はｇｒｉｄ（ｘ）で表される。このように、物体が単一輝度に近い輝度分布を有する場合、撮像部１０２の設計値に依存した固定の位置にグリッドノイズが現れることになる。
【0140】
次に、現像画像に生じたグリッドノイズを除去する可能な撮像装置について説明する。
【0141】
＜本発明の第１の実施形態に係る撮像装置１０１１の構成例＞
図２５は、本発明の第１の実施形態に係る撮像装置１０１１の構成例を示している。撮像装置１０１１は、撮像装置１０１（図１）に対して、撮像部１０２とコントローラ１０８との間に、グリッドノイズ除去部１０７及びグリッドノイズ情報出力部１０７１を追加したものである。なお、撮像装置１０１１の構成要素のうち、撮像装置１０１の構成要素と共通するものについては、同一の符号を付して、その説明を省略する。
図２５は、本発明の第１の実施形態に係る撮像装置１０１１の構成例を示している。撮像装置１０１１は、撮像装置１０１（図１）に対して、撮像部１０２とコントローラ１０８との間に、グリッドノイズ除去部１０７及びグリッドノイズ情報出力部１０７１を追加したものである。なお、撮像装置１０１１の構成要素のうち、撮像装置１０１の構成要素と共通するものについては、同一の符号を付して、その説明を省略する。
【0142】
グリッドノイズ除去部１０７は、グリッドノイズ情報ｇｒｉｄ（ｘ）に基づき、画像処理部１０６から入力される現像画像ｒ（ｘ）に生じたグリッドノイズを除去して、コントローラ１０８に出力する。グリッドノイズ除去部１０７は、例えば、専用の画像処理回路、またはコンピュータによって実現される。
【0143】
グリッドノイズ情報出力部１０７１は、外部から入力される情報に基づき、グリッドノイズ情報ｇｒｉｄ（ｘ）を生成してグリッドノイズ除去部１０７に出力する。
【0144】
次に、図２６は、撮像装置１０１１におけるグリッドノイズ情報出力部１０７１の第１の構成例を示している。
【0145】
グリッドノイズ情報出力部１０７１の第１の構成例は、撮像部設計値入力部１０７２、及びグリッドノイズ情報計算部１０７３を有する。
【0146】
撮像部設計値入力部１０７２は、例えば、ＵＳＢポート等の入力インターフェースからなり、外部（キーボード、半導体メモリ、ＰＣ(Personal Computer)等）から入力された撮像部設計値をグリッドノイズ情報計算部１０７３に出力する。
【0147】
ここで、撮像部設計値は、例えば、画像センサ１０３の大きさ、撮像用パターン情報、現像用パターン情報、視野の大きさ、物体と撮像用パターン１０５との距離ｆ、及び撮像用パターン１０５と画像センサ１０３との距離ｄ等を含むものとする。
【0148】
グリッドノイズ情報計算部１０７３は、撮像部設計値入力部１０７２から入力された撮像部設計値に基づき、グリッドノイズ除去に必要なグリッドノイズ情報ｇｒｉｄ（ｘ）を式(２０)に従って計算し、グリッドノイズ除去部１０７に出力する。
【0149】
グリッドノイズ除去部１０７は、次式（２４）に示すように、現像画像ｒ（ｘ）をグリッドノイズ情報ｇｒｉｄ（ｘ）で除算することにより、グリッドノイズ除去後の現像画像ｒ’（ｘ）を演算する。
【0150】
【数24】
【0151】
グリッドノイズ除去前の現像画像ｒ（ｘ）を表す式（２３）と、式（２４）と比較して明らかなように、式（２３）は、（グリッドノイズ＋物体)であったのに対し、式（２４）は、(１＋輝度が多少変化した物体)となり、式（２４）からは、グリッドノイズが除去されていることがわかる。
【0152】
なお、図２４に示されたように、視野内におけるグリッドノイズの輝度の変動の割合 (輝度の絶対値に対する輝度の分散)は、１よりも十分小さいため、物体の輝度の変化量も十分小さい。
【0153】
したがって、式（２２）で表されるような物体に関しては、グリッドノイズ除去の効果が物体の輝度が変化する影響を上回るので、本実施形態によるグリッドノイズ除去が有効に作用する。
【0154】
特に、例えば、人の指静脈を検出するような場合において、人の指の赤外画像に生じたグリッドノイズに起因する指静脈の誤検出を抑止する手段として、本実施形態によるグリッドノイズ除去は非常に有効となる。これは、指の赤外画像には、ほぼ単一輝度の背景の中に、エッジが顕著ではない静脈が数本写る状態となるためである。
【0155】
なお、本実施形態によるグリッドノイズ除去は、単一輝度の物体を仮定して計算したグリッドノイズの情報を、より一般的な物体のグリッドノイズ除去にも用いることが可能である。
【0156】
ただし、例えば市松模様のように、単一輝度とは異なり、式（２２）で表されない物体に対しては、本実施形態によるグリッドノイズ除去は適用できない。このような物体を撮像した現像画像に対して、本実施形態によるグリッドノイズ除去を行った場合、グリッドノイズ除去に起因する余計なノイズがさらに生じることになる。
【0157】
しかしながら、物体の現像画像に対して生じ得るこの余計なノイズは、本実施形態によるグリッドノイズ除去が利用されているか否かの判断に用いることができる。すなわち、格子サイズの異なる市松模様を複数撮像し、現像画像にノイズが生じている場合、本実施形態によるグリッドノイズ除去が利用されていると判断できる。また、市松模様の代わりに、二次元正規分布のような徐々に物体の縁で徐々に輝度が変化する物体を用いることも可能である。
【0158】
次に、図２７は、撮像装置１０１１におけるグリッドノイズ情報出力部１０７１の第２の構成例を示している。
【0159】
グリッドノイズ情報出力部１０７１の第２の構成例は、実測撮像結果入力部１０７４、及びグリッドノイズ情報抽出部１０７５を有する。
【0160】
実測撮像結果入力部１０７４は、例えば、ＵＳＢポート等の入力インターフェースからなり、外部（半導体メモリ、ＰＣ等）から入力された実測撮像結果をグリッドノイズ情報抽出部１０７５に出力する。実測撮像結果とは、グリッドノイズが生じている現像画像である。
【0161】
グリッドノイズ情報抽出部１０７５は、実測撮像結果からグリッドノイズ情報ｇｒｉｄ（ｘ）を抽出してグリッドノイズ除去部１０７に出力する。具体的には、グリッドノイズ情報抽出部１０７５は、実測撮像結果としての現像画像に対し、内蔵する高域通過濾波器を用いてグリッドノイズ情報ｇｒｉｄ（ｘ）を抽出する。また、実測撮像結果の信号が弱い場合、実測撮像結果を平滑化する処理が必要となる。
【0162】
ここで、実測撮像結果の最も単純な例としては、単一輝度の物体を撮像して得られた現像画像を挙げることができる。この現像画像は、そのままグリッドノイズ情報ｇｒｉｄ（ｘ）に対応するので、グリッドノイズ情報抽出部１０７５では特に処理を行わず、入力された現像画像をそのままグリッドノイズ情報ｇｒｉｄ（ｘ）としてグリッドノイズ除去部１０７に出力する。
【0163】
ただし、実測撮像結果を得るために撮像する物体は、単一輝度のものに限る必要はない。既知の任意の物体を撮像した結果を実測撮像結果入力部１０７４に入力し、グリッドノイズ情報抽出部１０７５にて撮像結果と既知の物体情報を比較することで、グリッドノイズ情報ｇｒｉｄ（ｘ）を得ることも可能である。具体的には、撮像結果と既知の物体情報から点拡がり関数ＰＳＦ（ｘ）を算出し、式(２０)に従ってグリッドノイズ情報ｇｒｉｄ（ｘ）を計算する。また必要に応じて、グリッドノイズ情報ｇｒｉｄ（ｘ）に高域通過濾波器や平滑化の適用を行う。
【0164】
グリッドノイズ情報出力部１０７１の第１の構成例（図２６）と第２の構成例（図２７）とを比較すると、理論と実機との乖離が無視できる場合には、ノイズ等の影響を受けない第１の構成による計算に基づいたグリッドノイズ除去が有効である。反対に、理論と実機との乖離が無視できない場合には、ノイズ等の影響を受けるものの、第２の構成例による現実に即したグリッドノイズ除去が有効である。
【0165】
＜本発明の第２の実施形態に係る撮像装置１０１２の構成例＞
次に、図２８は、本発明の第２の実施形態に係る撮像装置１０１２の構成例を示している。撮像装置１０１２は、撮像装置１０１１（図２５）における撮像部１０２を、撮像部１０２２に置換したものである。なお、撮像装置１０１２の構成要素のうち、撮像装置１０１及び撮像装置１０１１の構成要素と共通するものについては、同一の符号を付して、その説明を省略する。
次に、図２８は、本発明の第２の実施形態に係る撮像装置１０１２の構成例を示している。撮像装置１０１２は、撮像装置１０１１（図２５）における撮像部１０２を、撮像部１０２２に置換したものである。なお、撮像装置１０１２の構成要素のうち、撮像装置１０１及び撮像装置１０１１の構成要素と共通するものについては、同一の符号を付して、その説明を省略する。
【0166】
撮像部１０２２は、撮像部１０２（図１）と比べて、撮像用パターン１０５の大きさ、画像センサ１０３の大きさ、撮像用パターン１０５と画像センサ１０３との距離は共通である。ただし、撮像用パターン１０５が複数の基本撮像用パターン１０５１からなり、画像センサ１０３が複数の小型画像センサユニット１０３１からなる点が異なる。
【0167】
このような構成により、撮像部１０２２は、撮像部１０２と比べて、より広い視野を撮像することができる。
【0168】
図２９は、撮像部１０２２に採用されている、複数の基本撮像用パターン１０５１からなる撮像用パターン１０５の一例を示している。同図の場合、撮像用パターン１０５は、初期位相Φが等しい９つの基本撮像用パターン１０５１からなるが、撮像用パターン１０５をなす基本撮像用パターン１０５１の数は９に限定されない。
【0169】
また、撮像部１０２２は、必ずしも撮像用パターン１０５、及び画像センサ１０３の両方が複数に分かれている必要はない。例えば、１つの基本撮像用パターン１０５１からなる撮像用パターン１０５と、複数の小型画像センサユニット１０３１からなる画像センサ１０３の組み合わせでもよいし、複数の基本撮像用パターン１０５１からなる撮像用パターン１０５と、細分化されていない画像センサ１０３との組み合わせでもよい。
【0170】
＜本発明の第３の実施形態に係る撮像装置１０１３の構成例＞
次に、図３０は、本発明の第３の実施形態に係る撮像装置１０１３の構成例を示している。
次に、図３０は、本発明の第３の実施形態に係る撮像装置１０１３の構成例を示している。
【0171】
撮像装置１０１１（図２５）では、グリッドノイズ除去部１０７に対して、撮像装置１０１１の外部から入力される情報に基づいて生成されたグリッドノイズ情報ｇｒｉｄ（ｘ）を入力していた。これに対して、撮像装置１０１３は、グリッドノイズ除去部１０７が、グリッドノイズ情報ｇｒｉｄ（ｘ）を予め（製造時等）保持するグリッドノイズ情報記憶部１０７６を内蔵している。グリッドノイズ情報記憶部１０７６は、保持するグリッドノイズ情報ｇｒｉｄ（ｘ）をグリッドノイズ除去部１０７に出力する。グリッドノイズ情報記憶部１０７６は、本発明のグリッドノイズ情報出力部に相当する。
【0172】
なお、撮像装置１０１３の構成要素のうち、撮像装置１０１及び撮像装置１０１１の構成要素と共通するものについては、同一の符号を付して、その説明を省略する。
【0173】
撮像装置１０１３の場合、グリッドノイズ除去部１０７は、グリッドノイズ情報記憶部１０７６が保持するグリッドノイズ情報ｇｒｉｄ（ｘ）を用いてグリッドノイズを除去することができる。
【0174】
次に、図３１は、撮像装置１０１３におけるグリッドノイズ情報記憶部１０７６の第１の構成例を示している。
【0175】
グリッドノイズ情報記憶部１０７６の第１の構成例は、撮像部設計値記憶部１０７７、及びグリッドノイズ情報計算部１０７３を有する。撮像部設計値記憶部１０７７は、予め（製造時等）記憶している撮像部設計値をグリッドノイズ情報計算部１０７３に出力する。グリッドノイズ情報計算部１０７３は、撮像部設計値記憶部１０７７からの撮像部設計値に基づき、グリッドノイズ情報ｇｒｉｄ（ｘ）を計算して保持し、適宜、グリッドノイズ除去部１０７に出力する。
【0176】
次に、図３２は、撮像装置１０１３におけるグリッドノイズ情報記憶部１０７６の第２の構成例を示している。
【0177】
グリッドノイズ情報記憶部１０７６の第２の構成例は、実測撮像結果記憶部１０７８、及びグリッドノイズ情報抽出部１０７５を有する。実測撮像結果記憶部１０７８は、予め（製造時等）記憶している実測撮像結果をグリッドノイズ情報抽出部１０７５に出力する。グリッドノイズ情報抽出部１０７５は、実測撮像結果からグリッドノイズ情報ｇｒｉｄ（ｘ）を抽出して保持し、適宜、グリッドノイズ除去部１０７に出力する。
【0178】
＜本発明の第４の実施形態に係る撮像装置１０１４の構成例＞
次に、図３３は、本発明の第４の実施形態に係る撮像装置１０１４の構成例を示している。
次に、図３３は、本発明の第４の実施形態に係る撮像装置１０１４の構成例を示している。
【0179】
第１～３の実施形態における撮像部１０２，１０２２は、レンズを含まない構成であった。しかしながら、本実施形態によるグリッドノイズ除去は、撮像部におけるレンズの有無に拘わらず、点拡がり関数がサイドローブを有する場合の現像画像に生じたグリッドノイズに対して有効に作用する。
【0180】
そこで、撮像装置１０１４における撮像部１０２４は、レンズの有無については限定せず、点拡がり関数がサイドローブを有するものと定義する。なお、撮像装置１０１４の構成要素のうち、撮像装置１０１１等の構成要素と共通するものについては、同一の符号を付して、その説明を省略する。
【0181】
図３４は、撮像装置１０１４における撮像部１０２４の構成例を示している。撮像部１０２４は、有機ＥＬ(Electro Luminescence)ディスプレイ１０２１、及び、カメラモジュール１０２２を有する。カメラモジュール１０２２は、レンズ、画像センサ、及び画像処理部（何れも不図示）を備える。カメラモジュール１０２２は、それ自体では点拡がり関数にサイドローブが発生しない（無視できる程度に発生する場合を含む）。
【0182】
同図に示された撮像部１０２４の構成例は、例えば、スマートフォン等に搭載し、ディスプレイの裏面からディスプレイの表面にある物体（ユーザの指紋）を撮像する場合に適用できる。
【0183】
同図に示された撮像部１０２４においては、カメラモジュール１０２２では点拡がり関数にサイドローブが発生しないが、有機ＥＬディスプレイ１０２１による回折の影響で、有機ＥＬディスプレイ１０２１を通過した光がカメラモジュール１０２２によって撮像された段階で点拡がり関数にサイドローブが発生する。
【0184】
すなわち、撮像部１０２４は、カメラモジュール１０２２と物体の間に、点拡がり関数にサイドローブを発生させ得る変換物（同図の場合、有機ＥＬディスプレイ１０２１）が配置された構成全般を含む。撮像部１０２４は、点拡がり関数のサイドローブに起因するグリッドノイズが生じた画像をグリッドノイズ除去部１０７に出力する。
【0185】
【0186】
ところで、上述した第１～４の実施形態では、撮像部１０２と、それ以降の構成（グリッドノイズ除去部１０７、及びコントローラ１０８）が一体化されていたため、撮像装置全体のサイズが大きくなっていた。また、コストや消費電力が上がる可能性があった。
【0187】
以下、サイズの小型化が可能な実施形態について説明する。
【0188】
＜本発明の第５の実施形態に係る撮像装置１０１５の構成例＞
次に、図３５は、本発明の第５の実施形態に係る撮像装置１０１５の構成例を示している。なお、撮像装置１０１５の構成要素のうち、上述した第１～４の実施形態の構成要素と共通するものについて同一の符号を付し、その説明を省略する。
次に、図３５は、本発明の第５の実施形態に係る撮像装置１０１５の構成例を示している。なお、撮像装置１０１５の構成要素のうち、上述した第１～４の実施形態の構成要素と共通するものについて同一の符号を付し、その説明を省略する。
【0189】
撮像装置１０１５は、撮像装置１０１１（図２５）が備える構成要素を送信部２００１と受信部２００２とに分割し、グリッドノイズ情報出力部１０７１を送信部２００１側に配置した構成を有する。撮像装置１０１５、送信部２００１及び受信部２００２は、それぞれ本発明の撮像システム、送信装置、及び受信装置に相当する。
【0190】
撮像装置１０１５における送信部２００１は、撮像部１０２、グリッドノイズ情報出力部１０７１、及びデータ送信部２００３を有する。撮像装置１０１５における受信部２００２は、グリッドノイズ除去部１０７、コントローラ１０８、及びデータ受信部２００４を有する。
【0191】
データ送信部２００３は、撮像部１０２から入力された現像画像ｒ（ｘ）、及びグリッドノイズ情報出力部１０７１から入力されたグリッドノイズ情報ｇｒｉｄ（ｘ）をデータ受信部２００４に送信する。データ受信部２００４は、受信した現像画像ｒ（ｘ）、及びグリッドノイズ情報ｇｒｉｄ（ｘ）をグリッドノイズ除去部１０７に出力する。
【0192】
データ送信部２００３とデータ受信部２００４との間のデータ通信は、所定の有線通信規格、または所定の無線通信規格に従って行われる。なお、データ送信部２００３とデータ受信部２００４との間のデータ通信に記録媒体を用いてもよい。
【0193】
また、データ送信部２００３とデータ受信部２００４とがインターネットに代表される双方向通信網を介して接続可能であれば、例えば、受信部２００２を、所謂クラウドネットワーク上のサーバによって実現するようにしてもよい。その場合、１台の受信部２００２が、複数台の送信部２００１に対応してグリッドノイズ除去を行うようにしてもよい。
【0194】
撮像装置１０１５によれば、撮像装置１０１１（図２５）のサイズに比べ、撮像部１０２を含む送信部２００１のサイズを小型化及び軽量化できるので、送信部２００１の配置の自由度を上げることができる。
【0195】
＜本発明の第６の実施形態に係る撮像装置１０１６の構成例＞
次に、図３６は、本発明の第６の実施形態に係る撮像装置１０１６の構成例を示している。なお、撮像装置１０１６の構成要素のうち、上述した第１～５の実施形態の構成要素と共通するものについて同一の符号を付し、その説明を省略する。
次に、図３６は、本発明の第６の実施形態に係る撮像装置１０１６の構成例を示している。なお、撮像装置１０１６の構成要素のうち、上述した第１～５の実施形態の構成要素と共通するものについて同一の符号を付し、その説明を省略する。
【0196】
撮像装置１０１６は、撮像装置１０１３（図３０）が備える構成要素を、送信部２００１と受信部２００２とに分割し、グリッドノイズ情報記憶部１０７６を送信部２００１側に配置した構成を有する。撮像装置１０１６は、本発明の撮像システムに相当する。
【0197】
撮像装置１０１６によれば、撮像装置１０１３（図３０）のサイズに比べ、撮像部１０２を含む送信部２００１のサイズを小型化及び軽量化できるので、送信部２００１の配置の自由度を上げることができる。
【0198】
＜本発明の第７の実施形態に係る撮像装置１０１７の構成例＞
次に、図３７は、本発明の第７の実施形態に係る撮像装置１０１７の構成例を示している。なお、撮像装置１０１７の構成要素のうち、上述した第１～６の実施形態の構成要素と共通するものについて同一の符号を付し、その説明を省略する。
次に、図３７は、本発明の第７の実施形態に係る撮像装置１０１７の構成例を示している。なお、撮像装置１０１７の構成要素のうち、上述した第１～６の実施形態の構成要素と共通するものについて同一の符号を付し、その説明を省略する。
【0199】
撮像装置１０１７は、撮像装置１０１１（図２５）が備える構成要素を送信部２００１と受信部２００２とに分割し、グリッドノイズ情報出力部１０７１を受信部２００２側に配置した構成を有する。撮像装置１０１７は、本発明の撮像システムに相当する。
【0200】
撮像装置１０１７における送信部２００１は、撮像部１０２、及びデータ送信部２００３を有する。撮像装置１０１５における受信部２００２は、グリッドノイズ除去部１０７、コントローラ１０８、グリッドノイズ情報出力部１０７１、及びデータ受信部２００４を有する。
【0201】
撮像装置１０１７におけるデータ送信部２００３は、撮像部１０２から入力された現像画像ｒ（ｘ）をデータ受信部２００４に送信する。データ受信部２００４は、受信した現像画像ｒ（ｘ）をグリッドノイズ除去部１０７に出力する。
【0202】
撮像装置１０１７によれば、撮像装置１０１５（図３５）に比べ、グリッドノイズ情報出力部１０７１の分だけ、撮像部１０２を含む送信部２００１のサイズを小型化及び軽量化できるので、送信部２００１の配置の自由度を上げることができる。
【0203】
＜本発明の第８の実施形態に係る撮像装置１０１８の構成例＞
次に、図３８は、本発明の第８の実施形態に係る撮像装置１０１８の構成例を示している。なお、撮像装置１０１８の構成要素のうち、上述した第１～７の実施形態の構成要素と共通するものについて同一の符号を付し、その説明を省略する。
次に、図３８は、本発明の第８の実施形態に係る撮像装置１０１８の構成例を示している。なお、撮像装置１０１８の構成要素のうち、上述した第１～７の実施形態の構成要素と共通するものについて同一の符号を付し、その説明を省略する。
【0204】
撮像装置１０１８は、撮像装置１０１３（図３０）が備える構成要素を、送信部２００１と受信部２００２とに分割し、グリッドノイズ情報記憶部１０７６を受信部２００２側に配置した構成を有する。撮像装置１０１８は、本発明の撮像システムに相当する。
【0205】
撮像装置１０１８によれば、撮像装置１０１６（図３６）に比べ、撮像部１０２を含む送信部２００１のサイズを小型化及び軽量化できるので、送信部２００１の配置の自由度を上げることができる。
【0206】
本発明は、上記した実施形態に限定されるものではなく、さらに様々な変形例が含まれる。また、上記した各実施形態は、本発明を分かりやすく説明するために詳細に説明したものであり、本発明が、必ずしも説明した全ての構成要素を備えるものに限定されるものではない。また、ある実施形態の構成の一部を、他の実施形態の構成に置き換えることが可能であり、ある実施形態の構成に、他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【0207】
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
【0208】
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【符号の説明】
【0209】
１０１，１０１１～１０１８・・・撮像装置、１０２，１０２２，１０２４・・・撮像部、１０３・・・画像センサ、１０４・・・パターン基板、１０５・・・撮像用パターン、１０５１・・・基本撮像用パターン、１０６・・・画像処理部、１０７・・・グリッドノイズ除去部、１０８・・・コントローラ、３０１・・・支持部材、８０１・・・現像用パターン、１０２１・・・有機ＥＬディスプレイ、１０２２・・・カメラモジュール、１０３１・・・小型画像センサユニット、１０７１・・・グリッドノイズ情報出力部、１０７２・・・撮像部設計値入力部、１０７３・・・グリッドノイズ情報計算部、１０７４・・・実測撮像結果入力部、１０７５・・・グリッドノイズ情報抽出部、１０７６・・・グリッドノイズ情報記憶部、２００１・・・送信部、２００２・・・受信部、２００３・・・データ送信部、２００４・・・データ受信部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】