特許 7389195 画像生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-20

(45)【発行日】2023-11-29

(54)【発明の名称】画像生成方法

(51)【国際特許分類】

   H04N 23/955 20230101AFI20231121BHJP

   H04N 23/55 20230101ALI20231121BHJP

   G03B 30/00 20210101ALI20231121BHJP

   G03B 17/02 20210101ALI20231121BHJP

   H04N 23/60 20230101ALI20231121BHJP

【ＦＩ】

H04N23/955

H04N23/55

G03B30/00

G03B17/02

H04N23/60

【請求項の数】 12

(21)【出願番号】P 2022139418

(22)【出願日】2022-09-01

(62)【分割の表示】P 2021151300の分割

【原出願日】2015-06-17

(65)【公開番号】P2022177064

(43)【公開日】2022-11-30

【審査請求日】2022-09-01

(73)【特許権者】

【識別番号】000005810

【氏名又は名称】マクセル株式会社

(74)【代理人】

【識別番号】110002066

【氏名又は名称】弁理士法人筒井国際特許事務所

(72)【発明者】

【氏名】島野 健

【審査官】越河 勉

(56)【参考文献】

【文献】特許第６７７０１６４（ＪＰ，Ｂ２）

【文献】特許第６９４７８９１（ＪＰ，Ｂ２）

【文献】特開平０６－３４８８４３（ＪＰ，Ａ）

【文献】特表２００８－５４２８６３（ＪＰ，Ａ）

【文献】特開昭５７－１６６１４５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ２３／５５

Ｇ０３Ｂ ３０／００

Ｇ０３Ｂ １７／０２

(57)【特許請求の範囲】

【請求項1】

画像センサを用いる画像生成方法であって、
前記画像センサの受光面側に配置される透過性の変調器により、
前記変調器の表面側に形成される第１の同心円状パターンで入射される光を変調し、
受光面に配列された複数の画素により受光した光を画像信号に変換して出力する前記画像センサにより、
前記変調された光を受光して前記第１の同心円状パターンに対応する画像を含む画像信号を出力し、
画像処理回路により、
前記画像センサから出力された前記第１の同心円状パターンに対応する画像を含む画像信号を入力し、
第２の同心円状パターンの画像を生成し、
前記入力された画像信号に含まれる前記第１の同心円状パターンに対応する画像と、前記第２の同心円状パターンの画像を用いてモアレ縞画像を生成し、
前記モアレ縞画像に２次元フーリエ変換を含む処理を行い画像を生成する、
画像生成方法。

【請求項2】

請求項１記載の画像生成方法において、
前記第１の同心円状パターンの同心円のピッチは、前記同心円の中心から外側に向かうに従い狭くなる、画像生成方法。

【請求項3】

請求項１記載の画像生成方法において、
前記第１の同心円状パターン及び前記第２の同心円状パターンのそれぞれにおける同心円のピッチは、前記同心円の中心から外側に向かうに従い狭くなる、画像生成方法。

【請求項4】

請求項１記載の画像生成方法において、
前記画像処理回路により、前記第２の同心円状パターンの画像における同心円の中心位置が、前記第１の同心円状パターンに対応する画像における同心円の中心位置とずれるように前記第２の同心円状パターンを生成する、画像生成方法。

【請求項5】

請求項４記載の画像生成方法において、
前記第１の同心円状パターンに対応する画像における同心円の中心位置と前記第２の同心円状パターンの画像における同心円の中心位置が、前記画像処理回路から出力される画像の短辺方向に互いにずれている、画像生成方法。

【請求項6】

請求項１記載の画像生成方法において、
前記第１の同心円状パターンは、シリンドリカルレンズによって形成される、画像生成方法。

【請求項7】

請求項１記載の画像生成方法において、
前記画像処理回路は、前記モアレ縞画像を２次元フーリエ変換する処理により該モアレ縞画像の周波数スペクトルを算出する処理と、該モアレ縞画像の周波数スペクトルの強度を算出する処理を行って画像を生成する、画像生成方法。

【請求項8】

請求項１記載の画像生成方法において、
前記画像処理回路により、ユーザの操作に応じて前記第２の同心円状パターンの画像を変更する、画像生成方法。

【請求項9】

請求項１記載の画像生成方法において、
前記第２の同心円状パターンの画像を変更することで焦点を合わせる、画像生成方法。

【請求項10】

請求項１記載の画像生成方法において、
前記画像処理回路により、ユーザの操作に応じて前記第２の同心円状パターンの大きさを拡大または縮小する、画像生成方法。

【請求項11】

画像センサを用いる画像生成方法であって、
前記画像センサの受光面側に配置される透過性の変調器により、
前記変調器の表面側に形成される第１の格子パターンで入射される光を変調し、
受光面に配列された複数の画素により受光した光を画像信号に変換して出力する前記画像センサにより、
前記変調された光を受光し、
前記第１の格子パターンに対応する画像を含む画像信号を出力し、
画像処理回路により、
前記画像センサから出力された前記第１の格子パターンに対応する画像を含む画像信号を入力し、
第２の格子パターンの画像を生成し、
前記入力された画像信号に含まれる前記第１の格子パターンに対応する画像と、前記第２の格子パターンの画像とに基づく干渉像を含む画像を生成し、
前記干渉像を含む画像に対し所定の信号処理を行い画像を生成する、
画像生成方法。

【請求項12】

請求項１１記載の画像生成方法において、
前記所定の信号処理は、前記干渉像を含む画像を２次元フーリエ変換して周波数スペクトルを算出する処理と、前記干渉像を含む画像の周波数スペクトルの強度を算出して画像を生成する処理を含む、画像生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置及び画像生成方法に関し、特に、撮像装置の高性能化に有効な技術に関する。

【背景技術】

【0002】

スマートフォンなどに搭載するデジタルカメラは、薄型化が必要である。この種のデジタルカメラの薄型化技術としては、例えばレンズを用いることなく物体像を得るものがある（例えば特許文献１参照）。

【0003】

この技術は、画像センサに特殊な回折格子基板を貼り付け、該回折格子基板を透過する光が画像センサ上で生じる射影パターンから、入射光の入射角を逆問題演算により求めることで、外界の物体の像を得るものである。

【先行技術文献】

【特許文献】

【0004】

【文献】米国特許出願公開第２０１４／０２５３７８１号明細書

【発明の概要】

【発明が解決しようとする課題】

【0005】

上述した特許文献１では、画像センサに貼り付ける基板上面に形成する回折格子のパターンが渦巻き状などの特殊な格子パターンとなっている。そして、その画像センサにて受光される射影パターンから、像を再生するための逆問題を解くことにより、物体の像を得ているが、この逆問題を解く際の演算が複雑になるという問題がある。

【0006】

演算が複雑であると、当然処理時間が長くなり、写真を表示するまでの時間も長くなってしまうという問題がある。演算処理を高速に行うには、高性能のＣＰＵなどを用いることになるが、その場合には、デジタルカメラの高コスト化および消費電力の増加などが発生してしまう恐れがある。

【0007】

本発明の目的は、格子基板を透過する光線の入射角度の検出を容易化することにより、撮像装置のコストおよび消費電力を低減することのできる技術を提供することにある。

【0008】

本発明の前記ならびにその他の目的と新規な特徴については、本明細書の記述および添付図面から明らかになるであろう。

【課題を解決するための手段】

【0009】

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。

【0010】

すなわち、代表的な撮像装置は、画像センサ、変調器、および画像処理部を有する。画像センサは、撮像面にアレイ状に配列された複数の画素に取り込まれた光学像を画像信号に変換して出力する。変調器は、画像センサの受光面に設けられ、光の強度を変調する。画像処理部は、画像センサから出力される画像信号の画像処理を行う。

【0011】

また、変調器は、格子基板、第１の格子パターン、および第２の格子パターンを有する。第１の格子パターンは、画像センサの受光面に近接する格子基板の第１の面に形成される。第２の格子パターンは、第１の面に対向する第２の面に形成される。

【0012】

第１の格子パターンおよび第２の格子パターンは、複数の同心円からそれぞれ構成されている。変調器は、第２の格子パターンを透過する光を第１の格子パターンにて強度変調して画像センサに出力する。

【0013】

特に、第１の格子パターンおよび第２の格子パターンにおける複数の同心円は、同心円の中心となる基準座標に対して同心円のピッチが反比例して細かくなる複数の同心円からそれぞれ形成されている。複数の同心円は、同心円の中心となる基準座標に対して同心円のピッチが反比例して細かくなる。

【発明の効果】

【0014】

本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。

【0015】

（１）物体像の取得までの処理時間を短縮することができる。

【0016】

（２）撮像装置のハードウェアコストを低減することができる。

【図面の簡単な説明】

【0017】

【図1】実施の形態１による撮像装置における構成の一例を示す説明図である。

【図2】図１の撮像装置による撮影の一例を示す説明図である。

【図3】図１の撮像装置が有する画像処理回路による画像処理の概略を示すフローチャートである。

【図4】斜め入射平行光による両面格子基板の表面から裏面への射影像が面内ずれの一例を示す説明図である。

【図5】両面格子基板の格子パターンの軸がそろった場合のモアレ縞の生成と周波数スペクトルを説明する模式図である。

【図6】表面側の格子パターンと裏面側の格子パターンの軸をずらして形成した両面格子基板の一例を示す説明図である。

【図7】格子パターンをずらして配置した場合のモアレ縞の生成および周波数スペクトルを説明する模式図である。

【図8】垂直入射平面波とその他９個の異なる入射角の平面波の計１０個の光で照射したときの空間周波数スペクトル像の計算結果を示す説明図である。

【図9】垂直入射平面波とその他９個の異なる入射角の平面波の計１０個の光で照射したときの空間周波数スペクトル像の計算結果を示す鳥瞰図である。

【図10】物体を構成する各点からの光が画像センサに対してなす角を説明する説明図である。

【図11】格子パターン横方向にずらした場合の空間周波数スペクトルの一例を示す説明図である。

【図12】格子パターンを縦方向にずらした場合の空間周波数スペクトルの一例を示す説明図である。

【図13】実施の形態３による撮像装置における構成の一例を示す説明図である。

【図14】図１３の撮像装置が有する画像処理回路による画像処理の概略を示すフローチャートである。

【図15】結像する物体が有限距離にある場合に表面側の格子パターンの裏面への射影が該格子パターンより拡大されることを示す説明図である。

【図16】実施の形態４による撮像装置における構成の一例を示す説明図である。

【図17】実施の形態５による両面格子基板における構成の一例を示す説明図である。

【図18】実施の形態６による携帯情報端末の一例を示す外観図である。

【発明を実施するための形態】

【0018】

以下の実施の形態においては便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。

【0019】

また、以下の実施の形態において、要素の数等（個数、数値、量、範囲等を含む）に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でもよい。

【0020】

さらに、以下の実施の形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。

【0021】

同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは特に明示した場合および原理的に明らかにそうではないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、上記数値および範囲についても同様である。

【0022】

また、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。

【0023】

以下、実施の形態を詳細に説明する。

【0024】

（実施の形態１）
〈撮像装置の構成例〉
図１は、本実施の形態１による撮像装置１０１における構成の一例を示す説明図である。

【0025】

撮像装置１０１は、結像させるレンズを用いることなく、外界の物体の画像を取得するものであり、図１に示すように、変調器１０２、画像センサ１０３、および画像処理回路１０６から構成されている。

【0026】

変調器１０２は、画像センサ１０３の受光面に密着して固定されており、格子基板１０２ａに格子パターン１０４，１０５がそれぞれ形成された構成からなる。格子基板１０２ａは、例えばガラスやプラスティックなどの透明な材料からなる。

【0027】

変調器１０２において、格子基板１０２ａの表面には、第２の格子パターンとなる格子パターン１０４が形成されている。また、この格子基板１０２ａの表面が第２の面となる。格子パターン１０４は、外側に向かうほど中心からの半径に反比例して格子パターンの間隔、すなわちピッチが狭くなる同心円状の格子パターンからなる。

【0028】

また、格子基板１０２ａの裏面、すなわち画像センサ１０３の受光面に接する側の面には、第１の格子パターンとなる格子パターン１０５が形成されている。格子基板１０２ａの裏面が第１の面となる。

【0029】

この格子パターン１０５においても、格子パターン１０４と同様に、外側に向かうほど中心からの半径に反比例して格子パターンのピッチが狭くなる同心円状の格子パターンからなる。

【0030】

格子パターン１０４および格子パターン１０５は、例えば半導体プロセスに用いられるスパッタリング法などによってアルミニウムなどを蒸着することによって形成される。アルミニウムが蒸着されたパターンと蒸着されていないパターンによって濃淡がつけられる。

【0031】

なお、格子パターン１０４，１０５の形成は、これに限定されるものでなく、例えばインクジェットプリンタなどによる印刷などによって濃淡をつけて形成してもよい。

【0032】

格子パターン１０４，１０５を透過する光は、その格子パターンによって光の強度が変調される。透過した光は、画像センサ１０３にて受光される。画像センサ１０３は、例えばＣＣＤ(Charge Coupled Device)イメージセンサまたはＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどからなる。

【0033】

画像センサ１０３の表面には、受光素子である画素１０３ａが格子状に規則的に配置されている。この画像センサ１０３は、画素１０３ａが受光した光画像を電気信号である画像信号に変換する。画像センサ１０３から出力された画像信号は、画像処理部である画像処理回路１０６によって画像処理されてモニタディスプレイ１０７などに出力される。

【0034】

〈撮像装置の撮影例〉
図２は、図１の撮像装置１０１による撮影の一例を示す説明図である。この図２では、撮像装置１０１によって被写体３０１を撮影してモニタディスプレイ１０７に表示している例を示している。

【0035】

図示するように、被写体３０１を撮影する際には、該被写体３０１に対して変調器１０２における一方の面、具体的には格子パターン１０４が形成されている格子基板１０２ａの表面が正対するようにして撮影が行われる。

【0036】

〈画像処理回路の画像処理例〉
続いて、画像処理回路１０６による画像処理の概略について説明する。

【0037】

図３は、図１の撮像装置１０１が有する画像処理回路１０６による画像処理の概略を示すフローチャートである。

【0038】

まず、画像センサ１０３から出力されるモアレ縞画像に対して、カラーのＲＧＢ（Red Green Blue）各成分ごとに２次元フーリエ変換（ＦＦＴ：Fast Fourier Transform）演算を行い、周波数スペクトルを求める（ステップＳ１０１）。

【0039】

続いて、ステップＳ１０１の処理による周波数スペクトルの片側周波数のデータを切り出した後（ステップＳ１０２）、該周波数スペクトルの強度計算を行う（ステップＳ１０３）ことによって、画像を取得する。

【0040】

そして、得られた画像に対してノイズ除去処理を行い（ステップＳ１０４）、続いてコントラスト強調処理（ステップＳ１０５）などを行う。その後、画像のカラーバランスを調整して（ステップＳ１０６）撮影画像として出力する。

【0041】

以上により、画像処理回路１０６による画像処理が終了となる。

【0042】

〈撮像装置の撮影原理〉
続いて、撮像装置１０１における撮影原理について説明する。

【0043】

まず、中心からの半径に対して反比例してピッチが細かくなる同心円状の格子パターン１０４，１０５は、以下のように定義する。レーザ干渉計などにおいて、平面波に近い球面波と参照光として用いる平面波とを干渉させる場合を想定する。

【0044】

同心円の中心である基準座標からの半径をｒとし、そこでの球面波の位相をφ（ｒ）とするとき、これを波面の曲がりの大きさを決める係数βを用いて、

【0045】

【数1】

と表せる。

【0046】

球面波にもかかわらず、半径ｒの２乗で表されているのは、平面波に近い球面波のため、展開の最低次のみで近似できるからである。この位相分布を持った光に平面波を干渉させると、

【0047】

【数2】

のような干渉縞の強度分布が得られる。

【0048】

これは、

【0049】

【数3】

を満たす半径位置で明るい線を持つ同心円の縞となる。縞のピッチをｐとすると、

【0050】

【数4】

が得られ、ピッチは、半径に対して反比例して狭くなっていくことがわかる。

【0051】

このような縞は、フレネルゾーンプレートと呼ばれる。このように定義される強度分布に比例した透過率分布をもった格子パターンを、図１に示した格子パターン１０４，１０５として用いる。

【0052】

このような格子パターンが両面に形成された厚さｔの変調器１０２に、図４に示すように角度θ0で平行光が入射したとする。変調器１０２中の屈折角をθとして幾何光学的には、表面の格子の透過率が乗じられた光が、δ＝ｔ・ｔａｎθだけずれて裏面に入射し、仮に２つの同心円格子の中心がそろえて形成されていたとすると、裏面の格子の透過率がδだけずれて掛け合わされることになる。

【0053】

このとき、

【0054】

【数5】

のような強度分布が得られる。

【0055】

この展開式の第４項が、２つの格子のずれの方向にまっすぐな等間隔の縞模様を重なり合った領域一面に作ることがわかる。このような縞と縞の重ね合わせによって相対的に低い空間周波数で生じる縞はモアレ縞と呼ばれる。

【0056】

このようにまっすぐな等間隔の縞は、検出画像の２次元フーリエ変換によって得られる空間周波数分布に鋭いピークを生じる。その周波数の値からδの値、すなわち光線の入射角θを求めることが可能となる。

【0057】

このような全面で一様に等間隔で得られるモアレ縞は、同心円状の格子配置の対称性から、ずれの方向によらず同じピッチで生じることは明らかである。このような縞が得られるのは、格子パターンをフレネルゾーンプレートで形成したことによるものであり、これ以外の格子パターンで、全面で一様な縞を得るのは不可能と考えられる。

【0058】

第２項でもフレネルゾーンプレートの強度がモアレ縞で変調された縞が生じることがわかるが、２つの縞の積の周波数スペクトルは、それぞれのフーリエスペクトルのコンボリューションとなるため、鋭いピークは得られない。

【0059】

（５）式から鋭いピークを持つ成分のみを

【0060】

【数6】

のように取り出すと、そのフーリエスペクトルは、

【0061】

【数7】

のようになる。

【0062】

ただし、ここで、Ｆはフーリエ変換の演算を表し、ｕ、ｖは、ｘ方向およびｙ方向の空間周波数座標、括弧を伴うδはデルタ関数である。この結果から、検出画像の空間周波数スペクトルにおいて、モアレ縞の空間周波数のピークがｕ＝±δβ／πの位置に生じることがわかる。

【0063】

その様子を図５に示す。図５において、左から右にかけては、光線と変調器１０２の配置図、モアレ縞、および空間周波数スペクトルの模式図をそれぞれ示している。図５（ａ）は、垂直入射、図５（ｂ）は、左側から角度θで光線が入射する場合、図５（ｃ）は、右側から角度θで光線が入射する場合をそれぞれ示している。

【0064】

変調器１０２の表面側に形成された格子パターン１０４と裏面側に形成された格子パターン１０５とは、軸がそろっている。図５（ａ）では、格子パターン１０４と格子パターン１０５との影が一致するのでモアレ縞は生じない。

【0065】

図５（ｂ）および図５（ｃ）では、格子パターン１０４と格子パターン１０５とのずれが等しいために同じモアレが生じ、空間周波数スペクトルのピーク位置も一致して、空間周波数スペクトルからは、光線の入射角が図５（ｂ）の場合なのか、あるいは図５（ｃ）の場合なのかを判別することができなくなる。

【0066】

これを避けるためには、変調器１０２に垂直に入射する光線に対しても２つの格子パターンの影がずれて重なるよう、例えば図６に示すように、あらかじめ２つの格子パターン１０４，１０５を光軸に対して相対的にずらしておくことが必要である。

【0067】

軸上の垂直入射平面波に対して２つの格子の影の相対的なずれをδ０とするとき、入射角θの平面波によって生じるずれδは、

【0068】

【数8】

のように表せる。

【0069】

このとき、入射角θの光線のモアレ縞の空間周波数スペクトルのピークは周波数のプラス側では

【0070】

【数9】

の位置となる。

【0071】

画像センサの大きさをＳ、画像センサのｘ方向およびｙ方向の画素数を共にＮとすると、高速フーリエ変換（ＦＦＴ）による離散画像の空間周波数スペクトルは、－Ｎ／（２Ｓ）から＋Ｎ／（２Ｓ）の範囲で得られる。

【0072】

このことから、プラス側の入射角とマイナス側の入射角を均等に受光することを考えれば、垂直入射平面波（θ＝０）によるモアレ縞のスペクトルピーク位置は、原点（ＤＣ：直流成分）位置と、例えば＋側端の周波数位置との中央位置、すなわち、

【0073】

【数10】

の空間周波数位置とするのが妥当である。

【0074】

したがって、２つの格子の相対的な中心位置ずれは、

【0075】

【数11】

とするのが妥当である。

【0076】

図７は、格子パターン１０４と格子パターン１０５とをずらして配置した場合のモアレ縞の生成および周波数スペクトルを説明する模式図である。

【0077】

図５と同様にして、左側は光線と変調器１０２の配置図、中央列はモアレ縞、そして右側は空間周波数スペクトルを示す。また、図７（ａ）は、光線が垂直入射の場合であり、図７（ｂ）は、光線が左側から角度θで入射する場合であり、図７（ｃ）は、光線が右側から角度θで入射する場合である。

【0078】

格子パターン１０４と格子パターン１０５とは、あらかじめδ０だけずらして配置されている。そのため、図７（ａ）でもモアレ縞が生じ、空間周波数スペクトルにピークが現れる。

【0079】

そのずらし量δ０は、上記したとおり、ピーク位置が原点から片側のスペクトル範囲の中央に現れるように設定されている。このとき図７（ｂ）では、ずれδがさらに大きくなる方向、図７（ｃ）では、小さくなる方向となっているため、図５と異なり、図７（ｂ）と図７（ｃ）との違いがスペクトルのピーク位置から判別できる。

【0080】

このピークのスペクトル像がすなわち無限遠の光束を示す輝点であり、図１の撮像装置１０１による撮影像にほかならない。

【0081】

受光できる平行光の入射角の最大角度をθmaxとすると、

【0082】

【数12】

より、撮像装置１０１にて受光できる最大画角は、

【0083】

【数13】

で与えられる。

【0084】

一般的なレンズを用いた結像との類推から、画角θmaxの平行光を画像センサの端で焦点を結んで受光すると考えると、レンズを用いない撮像装置１０１の実効的な焦点距離は、

【0085】

【数14】

に相当すると考えることができる。

【0086】

なお（２）式で示したように、格子パターンの透過率分布は、基本的に正弦波的な特性があることを想定しているが、格子パターンの基本周波数成分としてそのような成分があれば、格子パターンの透過率を２値化して、透過率が高い格子領域と低い領域のｄｕｔｙを変えて、透過率の高い領域の幅を広げて透過率を高めることも考えられる。

【0087】

以上の説明では、いずれも入射光線は同時には１つの入射角度だけであったが、実際に撮像装置１０１がカメラとして作用するためには、複数の入射角度の光が同時に入射する場合を想定しなければならない。

【0088】

このような複数の入射角の光は、裏面側の格子パターンに入射する時点ですでに複数の表側格子の像を重なり合わせることになる。もし、これらが相互にモアレ縞を生じると、信号成分である格子パターン１０５とのモアレ縞の検出を阻害するノイズとなることが懸念される。

【0089】

しかし、実際は、格子パターン１０４の像どうしの重なりはモアレ像のピークを生じず、ピークを生じるのは裏面側の格子パターン１０５との重なりだけになる。

【0090】

その理由について以下に説明する。

【0091】

まず、複数の入射角の光線による表面側の格子パターン１０４の影どうしの重なりは、積ではなく和であることが大きな違いである。１つの入射角の光による格子パターン１０４の影と格子パターン１０５との重なりでは、格子パターン１０４の影である光の強度分布に、格子パターン１０５の透過率を乗算することで、裏面側の格子パターン１０５を透過したあとの光強度分布が得られる。

【0092】

これに対して、表面側の格子パターン１０４に複数入射する角度の異なる光による影どうしの重なりは、光の重なり合いなので、積ではなく、和になるのである。和の場合は、

【0093】

【数15】

のように、もとのフレネルゾーンプレートの格子の分布に、モアレ縞の分布を乗算した分布となる。

【0094】

したがって、その周波数スペクトルは、それぞれの周波数スペクトルの重なり積分で表される。そのため、たとえモアレのスペクトルが単独で鋭いピークをもったとしても、実際上、その位置にフレネルゾーンプレートの周波数スペクトルのゴーストが生じるだけである。つまり、スペクトルに鋭いピークは生じない。

【0095】

したがって、複数の入射角の光を入れても検出されるモアレ像のスペクトルは、常に表面側の格子パターン１０４と裏面側の格子パターン１０５との積のモアレだけであり、格子パターン１０５が単一である以上、検出されるスペクトルのピークは１つの入射角に対して１つだけとなるのである。

【0096】

〈撮影原理の確認〉
以下、原理を確認するために行ったシミュレーションの結果を図８および図９に示す。

【0097】

図８は、垂直入射平面波とその他９個の異なる入射角の平面波の計１０個の光で照射したときの空間周波数スペクトル像の計算結果を示す説明図である。図９は、垂直入射平面波とその他９個の異なる入射角の平面波の計１０個の光で照射したときの空間周波数スペクトル像の計算結果を示す鳥瞰図である。

【0098】

いずれも画像センサ１０３のセンササイズ２０ｍｍ□、視野角θmax＝±７０°、入射側および出射側格子係数β＝５０（rad／mm2）、δ０＝０．８ｍｍ、画素数１０２４×１０２４、変調器１０２における基板厚さ１ｍｍ、基板屈折率１．５のときに、垂直入射平面波と、θｘ＝５０°、θｙ＝３０°の入射光と、θｘ＝－３０°、θｙ＝７０°の入射光と、θｘ＝１０°、θｙ＝－２０°の入射光と、θｘ＝２０°、θｙ＝３０°の入射光と、θｘ＝３０°、θｙ＝－４０°の入射光と、θｘ＝－１０°、θｙ＝４０°の入射光と、θｘ＝－２０°、θｙ＝－３０°の入射光と、θｘ＝－３０°、θｙ＝０°の入射光と、θｘ＝４０°、θｙ＝５０°の入射光と、の合計１０個の平面波を入射させたときのスペクトルである。

【0099】

図８は、スペクトル画像の白黒反転像であり、図９は、スペクトル画像の輝度を示す鳥瞰図である。元のモアレ像自体は、格子ピッチも細かく、本明細書の図面として表示しても視認できないため省略した。

【0100】

図中、中心がＤＣ成分、周辺が±Ｎ／２Ｓの空間周波数スペクトル領域の全域を表示している。ＤＣ成分は値が大きいため、マスキングをして取り除き、検出すべきピーク成分のみを表示している。さらに、そのままではスペクトルのピーク幅が狭く、視認しにくいため、コントラストを強調している。

【0101】

また、図８では、当該信号ピークの位置を○印にて囲んで表示している。図９の鳥瞰図は、そのままでは描線がピークを通らずに表示できないので、メッシュサイズの平均化フィルタをかけた結果を表示している。

【0102】

いずれも基本的に１０本のピークが原点を挟んで正負両側に計２０本のピークとして検出できていることを示している。この場合、格子パターンの最外周のピッチは約６μｍ程度であり、実効的焦点距離は１２．４ｍｍ程度であった。

【0103】

ここで、これまで検出することを説明してきた平行光と、実際の物体からの光との対応を図１０を用いて模式的に説明する。

【0104】

図１０は、物体を構成する各点からの光が画像センサに対してなす角を説明する説明図である。

【0105】

被写体３０１を構成する各点からの光は、厳密には点光源からの球面波として、図１の撮像装置１０１の変調器１０２および画像センサ１０３（以下、図１０では格子センサ一体基板という）に入射する。

【0106】

このとき、被写体３０１に対して格子センサ一体基板が十分に小さい場合や、十分に遠い場合には、各点から、格子センサ一体基板を照明する光の入射角が同じとみなすことができる。

【0107】

（９）式から求められる微小角度変位Δθに対するモアレの空間周波数変位Δｕが、画像センサの空間周波数の最小解像度である１／Ｓ以下となる関係から、Δθが平行光とみなせる条件は、

【0108】

【数16】

のように表せる。

【0109】

これから、Δθ＜０．１８°であれば、これは２０ｍｍのセンササイズであれば被写体から６ｍ離れれば実現できる条件である。

【0110】

以上の結果の類推から、無限遠の物体に対して本発明の撮像装置で結像が可能であることがわかる。

【0111】

以上、高速フーリエ変換（ＦＦＴ）などの簡単な演算によって、外界の物体像を得ることができる。これにより、物体像の取得までの処理時間を短縮することができる。

【0112】

また、高性能な演算処理装置が不要となるので、撮像装置１０１のハードウェアコストを低減することができる、さらに、演算の処理時間が短縮することによって、撮像装置１０１の消費電力を削減することができる。

【0113】

（実施の形態２）
〈概略〉
前記実施の形態１では、撮像装置１０１から出力される画像が縦長であったが、本実施の形態２においては、出力画像を横長とする場合について説明する。

【0114】

前記実施の形態１では、前述したように、格子パターン１０４と格子パターン１０５とを画像センサ１０３のｘ（横）方向にずらされて形成されている。言い換えれば画像処理回路１０６から出力される長方形状の画像の長辺方向にずれるように形成されているものとした。

【0115】

〈格子パターンの形成例〉
図１１は、格子パターン１０４，１０５を横方向にずらした場合の空間周波数スペクトルの一例を示す説明図である。

【0116】

このとき、画像センサ１０３の形状は正方形としており、その画素ピッチもｘ方向とｙ方向とでいずれも同じとする。この場合、図１１の右側に示すように、画像センサの出力の空間周波数スペクトルは、ｘ、ｙ両方±Ｎ／Ｓの周波数範囲内にて、像が左右に分離して再生されていることになる。

【0117】

しかし、図１１に示す例であると、画像は、基本的に縦長のエリアに限定されることになる。一般に、デジタルカメラなどにて取得される画像は、例えばアスペクト比が３：２あるいは４：３などの横長の長方形である。よって、横長の長方形に適した格子パターン１０４，１０５の配置としては、例えば図１２に示すようなものが望ましい。

【0118】

図１２は、格子パターン１０４，１０５を縦方向にずらした場合の空間周波数スペクトルの一例を示す説明図である。

【0119】

格子パターン１０４および格子パターン１０５は、図１２に示すように、画像センサの上下方向、すなわち画像センサのｙ方向にずれて形成されている。言い換えれば、格子パターン１０４および格子パターン１０５は、画像処理回路１０６から出力される長方形状の画像の短辺方向にそれぞれずらされて形成されている。これによって、画像センサ出力の空間周波数空間に形成される画像は、図１２の右側に示すように上下に分離することになる。

【0120】

以上によって、撮像装置１０１から出力される画像を横長とすることができる。これによって、一般的なデジタルカメラと同様に画像が得られることになるので、撮像装置１０１の汎用性を高めることができる。

【0121】

（実施の形態３）
〈概略〉
前記実施の形態１，２の変調器１０２では、格子基板１０２ａの表面および裏面にそれぞれ同一形状の格子パターン１０４および格子パターン１０５を互いにずらして形成することにより、入射する平行光の角度をモアレ縞の空間周波数スペクトルから検知して像を構成していた。

【0122】

裏面側の格子パターン１０５は、画像センサ１０３に密着して入射する光の強度を変調する光学素子である。そのため、画像センサの感度を実効的に裏面側の格子パターン１０５の透過率を加味して設定することで、処理画像の中で仮想的にモアレを生じさせることができる。

【0123】

〈撮像装置の構成例〉
図１３は、本実施の形態３による撮像装置１０１における構成の一例を示す説明図である。

【0124】

図１３の撮像装置１０１が、前記実施の形態１の図１の撮像装置１０１と異なるところは、格子基板１０２ａの裏面側に、図１に示す格子パターン１０５が形成されていない点である。その他の構成については、図１と同様であるので、説明は省略する。

【0125】

図１３の構成とすることによって、格子基板１０２ａに形成する格子パターンを１面減らすことができる。それにより、変調器１０２の製造コストを低減することができる。

【0126】

しかし、この場合、画像センサ１０３が有する画素１０３ａのピッチは、格子パターンのピッチを十分再現できる程度に細かいか、あるいは格子パターンのピッチが画像センサ１０３の画素ピッチにて再現できる程度に粗いことが必要である。

【0127】

格子パターンを格子基板１０２ａの両面に形成する場合は、必ずしも格子パターンのピッチが画像センサ１０３の画素１０３ａにて解像できる必要はなく、そのモアレ像だけが解像できればよい。よって、画素ピッチとは独立に格子パターンのピッチを決めることができる。

【0128】

しかし、画像センサ１０３で格子パターンを再現する場合は、格子パターンと画像センサ１０３の解像度は、同等である必要がある。よって、画像処理回路１０６には、画像センサ１０３の出力画像に対してモアレを生成するための裏面側の格子パターン１０５（図１）に相当する強度変調回路１０６ｃが設けられている。

【0129】

〈画像処理回路の画像処理例〉
図１４は、図１３の撮像装置１０１が有する画像処理回路１０６による画像処理の概略を示すフローチャートである。

【0130】

この図１４におけるフローチャートが前記実施の形態１の図３のフローチャートと異なるところは、ステップＳ２０１の処理である。ステップＳ２０１の処理では、前述した強度変調回路１０６ｃにより、画像センサ１０３から出力される画像に対して、裏面側の格子パターンに相当するモアレ縞画像を生成する。

【0131】

以降、図１４のステップＳ２０２～Ｓ２０８の処理は、前記実施の形態１の図３のステップＳ１０１～Ｓ１０７の処理と同様であるので、ここでは、説明を省略する。

【0132】

このように、強度変調回路１０６ｃを設けることによって、裏面側の格子パターン１０５（図１）を可変にすることと同様の効果を得ることができ、検出光は必ずしも平行光でなくてもよくすることが可能である。

【0133】

〈焦点合わせについて〉
図１５は、結像する物体が有限距離にある場合に表面側の格子パターン１０４の裏面への射影が該格子パターン１０４より拡大されることを示す説明図である。

【0134】

図１５に示すように、物体を構成する点１３０１からの球面波が表面側の格子パターン１０４を照射し、その影１３０２が下の面に投影される場合、下の面に投影される像は、ほぼ一様に拡大される。

【0135】

そのため、平行光に対して設計された裏面側の格子パターン（図１の格子パターン１０５に相当）の透過率分布をそのまま乗じたのでは、等間隔な直線状のモアレ縞は生じなくなる。しかし、一様に拡大された表面側の格子パターン１０４の影に合わせて、下面の格子を拡大するならば、拡大された影１３０２に対して再び、等間隔な直線状のモアレ縞を生じさせることができる。

【0136】

これにより、必ずしも無限遠でない距離の点１３０１からの光を選択的に再生することができる。これによって、焦点合わせが可能となり、前記実施の形態１に示したような無限遠での撮影ではなく、任意の位置に焦点合わせて撮影を行うことができる。

【0137】

以上により、撮像装置１０１の利便性を高めることができる。

【0138】

（実施の形態４）
本実施の形態４においては、図１の表面側の格子パターン１０４を可変とする技術について説明する。

【0139】

〈撮像装置の構成例および動作例〉
図１６は、本実施の形態４による撮像装置１０１における構成の一例を示す説明図である。

【0140】

図１６の撮像装置１０１が、前記実施の形態１の図１における撮像装置１０１と異なる点は、変調器１０２に液晶部１０８が新たに設けられたところ、およびピント位置指定入力部１０９が新たに設けられたところである。なお、図１６における画像センサ１０３の構成については、図１と同様であるので、説明は省略する。

【0141】

液晶部１０８は、例えば透明電極などが形成された図示しないガラス基板に同じく図示しない液晶層が設けられた構成からなり、該液晶層がガラス基板と格子基板１０２ａとの間に挟まるように形成されている。

【0142】

この液晶層には、任意の格子パターン１４０３が表示され、該格子パターン１４０３が表面側の格子パターン１０４として作用する。変調器１０２における格子基板１０２ａの裏面側には、図１と同様に格子パターン１０５が形成されている
。

【0143】

ピント位置指定入力部１０９は、例えば被写体までの距離などの情報であるピント位置を設定する入力部であり、画像処理回路１０６に接続されている。また、画像処理回路１０６には、液晶駆動回路１０６ａおよび格子パターン生成回路１０６ｂが設けられている。

【0144】

格子パターン生成回路１０６ｂは、ピント位置指定入力部１０９から入力されたピント位置に基づいて、焦点合わせに最適な格子パターンを生成する。液晶駆動回路１０６ａは、格子パターン生成回路１０６ｂが生成した格子パターンが液晶部１０８の液晶層に表示されるようにガラス基板に形成されている透明電極に電圧を印加して表示制御を行う。

【0145】

基本的に無限遠より近い、有限距離の点１３０１からの光は、発散光であるので、裏面側の格子パターン１０５と裏面にて同じ大きさになるためには表面側の格子パターン１０４を格子パターン１０５よりもやや縮小して表示すればよいことになる。

【0146】

以上により、より高速な焦点合わせを可能とすることができる。

【0147】

（実施の形態５）
本実施の形態５では、両面格子基板に形成される表面側の格子パターンの他の例について説明する。

【0148】

〈格子パターンの形成例〉
図１７は、本実施の形態５による変調器１０２における構成の一例を示す説明図である。

【0149】

前記実施の形態１では、変調器１０２の格子パターン１０４（図１）を、例えば印刷やスパッタリング法などによって形成したが、図１７の変調器１０２においては、シリンドリカルレンズ１１０によって構成されている。なお、格子基板１０２ａの裏面側の格子パターン１０５については、前記実施の形態１の図１と同様である。

【0150】

この場合、変調器１０２における格子基板１０２ａの表面に、図１の格子パターン１０４と同様のパターンとなるようにシリンドリカルレンズ１１０を配列させて形成されている。シリンドリカルレンズ１１０は、面が円筒面にて形成されたレンズであり、垂直方向には、凸レンズの曲率を持ち、水平方向には曲率のないレンズである。

【0151】

このように、格子パターンをシリンドリカルレンズ１１０にて形成することによって、光量の損失を大幅に低減することができる。例えば前記実施の形態１に述べたように、印刷パターンなどによって濃淡をつけた格子パターンでは、その格子パターンの印刷部分は、光を遮断してしまうことになり、光量を大きく損失してしまうことになる。

【0152】

一方、シリンドリカルレンズ１１０の場合には、光を遮ることがないでの、光利用効率を向上させることができる。

【0153】

以上により、撮像装置１０１におけるＳ／Ｎ比（Signal-to-Noise ratio）を大きくすることができるので、描画性能を向上させることができる。

【0154】

（実施の形態６）
〈携帯情報端末の構成例〉
本実施の形態６においては、前記実施の形態５における撮像装置１０１を用いて構成された携帯情報端末について説明する。

【0155】

図１８は、本実施の形態６による携帯情報端末２００の一例を示す外観図である。

【0156】

携帯情報端末２００は、例えばスマートフォンなどである。なお、携帯情報端末２００は、スマートフォンに限定されるものではなく、例えばタブレットなどのカメラが内蔵された携帯型の端末であればよい。

【0157】

携帯情報端末２００には、撮像装置１０１が内蔵されている。この携帯情報端末２００の裏面には、開口窓２０２が設けられており、携帯情報端末２００の内部において図１６の変調器１０２が開口窓２０２に近接するように設けられている。

【0158】

また、携帯情報端末２００の一方の長辺側の側面には、ピント調整用のつまみ２０１が設けられている。このつまみ２０１が、前記実施の形態４のピント位置指定入力部１０９に相当する。

【0159】

つまみ２０１を回すことによってピント位置が設定され、その設定されたピント位置に応じて、任意の格子パターン１４０３が図１６の液晶部１０８の液晶層に表示される。その結果、任意の距離にある物体の像を撮影することができる。

【0160】

撮像装置１０１は、前記実施の形態１に示した（１４）式に従って、実効的な焦点距離を長くできる。そのため、撮像装置１０１を薄くしたままで、開口を大きくすることができる。

【0161】

一般的なレンズを用いたスマートフォン用デジタルカメラの場合には、情報携帯機器の厚みを小さくするために、レンズの開口を小さくせざるを得ない。よって、焦点距離が短くなり、像がのっぺりとしてぼけ味が出せないことなる。

【0162】

一方、撮像装置１０１では、上述したように開口を大きくすることができるので、綺麗なぼけを出すことができる
以上により、描写性能が高い携帯情報端末２００を実現することができる。

【0163】

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。

【0164】

なお、本発明は上記した実施の形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。

【0165】

また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。また、各実施の形態の構成の一部について、他の構成の追加、削除、置換をすることが可能である。

【符号の説明】

【0166】

１０１ 撮像装置
１０２ 変調器
１０２ａ 格子基板
１０３ 画像センサ
１０３ａ 画素
１０４ 格子パターン
１０５ 格子パターン
１０６ 画像処理回路
１０６ａ 液晶駆動回路
１０６ｂ 格子パターン生成回路
１０６ｃ 強度変調回路
１０７ モニタディスプレイ
１０８ 液晶部
１０９ ピント位置指定入力部
１１０ シリンドリカルレンズ
２００ 携帯情報端末
２０１ つまみ
２０２ 開口窓

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】