(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-08-31
(45)【発行日】2023-09-08
(54)【発明の名称】撮像装置、携帯端末および露光制御方法
(51)【国際特許分類】
H04N 23/54 20230101AFI20230901BHJP
H04N 23/60 20230101ALI20230901BHJP
H04N 23/72 20230101ALI20230901BHJP
H04N 23/73 20230101ALI20230901BHJP
H04N 23/75 20230101ALI20230901BHJP
G03B 7/091 20210101ALI20230901BHJP
【ＦＩ】
H04N23/54
H04N23/60 500
H04N23/72
H04N23/73
H04N23/75
G03B7/091
【請求項の数】
16
(21)【出願番号】P 2021536559
(86)(22)【出願日】2019-07-31
(86)【国際出願番号】 JP2019030080
(87)【国際公開番号】W WO2021019745
(87)【国際公開日】2021-02-04
【審査請求日】2022-01-24
(73)【特許権者】
【識別番号】000005810
【氏名又は名称】マクセル株式会社
(74)【代理人】
【識別番号】110000442
【氏名又は名称】弁理士法人武和国際特許事務所
(72)【発明者】
【氏名】中出 眞弓
(72)【発明者】
【氏名】川前 治
【審査官】高野 美帆子
(56)【参考文献】
【文献】特開２０１９－０８７７９６（ＪＰ，Ａ）
【文献】特開２０１７－０２２４９１（ＪＰ，Ａ）
【文献】国際公開第２０１５／１５６１５１（ＷＯ，Ａ１）
【文献】特開２０１４－２３００９９（ＪＰ，Ａ）
【文献】特開２０１２－２２２５４０（ＪＰ，Ａ）
【文献】特開２０００－２９９８２２（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２３／５４
Ｈ０４Ｎ ２３／６０
Ｈ０４Ｎ ２３／７２
Ｈ０４Ｎ ２３／７３
Ｈ０４Ｎ ２３／７５
Ｇ０３Ｂ ７／０９１
(57)【特許請求の範囲】
【請求項1】
撮像面にアレイ状に配置された複数の受光素子に取り込まれた光学像をセンサ信号に変換して出力する画像センサと、前記画像センサの受光面に設けられ、第一格子パターンで光を変調する変調器と、
前記センサ信号に基づいて露光条件を決定し、設定されている露光条件を決定した前記露光条件に変更し、変更後の前記露光条件に従って露光制御を行う露光制御部と、
前記第一格子パターンに対応した第二格子パターンを生成し、当該第二格子パターンと前記センサ信号とからモアレ縞画像を生成し、当該モアレ縞画像から撮影画像を生成する画像処理部と、
前記変調器に表示させる前記第一格子パターンを制御する制御部と、
を備え、
前記露光条件は、前記画像センサの露光時間と前記変調器の透過率とを含み、
前記制御部は、複数の異なる格子パターンを用いてノイズを除去するフリンジスキャンを行うよう前記第一格子パターンを制御し、
前記制御部が、前記フリンジスキャンのうち、所定の時間間隔で前記第一格子パターンを周期的に変化させる時分割フリンジスキャンを行うよう制御する場合、前記露光制御部は、前記第一格子パターンを変化させる１周期中は、前記露光条件を維持すること
を特徴とする撮像装置。
【請求項2】
請求項１記載の撮像装置であって、前記露光制御部は、前記センサ信号の信号値に応じて前記露光条件を決定すること
を特徴とする撮像装置。
【請求項3】
請求項２記載の撮像装置であって、前記露光制御部は、解析対象のセンサ信号の最大値が予め定めたセンサ信号閾値以上の場合、前記画像センサから出力されるセンサ信号の値が、前記解析対象のセンサ信号の値より小さくなるよう前記露光条件を決定すること
を特徴とする撮像装置。
【請求項4】
請求項３記載の撮像装置であって、前記露光制御部は、解析対象のセンサ信号の最小値が予め定めた第二センサ信号閾値未満の場合、前記画像センサから出力されるセンサ信号の値が、前記解析対象のセンサ信号の値より大きくなるよう前記露光条件を決定すること
を特徴とする撮像装置。
【請求項5】
請求項３記載の撮像装置であって、前記センサ信号閾値は、前記画像センサから出力されるセンサ信号がとり得る最大値に設定されること
を特徴とする撮像装置。
【請求項6】
請求項３記載の撮像装置であって、前記センサ信号閾値は、前記画像センサから出力されるセンサ信号がとり得る最頻値と最大値との間の値が設定されること
を特徴とする撮像装置。
【請求項7】
請求項３記載の撮像装置であって、前記センサ信号閾値は、所定の幅を有する値に設定されること
を特徴とする撮像装置。
【請求項8】
請求項３記載の撮像装置であって、前記露光制御部は、前記画像センサの露光時間および前記変調器の透過率の少なくとも一方を減少させるよう前記露光条件を決定すること
を特徴とする撮像装置。
【請求項9】
請求項８記載の撮像装置であって、前記露光制御部は、前記変調器の透過率を減少させる場合、当該変調器の中心部ほど透過率が低くなるよう前記露光条件を決定すること
を特徴とする撮像装置。
【請求項10】
請求項１記載の撮像装置であって、前記変調器は、前記第一格子パターンを前記受光面に表示するパターン表示部を備え、
前記パターン表示部は、液晶表示素子を備え、
前記透過率は、前記液晶表示素子への印加電圧を変えることにより変化させること
を特徴とする撮像装置。
【請求項11】
請求項１記載の撮像装置であって、前記制御部が、前記フリンジスキャンのうち、前記第一格子パターンに複数の異なる格子パターンを表示させる空間分割フリンジスキャンを行うよう制御する場合、前記露光制御部は、前記異なる格子パターンが表示される前記変調器の領域に対応する画像センサの領域毎に、当該領域から出力される前記センサ信号に基づいて、前記露光条件を決定すること
を特徴とする撮像装置。
【請求項12】
請求項１記載の撮像装置であって、前記センサ信号に基づいて、被写体内の動きの有無を検出する動き判定部と、
前記動き判定部による判定結果に基づき、前記フリンジスキャンのうち、所定の時間間隔で前記第一格子パターンを周期的に変化させる時分割フリンジスキャンおよび前記第一格子パターンに複数の異なる格子パターンを表示させる空間分割フリンジスキャンのいずれを実行するか決定する撮像モード設定部と、を備え、
前記制御部は、前記撮像モード設定部が決定したフリンジスキャンを行うよう前記変調器に表示させる第一格子パターンを制御すること
を特徴とする撮像装置。
【請求項13】
請求項１２記載の撮像装置であって、前記撮像モード設定部は、前記動き判定部が動き無し、と判定した場合、前記時分割フリンジスキャンを実行すると決定すること
を特徴とする撮像装置。
【請求項14】
請求項１２記載の撮像装置であって、前記撮像モード設定部は、前記動き判定部が動き有り、と判定した場合、前記空間分割フリンジスキャンを実行すると決定すること
を特徴とする撮像装置。
【請求項15】
請求項１記載の撮像装置を備える携帯端末。
【請求項16】
撮像面にアレイ状に配置された複数の受光素子に取り込まれた光学像をセンサ信号に変換して出力する画像センサと、前記画像センサの受光面に設けられ、第一格子パターンで光を変調する変調器と、前記センサ信号に基づいて露光条件を決定し、設定されている露光条件を決定した前記露光条件に変更し、変更後の前記露光条件に従って露光制御を行う露光制御部と、前記第一格子パターンに対応した第二格子パターンを生成し、当該第二格子パターンと前記センサ信号とからモアレ縞画像を生成し、当該モアレ縞画像から撮影画像を生成する画像処理部と、前記変調器に表示させる前記第一格子パターンを制御する制御部と、を備える撮像装置における露光制御方法であって、
前記センサ信号に基づいて露光条件を決定し、
設定されている露光条件を、決定した前記露光条件に変更し、
変更後の前記露光条件に従って露光制御を行い、
前記露光条件は、前記画像センサの露光時間と前記変調器の透過率とを含み、
前記制御部は、複数の異なる格子パターンを用いてノイズを除去するフリンジスキャンを行うよう前記第一格子パターンを制御し、
前記制御部が、前記フリンジスキャンのうち、所定の時間間隔で前記第一格子パターンを周期的に変化させる時分割フリンジスキャンを行うよう制御する場合、前記露光制御部は、前記第一格子パターンを変化させる１周期中は前記露光条件を維持すること
を特徴とする露光制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置に関する。特に、レンズを用いない、レンズレスの撮像装置に関する。
【背景技術】
【0002】
いわゆるレンズレスの撮像装置（以下、レンズレス撮像装置と呼ぶ。）として、ゾーンプレート（ＦＺＰ）を用いる撮像装置がある。このレンズレス撮像装置では、ＦＺＰにより被写体からの光線をモアレ縞の空間周波数として検出し、フーリエ変換像により被写体の像を再構築する。このようなレンズレス撮像装置は、小型・低コストを実現できる。
【0003】
例えば、特許文献１には、レンズレス撮像装置として、「撮像面にアレイ状に配列された複数の画素に取り込まれた光学像を画像信号に変換して出力する画像センサと、前記画像センサの受光面に設けられ、光の強度を変調する変調器と、前記画像センサから出力される画像信号を一時的に格納する画像記憶部と、前記画像記憶部から出力される画像信号の画像処理を行う信号処理部と、を具備し、前記変調器は、複数の同心円から構成される第１の格子パターンを有し、前記信号処理部は、前記画像記憶部から出力される画像信号を、複数の同心円から構成される仮想的な第２の格子パターンで変調することでモアレ縞画像を生成し、フォーカス位置に応じて前記第２の格子パターンの同心円の大きさを変更する（要約抜粋）」撮像装置が開示されている。
【先行技術文献】
【特許文献】
【0004】
【文献】国際公開第２０１７／１４９６８７号
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、撮像にあたり、レンズレス撮像装置であっても、撮像素子（イメージセンサ）に充てる光の量を調節する露光制御が必要である。しかしながら、レンズレスであるため、一般にレンズを備える撮像装置で実行される、レンズ内部の絞り羽を制御してレンズを通る光量を制御する「絞り」という手法は使うことができない。また、特許文献１には、露光制御に関する記載はない。このため、現状のレンズレス撮像装置は、例えば、照明が変化するような環境、すなわち、光量が一定でない環境での使用には適さない。
【0006】
本発明は前記課題を解決するためになされたものであり、その目的とするところは、環境によらず、高品質な映像を取得可能なレンズレス撮像技術を提供することにある。
【課題を解決するための手段】
【0007】
本発明は、レンズレス撮像装置であって、撮像面にアレイ状に配置された複数の受光素子に取り込まれた光学像をセンサ信号に変換して出力する画像センサと、前記画像センサの受光面に設けられ、第一格子パターンで光を変調する変調器と、前記センサ信号に基づいて露光条件を決定し、設定されている露光条件を決定した前記露光条件に変更し、変更後の前記露光条件に従って露光制御を行う露光制御部と、前記第一格子パターンに対応した第二格子パターンを生成し、当該第二格子パターンと前記センサ信号とからモアレ縞画像を生成し、当該モアレ縞画像から撮影画像を生成する画像処理部と、前記変調器に表示させる前記第一格子パターンを制御する制御部と、を備え、前記露光条件は、前記画像センサの露光時間と前記変調器の透過率とを含み、前記制御部は、複数の異なる格子パターンを用いてノイズを除去するフリンジスキャンを行うよう前記第一格子パターンを制御し、前記制御部が、前記フリンジスキャンのうち、所定の時間間隔で前記第一格子パターンを周期的に変化させる時分割フリンジスキャンを行うよう制御する場合、前記露光制御部は、前記第一格子パターンを変化させる１周期中は、前記露光条件を維持することを特徴とする。
【0008】
また、本発明は、撮像面にアレイ状に配置された複数の受光素子に取り込まれた光学像をセンサ信号に変換して出力する画像センサと、前記画像センサの受光面に設けられ、第一格子パターンで光を変調する変調器と、前記センサ信号に基づいて露光条件を決定し、設定されている露光条件を決定した前記露光条件に変更し、変更後の前記露光条件に従って露光制御を行う露光制御部と、前記第一格子パターンに対応した第二格子パターンを生成し、当該第二格子パターンと前記センサ信号とからモアレ縞画像を生成し、当該モアレ縞画像から撮影画像を生成する画像処理部と、前記変調器に表示させる前記第一格子パターンを制御する制御部と、を備える撮像装置における露光制御方法であって、前記センサ信号に基づいて露光条件を決定し、設定されている露光条件を、決定した前記露光条件に変更し、変更後の前記露光条件に従って露光制御を行い、前記露光条件は、前記画像センサの露光時間と前記変調器の透過率とを含み、前記制御部は、複数の異なる格子パターンを用いてノイズを除去するフリンジスキャンを行うよう前記第一格子パターンを制御し、前記制御部が、前記フリンジスキャンのうち、所定の時間間隔で前記第一格子パターンを周期的に変化させる時分割フリンジスキャンを行うよう制御する場合、前記露光制御部は、前記第一格子パターンを変化させる１周期中は前記露光条件を維持することを特徴とする。
【発明の効果】
【0009】
本発明によれば、レンズレスの撮像装置により、環境によらず、高品質な映像を取得できる。上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【0010】
【図1】（ａ）は、本発明の実施形態の基本的なレンズレス撮像装置の構成図であり、（ｂ）および（ｃ）は、それぞれ、本発明の実施形態の撮像装置の変調器の一例を説明するための説明図である。
【図2】（ａ）～（ｃ）は、それぞれ、本発明の実施形態の格子パターンの一例を説明するための説明図である。
【図3】本発明の実施形態の画像処理部による画像処理のフローチャートである。
【図4】（ａ）は、斜め入射平行光による格子基板表面から裏面への照射像が面内ずれを生じることを、（ｂ）～（ｄ）は、本発明の実施形態の、格子基板両面の格子の軸がそろった場合のモアレ縞の生成と周波数スペクトルを、それぞれ、説明するための説明図である。
【図5】（ａ）は、本発明の実施形態の表面格子と裏面格子の軸をずらして配置する場合の模式図であり、（ｂ）～（ｄ）は、本発明の実施形態の格子基板両面の格子をずらして配置する場合のモアレ縞の生成と周波数スペクトルを、それぞれ説明するための説明図である。
【図6】（ａ）は、物体を構成する各点からの光がセンサに対してなす角を、（ｂ）は、物体を撮影した場合の空間周波数スペクトルを、それぞれ、説明するための説明図である。
【図7】（ａ）は、物体が無限距離にある場合に表側格子パターンが投影されることを、（ｂ）は、物体が無限距離にある場合に生成されるモアレ縞の例を、それぞれ説明するための説明図である。
【図8】（ａ）は、物体が有限距離にある場合に表側格子パターンが拡大されることを、（ｂ）は、物体が有限距離にある場合に生成されるモアレ縞の例を、（ｃ）は、物体が有限距離にある場合に裏側格子パターンを補正したモアレ縞の例を、それぞれ説明するための説明図である。
【図9】（ａ）は、本発明の実施形態の、裏側格子パターンを画像処理で実現する撮像装置の構成図であり、（ｂ）は、裏側格子パターンを画像処理で実現する撮像装置の変調器を説明するための説明図である。
【図10】本発明の実施形態の、裏側格子パターンを画像処理で実現する撮像装置の画像処理部による画像処理のフローチャートである。
【図11】本発明の実施形態のリフォーカス可能な撮像装置の構成図である。
【図12】本発明の実施形態のリフォーカス可能な撮像装置の画像処理部による画像処理のフローチャートである。
【図13】（ａ）は、本発明の実施形態の時分割フリンジスキャンを実現する撮像装置の構成図であり、（ｂ）～（ｅ）は、それぞれ、本発明の実施形態の時分割フリンジスキャンに用いる格子パターン例を説明するための説明図である。
【図14】（ａ）～（ｄ）は、それぞれ、本発明の実施形態の時分割フリンジスキャンにおける変調器の電極配置と印加電圧とを説明するための説明図である。
【図15】本発明の実施形態の時分割フリンジスキャン実行時の制御部による格子パターン制御処理のフローチャートである。
【図16】本発明の実施形態の時分割フリンジスキャン実行時の画像処理のフローチャートである。
【図17】（ａ）は、本発明の実施形態の空間分割フリンジスキャンを実現する撮像装置の構成図であり、（ｂ）および（ｃ）は、それぞれ、本発明の実施形態の空間分割フリンジスキャンに用いる格子パターン例を説明するための説明図である。
【図18】本発明の実施形態の空間分割フリンジスキャン実行時の画像処理のフローチャートである。
【図19】（ａ）は、第一実施形態の撮像装置の構成図であり、（ｂ）は、第一実施形態の撮像装置のハードウェア構成図である。
【図20】（ａ）は、第一実施形態のセンサ信号値の位置による変化を示すグラフであり、（ｂ）は、第一実施形態のセンサ信号の信号値のヒストグラムである。
【図21】（ａ）および（ｂ）は、第一実施形態の変調器の透過率制御を、（ｃ）は、第一実施形態の変調器の端子に印加する電圧と液晶表示素子の透過率との関係を、それぞれ、説明するための説明図である。
【図22】（ａ）および（ｂ）は、第一実施形態の変調器に表示される格子パターン例をそれぞれ説明するための説明図である。
【図23】（ａ）は、第一実施形態の撮像処理の、（ｂ）は、第一実施形態の画像処理を、（ｃ）は、第一実施形態の露光制御処理を、それぞれ、説明するための説明図である。
【図24】（ａ）は、第一実施形態の変形例の格子パターンの表示例を説明するための説明図であり、（ｂ）および（ｃ）は、センサ位置毎のセンサ信号値を示すグラフである。
【図25】（ａ）は、第二実施形態の撮像処理の、（ｂ）は、第二実施形態の露光制御処理の、それぞれ、フローチャートである。
【図26】第二実施形態の露光条件変更タイミングを説明するための説明図である。
【図27】（ａ）は、第二実施形態の変形例の撮像装置の構成図であり、（ｂ）は、第二実施形態の変形例の格子パターンの一例を説明するための説明図である。
【図28】第三実施形態の撮像装置の構成図である。
【図29】（ａ）は、第三実施形態の撮像処理の、（ｂ）は、第三実施形態の変形例の撮像処理の、それぞれ、フローチャートである。
【図30】第三実施形態の撮像モード設定処理のフローチャートである。
【図31】第三実施形態の変形例の撮像モード設定処理のフローチャートである。
【図32】第四実施形態の携帯端末のハードウェア構成図である。
【発明を実施するための形態】
【0011】
以下、本発明の実施形態を、図面を用いて説明する。
【0012】
以下に述べる実施形態において、構成要素等の形状、位置関係等に言及するときは特に明示した場合および原理的に明らかにそうではないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、数値および範囲についても同様である。
【0013】
また、実施形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。
【0014】
本発明の各実施形態の説明に先立ち、各実施形態で共通に用いる、光学レンズを用いない撮像装置（レンズレス撮像装置；以下、単に撮像装置と呼ぶ。）の基本的な構成および処理を説明する。
【0015】
［撮像装置の構成］
図１（ａ）は、本実施形態１による撮像装置１０１ａにおける構成の一例を示す説明図である。撮像装置１０１ａは、結像させるレンズを用いることなく、外界の物体の画像を取得する装置である。撮像装置１０１ａは、図１（ａ）に示すように、変調器１０２ａと、画像センサ１０３と、画像処理部１２２ａと、を備える。
図１（ａ）は、本実施形態１による撮像装置１０１ａにおける構成の一例を示す説明図である。撮像装置１０１ａは、結像させるレンズを用いることなく、外界の物体の画像を取得する装置である。撮像装置１０１ａは、図１（ａ）に示すように、変調器１０２ａと、画像センサ１０３と、画像処理部１２２ａと、を備える。
【0016】
図１（ｂ）に変調器１０２ａの一例を示す。変調器１０２ａは、画像センサ１０３の受光面に密着して固定される。変調器１０２ａは、格子基板１１２ａに形成された第一格子パターン１０４と、第二格子パターン１０５とを備える。格子基板１１２ａは、例えばガラスやプラスティックなどの透明な材料で形成される。以降、格子基板１１２ａの画像センサ１０３側を裏面と呼び、対向する面すなわち撮像対象側を表面と呼ぶ。従って、第一格子パターン１０４は、表面側格子パターン１０４と、第二格子パターン１０５は、裏面側格子パターン１０５とも呼ぶ。
【0017】
表面側格子パターン１０４および裏面側格子パターン１０５は、図２（ａ）に示すように、外側に向かうほど中心からの半径に反比例して格子パターンの間隔、すなわちピッチが狭くなる同心円状の格子パターンを備える。表面側格子パターン１０４および裏面側格子パターン１０５は、例えば半導体プロセスに用いられるスパッタリング法などによってアルミニウムなどを蒸着することによって形成される。アルミニウムが蒸着されたパターンと蒸着されていないパターンとによって濃淡がつけられる。なお、表面側格子パターン１０４および裏面側格子パターン１０５の形成は、これに限定されるものでなく、例えばインクジェットプリンタなどによる印刷などによって濃淡をつけて形成されてもよい。
【0018】
なお、ここでは変調器１０２ａを実現するために、表面側格子パターン１０４および裏面側格子パターン１０５を格子基板１１２ａに形成する方法について述べた。しかし、図１（ｃ）に示すように表面側格子パターン１０４および裏面側格子パターン１０５を薄膜に形成し、支持部材１１２ｂにより保持する構成などによっても実現できる。
【0019】
表面側格子パターン１０４および裏面側格子パターン１０５を透過する光は、その格子パターンによって光の強度が変調される。透過した光は、画像センサ１０３にて受光される。
【0020】
画像センサ１０３は、撮像面にアレイ状に配置された複数の受光素子（撮像素子、イメージセンサ）に取り込まれた光学像を、センサ信号（ＲＡＷデータ）に変換して出力する。
【0021】
画像センサ１０３の表面には、受光素子であるセンサ画素１０３ａが格子状に規則的に配置される。画像センサ１０３は、センサ画素１０３ａが受光した光を電気信号であるセンサ信号に変換する。センサ画素１０３ａは、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどで構成される。
【0022】
画像処理部１２２ａは、画像センサ１０３から出力されたセンサ信号に対し、画像処理を施し、画像データを生成し、撮影画像として、画像表示装置１０７などに出力する。
【0023】
【0024】
撮像装置１０１ａでは、画像センサ１０３は、所定の時間間隔で、センサ信号を画像処理部１２２ａに出力する。以下、画像センサ１０３がセンサ信号を出力する間隔を、駆動周期と呼ぶ。画像処理部１２２ａは、画像センサ１０３からセンサ信号を受信する毎に、以下の画像処理を実行する。
【0025】
まず、画像処理部１２２ａは、画像センサ１０３から得たセンサ信号に対し、デモザイキング処理等を行い、カラーのＲＧＢ（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ）成分ごとのモアレ縞画像を生成するセンサ信号処理を行う（ステップＳ５００）。
【0026】
次に、各モアレ縞画像に対し、ＲＧＢ成分ごとに高速フーリエ変換（ＦＦＴ：Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）などの２次元フーリエ変換（ＦＦＴ：Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）演算により、周波数スペクトルを求める（ステップＳ５０１）。
【0027】
続いて、ステップＳ５０１の処理による周波数スペクトルのうち、必要な周波数領域のデータを切り出した後（ステップＳ５０２）、該周波数スペクトルの強度計算を行う（ステップＳ５０３）という処理を行い処理後の画像（処理後画像）を得る。
【0028】
本実施形態では、後述のように、複数の位相の異なるパターンを有する変調器を用いることがある。例えば、４種のパターンを有する変調器を使用する場合は４種の位相の異なる処理後画像を得、それぞれの強度を合成し、１枚の処理後画像を得る。以下、画像センサ１０３から得たセンサ信号から、周波数スペクトル算出、強度計算等を行い、処理後画像を取得する処理を現像処理と呼ぶ。また、この時点で得られる画像を現像画像と呼ぶ。
【0029】
そして、画像処理部１２２ａは、得られた処理後画像に対してノイズ除去処理を行い（ステップＳ５０４）、コントラスト強調処理（ステップＳ５０５）などの画質調整処理を行う。
【0030】
画像処理部１２２ａは、画質調整処理後の画像のカラーバランスを調整して（ステップＳ５０６）、出力信号として生成する（ステップＳ５０７）出力画像生成処理を行い、処理後の出力信号を撮影画像として出力する。以上により、画像処理部１２２ａによる画像処理が終了となる。
【0031】
［撮像原理］
続いて、撮像装置１０１ａによる撮像原理について説明する。
続いて、撮像装置１０１ａによる撮像原理について説明する。
【0032】
まず、中心からの半径に対して反比例してピッチが細かくなる同心円状の表面側格子パターン１０４および裏面側格子パターン１０５は、以下のように定義する。レーザ干渉計などにおいて、平面波に近い球面波と参照光として用いる平面波とを干渉させる場合を想定する。同心円の中心である基準座標からの半径をｒとし、そこでの球面波の位相をφ（ｒ）とするとき、これを波面の曲がりの大きさを決める係数βを用いて、位相φ（ｒ）は、以下の式（１）で表される。
球面波にもかかわらず、半径ｒの２乗で表されているのは、平面波に近い球面波のため、展開の最低次のみで近似できるからである。この位相分布を持った光に平面波を干渉させると、以下の式（２）で示される干渉縞の強度分布が得られる。
この干渉縞は、以下の式（３）を満たす半径位置で明るい線を持つ同心円の縞となる。
縞のピッチをｐとすると、以下の式（４）が得られる。
【数1】
【数2】
【数3】
【数4】
【0033】
式（４）より、ピッチは、半径に対して反比例して狭くなることがわかる。このような縞を持つプレートは、フレネルゾーンプレートやガボールゾーンプレートと呼ばれる。このように定義される強度分布に比例した透過率分布をもった格子パターンを、図１（ｂ）に示す表面側格子パターン１０４および裏面側格子パターン１０５として用いる。
【0034】
【0035】
このような格子パターンが両面に形成された厚さｔの変調器１０２ａに、図４（ａ）に示すように角度θ０で平行光が入射したとする。変調器１０２ａ中の屈折角をθとし、幾何光学的には、表面の格子の透過率が乗じられた光が、δ＝ｔ・ｔａｎθだけずれて裏面に入射し、仮に２つの同心円格子の中心がそろえて形成されていたとすると、裏面の格子の透過率がδだけずれて掛け合わされることになる。このとき、以下の式（５）で示す強度分布が得られる。
【数5】
【0036】
この展開式の第４項が、２つの格子のずれの方向にまっすぐな等間隔の縞模様を重なり合った領域一面に作ることがわかる。このような縞と縞の重ね合わせによって相対的に低い空間周波数で生じる縞はモアレ縞と呼ばれる。
【0037】
このようにまっすぐな等間隔の縞は、検出画像の２次元フーリエ変換によって得られる空間周波数分布に鋭いピークを生じる。その周波数の値からδの値、すなわち光線の入射角θを求めることが可能となる。
【0038】
このような全面で一様に等間隔で得られるモアレ縞は、同心円状の格子配置の対称性から、ずれの方向によらず同じピッチで生じることは明らかである。このような縞が得られるのは、格子パターンをフレネルゾーンプレートまたはガボールゾーンプレートで形成したことによるものであり、これ以外の格子パターンで、全面で一様な縞を得るのは困難と考えられる。但し、全面で一様に等間隔なモアレ縞が得ることが目的であり、格子パターンをフレネルゾーンプレートやガボールゾーンプレートに限定するものではない。
【0039】
式（５）の展開式の第２項でもフレネルゾーンプレートの強度がモアレ縞で変調された縞が生じることがわかる。しかしながら、２つの縞の積の周波数スペクトルは、それぞれのフーリエスペクトルのコンボリューションとなるため、鋭いピークは得られない。
【0040】
式（５）から鋭いピークを持つ成分のみを、以下の式（６）のように取り出す。
そのフーリエスペクトルは、以下の式（７）で表される。
ここで、Ｆはフーリエ変換の演算を表し、ｕ、ｖは、ｘ方向およびｙ方向の空間周波数座標、括弧を伴うδはデルタ関数である。この結果から、検出画像の空間周波数スペクトルにおいて、モアレ縞の空間周波数のピークがｕ＝±δβ／πの位置に生じることがわかる。
【数6】
【数7】
【0041】
その様子を図４（ｂ）～図４（ｄ）に示す。これらの図において、左から右にかけては、光線と変調器１０２ａの配置図、モアレ縞、および空間周波数スペクトルの模式図をそれぞれ示す。図４（ｂ）は、垂直入射、図４（ｃ）は、左側から角度θで光線が入射する場合、図４（ｄ）は、右側から角度θで光線が入射する場合をそれぞれ示す。
【0042】
変調器１０２ａの表面側に形成された表面側格子パターン１０４と裏面側に形成された裏面側格子パターン１０５とは、軸がそろっている。図４（ｂ）では、表面側格子パターン１０４と裏面側格子パターン１０５との影が一致するのでモアレ縞は生じない。
【0043】
図４（ｃ）および図４（ｄ）では、表面側格子パターン１０４と裏面側格子パターン１０５とのずれが等しいために同じモアレが生じる。また、空間周波数スペクトルのピーク位置も一致する。従って、空間周波数スペクトルからは、光線の入射角が図４（ｃ）の場合なのか、あるいは図４（ｄ）の場合なのかを判別することができない。
【0044】
これを避けるためには、例えば図５（ａ）に示すように、変調器１０２ａに垂直に入射する光線に対しても２つの格子パターンの影がずれて重なるようあらかじめ表面側格子パターン１０４および裏面側格子パターン１０５を光軸に対して相対的にずらしておく。
【0045】
軸上の垂直入射平面波に対して２つの格子の影の相対的なずれをδ０とする。このとき、入射角θの平面波によって生じるずれδは、以下の式（８）で表される。
このとき、入射角θの光線のモアレ縞の空間周波数スペクトルのピークは周波数のプラス側では、以下の式（９）で示すｕの位置となる。
【数8】
【数9】
【0046】
画像センサ１０３の大きさをＳ、画像センサ１０３のｘ方向およびｙ方向の画素数を共にＮとすると、２次元フーリエ変換による離散画像の空間周波数スペクトルは、－Ｎ／（２Ｓ）から＋Ｎ／（２Ｓ）の範囲で得られる。
【0047】
このことから、プラス側の入射角とマイナス側の入射角を均等に受光することを考えれば、垂直入射平面波（θ＝０）によるモアレ縞のスペクトルピーク位置は、原点（ＤＣ：直流成分）位置と、例えば＋側端の周波数位置との中央位置、すなわち、以下の式（１０）で表される空間周波数位置とするのが妥当である。
【数10】
【0048】
したがって、２つの格子の相対的な中心位置ずれは、以下の式（１１）で表されるδ０とするのが妥当である。
【数11】
【0049】
図５（ｂ）～図５（ｄ）は、表面側格子パターン１０４と裏面側格子パターン１０５とをずらして配置した場合のモアレ縞の生成および周波数スペクトルを説明する模式図である。図４（ｂ）～図４（ｄ）と同様に、左側は光線と変調器１０２ａの配置図、中央列はモアレ縞、そして右側は空間周波数スペクトルを示す。また、図５（ｂ）は、光線が垂直入射の場合であり、図５（ｃ）は、光線が左側から角度θで入射する場合であり、図５（ｄ）は、光線が右側から角度θで入射する場合である。
【0050】
表面側格子パターン１０４と裏面側格子パターン１０５とは、あらかじめδ０だけずらして配置される。そのため、図５（ｂ）でもモアレ縞が生じ、空間周波数スペクトルにピークが現れる。そのずらし量δ０は、上記したとおり、ピーク位置が原点から片側のスペクトル範囲の中央に現れるように設定される。このとき図５（ｃ）では、ずれδがさらに大きくなる方向、図５（ｄ）では、小さくなる方向となっている。このため、図４（ｃ）、図４（ｄ）と異なり、図５（ｃ）と図５（ｄ）との違いがスペクトルのピーク位置から判別できる。このピークのスペクトル像がすなわち無限遠の光束を示す輝点であり、撮像装置１０１ａによる撮影像にほかならない。
【0051】
受光できる平行光の入射角の最大角度をθｍａｘとすると、このときの、モアレ縞のスペクトルピーク位置は、以下の式（１２）で示される位置ｕｍａｘとなる。
撮像装置１０１ａにて受光できる最大画角ｔａｎθｍａｘは、以下の式（１３）で与えられる。
【数12】
【数13】
【0052】
一般的なレンズを用いた結像との類推から、画角θｍａｘの平行光を画像センサの端で焦点を結んで受光すると考えると、レンズを用いない撮像装置１０１ａの実効的な焦点距離ｆｅｆｆは、以下の式（１４）に相当すると考えることができる。
【数14】
【0053】
ここで、式（１３）より画角は変調器１０２ａの厚さｔ、表面側格子パターン１０４および裏面側格子パターン１０５の係数βによって変更可能であることが判る。よって、例えば変調器１０２ａが図１（ｃ）の構成であり支持部材１１２ｂの長さを変更可能な機能を有していれば、撮像時に画角を変更して撮像することも可能となる。
【0054】
なお、式（２）で示すように、格子パターンの透過率分布は、基本的に正弦波的な特性があることを想定しているが、格子パターンの基本周波数成分としてそのような成分があればよい。例えば、前述したように図２（ａ）に示す表面側格子パターン１０４および裏面側格子パターン１０５のように、格子パターンの透過率を２値化してもよい。
【0055】
また、図２（ｂ）に示す格子パターン１０４ｂのように、透過率が高い格子領域と低い領域のｄｕｔｙを変えて、透過率の高い領域の幅を広げて透過率を高めてもよい。これにより、格子パターンからの回折を抑圧するなどの効果も得られ、撮影像の劣化を低減可能である。
【0056】
さらに、図２（ｃ）に示すように、格子パターン１０４ｃは、複数の直線で構成され、当該複数の直線は、基準座標に対して直線間距離が反比例して狭くなるものであってもよい。
【0057】
以上の説明では、いずれも入射光線は同時には１つの入射角度だけであったが、実際に撮像装置１０１ａがカメラとして作用するためには、複数の入射角度の光が同時に入射する場合を想定しなければならない。このような複数の入射角の光は、裏面側格子パターン１０５に入射する時点ですでに複数の表側格子の像を重なり合わせることになる。
【0058】
もし、これらが相互にモアレ縞を生じると、信号成分である裏面側格子パターン１０５とのモアレ縞の検出を阻害するノイズとなることが懸念される。しかし、実際は、表面側格子パターン１０４の像どうしの重なりはモアレ像のピークを生じず、ピークを生じるのは裏面側格子パターン１０５との重なりだけになる。その理由について以下に説明する。
【0059】
まず、複数の入射角の光線による表面側格子パターン１０４の影どうしの重なりは、積ではなく和であることが大きな違いである。１つの入射角の光による表面側格子パターン１０４の影と裏面側格子パターン１０５との重なりでは、表面側格子パターン１０４の影である光の強度分布に、裏面側格子パターン１０５の透過率を乗算することで、裏面側格子パターン１０５を透過したあとの光強度分布が得られる。
【0060】
これに対して、表面側格子パターン１０４に複数入射する角度の異なる光による影どうしの重なりは、光の重なり合いなので、積ではなく、和になるのである。和の場合は、以下の式（１５）に示すように、もとのフレネルゾーンプレートの格子の分布に、モアレ縞の分布を乗算した分布となる。
【数15】
【0061】
したがって、その周波数スペクトルは、それぞれの周波数スペクトルの重なり積分で表される。そのため、たとえモアレのスペクトルが単独で鋭いピークをもったとしても、実際上、その位置にフレネルゾーンプレートの周波数スペクトルのゴーストが生じるだけである。つまり、スペクトルに鋭いピークは生じない。
【0062】
したがって、複数の入射角の光を入れても検出されるモアレ像のスペクトルは、常に表面側の表面側格子パターン１０４と裏面側の裏面側格子パターン１０５との積のモアレだけであり、裏面側格子パターン１０５が単一である以上、検出されるスペクトルのピークは１つの入射角に対して１つだけとなる。
【0063】
ここで、これまで検出することを説明してきた平行光と、実際の物体からの光との対応について図６（ａ）を用いて模式的に説明する。図６（ａ）は、物体を構成する各点からの光が画像センサ１０３に対してなす角を説明する説明図である。
【0064】
被写体４００を構成する各点からの光は、厳密には点光源からの球面波として、撮像装置１０１ａの変調器１０２ａおよび画像センサ１０３（以下、図６（ａ）では格子センサ一体基板１１３という）に入射する。このとき、被写体４００に対して格子センサ一体基板１１３が十分に小さい場合や、十分に遠い場合には、各点から、格子センサ一体基板１１３を照明する光の入射角が同じとみなすことができる。
【0065】
式（９）から求められる微小角度変位Δθに対するモアレの空間周波数変位Δｕが、画像センサの空間周波数の最小解像度である１／Ｓ以下となる関係から、Δθが平行光とみなせる条件は、以下の式（１６）で表される。
この条件下であれば、無限遠の物体に対して撮像装置１０１ａで撮像が可能であり、これまでの議論から高速フーリエ変換（ＦＦＴ）によって、図６（ｂ）に示すような像を得ることができる。
【数16】
【0066】
［有限距離物体の撮像原理］
ここで、これまで述べた無限遠の場合における表面側の表面側格子パターン１０４の裏面への射影の様子を図７（ａ）に示す。
ここで、これまで述べた無限遠の場合における表面側の表面側格子パターン１０４の裏面への射影の様子を図７（ａ）に示す。
【0067】
無限遠の物体を構成する点４０１からの球面波は、十分に長い距離を伝搬する間に平面波となり表面側格子パターン１０４を照射し、その投影像４０２が下の面に投影される場合、投影像は表面側格子パターン１０４とほぼ同じ形状である。その結果、投影像４０２に対して、裏面側格子パターン１０５の透過率分布を乗じることにより、図７（ｂ）に示すような等間隔な直線状のモアレ縞を得ることができる。
【0068】
一方、有限距離の物体に対する撮像について説明する。図８（ａ）は、撮像する物体が有限距離にある場合に表面側格子パターン１０４の裏面への射影が表面側格子パターン１０４より拡大されることを示す説明図である。
【0069】
図８（ａ）に示すように、物体を構成する点４０３からの球面波が表面側の表面側格子パターン１０４を照射し、その投影像４０４が下の面に投影される場合、投影像はほぼ一様に拡大される。なお、この拡大率αは、表面側格子パターン１０４から点４０３までの距離ｆを用いて、以下の式（１７）のように算出できる。
そのため、平行光に対して設計された裏面側の格子パターンの透過率分布をそのまま乗じたのでは、図８（ｂ）に示すように、等間隔な直線状のモアレ縞は生じなくなる。
【数17】
【0070】
しかし、一様に拡大された表面側格子パターン１０４の影に合わせて、裏面側格子パターン１０５を拡大するならば、図８（ｃ）に示すように、拡大された投影像４０４に対して再び、等間隔な直線状のモアレ縞を生じさせることができる。従って、裏面側格子パターン１０５の係数βをβ／αとすることで補正が可能である。
【0071】
これにより、必ずしも無限遠でない距離の点４０３からの光を選択的に再生することができる。これによって、任意の位置に焦点合わせて撮像を行うことができる。
【0072】
［第二撮像装置］
次に、変調器１０２ａの構成を簡略化した第二撮像装置（以下、単に撮像装置１０１ｂ）を説明する。
次に、変調器１０２ａの構成を簡略化した第二撮像装置（以下、単に撮像装置１０１ｂ）を説明する。
【0073】
撮像装置１０１ａの変調器１０２ａでは、格子基板１１２ａの表面および裏面にそれぞれ同一形状の表面側格子パターン１０４および裏面側格子パターン１０５を、互いにずらして形成する。これにより、撮像装置１０１ａでは、入射する平行光の角度をモアレ縞の空間周波数スペクトルから検知して像を現像する。
【0074】
ここで、裏面側格子パターン１０５は、画像センサ１０３に密着して入射する光の強度を変調する光学素子であり、入射光に依らず同じ格子パターンである。よって、撮像装置１０１ｂでは、裏面側格子パターン１０５を除去した変調器１０２ｂを使用し、裏面側格子パターン１０５に相当する処理を、画像処理部で実行する。
【0075】
まず、撮像装置１０１ｂの構成を、図９（ａ）に示す。本図に示すように、撮像装置１０１ｂは、変調器１０２ｂと画像処理部１２２ｂとを備える。そして、画像処理部１２２ｂは、強度変調部１０６を備える。画像センサ１０３および画像処理部１２２ｂは、バス１０９で接続される。
【0076】
変調器１０２ｂは、変調器１０２ａから裏面側格子パターン１０５を除去した変調器である。
【0077】
強度変調部１０６は、裏面側格子パターン１０５に相当する処理を行う。
【0078】
この時の変調器１０２ｂの構成の詳細を、図９（ｂ）に示す。変調器１０２ｂは、格子基板１１２ａに形成された表面側格子パターンを備える。変調器１０２ａとは異なり、裏面側格子パターン１０５は、備えない。この構成によって、格子基板１１２ａに形成する格子パターンを１面減らすことができる。それにより、変調器１０２ｂの製造コストを低減することができるとともに光利用効率を向上させることもできる。
【0079】
ここで、画像処理部１２２ｂによる画像処理の流れを説明する。図１０は、画像処理部１２２ｂによる画像処理の概略を示す処理フローである。画像処理部１２２ｂによる画像処理が、画像処理部１２２ａによる画像処理と異なる点は、ステップＳ５１１の処理である。
【0080】
本画像処理においても、画像処理部１２２ｂは、画像センサ１０３からセンサ信号を受信する毎に、以下の画像処理を実行する。なお、ここで画像センサ１０３から受信するセンサ信号は、撮像装置１０１ａの場合と異なり、裏面側格子パターンを通過していないセンサ信号である。
【0081】
画像処理部１２２ｂは、画像センサ１０３から得たセンサ信号に対し、センサ信号処理を行う（ステップＳ５００）。
【0082】
次に、強度変調部１０６は、各ＲＧＢ成分のモアレ縞画像に対し、それぞれ裏面格子強度変調処理を行う（ステップＳ５１１）。裏面格子強度変調処理は、裏面側格子パターン１０５を透過したことに相当するモアレ縞画像を生成する処理である。
【0083】
具体的には、強度変調部１０６は、式（５）に相当する演算を行う。すなわち、強度変調部１０６は、裏面側格子パターン１０５を生成し、センサ信号処理後のセンサ信号に対し乗算する。
【0084】
なお、裏面側格子パターン１０５として、２値化したパターンを想定する場合、黒に相当する領域の画像センサ１０３の、処理後のセンサ信号値を０にするだけでもよい。これにより、乗算回路の規模を抑圧することができる。
【0085】
なお、裏面格子強度変調処理は、センサ信号処理に先立って行ってもよい。
【0086】
【0087】
なお、撮像装置１０１ｂでは、強度変調部１０６により裏面側格子パターン１０５に相当する処理を実現する。しかしながら、裏面側格子パターン１０５は、画像センサ１０３に密着して入射する光の強度を変調する光学素子である。このため、画像センサ１０３の感度を、実効的に裏面側格子パターン１０５の透過率を加味して設定することによっても実現できる。
【0088】
［第三撮像装置］
裏面側格子パターン１０５を画像処理部１２２ｂで行う撮像装置１０１ｂによれば、撮像後に任意の距離にフォーカスを合わせることも可能となる。
裏面側格子パターン１０５を画像処理部１２２ｂで行う撮像装置１０１ｂによれば、撮像後に任意の距離にフォーカスを合わせることも可能となる。
【0089】
これを実現する第三撮像装置（以下、単に撮像装置１０１ｃと呼ぶ。）の構成を図１１に示す。撮像装置１０１ｃは、本図に示すように、画像センサ１０３と、変調器１０２ｂと、記憶部１２１と、画像処理部１２２ｃと、フォーカス設定部１２３と、を備える。これらの各部は、例えば、バス１０９で接続される。
【0090】
画像センサ１０３はおよび変調器１０２ｂは、撮像装置１０１ｂと同様の構成を有する。
【0091】
記憶部１２１は、例えば、撮像後のフォーカス調整を可能とするため、画像センサ１０３から出力される各受光素子のセンサ信号を一時的に格納する。なお、画像センサ１０３全体の、各受光素子のセンサ信号の集合、すなわち、１フレーム分のセンサ信号を、センサ画像と呼ぶ。センサ画像は、各受光素子について、その位置を示す情報と、センサ信号の値とを有する。
【0092】
フォーカス設定部１２３は、フォーカス距離情報（任意の距離フォーカスを合せるための公知の距離情報）を、画像処理部１２２ｃに出力する。フォーカス距離情報は、例えば、撮像装置１０１ｃに備え付けられたつまみ等の設定装置や、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などを介して、ユーザから受け付ける。
【0093】
画像処理部１２２ｃは、画像処理部１２２ｂと略同様の処理を行う。ただし、フォーカス設定部１２３を介して設定されたフォーカス距離情報を用いて裏面格子のピッチを決定する裏面格子ピッチ決定処理をさらに行う。
【0094】
裏面格子ピッチ決定処理は、フォーカス設定部１２３の出力であるフォーカス距離情報をｆとして式（１７）を用いて拡大率αを算出し、裏面側格子パターン１０５の係数βを、その拡大率αで除算した値（β／α）とする計算を行う処理である。
【0095】
ここで、画像処理部１２２ｃによる画像処理の流れを説明する。図１２は、画像処理部１２２ｃによる画像処理の概略を示す処理フローである。この画像処理が、画像処理部１２２ｂによる画像処理と異なる点は、ステップＳ５２１の処理である。
【0096】
本画像処理では、画像処理部１２２ｃは、画像センサ１０３により記憶部１２１にセンサ信号が格納される毎に、以下の画像処理を実行する。なお、ここで画像センサ１０３が記憶部１２１に格納するセンサ信号は、撮像装置１０１ａの場合と異なり、裏面側格子パターンを通過していないセンサ信号である。
【0097】
画像処理部１２２ｃは、画像センサ１０３が記憶部１２１に格納した最新のセンサ信号に対し、センサ信号処理を行う（ステップＳ５００）。
【0098】
次に、画像処理部１２２ｃは、上記手法で、フォーカス距離情報を用いて、裏面格子ピッチ決定処理を行う（ステップＳ５２１）。
【0099】
その後、画像処理部１２２ｃは、各ＲＧＢ成分のモアレ縞画像に対し、それぞれ、裏面格子強度変調処理を行う（ステップＳ５１１）。本処理は、画像処理部１２２ｂの強度変調部１０６による裏面格子強度変調処理と同じである。
【0100】
【0101】
以上説明したように、撮像装置１０１ｃによれば、高速フーリエ変換などの簡単な演算によって外界の物体像を得ることができ、さらに撮像後に任意の距離にフォーカスを調整可能となる。従来のカメラにおいてフォーカスを変更するためには再撮像が必要であったが、撮像装置１０１ｃでは１度の撮像しか必要としない。
【0102】
［第四撮像装置・第五撮像装置］
撮像装置１０１ａ～撮像装置１０１ｃでは、式（５）から鋭いピークを持つ成分のみを取り出した式（６）に基づいて、センサ信号から現像処理等を行い、撮影画像を得る。しかし、実際には式（５）の第４項以外の項がノイズとなる。このノイズを取り除く構成を備える第四撮像装置を説明する。
撮像装置１０１ａ～撮像装置１０１ｃでは、式（５）から鋭いピークを持つ成分のみを取り出した式（６）に基づいて、センサ信号から現像処理等を行い、撮影画像を得る。しかし、実際には式（５）の第４項以外の項がノイズとなる。このノイズを取り除く構成を備える第四撮像装置を説明する。
【0103】
第四撮像装置（以下、単に撮像装置１０１ｄ）では、フリンジスキャンにより、ノイズをキャンセルする。
【0104】
まず、フリンジスキャンによるノイズキャンセルの原理を説明する。式（２）の干渉縞の強度分布において、表面側格子パターン１０４の初期位相をΦＦ、裏面側格子パターン１０５の初期位相をΦＢとすると、式（５）は、以下の式（１８）のように表すことができる。
ここで、三角関数の直交性を利用し、式（１８）を、初期位相ΦＦ、ΦＢに関して積分すると、式（１９）に示すように、ノイズ項がキャンセルされ単一周波数の定数倍の項が残る。
前述の議論から、これをフーリエ変換すれば、空間周波数分布にノイズのない鋭いピークを生じることになる。
【数18】
【数19】
【0105】
ここで、式（１９）は、積分の形で示しているが、実際には、初期位相ΦＦ、ΦＢを、０～２πの間の、複数の異なる値に設定し、それぞれの初期位相で得た強度分布の総和を計算することにより同様の効果が得られる。
【0106】
例えば、初期位相ΦＦ、ΦＢは、０～２πの間の角度を等分して設定すればよい。具体的には、０～２πを４等分して得られる値｛０、π／２、π、３π／２｝を、それぞれ設定してもよいし、３等分して得られる値｛０、π／３、２π／３｝を、設定してもよい。
【0107】
式（１９）は、さらに簡略化できる。式（１９）では、初期位相ΦＦ、ΦＢを、独立して変えることができる。しかし、両初期位相ΦＦ、ΦＢを等しく（ΦＦ＝ΦＢ）することで、ノイズ項をキャンセルできる。すなわち、表面側格子パターン１０４と裏面側格子パターン１０５との初期位相に、同じ位相を適用する。
【0108】
式（１９）においてΦＦ＝ΦＢ＝Φとした場合の積分結果を、以下の式（２０）に示す。
ΦＦ＝ΦＢ＝Φとすることで、式（２０）に示すように、ノイズ項がキャンセルされ、単一周波数の定数倍の項が残る。このとき、Φは、０～２πの間の角度が等分されるように設定すればよい。Φには、例えば、０と、０～２πを４等分した時の０と成す角である｛π／２、π、３π／２｝と、をそれぞれ設定すればよい。
【数20】
【0109】
なお、Φには、等分せずとも、直交する２位相である｛０、π／２｝を使用してもノイズ項をキャンセルでき、さらに簡略化できる。
【0110】
なお、撮像装置１０１ｂのように、裏面側格子パターン１０５の代わりに、画像処理部１２２ｂが強度変調部１０６を備え、裏面側格子パターン１０５に相当する演算を実施する場合、裏面側格子パターン１０５として負値を扱える。
【0111】
この場合、式（１８）は、以下の式（２１）で表すことができる（ΦＦ＝ΦＢ＝Φ）。
【数21】
【0112】
ここで、裏面側格子パターン１０５は既知であるため、式（２１）から裏面側格子パターン１０５を減算し、Φ＝｛０、π／２｝の場合について加算すれば、式（２２）のように、ノイズ項がキャンセルされ単一周波数の定数倍の項が残ることになる。
【数22】
【0113】
また、撮像装置１０１ａ～１０１ｃでは、前述のように表面側格子パターン１０４と裏面側格子パターン１０５とを、あらかじめδ０ずらすことで、空間周波数空間に生じる２つの撮影画像を分離する。しかし、この方法では撮影画像の画素数が半分になる。そこで、表面側格子パターン１０４と裏面側格子パターン１０５とを、前述のようにδ０ずらさずに撮影画像の重複を回避する方法について説明する。
【0114】
式（１９）のフリンジスキャンにおいて、ｃｏｓの代わりに、以下の式（２３）に示すようにｅｘｐを用い複素平面上で演算する。
【数23】
【0115】
これによりノイズ項がキャンセルされ、単一周波数の定数倍の項が残る。式（２３）中のｅｘｐ（２ｉβδｘ）をフーリエ変換すれば、以下の式（２４）となる。
すなわち、式（７）のように２つのピークを生じず、単一の現像画像を得られることが判る。
【数24】
【0116】
このように、複素平面上で演算することにより、表面側格子パターン１０４、裏面側格子パターン１０５をずらす必要がない。このため、画素数を有効に使用可能となる。
【0117】
以上のフリンジスキャンに基づくノイズキャンセルを実現する撮像装置を説明する。フリンジスキャンでは、少なくとも表面側格子パターン１０４として初期位相の異なる複数の格子パターンを使用する。これを実現するには、時分割で格子パターンを切り替える手法と、空間分割で格子パターンを切り替える手法とがある。以下、時分割で格子パターンを切り替える手法を、時分割フリンジスキャンと、空間分割で格子パターンを切り替える手法を、空間分割フリンジスキャンと、それぞれ呼ぶ。
【0118】
［時分割フリンジスキャン］
図１３（ａ）に時分割フリンジスキャンを実現する第四撮像装置（以下、撮像装置１０１ｄと呼ぶ。）を示す。撮像装置１０１ｄは、本図に示すように、画像センサ１０３と、変調器１０２ｄと、記憶部１２１と、画像処理部１２２ｄと、制御部１２４と、各構成を接続するバス１０９と、を備える。
図１３（ａ）に時分割フリンジスキャンを実現する第四撮像装置（以下、撮像装置１０１ｄと呼ぶ。）を示す。撮像装置１０１ｄは、本図に示すように、画像センサ１０３と、変調器１０２ｄと、記憶部１２１と、画像処理部１２２ｄと、制御部１２４と、各構成を接続するバス１０９と、を備える。
【0119】
変調器１０２ｄは、格子基板１１２ａと、格子パターン表示部１４０とを備える。格子パターン表示部１４０は、表示される格子パターンを電気的に変更可能な、例えば、液晶表示素子等で構成される。
【0120】
撮像装置１０１ｄでは、例えば、図１３（ｂ）～図１３（ｅ）に示すように、異なる４つの初期位相に対応する格子パターン１４１、１４２、１４３、１４４を、それぞれ切替表示可能である。なお、図１３（ｂ）～図１３（ｅ）に示す格子パターン１４１～１４４は、それぞれ、初期位相ΦＦもしくはΦが、｛０、π／２、π、３π／２｝の場合を示す。
【0121】
制御部１２４は、画像センサ１０３、変調器１０２ｄ、および画像処理部１２２ｄ等の動作を制御する。撮像装置１０１ｄでは、さらに、変調器１０２ｄを制御し、駆動周期毎に、予め定めた異なる複数の初期位相に対応する格子パターンを順に表示させる。
【0122】
画像処理部１２２ｄは、画像処理部１２２が行う処理に加え、変調器１０２ｄに設定される各格子パターンで取得したセンサ信号を加算する。画像処理部１２２ｄによる画像処理の詳細は、後述する。
【0123】
記憶部１２１は、画像センサ１０３から出力される各受光素子のセンサ信号を一時的に格納する。また、撮像装置１０１ｄでは、さらに、各格子パターンで取得した強度変調後のセンサ信号を加算する加算メモリ領域を備える。
【0124】
ここで、変調器１０２ｄの格子パターン表示部１４０の詳細を説明する。図１３（ｂ）～図１３（ｅ）に示すように、格子パターン表示部１４０に表示される各格子パターン１４１～１４４は、それぞれ複数の線で構成される。格子パターン１４２は、格子パターン１４１から位相がπ／２ずれた格子パターンであり、格子パターン１４３は、格子パターン１４１から位相がπずれた格子パターンであり、格子パターン１４４は、格子パターン１４１から位相が３π／２ずれた格子パターンである。
【0125】
【0126】
前述のように、これら格子パターン１４１～１４４は、変調器１０２ｄの格子パターン表示部１４０を構成する液晶表示素子の電極に印加する電圧を変化させることにより実現する。
【0127】
【0128】
格子パターン表示部１４０には、格子パターンの１周期を４分割するように同心円状電極が配置される。そして、内側から４本おきに電極が結線され、外周部から駆動端子として４本の端子電極が引き出されている。これら４つの端子電極にそれぞれ印加する電圧状態を、“０”と“１”との２つの状態間で時間的に切り替え、上記４種の格子パターン１４１～１４４を生成する。すなわち、格子パターンの初期位相ΦＦもしくはΦを、図１４（ａ）～図１４（ｄ）のように｛０、π／２、π、３π／２｝と切り替えることが可能となる。
【0129】
なお、図１４（ａ）～図１４（ｄ）において、電圧状態として”１”を印加した電極を、黒で示す。また、電圧状態として”０”を印加した電極を、白で示す。このように、“１”を印加した電極が光を遮蔽し、“０”を印加した電極が光を透過させる。
【0130】
次に、撮像装置１０１ｄの制御部１２４による、格子パターン制御処理を説明する。図１５は、格子パターン制御処理の処理フローである。本処理は、ユーザによる撮影開始の指示等を契機に開始される。
【0131】
制御部１２４は、格子パターン表示部１４０にＭ（Ｍは２以上の整数）種の異なる初期位相に対応する格子パターンを、予め定めた順に、周期的に表示させる。表示される格子パターンの変更を位相シフトと呼ぶ。位相シフトは、画像センサ１０３が、センサ信号を画像処理部１２２ｄに出力する毎に、制御部１２４からの指示により行われる。
【0132】
なお、カウンタの値ｍは、初期値が１であり、制御部１２４が、格子パターン表示部１４０に表示させる格子パターンを変更する毎（位相シフト毎）に、１インクリメントされ、Ｍまで達したら、１に戻る。カウンタの値がｍの場合、ｍ番目の格子パターンが格子パターン表示部１４０に表示され、得られたセンサ信号は、この格子パターンによるものである。
【0133】
制御部１２４は、撮像開始の指示を受け付けると、まず、カウンタの値ｍを、初期化（ｍ＝１）する（ステップＳ５４１）。
【0134】
制御部１２４は、終了指示を受け付けるまで、以下の処理を繰り返す（ステップＳ５４２）。
【0135】
まず、制御部１２４は、ｍ番目の格子パターンを格子パターン表示部１４０に表示させる（位相シフト）（ステップＳ５４３）。そして、画像センサ１０３が、センサ信号を記憶部１２１に出力したことを検出すると（ステップＳ５４４）、カウンタの値ｍがＭに達したか否か（ｍ＝Ｍ）を判別する（ステップＳ５４５）。
【0136】
制御部１２４は、Ｍ未満であれば（Ｓ５４５；Ｎｏ）、カウンタの値ｍを１インクリメントする（ステップＳ５４６）、Ｓ５４３へ戻り、位相シフトさせ、ｍ番目の格子パターンを格子パターン表示部１４０に表示させる。一方、カウンタの値ｍがＭである場合（Ｓ５４５；Ｙｅｓ）、制御部１２４は、ステップＳ５４１へ戻り、ｍの値を初期化する。
【0137】
これにより、制御部１２４は、Ｍ種の表示パターンを、格子パターン表示部１４０に順次表示させることができる。
【0138】
次に、撮像装置１０１ｄの画像処理部１２２ｄによる画像処理の流れを説明する。図１６は、画像処理部１２２ｄによる画像処理の処理フローである。本画像処理においても、画像処理部１２２ｄは、画像センサ１０３により記憶部１２１にセンサ信号が格納される毎に、以下の画像処理を実行する。
【0139】
ここでは、前述の式（２０）、すなわち、初期位相ΦＦ＝ΦＢとする場合を例にあげて説明する。また、上述のように、制御部１２４により、格子パターン表示部１４０には、Ｍ種の表示パターンが順に表示されるものとする。そして、制御部１２４が設定するカウンタの値ｍを、画像処理部１２２ｄも参照する。
【0140】
画像処理部１２２ｄによる画像処理が、画像処理部１２２ｂによる画像処理と異なる点は、ステップＳ５３１～Ｓ５３４の処理である。
【0141】
画像処理部１２２ｄは、画像センサ１０３が記憶部１２１に格納した最新のセンサ信号に対し、センサ信号処理を行う（ステップＳ５００）。
【0142】
次に、式（２０）、すなわち、ΦＦ＝ΦＢであることが前提であるため、画像処理部１２２ｄは、撮像に使用する表面側格子パターン１０４と同じ初期位相とするよう位相シフトさせ（ステップＳ５３１）、位相シフト後の位相を初期位相として持つ裏面側格子パターン１０５を生成する。
【0143】
画像処理部１２２ｄは、各ＲＧＢ成分のモアレ縞画像に対し、それぞれ、裏面格子強度変調処理を行う（ステップＳ５１１）。ここでは、画像処理部１２２ｄは、ステップＳ５３１で生成した裏面側格子パターン１０５を、センサ信号処理後のセンサ信号に乗算する。
【0144】
画像処理部１２２ｄは、裏面格子強度変調処理後のセンサ信号を、加算メモリに加算する（ステップＳ５３２）。
【0145】
次に、画像処理部１２２ｄは、カウンタの値ｍがＭであるか否かを判別する（ステップＳ５３３）。
【0146】
カウンタの値ｍがＭである場合（Ｓ５３３；Ｙｅｓ）、画像処理部１２２ｄは、Ｓ５０１～Ｓ５０７の処理を行う。これらの処理は、図３の同符号のステップの処理と同様である。ただし、Ｓ５０１の２次元フーリエ変換演算は、加算メモリに格納された信号で構成されるモアレ縞画像に対して行う。
【0147】
その後、画像処理部１２２ｄは、加算メモリをクリアし（ステップＳ５３４）、処理を終了する。
【0148】
一方、カウンタの値ｍがＭ未満の場合（Ｓ５３３；Ｎｏ）、画像処理部１２２ｄは、そのまま、処理を終了する。なお、次に、画像センサ１０３からセンサ信号を受信すると、本画像処理を開始する。
【0149】
なお、上記画像処理の流れは、式（２０）が成りたつ場合を例に説明したが、式（１９）、式（２２）、式（２３）で表現される場合にも同様に適用することが可能である。
【0150】
［空間分割フリンジスキャン］
次に、空間分割フリンジスキャンを実現する第五撮像装置（以下、撮像装置１０１ｅと呼ぶ。）を説明する。図１７（ａ）に、撮像装置１０１ｅを示す。本図に示すように、撮像装置１０１ｅは、画像センサ１０３と、変調器１０２ｅと、記憶部１２１と、画像処理部１２２ｅと、画像分割部１２５と、各構成を接続するバス１０９と、を備える。
次に、空間分割フリンジスキャンを実現する第五撮像装置（以下、撮像装置１０１ｅと呼ぶ。）を説明する。図１７（ａ）に、撮像装置１０１ｅを示す。本図に示すように、撮像装置１０１ｅは、画像センサ１０３と、変調器１０２ｅと、記憶部１２１と、画像処理部１２２ｅと、画像分割部１２５と、各構成を接続するバス１０９と、を備える。
【0151】
変調器１０２ｅは、複数の位相の異なる格子パターンを２次元的に並べた格子パターン１５０を有する。変調器１０２ｅの格子パターン１５０の一例を、図１７（ｂ）に示す。本図に示すように、格子パターン１５０は、例えば、初期位相ΦＦもしくはΦが、それぞれ｛０、π／２、π、３π／２｝である格子パターンを、２次元的に並べたパターン配置を有する。
【0152】
画像分割部１２５は、画像センサ１０３からの出力を、変調器１０２ｅのパターン配置に応じた領域に分割し、画像処理部１２２に順次伝送する。図１７（ｂ）の例では、画像センサ１０３からの出力を、２×２、すなわち、４つの領域に分割する。
【0153】
画像処理部１２２ｅは、画像処理を行う。画像処理部１２２ｅによる画像処理は、画像処理部１２２ｄによる画像処理と同じである。ただし、画像分割部１２５が分割した各領域について、それぞれ、裏面格子強度変調処理を行い、加算する。
【0154】
図１８は、撮像装置１０１ｅの画像分割部１２５および画像処理部１２２ｅによる画像分割および画像処理の処理フローである。本処理は、画像センサ１０３がセンサ信号を記憶部１２１に格納する毎に実行される。なお、本処理では、画像は、Ｍ分割するものとする。すなわち、変調器１０２ｅは、初期位相の異なるＭ個の格子パターンが２次元的に配置されたものとする。
【0155】
まず、画像分割部１２５は、センサ画像を、格子パターンの配置に応じた領域に、Ｍ分割する（ステップＳ５５１）。
【0156】
そして、画像処理部１２２ｅは、Ｍ分割された各領域のセンサ信号について（ステップＳ５５２、Ｓ５５４、Ｓ５５５）、上述のセンサ信号処理（ステップＳ５００）および裏面格子強度変調（ステップＳ５１１）を行い、加算メモリに加算する（ステップＳ５５３）。
【0157】
Ｍ分割された全領域について、上記処理を終えると、画像処理部１２２ｅは、加算メモリに記憶された信号に関し、上述のＳ５０１～Ｓ５０７の処理を行い、最後の加算メモリをクリアし（ステップＳ５５６）、処理を終了する。
【0158】
なお、式（２０）に基づくフリンジスキャンでは、４位相必要である。このため変調器１０２ｅは、２×２の４つに分割され、４種の初期位相を有する格子パターンが配置される。しかし、式（２２）に基づくフリンジスキャンでは２位相で実現できる。このため、この場合、変調器１０２ｅは、１×２の２種の初期位相を有する格子パターン配置でも実現可能である。
【0159】
この場合の格子パターン１５０の例を図１７（ｃ）に示す。この変調器１０２ｅは、例えば、初期位相ΦＦもしくはΦが、それぞれ、｛０、π｝である格子パターンを２次元的に並べた構成である。
【0160】
この格子パターン１５０を用いる場合、画像分割部１２５は、この位相数に応じて、画像センサ１０３からの出力を、１×２の領域に分割する。
【0161】
このように、空間分割フリンジスキャンを用いれば、時分割フリンジスキャンの変調器１０２ｄのように電気的に切り替える必要がない。従って、変調器１０２ｄを、安価に作製することができる。また、空間分割フリンジスキャンでは、複数の初期位相の撮像タイミングが同じである。このため、動体の撮像が可能である。
【0162】
なお、２位相より４位相のほうが現像後に高画質な画像を望める。しかし、４位相に比べ２位相は処理量が軽くできる。また、２位相では水平ライン毎にシャッタタイミングが異なるＣＭＯＳ型の画像センサを動画撮像に使用することができる。しかし、空間分割フリンジスキャンを用いると画像を分割するため解像度が実効的に低下する。よって、解像度を上げる必要がある静止物の撮像には時分割フリンジスキャンが適している。
【0163】
＜＜第一実施形態＞＞
以上、撮像装置１０１ａ～１０１ｅによる撮像の基本原理および画質を向上するための処理について説明した。次に、本発明の第一実施形態について説明する。本実施形態の撮像装置は、前述の撮像装置１０１ａ～１０１ｅを様々な明るさの環境で使用するための、露光制御機能を備える。
以上、撮像装置１０１ａ～１０１ｅによる撮像の基本原理および画質を向上するための処理について説明した。次に、本発明の第一実施形態について説明する。本実施形態の撮像装置は、前述の撮像装置１０１ａ～１０１ｅを様々な明るさの環境で使用するための、露光制御機能を備える。
【0164】
上述の撮像装置１０１ａ～１０１ｅのように、レンズを使用しない撮像装置では、レンズ付きのカメラのようにレンズの開口率を変えた露光制御ができない。そこで、本実施形態では、変調器の透過部分の透過率を制御したり、画像センサ１０３の露光時間を変えたり、両方を制御したりすることにより露光制御する。
【0165】
［撮像装置の構成］
まず、本実施形態の撮像装置２００の構成を説明する。図１９（ａ）に本実施形態の撮像装置２００の構成図を示す。本実施形態の撮像装置２００は、画像センサ１０３と、変調器１０２ｆと、記憶部１２１と、露光制御部２１０と、画像処理部２２０と、制御部２３０と、これらを接続するバス１０９と、を備える。
まず、本実施形態の撮像装置２００の構成を説明する。図１９（ａ）に本実施形態の撮像装置２００の構成図を示す。本実施形態の撮像装置２００は、画像センサ１０３と、変調器１０２ｆと、記憶部１２１と、露光制御部２１０と、画像処理部２２０と、制御部２３０と、これらを接続するバス１０９と、を備える。
【0166】
画像センサ１０３は、上記各撮像装置１０１ａ～１０１ｅの画像センサ１０３と同様である。すなわち、画像センサ１０３は、撮像面にアレイ状に配置された複数の受光素子に取り込まれた光学像をセンサ信号に変換して出力する。
【0167】
変調器１０２ｆは、画像センサ１０３の受光面に設けられ、表面側格子パターン（第一格子パターン）で光を変調する。本実施形態では、格子基板１１２ａと、格子基板１１２ａ上に配置される格子パターン表示部１６０と、を備える。格子パターン表示部１６０は、表面側格子パターンを表示させる。本実施形態では、表示する格子パターンの透過率を電気的に変更可能な、例えば、液晶表示素子等で構成される。
【0168】
記憶部１２１は、画像センサ１０３から出力されたセンサ信号、画像処理部で処理途中の信号等を記憶する。基本的に上記撮像装置１０１ｂ～１０１ｅの記憶部１２１と同様である。
【0169】
画像処理部２２０は、画像センサ１０３から出力されたセンサ信号に画像処理を施し、撮影画像を生成する。本実施形態では、表面側格子パターン１０４に対応した裏面側格子パターン（第二格子パターン）１０５を生成し、その裏面側格子パターン１０５とセンサ信号とからモアレ縞画像を生成し、そのモアレ縞画像から、被写体の画像である撮影画像を生成する。なお、生成された撮影画像は、外部に出力され、例えば、画像表示装置１０７等に表示される。
【0170】
本実施形態の画像処理部２２０は、現像処理部２２１と、画質調整処理部２２２と、画像出力処理部２２３とを備える。
【0171】
現像処理部２２１は、画像センサ１０３が取得し、記憶部１２１に記憶したセンサ信号から現像画像を得る現像処理を行う。例えば、図３の処理フローでは、Ｓ５００のセンサ信号処理と、Ｓ５０１の２次元ＦＦＴ演算と、Ｓ５０２のスペクトル切り出し処理と、Ｓ５０３の強度計算と、の各処理を行い、被写体４００の現像画像を得る。
【0172】
また、現像処理部２２１は、強度変調部１０６の機能を備えてもよい。この場合は、例えば、図１０の処理フローにおける、Ｓ５１１の裏面格子強度変調処理をさらに実行する。
【0173】
画質調整処理部２２２は、現像処理部２２１で生成した現像画像の画質を調整する画質調整処理を行う。例えば、図３の処理フローでは、Ｓ５０４のノイズ除去と、Ｓ５０５のコントラスト強調と、の各処理を行う。
【0174】
画像出力処理部２２３は画質調整後の信号を、出力形態に合わせた映像信号（撮影画像）に変換する出力画像生成処理を行う。例えば、図３の処理フローでは、Ｓ５０６のカラーバランス調整と、Ｓ５０７の出力信号生成処理とを行う。
【0175】
露光制御部２１０は、画像センサ１０３から出力され、記憶部１２１に記憶されセンサ信号に基づいて露光条件（露光環境）を決定し、決定した露光条件に従って露光制御を行う。露光条件は、画像センサ１０３の露光時間と、変調器１０２ｆの透過率とを含む。本実施形態では、センサ信号の明るさ（信号値）を解析し、例えば、解析対象のセンサ信号の信号値の最大値が予め定めた閾値を超える場合、以後、画像センサ１０３から出力されるセンサ信号の信号値が、解析対象のセンサ信号の信号値よりも小さくなるよう露光条件を変更する。
【0176】
これを実現するため、本実施形態の露光制御部２１０は、明るさ解析部２１１と、センサ制御部２１２と、変調器制御部２１３と、を備える。
【0177】
明るさ解析部２１１は、画像センサ１０３から出力されたセンサ信号の明るさを解析し、解析結果をセンサ制御部２１２および／または変調器制御部２１３に通知する。センサ信号は、記憶部１２１に格納される。
【0178】
センサ制御部２１２は、解析結果に応じて、画像センサ１０３の露光時間を決定し、決定した露光時間になるよう画像センサ１０３を制御する。
【0179】
変調器制御部２１３は、解析結果に応じて、変調器１０２ｆの透過率を決定し、決定した透過率になるよう変調器１０２ｆを制御する。
【0180】
制御部２３０は、撮像装置２００の全体の動作を制御する。
【0181】
［ハードウェア構成］
撮像装置２００のハードウェア構成を、図１９（ｂ）に示す。本図に示すように、本実施形態の撮像装置２００は、例えば、ＣＰＵ３０１と、ＲＯＭ３１１と、ＲＡＭ３１２と、ストレージ３１３と、外部機器インタフェース（Ｉ／Ｆ）３１４と、これらの各部を接続するバス３０２と、を備える。なお、撮像装置２００は、さらに通信装置３２０を備えてもよい。
撮像装置２００のハードウェア構成を、図１９（ｂ）に示す。本図に示すように、本実施形態の撮像装置２００は、例えば、ＣＰＵ３０１と、ＲＯＭ３１１と、ＲＡＭ３１２と、ストレージ３１３と、外部機器インタフェース（Ｉ／Ｆ）３１４と、これらの各部を接続するバス３０２と、を備える。なお、撮像装置２００は、さらに通信装置３２０を備えてもよい。
【0182】
ＣＰＵ３０１は、撮像装置２００全体の動作を制御する。また、ＣＰＵ３０１は、通信装置３２０を備える場合、当該通信装置３２０を介して外部ネットワーク上のサーバから各種情報を取得する。
【0183】
ＲＯＭ３１１およびストレージ３１３は、ＣＰＵ３０１の指示により制御される。また、ＲＯＭ３１１およびストレージ３１３は、アプリケーションプログラムを保存する。また、アプリケーションプログラムで作成した各種データ、あるいは、アプリケーションプログラムを実行するために必要な各種データを保存する。ストレージ３１３は、撮像装置２００に内蔵されたものでもよいし、撮像装置２００に着脱可能な可搬型のメモリでもよい。
【0184】
ＲＡＭ３１２は、基本動作プログラムやその他の動作プログラム実行時のワークエリアである。ＣＰＵ３０１の指示により制御される。
【0185】
ＣＰＵ３０１は、ＲＯＭ３１１またはストレージ３１３に格納しているアプリケーションプログラムをＲＡＭ３１２にロードして実行することにより、上記各機能を実現する。
【0186】
なお、アプリケーションプログラムは、撮像装置２００が出荷されるまでに予めＲＯＭ３１１および／またはストレージ３１３に格納されていても良いし、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）・ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）などの光学メディアや半導体メモリ等の媒体に格納されて図示しない媒体接続部を介して撮像装置２００にインストールされても良い。
【0187】
また、通信装置３２０を介して外部ネットワークからダウンロードしてインストールしてもよい。また、図示しない外部機器接続インタフェースを介して、外部機器から移動またはコピーしてインストールされてもよい。
【0188】
なお、アプリケーションプログラムは、同様の機能を持つ処理部として、ハードウェアで実現することも可能である。
【0189】
また、記憶部１２１は、ＲＯＭ３１１、ＲＡＭ３１２、および／またはストレージ３１３に構築される。
【0190】
外部機器インタフェース３１４は、例えば、画像表示装置１０７や操作装置とのインタフェースである。外部機器インタフェース３１４を介して、処理結果を外部に出力したり、外部からの操作指示等を受け付けたりする。
【0191】
通信装置３２０は、外部機器との通信を実現する。
【0192】
［明るさ解析］
ここで、明るさ解析部２１１による明るさ解析処理について説明する。本実施形態では、明るさ解析部２１１は、画像センサ１０３が取得したセンサ信号（センサ画像）を用いて明るさ解析を行う。明るさ解析部２１１は、取得したセンサ画像に含まれるセンサ信号の中から、最も明るい（大きい）センサ信号の値（センサ信号値）を特定する。そして、特定したセンサ信号値が、予め定めたセンサ信号閾値以上であるか、センサ信号閾値未満であるかを判別する。そして、判別結果を、解析結果として出力する。
ここで、明るさ解析部２１１による明るさ解析処理について説明する。本実施形態では、明るさ解析部２１１は、画像センサ１０３が取得したセンサ信号（センサ画像）を用いて明るさ解析を行う。明るさ解析部２１１は、取得したセンサ画像に含まれるセンサ信号の中から、最も明るい（大きい）センサ信号の値（センサ信号値）を特定する。そして、特定したセンサ信号値が、予め定めたセンサ信号閾値以上であるか、センサ信号閾値未満であるかを判別する。そして、判別結果を、解析結果として出力する。
【0193】
画像センサ１０３の各受光素子で収集した光量は、変調器１０２ｆを通して得られる光の集合体である。本実施形態では、この各受光素子で収集した光量を電気信号に変換したセンサ信号で構成されるセンサ画像を、明るさ解析の対象とする。なお、後述するように、画像処理部２２０で現像処理をした後の被写体４００の映像を明るさ解析の対象としてもよい。
【0194】
図２０（ａ）に、センサ画像の各受光素子の出力値であるセンサ信号の信号値（明るさ）の変化のイメージの例を示す。図２０（ａ）は、１２ビット出力の画像センサ１０３の例であり、横軸は画像センサ１０３の、ある横１ラインの複数のセンサ画素１０３ａの位置（センサ位置）を示す。また、縦軸は各センサ画素の明るさであるセンサ信号値である。センサ信号値は、大きいほど明るく、最小の明るさ０から、最大の明るさ４０９５まで表現できる。また、グラフ４１１は、横１ラインの各センサ画素１０３ａのセンサ信号値の変化を示すグラフである。
【0195】
レンズレス撮像装置では、コントラストが大きな被写体４００を撮像しても、通常、センサ信号値は、変調器１０２ｆの透過部を通過した部分か、不透過部に相当する部分かによる変化が生じるだけである。すなわち、グラフ４１１に示すように、各センサ画素１０３ａの明るさには、それ程の変化は発生しない。例えば、グラフ４１１の例では、幅４２１に収まる。
【0196】
レンズレス撮像装置で、現像処理後の画質を上げるためには、センサ信号値の明るさ、暗さの振幅を、できるだけ精度よく得ることが重要である。このため、センサ信号値は、大きいほどよい。一方、センサ信号値が飽和すると、飽和したセンサ画素だけではなく、全体に画質劣化が生じる。以上のことから、レンズレス撮像装置では画像センサ１０３の各センサ画素１０３ａのセンサ信号値が、飽和しない範囲で、できるだけ大きな値になるよう、露光を制御する。
【0197】
本実施形態の明るさ解析部２１１は、各センサ信号値の最大値が、予め定めたセンサ信号閾値４２２内であるか否かを判別し、判別結果を解析結果として出力する。このセンサ信号閾値４２２は、各センサ信号値が飽和しないよう定められる。図２０（ａ）の例では、飽和値（４０９５）が設定される。本実施形態では、解析結果として、例えば、センサ信号の最大値がセンサ信号閾値４２２未満である場合、それを意味する信号を、一方、それ以外の場合は、センサ信号の最大値を出力する。センサ信号閾値４２２は、予め記憶部１２１に記憶される。
【0198】
【0199】
本実施形態の格子パターン表示部１６０は、例えば、撮像装置１０１ｄの格子パターン表示部１４０同様、格子パターンの１周期を４分割するように同心円状電極が配置され、内側から４本おきに電極が結線され、外周部から駆動端子として４本の端子電極（以下、単に端子と呼ぶ。）１６０ａ１６０ｂ、１６０ｃ、１６０ｄが引き出されている。これらの端子１６０ａ～１６０ｄに、それぞれ、予め定めた電圧を印加し、０または１の電圧状態を生成し、透過部１６０ｅおよび不透過部１６０ｆを有する格子パターンを実現する。
【0200】
例えば、図２１（ａ）に示すように、端子１６０ａおよび１６０ｄに液晶表示素子を透過とする電圧を印加し、端子１６０ｂおよび端子１６０ｃに、液晶表示素子を不透過とする電圧を印加する。これにより、透過部１６０ｅおよび不透過部１６０ｆを実現する。
【0201】
本実施形態の変調器制御部２１３は、明るさ解析部２１１の解析結果に応じて、液晶表示素子を透過とする電圧を変化させ、図２１（ｂ）に示すように、その透過率を変化させる。
【0202】
ここで、端子１６０ａ～１６０ｄに印加する電圧と、液晶表示素子の透過率との関係を説明する。図２１（ｃ）は、両者の関係を示すグラフである。本図において、電位差は、端子１６０ａ～１６０ｄに印加する電圧と、端子１６０ａ～１６０ｄの液晶を挟んで反対側の共通電極に印加する電圧との電位差である。なお、上述のように、本実施形態では、液晶表示素子として、電位差が無い（０）ときに光を透過させ、電位差が最大（ｍａｘ）のときに光を透過させない素子を用いる。
【0203】
本図に示すように、端子１６０ａ～１６０ｄに印可する電圧により電位差を０からＶｍａｘまで変化させると、液晶表示素子の透過率は、単調に低減する。すなわち、格子パターン表示部１６０に用いられる液晶表示素子は、印加する電圧による電位差を小さくすればするほど、透過率は大きくなる。
【0204】
上記撮像装置１０１ｄでは、透過部１６０ｅに接続される端子１６０ａおよび１６０ｄには、電位差が０になるよう電圧を印加する。一方、不透過部１６０ｆに接続される端子１６０ｂ、１６０ｃには、電位差がＶｍａｘとなるよう電圧が印加される。
【0205】
そして、変調器制御部２１３は、明るさ解析部２１１の解析結果に応じて、端子１６０ａおよび１６０ｄに印加する電圧を、電位差が０からＶｍａｘとの間で変化させる。
【0206】
例えば、解析結果が、センサ信号の信号値が飽和していることを示す結果である場合、変調器制御部２１３は、端子１６０ａおよび端子１６０ｄに印加する電圧を高くし、透過率を低減させる。一方、センサ信号の信号値が飽和していないことを示す解析結果が得られた場合、透過率を上昇させるよう、印加する電圧を低減させる。
【0207】
ここで、変調器１０２ｆに、決まったバターン以外の様々なパターンを表示生成できる、画素毎の透過率の制御が可能な液晶パネルとした時の格子パターン表示部１６０に表示される格子パターンを、図２２（ａ）および図２２（ｂ）に示す。
【0208】
図２２（ａ）は、露光制御を行う前の、初期状態の格子パターン１６１の例である。本図に示すように、変調器１０２ｆには、透過率が最大の透過部と、透過率が最小の不透過部とが表示される。
【0209】
図２２（ｂ）は、露光制御後の格子パターン１６２の例である。ここでは、画像センサ１０３が飽和し、透過部分のセンサの透過率を低減させるよう露光制御を行った場合の例である。本図に示すように、透過部の透過率が、低減される。
【0210】
［撮影処理］
次に、本実施形態の撮像装置２００による、撮像処理の流れを説明する。図２３（ａ）は、撮像処理の処理フローである。本処理は、ユーザから起動の指示を受け付けると開始する。また、露光条件には、初期値が設定される。
次に、本実施形態の撮像装置２００による、撮像処理の流れを説明する。図２３（ａ）は、撮像処理の処理フローである。本処理は、ユーザから起動の指示を受け付けると開始する。また、露光条件には、初期値が設定される。
【0211】
制御部２３０は、終了の指示を受け付けるまで（ステップＳ１１０１）、以下の処理を繰り返す。なお、終了指示を受け付けたら、処理を終了する。
【0212】
まず、前述した駆動周期ごとに、画像センサ１０３が、センサ信号を、記憶部１２１に出力する（ステップＳ１１０２）。
【0213】
画像センサ１０３がセンサ信号を記憶部１２１に出力すると、露光制御部２１０は、最新のセンサ信号に基づいて、露光条件を決定する露光制御処理を行う（ステップＳ１１０３）。
【0214】
画像処理部２２０は、最新のセンサ信号に対し、画像処理を行い（ステップＳ１１０４）、撮影画像を生成し、例えば、画像表示装置１０７等に出力する（ステップＳ１１０５）。
【0215】
［画像処理］
次に、ステップＳ１１０４の画像処理部２２０による画像処理の流れを説明する。図２３（ｂ）は、本実施形態の画像処理の処理フローである。
次に、ステップＳ１１０４の画像処理部２２０による画像処理の流れを説明する。図２３（ｂ）は、本実施形態の画像処理の処理フローである。
【0216】
まず、現像処理部２２１は、記憶部１２１に記憶された、１フレーム分の最新のセンサ信号を抽出し、そのセンサ信号に対し、現像処理を行う（ステップＳ１２０１）。現像処理は、上述のＳ５００～Ｓ５０３の処理である。
【0217】
次に、画質調整処理部２２２は、画質調整処理を行う（ステップＳ１２０２）。画質調整処理は、上述のＳ５０４～Ｓ５０５の処理である。
【0218】
画像出力処理部２２３は、出力画像生成処理を行う（ステップＳ１２０３）。出力画像生成処理は、上述のＳ５０６～Ｓ５０７の処理である。
【0219】
なお、画像処理は、撮影が行われている間中行ってもよいが、リアルタイムに撮影画像を表示する必要がない場合は、行わなくてもよい。すなわち、センサ信号を記憶部１２１にその取得時間に対応づけて記憶し、適当なタイミングで画像処理を行ってもよい。このように構成することで、撮像装置２００の処理負荷を低減でき、低い処理能力の装置であっても、スムーズな撮影が可能になる。
【0220】
［露光制御処理］
次に、露光制御処理の流れを説明する。図２３（ｃ）は、本実施形態の露光制御部２１０による露光制御処理の流れである。
次に、露光制御処理の流れを説明する。図２３（ｃ）は、本実施形態の露光制御部２１０による露光制御処理の流れである。
【0221】
まず、明るさ解析部２１１は、記憶部１２１に記憶された最新のセンサ信号を抽出し、そのセンサ信号の明るさを解析する明るさ解析処理を行う（ステップＳ１３０１）。
【0222】
露光制御部２１０は、明るさ解析部２１１による解析結果が、露光条件が適切を意味するか否かを判別する（ステップＳ１３０２）。ここでは、センサ信号の最大値がセンサ信号閾値４２２未満であることを示す場合、露光制御部２１０は、露光条件が適切と判断する。この場合（Ｓ１３０２；Ｙｅｓ）、そのまま処理を終了する。
【0223】
一方、解析結果が、露光条件が不適切を意味する場合（Ｓ１３０２；Ｎｏ）、すなわち、センサ信号の最大値がセンサ信号閾値４２２以上であることを示す場合、露光制御部２１０は、センサ制御部２１２および変調器制御部２１３の少なくとも一方に、その旨を通知する。
【0224】
センサ制御部２１２および変調器制御部２１３は、それぞれ、センサ信号の最大値がセンサ信号閾値４２２未満となるよう、画像センサ１０３の露光時間および変調器１０２ｆの透過率をそれぞれ算出し、露光条件を決定する（ステップＳ１３０３）。
【0225】
なお、従来のレンズ付きのカメラ同様に画像センサ１０３のシャッタタイミング（露光時間）によっても露光制御可能である。
【0226】
画像センサ１０３は、駆動周期ごとに、センサ信号を出力する。また、画像センサ１０３は、駆動周期を最大とする露光期間を設定することができる。
【0227】
本実施形態での、センサ制御部２１２は、明るさ解析部２１１から解析結果を受信すると、解析結果に応じて、画像センサ１０３の最適な露光時間と変調器１０２ｆの透過率とを決定する。
【0228】
本実施形態では、画像センサ１０３の最適な露光時間と変調器１０２ｆの透過率とを合わせて制御することにより、より広範囲での露光制御が可能になる。
【0229】
なお、本実施形態では、露光時間および透過率のいずれを制御することにより露光条件を改善するかは、予め定めておく。両方を制御する場合は、露光時間および透過率の両方により、所望の露光条件を達成するよう、露光時間および透過率を決定する。
【0230】
センサ制御部２１２および変調器制御部２１３は、それぞれ、決定した露光条件を実現するよう画像センサ１０３の露光時間および変調器１０２ｆの透過率を変更し（ステップＳ１３０４）、処理を終了する。
【0231】
なお、露光条件が不適切と判断された場合、画像センサ１０３の露光時間と変調器１０２ｆの透過率とのいずれを調整するかは、予め定めておく。調整は、いずれか一方であってもよいし、両方を適宜調整し、新たな露光条件を決定してもよい。
【0232】
露光時間および透過率は、センサ信号の最大値とセンサ信号閾値４２２とを用いて、演算により算出する。なお、露光時間および透過率は、予め定めた変化量だけ変化させ、センサ信号の最大値を算出することを繰り返し、決定してもよい。また、半値法等を用いて決定してもよい。
【0233】
以上説明したように、本実施形態の撮像装置２００は、撮像面にアレイ状に配置された複数の受光素子に取り込まれた光学像をセンサ信号に変換して出力する画像センサ１０３と、画像センサ１０３の受光面に設けられ、第一格子パターンで光を変調する変調器１０２ｆと、センサ信号に基づいて露光条件を決定し、設定されている露光条件を決定した露光条件に変更し、変更後の露光条件に従って露光制御を行う露光制御部２１０と、第一格子パターンに対応した第二格子パターンを生成し、第二格子パターンとセンサ信号とからモアレ縞画像を生成し、当該モアレ縞画像から撮影画像を生成する画像処理部２２０と、を備える。そして、露光条件は、画像センサ１０３の露光時間と変調器１０２ｆの透過率とを含む。
【0234】
このように、本実施形態は、センサ信号に基づいて露光条件を決定する露光制御部２１０を備える。このため、本実施形態によれば、レンズレス撮像装置（撮像装置２００）において、露光制御が可能となる。従って、レンズレスの撮像装置２００であっても、光量が一定でないような環境であっても、環境によらず、高品質な映像を取得できる。
【0235】
特に、本実施形態によれば、現像処理前のセンサ信号の信号値により、露光条件を決定する。また、このとき、予め定めた閾値と、センサ信号値の最大値または最小値との比較により露光条件を変更すべきか否かを判別する。従って、少ない処理負担で迅速に最適な露光条件を決定できる。
【0236】
また、変調器１０２ｆの透過率は、変調器１０２ｆの液晶表示素子への印加電圧を変えることにより変化させる。従って、簡易な構成で最適な露光条件を設定できる。
【0237】
特に、本実施形態によれば、変調器１０２ｆの透過率および画像センサ１０３の露光時間の両者が制御可能である。透過率および露光時間の両者を制御することにより、光量の低減を最小に抑えた露光制御が可能になる。
【0238】
＜変形例１＞
なお、上記実施形態では、明るさ解析部２１１は、露光制御の要否を、画像センサ１０３のセンサ信号値の最大値が、センサ信号閾値４２２未満であるか否かで判別している。しかしながら、露光制御の要否の判別手法は、これに限定されない。
なお、上記実施形態では、明るさ解析部２１１は、露光制御の要否を、画像センサ１０３のセンサ信号値の最大値が、センサ信号閾値４２２未満であるか否かで判別している。しかしながら、露光制御の要否の判別手法は、これに限定されない。
【0239】
例えば、さらに、図２０（ａ）に示すように、センサ信号値の最小値を規定する第二センサ信号閾値４２３を設けてもよい。そして、明るさ解析部２１１は、センサ信号値の最大値がセンサ信号閾値４２２未満かつ、センサ信号の最小値が第二センサ信号閾値４２３以上である場合、露光条件は適と判別してもよい。第二センサ信号閾値４２３は、予め記憶部１２１に記憶される。
【0240】
この場合も、明るさ解析部２１１は、露光条件が適と判別された場合は、それを意味する信号を、一方、露光条件が不適と判別した場合は、センサ信号の最大値または最小値を、解析結果として出力する。
【0241】
露光制御部２１０は、センサ信号の最大値を受信した場合は、上記手法で、新たな露光条件を決定する。一方、センサ信号の最小値を受信した場合は、露光時間を長くする、および、透過率を高める、の少なくとも一方が実現されるよう、シャッタタイミングおよび透過率を変更する。
【0242】
本変形例によれば、簡易な構成で、センサ信号値を所望の値幅に納めることができる露光条件を決定できる。従って、より高品質の撮影画像を得ることができる。
【0243】
なお、センサ信号閾値４２２は、センサ信号値の取り得る最大値（飽和値）に限定されない。ここで、センサ信号値のヒストグラム４１２を図２０（ｂ）に示す。本図に示すように、センサ信号値として取る値は、所定の信号値（最頻値）の周辺で突出して高くなり、最頻値から離れるに従って小さくなる。
【0244】
センサ信号値のヒストグラムを算出し、センサ信号閾値内に一定数あるいは所定割合のセンサ信号が含まれるよう、センサ信号閾値４２４を決定してもよい。これにより、画像センサ１０３に欠陥のある受光素子がある場合や、強い平行光の光源を受光している受光素子の影響を取り除くことができる。なお、この場合、センサ信号閾値４２４は、最頻値と最大値との間の値となる。
【0245】
また、上記実施形態では、画像センサ１０３がセンサ信号を出力する毎に、露光制御部２１０は、露光条件が適切か否かを判別し、不適切な場合は、露光条件を変更している。ここで、判別に用いるセンサ信号閾値を所定の値とすると、センサ信号値が少し変わっただけで、露光条件が変更される。これは、フリッカの原因となる。従って、これを避けるため、センサ信号閾値４２２、第二センサ信号閾値４２３、センサ信号閾値４２４等に、所定の幅を設けてもよい。
【0246】
＜変形例２＞
露光調整にあたり、変調器１０２ｆの格子パターンの透過率は、部分的に変更してもよい。図２４（ａ）に、透過率を部分的に変えて露光調整した格子パターン１６３の一例を示す。
露光調整にあたり、変調器１０２ｆの格子パターンの透過率は、部分的に変更してもよい。図２４（ａ）に、透過率を部分的に変えて露光調整した格子パターン１６３の一例を示す。
【0247】
画像センサ１０３は、各受光素子（センサ画素１０３ａ）に入射する光の角度により光量取得の特性が異なる光線入射角特性を有する。このため、中心部に近いセンサ画素１０３ａほど光の入射が多く、輝度レベルが高くなり、周辺部ほど輝度レベルが低くなる。この特性による画質劣化の影響は、例えば、フリンジスキャン等を用いることにより、軽減はされるが、輝度レベル低下とともに振幅も小さくなるため、解像度を向上させにくい。
【0248】
そこで、変調器制御部２１３は、変調器１０２ｆに表示する格子パターンを、図２４（ａ）に示すように、中心部は透過率が低く、周辺部は透過率が高くなるよう生成する。
【0249】
図２４（ｂ）および図２４（ｃ）に、このような、部分的な光量制御の前後のセンサ信号値の例を示す。図２４（ｂ）および図２４（ｃ）は、それぞれ、画像センサ１０３の横１ラインのセンサ画素値を示す。ここでは、１２ビット出力の画像センサ１０３の例であり、横軸は画像センサ１０３の、ある横１ラインのセンサ画素の位置（センサ位置）を示す。また、縦軸は各センサ画素の明るさであるセンサ信号値である。
【0250】
【0251】
図２４（ｂ）のグラフ４１３は、変調器１０２ｆで、部分的な（センサ画素１０３ａの位置毎の）透過率制御を行っていない状態での各センサ画素１０３ａのセンサ信号値である。上述のように、変調器１０２ｆの光線入射角特性により中央部が明るく、センサ信号値も大きい。一方、周辺部は暗く、センサ信号値も小さい。この状態では、周辺部の光の揺れが小さく、精度よく揺れをとれない。
【0252】
そこで、図２４（ａ）に示すように、変調器１０２ｆの、周辺部は透過率の高い状態にして、中心部に向かうにつれて、徐々に透過率を下げる。これにより、中央部の光量が低減し、画像センサ１０３から出力されるセンサ信号値は、図２４（ｃ）のグラフ４１４のように、中央部も、周辺部もほぼ変わらない値になる。
【0253】
なお、このとき、画像センサ１０３の露光時間を長くすると、全体のセンサ信号値のレベルを上げることができる。このような処理を施した際のセンサ信号値をグラフ４１５で示す。これにより、位相差による画素値の差をより精度よく取り出すことが可能になる。
【0254】
以上説明したように、光線入射角特性がある画像センサ１０３では、変調器１０２ｆの透過率を部分的に変えることにより、画質を向上させることができる。また、このとき、併せて露光時間を制御することにより、さらに画質を向上させることができる。
【0255】
＜＜第二実施形態＞＞
次に、本発明の第二実施形態を説明する。本実施形態では、撮像装置の処理にフリンジスキャンを適用する場合について説明する。以下、本実施形態では、第一実施形態と同名の構成は、特に明示の説明が無い限り、第一実施形態と同様の構成および機能を有する。以下、本実施形態について、第一実施形態と異なる構成に主眼をおいて説明する。以下、フリンジスキャンの内、時分割フリンジスキャンを行う場合を例にあげて説明する。
次に、本発明の第二実施形態を説明する。本実施形態では、撮像装置の処理にフリンジスキャンを適用する場合について説明する。以下、本実施形態では、第一実施形態と同名の構成は、特に明示の説明が無い限り、第一実施形態と同様の構成および機能を有する。以下、本実施形態について、第一実施形態と異なる構成に主眼をおいて説明する。以下、フリンジスキャンの内、時分割フリンジスキャンを行う場合を例にあげて説明する。
【0256】
本実施形態の撮像装置２００は、基本的に第一実施形態の撮像装置２００と同様の構成を有する。
【0257】
ただし、本実施形態の制御部２３０は、画像センサ１０３の駆動周期ごとに、変調器１０２ｆの格子パターン表示部１６０に表示させる格子パターンの位相を変化させる。制御部２３０は、予め定めた種類の、位相の異なる格子パターンを、予め定めた順に周期的に表示させる。これは、撮像装置１０１ｄと同様である。
【0258】
また、露光制御部２１０は、１枚の撮影画像を生成する間は、同じ露光条件となるよう露光制御を行う。すなわち、異なる位相の格子パターンを順に表示させている間は、露光条件を変更しない。
【0259】
本実施形態の撮像処理の流れを説明する。図２５（ａ）は、本実施形態の撮像処理の処理フローである。ここでは、Ｍ種の異なる格子パターンを順に周期的に表示させ、Ｍ枚のセンサ画像から、撮影画像を生成する。
【0260】
なお、カウンタの値ｍは、初期値が１であり、制御部２３０が、格子パターン表示部１６０に表示させる格子パターンを変更する毎（位相シフト毎）に、１インクリメントされ、Ｍまで達したら、１に戻る。カウンタの値がｍの場合、ｍ番目の格子パターンが格子パターン表示部１６０に表示され、得られたセンサ信号は、この格子パターンによるものである。
【0261】
制御部２３０は、撮像開始の指示を受け付けると、まず、カウンタの値ｍを、初期化（ｍ＝１）する（ステップＳ２１０１）。
【0262】
制御部２３０は、終了指示を受け付けるまで、以下の処理を繰り返す（ステップＳ２１０２）。
【0263】
まず、ｍ番目の格子パターンを格子パターン表示部１６０に表示させる（位相シフト）（ステップＳ２１０３）。そして、画像センサ１０３が、センサ信号を記憶部１２１に出力したことを検出すると（ステップＳ２１０４）、露光制御部２１０に、露光制御処理を実行させ（ステップＳ２１０５）、また、画像処理部２２０に、画像処理を実行させる（ステップＳ２１０６）。
【0264】
その後、制御部２３０は、カウンタの値ｍがＭに達したか否か（ｍ＝Ｍ）を判別する（ステップＳ２１０７）。
【0265】
そして、Ｍ未満であれば（Ｓ２１０７；Ｎｏ）、制御部２３０は、カウンタの値ｍを１インクリメントし（ステップＳ２１０８）、Ｓ２１０３へ戻り、位相シフトさせ、ｍ番目の格子パターンを格子パターン表示部１６０に表示させる。一方、カウンタの値ｍがＭである場合(Ｓ２１０７；Ｙｅｓ）、ステップＳ２１０１へ戻り、ｍの値を初期化する。
【0266】
なお、ステップＳ２１０６で行う画像処理部２２０による画像処理は、上記撮像装置１０１ｄの画像処理部１２２ｄによる画像処理の流れと同様である。
【0267】
ステップＳ２１０５で行う、露光制御部２１０による露光制御処理について説明する。図２５（ｂ）は、本実施形態の露光制御処理の処理フローである。
【0268】
本実施形態の露光制御処理は、基本的に第一実施形態の露光制御処理と同じである。ただし、本実施形態では、上述のように、異なるＭ種の初期位相の格子パターンを順に表示する１周期間は、露光条件を変更しない。従って、例えば、明るさ解析処理の前に、カウンタの値ｍがＭであるか否かを判別する(ステップＳ２２０１）。
【0269】
そして、カウンタの値ｍがＭである場合のみ、その後の露光制御処理（Ｓ１３０１～Ｓ１３０４）を実行する。一方、カウンタの値ｍがＭ以外の場合は、そのまま露光制御処理を行わず、処理を終了する。
【0270】
本実施形態においても、露光条件は、画像センサ１０３の露光時間および変調器１０２ｆの透過率の少なくとも一方を変えることにより変化させる。
【0271】
なお、露光制御処理において、カウンタの値ｍがＭであるか否かの判別は、上記タイミングに限定されない。例えば、Ｓ１３０２において、露光条件が不適と判別された後に行ってもよい。この場合は、カウンタの値ｍがＭである場合のみ、露光条件の決定処理を行う。
【0272】
また、Ｓ１３０３の後で判別してもよい。この場合は、Ｓ１３０３で決定した露光条件を、記憶部１２１に、決定した日時に対応づけて記憶する。そして、カウンタの値ｍがＭである場合、最新の露光条件を抽出し、その露光条件に変更してもよい。
【0273】
さらに、カウンタの値ｍがＭでない場合、センサ信号出力を、加算メモリに加算するよう構成してもよい。この構成では、カウンタの値ｍがＭの場合、明るさ解析部２１１は、加算メモリ上に加算されたセンサ信号に対して明るさ解析を行う。この場合は、カウンタの値ｍがＭの場合、露光制御処理終了の直前に加算メモリをクリアする。
【0274】
例えば、露光制御を、画像センサ１０３のシャッタタイミング（露光時間）により行う場合の、本実施形態の制御例を、図２６に示す。ここでは、４種の格子パターンを順に表示させるものとする。なお、本図において、シャッタタイミングの信号が１のとき、受光素子（センサ画素）は、露光状態にあり、０のとき、露光していない状態である。すなわち、シャッタがＯＮの期間が露光期間である。
【0275】
本図に示すように、４種の格子パターンをそれぞれ順に表示させる期間（４回の駆動周期）は、露光条件（露光時間）は変更しない。露光条件を変更する場合は、１番目の格子パターンを表示させる直前である。
【0276】
以上説明したように、本実施形態の撮像装置２００は、第一実施形態の構成に、変調器１０２ｆに表示させる第一格子パターンを制御する制御部２３０をさらに備え、制御部２３０は、複数の異なる格子パターンを用いてノイズを除去するフリンジスキャンを行うよう表示させる第一格子パターンを制御する。
【0277】
このため、本実施形態によれば、第一実施形態の効果に加え、フリンジスキャンを実行可能であるため、さらに、ノイズを抑えることができる。従って、より高品質な撮影画像を得ることができる。
【0278】
また、本実施形態によれば、制御部２３０が、時分割フリンジスキャンを行う際、露光制御部２１０は、第一格子パターンを変化させる１周期中は、露光条件を維持する。従って、本実施形態によれば、フリンジスキャン可能なレンズレス撮像装置において、フリンジスキャンの効果を損なうことなく露光制御ができる。
【0279】
＜変形例３＞
なお、上記実施形態では、時分割フリンジスキャンを用いる場合を例にあげて説明しているが、空間フリンジスキャンであってもよい。本変形例の撮像装置２００ａの構成を、図２７（ａ）に示す。
なお、上記実施形態では、時分割フリンジスキャンを用いる場合を例にあげて説明しているが、空間フリンジスキャンであってもよい。本変形例の撮像装置２００ａの構成を、図２７（ａ）に示す。
【0280】
本変形例では、第二実施形態と同名の構成は、時に明示の説明が無い限り、第二実施形態と同様の構成および機能を有する。以下、本変形例について、第二実施形態と異なる構成に主眼をおいて説明する。
【0281】
本実施形態の撮像装置２００ａは、第二実施形態の構成に加え、画像分割部１２５を備える。画像分割部１２５は、撮像装置１０１ｅの画像分割部１２５と同様であるため、ここでは、説明を省略する。
【0282】
本実施形態の制御部２３０は、第二実施形態とは異なり、駆動周期毎に、異なる格子パターンを順に格子パターン表示部１６０に表示させない。その代わり、例えば、図１７（ｂ）に示すように、位相の異なる複数の格子パターンを２次元的に配置した格子パターン１５０を表示させる。
【0283】
また、変調器制御部２１３は、変調器１０２ｆの、格子パターン表示領域毎に、透過率を変更可能とする。
【0284】
本実施形態の撮像処理、露光制御処理は、第一実施形態と同様であり、画像処理は、撮像装置１０１ｅによる画像処理と同様である。
【0285】
ただし、露光制御部２１０は、画像センサ１０３の露光時間により、露光条件を制御する場合は、画像センサ１０３の全センサ信号を用いて、露光の適否を判別する。
【0286】
一方、変調器１０２ｆの透過率により、露光条件を制御する場合は、各格子パターン表示領域に対応する、画像センサ１０３の受光素子（センサ画素）から出力されるセンサ信号毎に、露光条件の適否を判別する。そして、露光条件の変更も、各格子パターンの表示領域毎に行う。
【0287】
図２７（ｂ）に、格子パターン（ΦＦ、Φ＝３π／２）のみ、透過率を変化させる場合の、格子パターン表示部１６０に表示される格子パターン１５０ａの例を示す。
【0288】
本変形例によれば、制御部２３０が、空間分割フリンジスキャンを行う際、露光制御部２１０は、異なる格子パターンが表示される変調器１０２ｆの領域に対応する画像センサ１０３の領域毎に、その領域から出力されるセンサ信号に基づいて、露光条件を、それぞれ決定する。従って、本実施形態によれば、フリンジスキャン可能なレンズレス撮像装置において、フリンジスキャンの効果を損なうことなく露光制御ができる。
【0289】
なお、本実施形態およびその変形例においても、第一実施形態の各種の変形例は、適用可能である。
【0290】
＜＜第三実施形態＞＞
本発明の第三実施形態を説明する。本実施形態では、第二実施形態同様、フリンジスキャンを実行する。ただし、本実施形態では、撮像対象である被写体４００の動きの有無を判定し、空間分割フリンジスキャンと時分割フリンジスキャンとを切り替える。
本発明の第三実施形態を説明する。本実施形態では、第二実施形態同様、フリンジスキャンを実行する。ただし、本実施形態では、撮像対象である被写体４００の動きの有無を判定し、空間分割フリンジスキャンと時分割フリンジスキャンとを切り替える。
【0291】
フリンジスキャンを行うにあたり、被写体４００が静止している場合は、１つの位相パターンを１枚の変調器に表示し、時間で位相パターンを変化させる時分割フリンジスキャンがよい。これは、時分割フリンジスキャンの方が１つの位相パターンで取得する光量が多く、その分、画質が良くなるからである。一方、被写体４００に動きがある場合は、４つの位相パターンを同時に撮像する空間分割フリンジスキャンがよい。これは、合成する４つの画像の取得時間が異なる場合、被写体４００の動き量だけズレが生じるためである。
【0292】
本実施形態では、このフリンジスキャンの特性に基づき、被写体４００の動きの有無により、実行するフリンジスキャンの方式を切り替える。すなわち、被写体４００に動きがあると判定された場合は、空間分割フリンジスキャンを、被写体４００に動きがないと判定された場合は、時分割フリンジスキャンを用いる。これにより、最適な撮像ができる。
【0293】
以下、本実施形態では、空間分割フリンジスキャンを用いる撮像モードを、動体撮像モードと、また、時分割フリンジスキャンを用いる撮像モードを、静止体撮像モードとそれぞれ呼ぶ。
【0294】
本実施形態の撮像装置２００ｂは、基本的に第二実施形態と同様である。以下、本実施形態において、第二実施形態と同名の構成については、特に明示の記載が無い限り、同様の機能を有する。以下、本実施形態について、第二実施形態と異なる構成に主眼をおいて説明する。
【0295】
図２８に、本実施形態の撮像装置２００ｂの構成図を示す。本実施形態の撮像装置２００ａは、画像センサ１０３と、変調器１０２ｆと、記憶部１２１と、画像処理部２２０と、制御部２３０と、露光制御部２１０と、各構成を接続するバス１０９と、を備える。
【0296】
画像処理部２２０は、現像処理部２２１と、画質調整処理部２２２と、画像出力処理部２２３と、を備える。また、露光制御部２１０は、明るさ解析部２１１と、センサ制御部２１２と、変調器制御部２１３と、を備える。
【0297】
さらに、本実施形態の撮像装置２００ｂは、動き判定部２３１および撮像モード設定部２３２をさらに備える。
【0298】
動き判定部２３１は、被写体４００に動きがあるか否かを判定し、判定結果を撮像モード設定部２３２に出力する。動きの有無は、例えば、記憶部１２１に記憶されているセンサ画像に基づいて判定する。
【0299】
撮像モード設定部２３２は、ユーザからの指示または動き判定部２３１の判定結果に基づいて、撮像モードを設定する。本実施形態では、動体撮像モードか、静止体撮像モードかを決定する。
【0300】
制御部２３０は、撮像モード設定部２３２が設定した撮像モードに応じて、格子パターン表示部１６０に表示させる格子パターンを制御する。また、動体撮像モードに設定された場合は、駆動周期毎に、表示させる格子パターンを予め定めた順に変化させる。
【0301】
また、本実施形態では、記憶部１２１には、現在の撮像モードを特定する情報が、撮像モード情報として格納される。また、過去に取得したセンサ画像は、取得時刻と、取得時の撮像モードと、取得時の撮像モードが動体撮像モードである場合は、その位相パターンとに対応づけて記憶される。
【0302】
［撮像処理］
まず、本実施形態の撮像処理の流れを説明する。図２９（ａ）は、本実施形態の撮像処理の処理フローである。本処理は、ユーザから起動の指示を受け付けると開始する。起動指示は、ユーザが直接あるいは遠隔から開始ボタンを押すような手動による指示や、予め設定したタイマーにより自動的に出される指示がある。また、露光条件は、初期値が設定される。
まず、本実施形態の撮像処理の流れを説明する。図２９（ａ）は、本実施形態の撮像処理の処理フローである。本処理は、ユーザから起動の指示を受け付けると開始する。起動指示は、ユーザが直接あるいは遠隔から開始ボタンを押すような手動による指示や、予め設定したタイマーにより自動的に出される指示がある。また、露光条件は、初期値が設定される。
【0303】
本実施形態の撮像処理は、基本的に第一実施形態の撮像処理と同じである。ただし、本実施形態では、画像センサ１０３からセンサ信号が出力される(ステップＳ１１０２）と、動き判定部２３１により動き判定が行われ、撮像モード設定部２３２により撮像モードを設定する撮像モード設定処理が実行される(ステップＳ３１０１）。以降の処理は、第一実施形態と同様である。
【0304】
ただし、撮像モード設定処理において撮像モードとして動体撮像モードが設定された場合は、第二実施形態の時分割フリンジスキャン実行時同様、カウンタにより格子パターンの変更をカウントし、露光制御の実施等を制限する。
【0305】
［撮像モード設定処理］
次に、上記ステップＳ３１０１の撮像モード設定処理の流れを説明する。図３０は、本実施形態の撮像モード設定処理の処理フローである。
次に、上記ステップＳ３１０１の撮像モード設定処理の流れを説明する。図３０は、本実施形態の撮像モード設定処理の処理フローである。
【0306】
動き判定部２３１は、記憶部１２１に記憶された、１フレーム分の最新のセンサ信号（センサ画像）と、撮像モード情報と、を取得する(ステップＳ３２０１）。
【0307】
動き判定部２３１は、撮像モード情報に基づいて、現在の撮像モードが動体撮像モードであるか否かを判別する(ステップＳ３２０２）。
【0308】
動体撮像モードと判別された場合（Ｓ３２０２；Ｙｅｓ）、動き判定部２３１は、最新のセンサ画像の１フレーム前（前フレーム）のセンサ画像を比較用センサ画像として取得する(ステップＳ３２０３）。なお、動体撮像モードと判別された場合とは、空間分割フリンジスキャンで、最新のセンサ画像が取得された場合である。
【0309】
一方、動体撮像モードと判別されない場合（Ｓ３２０２；Ｎｏ）、動き判定部２３１は、前同位相フレームのセンサ画像を、比較用センサ画像として取得する(ステップＳ３２０４）。なお、動体撮像モードと判別されない場合とは、静止体撮像モードと判別された場合であって、時分割フリンジスキャンで、最新のセンサ画像が取得された場合である。また、前同位相フレームは、最新のセンサ画像よりも前に取得されたセンサ画像の中で、最新のセンサ画像取得時と同じ位相パターンで取得された最も新しいセンサ画像である。
【0310】
動き判定部２３１は、最新のセンサ画像と、比較用センサ画像との差分を算出する(ステップＳ３２０５）。なお、センサ画像は被写体４００を認識できるものではないので、画像データ全体にどれだけ変化があったかを、差分として算出する。センサ画素毎の差分を算出し、その合計を算出してもよいし、全センサ画素値の合計間の差分を算出してもよい。その他の手法であってもよい。
【0311】
次に、動き判定部２３１は、算出した差分が、予め定めた差分閾値以上であるか否かを判別し(ステップＳ３２０６）。差分閾値は、予め記憶部１２１に格納される。
【0312】
そして、差分が差分閾値以上である場合（Ｓ２１０６；Ｙｅｓ）、動き判定部２３１は、動き有りと判別し、判別結果を撮像モード設定部２３２に出力する。そして、撮像モード設定部２３２は、それを受け、動体撮像モードに設定し（ステップＳ３２０７）、処理を終了する。
【0313】
一方、差分が差分閾値未満である場合（Ｓ２１０６；Ｎｏ）、動き無し、と判別し、判別結果を撮像モード設定部２３２に出力する。そして、撮像モード設定部２３２は、それを受け、静止体撮像モードに設定し(ステップＳ３２０８）、処理を終了する。
【0314】
設定した撮像モードは、記憶部１２１に最新の撮像モードとして格納され、露光制御部２１０および画像処理部２２０により参照される。
【0315】
なお、撮像モード設定部２３２が動体撮像モードと設定した場合、制御部２３０は、例えば、空間分割フリンジスキャン用の格子パターン１５０を、変調器１０２ｆに表示させる。また、露光制御部２１０および画像処理部２２０は、それぞれ、空間分割フリンジスキャン時の露光制御処理および画像処理を行う。
【0316】
また、撮像モード設定部２３２が静止体撮像モードと設定した場合、制御部２３０は、例えば、格子パターン１４１～１４４を、変調器１０２ｆに順次、周期的に表示させる。また、露光制御部２１０および画像処理部２２０は、それぞれ、時分割フリンジスキャン時の露光制御処理および画像処理を行う。
【0317】
以上説明したように、本実施形態の撮像装置２００ａは、撮像装置２００に、さらに、センサ信号に基づいて、被写体４００内の動きの有無を検出する動き判定部２３１と、動き判定部２３１による判定結果に基づき、時分割フリンジスキャンおよび空間分割フリンジスキャンのいずれを実行するか決定する撮像モード設定部２３２と、を備え、制御部２３０は、撮像モード設定部が決定したフリンジスキャンを行うよう変調器１０２ｆに表示させる第一格子パターンを制御するとともに、露光制御部２１０および画像処理部２２０の動作を制御する。
【0318】
そして、撮像モード設定部２３２は、動き判定部２３１が動き無し、と判定した場合、時分割フリンジスキャンを実行すると決定し、動き判定部２３１が動き有り、と判定した場合、空間分割フリンジスキャンを実行すると決定する。
【0319】
このように、本実施形態によれば、被写体４００に応じた最適な撮像を実現できる。従って、効率的に、最適な品質の画像を得ることができる。
【0320】
また、本実施形態によれば、いずれのフリンジスキャンを実行するかを、被写体４００の動きの有無で決定する。そして、被写体４００の動きの有無を、センサ画像で判定するため、迅速に判定できる。また、判定のために現像処理を行う必要が無いため、処理負担を低減できる。
【0321】
＜変形例４＞
なお、上記実施形態では、センサ画像を用いて所定のセンサ画像との差分を取ることにより、動きの有無を判別しているが、これに限定されない。現像処理を含む画像処理を行い、得られた撮影画像で動きの有無を判別してもよい。
なお、上記実施形態では、センサ画像を用いて所定のセンサ画像との差分を取ることにより、動きの有無を判別しているが、これに限定されない。現像処理を含む画像処理を行い、得られた撮影画像で動きの有無を判別してもよい。
【0322】
なお、この場合は、撮像処理では、図２９（ｂ）に示すように、センサ信号が出力（Ｓ１１０２）された後、露光制御処理（Ｓ１１０３）と画像処理（Ｓ１１０４）とを行い、得られた撮影画像で、撮像モードを設定する（Ｓ３１０１）という流れである。
【0323】
図３１は、撮影画像を用いて、動きの有無を判定する場合の、撮像モード設定処理の処理フローである。本処理は、記憶部１２１に１フレーム分の撮影画像が記憶されたことを契機に開始される。
【0324】
まず、動き判定部２３１は、記憶部１２１から、最新の撮影画像を取得する(ステップＳ３３０１）。
【0325】
次に、動き判定部２３１は、同じく記憶部１２１から、比較用の撮影画像（比較用撮影画像）を取得する(ステップＳ３３０２）。ここでは、例えば、最新の撮影画像より前に記憶された最も新しい撮影画像（直前撮影画像）を取得する。
【0326】
なお、比較用撮影画像は、これに限定されない。直前撮影画像を含む、直近の複数の撮影画像から生成された画像を、比較用撮影画像としてもよい。このとき、比較用撮影画像は、例えば、直近の複数の撮影画像の各画素の画素値に統計的な処理を施して得られた値を、当該画素の画素値とする。統計的な処理は、例えば、平均、合計等である。
【0327】
最新の撮影画像と比較用撮影画像とを比較し、動体の有無を検出する(ステップＳ３３０３）。動体の有無の検出には、既存の動体有無検出手法を用いてもよいし、差分を算出して、差分が差分閾値以上か未満かで判断してもよい。
【0328】
そして、動体が検出された場合（Ｓ３３０３；Ｙｅｓ）、動き判定部２３１は、動き有りと判別し、判別結果を撮像モード設定部２３２に出力する。そして、撮像モード設定部２３２は、それを受け、動体撮像モードに設定し(ステップＳ３３０４）、処理を終了する。
【0329】
一方、動体が検出されない場合（Ｓ３３０３；Ｎｏ）、動き判定部２３１は、動き無しと判別し、判別結果を撮像モード設定部２３２に出力する。そして、撮像モード設定部２３２は、それを受け、静止体撮像モードに設定し(ステップＳ３３０５）、処理を終了する。
【0330】
以上のように動体の有無を検出し、変調器および現像方式を切り替えることにより最適な撮影が可能になる。この場合、例えば、既存の動き判別処理手法を用い、動かない背景と、動きのある被写体とを区別し、被写体そのものの動きの有無を判別できる。これにより、より正確に動きの有無を判別できる。
【0331】
なお、本変形例において、動体の有無を判別するのは、撮影画像でなくてもよい。例えば、画質調整等を行う前の現像処理のみを行って得た現像画像であってもよい。
【0332】
＜＜第四実施形態＞＞
本発明の第四実施形態を説明する。本実施形態では、上記撮像装置２００、２００ａ、２００ｂ（以下、撮像装置２００で代表する。）の機能の一部または全部を、携帯型情報通信装置(以下、携帯端末と呼ぶ。）に搭載する。これにより、本実施形態では、レンズレス撮像装置を用い、小型かつ薄型で、露光制御可能な携帯端末を実現する。
本発明の第四実施形態を説明する。本実施形態では、上記撮像装置２００、２００ａ、２００ｂ（以下、撮像装置２００で代表する。）の機能の一部または全部を、携帯型情報通信装置(以下、携帯端末と呼ぶ。）に搭載する。これにより、本実施形態では、レンズレス撮像装置を用い、小型かつ薄型で、露光制御可能な携帯端末を実現する。
【0333】
なお、携帯端末は、無線通信機能と、情報処理機能と、撮像機能と、表示機能と、を有する情報処理装置であればよく、例えば、携帯電話、スマートフォン、タブレット端末、ウォッチやヘッドマウントディスプレイなどのウェアラブル端末、フィーチャーフォン、または、その他の携帯用デジタル機器等である。
【0334】
本実施形態の携帯端末３００のハードウェア構成図を、図３２に示す。本図に示すように、携帯端末３００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３０１と、バス３０２と、記憶装置３１０と、通信装置３２０と、拡張Ｉ／Ｆ３２７と、操作器３３０と、ビデオプロセッサ３４０と、オーディオプロセッサ３５０と、センサ３６０と、を備える。
【0335】
ＣＰＵ３０１は、携帯端末３００全体を制御するマイクロプロセッサユニットである。バス３０２はＣＰＵ３０１と携帯端末３００内の各動作ブロックとの間でデータ送受信を行うためのデータ通信路である。
【0336】
ＣＰＵ３０１は、ユーザの操作要求を、操作器３３０を介して受け取り、ビデオプロセッサ３４０、通信装置３２０、各種プログラム機能部を制御する。
【0337】
さらに、ＣＰＵ３０１は、通信装置３２０を経由して外部ネットワーク、上のサーバから各種情報を取得し、各種プログラム機能部に渡す機能も有する。
【0338】
記憶装置３１０は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３１１と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３１２と、ストレージ３１３とを備える。
【0339】
ＲＯＭ３１１は、オペレーティングシステムなどの基本動作プログラムやその他の動作プログラムが格納されたメモリである。ＲＯＭ３１１として、例えば、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やフラッシュＲＯＭのような書き換え可能なＲＯＭが用いられる。
【0340】
ストレージ３１３は、携帯端末３００の動作プログラムや動作設定値、本実施形態の各機能を実現するために必要な各種のプログラムや各種のデータを記憶する。ストレージ３１３は、携帯端末３００に外部から電源が供給されていない状態であっても記憶している情報を保持する。このため、ストレージ３１３には、例えば、フラッシュＲＯＭやＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等のデバイスが用いられる。
【0341】
ストレージ３１３は、ＣＰＵ３０１の指示により制御され、アプリケーションプログラムを保存する。また、アプリケーションプログラムで作成した各種情報を保存する。また、通信装置３２０から受信した信号から映像音声ストリーム等のコンテンツを保存してもよい。また、ストレージ３１３は携帯端末３００に内蔵されたものでもよい。携帯端末３００に着脱可能な可搬型のメモリでもよい。
【0342】
ＲＡＭ３１２は、基本動作プログラムやその他の動作プログラム実行時のワークエリアである。ＲＡＭ３１２は、ＣＰＵ３０１の指示により制御される。ＣＰＵ３０１によって、ストレージ３１３に格納しているアプリケーションプログラムの機能部がＲＡＭ３１２に、展開される。ストレージ３１３には、図示はしていないが、例えば、図１９（ａ）の露光制御部２１０、画像処理部２２０、制御部２３０を実現するプログラムが格納される。すなわち、本実施形態では、ＣＰＵ３０１が、記憶装置３１０(ストレージ３１３またはＲＯＭ３１１）に記憶されたアプリケーションプログラムを、ＲＡＭ３１２に展開し、実行することにより、各種機能が実現される。
【0343】
なお、アプリケーションプログラムは、携帯端末３００が出荷されるまでに予めストレージ３１３等に格納されていても良いし、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）・ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）などの光学メディアや半導体メモリ等の媒体に格納されて図示しない媒体接続部を介して携帯端末３００にインストールされても良い。
【0344】
また、アプリケーションプログラムは、後述する通信装置３２０および図示しない無線ルータを介して図示しない外部ネットワークからダウンロードしてインストールしてもよい。また、移動体通信インタフェースを介して図示しない基地局を介して配信元からダウンロードしてインストールしてもよい。さらに、ネットワークを介してアプリケーションプログラムを取得したパーソナルコンピュータ（ＰＣ）に図示しない外部機器接続Ｉ／Ｆを介して接続し、ＰＣから携帯端末３００にムーブまたはコピーしてインストールすることも可能である。
【0345】
さらに、アプリケーションプログラムは、同様の機能を持つ処理部として、ハードウェアで実現することも可能である。ハードウェアとして実現する場合は、各処理部が主体となり、各機能を実現する。
【0346】
通信装置３２０は、通信インタフェース（Ｉ／Ｆ）３２１と、移動体通信インタフェース３２２と、を備える。
【0347】
通信Ｉ／Ｆ３２１は、例えば、無線ＬＡＮなどにより、図示しない無線ルータに接続される。また、通信Ｉ／Ｆ３２１は、無線ルータを介して外部ネットワークと接続され、外部ネットワーク上のサーバ等と情報の送受信を行う。無線ルータとの通信機能に加えて、またはこれに替えて、Ｗｉ‐Ｆｉ（登録商標）などの無線ＬＡＮなどの方法で、無線ルータを介さずにサーバと直接通信することが可能である。
【0348】
通信Ｉ／Ｆ３２１は、異なる通信方式を行うチップをそれぞれ実装しても良い。また、複数の通信方式を扱う１つのチップとして実装されていても良い。例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の他の情報機器と直接通信する機能により、データの送受信を直接行う。
【0349】
移動体通信Ｉ／Ｆ３２２は、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、Ｗ－ＣＤＭＡ（Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式やＣＤＭＡ２０００方式、ＵＭＴＳ（Ｕｎｉｖｅｒｓａｌ Ｍｏｂｉｌｅ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｓｙｓｔｅｍ）方式などの第３世代移動通信システム（以下「３Ｇ」と表記する）、またはＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）方式や第五世代（５Ｇ）と呼ばれる新しい次世代通信システムなどの移動体通信網を利用して基地局を通して通信ネットワークに接続され、通信ネットワーク上のサーバと情報の送受信を行うことができる。
【0350】
また、通信Ｉ／Ｆ３２１による外部ネットワークとの接続を移動体通信Ｉ／Ｆ３２２による通信ネットワーク接続より優先するようにすることもできる。
【0351】
拡張Ｉ／Ｆ３２７は、携帯端末３００の機能を拡張するためのインタフェース群である。本実施形態では、映像／音声Ｉ／Ｆ、操作機器Ｉ／Ｆ、メモリＩ／Ｆ等を備える。映像／音声Ｉ／Ｆは、外部映像／音声出力機器からの映像信号／音声信号の入力、外部映像／音声入力機器への映像信号／音声信号の出力、等を行う。キーボード等の外部操作機器は、操作機器Ｉ／Ｆを介して接続される。メモリＩ／Ｆは、メモリカードやその他のメモリ媒体を接続してデータの送受信を行う。
【0352】
操作器３３０は、携帯端末３００に対する操作指示の入力を行う。本実施形態では、ディスプレイ３４１に重ねて配置したタッチパネルおよびボタンスイッチを並べた操作キーを備える。なお、そのいずれか一方のみであっても良い。また、拡張Ｉ／Ｆ３２７に接続したキーボード等を用いて携帯端末３００の操作を行っても良い。また、有線通信又は無線通信により接続された別体の携帯情報端末機器を用いて携帯端末３００の操作を行っても良い。また、タッチパネル機能はディスプレイ３４１が備えていてもよい。
【0353】
ビデオプロセッサ３４０は、ディスプレイ３４１と、画像信号プロセッサ３４２と、カメラ３４３と、を備える。
【0354】
ディスプレイ３４１は、例えば液晶パネル等の表示デバイスであり、画像信号プロセッサ３４２で処理した画像データを表示し、携帯端末３００のユーザに提供する。本実施形態では、撮像装置２００の画像表示装置１０７としても機能する。
【0355】
画像信号プロセッサ３４２は図示を省略したビデオＲＡＭを備え、ビデオＲＡＭに入力された画像データに基づいてディスプレイ３４１が駆動される。また、画像信号プロセッサ３４２は、必要に応じてフォーマット変換、メニューやその他のＯＳＤ（Ｏｎ－Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）信号の重畳処理等を行う。
【0356】
カメラ３４３は、入射した光を電気信号に変換することにより、周囲や対象物を画像データとして取得する撮像装置である。本実施形態では、撮像装置２００である。
【0357】
オーディオプロセッサ３５０は、スピーカ３５１と、音声信号プロセッサ３５２と、マイク３５３と、を備える。スピーカ３５１は、音声信号プロセッサ３５２で処理した音声信号を携帯端末３００のユーザに提供する。マイク３５３は、ユーザの声などを音声データに変換して入力する。
【0358】
センサ３６０は、携帯端末３００の状態を検出するためのセンサ群である。本実施形態では、例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信器３６１と、ジャイロセンサ３６２と、地磁気センサ３６３と、加速度センサ３６４と、照度センサ３６５と、距離センサ３６６と、生体情報センサ３６７と、を備える。
【0359】
尚、他のセンサ群により、携帯端末３００の位置、傾き、方角、動き、および周囲の明るさ、ユーザの生体情報等を検出する。また、携帯端末３００が、気圧センサ等、圧力センサ他のセンサを更に備えていても良い。なお、位置情報は、ＧＰＳ受信器３６１により取得する。ＧＰＳ電波が入りにくい場所等では、通信装置３２０によりＷｉ－ＦｉのＡＰ装置の位置情報を用いて取得してもよいし、同様に通信装置３２０により基地局の位置情報および電話通信電波の伝搬遅延を用いた位置情報取得方法により取得してもよい。また、これらのセンサ群は、必ずしも全てを備えていなくてもよい。
【0360】
なお、図３２に示す携帯端末３００の構成例は、本実施形態に必須ではない構成も多数含んでいるが、これらが備えられていない構成であっても本実施形態の効果を損なうことはない。また、デジタル放送受信機能や電子マネー決済機能等、図示していない構成が更に加えられていても良い。
【0361】
本実施形態の撮像方法および動作は、上記各実施形態および変形例と同様である。
【0362】
このように、本実施形態によれば、携帯端末３００が、上述の撮像装置２００を備える。このため、携帯端末３００での撮像の画質を向上させつつ、小型化、薄型化を図ることができる。
【0363】
本携帯端末３００においては、様々な撮像環境での撮像が想定され、撮像装置２００の変調器１０２ｆを、撮像環境に合わせて制御することにより最適な撮像が可能になる。
【0364】
本発明は上記した実施形態および変形例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態および変形例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態または変形例の構成の一部を他の実施形態や変形例の構成に置き換えることが可能である。また、ある実施形態または変形例の構成に他の実施形態または変形例の構成を加えることも可能である。さらに、各実施形態または変形例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【0365】
また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ部や、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
【0366】
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【符号の説明】
【0367】
１０１ａ：撮像装置、１０１ｂ：撮像装置、１０１ｃ：撮像装置、１０１ｄ：撮像装置、１０１ｅ：撮像装置、１０２ａ：変調器、１０２ｂ：変調器、１０２ｄ：変調器、１０２ｅ：変調器、１０２ｆ：変調器、１０３：画像センサ、１０３ａ：センサ画素、１０４：第一格子パターン（表面側格子パターン）、１０４ｂ：格子パターン、１０４ｃ：格子パターン、１０５：第二格子パターン（裏面側格子パターン）、１０６：強度変調部、１０７：画像表示装置、１０９：バス、１１２ａ：格子基板、１１２ｂ：支持部材、１１３：格子センサ一体基板、１２１：記憶部、１２２：画像処理部、１２２ａ：画像処理部、１２２ｂ：画像処理部、１２２ｃ：画像処理部、１２２ｄ：画像処理部、１２２ｅ：画像処理部、１２３：フォーカス設定部、１２４：制御部、１２５：画像分割部、
１４０：格子パターン表示部、１４１：格子パターン、１４２：格子パターン、１４３：格子パターン、１４４：格子パターン、１５０：格子パターン、１５０ａ：格子パターン、１６０：格子パターン表示部、１６０ａ：端子、１６０ｂ：端子、１６０ｃ：端子、１６０ｄ：端子、１６０ｅ：透過部、１６０ｆ：不透過部、１６１：格子パターン、１６２：格子パターン、１６３：格子パターン、
２００：撮像装置、２００ａ：撮像装置、２００ｂ：撮像装置、２１０：露光制御部、２１１：明るさ解析部、２１２：センサ制御部、２１３：変調器制御部、２２０：画像処理部、２２１：現像処理部、２２２：画質調整処理部、２２３：画像出力処理部、２３０：制御部、２３１：動き判定部、２３２：撮像モード設定部、
３００：携帯端末、３０１：ＣＰＵ、３０２：バス、３１０：記憶装置、３１１：ＲＯＭ、３１２：ＲＡＭ、３１３：ストレージ、３１４：外部機器インタフェース、３２０：通信装置、３２１：通信Ｉ／Ｆ、３２２：移動体通信インタフェース（Ｉ／Ｆ）、３２７：拡張Ｉ／Ｆ、３３０：操作器、３４０：ビデオプロセッサ、３４１：ディスプレイ、３４２：画像信号プロセッサ、３４３：カメラ、３５０：オーディオプロセッサ、３５１：スピーカ、３５２：音声信号プロセッサ、３５３：マイク、３６０：センサ、３６１：ＧＰＳ受信器、３６２：ジャイロセンサ、３６３：地磁気センサ、３６４：加速度センサ、３６５：照度センサ、３６６：距離センサ、３６７：生体情報センサ、
４００：被写体、４０１：点、４０２：投影像、４０３：点、４０４：投影像、４１１：グラフ、４１２：ヒストグラム、４１３：グラフ、４１４：グラフ、４１５：グラフ、４２２：センサ信号閾値、４２３：第二センサ信号閾値、４２４：センサ信号閾値
１４０：格子パターン表示部、１４１：格子パターン、１４２：格子パターン、１４３：格子パターン、１４４：格子パターン、１５０：格子パターン、１５０ａ：格子パターン、１６０：格子パターン表示部、１６０ａ：端子、１６０ｂ：端子、１６０ｃ：端子、１６０ｄ：端子、１６０ｅ：透過部、１６０ｆ：不透過部、１６１：格子パターン、１６２：格子パターン、１６３：格子パターン、
２００：撮像装置、２００ａ：撮像装置、２００ｂ：撮像装置、２１０：露光制御部、２１１：明るさ解析部、２１２：センサ制御部、２１３：変調器制御部、２２０：画像処理部、２２１：現像処理部、２２２：画質調整処理部、２２３：画像出力処理部、２３０：制御部、２３１：動き判定部、２３２：撮像モード設定部、
３００：携帯端末、３０１：ＣＰＵ、３０２：バス、３１０：記憶装置、３１１：ＲＯＭ、３１２：ＲＡＭ、３１３：ストレージ、３１４：外部機器インタフェース、３２０：通信装置、３２１：通信Ｉ／Ｆ、３２２：移動体通信インタフェース（Ｉ／Ｆ）、３２７：拡張Ｉ／Ｆ、３３０：操作器、３４０：ビデオプロセッサ、３４１：ディスプレイ、３４２：画像信号プロセッサ、３４３：カメラ、３５０：オーディオプロセッサ、３５１：スピーカ、３５２：音声信号プロセッサ、３５３：マイク、３６０：センサ、３６１：ＧＰＳ受信器、３６２：ジャイロセンサ、３６３：地磁気センサ、３６４：加速度センサ、３６５：照度センサ、３６６：距離センサ、３６７：生体情報センサ、
４００：被写体、４０１：点、４０２：投影像、４０３：点、４０４：投影像、４１１：グラフ、４１２：ヒストグラム、４１３：グラフ、４１４：グラフ、４１５：グラフ、４２２：センサ信号閾値、４２３：第二センサ信号閾値、４２４：センサ信号閾値
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】