特許 6606504 撮像装置、撮像素子および撮像装置の制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6606504

(24)【登録日】2019年10月25日

(45)【発行日】2019年11月13日

(54)【発明の名称】撮像装置、撮像素子および撮像装置の制御方法

(51)【国際特許分類】

   H04N 5/232 20060101AFI20191031BHJP

   H04N 5/235 20060101ALI20191031BHJP

   H04N 9/07 20060101ALI20191031BHJP

   H04N 5/355 20110101ALI20191031BHJP

   H04N 5/374 20110101ALI20191031BHJP

【ＦＩ】

   H04N5/232 290

   H04N5/235 500

   H04N9/07 A

   H04N5/355

   H04N5/374

【請求項の数】10

【全頁数】22

(21)【出願番号】特願2016-548603(P2016-548603)

(86)(22)【出願日】2015年7月9日

(86)【国際出願番号】JP2015069746

(87)【国際公開番号】WO2016042893

(87)【国際公開日】20160324

【審査請求日】2018年5月16日

(31)【優先権主張番号】特願2014-188436(P2014-188436)

(32)【優先日】2014年9月17日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】316005926

【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社

(74)【代理人】

【識別番号】100112955

【弁理士】

【氏名又は名称】丸島 敏一

(72)【発明者】

【氏名】柴田 康史

(72)【発明者】

【氏名】高山 克美

(72)【発明者】

【氏名】福永 将嗣

【審査官】 高野 美帆子

(56)【参考文献】

【文献】 特開２０１３−１８７６８１（ＪＰ，Ａ）

【文献】 特開２０１３−１７９５８４（ＪＰ，Ａ）

【文献】 特開２０１１−１１９８６８（ＪＰ，Ａ）

【文献】 特開２００２−３２０１３２（ＪＰ，Ａ）

【文献】 特開２００７−１７４１６０（ＪＰ，Ａ）

【文献】 特開２００３−２１０３９３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２−５／２５７

Ｈ０４Ｎ ５／３５５

Ｈ０４Ｎ ５／３７４

Ｈ０４Ｎ ９／０７

(57)【特許請求の範囲】

【請求項1】

異なる２つの露光時間のうち長い方の時間に亘って露光を行って複数の画素データからなるデータを長時間露光データとして生成する長時間露光処理が実行されるたびに前記長時間露光データを圧縮して圧縮データを生成する圧縮部と、
前記２つの露光時間のうち短い方に応じた遅延時間に亘って前記圧縮データを保持するメモリと、
前記保持された圧縮データを伸長して前記長時間露光データを復元する伸長部と、
前記２つの露光時間のうち短い方の時間に亘って露光を行って複数の画素データからなるデータを短時間露光データとして生成する短時間露光処理が前記長時間露光処理の後に実行されるたびに前記復元された長時間露光データと前記短時間露光データとを合成する合成部と
を具備し、
前記圧縮部は、前記遅延時間が短いほど低い圧縮率により前記長時間露光データを圧縮する
撮像装置。

【請求項2】

前記長時間露光処理と前記短時間露光処理とを順に実行するデータ生成部をさらに具備する
請求項１記載の撮像装置。

【請求項3】

前記複数の画素データのそれぞれのデータサイズは、所定サイズであり、
前記圧縮部は、前記長時間露光データ内の前記複数の画素データのそれぞれのデータサイズを前記所定サイズより小さくし、
前記伸長部は、前記圧縮データにおいて前記画素データのそれぞれのデータサイズを前記所定サイズに戻す
請求項１記載の撮像装置。

【請求項4】

前記圧縮部は、前記長時間露光データにおいて所定数の前記画素データを間引き、
前記伸長部は、前記圧縮データにおいて前記所定数の新たな画素データを補間する
請求項１記載の撮像装置。

【請求項5】

前記複数の画素データのそれぞれは、赤、緑および青のいずれかの画素値を含み、
前記圧縮部は、前記画素値のそれぞれから色差信号および輝度信号を生成し、
前記伸長部は、前記色差信号および輝度信号から赤、緑および青のそれぞれの画素値を生成する
請求項１記載の撮像装置。

【請求項6】

前記圧縮部は、前記長時間露光データに対して周波数変換を行い、
前記伸長部は、前記圧縮データに対して逆周波数変換を行う
請求項１記載の撮像装置。

【請求項7】

前記圧縮部は、前記長時間露光データにおいて前記複数の画素データのそれぞれをエントロピー符号に符号化し、
前記伸長部は、前記エントロピー符号のそれぞれを前記画素データに復号する
請求項１記載の撮像装置。

【請求項8】

前記データ生成部は、
第１の基板に設けられた複数の画素と、
前記第１の基板と異なる第２の基板において前記長時間露光処理および前記短時間露光処理を実行するデータ生成回路と
を備える請求項１記載の撮像装置。

【請求項9】

異なる２つの露光時間のうち長い方の時間に亘って露光を行って複数の画素データからなるデータを長時間露光データとして生成する長時間露光処理が実行されるたびに前記長時間露光データを圧縮して圧縮データを生成する圧縮部と、
前記２つの露光時間のうち短い方に応じた遅延時間に亘って前記圧縮データを保持するメモリと、
前記保持された圧縮データを伸長して前記長時間露光データを復元する伸長部と、
前記２つの露光時間のうち短い方の時間に亘って露光を行って複数の画素データからなるデータを短時間露光データとして生成する短時間露光処理が前記長時間露光処理の後に実行されるたびに前記復元された長時間露光データと前記短時間露光データとを合成する合成部と
を具備し、
前記圧縮部は、前記遅延時間が短いほど低い圧縮率により前記長時間露光データを圧縮する
撮像素子。

【請求項10】

異なる２つの露光時間のうち長い方の時間に亘って露光を行って複数の画素データからなるデータを長時間露光データとして生成する長時間露光処理が実行されるたびに圧縮部が、前記長時間露光データを圧縮して圧縮データを生成する圧縮手順と、
メモリが、前記２つの露光時間のうち短い方に応じた遅延時間に亘って前記圧縮データを保持する遅延手順と、
伸長部が、前記保持された圧縮データを伸長して前記長時間露光データを復元する伸長手順と、
前記２つの露光時間のうち短い方の時間に亘って露光を行って複数の画素データからなるデータを短時間露光データとして生成する短時間露光処理が前記長時間露光処理の後に実行されるたびに合成部が、前記復元された長時間露光データと前記短時間露光データとを合成する合成手順と
を具備し、
前記圧縮手順において、前記遅延時間が短いほど低い圧縮率により前記長時間露光データを圧縮する
撮像装置の制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本技術は、撮像装置、撮像素子および撮像装置の制御方法に関する。詳しくは、画像合成を行う撮像装置、撮像素子および撮像装置の制御方法に関する。

【背景技術】

【0002】

従来より、撮像装置においては、通常より広いダイナミックレンジを実現するために、ワイドダイナミックレンジ合成と呼ばれる画像合成技術が用いられている。例えば、露光時間の比較的長い長時間露光を行った後に、露光時間の比較的短い短時間露光を行い、それらの露光により生成された画像を合成する撮像装置が提案されている（例えば、特許文献１参照。）。この撮像装置において、長時間露光により生成された画像内の各ラインは、メモリに保持され、短時間露光が終了するタイミングに同期して読み出される。

【0003】

そして、短時間露光終了後に、撮像装置は、閾値より低輝度の画素について長時間露光時の画素データを用い、閾値以上の高輝度の画素について短時間露光時の画素データを用いて画像を合成する。これにより、合成しない場合よりも広いダイナミックレンジの画像が生成される。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００９−８８９２７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上述の従来技術では、短時間露光の露光時間が長くなるほど、メモリに保持するライン数が増大し、必要なメモリの容量が増大するという問題がある。また、解像度の向上などによりライン当たりのデータ量が大きくなるほど、必要なメモリの容量が増大するという問題がある。

【0006】

本技術はこのような状況に鑑みて生み出されたものであり、画像合成を行う装置においてメモリ容量の増大を抑制することを目的とする。

【課題を解決するための手段】

【0007】

本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、異なる２つの露光時間のうち長い方の時間に亘って露光を行って複数の画素データからなるデータを長時間露光データとして生成する長時間露光処理と当該長時間露光処理の後に上記２つの露光時間のうち短い方の時間に亘って露光を行って複数の画素データからなるデータを短時間露光データとして生成する短時間露光処理とを順に実行するデータ生成部と、上記長時間露光データを圧縮して圧縮データを生成する圧縮部と、上記２つの露光時間のうち短い方に応じた遅延時間に亘って上記圧縮データを保持するメモリと、上記保持された圧縮データを伸長して上記長時間露光データを復元する伸長部と、上記復元された長時間露光データと上記短時間露光データとを合成する合成部とを具備する撮像装置、および、その制御方法である。これにより、長時間露光データが圧縮されてメモリに保持され、復元された長時間露光データと短時間露光データとが合成されるという作用をもたらす。

【0008】

また、この第１の側面において、上記圧縮部は、上記遅延時間が短いほど低い圧縮率により上記長時間露光データを圧縮してもよい。これにより、遅延時間が短いほど低い圧縮率により長時間露光データが圧縮されるという作用をもたらす。

【0009】

また、この第１の側面において、上記複数の画素データのそれぞれのデータサイズは、所定サイズであり、上記圧縮部は、上記長時間露光データ内の上記複数の画素データのそれぞれのデータサイズを上記所定サイズより小さくし、上記伸長部は、上記圧縮データにおいて上記画素データのそれぞれのデータサイズを上記所定サイズに戻してもよい。これにより、長時間露光データ内の複数の画素データのそれぞれのデータサイズが所定サイズより小さくなるという作用をもたらす。

【0010】

また、この第１の側面において、上記圧縮部は、上記長時間露光データにおいて所定数の上記画素データを間引き、上記伸長部は、上記圧縮データにおいて上記所定数の新たな画素データを補間してもよい。これにより長時間露光データにおいて所定数の画素データが間引かれるという作用をもたらす。

【0011】

また、この第１の側面において、前記複数の画素データのそれぞれは、赤、緑および青のいずれかの画素値を含み、前記圧縮部は、前記画素値のそれぞれから色差信号および輝度信号を生成し、前記伸長部は、前記色差信号および輝度信号から赤、緑および青のそれぞれの画素値を生成してもよい。これにより、赤、緑および青のそれぞれの画素値から色差信号および輝度信号が生成されるという作用をもたらす。

【0012】

また、この第１の側面において、上記圧縮部は、上記長時間露光データに対して周波数変換を行い、上記伸長部は、上記圧縮データに対して逆周波数変換を行ってもよい。これにより、長時間露光データに対して周波数変換が行われるという作用をもたらす。

【0013】

また、この第１の側面において、上記圧縮部は、上記長時間露光データにおいて上記複数の画素データのそれぞれをエントロピー符号に符号化し、上記伸長部は、上記エントロピー符号のそれぞれを上記画素データに復号してもよい。これにより、複数の画素データのそれぞれがエントロピー符号に符号化されるという作用をもたらす。

【0014】

また、この第１の側面において、上記データ生成部は、第１の基板に設けられた複数の画素と、上記第１の基板と異なる第２の基板において上記長時間露光処理および上記短時間露光処理を実行するデータ生成回路とを備えてもよい。これにより、複数の画素が第１の基板に設けられ、データ生成回路が第２の基板に設けられるという作用をもたらす。

【0015】

また、本技術の第２の側面は、異なる２つの露光時間のうち長い方の時間に亘って露光を行って複数の画素データからなるデータを長時間露光データとして生成する長時間露光処理と当該長時間露光処理の後に上記２つの露光時間のうち短い方の時間に亘って露光を行って複数の画素データからなるデータを短時間露光データとして生成する短時間露光処理とを順に実行するデータ生成部と、上記長時間露光データを圧縮して圧縮データを生成する圧縮部と、上記２つの露光時間のうち短い方に応じた遅延時間に亘って上記圧縮データを保持するメモリと、上記保持された圧縮データを伸長して上記長時間露光データを復元する伸長部と、上記復元された長時間露光データと上記短時間露光データとを合成する合成部とを具備する撮像素子である。これにより、長時間露光データが圧縮されてメモリに保持され、復元された長時間露光データと短時間露光データとが合成されるという作用をもたらす。

【発明の効果】

【0016】

本技術によれば、画像合成を行う装置においてメモリの容量の増大を抑制することができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

【図面の簡単な説明】

【0017】

【図1】第１の実施の形態における撮像装置の一構成例を示すブロック図である。

【図2】第１の実施の形態における撮像素子の一構成例を示すブロック図である。

【図3】第１の実施の形態における画素回路の一構成例を示す回路図である。

【図4】第１の実施の形態における信号処理部の一構成例を示すブロック図である。

【図5】第１の実施の形態における圧縮部および伸長部の一構成例を示すブロック図である。

【図6】第１の実施の形態における撮像装置の動作の一例を示すタイミングチャートである。

【図7】第１の実施の形態における撮像装置の動作の一例を示すフローチャートである。

【図8】第１の実施の形態における合成前後の画像データの一例である。

【図9】第１の実施の形態の第１の変形例における圧縮部および伸長部の一構成例を示すブロック図である。

【図10】第１の実施の形態の第２の変形例における圧縮部および伸長部の一構成例を示すブロック図である。

【図11】第１の実施の形態の第３の変形例における圧縮部および伸長部の一構成例を示すブロック図である。

【図12】第１の実施の形態の第４の変形例における撮像装置の動作の一例を示すフローチャートである。

【図13】第２の実施の形態における撮像装置の一構成例を示すブロック図である。

【図14】第２の実施の形態における撮像素子の一構成例を示すブロック図である。

【図15】第３の実施の形態における撮像素子の一構成例を示すブロック図である。

【発明を実施するための形態】

【0018】

以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（長時間露光データを圧縮して保持する例）
２．第２の実施の形態（撮像素子において長時間露光データを圧縮して保持する例）
３．第３の実施の形態（基板を積層した撮像素子からの長時間露光データを圧縮して保持する例）

【0019】

＜１．第１の実施の形態＞
［撮像装置の構成例］
図１は、第１の実施の形態における撮像装置１００の一構成例を示すブロック図である。この撮像装置１００は、画像データを撮像する装置であり、撮像レンズ１１０、撮像素子２００、信号処理部３００、画像処理部１２０、制御部１３０および記録部１４０を備える。

【0020】

撮像レンズ１１０は、被写体からの光を集光して撮像素子２００に導くレンズである。

【0021】

撮像素子２００は、受光した光を電気信号に変換して、画像データを生成するものである。この撮像素子２００として、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサーが用いられる。画像データの生成の際に撮像素子２００は、制御部１３０の制御に従って長時間露光および短時間露光を順に行う。ここで、長時間露光は、短時間露光よりも露光時間の長い露光であり、短時間露光は、長時間露光よりも露光時間の短い露光である。以下、長時間露光の露光時間をＴｅ１秒とし、短時間露光の露光時間をＴｅ２秒とする。また、短時間露光は、長時間露光の後に行われるものとする。

【0022】

この撮像素子２００は、長時間露光によりラインデータを長時間露光データとして生成する処理を一定回数行う。ここで、ラインデータは、所定の方向に沿って配列された複数の画素により生成されたデータである。このラインデータは、複数の画素データを含む。画素データのそれぞれは、例えば、赤、緑および青のいずれかの輝度値を示す。以下、赤の輝度値を示すものを画素データＲ（Red）とし、緑の輝度値を示すものを画素データＧ（Green）とし、青の輝度値を示すものを画素データＢ（Blue）と称する。

【0023】

また、撮像素子２００は、長時間露光データを生成するたびに、短時間露光によりラインデータを短時間露光データとして生成する。そして、撮像素子２００は、これらの長時間露光データおよび短時間露光データを信号処理部３００に信号線２０９を介して供給する。なお、撮像素子２００は、特許請求の範囲に記載のデータ生成部の一例である。

【0024】

信号処理部３００は、長時間露光データおよび短時間露光データを合成するものである。この信号処理部３００は、長時間露光データを圧縮して、露光時間Ｔｅ２に応じた遅延時間に亘って保持し、そのデータを伸長して長時間露光データを復元する。そして、信号処理部３００は、復元した長時間露光データと短時間露光データとを合成してラインデータを生成する。信号処理部３００は、生成したラインデータのそれぞれからなる画像データを画像処理部１２０に信号線３０９を介して供給する。

【0025】

画像処理部１２０は、信号処理部３００からの画像データに対して所定の画像処理を行うものである。例えば、ホワイトバランス処理、ガンマ補正処置およびデモザイク処理を含む各種の画像処理が行われる。画像処理部１２０は、画像処理後の画像データを記録部１４０に信号線１２９を介して供給する。記録部１４０は、画像データを記録するものである。

【0026】

制御部１３０は、撮像装置１００全体を制御するものである。この制御部１３０は、撮像制御信号により撮像素子２００を制御して画像データを生成させる。この撮像制御信号は、例えば、露光制御信号や垂直同期信号を含む信号であり、信号線１３９を介して供給される。ここで、露光制御信号は、露光時間を制御する信号であり、垂直同期信号は、撮像タイミングを指示する信号である。また、制御部１３０は、圧縮開始信号および伸長開始信号を生成して信号処理部３００に信号線１３８を介して供給する。ここで、圧縮開始信号は、長時間露光データの圧縮開始のタイミングを指示する信号であり、伸長開始信号は、圧縮された長時間露光データの伸長のタイミングを指示する信号である。

【0027】

なお、撮像装置１００は、表示部をさらに備え、その表示部に画像データを表示してもよい。また、撮像装置１００は、インターフェースをさらに備え、そのインターフェースを介して、画像データを外部の装置に出力してもよい。

【0028】

また、撮像レンズ１１０、撮像素子２００、信号処理部３００、画像処理部１２０、制御部１３０および記録部１４０を同一の装置内に設ける構成としているが、これらを別々の装置に設ける構成としてもよい。例えば、撮像素子２００などを撮像装置１００に設け、画像処理部１２０を画像処理装置等に設ける構成としてもよい。

【0029】

［撮像素子の構成例］
図２は、第１の実施の形態における撮像素子２００の一構成例を示すブロック図である。この撮像素子２００は、行走査回路２１０、画素アレイ部２２０、タイミング制御回路２５０、ＡＤ（Analog to Digital）変換部２６０および列走査回路２７０を備える。画素アレイ部２２０には、２次元格子状に複数の画素回路２３０が設けられる。

【0030】

タイミング制御回路２５０は、行および列の走査のタイミングを制御するものである。ここで、行は画素アレイ部２２０において、ある一方向に複数の画素回路２３０が配列されたものであり、ラインとも呼ばれる。また、列は画素アレイ部２２０において行と直交する方向に複数の画素回路２３０が配列されたものである。画素アレイ部２２０には、ｎ行、ｍ列の画素回路２３０が配列される。ここで、ｎおよびｍは整数である。

【0031】

タイミング制御回路２５０は、垂直同期信号Ｖｓｙｎｃに同期して行を走査するタイミングを指示する水平同期信号Ｈｓｙｎｃを生成し、行走査回路２１０に供給する。また、タイミング制御回路２５０は、水平同期信号Ｈｓｙｎｃに同期して列を走査するタイミングを指示するタイミング信号を生成し、列走査回路２７０に供給する。

【0032】

行走査回路２１０は、水平同期信号Ｈｓｙｎｃに同期して行の各々を選択するものである。この行走査回路２１０は、行選択信号を行の各々へ信号線２１９−１乃至２１９−ｎを介して順に出力することにより行を選択する。

【0033】

また、行走査回路２１０は、行を選択するたびに、露光制御信号に従って、その行を露光させる。この行走査回路２１０は、垂直同期信号の示す撮像タイミングから、垂直同期信号の周期未満の一定時間が経過したときに１行目の長時間露光を開始する。２行目以降の長時間露光は、直前の行の露光開始から１／ｆｓ秒が経過したときに開始される。ここで、ｆｓは、水平同期信号Ｈｓｙｎｃの周波数である。そして、行走査回路２１０は、各行の露光開始からＴｅ１秒が経過したときに、その行の長時間露光を終了する。

【0034】

また、行走査回路２１０は、各行において長時間露光データの読出しが完了すると、その行の短時間露光を開始する。そして、行走査回路２１０は、各行の短時間露光開始からＴｅ２秒が経過したときに、その行の短時間露光を終了する。

【0035】

画素回路２３０は、露光時間に応じた電位の画素信号を生成するものである。画素回路２３０は、信号線２３９−１乃至２３９−ｍのうちの対応する列の信号線を介して、生成した画素信号をＡＤ変換部２６０に供給する。

【0036】

ＡＤ変換部２６０は、画素信号をＡＤ変換して画素データを生成するものである。ＡＤ変換部２６０は、列ごとに設けられる。列走査回路２７０により選択された列のＡＤ変換部２６０は、生成した画素データを信号処理部３００に供給する。

【0037】

列走査回路２７０は、タイミング信号に従って、行の各々を選択するものである。この列走査回路２７０は、タイミング信号に従って、列選択信号をＡＤ変換部２６０のそれぞれに順に出力することにより列を選択する。

【0038】

［画素回路の構成例］
図３は、第１の実施の形態における画素回路２３０の一構成例を示す回路図である。この画素回路２３０は、フォトダイオード２３１、転送トランジスタ２３２、リセットトランジスタ２３３、浮遊拡散層２３４、増幅トランジスタ２３５および選択トランジスタ２３６を備える。転送トランジスタ２３２、リセットトランジスタ２３３、増幅トランジスタ２３５および選択トランジスタ２３６として、例えば、ｎ型のＭＯＳ（metal-oxide-semiconductor）トランジスタが用いられる。

【0039】

フォトダイオード２３１は、転送トランジスタ２３２のソースに接続される。転送トランジスタ２３２のゲートは、行走査回路２１０に接続され、ドレインは浮遊拡散層２３４に接続される。リセットトランジスタ２３３のゲートは行走査回路２１０に接続され、ソースは浮遊拡散層２３４に接続され、ドレインは電源に接続される。増幅トランジスタ２３５のゲートは浮遊拡散層２３４に接続され、ソースは電源に接続され、ドレインは選択トランジスタ２３６のソースに接続される。選択トランジスタ２３６のゲートは行走査回路２１０に接続され、ドレインはＡＤ変換部２６０に接続される。

【0040】

フォトダイオード２３１は、光を電荷に変換するものである。転送トランジスタ２３２は、フォトダイオード２３１により変換された電荷を浮遊拡散層２３４に転送するものである。リセットトランジスタ２３３は、浮遊拡散層２３４の電荷の量を初期値にリセットするものである。浮遊拡散層２３４は、転送された電荷の量に応じたレベルの電位を生成するものである。増幅トランジスタ２３５は、浮遊拡散層２３４の電位を増幅するものである。選択トランジスタ２３６は、画素回路２３０が選択された際に、増幅された電位の電気信号を画素信号としてＡＤ変換部２６０に出力するものである。

【0041】

行走査回路２１０は、ハイレベルの電圧を選択トランジスタ２３６に印加することにより、画素回路２３０を選択する。また、行走査回路２１０は、一定のパルス期間の間、ハイレベルの電圧をリセットトランジスタ２３３に印加することにより露光を開始させる。そして、行走査回路２１０は、露光時間が経過すると、一定のパルス期間の間、ハイレベルの電圧を転送トランジスタ２３２に印加することにより露光を終了させる。これらの制御により、露光時間に応じた電位の電気信号が生成される。

【0042】

［信号処理回路の構成例］
図４は、第１の実施の形態における信号処理部３００の一構成例を示すブロック図である。この信号処理部３００は、圧縮部３１０、遅延メモリ３２０、伸長部３３０、切替部３４０および合成部３５０を備える。

【0043】

切替部３４０は、圧縮開始信号に従って、撮像素子２００からのラインデータの出力先を切り替えるものである。ここで、圧縮開始信号には、例えば、短時間露光の露光期間に亘ってハイレベルが設定され、それ以外の期間に亘ってローレベルが設定される。切替部３４０は、圧縮開始信号がハイレベルの場合には、ラインデータを長時間露光データとして圧縮部３１０に出力する。一方、圧縮開始信号がローレベルである場合に切替部３４０は、ラインデータを短時間露光データとして合成部３５０に出力する。

【0044】

圧縮部３１０は、固定の圧縮率により長時間露光データを圧縮して圧縮データを生成するものである。この圧縮部３１０は、生成した圧縮データを遅延メモリ３２０に供給する。

【0045】

遅延メモリ３２０は、遅延時間（Ｔｅ２−Ｔｃ−Ｔｄ）に亘って、圧縮データを保持するものである。遅延メモリ３２０として、例えば、ＳＲＡＭ（Static Random Access Memory）が用いられる。ここで、Ｔｃは、長時間露光データの圧縮に要する時間であり、Ｔｄは、圧縮データの伸長に要する時間である。また、遅延メモリ３２０として、次の式を満たすメモリ容量のメモリが用いられる。メモリ容量の単位は、例えば、バイトである。
（メモリ容量）≧ｋ×Ｄ ・・・式１
上式において、Ｄは、圧縮データのデータサイズであり、単位は例えば、バイトである。ｋは、遅延メモリ３２０に保持されるラインデータの最大数である。ｋには、次の式を満たす最大値が設定される。
ｋ／ｆｓ≦（Ｔｅ２−Ｔｃ−Ｔｄ） ・・・式２

【0046】

なお、遅延メモリ３２０は、特許請求の範囲に記載のメモリの一例である。

【0047】

伸長部３３０は、伸長開始信号に従って、圧縮データを伸長し、長時間露光データを復元するものである。この伸長開始信号は、例えば、短時間露光の開始から（Ｔｅ２＋Ｔｒ−Ｔｄ）が経過したタイミングを伸長の開始タイミングとして示す。伸長部３３０は、伸長により復元した長時間露光データを合成部３５０に供給する。

【0048】

合成部３５０は、長時間露光データおよび短時間露光データを合成するものである。この合成部３５０は、例えば、長時間露光データ内の画素データごとに、その画素値が所定の閾値以上であるか否かを判断する。閾値未満である場合に合成部３５０は、長時間露光データ内の画素データを選択して出力し、閾値以上である場合に、短時間露光データ内の対応する画素データを選択して出力する。

【0049】

［圧縮部の構成例］
図５は、第１の実施の形態における圧縮部３１０および伸長部３３０の一構成例を示すブロック図である。同図におけるａは、第１の実施の形態における圧縮部３１０の一構成例を示すブロック図である。この圧縮部３１０は、再量子化部３１１を備える。

【0050】

再量子化部３１１は、長時間露光データにおいて、画素データのそれぞれのデータサイズを小さくする処理を再量子化処理として行うものである。例えば、再量子化部３１１は、１２ビットの画素データを１０ビットの画素データに再量子化する。再量子化部３１１は、再量子化処理後の長時間露光データを遅延メモリ３２０に供給する。

【0051】

なお、圧縮部３１０は、ハフマン符号化や算術符号化などのエントロピー符号化をさらに行ってもよい。

【0052】

［伸長部の構成例］
図５におけるｂは、第１の実施の形態における伸長部３３０の一構成例を示すブロック図である。この伸長部３３０は、逆量子化部３３２を含む。

【0053】

逆量子化部３３２は、圧縮データにおいて画素データのデータサイズを元のサイズに戻す処理を逆量子化処理として行うものである。例えば、逆量子化部３３２は、１０ビットの画素データを１２ビットの画素データに逆量子化して長時間露光データを復元する。逆量子化部３３２は、復元した長時間露光データを合成部３５０に供給する。

【0054】

なお、伸長部３３０は、ハフマン符号や算術符号などのエントロピー符号の復号をさらに行ってもよい。

【0055】

図６は、第１の実施の形態における撮像装置１００の動作の一例を示すタイミングチャートである。同図において横軸は時間であり、縦軸は行（ライン）の位置を示す。撮像装置１００は、例えば、撮像を行うための操作が行われると、垂直同期信号Ｖｓｙｎｃの生成を開始する。

【0056】

そして、撮像装置１００は、１行目において、垂直同期信号の示す撮像タイミングから一定時間が経過したときに露光時間Ｔｅ１の長時間露光を開始する。２行目以降の長時間露光は、直前の行の露光開始から１／ｆｓ秒が経過したときに開始される。そして、長時間露光が終了すると長時間露光データの読出しが開始され、所定の読出し時間Ｔｒが経過したときに、その読出しが完了する。撮像装置１００は、その長時間露光データを圧縮して遅延メモリ３２０に保持する。図７において実線で囲まれた平行四辺形は、各行の長時間露光の露光期間を示す。

【0057】

また、撮像装置１００は、長時間露光の後に露光時間Ｔｅ２の短時間露光を開始する。また、伸長開始信号に従って、遅延メモリ３２０に保持された圧縮データが伸長されて長時間露光データが復元される。短時間露光が終了すると短時間露光データの読出しが開始され、所定の読出し時間Ｔｒが経過したときに、その読出しが完了する。図７において一点鎖線で囲まれた平行四辺形は、各行の短時間露光の露光期間を示す。

【0058】

短時間露光データが読み出された行において、撮像装置１００は、その行の長時間露光データおよび短時間露光データを合成する。撮像装置１００は、各行において合成されたラインデータからなる画像データを出力する。

【0059】

図６において、露光時間Ｔｅ２内に読み出されるｋラインの長時間露光データは、圧縮されて遅延メモリ３２０に保持される。このように、撮像装置１００が、長時間露光データを圧縮して遅延メモリ３２０に保持することにより、圧縮しないで保持する場合よりも、遅延メモリ３２０のメモリ容量を少なくすることができる。メモリ容量が少ないほど、遅延メモリ３２０のコストを低下させることができる。また、メモリ容量が少ないほど、遅延メモリ３２０と、その遅延メモリ３２０にアクセスする回路との間のトラフィックが小さくなり、消費電力を低減することができる。

【0060】

［撮像装置の動作例］
図７は、第１の実施の形態における撮像装置１００の動作の一例を示すフローチャートである。この動作は、例えば、撮像を開始するための所定の操作（シャッターボタンの押下など）がユーザにより行われたときに開始する。

【0061】

撮像装置１００は、長時間露光を行って長時間露光データを生成する（ステップＳ９０２）。撮像装置１００は、長時間露光データを圧縮して圧縮データを生成する（ステップＳ９０３）。また、撮像装置１００は、露光時間Ｔｅ２に応じた遅延時間に亘って圧縮データを遅延メモリ３２０に保持する（ステップＳ９０４）。そして、撮像装置１００は、短時間露光を行って短時間露光データを生成する（ステップＳ９０５）。

【0062】

また、撮像装置１００は、圧縮データを伸長し（ステップＳ９０６）、短時間露光データおよび長時間露光データを合成する（ステップＳ９０７）。撮像装置１００は、全ラインにおいて、ラインデータを合成して出力したか否かを判断する（ステップＳ９０８）。いずれかのラインにおいて出力していなければ（ステップＳ９０８：Ｎｏ）、撮像装置１００はステップＳ９０２に戻る。一方、全ラインにおいて出力したのであれば（ステップＳ９０８：Ｎｏ）、撮像装置１００は、撮像のための動作を終了する。

【0063】

図８は、第１の実施の形態における合成前後の画像データの一例である。同図におけるａは、長時間露光データからなる画像データ５０１の一例である。同図におけるａに示すように、長時間露光を行うと、露出オーバーにより、明るい部分において階調が失われる現象（いわゆる、「白飛び」）が発生しやすくなる。同図におけるｂは、短時間露光データからなる画像データ５０２の一例である。同図におけるｂに示すように、短時間露光を行うと、露出アンダーにより、暗い部分において階調が失われる現象（いわゆる、「黒つぶれ」）が生じやすくなる。

【0064】

図８におけるｃは、合成後の画像データ５０３の一例を示す図である。露光時間の異なる画像データ５０１および５０２の合成により、ダイナミックレンジの広い画像データ５０３が得られる。これにより、白飛びや黒つぶれの発生が防止される。

【0065】

このように、本技術の第１の実施の形態によれば、撮像装置１００は、長時間露光データを圧縮してメモリに保持し、その保持された圧縮データを伸長して短時間露光データと合成するため、メモリ容量の増大を抑制することができる。

【0066】

［第１の変形例］
第１の実施の形態では、撮像装置１００は、再量子化処理、長時間露光データを圧縮していたが、圧縮時に低解像度変換をさらに行ってもよい。第１の変形例の撮像装置１００は、圧縮時に低解像度変換をさらに行う点において第１の実施の形態と異なる。

【0067】

図９は、第１の実施の形態の第１の変形例における圧縮部３１０および伸長部３３０の一構成例を示すブロック図である。同図におけるａは、第１の変形例の圧縮部３１０の一構成例を示すブロック図である。第１の変形例の圧縮部３１０は、低解像度変換部３１２をさらに備える点において第１の実施の形態と異なる。

【0068】

低解像度変換部３１２は、長時間露光データにおいて、画素データを一定数間引く処理を低解像度変換処理として行うものである。低解像度変換部３１２は、低解像度変換処理後の長時間露光データを圧縮データとして遅延メモリ３２０に供給する。

【0069】

なお、圧縮部３１０は、再量子化処理および低解像度変換処理の両方を行っているが、一方のみを行ってもよい。また、圧縮部３１０は、ハフマン符号化や算術符号化などのエントロピー符号化をさらに行ってもよい。

【0070】

図９におけるｂは、第１の変形例の伸長部３３０の一構成例を示すブロック図である。第１の変形例の伸長部３３０は、高解像度変換部３３１をさらに備える点において第１の実施の形態と異なる。

【0071】

高解像度変換部３３１は、伸長開始信号に従って、圧縮データにおいて、間引かれた画素データ数と同じ個数の新たな画素データを補間する処理を高解像度変換処理として行うものである。この高解像度変換部３３１は、高解像度変換処理後の圧縮データを逆量子化部３３２に供給する。

【0072】

なお、伸長部３３０は、逆量子化処理および高解像度変換処理の両方を行っているが、一方のみを行ってもよい。また、圧縮部３１０は、ハフマン符号化や算術符号化などのエントロピー符号化をさらに行ってもよい。

【0073】

このように第１の変形例によれば、撮像装置１００は、低解像度変換を行うため、圧縮率をさらに高くすることができる。

【0074】

［第２の変形例］
第１の変形例では、撮像装置１００は、再量子化処理や低解像度変換処理により、長時間露光データを圧縮していたが、長時間露光データにおいて画素データを輝度信号および色差信号に変換するＹＣ変換をさらに行ってもよい。ＹＣ変換により、色の情報の圧縮率を高くすることができる。第２の変形例の撮像装置１００は、圧縮時にＹＣ変換をさらに行う点において第１の変形例と異なる。

【0075】

図１０は、第１の実施の形態の第２の変形例における圧縮部３１０および伸長部３３０の一構成例を示すブロック図である。同図におけるａは、第１の変形例の圧縮部３１０の一構成例を示すブロック図である。第２の変形例の圧縮部３１０は、ＹＣ変換部３１３をさらに備える点において第１の変形例と異なる。

【0076】

ＹＣ変換部３１３は、長時間画像データに対してＹＣ変換を行うものである。ＹＣ変換部３１３は、例えば、ＩＴＵ−Ｒ(International Telecommunication Union Radiocommunication Sector)．ＢＴ．６０１の規格に基づいて次の式を用いてＹＣ変換を行う。ＹＣ変換部３１３は、ＹＣ変換後の長時間露光データを再量子化部３１１に供給する。
Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１４４×Ｂ ・・・式３
Ｃｂ＝−０．１６８７３６×Ｒ−０．３３１２６４×Ｇ＋０．５×Ｂ ・・・式４
Ｃｒ＝０．５×Ｒ−０．４１８６８８×Ｇ−０．０８１３１２×Ｂ ・・・式５
式３においてＹは、輝度信号である。式４および式５においてＣｒおよびＣｂは、色差信号である。

【0077】

なお、圧縮部３１０は、ハフマン符号化や算術符号化などのエントロピー符号化をさらに行ってもよい。

【0078】

図１０におけるｂは、第２の変形例の伸長部３３０の一構成例を示すブロック図である。第２の変形例の伸長部３３０は、ＲＧＢ変換部３３３をさらに備える点において第１の変形例と異なる。

【0079】

ＲＧＢ変換部３３３は、逆量子化部３３２からのデータにおいて、色差信号および輝度信号を画素データＲ、ＧおよびＢに変換するものである。

【0080】

なお、伸長部３３０は、ハフマン符号や算術符号などのエントロピー符号の復号をさらに行ってもよい。

【0081】

このように第２の変形例によれば、撮像装置１００は、長時間露光データの圧縮の際にＹＣ変換を行うため、色情報の圧縮率をさらに高くすることができる。

【0082】

［第３の変形例］
第１の実施の形態では、撮像装置１００は、再量子化処理や低解像度変換処理により、長時間露光データを圧縮していたが、長時間露光データにおいて周波数変換をさらに行ってもよい。周波数変換として、離散コサイン変換、アダマール変換、または、ウェーブレット変換などが用いられる。周波数変換により、高周波数成分の圧縮率を高くすることができる。第３の変形例の撮像装置１００は、圧縮時に周波数変換をさらに行う点において第１の変形例と異なる。

【0083】

図１１は、第１の実施の形態の第３の変形例における圧縮部３１０および伸長部３３０の一構成例を示すブロック図である。同図におけるａは、第３の変形例の圧縮部３１０の一構成例を示すブロック図である。第３の変形例の圧縮部３１０は、離散コサイン変換部３１４をさらに備える点において第１の変形例と異なる。

【0084】

離散コサイン変換部３１４は、長時間露光データに対して離散コサイン変換を行うものである。この離散コサイン変換部３１４は、離散コサイン変換後の長時間露光データを再量子化部３１１に供給する。

【0085】

なお、圧縮部３１０は、離散コサイン変換の代わりに、アダマール変換やウェーブレット変換などの周波数変換を行ってもよい。また、圧縮部３１０は、ハフマン符号化や算術符号化などのエントロピー符号化をさらに行ってもよい。

【0086】

図１１におけるｂは、第３の変形例の伸長部３３０の一構成例を示すブロック図である。第３の変形例の伸長部３３０は、逆離散コサイン変換部３３４をさらに備える点において第１の変形例と異なる。

【0087】

逆離散コサイン変換部３３４は、逆量子化部３３２からのデータにおいて、離散コサイン変換の逆変換を行うものである。

【0088】

なお、伸長部３３０は、逆離散コサイン変換の代わりに、アダマール変換やウェーブレット変換の逆変換を行ってもよい。また、伸長部３３０は、ハフマン符号や算術符号などのエントロピー符号の復号をさらに行ってもよい。

【0089】

このように第３の変形例によれば、撮像装置１００は、長時間露光データの圧縮の際に周波数変換を行うため、高周波数成分の圧縮率をさらに高くすることができる。

【0090】

［第４の変形例］
第１の実施の形態では、撮像装置１００は、固定の圧縮率により長時間露光データを圧縮していたが、遅延時間に応じて圧縮率を変えてもよい。式２より、遅延時間（Ｔｅ２−Ｔｃ−Ｔｄ）が短いほど、遅延メモリ３２０に保持されるラインデータ数ｋが少なくなるため、圧縮率を低くすることができる。前述の再量子化処理は、非可逆の圧縮処理であるため、圧縮率が低いほど、画像データの画質が向上する。第４の変形例の撮像装置１００は、遅延時間に応じて圧縮率を変える点において第１の変形例と異なる。

【0091】

図１２は、第１の実施の形態の第４の変形例における撮像装置１００の動作の一例を示すフローチャートである。

【0092】

第４の変形例の撮像装置１００は、遅延時間が短いほど低い圧縮率を設定し（ステップＳ９０１）、ステップＳ９０２以降の処理を実行する。

【0093】

このように第４の変形例によれば、撮像装置１００は、遅延時間が短いほど低い圧縮率で長時間露光データを圧縮するため、遅延時間が短いほど高い画質の画像データを生成することができる。

【0094】

＜２．第２の実施の形態＞
第１の実施の形態では、撮像素子２００の外部に制御部１３０、信号処理部３００および画像処理部１２０を設けていたが、これらをワンチップ化して、撮像素子２００の内部に制御部１３０、信号処理部３００および画像処理部１２０を設けてもよい。ワンチップ化により、撮像素子２００内の各回路と制御部１３０、信号処理部３００および画像処理部１２０との間の配線を短くすることができる。これにより、撮像装置１００の消費電力やコストを低減することができる。第２の実施の形態の撮像装置１００は、撮像素子２００の内部に制御部１３０、信号処理部３００および画像処理部１２０を設けた点において第１の実施の形態と異なる。

【0095】

図１３は、第２の実施の形態における撮像装置１００の一構成例を示すブロック図である。第２の実施の形態の撮像装置１００は、制御部１３０、信号処理部３００および画像処理部１２０が撮像素子２００の内部に設けられている点において第１の実施の形態と異なる。

【0096】

図１４は、第２の実施の形態における撮像素子２００の一構成例を示すブロック図である。第２の実施の形態の撮像素子２００は、制御部１３０、信号処理部３００および画像処理部１２０をさらに備える点において第１の実施の形態と異なる。なお、撮像素子２００内の行走査回路２１０、画素アレイ部２２０、タイミング制御回路２５０、ＡＤ変換部２６０および列走査回路２７０は、特許請求の範囲に記載のデータ生成部の一例である。

【0097】

このように、本技術の第２の実施の形態によれば、撮像素子２００、制御部１３０、信号処理部３００および画像処理部１２０を一体化したため、撮像素子２００内の各回路と信号処理部３００との間の配線を短くすることができる。これにより、撮像装置１００の消費電力やコストを低減することができる。

【0098】

＜３．第３の実施の形態＞
第１の実施の形態では、撮像素子２００を１つの基板上に形成していたが、撮像素子２００内の各回路を複数の基板に分散して設けて、それらの基板を積層してもよい。この積層型の配置により、撮像素子２００の面積を小さくすることができる。第３の実施の形態の撮像素子２００は、積層された複数の基板に各回路が設けられている点において第１の実施の形態と異なる。

【0099】

図１５は、第３の実施の形態における撮像素子２００の一構成例を示すブロック図である。第３の実施の形態の撮像素子２００は、上側基板２０１および下側基板２０２を備える。

【0100】

上側基板２０１は、下側基板２０２に積層される基板であり、この上側基板２０１には画素アレイ部２２０が設けられる。一方、下側基板２０２には、行走査回路２１０、タイミング制御回路２５０、ＡＤ変換部２６０および列走査回路２７０が設けられる。

【0101】

なお、上側基板２０１および下側基板２０２のそれぞれに配置する回路は、図１５に例示したものに限定されない。例えば、上側基板２０１に、ＡＤ変換部２６０をさらに設けてもよい。また、上側基板２０１に、ＡＤ変換部２６０内のコンパレータを設け、下側基板２０２に、ＡＤ変換部２６０内のカウンタを設けてもよい。

【0102】

このように、本技術の第３の実施の形態によれば、撮像素子２００内の各回路を、積層された複数の基板に分散して設けたため、撮像素子２００の面積を小さくすることができる。

【0103】

なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。

【0104】

また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。

【0105】

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

【0106】

なお、本技術は以下のような構成もとることができる。
（１）異なる２つの露光時間のうち長い方の時間に亘って露光を行って複数の画素データからなるデータを長時間露光データとして生成する長時間露光処理と当該長時間露光処理の後に前記２つの露光時間のうち短い方の時間に亘って露光を行って複数の画素データからなるデータを短時間露光データとして生成する短時間露光処理とを順に実行するデータ生成部と、
前記長時間露光データを圧縮して圧縮データを生成する圧縮部と、
前記２つの露光時間のうち短い方に応じた遅延時間に亘って前記圧縮データを保持するメモリと、
前記保持された圧縮データを伸長して前記長時間露光データを復元する伸長部と、
前記復元された長時間露光データと前記短時間露光データとを合成する合成部と
を具備する撮像装置。
（２）前記圧縮部は、前記遅延時間が短いほど低い圧縮率により前記長時間露光データを圧縮する
前記（１）記載の撮像装置。
（３）前記複数の画素データのそれぞれのデータサイズは、所定サイズであり、
前記圧縮部は、前記長時間露光データ内の前記複数の画素データのそれぞれのデータサイズを前記所定サイズより小さくし、
前記伸長部は、前記圧縮データにおいて前記画素データのそれぞれのデータサイズを前記所定サイズに戻す
前記（１）または（２）に記載の撮像装置。
（４）前記圧縮部は、前記長時間露光データにおいて所定数の前記画素データを間引き、
前記伸長部は、前記圧縮データにおいて前記所定数の新たな画素データを補間する
前記（１）から（３）のいずれかに記載の撮像装置。
（５）前記複数の画素データのそれぞれは、赤、緑および青のいずれかの画素値を含み、
前記圧縮部は、前記画素値のそれぞれから色差信号および輝度信号を生成し、
前記伸長部は、前記色差信号および輝度信号から赤、緑および青のそれぞれの画素値を生成する
前記（１）から（４）のいずれかに記載の撮像装置。
（６）前記圧縮部は、前記長時間露光データに対して周波数変換を行い、
前記伸長部は、前記圧縮データに対して逆周波数変換を行う
前記（１）から（５）のいずれかに記載の撮像装置。
（７）前記圧縮部は、前記長時間露光データにおいて前記複数の画素データのそれぞれをエントロピー符号に符号化し、
前記伸長部は、前記エントロピー符号のそれぞれを前記画素データに復号する
前記（１）から（６）のいずれかに記載の撮像装置。
（８）前記データ生成部は、
第１の基板に設けられた複数の画素と、
前記第１の基板と異なる第２の基板において前記長時間露光処理および前記短時間露光処理を実行するデータ生成回路と
を備える前記（１）から（７）のいずれかに記載の撮像装置。
（９）異なる２つの露光時間のうち長い方の時間に亘って露光を行って複数の画素データからなるデータを長時間露光データとして生成する長時間露光処理と当該長時間露光処理の後に前記２つの露光時間のうち短い方の時間に亘って露光を行って複数の画素データからなるデータを短時間露光データとして生成する短時間露光処理とを順に実行するデータ生成部と、
前記長時間露光データを圧縮して圧縮データを生成する圧縮部と、
前記２つの露光時間のうち短い方に応じた遅延時間に亘って前記圧縮データを保持するメモリと、
前記保持された圧縮データを伸長して前記長時間露光データを復元する伸長部と、
前記復元された長時間露光データと前記短時間露光データとを合成する合成部とを具備する撮像素子。
（１０） データ生成部が、異なる２つの露光時間のうち長い方の時間に亘って露光を行って複数の画素データからなるデータを長時間露光データとして生成する長時間露光手順と、
データ生成部が、前記長時間露光処理の後に前記２つの露光時間のうち短い方の時間に亘って露光を行って複数の画素データからなるデータを短時間露光データとして生成する短時間露光手順と、
圧縮部が、前記長時間露光データを圧縮して圧縮データを生成する圧縮手順と、
メモリが、前記２つの露光時間のうち短い方に応じた遅延時間に亘って前記圧縮データを保持する遅延手順と、
伸長部が、前記保持された圧縮データを伸長して前記長時間露光データを復元する伸長手順と、
合成部が、前記復元された長時間露光データと前記短時間露光データとを合成する合成手順と
を具備する撮像装置の制御方法。

【符号の説明】

【0107】

１００ 撮像装置
１１０ 撮像レンズ
１２０ 画像処理部
１３０ 制御部
１４０ 記録部
２００ 撮像素子
２０１ 上側基板
２０２ 下側基板
２１０ 行走査回路
２２０ 画素アレイ部
２３０ 画素回路
２３１ フォトダイオード
２３２ 転送トランジスタ
２３３ リセットトランジスタ
２３４ 浮遊拡散層
２３５ 増幅トランジスタ
２３６ 選択トランジスタ
２５０ タイミング制御回路
２６０ ＡＤ変換部
２７０ 列走査回路
３００ 信号処理部
３１０ 圧縮部
３１１ 再量子化部
３１２ 低解像度変換部
３１３ ＹＣ変換部
３１４ 離散コサイン変換部
３２０ 遅延メモリ
３３０ 伸長部
３３１ 高解像度変換部
３３２ 逆量子化部
３３３ ＲＧＢ変換部
３３４ 逆離散コサイン変換部
３４０ 切替部
３５０ 合成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】