特許 7011240 撮像素子および駆動方法、並びに電子機器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-01-18

(45)【発行日】2022-01-26

(54)【発明の名称】撮像素子および駆動方法、並びに電子機器

(51)【国際特許分類】

   H04N 5/374 20110101AFI20220119BHJP

   H04N 5/378 20110101ALI20220119BHJP

   G06T 1/20 20060101ALI20220119BHJP

【ＦＩ】

H04N5/374

H04N5/378

G06T1/20 B

【請求項の数】 17

(21)【出願番号】P 2018538344

(86)(22)【出願日】2017-08-23

(86)【国際出願番号】 JP2017030014

(87)【国際公開番号】W WO2018047618

(87)【国際公開日】2018-03-15

【審査請求日】2020-07-30

(31)【優先権主張番号】P 2016175826

(32)【優先日】2016-09-08

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(73)【特許権者】

【識別番号】504137912

【氏名又は名称】国立大学法人 東京大学

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】村松 良徳

(72)【発明者】

【氏名】上原 修二

(72)【発明者】

【氏名】片山 博誠

(72)【発明者】

【氏名】山崎 智裕

(72)【発明者】

【氏名】石川 正俊

(72)【発明者】

【氏名】渡辺 義浩

【審査官】松永 隆志

(56)【参考文献】

【文献】特開２００６－２３７７７２（ＪＰ，Ａ）

【文献】特開２０１４－２３６１８３（ＪＰ，Ａ）

【文献】国際公開第２０１４／００７００４（ＷＯ，Ａ１）

【文献】特開２０１４－２４１４５８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２２５－５／３７８

Ｈ０４Ｎ ９／００－９／１１

Ｇ０６Ｔ １／２０

(57)【特許請求の範囲】

【請求項1】

光電変換機能を有する画素がアレイ状に配置された画素アレイ部と、
前記画素アレイ部の前記画素の列ごとに、前記画素から出力される画素信号のＡＤ（ Analog-to-digital）変換処理を並列的に行うＡＤ変換部と、
前記ＡＤ変換部においてＡＤ変換された画素信号を、前記画素の列ごとに任意の行数分保持するメモリ部と、
前記メモリ部から任意の行および列の画素信号を読み出して、それらの画素信号間の演算を、前記画素の列ごとに並列的に行う画素間画像処理部と、
前記ＡＤ変換部から出力される画素信号、および、前記画素間画像処理部から出力される画素信号の外部への出力を制御する出力回路と、
前記画素アレイ部から前記ＡＤ変換部へ画素信号を読み出す画素読み出し処理、前記ＡＤ変換部による画素信号のＡＤ変換処理、前記画素間画像処理部による画素間画像処理、並びに、前記ＡＤ変換部および前記画素間画像処理からデータを出力するデータ出力処理を並行動作させる制御回路と、
を備え、
前記出力回路は、前記ＡＤ変換部から出力される画素信号、および、前記画素間画像処理部から出力される画素信号と、を交互に出力する、
撮像素子。

【請求項2】

前記ＡＤ変換部は、前記制御回路による制御に従って、前記画素信号をＡＤ変換する際の階調を変更する
請求項１に記載の撮像素子。

【請求項3】

前記画素間画像処理部は、
前記メモリ部に保持されている画素信号のうちの、画素間画像処理を行う対象とする画素信号を選択する画素選択回路と、
前記画素選択回路により選択された画素信号どうしの演算を行う演算器と、 前記演算器による演算が施された画素信号を一時的に保持する作業用メモリと、
前記演算器による演算が施された画素信号を出力する出力回路部と
を有し、
前記演算器は、前記画素アレイ部における前記画素の列ごとに並列的に配置され、SIMD（Single Instruction/Multiple Data）型の並列演算機能を備える
請求項１に記載の撮像素子。

【請求項4】

前記出力回路は、さらに、前記ＡＤ変換部から出力される画素信号、および、前記画素間画像処理部から出力される画素信号について、それらを同時に出力し、または、それらを個別に出力することができる
請求項１に記載の撮像素子。

【請求項5】

前記画素間画像処理部において画素間画像処理が施された画素信号に対して、列ごとに並列的に、任意の閾値に基づいた階調変換処理を施す階調変換部と、
前記階調変換部により階調変換処理が施された１フレーム分の画素信号を保持するフレームメモリ部と、
前記階調変換部から出力される画素信号に基づく画像と、フレームメモリ部に保持されている１フレーム前の画素信号に基づく画像とを用いて、フレーム間の画像処理を行うフレーム間画像処理部と
をさらに備える請求項１に記載の撮像素子。

【請求項6】

前記制御回路は、前記画素アレイ部から前記ＡＤ変換部へ画素信号を読み出す画素読み出し処理、前記ＡＤ変換部による画素信号のＡＤ変換処理、前記画素間画像処理部による画素間画像処理、前記ＡＤ変換部および前記画素間画像処理からデータを出力するデータ出力処理、並びに、前記フレーム間画像処理部によるフレーム間の画像処理を並行動作させる
請求項５に記載の撮像素子。

【請求項7】

前記ＡＤ変換部および前記階調変換部は、前記制御回路による制御に従って階調を変更し、前記ＡＤ変換部において階調を変更する可変範囲が、前記階調変換部において階調を変更する可変範囲以上である
請求項６に記載の撮像素子。

【請求項8】

前記フレーム間画像処理部は、
前記フレームメモリ部に保持されている画素信号のうちの、フレーム間画像処理を行う対象とする画素信号を選択する画素選択回路と、
前記画素選択回路により選択された画素信号どうしの演算を行う演算器と、 前記演算器による演算が施された画素信号を一時的に保持する作業用メモリと、
前記演算器による演算が施された画素信号を出力する出力回路部と
を有し、
前記演算器は、前記画素アレイ部における前記画素の列ごとに並列的に配置され、SIMD（Single Instruction/Multiple Data）型の並列演算機能を備える
請求項６に記載の撮像素子。

【請求項9】

前記出力回路は、前記ＡＤ変換部から出力される画素信号、前記画素間画像処理部から出力される画素信号、および、前記フレーム間画像処理部から出力される画素信号について、それらを同時に出力し、それらを個別に出力し、または、それらを交互に出力することができる
請求項６に記載の撮像素子。

【請求項10】

前記ＡＤ変換部は、前記画素アレイ部の向かい合う２辺に対して並列に配置されるように複数設けられ、
複数の前記ＡＤ変換部のうちの、いずれか１つの前記ＡＤ変換部の出力に対して、前記メモリ部および前記画素間画像処理部が設けられており、
複数の前記ＡＤ変換部それぞれの出力が前記出力回路に接続されている
請求項１に記載の撮像素子。

【請求項11】

前記制御回路は、前記画素アレイ部から前記ＡＤ変換部へ画素信号を読み出す画素読み出し処理、複数の前記ＡＤ変換部による画素信号のＡＤ変換処理、前記画素間画像処理部による画素間画像処理、並びに、前記ＡＤ変換部および前記画素間画像処理からデータを出力するデータ出力処理を並行動作させる
請求項１０に記載の撮像素子。

【請求項12】

複数の前記ＡＤ変換部のうちの、出力に対して前記メモリ部および前記画素間画像処理部が設けられていない前記ＡＤ変換部が、１行分の画素信号を第１の階調でＡＤ変換している間に、出力に対して前記メモリ部および前記画素間画像処理部が設けられている前記ＡＤ変換部が、１行分の画素信号を第１の階調よりも小さな第２の階調でＡＤ変換する
請求項１１に記載の撮像素子。

【請求項13】

前記出力回路は、複数の前記ＡＤ変換部から出力される画素信号、および、前記画素間画像処理部から出力される画素信号について、それらを同時に出力し、それらを個別に出力し、または、それらを交互に出力することができる
請求項１０に記載の撮像素子。

【請求項14】

前記画素アレイ部を少なくとも含むアナログ部分と、ＡＤ変換された画素信号に対する処理を行う部分とが異なるチップに設けられ、それらのチップが積層構造で構成される 請求項１に記載の撮像素子。

【請求項15】

複数の前記チップの間が列並列に貫通電極またはバンプによる接合手段により接続される 請求項１４に記載の撮像素子。

【請求項16】

光電変換機能を有する画素がアレイ状に配置された画素アレイ部と、
前記画素アレイ部の前記画素の列ごとに、前記画素から出力される画素信号のＡＤ（Analog-to-digital）変換処理を並列的に行うＡＤ変換部と、
前記ＡＤ変換部においてＡＤ変換された画素信号を、前記画素の列ごとに任意の行数分保持するメモリ部と、
前記メモリ部から任意の行および列の画素信号を読み出して、それらの画素信号間の演算を、前記画素の列ごとに並列的に行う画素間画像処理部と、
前記ＡＤ変換部から出力される画素信号、および、前記画素間画像処理部から出力される画素信号の外部への出力を制御する出力回路と
を備える撮像素子の駆動方法において、
前記画素アレイ部から前記ＡＤ変換部へ画素信号を読み出す画素読み出し処理、前記ＡＤ変換部による画素信号のＡＤ変換処理、前記画素間画像処理部による画素間画像処理、並びに、前記ＡＤ変換部および前記画素間画像処理からデータを出力するデータ出力処理を並行動作させ、
前記出力回路により前記ＡＤ変換部から出力される画素信号、および、前記画素間画像処理部から出力される画素信号と、を交互に出力させる、
駆動方法。

【請求項17】

光電変換機能を有する画素がアレイ状に配置された画素アレイ部と、
前記画素アレイ部の前記画素の列ごとに、前記画素から出力される画素信号のＡＤ（Analog-to-digital）変換処理を並列的に行うＡＤ変換部と、
前記ＡＤ変換部においてＡＤ変換された画素信号を、前記画素の列ごとに任意の行数分保持するメモリ部と、
前記メモリ部から任意の行および列の画素信号を読み出して、それらの画素信号間の演算を、前記画素の列ごとに並列的に行う画素間画像処理部と、
前記ＡＤ変換部から出力される画素信号、および、前記画素間画像処理部から出力される画素信号の外部への出力を制御する出力回路と、
前記画素アレイ部から前記ＡＤ変換部へ画素信号を読み出す画素読み出し処理、前記ＡＤ変換部による画素信号のＡＤ変換処理、前記画素間画像処理部による画素間画像処理、並びに、前記ＡＤ変換部および前記画素間画像処理からデータを出力するデータ出力処理を並行動作させる制御回路と、
を有し、
前記出力回路は、前記ＡＤ変換部から出力される画素信号、および、前記画素間画像処理部から出力される画素信号と、を交互に出力する、
撮像素子を備える電子機器。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、撮像素子および駆動方法、並びに電子機器に関し、特に、より低遅延で高速な画素間画像処理を行うことができるようにした撮像素子および駆動方法、並びに電子機器に関する。

【背景技術】

【0002】

従来、高速化かつ低遅延で認証や認識などの処理を行うことを目的として、撮像素子の撮像部分と画像処理部分とを一体化し、チップに集積したビジョンチップの研究が進められている。

【0003】

例えば、２次元状に行列配置された光電変換機能を有する複数の画素について、１つの画素に対して１つの画像処理回路を配置し、並列的に画像処理を行う撮像装置が知られている。この撮像装置では、高速化かつ低遅延で画像処理を行うことが可能になる。しかしながら、画像処理回路は、一般に、画素サイズよりも大きい面積を占有するため、光電変換を担う画素部分を大きくすることが難しく、十分な感度特性を得ることは困難であった。また、画像処理回路および画素からなる１単位画素分の面積が大きくなるため、画素数を多くすることも困難である。

【0004】

そこで、特許文献１には、１列のセンサについて、１つのプロセッサエレメントを対応させる構成を採用するパターン信号処理用ＬＳＩ（Large-Scale Integration）が開示されている。この構成を採用することで、例えば、画素に対する画像処理回路の必要数量を低減させることができ、上述したような画素サイズおよび画素数についての制限を緩和することができる。

【先行技術文献】

【特許文献】

【0005】

【文献】特公平７－６２８６６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ところで、上述した特許文献１で開示されている技術は、画素の出力を直接的にマルチプレクサにより選択して信号処理を行う構成となっている。このため、この構成では、号処理を行う都度、処理に必要な画素出力を走査および選択した後に、１行分の信号処理を繰り返すことになるため、画像処理に時間を要することになり、処理の高速化を図ることが困難であった。

【0007】

本開示は、このような状況に鑑みてなされたものであり、より低遅延で高速な画素間画像処理を行うことができるようにするものである。

【課題を解決するための手段】

【0008】

本開示の一側面の撮像素子は、光電変換機能を有する画素がアレイ状に配置された画素アレイ部と、前記画素アレイ部の前記画素の列ごとに、前記画素から出力される画素信号のＡＤ（ Analog-to-digital）変換処理を並列的に行うＡＤ変換部と、前記ＡＤ変換部においてＡＤ変換された画素信号を、前記画素の列ごとに任意の行数分保持するメモリ部と、前記メモリ部から任意の行および列の画素信号を読み出して、それらの画素信号間の演算を、前記画素の列ごとに並列的に行う画素間画像処理部と、前記ＡＤ変換部から出力される画素信号、および、前記画素間画像処理部から出力される画素信号の外部への出力を制御する出力回路と、前記画素アレイ部から前記ＡＤ変換部へ画素信号を読み出す画素読み出し処理、前記ＡＤ変換部による画素信号のＡＤ変換処理、前記画素間画像処理部による画素間画像処理、並びに、前記ＡＤ変換部および前記画素間画像処理からデータを出力するデータ出力処理を並行動作させる制御回路と、を備え、前記出力回路は、前記ＡＤ変換部から出力される画素信号、および、前記画素間画像処理部から出力される画素信号と、を交互に出力する。

【0009】

本開示の一側面の駆動方法は、光電変換機能を有する画素がアレイ状に配置された画素アレイ部と、前記画素アレイ部の前記画素の列ごとに、前記画素から出力される画素信号のＡＤ（Analog-to-digital）変換処理を並列的に行うＡＤ変換部と、前記ＡＤ変換部においてＡＤ変換された画素信号を、前記画素の列ごとに任意の行数分保持するメモリ部と、前記メモリ部から任意の行および列の画素信号を読み出して、それらの画素信号間の演算を、前記画素の列ごとに並列的に行う画素間画像処理部と、前記ＡＤ変換部から出力される画素信号、および、前記画素間画像処理部から出力される画素信号の外部への出力を制御する出力回路とを備える撮像素子の駆動方法において、前記画素アレイ部から前記ＡＤ変換部へ画素信号を読み出す画素読み出し処理、前記ＡＤ変換部による画素信号のＡＤ変換処理、前記画素間画像処理部による画素間画像処理、並びに、前記ＡＤ変換部および前記画素間画像処理からデータを出力するデータ出力処理を並行動作させ、前記出力回路により前記ＡＤ変換部から出力される画素信号、および、前記画素間画像処理部から出力される画素信号と、を交互に出力させる。

【0010】

本開示の一側面の電子機器は、光電変換機能を有する画素がアレイ状に配置された画素アレイ部と、前記画素アレイ部の前記画素の列ごとに、前記画素から出力される画素信号のＡＤ（Analog-to-digital）変換処理を並列的に行うＡＤ変換部と、前記ＡＤ変換部においてＡＤ変換された画素信号を、前記画素の列ごとに任意の行数分保持するメモリ部と、前記メモリ部から任意の行および列の画素信号を読み出して、それらの画素信号間の演算を、前記画素の列ごとに並列的に行う画素間画像処理部と、前記ＡＤ変換部から出力される画素信号、および、前記画素間画像処理部から出力される画素信号の外部への出力を制御する出力回路と、前記画素アレイ部から前記ＡＤ変換部へ画素信号を読み出す画素読み出し処理、前記ＡＤ変換部による画素信号のＡＤ変換処理、前記画素間画像処理部による画素間画像処理、並びに、前記ＡＤ変換部および前記画素間画像処理からデータを出力するデータ出力処理を並行動作させる制御回路と、を有し、前記出力回路は、前記ＡＤ変換部から出力される画素信号、および、前記画素間画像処理部から出力される画素信号と、を交互に出力する、撮像素子を備える。

【0011】

本開示の一側面においては、画素アレイ部には、光電変換機能を有する画素がアレイ状に配置され、ＡＤ変換部では、画素アレイ部の画素の列ごとに、画素から出力される画素信号のＡＤ変換処理を並列的に行われ、メモリ部には、ＡＤ変換部においてＡＤ変換された画素信号が、画素の列ごとに任意の行数分保持され、画素間画像処理部では、メモリ部から任意の行および列の画素信号を読み出して、それらの画素信号間の演算が、画素の列ごとに並列的に行われ、出力回路では、ＡＤ変換部から出力される画素信号、および、画素間画像処理部から出力される画素信号の外部への出力が制御される。

【発明の効果】

【0012】

本開示の一側面によれば、より低遅延で高速な画素間画像処理を行うことができる。

【図面の簡単な説明】

【0013】

【図1】本技術を適用した撮像素子の第１の実施の形態の構成例を示すブロック図である。

【図2】撮像素子の動作タイミングチャートを示す図である。

【図3】画素間画像処理回路の構成例を示すブロック図である。

【図4】出力制御の一例を示す図である。

【図5】撮像素子の第２の実施の形態の構成例を示すブロック図である。

【図6】撮像素子の第３の実施の形態の構成例を示すブロック図である。

【図7】出力制御の一例を示す図である。

【図8】撮像素子の第４の実施の形態の構成例を示すブロック図である。

【図9】撮像素子の第５の実施の形態の構成例を示すブロック図である。

【図10】撮像装置の構成例を示すブロック図である。

【図11】イメージセンサを使用する使用例を示す図である。

【発明を実施するための形態】

【0014】

以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。

【0015】

＜撮像素子の第１の構成例＞

【0016】

図１は、本技術を適用した撮像素子の第１の実施の形態の構成例を示すブロック図である。

【0017】

図１に示すように、撮像素子１１は、画素アレイ部１２、垂直走査回路１３、列並列ＡＤ（Analog-to-digital）変換部１４、列並列メモリ部１５、列並列画素間画像処理部１６、制御回路１７、および出力回路１８を備えて構成される。例えば、撮像素子１１は、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサである。また、図１に示す構成例では、撮像素子１１は、ある画素３１と、その画素３１を中心として上下方向および左右方向に隣接する他の４つの画素３１との間で画素間画像処理を行うことができる。

【0018】

画素アレイ部１２は、図示しない光学系により集光される光を受光する受光面である。
画素アレイ部１２には、複数の画素３１が２次元状に行列配置されており、それぞれの画素３１は、行制御線３２を介して行ごとに垂直走査回路１３に接続されるとともに、列信号線３３を介して列ごとに列並列ＡＤ変換部１４に接続される。複数の画素３１は、それぞれ光電変換機能を有しており、受光する光の光量に応じたレベルの画素信号を出力し、それらの画素信号から、画素アレイ部１２に結像する被写体の画像が構築される。

【0019】

垂直走査回路１３は、画素アレイ部１２に配置される複数の画素３１の行ごとに順次、それぞれの画素３１を駆動するための各種の駆動信号を、行制御線３２を介して画素３１に供給して、画素３１の行ごとに画素信号の読み出しを制御する。

【0020】

列並列ＡＤ変換部１４は、複数の画素３１から列信号線３３を介して出力される画素信号に対してCDS(Correlated Double Sampling：相関２重サンプリング)処理を施すことにより、画素信号のＡＤ変換を行うとともにリセットノイズを除去する。即ち、列並列ＡＤ変換部１４は、画素３１の列数に応じて配置される複数のＡＤ変換部３４を有して構成され、それぞれのＡＤ変換部３４において画素信号を並列的にＡＤ変換したデジタル信号を出力する。また、列並列ＡＤ変換部１４から出力される画素信号は、列並列メモリ部１５に供給されるとともに、バス１９を介して出力回路１８に供給される。

【0021】

なお、列並列ＡＤ変換部１４は、様々な回路構成を適用することができ、例えば、スロープ型のＡＤ変換回路をベースとした構成を適用した場合、電流源の制御により容易にＡＤ変換時の階調可変を実現することができるため好適である。例えば、列並列ＡＤ変換部１４は、制御回路１７による制御に従って、画素３１から出力される画素信号をＡＤ変換する際の階調可変を、画像処理の内容に応じた適切な階調となるように選択することができる。例えば、列並列ＡＤ変換部１４により階調を減らすことにより、撮像素子１１は、更なる高速画像処理を実現することができる。具体的には、撮像素子１１において、通常撮像時に１２ビットでＡＤ変換を行うのに対し、画像処理時には４ビットとすることで、スロープ型のＡＤ変換時間は１／２５６となり、ＡＤ変換時間の大幅な短縮が可能となる。

【0022】

列並列メモリ部１５は、列並列ＡＤ変換部１４から出力されるデジタルの画素信号を任意の行数分保持する。例えば、列並列メモリ部１５は、１画素分の画素信号を保持することができるメモリ回路３５が、画素３１の列ごとに、任意の行数に応じた個数で配置されて構成される。例えば、図１に示すように、撮像素子１１が、ある画素３１と、その画素３１を中心として上下方向および左右方向に隣接する他の４つの画素３１との間で画素間画像処理を行う構成の場合、列並列メモリ部１５は、画素３１の列ごとに３行分のメモリ回路３５－１乃至３５－３を有して構成される。

【0023】

列並列画素間画像処理部１６は、任意の列並列画素間演算を並列的に行うことができる。例えば、列並列画素間画像処理部１６は、画素３１の列数に応じて配置される複数の画素間画像処理回路３６を有して構成され、列並列画素間画像処理部１６は、列並列メモリ部１５の複数の任意の行および列のメモリ回路３５に接続されている。従って、列並列画素間画像処理部１６は、画素３１の列ごとの画素間画像処理回路３６が並列的に画素間画像処理を行うことで、複数の任意の行および列の画素３１どうしの間の画像処理を行うことができる。

【0024】

例えば、図１に示すように、撮像素子１１が、ある画素３１と、その画素３１を中心として上下方向および左右方向に隣接する他の４つの画素３１との間で画素間画像処理を行う構成の場合、列並列画素間画像処理部１６は、自身が配置された列のメモリ回路３５－１乃至３５－３と、その左右の列に配置された２つのメモリ回路３５－２が接続される。そして、列並列画素間画像処理部１６は、自身が配置された列のメモリ回路３５－２を中心として、上下方向および左右方向に隣接する他の４つのメモリ回路３５との間で、画素間画像処理を行うことができる。また、列並列画素間画像処理部１６において画素間画像処理が施された画素信号は、バス２０を介して出力回路１８に供給される。

【0025】

制御回路１７は、画素アレイ部１２、列並列ＡＤ変換部１４、列並列メモリ部１５、および列並列画素間画像処理部１６に対する制御を行う。

【0026】

出力回路１８は、バス１９を介して列並列ＡＤ変換部１４から供給される画素信号、および、バス２０を介して列並列画素間画像処理部１６から供給される画素信号のチップ外部への出力を制御する。出力回路１８は、例えば、垂直走査回路１３および制御回路１７と連携して、列並列ＡＤ変換部１４から供給される画素信号、および、列並列画素間画像処理部１６から供給される画素信号について、それらを同時に出力したり、それらを個別に出力したり、または、それらを交互に出力したりするなど、任意に制御することができる。

【0027】

以上のように撮像素子１１は構成されており、列並列ＡＤ変換部１４および列並列画素間画像処理部１６を並列動作させることができ、高速かつ低遅延の画素間画像処理を実現することができる。

【0028】

なお、図１の撮像素子１１においては、列並列メモリ部１５は、画素３１の列ごとに３行分のメモリ回路３５－１乃至３５－３を有し、それぞれを必要な範囲の画素間画像処理回路３６に接続する構成となっている。これに対し、撮像素子１１は、更に広範囲の画素間画像処理が必要な場合や、ベイヤ配列でカラーフィルタが配列され、同色の画素間画像処理が必要な場合には、メモリ回路３５の行数と画素間画像処理回路３６との接続を増やすことができる。これにより、撮像素子１１は、必要に応じて適切なメモリ規模と接続構成で画素間画像処理を実現することができる。

【0029】

また、撮像素子１１においては、メモリ回路３５は、行数だけでなく列方向にも自由度があり、例えば、列を間引くことにより、画素間画像処理回路３６との接続を増やさずに広範囲の画素間画像処理を実現することができる。また、単に遠方の画素間処理を必要とする場合には、メモリ回路３５を増加させるのではなく、画素３１の読み出し自体を、任意に間引きまたは加算することにより実現することができる。

【0030】

なお、メモリ回路３５は、SRAM（Static Random Access Memory）やDRAM（Dynamic Random Access Memory）のような汎用メモリを用いることも可能であるが、列並列の入出力制御が必要となるため、制御の簡単なフリップフロップ回路で構成することも可能である。

【0031】

図２は、撮像素子１１の動作タイミングチャートを示す図である。

【0032】

図２に示すように、撮像素子１１は、画素アレイ部１２から列並列ＡＤ変換部１４へ画素信号を読み出す画素読み出し処理、列並列ＡＤ変換部１４による画素信号のＡＤ変換処理、列並列ＡＤ変換部１４および列並列画素間画像処理部１６からデータを出力するデータ出力処理、および、列並列画素間画像処理部１６による画素間画像処理を並行動作させることができる。このように、撮像素子１１は、制御回路１７による制御に従って、画素読み出し処理、ＡＤ変換処理、データ出力処理、および画素間画像処理が並行動作するように、それぞれの処理が実行されることにより、撮像の高速性を実現することができる。

【0033】

即ち、撮像素子１１は、列並列メモリ部１５を介して、列並列ＡＤ変換部１４および列並列画素間画像処理部１６を並行動作させることができる。これにより、撮像素子１１は、列並列ＡＤ変換部１４によるＡＤ変換処理と同程度の高速な処理速度を維持したまま、列並列画素間画像処理部１６による画素間画像処理を実行することができる。即ち、撮像素子１１は、列並列画素間画像処理部１６により、列並列ＡＤ変換部１４によるＡＤ変換処理と並行動作を実現する行処理時間の程度に極めて遅延の少ない、高速かつ低遅延の画素間画像処理を実現することができる。

【0034】

なお、撮像素子１１において、列並列画素間画像処理部１６による画素間画像処理が不要な場合は、列並列画素間画像処理部１６をスタンバイまたは電源遮断することによって、列並列ＡＤ変換部１４を有する従来の撮像装置と同等の機能を備えることができる。

【0035】

また、撮像素子１１の実際の動作速度は、図２のタイミングチャートで示すように、並行動作する各並列処理に依存する。例えば、撮像素子１１において４ビットで各処理を行う場合、画素アレイ部１２から画素信号を読み出す画素読み出し処理を支配するセトリング時間についても、４ビット分の精度で規定することにより大幅な短縮を図ることができる。即ち、この場合、必要時間精度を２５６倍も緩和することができる。同様に、出力回路１８からデータを出力するデータ出力処理についても、４ビット分にデータ量が減ることにより１／２５６となり、列並列画素間画像処理部１６による画素間画像処理についても、ビット単位の演算が４ビットとなることにより１／３となる。このように、撮像素子１１は、全ての処理で並列処理時間を短縮することができ、センサ動作と画像処理の高速化を実現することができる。

【0036】

さらに、撮像素子１１は、画像処理時に階調を減らすことにより、メモリ回路３５や画素間画像処理回路３６の回路規模を小さくすることも可能となる。

【0037】

図３は、図１の画素間画像処理回路３６の構成例を示すブロック図である。

【0038】

図３に示すように、画素間画像処理回路３６は、ビット選択回路部４１、画素選択回路部４２、演算選択回路部４３、演算器４４、けた上がり制御部４５、出力回路部４６、作業用メモリ部４７、作業用メモリ内部選択回路４８、および作業用メモリ外部選択回路４９を備えて構成される。

【0039】

ビット選択回路部４１は、複数の画素信号の任意のビットを選択する。図３に示す構成例では、ビット選択回路部４１は、５個の選択器５１－１乃至５１－５を有して構成される。例えば、ビット選択回路部４１には、同一の列に配置されるメモリ回路３５－１乃至３５－３、および、左右の列に配置されている２つのメモリ回路３５－２の、合計５個のメモリ回路３５が接続されている。従って、ビット選択回路部４１は、５個の選択器５１－１乃至５１－５により、それぞれ接続されているメモリ回路３５に保持されている画素信号の任意のビットを選択する。

【0040】

画素選択回路部４２は、任意の画素信号を選択する。図３に示す構成例では、画素選択回路部４２は、２個の選択器５２－１および５２－２を有して構成される。選択器５２－１は、例えば、ビット選択回路部４１を介して供給される５つの画素信号の中から任意の画素信号を選択して出力し、選択器５２－２は、例えば、選択器５２－１により選択された画素信号との間で演算を行う対象となる画素信号を選択して出力する。

【0041】

演算選択回路部４３は、演算器４４に供給する画素信号を、画素選択回路部４２から入力される画素信号、作業用メモリ内部選択回路４８から入力される画素信号、図示しない他の画素間画像処理回路３６から入力される画素信号、および、外部から直接的に入力される画素信号から選択する。図３に示す構成例では、演算選択回路部４３は、２個の選択器５３－１および５３－２を有して構成される。

【0042】

選択器５３－１は、画素選択回路部４２の選択器５２－１により選択された画素信号、作業用メモリ内部選択回路４８の選択器５４－１により選択された画素信号、図示しない他の画素間画像処理回路３６から入力される画素信号、および、外部から直接的に入力される画素信号のいずれかを選択して、演算器４４に供給する。同様に、選択器５３－２は、画素選択回路部４２の選択器５２－２により選択された画素信号、作業用メモリ内部選択回路４８の選択器５４－２により選択された画素信号、図示しない他の画素間画像処理回路３６から入力される画素信号、および、外部から直接的に入力される画素信号のいずれかを選択して、演算器４４に供給する。

【0043】

演算器４４は、演算選択回路部４３から供給される２つの画素信号を用いて、それらの画素信号どうしの演算を行って出力する。

【0044】

けた上がり制御部４５は、演算器４４が演算を行う際に、けた上がり制御を行う。

【0045】

出力回路部４６は、演算器４４から出力される画素信号を一時的に保持することで、演算と出力との並列動作を可能とする。

【0046】

作業用メモリ部４７は、演算器４４から出力される画素信号を用いた演算を再度行う際に、その画素信号を用いることができるように一時的に保持する。

【0047】

作業用メモリ内部選択回路４８は、画素間画像処理回路３６の内部における演算用に、作業用メモリ部４７に保持されている画素信号を選択して出力する。図３に示す構成例では、作業用メモリ内部選択回路４８は、２個の選択器５４－１および５４－２を有して構成される。選択器５４－１は、選択した画素信号を演算選択回路部４３の選択器５３－１に供給し、選択器５４－２は、選択した画素信号を演算選択回路部４３の選択器５３－２に供給する。

【0048】

作業用メモリ外部選択回路４９は、図示しない他の画素間画像処理回路３６との間の演算用に、作業用メモリ部４７に保持されている画素信号を選択して出力する。図３に示す構成例では、作業用メモリ外部選択回路４９は、２個の選択器５５－１および５５－２を有して構成される。選択器５５－１は、選択した画素信号を、図示しない他の画素間画像処理回路３６の演算選択回路部４３の選択器５３－１に供給し、選択器５４－２は、選択した画素信号を、図示しない他の画素間画像処理回路３６の演算選択回路部４３の選択器５３－２に供給する。

【0049】

列並列画素間画像処理部１６は、このように構成される複数の画素間画像処理回路３６を有して構成され、列並列メモリ部１５との接続構成により、任意の１次元または２次元の画素間画像処理を行うことができる。例えば、列並列画素間画像処理部１６は、平滑化やエッジ抽出のような任意のたたみ込み演算処理や、コーナー抽出のような特徴量抽出を行うことができる。

【0050】

また、図１に示す構成例の撮像素子１１は、ある画素３１と、その画素３１を中心として上下方向および左右方向に隣接する他の４つの画素３１を用いた画素間画像処理を行うことを前提としている。従って、ビット選択回路部４１は、５個の選択器５１－１乃至５１－５を有する構成となっているが、必要に応じて列並列ＡＤ変換部１４と対応する形で、ビット選択回路部４１が有する選択器５１の個数を増加させることができる。これにより、撮像素子１１は、さらに広範囲の近接画素間画像処理を行うことができる。

【0051】

また、演算器４４については、ビットシリアルの２入力演算となるため、加算器と論理演算回路からなる簡易な基本構成とすることができる。例えば、演算器４４は、高速の並列処理に好適なSIMD（Single Instruction/Multiple Data）型の並列演算機能を備えることができる。

【0052】

図４に示すタイミングチャートを参照して、撮像素子１１の出力制御の一例について説明する。

【0053】

図４に示すように、撮像素子１１は、１２０ｆｐｓ（Frames Per Second）による通常速度による画像の出力と、９６０ｆｐｓの高速度による画像の出力とを交互に行うことができる。即ち、出力回路１８は、列並列ＡＤ変換部１４から出力される画素信号を１２０ｆｐｓで出力する出力制御と、列並列画素間画像処理部１６から出力される画素信号を９６０ｆｐｓで出力する出力制御とを交互に行う。これにより、撮像素子１１は、６０ｆｐｓ相当の通常の画像を連続的に出力しながら、その間に９６０ｆｐｓで高速画像処理された画像の出力をバックグランド的に行うことができる。

【0054】

また、出力回路１８は、列並列ＡＤ変換部１４および列並列画素間画像処理部１６それぞれの出力の全部または一部を用いて、例えば、モーメント演算やヒストグラム処理のような積算的または統計的な処理を随時行うことができる。そして、撮像素子１１は、それらの処理が施された画素信号を出力することができる。

【0055】

以上のように、撮像素子１１は、列並列画素間画像処理部１６の前段に、列並列ＡＤ変換部１４および列並列メモリ部１５を備える構成とすることで、列並列ＡＤ変換部１４の出力と列並列画素間画像処理部１６の出力とを並列的に行わせることができる。これにより、撮像素子１１は、画素アレイ部１２および列並列ＡＤ変換部１４に制約を与えない利点を維持しながら、従来の列並列画像処理では不可能であった低遅延かつ高速な画素間画像処理を実現することができる。

【0056】

＜撮像素子の第２の構成例＞

【0057】

図５は、撮像素子の第２の構成例を示すブロック図である。なお、図５に示す撮像素子１１Ａにおいて、図１の撮像素子１１と共通する構成については同一の符号を付し、その詳細な説明は省略する。

【0058】

即ち、図５に示すように、撮像素子１１Ａは、画素アレイ部１２、垂直走査回路１３、列並列ＡＤ変換部１４、列並列メモリ部１５、列並列画素間画像処理部１６、制御回路１７、および出力回路１８を備える点で、図１の撮像素子１１と共通する。

【0059】

そして、撮像素子１１Ａは、列並列階調変換部２１、フレームメモリ部２２、および列並列フレーム間画像処理部２３を、さらに備えて構成される。

【0060】

列並列階調変換部２１は、列並列画素間画像処理部１６において列並列画素間画像処理が施された画素信号に対して、列ごとに並列的に、任意の閾値に基づいた階調変換処理を施すことができる。即ち、列並列階調変換部２１は、画素３１の列数に応じて配置される複数の階調変換回路３７を有して構成され、階調変換回路３７は、それぞれ対応する列の画素間画像処理回路３６から出力される画素信号を階調変換して出力する。

【0061】

また、列並列階調変換部２１は、制御回路１７による制御に従って、画素信号の階調を変更する際の階調を変更することができる。このとき、列並列ＡＤ変換部１４において階調を変更する可変範囲が、列並列階調変換部２１において階調を変更する可変範囲以上に設定されている。

【0062】

フレームメモリ部２２は、列並列階調変換部２１において階調変換して出力される画素信号の１フレーム分を保持する。

【0063】

列並列フレーム間画像処理部２３は、列並列階調変換部２１から出力される画素信号に基づく画像と、フレームメモリ部２２に保持されている１フレーム前の画素信号に基づく画像とを用いて、フレーム間の画像処理を行う。即ち、列並列フレーム間画像処理部２３は、画素３１の列数に応じて配置される複数のフレーム間画像処理回路３８を有して構成され、フレーム間画像処理回路３８は、現在のフレームの画像と、１フレーム前の画像との間の信号処理を列並列的に行う。このようなフレーム間の画像処理を行うことにより、列並列フレーム間画像処理部２３は、例えば、フレーム間における被写体の動きの検出を行うことができる。

【0064】

このように構成される撮像素子１１Ａは、図１の撮像素子１１と同様に、制御回路１７は、画素読み出し処理、ＡＤ変換処理、データ出力処理、並びに、画素間画像処理を並列動作させることができるのに加えて、列並列フレーム間画像処理部２３によるフレーム間画像処理も並列動作させることができる。即ち、撮像素子１１Ａは、フレームメモリ部２２を介して、列並列フレーム間画像処理部２３によるフレーム間画像処理を、列並列ＡＤ変換部１４のＡＤ変換処理（図２）と並列動作させることができる。これにより、撮像素子１１Ａは、高速かつ低遅延で、画素間画像処理およびフレーム間画像処理を行うことができる。

【0065】

さらに、撮像素子１１Ａは、列並列画素間画像処理部１６によりノイズ除去等の適切なフィルタ前処理を施した画像を用いて、列並列フレーム間画像処理部２３によりフレーム間画像処理を行うことができる。このため、撮像素子１１Ａは、誤認識の発生を抑制して、より高精度のフレーム間画像処理を実現することができる。

【0066】

さらに、撮像素子１１Ａは、図１の撮像素子１１と同様に、列並列フレーム間画像処理部２３によるフレーム間画像処理が不要な場合は、列並列フレーム間画像処理部２３をスタンバイまたは電源遮断することによって、従来の撮像装置と同等に扱うことができる。

【0067】

また、撮像素子１１Ａでは、列並列階調変換部２１が、列並列フレーム間画像処理部２３のフレーム間画像処理で必要な範囲に階調を削減する。その後、撮像素子１１Ａでは、フレームメモリ部２２に保持された１フレーム前の階調が削減された画素信号と、現在のフレームの階調が削減された画素信号とを用いて、列並列フレーム間画像処理部２３がフレーム間画像処理を行う。このような処理により、撮像素子１１Ａは、フレームメモリ部２２を最低限の容量の構成として、フレーム間画像処理を実現することができる。

【0068】

ここで、フレームメモリ部２２は、フリップフロップ回路でも構成することも可能である。しかしながら、フレームメモリ部２２は、図１の撮像素子１１の列並列メモリ部１５よりも容量が大きくなるため、SRAMやDRAMなどのような汎用メモリにより構成することが好ましい。そして、フレームメモリ部２２は、列並列処理において一時的な作業用に必要な最低限の容量を、フリップフロップ回路で構成することが現実的である。

【0069】

また、フレーム間画像処理回路３８は、図３を参照して説明した画素間画像処理回路３６と同様の構成を採用することができる。なお、フレーム間画像処理回路３８が、フレーム間における被写体の動きの有無を検出のような単純な処理に特化する場合、論理演算回路を基本とした簡易な構成とすることができる。

【0070】

また、撮像素子１１Ａでは、列並列フレーム間画像処理部２３がバス２４を介して出力回路１８に接続される構成となっている。従って、出力回路１８は、例えば、垂直走査回路１３および制御回路１７と連携して、列並列ＡＤ変換部１４から供給される画素信号、列並列画素間画像処理部１６から供給される画素信号、および、列並列フレーム間画像処理部２３から出力される画素信号について、それらを同時に出力したり、それらを個別に出力したり、または、それらを交互に出力したりするなど、任意に制御することができる。

【0071】

以上のように、撮像素子１１Ａは、図１の撮像素子１１の構成に追加して、列並列画素間画像処理部１６の後段に、列並列階調変換部２１、フレームメモリ部２２、および列並列フレーム間画像処理部２３を設ける構成となっている。これにより、撮像素子１１Ａは、画素間画像処理に加えて、高速かつ低遅延のフレーム間画像処理を最低限のメモリ量で実現することができる。さらに、撮像素子１１Ａは、通常の撮像も可能としながら、階調を減らした際には、さらなる高速な列並列画像処理を実現することができる。

【0072】

＜撮像素子の第３の構成例＞

【0073】

図６は、撮像素子の第３の構成例を示すブロック図である。なお、図６に示す撮像素子１１Ｂにおいて、図１の撮像素子１１と共通する構成については同一の符号を付し、その詳細な説明は省略する。

【0074】

即ち、図６に示すように、撮像素子１１Ｂは、画素アレイ部１２、垂直走査回路１３、列並列メモリ部１５、列並列画素間画像処理部１６、制御回路１７、および出力回路１８を備える点で、図１の撮像素子１１と共通する。

【0075】

そして、撮像素子１１Ｂは、画素アレイ部１２の垂直方向の下方に列並列ＡＤ変換部１４－１が配置されるとともに、画素アレイ部１２の垂直方向の上方に列並列ＡＤ変換部１４－２が配置される構成となっている。そして、撮像素子１１Ｂは、例えば、画素アレイ部１２の奇数行の画素３１は、列信号線３３－１を介して列並列ＡＤ変換部１４－１に接続され、画素アレイ部１２の偶数行の画素３１は、列信号線３３－２を介して列並列ＡＤ変換部１４－２に接続されている。

【0076】

列並列ＡＤ変換部１４－１は、画素アレイ部１２の奇数行の画素３１に応じた個数のＡＤ変換部３４－１を有して構成され、それぞれのＡＤ変換部３４－１において画素信号を並列的にＡＤ変換したデジタル信号を、バス１９を介して出力回路１８に供給する。

【0077】

列並列ＡＤ変換部１４－２は、画素アレイ部１２の偶数行の画素３１に応じた個数のＡＤ変換部３４－２を有して構成され、それぞれのＡＤ変換部３４－２において画素信号を並列的にＡＤ変換したデジタル信号を、バス２５を介して出力回路１８に供給する。列並列ＡＤ変換部１４－１および列並列ＡＤ変換部１４－２は、それぞれ同等の性能を備えることが好ましい。

【0078】

また、撮像素子１１Ｂでは、列並列ＡＤ変換部１４－２が、１行分の画素信号を第１の階調でＡＤ変換している間に、列並列ＡＤ変換部１４－１が、１行分の画素信号を第１の階調よりも小さな第２の階調でＡＤ変換するように構成されている。

【0079】

このように、撮像素子１１Ｂは、画素アレイ部１２に対して向かい合うように列並列ＡＤ変換部１４－１および列並列ＡＤ変換部１４－２が配置された構成となっている。なお、例えば、画素アレイ部１２に対して同じ側に、列並列ＡＤ変換部１４－１および列並列ＡＤ変換部１４－２が配置されるような構成としてもよく、この場合、バス２５の引き回しを短縮することができる。

【0080】

また、出力回路１８は、列並列ＡＤ変換部１４－１および１４－２並びに列並列画素間画像処理部１６それぞれの出力の全部または一部を用いて、例えば、モーメント演算やヒストグラム処理のような積算的または統計的な処理を随時行うことができる。そして、撮像素子１１Ｂは、それらの処理が施された画素信号を出力することができる。

【0081】

以上のように構成される撮像素子１１Ｂにおいて、図１の撮像素子１１と同様に、制御回路１７は、画素読み出し処理、列並列ＡＤ変換部１４－１および１４－２によるＡＤ変換処理、データ出力処理、並びに、画素間画像処理を並列動作させることができる。これにより、出力回路１８は、例えば、垂直走査回路１３および制御回路１７と連携して、列並列ＡＤ変換部１４－１および１４－２から供給される画素信号、列並列画素間画像処理部１６から供給される画素信号、および、列並列フレーム間画像処理部２３から出力される画素信号について、それらを同時に出力したり、それらを個別に出力したり、または、それらを交互に出力したりするなど、任意に制御することができる。

【0082】

図７に示すタイミングチャートを参照して、撮像素子１１Ｂの出力制御の一例について説明する。

【0083】

図７に示すように、撮像素子１１Ｂは、６０ｆｐｓによる通常速度による画像の出力と、９６０ｆｐｓの高速度による画像の出力とを、同時並行に行うことができる。即ち、出力回路１８は、列並列ＡＤ変換部１４－２から出力される画素信号を６０ｆｐｓで出力する出力制御と、列並列ＡＤ変換部１４－１を介して列並列画素間画像処理部１６から出力される画素信号を９６０ｆｐｓで出力する出力制御とを同時に行う。

【0084】

また、撮像素子１１Ｂは、例えば、列並列画素間画像処理部１６による画像処理を行わない場合には、６０ｆｐｓ相当の通常の画像を連続的に出力することができる。そして、列並列画素間画像処理部１６による画像処理を行う場合には、６０ｆｐｓ相当の通常の画像の出力と同時並行的に、９６０ｆｐｓで高速画像処理された画像の出力を行うことができる。

【0085】

なお、撮像素子１１Ｂは、列並列ＡＤ変換部１４－２の出力側に、列並列ＡＤ変換部１４－１の出力側と同様に、列並列メモリ部１５および列並列画素間画像処理部１６と等価なブロックを配置する構成とすることも可能である。撮像素子１１Ｂに、この構成を採用することで、回路面積が大きくなるものの、さらなる画像処理の高速化を実現することができる。

【0086】

さらに、撮像素子１１Ｂは、列並列的に処理を行うブロックを縦列多段等に配置して増加することにより、回路面積および消費電力がトレードオフであるが、さらなる画像処理の高速化が可能である。

【0087】

＜撮像素子の第４の構成例＞

【0088】

図８は、撮像素子の第４の構成例を示すブロック図である。なお、図８に示す撮像素子１１Ｃにおいて、図５の撮像素子１１Ａおよび図６の撮像素子１１Ｂと共通する構成については同一の符号を付し、その詳細な説明は省略する。

【0089】

即ち、図８に示すように、撮像素子１１Ｃは、図５の撮像素子１１Ａおよび図６の撮像素子１１Ｂそれぞれの構成を備えている。つまり、撮像素子１１Ｃは、画素アレイ部１２、垂直走査回路１３、列並列ＡＤ変換部１４－１および１４－２、列並列メモリ部１５、列並列画素間画像処理部１６、制御回路１７、出力回路１８、列並列階調変換部２１、フレームメモリ部２２、並びに、列並列フレーム間画像処理部２３を備えて構成される。

【0090】

このように構成される撮像素子１１Ｃは、図５の撮像素子１１Ａと同様に、列並列的にフレーム間画像処理を実行することに加え、図６の撮像素子１１Ｂと同様に、６０ｆｐｓによる通常速度による画像の出力と、９６０ｆｐｓの高速度による画像の出力とを、同時並行に行うことができる。

【0091】

＜撮像素子の第５の構成例＞

【0092】

図９は、撮像素子の第５の構成例を示すブロック図である。なお、図９に示す撮像素子１１Ｄにおいて、図８の撮像素子１１Ｃと共通する構成については同一の符号を付し、その詳細な説明は省略する。

【0093】

即ち、撮像素子１１Ｄは、撮像素子１１Ｃと同様に、画素アレイ部１２、垂直走査回路１３、列並列ＡＤ変換部１４－１および１４－２、列並列メモリ部１５、列並列画素間画像処理部１６、制御回路１７、出力回路１８、列並列階調変換部２１、フレームメモリ部２２、並びに、列並列フレーム間画像処理部２３を備えて構成される。

【0094】

そして、撮像素子１１Ｄは、２層の半導体チップ６１－１および半導体チップ６１－２が積層された積層構造となっており、半導体チップ６１－１および半導体チップ６１－２の間の配線が、接続部６２により接合される構成となっている。例えば、半導体チップ６１－１には、画素アレイ部１２、垂直走査回路１３、並びに、列並列ＡＤ変換部１４－１および１４－２が配置される。また、半導体チップ６１－２には、列並列メモリ部１５、列並列画素間画像処理部１６、制御回路１７、出力回路１８、列並列階調変換部２１、フレームメモリ部２２、および列並列フレーム間画像処理部２３が配置される。

【0095】

このように構成される撮像素子１１Ｄは、列並列回路部分（列並列メモリ部１５、列並列画素間画像処理部１６、制御回路１７、出力回路１８、列並列階調変換部２１、フレームメモリ部２２、および列並列フレーム間画像処理部２３など）が、画素アレイ部１２に対して折り返した積層構造となるような配置されている。これにより、撮像素子１１Ｄは、列並列回路部分が画素アレイ部１２に対して連なる縦長構成に対して、チップサイズを大幅に縮小することができる。

【0096】

また、撮像素子１１Ｄは、図示するように、画素アレイ部１２を含む半導体チップ６１－１とは別に、列並列回路部分が半導体チップ６１－２に纏められる構成となっている。これにより、撮像素子１１Ｄは、半導体チップ６１－２において、画素・アナログ技術に依存しない最先端ロジックプロセスを使用することができ、面積効率や信号線の引き回しなどにおいてメリットを備える。

【0097】

さらに、撮像素子１１Ｄは、列並列ＡＤ変換部１４－１および１４－２の出力が半導体チップ６１－２に接続される構成となっている。これに対し、例えば、半導体チップ６１－１と半導体チップ６１－２との面積バランスやチッププロセスに応じて、他の出力が半導体チップ６１－２に接続される構成とすることができる。また、撮像素子１１Ｄは、その他の回路配置についても、図９の構成例に限定されることはない。

【0098】

また、撮像素子１１Ｄにおいて、接続部６２は、例えば、半田技術を用いたバンプ接合や、半導体プロセスを応用した基板貫通電極などの種々の方法を採用することができ。特定の方法に限定されることはない。

【0099】

さらに、撮像素子１１Ｄは、半導体チップ６１－１および半導体チップ６１－２の２チップの積層構造に限定されることはない。例えば、大容量のフレームメモリ部２２を使用する場合などは、DRAMのような大容量メモリに好適なプロセスチップを、半導体チップ６１－１と半導体チップ６１－２の間に挟んで、３チップの積層構造を採用することができる。即ち、撮像素子１１Ｄは、列並列メモリ部１５、列並列画素間画像処理部１６、制御回路１７、出力回路１８、列並列階調変換部２１、および列並列フレーム間画像処理部２３を３層目の半導体チップに配置した構成とすることができる。

【0100】

なお、上述したような撮像素子１１は、例えば、デジタルスチルカメラやデジタルビデオカメラなどの撮像システム、撮像機能を備えた携帯電話機、または、撮像機能を備えた他の機器といった各種の電子機器に適用することができる。

【0101】

＜撮像装置の構成例＞

【0102】

図１０は、電子機器に搭載される撮像装置の構成例を示すブロック図である。

【0103】

図１０に示すように、撮像装置１０１は、光学系１０２、撮像素子１０３、信号処理回路１０４、モニタ１０５、およびメモリ１０６を備えて構成され、静止画像および動画像を撮像可能である。

【0104】

光学系１０２は、１枚または複数枚のレンズを有して構成され、被写体からの像光（入射光）を撮像素子１０３に導き、撮像素子１０３の受光面（画素アレイ部）に結像させる。

【0105】

撮像素子１０３としては、上述した撮像素子１１が適用される。撮像素子１０３には、光学系１０２を介して受光面に結像される像に応じて、一定期間、電子が蓄積される。そして、撮像素子１０３に蓄積された電子に応じた信号が信号処理回路１０４に供給される。

【0106】

信号処理回路１０４は、撮像素子１０３から出力された画素信号に対して各種の信号処理を施す。信号処理回路１０４が信号処理を施すことにより得られた画像（画像データ）は、モニタ１０５に供給されて表示されたり、メモリ１０６に供給されて記憶（記録）されたりする。

【0107】

このように構成されている撮像装置１０１では、上述した撮像素子１１を適用することで、例えば、より低遅延で高速な画素間画像処理を施した画像を撮像することができる。

【0108】

＜イメージセンサの使用例＞

【0109】

図１１は、上述のイメージセンサ（撮像素子１１）を使用する使用例を示す図である。

【0110】

上述したイメージセンサは、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。

【0111】

・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置

【0112】

なお、本技術は以下のような構成も取ることができる。
（１）
光電変換機能を有する画素がアレイ状に配置された画素アレイ部と、
前記画素アレイ部の前記画素の列ごとに、前記画素から出力される画素信号のＡＤ（Analog-to-digital）変換処理を並列的に行うＡＤ変換部と、
前記ＡＤ変換部においてＡＤ変換された画素信号を、前記画素の列ごとに任意の行数分保持するメモリ部と、
前記メモリ部から任意の行および列の画素信号を読み出して、それらの画素信号間の演算を、前記画素の列ごとに並列的に行う画素間画像処理部と、
前記ＡＤ変換部から出力される画素信号、および、前記画素間画像処理部から出力される画素信号の外部への出力を制御する出力回路と
を備える撮像素子。
（２）
前記画素アレイ部から前記ＡＤ変換部へ画素信号を読み出す画素読み出し処理、前記ＡＤ変換部による画素信号のＡＤ変換処理、前記画素間画像処理部による画素間画像処理、並びに、前記ＡＤ変換部および前記画素間画像処理からデータを出力するデータ出力処理を並行動作させる制御回路
をさらに備える上記（１）に記載の撮像素子。
（３）
前記ＡＤ変換部は、前記制御回路による制御に従って、前記画素信号をＡＤ変換する際の階調を変更する
上記（２）に記載の撮像素子。
（４）
前記画素間画像処理部は、
前記メモリ部に保持されている画素信号のうちの、画素間画像処理を行う対象とする画素信号を選択する画素選択回路と、
前記画素選択回路により選択された画素信号どうしの演算を行う演算器と、
前記演算器による演算が施された画素信号を一時的に保持する作業用メモリと、
前記演算器による演算が施された画素信号を出力する出力回路部と
を有し、
前記演算器は、前記画素アレイ部における前記画素の列ごとに並列的に配置され、SIMD（Single Instruction/Multiple Data）型の並列演算機能を備える
上記（１）から（３）までのいずれかに記載の撮像素子。
（５）
前記出力回路は、前記ＡＤ変換部から出力される画素信号、および、前記画素間画像処理部から出力される画素信号について、それらを同時に出力し、それらを個別に出力し、または、それらを交互に出力することができる
上記（１）から（４）までのいずれかに記載の撮像素子。
（６）
前記画素間画像処理部において画素間画像処理が施された画素信号に対して、列ごとに並列的に、任意の閾値に基づいた階調変換処理を施す階調変換部と、
前記階調変換部により階調変換処理が施された１フレーム分の画素信号を保持するフレームメモリ部と、
前記階調変換部から出力される画素信号に基づく画像と、フレームメモリ部に保持されている１フレーム前の画素信号に基づく画像とを用いて、フレーム間の画像処理を行うフレーム間画像処理部と
をさらに備える上記（１）から（５）までのいずれかに記載の撮像素子。
（７）
前記画素アレイ部から前記ＡＤ変換部へ画素信号を読み出す画素読み出し処理、前記ＡＤ変換部による画素信号のＡＤ変換処理、前記画素間画像処理部による画素間画像処理、前記ＡＤ変換部および前記画素間画像処理からデータを出力するデータ出力処理、並びに、前記フレーム間画像処理部によるフレーム間の画像処理を並行動作させる制御回路
をさらに備える上記（６）に記載の撮像素子。
（８）
前記ＡＤ変換部および前記階調変換部は、前記制御回路による制御に従って階調を変更し、前記ＡＤ変換部において階調を変更する可変範囲が、前記階調変換部において階調を変更する可変範囲以上である
上記（７）に記載の撮像素子。
（９）
前記フレーム間画像処理部は、
前記フレームメモリ部に保持されている画素信号のうちの、フレーム間画像処理を行う対象とする画素信号を選択する画素選択回路と、
前記画素選択回路により選択された画素信号どうしの演算を行う演算器と、
前記演算器による演算が施された画素信号を一時的に保持する作業用メモリと、
前記演算器による演算が施された画素信号を出力する出力回路部と
を有し、
前記演算器は、前記画素アレイ部における前記画素の列ごとに並列的に配置され、SIMD（Single Instruction/Multiple Data）型の並列演算機能を備える
上記（６）から（８）までのいずれかに記載の撮像素子。
（１０）
前記出力回路は、前記ＡＤ変換部から出力される画素信号、前記画素間画像処理部から出力される画素信号、および、前記フレーム間画像処理部から出力される画素信号について、それらを同時に出力し、それらを個別に出力し、または、それらを交互に出力することができる
上記（６）から（９）までのいずれかに記載の撮像素子。
（１１）
前記ＡＤ変換部は、前記画素アレイ部の向かい合う２辺に対して並列に配置されるように複数設けられ、
複数の前記ＡＤ変換部のうちの、いずれか１つの前記ＡＤ変換部の出力に対して、前記メモリ部および前記画素間画像処理部が設けられており、
複数の前記ＡＤ変換部それぞれの出力が前記出力回路に接続されている
上記（１）から（１０）までのいずれかに記載の撮像素子。
（１２）
前記画素アレイ部から前記ＡＤ変換部へ画素信号を読み出す画素読み出し処理、複数の前記ＡＤ変換部による画素信号のＡＤ変換処理、前記画素間画像処理部による画素間画像処理、並びに、前記ＡＤ変換部および前記画素間画像処理からデータを出力するデータ出力処理を並行動作させる制御回路
をさらに備える上記（１１）に記載の撮像素子。
（１３）
複数の前記ＡＤ変換部のうちの、出力に対して前記メモリ部および前記画素間画像処理部が設けられていない前記ＡＤ変換部が、１行分の画素信号を第１の階調でＡＤ変換している間に、出力に対して前記メモリ部および前記画素間画像処理部が設けられている前記ＡＤ変換部が、１行分の画素信号を第１の階調よりも小さな第２の階調でＡＤ変換する
上記（１１）または（１２）に記載の撮像素子。
（１４）
前記出力回路は、複数の前記ＡＤ変換部から出力される画素信号、および、前記画素間画像処理部から出力される画素信号について、それらを同時に出力し、それらを個別に出力し、または、それらを交互に出力することができる
上記（１１）から（１３）までのいずれかに記載の撮像素子。
（１５）
前記画素アレイ部を少なくとも含むアナログ部分と、ＡＤ変換された画素信号に対する処理を行う部分とが異なるチップに設けられ、それらのチップが積層構造で構成される
上記（１）から（１４）までのいずれかに記載の撮像素子。
（１６）
複数の前記チップの間が列並列に貫通電極またはバンプによる接合手段により接続される
上記（１５）に記載の撮像素子。
（１７）
光電変換機能を有する画素がアレイ状に配置された画素アレイ部と、
前記画素アレイ部の前記画素の列ごとに、前記画素から出力される画素信号のＡＤ（Analog-to-digital）変換処理を並列的に行うＡＤ変換部と、
前記ＡＤ変換部においてＡＤ変換された画素信号を、前記画素の列ごとに任意の行数分保持するメモリ部と、
前記メモリ部から任意の行および列の画素信号を読み出して、それらの画素信号間の演算を、前記画素の列ごとに並列的に行う画素間画像処理部と、
前記ＡＤ変換部から出力される画素信号、および、前記画素間画像処理部から出力される画素信号の外部への出力を制御する出力回路と
を備える撮像素子の駆動方法において、
前記画素アレイ部から前記ＡＤ変換部へ画素信号を読み出す画素読み出し処理、前記ＡＤ変換部による画素信号のＡＤ変換処理、前記画素間画像処理部による画素間画像処理、並びに、前記ＡＤ変換部および前記画素間画像処理からデータを出力するデータ出力処理を並行動作させる
駆動方法。
（１８）
光電変換機能を有する画素がアレイ状に配置された画素アレイ部と、
前記画素アレイ部の前記画素の列ごとに、前記画素から出力される画素信号のＡＤ（Analog-to-digital）変換処理を並列的に行うＡＤ変換部と、
前記ＡＤ変換部においてＡＤ変換された画素信号を、前記画素の列ごとに任意の行数分保持するメモリ部と、
前記メモリ部から任意の行および列の画素信号を読み出して、それらの画素信号間の演算を、前記画素の列ごとに並列的に行う画素間画像処理部と、
前記ＡＤ変換部から出力される画素信号、および、前記画素間画像処理部から出力される画素信号の外部への出力を制御する出力回路と
を有する撮像素子を備える電子機器。

【0113】

なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

【符号の説明】

【0114】

１１ 撮像素子， １２ 画素アレイ部， １３ 垂直走査回路， １４ 列並列ＡＤ変換部， １５ 列並列メモリ部， １６ 列並列画素間画像処理部， １７ 制御回路， １８ 出力回路， １９および２０ バス， ２１ 列並列階調変換部， ２２ フレームメモリ部， ２３ 列並列フレーム間画像処理部， ２４および２５ バス， ３１ 画素， ３２ 行制御線， ３３ 列信号線， ３４ ＡＤ変換部， ３５ メモリ回路， ３６ 画素間画像処理回路， ３７ 階調変換回路， ３８ フレーム間画像処理回路， ４１ ビット選択回路部， ４２ 画素選択回路部， ４３ 演算選択回路部， ４４ 演算器， ４５ けた上がり制御部， ４６ 出力回路部， ４７ 作業用メモリ部， ４８ 作業用メモリ内部選択回路， ４９ 作業用メモリ外部選択回路， ５１乃至５５ 選択器， ６１ 半導体チップ， ６２ 接続部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】