IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニーセミコンダクタソリューションズ株式会社の特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-08
(45)【発行日】2023-11-16
(54)【発明の名称】記憶回路および撮像装置
(51)【国際特許分類】
   H04N 25/77 20230101AFI20231109BHJP
   H04N 25/78 20230101ALI20231109BHJP
   G06F 12/00 20060101ALI20231109BHJP
   G06F 12/06 20060101ALI20231109BHJP
【FI】
H04N25/77
H04N25/78
G06F12/00 580
G06F12/06 515H
【請求項の数】 10
(21)【出願番号】P 2020549998
(86)(22)【出願日】2019-08-09
(86)【国際出願番号】 JP2019031675
(87)【国際公開番号】W WO2020075380
(87)【国際公開日】2020-04-16
【審査請求日】2022-06-23
(31)【優先権主張番号】P 2018193011
(32)【優先日】2018-10-12
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】316005926
【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社
(74)【代理人】
【識別番号】100112955
【弁理士】
【氏名又は名称】丸島 敏一
(72)【発明者】
【氏名】川崎 凌平
【審査官】松永 隆志
(56)【参考文献】
【文献】特開2015-126043(JP,A)
【文献】特開2013-110730(JP,A)
【文献】特開2012-161097(JP,A)
【文献】特開平06-318391(JP,A)
【文献】国際公開第2018/037902(WO,A1)
【文献】国際公開第2017/018215(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 23/00-25/79
G06F 12/00
G06F 12/06
(57)【特許請求の範囲】
【請求項1】
複数の記憶素子と、
クロックに同期してカウント値を順次出力するカウンタと、
前記複数の記憶素子の各々に対応して設けられて、前記カウント値が所定の値になったことを検知した際に前記対応する記憶素子からその記憶内容を読み出すよう制御する複数のデコーダと、
前記複数の記憶素子の何れかから読み出された記憶内容を出力する出力部と
を具備し、
前記複数のデコーダは、互いに異なる値を前記所定の値として検知し、
前記複数の記憶素子、前記複数のデコーダおよび前記カウンタは、所定のクラスタを構成し、
前記カウンタは、クラスタ選択信号によって当該クラスタが選択されているときに前記カウント値を順次出力し、
前記出力部は、前記クラスタ選択信号によって当該クラスタが選択されているときに前記読み出された記憶内容を出力する
記憶回路。
【請求項2】
前記クラスタ選択信号は、前記カウンタのリセット端子に入力され、
前記カウンタは、前記クラスタ選択信号が有効状態に遷移した際に、初期値からカウントを開始する
請求項1記載の記憶回路。
【請求項3】
前記出力部は、前記複数の記憶素子のうち互いに異なる記憶素子からの記憶内容を前記カウント値に従って出力する複数の出力回路を備える
請求項1記載の記憶回路。
【請求項4】
前記出力部からの出力を前記クロックに同期して次段に転送する複数段のシフトレジスタを備える転送部をさらに具備する請求項1記載の記憶回路。
【請求項5】
前記シフトレジスタは、前記クロックに同期する第1および第2のシフトレジスタを含み、
前記複数の記憶素子、前記複数のデコーダおよび前記カウンタは、前記第1および第2のシフトレジスタについてそれぞれ個別に設けられる
請求項4記載の記憶回路。
【請求項6】
前記シフトレジスタは、前記クロックに同期する第1および第2のシフトレジスタを含み、
前記複数の記憶素子および前記複数のデコーダは、前記第1および第2のシフトレジスタについてそれぞれ個別に設けられ、
前記カウンタは、前記第1および第2のシフトレジスタの間で共有される
請求項4記載の記憶回路。
【請求項7】
前記シフトレジスタは、前記クロックに同期する第1および第2のシフトレジスタを含み、
前記複数の記憶素子は、前記第1および第2のシフトレジスタについてそれぞれ個別に設けられ、
前記カウンタおよび前記複数のデコーダは、前記第1および第2のシフトレジスタの間で共有される
請求項4記載の記憶回路。
【請求項8】
前記出力部からの出力を前記クロックに同期して次段に転送する複数段のシフトレジスタを備える転送部をさらに具備し、
前記複数段のシフトレジスタの各々には、1つの前記クラスタの出力が供給される
請求項記載の記憶回路。
【請求項9】
前記出力部からの出力を前記クロックに同期して次段に転送する複数段のシフトレジスタを備える転送部をさらに具備し、
前記複数段のシフトレジスタの各々には、複数の前記クラスタが接続され、前記クラスタ選択信号によって選択されたクラスタからの出力が供給される
請求項記載の記憶回路。
【請求項10】
2次元状に配置された複数の画素と、
前記複数の画素の値を記憶する複数の記憶素子と、
クロックに同期してカウント値を順次出力するカウンタと、
前記複数の記憶素子の各々に対応して設けられて、前記カウント値が所定の値になったことを検知した際に前記対応する記憶素子からその記憶内容を読み出すよう制御する複数のデコーダと、
前記複数の記憶素子の何れかから読み出された記憶内容を出力する出力部と
を具備し、
前記複数のデコーダは、互いに異なる値を前記所定の値として検知し、
前記複数の記憶素子、前記複数のデコーダおよび前記カウンタは、所定のクラスタを構成し、
前記カウンタは、クラスタ選択信号によって当該クラスタが選択されているときに前記カウント値を順次出力し、
前記出力部は、前記クラスタ選択信号によって当該クラスタが選択されているときに前記読み出された記憶内容を出力する
撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、記憶回路に関する。詳しくは、画素データを記憶する記憶回路およびその記憶回路を備える撮像装置に関する。
【背景技術】
【0002】
従来の撮像装置においては、画素アレイから読み出された画素データを一旦データ記憶部に記憶させ、その後、画素領域内のワードアドレスに従って画素データを読み出して、後段の処理のために転送を行う。例えば、読出しタイミングを制御する制御信号に従って読出しを行う撮像装置が提案されている(例えば、特許文献1参照。)。
【先行技術文献】
【特許文献】
【0003】
【文献】国際公開第2018/037902号
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述の従来技術では、記憶素子を選択する制御信号の制御線がグローバルに配置されており、制御線の遷移回数を抑制するために、画素領域の単位毎の同じアドレスの画素データが順に読み出される。そのため、画素の並びを維持した状態で画素データをセンサ外へ出力するためには、フレーム全体の画素データをフレームメモリに保持させて並び替えを行う必要が生じてしまう。
【0005】
本技術はこのような状況に鑑みて生み出されたものであり、画素データを記憶する記憶回路において、所定の順序で画素データを読み出すことを目的とする。
【課題を解決するための手段】
【0006】
本技術は、上述の問題点を解消するためになされたものであり、その第1の側面は、複数の記憶素子と、クロックに同期してカウント値を順次出力するカウンタと、上記複数の記憶素子の各々に対応して設けられて、上記カウント値が所定の値になったことを検知した際に上記対応する記憶素子からその記憶内容を読み出すよう制御する複数のデコーダと、上記複数の記憶素子の何れかから読み出された記憶内容を出力する出力部とを具備する記憶回路および撮像装置である。これにより、カウント値が所定の値になったことをデコーダによって検知して、対応する記憶素子からその記憶内容を読み出すという作用をもたらす。
【0007】
また、この第1の側面において、上記複数のデコーダは、互いに異なる値を上記所定の値として検知するようにしてもよい。これにより、記憶素子の何れかが排他的に記憶内容を読み出すという作用をもたらす。
【0008】
また、この第1の側面において、上記出力部は、上記複数の記憶素子のうち互いに異なる記憶素子からの記憶内容を上記カウント値に従って出力する複数の出力回路を備えるようにしてもよい。これにより、記憶素子およびデコーダの組同士を分割して柔軟に配置するという作用をもたらす。
【0009】
また、この第1の側面において、上記出力部からの出力を上記クロックに同期して次段に転送する複数段のシフトレジスタを備える転送部をさらに具備するようにしてもよい。これにより、記憶素子から読み出された記憶内容を順次出力して転送するという作用をもたらす。
【0010】
また、この第1の側面において、上記シフトレジスタは、上記クロックに同期する第1および第2のシフトレジスタを含み、上記複数の記憶素子、上記複数のデコーダおよび上記カウンタは、上記第1および第2のシフトレジスタについてそれぞれ個別に設けられるようにしてもよい。また、上記複数の記憶素子および上記複数のデコーダは、上記第1および第2のシフトレジスタについてそれぞれ個別に設けられ、上記カウンタは、上記第1および第2のシフトレジスタの間で共有されるようにしてもよい。また、上記複数の記憶素子は、上記第1および第2のシフトレジスタについてそれぞれ個別に設けられ、上記カウンタおよび上記複数のデコーダは、上記第1および第2のシフトレジスタの間で共有されるようにしてもよい。
【0011】
また、この第1の側面において、上記複数の記憶素子、上記複数のデコーダおよび上記カウンタは、所定のクラスタを構成し、上記カウンタは、クラスタ選択信号によって当該クラスタが選択されているときに上記カウント値を順次出力し、上記出力部は、上記クラスタ選択信号によって当該クラスタが選択されているときに上記読み出された記憶内容を出力するようにしてもよい。すなわち、クラスタを単位として記憶素子からの読出しを制御するという作用をもたらす。この場合において、上記出力部からの出力を上記クロックに同期して次段に転送する複数段のシフトレジスタを備える転送部をさらに具備し、上記複数段のシフトレジスタの各々には、1つの上記クラスタの出力が供給されるようにしてもよい。また、上記複数段のシフトレジスタの各々には、複数の上記クラスタが接続され、上記クラスタ選択信号によって選択されたクラスタからの出力が供給されるようにしてもよい。
【図面の簡単な説明】
【0012】
図1】本技術の実施の形態における撮像装置80の一構成例を示すブロック図である。
図2】本技術の実施の形態における撮像装置80のチップ構造の一例を示す図である。
図3】本技術の実施の形態におけるクラスタの一例を示す図である。
図4】本技術の実施の形態における回路チップ20のフロアプランの一例を示す図である。
図5】本技術の実施の形態におけるリピータ30の一例を示す図である。
図6】本技術の実施の形態におけるAD変換回路200の構成例を示す図である。
図7】本技術の実施の形態におけるAD変換回路200の回路構成例を示す図である。
図8】本技術の実施の形態におけるAD変換回路200の動作タイミングの例を示す図である。
図9】本技術の実施の形態におけるクラスタの回路構成例を示す図である。
図10】本技術の実施の形態におけるクラスタの読出しに関する回路構成例を示す図である。
図11】本技術の第1の実施の形態のクラスタにおける読出しに関するブロック構成例を示す図である。
図12】本技術の実施の形態のクラスタにおける読出しに関する動作タイミングの例を示す図である。
図13】本技術の実施の形態におけるリピータ30の幅が1画素列である場合の読出しアクセスイメージの例を示す図である。
図14】本技術の実施の形態におけるリピータ30の幅が2画素列である場合の読出しアクセスイメージの例を示す図である。
図15】本技術の実施の形態におけるリピータ30の幅が4画素列である場合の読出しアクセスイメージの例を示す図である。
図16】デコーダを利用しない場合に想定されるクラスタ構成を示す図である。
図17】制御配線イメージの比較例を示す図である。
図18】本技術の第2の実施の形態のクラスタにおける読出しに関するブロック構成例を示す図である。
図19】本技術の第3の実施の形態のクラスタにおける読出しに関するブロック構成例を示す図である。
図20】本技術の第4の実施の形態のクラスタにおける読出しに関するブロック構成例を示す図である。
図21】本技術の第5の実施の形態のクラスタにおける読出しに関するブロック構成例を示す図である。
図22】内視鏡手術システムの概略的な構成の一例を示す図である。
図23】カメラヘッド及びCCUの機能構成の一例を示すブロック図である。
図24】車両制御システムの概略的な構成の一例を示すブロック図である。
図25】車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
【発明を実施するための形態】
【0013】
以下、本技術を実施するための形態(以下、実施の形態と称する)について説明する。説明は以下の順序により行う。
1.第1の実施の形態(クロックカウンタのカウント値をデコードするデコーダを、記憶素子の各々に対応して設けた例)
2.第2の実施の形態(複数の出力バッファを設けた例)
3.第3の実施の形態(隣接リピータのクラスタ間でクロックカウンタを共有する例)
4.第4の実施の形態(隣接リピータのクラスタ間でクロックカウンタおよびデコーダを共有する例)
5.第5の実施の形態(1つのクラスタに複数のクロックカウンタを設けた例)
6.内視鏡手術システムへの適用例
7.移動体への適用例
【0014】
<1.第1の実施の形態>
[撮像装置の構成例]
図1は、本技術の実施の形態における撮像装置80の一構成例を示すブロック図である。
【0015】
この撮像装置80は、被写体を撮像するための装置であり、固体撮像素子82およびDSP(Digital Signal Processing)回路83、表示部84、操作部85、記憶部87および電源部88を備える。これらは、バス89によって相互に接続される。撮像装置80としては、例えば、デジタルスチルカメラなどのデジタルカメラの他、撮像機能を持つスマートフォンやパーソナルコンピュータ、車載カメラ等が想定される。
【0016】
固体撮像素子82は、光電変換により画素データを生成するものである。固体撮像素子82の全面には光学系81が設けられ、被写体からの光を集光して固体撮像素子82に導く。固体撮像素子82は、生成した画素データを後段のDSP回路83に供給する。
【0017】
DSP回路83は、固体撮像素子82からの画素データに対して所定の信号処理を実行するものである。表示部84は、画素データを表示するものである。表示部84としては、例えば、液晶パネルや有機EL(Electro Luminescence)パネルが想定される。操作部85は、ユーザの操作に従って操作信号を生成するものである。記憶部87は、画素データなどの様々なデータを記憶するものである。電源部88は、固体撮像素子82、DSP回路83や表示部84などに電源を供給するものである。
【0018】
[チップ構造]
図2は、本技術の実施の形態における撮像装置80のチップ構造の一例を示す図である。
【0019】
ここでは、撮像装置80のチップ構造として、同図におけるaに示すように、画素チップ10および回路チップ20の階層構造を想定する。
【0020】
画素チップ10は、同図におけるbに示すように、主として、2次元状に配置された複数の画素からなる画素領域11を備えるチップである。画素領域11の周辺には、画素を駆動するための水平駆動回路や垂直駆動回路などが適宜設けられる。
【0021】
回路チップ20は、同図におけるcに示すように、主として、2次元状に配置された複数のAD(Analog-to-Digital)変換回路からなるAD変換回路領域21を備えるチップである。AD変換回路領域21の周辺には、AD変換回路を駆動するための駆動回路やロジック回路などが適宜設けられる。
【0022】
これら画素チップ10および回路チップ20は、ビアなどの接続部を介して電気的に接続される。なお、ビアの他、Cu-Cu接合やバンプ、TCI(ThruChip Interface)などの誘導結合通信技術により接続することもできる。
【0023】
[クラスタ]
図3は、本技術の実施の形態におけるクラスタの一例を示す図である。
【0024】
上述のように、撮像装置80は、画素チップ10および回路チップ20の階層構造を備える。ここで、画素チップ10の2次元状に配置された画素領域11において所定数の画素列を垂直方向に切り出したものを想定し、それらに対応するAD変換回路領域21の回路群をリピータ30とする。この例では、幅4画素の画素列に対応する回路群をリピータ30として示している。
【0025】
そして、リピータ30を所定の行毎に区切ったものをクラスタ31とする。この例では、幅4画素の8行分の画素12に対応する回路群をクラスタ31として示している。すなわち、AD変換回路領域21の回路群は、複数のクラスタ31を2次元状に配置したものとして構成される。
【0026】
また、クラスタ31は、1つの画素に対して階調数分の回路が設けられる。すなわち、階調を表すために必要なビット数に対応する回路を備える。また、一部の画素の故障に備え、冗長に回路を設けてもよい。
【0027】
[フロアプラン]
図4は、本技術の実施の形態における回路チップ20のフロアプランの一例を示す図である。
【0028】
上述のように回路チップ20の中央部には、AD変換回路領域21が設けられる。このAD変換回路領域21は、複数のクラスタ31を2次元状に配置したものとして構成される。クラスタ31は、AD変換回路200と、記憶回路300と、時刻コード転送部400とを備える。これらの詳細については後述する。
【0029】
AD変換回路領域21の周辺には、垂直駆動回路207、PLL(Phase Locked Loop)208、DAC(Digital-to-Analog Converter)209、時刻コード発生回路510、および、画素データ処理回路520などが適宜配置される。
【0030】
垂直駆動回路207は、AD変換回路領域21の各回路の垂直方向の駆動を行う回路である。PLL208は、クロック信号を生成するための位相同期回路である。DAC209は、アナログの画素信号をデジタルの信号にAD変換する際に使用されるランプ信号RMPを生成する回路である。ランプ信号RMPは、時間経過に応じてレベル(電圧)が単調減少するスロープ信号であり、参照信号(基準電圧信号)とも呼ばれる。
【0031】
時刻コード発生回路510は、各画素12が、アナログの画素信号をデジタルの信号にAD変換する際に使用される時刻コードを生成し、対応する時刻コード転送部400に供給するものである。同図では記載を省略しているが、時刻コード発生回路510は、時刻コード転送部400に対応して1つずつ設けられる。ただし、複数の時刻コード転送部400によって1つの時刻コード発生回路510を共有するように構成してもよい。
【0032】
画素データ処理回路520は、デジタルの画素データに対して、黒レベルを補正する黒レベル補正処理や、相関2重サンプリング(CDS:Correlated Double Sampling)処理などの所定のデジタル信号処理を必要に応じて行うものである。
【0033】
[リピータ]
図5は、本技術の実施の形態におけるリピータ30の一例を示す図である。
【0034】
上述のように、リピータ30は、所定数の画素列に対応するAD変換回路領域21の回路群であり、列方向に並ぶ複数のクラスタ31から構成される。リピータ30は、列方向に並ぶ複数のAD変換回路200と、AD変換回路200の各々に対応する複数の記憶回路300と、時刻コード転送部400とを備える。また、時刻コード転送部400は、書込み転送回路410と、読出し転送回路420とを備える。
【0035】
AD変換回路200は、画素12からのアナログの画素信号をデジタルの画素データにAD変換する回路である。
【0036】
記憶回路300は、書込み転送回路410から供給された時刻コード、および、AD変換されたデジタルの画素データを記憶する回路である。
【0037】
書込み転送回路410は、時刻コード発生回路510からの時刻コードをシフトレジスタにより転送して、各クラスタ31の記憶回路300に供給するものである。
【0038】
読出し転送回路420は、各クラスタ31の記憶回路300から出力されたデジタルの画素データをシフトレジスタにより転送して、画素データ処理回路520に出力するものである。なお、読出し転送回路420は、特許請求の範囲に記載の転送部の一例である。
【0039】
[AD変換回路]
図6は、本技術の実施の形態におけるAD変換回路200の構成例を示す図である。
【0040】
AD変換回路200は、画素回路100からのアナログの画素信号SIGとDAC209からのランプ信号RMPとを比較して、その比較結果VCOを出力する比較回路299を備える。比較回路299は、比較器219と、遅延素子239と、演算素子259とを備える。
【0041】
比較器219は、アナログの画素信号SIGとランプ信号RMPとを比較する回路である。遅延素子239は、比較器219の出力を遅延させて比較器219および演算素子259に供給する回路である。演算素子259は、比較器219の出力と遅延素子239の出力とに基づいて演算を行う回路である。これらを実現する具体的回路構成については後述する。
【0042】
記憶回路300は、書込みラッチ回路310と、読出しのための記憶素子320とを備える。書込みラッチ回路310は、比較回路299による比較結果VCOが反転したタイミングにおいて、書込み転送回路410から供給された時刻コードを画素データとして保持するラッチ回路である。記憶素子320は、書込みラッチ回路310に保持された画素データを記憶して、読出し制御に従って読出し転送回路420に出力するものである。
【0043】
図7は、本技術の実施の形態におけるAD変換回路200の回路構成例を示す図である。
【0044】
AD変換回路200は、差動入力回路210と、電圧変換回路220と、遅延素子239等とを備える。差動入力回路210には、画素回路100からのアナログの画素信号SIGと、DAC209からのランプ信号RMPとが入力される。
【0045】
画素回路100は、光電変換によりアナログ信号を生成するものである。この画素回路100は、例えば、リセットトランジスタ115、浮遊拡散層114、転送トランジスタ113、フォトダイオード111および排出トランジスタ112を備える。リセットトランジスタ115、転送トランジスタ113、フォトダイオード111および排出トランジスタ112として、例えば、N型のMOS(Metal-Oxide-Semiconductor)トランジスタが用いられる。
【0046】
フォトダイオード111は、光電変換により電荷を生成するものである。排出トランジスタ112は、ドライバからの駆動信号OFGにより排出が指示されるとフォトダイオード111から電荷を排出するものである。
【0047】
転送トランジスタ113は、ドライバからの転送信号TXにより転送が指示されると、露光終了時にフォトダイオード111から浮遊拡散層114へ電荷を転送するものである。
【0048】
浮遊拡散層114は、転送された電荷を蓄積して蓄積した電荷量に応じた電圧のアナログ画素信号SIGを生成するものである。
【0049】
リセットトランジスタ115は、ドライバからのリセット信号AZにより初期化が指示されると、浮遊拡散層114を初期化するものである。
【0050】
差動入力回路210は、差動トランジスタ211および212と、電流源トランジスタ213と、P型トランジスタ215および214とを備える。
【0051】
差動トランジスタ211および212は、アナログ画素信号SIGとランプ信号RMPとの差分を、定電流を用いて増幅し、差動増幅信号DIFとして出力するものである。これらの差動トランジスタ211および212として、例えば、N型のMOSトランジスタが用いられる。差動トランジスタ211および212のそれぞれのソースは、コモンノードを介して回路チップ20内の回路に共通に接続される。また、差動トランジスタ211のゲートは、浮遊拡散層223に接続され、差動トランジスタ212のゲートは、DAC209に接続される。
【0052】
P型トランジスタ214および215は、電源電圧HVの端子に並列に接続される。また、P型トランジスタ215のゲートは、自身のドレインとP型トランジスタ214のゲートとに接続される。また、P型トランジスタ215のドレインは、差動トランジスタ212のドレインに接続され、P型トランジスタ214のドレインは、差動トランジスタ211のドレインに接続される。また、P型トランジスタ216のゲートは、P型トランジスタ214のドレインに接続され、ドレインは電圧変換回路220に接続される。P型トランジスタ214、215および216からなる回路は、上述の接続構成により、カレントミラー回路として機能する。このカレントミラー回路から、電圧変換回路220に差動増幅信号DIFが出力される。
【0053】
電流源トランジスタ213のゲートには、所定のバイアス電圧Vbiasが印加され、ソースは接地される。この電流源トランジスタ213は、バイアス電圧Vbiasに応じた定電流を供給する電流源として機能する。
【0054】
電圧変換回路220は、差動入力回路210からの差動増幅信号DIFの電圧を変換するものである。この電圧変換回路220は、N型トランジスタ221を備える。N型トランジスタ221として、例えば、MOSトランジスタが用いられる。このN型トランジスタ221は、差動入力回路210と後段の正帰還回路との間に挿入され、そのゲートには、電源電圧HVより低い電源電圧LVが印加される。
【0055】
正帰還回路は、NORゲート234の前段のノードの反転遷移を加速させるための正帰還信号PFBを出力するものである。この正帰還回路は、P型トランジスタ231および232と、N型トランジスタ233と、NORゲート234とを備える。P型トランジスタ231、P型トランジスタ232およびN型トランジスタ233として、例えば、MOSトランジスタが用いられる。
【0056】
P型トランジスタ231、P型トランジスタ232およびN型トランジスタ233は、電源電圧LVの端子と接地端子との間において直列に接続される。P型トランジスタ231のゲートには、ドライバからの駆動信号INI2が入力され、N型トランジスタ233には、ドライバからの駆動信号INI1が入力される。
【0057】
NORゲート234の2つの入力端子の一方は、P型トランジスタ232およびN型トランジスタ233の接続端子に接続され、他方には、ドライバからの駆動信号FORCEVCOが入力される。この駆動信号FORCEVCOは、アナログの画素信号SIGとランプ信号RMPとの比較の結果、反転が生じなかった場合に、強制的に反転させるための信号である。NORゲート234の出力は、遅延素子239を介してインバータ241に出力される。
【0058】
インバータ241は、遅延素子239の出力を反転して比較結果XVCOとしてインバータ242および記憶回路300に出力するものである。インバータ242は、比較結果XVCOを反転して比較結果VCOとして記憶回路300に出力するものである。
【0059】
なお、この例においては、画素回路100と差動トランジスタ211および212とが画素チップ10に配置され、それ以外の回路が回路チップ20に配置されることを想定している。
【0060】
図8は、本技術の実施の形態におけるAD変換回路200の動作タイミングの例を示す図である。
【0061】
ここでは、1水平期間分の書込みラッチ回路310への書込みタイミングの例を示している。駆動信号INI1およびINI2が入力されると、書込み転送回路410のクロックMCKWに従って、P相のデータが書込みラッチ回路310に書き込まれる。このP相のデータは、CDS処理におけるリセットレベルのデータとなる。P相の期間が終了すると、駆動信号FORCEVCOが入力されて、水平方向の画素全体の比較結果が一旦反転する。
【0062】
その後、駆動信号INI1およびINI2が入力されると、書込み転送回路410のクロックMCKWに従って、D相のデータが書込みラッチ回路310に書き込まれる。このD相のデータは、CDS処理における信号レベルのデータとなる。D相の期間が終了すると、駆動信号FORCEVCOが入力されて、水平方向の画素全体の比較結果が一旦反転し、次の水平期間の書込みに備える。
【0063】
[クラスタの回路構成]
図9は、本技術の実施の形態におけるクラスタの回路構成例を示す図である。
【0064】
書込み転送回路410は、複数のレジスタ411からなるシフトレジスタを有しており、クロックMCKWに従って、時刻コード発生回路510からの時刻コードを後段のレジスタ411に順次転送する。レジスタ411の各々には、バッファ412を介して、複数の書込みラッチ回路310が接続されており、レジスタ411に保持される時刻コードが順次供給されていく。
【0065】
複数の書込みラッチ回路310には、AD変換回路200から比較結果VCO<n-1:0>およびXVCO<n-1:0>が供給される。書込みラッチ回路310は、その比較結果が反転したタイミングで、レジスタ411から供給されている時刻コードを保持する。複数の書込みラッチ回路310に保持された時刻コードは、それぞれ対応する複数の記憶素子320に供給されて、画素データとして記憶される。
【0066】
複数の記憶素子320は、それぞれ対応する複数のデコーダ330からの制御信号REN<m-1:0>に従って記憶内容を読み出す。記憶素子320から読み出された画素データは、読出し転送回路420に出力される。
【0067】
読出し転送回路420は、複数のレジスタ421からなるシフトレジスタを有しており、クロックMCKRに従って、保持される画素データを後段のレジスタ421に順次転送する。
【0068】
この実施の形態においては、クロックカウンタ422を備えており、クロックカウンタ422はレジスタ421と同じクロックMCKRに同期してカウント値Q<n-1:0>を順次出力する。このクロックカウンタ422のカウント値は、複数のデコーダ330に供給される。複数のデコーダ330の各々は、クロックカウンタ422のカウント値をデコードして、カウント値が所定の値になったことを検知した際に対応する記憶素子320からその記憶内容を読み出すように制御する。
【0069】
なお、この例では詳細な回路構成については省略したが、他の回路構成として、例えば、ノイズ除去回路や時刻コードの変換回路などを備えるようにしてもよい。
【0070】
図10は、本技術の第1の実施の形態におけるクラスタの読出しに関する回路構成例を示す図である。この回路構成例は、上述のクラスタの回路構成例のうち、読出しに関する回路部分をまとめたものである。なお、クロックMCKRを、以下ではクロックMCKとして表す。
【0071】
図11は、本技術の第1の実施の形態のクラスタにおける読出しに関するブロック構成例を示す図である。
【0072】
読出し転送回路420の1つのレジスタ421に接続される複数の記憶素子320は、1つのクラスタ31を構成する。複数の記憶素子320の各々に対応して複数のデコーダ330が設けられる。複数のデコーダ330には、クロックMCKに同期してカウント値を順次出力するクロックカウンタ422が接続される。なお、クロックカウンタ422は、特許請求の範囲に記載のカウンタの一例である。
【0073】
複数のデコーダ330の各々は、クロックカウンタ422のカウント値をデコードして、カウント値が所定の値になったことを検知した際に対応する記憶素子320からその記憶内容を読み出すよう制御する。複数のデコーダ330は、互いに異なる値を所定の値として検知する。これにより、複数の記憶素子320の何れかが排他的に、読出し転送回路420に画素データを出力することになる。
【0074】
クラスタ#iには、クラスタ選択信号CLSSEL<i>が供給される。このクラスタ選択信号CLSSEL<i>は、クラスタ#iが選択されているときのみ有効になる。このクラスタ選択信号CLSSEL<i>は、出力バッファ423の制御端子に入力され、クラスタ#iが選択されているときのみ、クラスタ#i内の複数の記憶素子320からの画素データを読出し転送回路420に出力するように構成される。なお、出力バッファ423は、特許請求の範囲に記載の出力部の一例である。
【0075】
また、このクラスタ選択信号CLSSEL<i>は、クロックカウンタ422のリセット端子に入力され、クラスタ#iが選択されているときのみ、カウントを行うように構成される。すなわち、クラスタ選択信号CLSSEL<i>が有効状態に遷移した際に、初期値からカウントを開始する。
【0076】
図12は、本技術の実施の形態のクラスタにおける読出しに関する動作タイミングの例を示す図である。
【0077】
クラスタ選択信号CLSSEL<i>は、順番に有効になり、これにより選択されたクラスタにおける読出しが行われる。選択されたクラスタでは、クロックカウンタ422のカウントが開始され、クロックMCKに同期してカウント値Q<n-1:0>が順次出力される。
【0078】
複数のデコーダ330の各々は、クロックカウンタ422のカウント値Q<n-1:0>をデコードして、制御信号REN<m-1:0>を生成する。複数の記憶素子320は、それぞれ対応する複数のデコーダ330からの制御信号REN<m-1:0>に従って記憶内容を読み出す。記憶素子320から読み出された画素データは、読出し転送回路420に出力される。
【0079】
[読出しアクセスイメージ]
図13は、本技術の実施の形態におけるリピータ30の幅が1画素列である場合の読出しアクセスイメージの例を示す図である。図14は、本技術の実施の形態におけるリピータ30の幅が2画素列である場合の読出しアクセスイメージの例を示す図である。図15は、本技術の実施の形態におけるリピータ30の幅が4画素列である場合の読出しアクセスイメージの例を示す図である。
【0080】
同図におけるaに示すように、デコーダを利用しない場合の読出しアクセスでは、クラスタ内の同じアドレスの画素データが順に読み出される。したがって、画素の並びを維持した状態で画素データを出力するためには、フレーム全体の画素データをフレームメモリに保持させて並び替えを行う必要が生じてしまう。
【0081】
これに対し、この実施の形態では、同図におけるbに示すように、デコーダ330の設定によって所望の順序により各クラスタにおける読出しを行うことができる。これにより、画素の並びを維持した状態で画素データを出力する際にも、ラインメモリを持つのみで順次出力が可能となる。
【0082】
[制御配線イメージ]
図16は、デコーダを利用しない場合に想定されるクラスタ構成を示す図である。
【0083】
デコーダを利用しない場合においては、記憶素子の各ワードを選択するワード選択信号WORD<m-1:0>がグローバルに分配される。これにより、ワード選択信号WORD<m-1:0>により選択された記憶素子から記憶内容が出力される。そして、記憶素子から出力された記憶内容は、制御信号RENに指示されたタイミングで、バッファを介して後段のレジスタに供給される。
【0084】
図17は、制御配線イメージの比較例を示す図である。
【0085】
デコーダを利用しない場合においては、同図におけるaに示すように、記憶素子の各ワードを選択するワード選択信号WORD<m-1:0>をグローバルに分配して、記憶素子の各々がワード選択信号WORD<m-1:0>に従って読出し動作を行う。
【0086】
これに対して、この実施の形態においては、同図におけるbに示すように、クラスタ毎に1本のクラスタ選択信号CLSSEL<i>を配線するだけでよく、記憶素子320を選択するための信号はクロックカウンタ422からデコーダ330への短い配線で済む。
【0087】
すなわち、デコーダを利用しない場合においては、記憶素子に対してワード選択信号WORD<m-1:0>をグローバルに分配する必要があり、チップ面積が律速されるおそれがある。また、記憶素子からの読出し順序は物理的な配置により固定されてしまうため、出力する順序を変更するためにはフレームバッファに一旦保持してから出力する必要が生じる。
【0088】
このように、本技術の第1の実施の形態によれば、各クラスタ31において複数の記憶素子320の各々に対応する複数のデコーダ330を設けて、クロックカウンタ422からのカウント値をデコードすることにより、所望の順序により読出しを行うことができる。また、記憶素子320に対してグローバルに選択信号を分配する必要がないため、チップ面積を効率良く利用することができる。
【0089】
<2.第2の実施の形態>
図18は、本技術の第2の実施の形態のクラスタにおける読出しに関するブロック構成例を示す図である。
【0090】
上述の第1の実施の形態では、記憶素子320からの出力を1つの出力バッファ423を介して次段のレジスタ421に供給していたが、出力バッファの数は複数にしてもよい。この第2の実施の形態では、2つの出力バッファ423および424を用いた例を示すが、3つ以上の出力バッファを用いてもよい。なお、出力バッファ423および424は、特許請求の範囲に記載の複数の出力回路の一例である。
【0091】
この第2の実施の形態では、クラスタ内の記憶素子320およびデコーダ330の対を2つに分割して、それぞれ異なる出力バッファ423および424を介して次段のレジスタ421に供給する。このように分割することにより、記憶素子320およびデコーダ330を独立に配置することができる。
【0092】
出力バッファ423および424には、クロックカウンタ422からカウント値の一部のビット(例えば最上位ビット)が入力される。これにより、出力バッファ423および424は、互いに排他的に出力を行うことができ、次段のレジスタ421への信号線上での衝突を回避することができる。
【0093】
このように、本技術の第2の実施の形態によれば、複数の出力バッファ423および424を用いることにより、クラスタ内において記憶素子320およびデコーダ330の組同士を分割して柔軟に配置することができる。
【0094】
<3.第3の実施の形態>
図19は、本技術の第3の実施の形態のクラスタにおける読出しに関するブロック構成例を示す図である。
【0095】
この第3の実施の形態では、隣接するリピータのクラスタ間でクロックカウンタ422を共有する構成を備える。すなわち、上述の第1の実施の形態では、異なるレジスタ421に接続する複数の記憶素子320については独立してクロックカウンタ422が設けられていたが、この第3の実施の形態では、隣接するリピータのクラスタ間で1つのクロックカウンタ422を共有する。
【0096】
行方向に隣接するクラスタ間ではクラスタ選択信号CLSSELは同じものが参照される。したがって、クロックカウンタ422を共有するクラスタ同士は同じタイミングで動作する。ただし、異なるクラスタの記憶素子320は異なるレジスタ421に接続するため、次段のレジスタ421への信号線上での衝突は生じない。
【0097】
このように、本技術の第3の実施の形態によれば、隣接するリピータのクラスタ間でクロックカウンタ422を共有することにより、チップ上のハードウェア資源を節減することができる。
【0098】
<4.第4の実施の形態>
図20は、本技術の第4の実施の形態のクラスタにおける読出しに関するブロック構成例を示す図である。
【0099】
この第4の実施の形態では、隣接するリピータのクラスタ間でクロックカウンタ422およびデコーダ330を共有する構成を備える。すなわち、上述の第3の実施の形態では、隣接するリピータのクラスタ間でクロックカウンタ422を共有していたが、この第4の実施の形態では、隣接するリピータのクラスタ間でさらに複数のデコーダ330を共有する。
【0100】
行方向に隣接するクラスタのクラスタ間ではクラスタ選択信号CLSSELは同じものが参照されるが、次段のレジスタ421への信号線上での衝突は生じない点は、上述の第3の実施の形態と同様である。
【0101】
このように、本技術の第4の実施の形態によれば、隣接するリピータのクラスタ間でクロックカウンタ422および複数のデコーダ330を共有することにより、チップ上のハードウェア資源を節減することができる。
【0102】
<5.第5の実施の形態>
図21は、本技術の第5の実施の形態のクラスタにおける読出しに関するブロック構成例を示す図である。
【0103】
上述の実施の形態では、1つのクラスタについては1つのクロックカウンタ422を設けていたが、この第5の実施の形態では、1つのクラスタについて複数のクロックカウンタ422を設ける構成を備える。これにより、1つのクロックカウンタ422に接続するデコーダ330の数を減らすことができるため、クロック値を供給する信号線のビット幅を削減することができる。また、異なるクロックカウンタ422に接続する記憶素子320およびデコーダ330は独立に配置することができる。
【0104】
この第5の実施の形態では、クロックカウンタ422毎に別々のクラスタ選択信号CLSSEL0またはCLSSEL1を配線する必要がある。この点において、異なるクロックカウンタ422に接続する記憶素子320およびデコーダ330は、異なるクラスタとして定義してもよい。
【0105】
このように、本技術の第5の実施の形態によれば、1つのクラスタについて複数のクロックカウンタ422を設けることにより、各々のクロックカウンタ422のビット幅を削減することができる。また、クラスタ内において記憶素子320およびデコーダ330の組同士を分割して柔軟に配置することができる。
【0106】
<6.内視鏡手術システムへの適用例>
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
【0107】
図22は、本開示に係る技術(本技術)が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。
【0108】
図22では、術者(医師)11131が、内視鏡手術システム11000を用いて、患者ベッド11133上の患者11132に手術を行っている様子が図示されている。図示するように、内視鏡手術システム11000は、内視鏡11100と、気腹チューブ11111やエネルギー処置具11112等の、その他の術具11110と、内視鏡11100を支持する支持アーム装置11120と、内視鏡下手術のための各種の装置が搭載されたカート11200と、から構成される。
【0109】
内視鏡11100は、先端から所定の長さの領域が患者11132の体腔内に挿入される鏡筒11101と、鏡筒11101の基端に接続されるカメラヘッド11102と、から構成される。図示する例では、硬性の鏡筒11101を有するいわゆる硬性鏡として構成される内視鏡11100を図示しているが、内視鏡11100は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。
【0110】
鏡筒11101の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡11100には光源装置11203が接続されており、当該光源装置11203によって生成された光が、鏡筒11101の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者11132の体腔内の観察対象に向かって照射される。なお、内視鏡11100は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
【0111】
カメラヘッド11102の内部には光学系及び撮像素子が設けられており、観察対象からの反射光(観察光)は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、RAWデータとしてカメラコントロールユニット(CCU: Camera Control Unit)11201に送信される。
【0112】
CCU11201は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡11100及び表示装置11202の動作を統括的に制御する。さらに、CCU11201は、カメラヘッド11102から画像信号を受け取り、その画像信号に対して、例えば現像処理(デモザイク処理)等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。
【0113】
表示装置11202は、CCU11201からの制御により、当該CCU11201によって画像処理が施された画像信号に基づく画像を表示する。
【0114】
光源装置11203は、例えばLED(light emitting diode)等の光源から構成され、術部等を撮影する際の照射光を内視鏡11100に供給する。
【0115】
入力装置11204は、内視鏡手術システム11000に対する入力インタフェースである。ユーザは、入力装置11204を介して、内視鏡手術システム11000に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡11100による撮像条件(照射光の種類、倍率及び焦点距離等)を変更する旨の指示等を入力する。
【0116】
処置具制御装置11205は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具11112の駆動を制御する。気腹装置11206は、内視鏡11100による視野の確保及び術者の作業空間の確保の目的で、患者11132の体腔を膨らめるために、気腹チューブ11111を介して当該体腔内にガスを送り込む。レコーダ11207は、手術に関する各種の情報を記録可能な装置である。プリンタ11208は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
【0117】
なお、内視鏡11100に術部を撮影する際の照射光を供給する光源装置11203は、例えばLED、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。RGBレーザ光源の組み合わせにより白色光源が構成される場合には、各色(各波長)の出力強度及び出力タイミングを高精度に制御することができるため、光源装置11203において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、RGBレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド11102の撮像素子の駆動を制御することにより、RGBそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
【0118】
また、光源装置11203は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド11102の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
【0119】
また、光源装置11203は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光(すなわち、白色光)に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察(Narrow Band Imaging)が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること(自家蛍光観察)、又はインドシアニングリーン(ICG)等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置11203は、このような特殊光観察に対応した狭帯域光及び/又は励起光を供給可能に構成され得る。
【0120】
図23は、図22に示すカメラヘッド11102及びCCU11201の機能構成の一例を示すブロック図である。
【0121】
カメラヘッド11102は、レンズユニット11401と、撮像部11402と、駆動部11403と、通信部11404と、カメラヘッド制御部11405と、を有する。CCU11201は、通信部11411と、画像処理部11412と、制御部11413と、を有する。カメラヘッド11102とCCU11201とは、伝送ケーブル11400によって互いに通信可能に接続されている。
【0122】
レンズユニット11401は、鏡筒11101との接続部に設けられる光学系である。鏡筒11101の先端から取り込まれた観察光は、カメラヘッド11102まで導光され、当該レンズユニット11401に入射する。レンズユニット11401は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。
【0123】
撮像部11402を構成する撮像素子は、1つ(いわゆる単板式)であってもよいし、複数(いわゆる多板式)であってもよい。撮像部11402が多板式で構成される場合には、例えば各撮像素子によってRGBそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部11402は、3D(dimensional)表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための1対の撮像素子を有するように構成されてもよい。3D表示が行われることにより、術者11131は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部11402が多板式で構成される場合には、各撮像素子に対応して、レンズユニット11401も複数系統設けられ得る。
【0124】
また、撮像部11402は、必ずしもカメラヘッド11102に設けられなくてもよい。例えば、撮像部11402は、鏡筒11101の内部に、対物レンズの直後に設けられてもよい。
【0125】
駆動部11403は、アクチュエータによって構成され、カメラヘッド制御部11405からの制御により、レンズユニット11401のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部11402による撮像画像の倍率及び焦点が適宜調整され得る。
【0126】
通信部11404は、CCU11201との間で各種の情報を送受信するための通信装置によって構成される。通信部11404は、撮像部11402から得た画像信号をRAWデータとして伝送ケーブル11400を介してCCU11201に送信する。
【0127】
また、通信部11404は、CCU11201から、カメラヘッド11102の駆動を制御するための制御信号を受信し、カメラヘッド制御部11405に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに/又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。
【0128】
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてCCU11201の制御部11413によって自動的に設定されてもよい。後者の場合には、いわゆるAE(Auto Exposure)機能、AF(Auto Focus)機能及びAWB(Auto White Balance)機能が内視鏡11100に搭載されていることになる。
【0129】
カメラヘッド制御部11405は、通信部11404を介して受信したCCU11201からの制御信号に基づいて、カメラヘッド11102の駆動を制御する。
【0130】
通信部11411は、カメラヘッド11102との間で各種の情報を送受信するための通信装置によって構成される。通信部11411は、カメラヘッド11102から、伝送ケーブル11400を介して送信される画像信号を受信する。
【0131】
また、通信部11411は、カメラヘッド11102に対して、カメラヘッド11102の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。
【0132】
画像処理部11412は、カメラヘッド11102から送信されたRAWデータである画像信号に対して各種の画像処理を施す。
【0133】
制御部11413は、内視鏡11100による術部等の撮像、及び、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部11413は、カメラヘッド11102の駆動を制御するための制御信号を生成する。
【0134】
また、制御部11413は、画像処理部11412によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置11202に表示させる。この際、制御部11413は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部11413は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具11112の使用時のミスト等を認識することができる。制御部11413は、表示装置11202に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者11131に提示されることにより、術者11131の負担を軽減することや、術者11131が確実に手術を進めることが可能になる。
【0135】
カメラヘッド11102及びCCU11201を接続する伝送ケーブル11400は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
【0136】
ここで、図示する例では、伝送ケーブル11400を用いて有線で通信が行われていたが、カメラヘッド11102とCCU11201との間の通信は無線で行われてもよい。
【0137】
以上、本開示に係る技術が適用され得る内視鏡手術システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部11402に適用され得る。具体的には、撮像部11402における読出しを所望の順序により行うことが可能になる。
【0138】
なお、ここでは、一例として内視鏡手術システムについて説明したが、本開示に係る技術は、その他、例えば、顕微鏡手術システム等に適用されてもよい。
【0139】
<7.移動体への適用例>
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
【0140】
図24は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
【0141】
車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。図24に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040、及び統合制御ユニット12050を備える。また、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部12052、及び車載ネットワークI/F(Interface)12053が図示されている。
【0142】
駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
【0143】
ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【0144】
車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
【0145】
撮像部12031は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部12031は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部12031が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
【0146】
車内情報検出ユニット12040は、車内の情報を検出する。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運転者状態検出部12041は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
【0147】
マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
【0148】
また、マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【0149】
また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12030に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
【0150】
音声画像出力部12052は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図24の例では、出力装置として、オーディオスピーカ12061、表示部12062及びインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
【0151】
図25は、撮像部12031の設置位置の例を示す図である。
【0152】
図25では、撮像部12031として、撮像部12101、12102、12103、12104、12105を有する。
【0153】
撮像部12101、12102、12103、12104、12105は、例えば、車両12100のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部12101及び車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102、12103は、主として車両12100の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部12104は、主として車両12100の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部12105は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【0154】
なお、図25には、撮像部12101ないし12104の撮影範囲の一例が示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮像範囲12112,12113は、それぞれサイドミラーに設けられた撮像部12102,12103の撮像範囲を示し、撮像範囲12114は、リアバンパ又はバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101ないし12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。
【0155】
撮像部12101ないし12104の少なくとも1つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101ないし12104の少なくとも1つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
【0156】
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を基に、撮像範囲12111ないし12114内における各立体物までの距離と、この距離の時間的変化(車両12100に対する相対速度)を求めることにより、特に車両12100の進行路上にある最も近い立体物で、車両12100と略同じ方向に所定の速度(例えば、0km/h以上)で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御(追従停止制御も含む)や自動加速制御(追従発進制御も含む)等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【0157】
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を元に、立体物に関する立体物データを、2輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
【0158】
撮像部12101ないし12104の少なくとも1つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101ないし12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部12101ないし12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ12051が、撮像部12101ないし12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。
【0159】
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部12031に適用され得る。具体的には、撮像部12031における読出しを所望の順序により行うことが可能になる。
【0160】
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【0161】
なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
【0162】
なお、本技術は以下のような構成もとることができる。
(1)複数の記憶素子と、
クロックに同期してカウント値を順次出力するカウンタと、
前記複数の記憶素子の各々に対応して設けられて、前記カウント値が所定の値になったことを検知した際に前記対応する記憶素子からその記憶内容を読み出すよう制御する複数のデコーダと、
前記複数の記憶素子の何れかから読み出された記憶内容を出力する出力部と
を具備する記憶回路。
(2)前記複数のデコーダは、互いに異なる値を前記所定の値として検知する
前記(1)に記載の記憶回路。
(3)前記出力部は、前記複数の記憶素子のうち互いに異なる記憶素子からの記憶内容を前記カウント値に従って出力する複数の出力回路を備える
前記(1)または(2)に記載の記憶回路。
(4)前記出力部からの出力を前記クロックに同期して次段に転送する複数段のシフトレジスタを備える転送部をさらに具備する前記(1)から(3)のいずれかに記載の記憶回路。
(5)前記シフトレジスタは、前記クロックに同期する第1および第2のシフトレジスタを含み、
前記複数の記憶素子、前記複数のデコーダおよび前記カウンタは、前記第1および第2のシフトレジスタについてそれぞれ個別に設けられる
前記(4)に記載の記憶回路。
(6)前記シフトレジスタは、前記クロックに同期する第1および第2のシフトレジスタを含み、
前記複数の記憶素子および前記複数のデコーダは、前記第1および第2のシフトレジスタについてそれぞれ個別に設けられ、
前記カウンタは、前記第1および第2のシフトレジスタの間で共有される
前記(4)に記載の記憶回路。
(7)前記シフトレジスタは、前記クロックに同期する第1および第2のシフトレジスタを含み、
前記複数の記憶素子は、前記第1および第2のシフトレジスタについてそれぞれ個別に設けられ、
前記カウンタおよび前記複数のデコーダは、前記第1および第2のシフトレジスタの間で共有される
前記(4)に記載の記憶回路。
(8)前記複数の記憶素子、前記複数のデコーダおよび前記カウンタは、所定のクラスタを構成し、
前記カウンタは、クラスタ選択信号によって当該クラスタが選択されているときに前記カウント値を順次出力し、
前記出力部は、前記クラスタ選択信号によって当該クラスタが選択されているときに前記読み出された記憶内容を出力する
前記(1)から(7)のいずれかに記載の記憶回路。
(9)前記出力部からの出力を前記クロックに同期して次段に転送する複数段のシフトレジスタを備える転送部をさらに具備し、
前記複数段のシフトレジスタの各々には、1つの前記クラスタの出力が供給される
前記(8)に記載の記憶回路。
(10)前記出力部からの出力を前記クロックに同期して次段に転送する複数段のシフトレジスタを備える転送部をさらに具備し、
前記複数段のシフトレジスタの各々には、複数の前記クラスタが接続され、前記クラスタ選択信号によって選択されたクラスタからの出力が供給される
前記(8)に記載の記憶回路。
(11)2次元状に配置された複数の画素と、
前記複数の画素の値を記憶する複数の記憶素子と、
クロックに同期してカウント値を順次出力するカウンタと、
前記複数の記憶素子の各々に対応して設けられて、前記カウント値が所定の値になったことを検知した際に前記対応する記憶素子からその記憶内容を読み出すよう制御する複数のデコーダと、
前記複数の記憶素子の何れかから読み出された記憶内容を出力する出力部と
を具備する撮像装置。
【符号の説明】
【0163】
10 画素チップ
11 画素領域
12 画素
20 回路チップ
21 AD(Analog-to-Digital)変換回路領域
30 リピータ
31 クラスタ
100 画素回路
200 AD変換回路
207 垂直駆動回路
208 PLL(Phase Locked Loop)
209 DAC(Digital-to-Analog Converter)
210 差動入力回路
220 電圧変換回路
230 正帰還回路
250 デジタル信号生成部
300 記憶回路
310 書込みラッチ回路
320 記憶素子
330 デコーダ
400 時刻コード転送部
410 書込み転送回路
411 レジスタ
412 バッファ
420 読出し転送回路
421 レジスタ
422 クロックカウンタ
423、424 出力バッファ
510 時刻コード発生回路
520 画素データ処理回路
11402、12031 撮像部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25