特許 7614681 ＡＩ機能を有する固体撮像装置とその駆動方法、および電子機器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2025-01-07

(45)【発行日】2025-01-16

(54)【発明の名称】ＡＩ機能を有する固体撮像装置とその駆動方法、および電子機器

(51)【国際特許分類】

   H04N 25/703 20230101AFI20250108BHJP

   H04N 25/40 20230101ALI20250108BHJP

   H04N 25/76 20230101ALI20250108BHJP

   H04N 25/704 20230101ALI20250108BHJP

   H04N 25/708 20230101ALI20250108BHJP

   H04N 25/46 20230101ALI20250108BHJP

   H04N 23/67 20230101ALI20250108BHJP

   G06T 7/20 20170101ALI20250108BHJP

【ＦＩ】

H04N25/703

H04N25/40

H04N25/76

H04N25/704

H04N25/708

H04N25/46

H04N23/67

G06T7/20

【請求項の数】 10

(21)【出願番号】P 2024085530

(22)【出願日】2024-05-27

【審査請求日】2024-06-21

【早期審査対象出願】

(73)【特許権者】

【識別番号】524200391

【氏名又は名称】株式会社フューチャードメイン

(74)【代理人】

【識別番号】110001863

【氏名又は名称】弁理士法人アテンダ国際特許事務所

(72)【発明者】

【氏名】鶴田 雅明

【審査官】廣田 健介

(56)【参考文献】

【文献】特開２０２１－０１３１１７（ＪＰ，Ａ）

【文献】特開２００３－２５９２３４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／３０－５／３３

Ｈ０４Ｎ ２３／１１，２３／２０－２３／３０

Ｈ０４Ｎ ２５／００，２５／２０－２５／７９

Ｈ０１Ｌ ２７／１４－２４／１４８

Ｈ０１Ｌ ２９／７６

Ｈ１０Ｋ ３９／３２－３９／３４

(57)【特許請求の範囲】

【請求項1】

光電変換を行う画素が配置されたセンサ部と、
前記センサ部の前記画素から画素信号を読み出す読み出し制御部と、を有し、
前記読み出し制御部は、
フレームメモリを含み、前記センサ部の出力画素信号を一つのＴＶフレームの１倍、２倍または４倍の周波数でフレームメモリに格納することが可能で、１２０Ｈｚ以上の読み出しが可能な画素信号読み出し回路と、
前記センサ部の光入射側である前段に配置されるレンズまたは前記センサ部を関連する光軸に沿って駆動して被写体について焦点合わせを行う焦点合わせ部と、
複数（ｎ×ｎ）の画素集合をセグメントと定義し、前記焦点合わせ部により前記レンズまたは前記センサ部を駆動して動かした結果に基づいて、フレームごとに同じ位置に対応するセグメント間の差別またはフレーム内での隣接する複数のセグメントとの信号の連続性を計測することで、被写体のエッジや動きを検出し、この検出効果に基づいてオートフォーカスの動体追従性や被写体抽出能力を高め、さらにはトラッキングを可能にする第１の検出処理を行うことが可能な検出部と、を含み、
前記検出部は、
被写体の移動方向や相関を観測するために、ｎ×ｎ画素のセグメントを１ｓｔＴＶフレームと２ｎｄＴＶフレームの間で差分の絶対値をセグメント全画素分合算して、相関が大きく差分の少ないセグメントを見つけることで被写体の移動方向を判断する第２の検出処理を行うことが可能であり、
前記検出部は、
移動方向の計測のため、第１画については１ＴＶフレームと２ＴＶフレームの間に前記センサ部を右または左方向にふって比較し、第２画については左または右方向に、第３画については上または下方向、第４画は下または上方向に動かして比較して、セグメントの相関が一番強いところを選ぶことで１ＴＶフレーム間での移動方向を求める第３の検出処理を行うことが可能である
固体撮像装置。

【請求項2】

光電変換を行う画素が配置されたセンサ部と、
前記センサ部の前記画素から画素信号を読み出す読み出し制御部と、を有し、
前記読み出し制御部は、
フレームメモリを含み、前記センサ部の出力画素信号を一つのＴＶフレームの１倍、２倍または４倍の周波数でフレームメモリに格納することが可能で、１２０Ｈｚ以上の読み出しが可能な画素信号読み出し回路と、
前記センサ部の光入射側である前段に配置されるレンズまたは前記センサ部を関連する光軸に沿って駆動して被写体について焦点合わせを行う焦点合わせ部と、
複数（ｎ×ｎ）の画素集合をセグメントと定義し、前記焦点合わせ部により前記レンズまたは前記センサ部を駆動して動かした結果に基づいて、フレームごとに同じ位置に対応するセグメント間の差別またはフレーム内での隣接する複数のセグメントとの信号の連続性を計測することで、被写体のエッジや動きを検出し、この検出効果に基づいてオートフォーカスの動体追従性や被写体抽出能力を高め、さらにはトラッキングを可能にする第１の検出処理を行うことが可能な検出部と、を含み
前記検出部は、
被写体の移動方向や相関を観測するために、ｎ×ｎ画素のセグメントを１ｓｔＴＶフレームと２ｎｄＴＶフレームの間で差分の絶対値をセグメント全画素分合算して、相関が大きく差分の少ないセグメントを見つけることで被写体の移動方向を判断する第２の検出処理を行うことが可能であり、
前記画素信号読み出し回路は、
最初のＴＶフレームでは水平方向の全画素を６０Ｈｚで読み出し、
次のＴＶフレームでは隣接するかもしくは同色で隣接する２画素の電荷を混合し、
１２０Ｈｚで読み出し、あるいは隣接する４画素もしくは同色の隣接する４画素の電荷を混合し、２４０Ｈｚで読み出す画素信号読み出し回路を前記センサ部に含み、それらの出力の差分によって得られる空間周波数の所望の帯域を選択可能である
固体撮像装置。

【請求項3】

前記検出部は、
前記第１、第２、第３の検出処理のうちの少なくともいずれかの検出処理を画面全体で繰り返し、一つの対応セグメントの相関が一番大きいところと隣接するセグメントの相関の一番大きいところの並び方が上記のセンサ部の振り方向のうち一番類似している方向が被写体の移動方向であると判断する
請求項1記載の固体撮像装置。

【請求項4】

前記検出部は、
対応セグメントの移動方向の端面の画素データの相関から被写体の輪郭によってできる閉曲線を推定可能である
請求項２記載の固体撮像装置。

【請求項5】

前記画素信号読み出し回路は
最初のＴＶフレームで水平画素全部を読み出し、次のＴＶフレームで前半に水平２画素を混合したデータを、後半に水平４画素で混合したデータをそれぞれ１２０Ｈｚ、２４０Ｈｚで読み出し、最初のＴＶフレームで読み出したデータから次のＴＶフレームで読み出した１２０Ｈｚ、２４０Ｈｚのデータをそれぞれ引き算することで空間周波数のＢＰＦを形成する
請求項１記載の固体撮像装置。

【請求項6】

前記画素信号読み出し回路は、
最初のＴＶフレームで水平画素全部を読み出し、次のＴＶフレームで前半に水平２画素を混合したデータを、後半に水平４画素で混合したデータをそれぞれ１２０Ｈｚ、２４０Ｈｚで読み出し、最初のＴＶフレームで読み出したデータから次のＴＶフレームで読み出した１２０Ｈｚ、２４０Ｈｚのデータをそれぞれ引き算することで空間周波数のＢＰＦを形成する
請求項２記載の固体撮像装置。

【請求項7】

光電変換を行う画素が配置されたセンサ部の前記画素から画素信号を読み出す読み出し制御を行う固体撮像装置の駆動方法であって、
前記読み出し制御は、
前記センサ部の出力画素信号を一つのＴＶフレームの１倍、２倍または４倍の周波数でフレームメモリに格納することが可能で、１２０Ｈｚ以上の読み出しを行う画素信号読み出しステップと、
前記センサ部の光入射側である前段に配置されるレンズまたは前記センサ部を関連する光軸に沿って駆動して被写体については焦点合わせを行う焦点合わせステップと、
複数（ｎ×ｎ）の画素集合をセグメントと定義し、前記焦点合わせステップにより前記レンズまたは前記センサ部を駆動して動かした結果に基づいて、フレームごとに同じ位置に対応するセグメント間の差分またはフレーム内での隣接する複数のセグメントとの信号の連続性を計測することで、被写体のエッジや動きを検出し、この検出結果に基づいてオートフォーカスの動体追従性や被写体抽出能力を高め、さらにはトラッキングを可能にする検出ステップと、を含み
前記検出部は、
被写体の移動方向や相関を観測するために、ｎ×ｎ画素のセグメントを１ｓｔＴＶフレームと２ｎｄＴＶフレームの間で差分の絶対値をセグメント全画素分合算して、相関が大きく差分の少ないセグメントを見つけることで被写体の移動方向を判断する第２の検出処理を行うことが可能であり、
前記検出部は、
移動方向の計測のため、第１画については１ＴＶフレームと２ＴＶフレームの間に前記センサ部を右または左方向にふって比較し、第２画については左または右方向に、第３画については上または下方向、第４画は下または上方向に動かして比較して、セグメントの相関が一番強いところを選ぶことで１ＴＶフレーム間での移動方向を求める第３の検出処理を行うことが可能である
固体撮像装置の駆動方法。

【請求項8】

固体撮像装置と、
前記固体撮像装置に被写体を結像する光学系と、を有し、
前記固体撮像装置は、
光電変換を行う画素が配置されたセンサ部と、
前記センサ部の前記画素から画素信号を読み出す画素信号を読み出す読み出し制御部と、を有し、
前記読み出し制御部は、
フレームメモリを含み、前記センサ部の出力画素信号を一つのＴＶフレームの１倍、２倍または４倍の周波数でフレームメモリに格納することが可能で、１２０Ｈｚ以上の読み出しが可能な画素信号読み出し回路と、
前記センサ部の光入射側である前段に配置されるレンズまたは前記センサ部を関連する光軸に沿って駆動して被写体について焦点合わせを行う焦点合わせ部と、
複数（ｎ×ｎ）の画素集合をセグメントと定義し、前記焦点合わせ部により前記レンズまたは前記センサ部を駆動して動かした結果に基づいて、フレームごとに同じ位置に対応するセグメント間の差分またはフレーム内での隣接する複数のセグメントとの信号の連続性を計測することで、被写体のエッジや動きを検出し、この検出結果に基づいてオートフォーカスの動体追従性や被写体抽出能力を高め、さらにはトラッキングを可能にする検出部と、を含み
前記検出部は、
被写体の移動方向や相関を観測するために、ｎ×ｎ画素のセグメントを１ｓｔＴＶフレームと２ｎｄＴＶフレームの間で差分の絶対値をセグメント全画素分合算して、相関が大きく差分の少ないセグメントを見つけることで被写体の移動方向を判断する第２の検出処理を行うことが可能であり、
前記検出部は、
移動方向の計測のため、第１画については１ＴＶフレームと２ＴＶフレームの間に前記センサ部を右または左方向にふって比較し、第２画については左または右方向に、第３画については上または下方向、第４画は下または上方向に動かして比較して、セグメントの相関が一番強いところを選ぶことで１ＴＶフレーム間での移動方向を求める第３の検出処理を行うことが可能である
電子機器。

【請求項9】

光電変換を行う画素が配置されたセンサ部の前記画素から画素信号を読み出す読み出し制御を行う固体撮像装置の駆動方法であって、
前記読み出し制御は、
前記センサ部の出力画素信号を一つのＴＶフレームの１倍、２倍または４倍の周波数でフレームメモリに格納することが可能で、１２０Ｈｚ以上の読み出しを行う画素信号読み出しステップと、
前記センサ部の光入射側である前段に配置されるレンズまたは前記センサ部を関連する光軸に沿って駆動して被写体については焦点合わせを行う焦点合わせステップと、
複数（ｎ×ｎ）の画素集合をセグメントと定義し、前記焦点合わせステップにより前記レンズまたは前記センサ部を駆動して動かした結果に基づいて、フレームごとに同じ位置に対応するセグメント間の差分またはフレーム内での隣接する複数のセグメントとの信号の連続性を計測することで、被写体のエッジや動きを検出し、この検出結果に基づいてオートフォーカスの動体追従性や被写体抽出能力を高め、さらにはトラッキングを可能にする第１の検出処理を行うことが可能な検出ステップと、を含み、
前記検出ステップは、
被写体の移動方向や相関を観測するために、ｎ×ｎ画素のセグメントを１ｓｔＴＶフレームと２ｎｄＴＶフレームの間で差分の絶対値をセグメント全画素分合算して、相関が大きく差分の少ないセグメントを見つけることで被写体の移動方向を判断する第２の検出処理を行うことが可能であり、
前記画素信号読み出しステップは、
最初のＴＶフレームでは水平方向の全画素を６０Ｈｚで読み出し、
次のＴＶフレームでは隣接するかもしくは同色で隣接する２画素の電荷を混合し、
１２０Ｈｚで読み出し、あるいは隣接する４画素もしくは同色の隣接する４画素の電荷を混合し、２４０Ｈｚで読み出す画素信号読み出し回路を前記センサ部に含み、それらの出力の差分によって得られる空間周波数の所望の帯域を選択可能である
固体撮像装置の駆動方法。

【請求項10】

固体撮像装置と、
前記固体撮像装置に被写体を結像する光学系と、を有し、
前記固体撮像装置は、
光電変換を行う画素が配置されたセンサ部と、
前記センサ部の前記画素から画素信号を読み出す読み出し制御部と、を有し、
前記読み出し制御部は、
フレームメモリを含み、前記センサ部の出力画素信号を一つのＴＶフレームの１倍、２倍または４倍の周波数でフレームメモリに格納することが可能で、１２０Ｈｚ以上の読み出しが可能な画素信号読み出し回路と、
前記センサ部の光入射側である前段に配置されるレンズまたは前記センサ部を関連する光軸に沿って駆動して被写体について焦点合わせを行う焦点合わせ部と、
複数（ｎ×ｎ）の画素集合をセグメントと定義し、前記焦点合わせ部により前記レンズまたは前記センサ部を駆動して動かした結果に基づいて、フレームごとに同じ位置に対応するセグメント間の差別またはフレーム内での隣接する複数のセグメントとの信号の連続性を計測することで、被写体のエッジや動きを検出し、この検出効果に基づいてオートフォーカスの動体追従性や被写体抽出能力を高め、さらにはトラッキングを可能にする第１の検出処理を行うことが可能な検出部と、を含み
前記検出部は、
被写体の移動方向や相関を観測するために、ｎ×ｎ画素のセグメントを１ｓｔＴＶフレームと２ｎｄＴＶフレームの間で差分の絶対値をセグメント全画素分合算して、相関が大きく差分の少ないセグメントを見つけることで被写体の移動方向を判断する第２の検出処理を行うことが可能であり、
前記画素信号読み出し回路は、
最初のＴＶフレームでは水平方向の全画素を６０Ｈｚで読み出し、
次のＴＶフレームでは隣接するかもしくは同色で隣接する２画素の電荷を混合し、
１２０Ｈｚで読み出し、あるいは隣接する４画素もしくは同色の隣接する４画素の電荷を混合し、２４０Ｈｚで読み出す画素信号読み出し回路を前記センサ部に含み、それらの出力の差分によって得られる空間周波数の所望の帯域を選択可能である
電子機器。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像認識や人工知能演算を効率化するＡＩ機能（人工知能）を有する固体撮像装置とその駆動方法、およびＡＩ機能を有する電子機器に関するものである。

【背景技術】

【0002】

光を検出して電荷を発生させる光電変換素子を用いた固体撮像装置（イメージセンサ）として、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサが実用に供されている。
ＣＭＯＳイメージセンサは、デジタルカメラ、ビデオカメラ、監視カメラ、医療用内視鏡、パーソナルコンピュータ（ＰＣ）、携帯電話等の携帯端末装置(モバイル機器)等の各種電子機器の一部として広く適用されている。

【0003】

ＣＭＯＳイメージセンサは、画素毎にフォトダイオード（光電変換素子）および浮遊拡散層（ＦＤ：Floating Diffusion、フローティングディフュージョン)を有するＦＤアンプを持ち合わせており、その読み出しは、画素アレイの中のある一行を選択し、それらを同時に列（カラム）出力方向へと読み出すような列並列出力型が主流である。

【0004】

また、列並列出力型ＣＭＯＳイメージセンサの画素信号読み出し（出力）回路については実に様々なものが提案されている。
それらの中で、その最も進んだ回路のひとつが、列（カラム）毎にアナログ－デジタル変換器（ＡＤＣ（Analog digital converter)）を備え、画素信号をデジタル信号として取り出す回路である（たとえば特許文献１，２参照）。

【0005】

この列並列ＡＤＣ搭載ＣＭＯＳイメージセンサ（カラムＡＤ方式ＣＭＯＳイメージセンサ）では、比較器（コンパレータ）はいわゆるＲＡＭＰ波と画素信号の比較をして、後段のカウンタでデジタルＣＤＳを行うことによりＡＤ変換を行う。

【0006】

しかしながら、この種のCＭＯＳイメージセンサは、信号の高速転送が可能であるが、グローバルシャッタ読み出しができないという不利益がある。

【0007】

これに対して、各画素に比較器を含むＡＤＣ（さらにはメモリ部）を配置して、画素アレイ部中の全画素に対して同一のタイミングで露光開始と露光終了とを実行するグローバルシャッタをも実現可能にするデジタル画素（ピクセル）センサが提案されている（たとえば特許文献３，４参照）。

【先行技術文献】

【特許文献】

【0008】

【文献】特開２００５－２７８１３５号公報

【文献】特開２００５－２９５３４６号公報

【文献】ＵＳ ７１６４１１４ Ｂ２ ＦＩＧ、４

【文献】ＵＳ ２０１０／０１８１４６４ Ａ１

【発明の概要】

【発明が解決しようとする課題】

【0009】

ところで、従来のＣＭＯＳイメージセンサでは、光電変換された信号を画面上部左から順に読み出すため、画素信号は時系列に読み出されていた。
したがって、オートフォーカス系（自動焦点系）のように画像の周波数の一定の帯域を得たい場合には、その時系列信号をフィルタを通して演算する必要があった。

【0010】

また、オートホワイトバランスのようにR/G/Bの色成分を抽出する場合には、その時系列信号をセレクタ回路を通すことで得ていた。
それゆえ、ＣＭＯＳイメージセンサに写された画像を順次時系列に読み出してしまうため、空間処理で簡単に得られる処理も、すべていったん時間周波数に変換して行っていたため、非効率な処理が生じていた。
またそれらの処理はＴＶフレームの６０Hz毎に行われていたため、高速で移動する被写体に対しては情報を取得することができない場合があった。

【0011】

本発明は、センサ部の出力画素信号を一つのＴＶフレームの１倍、２倍または４倍の周波数でフレームメモリに格納することができ、１２０Ｈｚ以上の読み出しが可能になり、出力の差分によって得られる空間周波数の所望の帯域を選択することが可能となり、しかも１ＴＶフレーム間での被写体の移動方向を容易に求めることが可能な固体撮像装置、固体撮像装置の駆動方法、および電子機器を提供することにある。

【課題を解決するための手段】

【0012】

本発明の第１の観点の固体撮像装置は、光電変換を行う画素が配置されたセンサ部と、前記センサ部の前記画素から画素信号を読み出す読み出し制御部と、を有し、前記読み出し制御部は、フレームメモリを含み、前記センサ部の出力画素信号を一つのＴＶフレームの１倍、２倍または４倍の周波数でフレームメモリに格納することが可能で、１２０Ｈｚ以上の読み出しが可能な画素信号読み出し回路と、前記センサ部の光入射側である前段に配置されるレンズまたは前記センサ部を関連する光軸に沿って駆動して被写体について焦点合わせを行う焦点合わせ部と、複数（ｎ×ｎ）の画素集合をセグメントと定義し、前記焦点合わせ部により前記レンズまたは前記センサ部を駆動して動かした結果に基づいて、フレームごとに同じ位置に対応するセグメント間の差分またはフレーム内での隣接する複数のセグメントとの信号の連続性を計測することで、被写体のエッジや動きを検出し、この検出結果に基づいてオートフォーカスの動体追従性や被写体抽出能力を高め、さらにはトラッキングを可能にする検出部と、を含む。

【0013】

本発明の第２の観点は、光電変換を行う画素が配置されたセンサ部の前記画素から画素信号を読み出す読み出し制御を行う固体撮像装置の駆動方法であって、前記読み出し制御は、前記センサ部の出力画素信号を一つのＴＶフレームの１倍、２倍または４倍の周波数でフレームメモリに格納することが可能で、１２０Ｈｚ以上の読み出しを行う画素信号読み出しステップと、前記センサ部の光入射側である前段に配置されるレンズまたは前記センサ部を関連する光軸に沿って駆動して被写体について焦点合わせを行う焦点合わせステップと、複数（ｎ×ｎ）の画素集合をセグメントと定義し、前記焦点合わせステップにより前記レンズまたは前記センサ部を駆動して動かした結果に基づいて、フレームごとに同じ位置に対応するセグメント間の差分またはフレーム内での隣接する複数のセグメントとの信号の連続性を計測することで、被写体のエッジや動きを検出し、この検出結果に基づいてオートフォーカスの動体追従性や被写体抽出能力を高め、さらにはトラッキングを可能にする検出ステップと、を含む。

【0014】

本発明の第３の観点の電子機器は、固体撮像装置と、前記固体撮像装置に被写体像を結像する光学系と、を有し、前記固体撮像装置は、光電変換を行う画素が配置されたセンサ部と、前記センサ部の前記画素から画素信号を読み出す読み出し制御部と、を有し、前記読み出し制御部は、フレームメモリを含み、前記センサ部の出力画素信号を一つのＴＶフレームの１倍、２倍または４倍の周波数でフレームメモリに格納することが可能で、１２０Ｈｚ以上の読み出しが可能な画素信号読み出し回路と、前記センサ部の光入射側である前段に配置されるレンズまたは前記センサ部を関連する光軸に沿って駆動して被写体について焦点合わせを行う焦点合わせ部と、複数（ｎ×ｎ）の画素集合をセグメントと定義し、前記焦点合わせ部により前記レンズまたは前記センサ部を駆動して動かした結果に基づいて、フレームごとに同じ位置に対応するセグメント間の差分またはフレーム内での隣接する複数のセグメントとの信号の連続性を計測することで、被写体のエッジや動きを検出し、この検出結果に基づいてオートフォーカスの動体追従性や被写体抽出能力を高め、さらにはトラッキングを可能にする検出部と、を含む。

【発明の効果】

【0015】

本発明によれば、センサ部の出力画素信号を一つのＴＶフレームの１倍、２倍または４倍でフレームメモリに格納することができ、１２０Ｈｚ以上の読み出しが可能となる。
また、本発明によれば、出力の差分によって得られる空間周波数の所望の帯域を選択することが可能となり、しかも１ＴＶフレーム間での被写体の移動方向を容易に求めることが可能となる。

【図面の簡単な説明】

【0016】

【図1】本発明の実施形態に係る固体撮像装置の構成例を示すブロック図である。

【図2】本発明の実施形態に係る固体撮像装置の画素信号の読み出し系の一例を示す回路図である。

【図3】本発明の実施形態に係るセンサ部の画素ＰＸＬとセンサゲートスイッチＳＧＳＷ、ＡD変換部および水平レジスタＨＲＥＧの構成図とその信号を受ける４枚のフレームメモリの構成例を示す図である。

【図4】１ＴV フレームにおけるセンサゲートスイッチのオン、オフと出力タイミングとの関係を示す図である。

【図5】本発明の実施形態に係る駆動装置である焦点合わせ部としての可動イメージセンサ部のイメージを示す図である。

【図6】被写体の移動方向や相関を観測するための処理を説明するための第１図である。

【図7】被写体の移動方向や相関を観測するための処理を説明するための第２図である。

【図8】セグメント間の相関について説明するための図である。

【図9】空間周波数のバンドパスフィルタ（ＢＰＦ）の構成例を示す図である。

【図10】ＢＰＦ出力とセグメント端面での画素データ相関のためのオーバーレイを示す図である。

【図11】本発明の実施形態に係る固体撮像装置が適用される人工機能を有する電子機器の構成の一例を示す図である。

【発明を実施するための形態】

【0017】

以下、本発明の実施形態を図面に関連付けて説明する。

【0018】

（実施形態）
図１は、本発明の実施形態に係る固体撮像装置の構成例を示すブロック図である。
図２は、本発明の実施形態に係る固体撮像装置の画素の読み出し系の一例を示す回路図である。
本実施形態において、固体撮像装置１０は、たとえばＣＭＯＳイメージセンサにより構成される。

【0019】

この固体撮像装置１０は、図１に示すように、撮像部としてのセンサ部２０、垂直走査回路（行走査回路）３０、信号処理回路４０、およびタイミング制御回路５０を主構成要素として有している。
これらの構成要素のうち、たとえば垂直走査回路３０、信号処理回路４０、およびタイミング制御回路５０により画素信号の読み出し制御部６０が構成される。

【0020】

本実施形態において、固体撮像装置１０は、光電変換を行う画素が配置されたセンサ部２０と、読み出し制御部６０の下、センサ部２０の画素２００から画素信号ＳＰＸを読み出し、所定の信号処理を施して出力する信号処理回路４０と、を有している。

【0021】

信号処理回路４０は、読み出し制御部６０の制御の下、たとえば、画素信号の読み出し処理、焦点合わせ処理、それらの結果に基づいて、フレームＦＲＭごとに同じ位置に対応するセグメントＳＧＭ間の差分またはフレームＦＲＭ内での隣接する複数のセグメントＳＧＭとの信号の連続性を計測することで、被写体のエッジや動きを検出し、この検出結果に基づいてオートフォーカスの動体追従性や被写体抽出能力を高め、さらにはトラッキングを可能にする検出処理等を行うことが可能に構成されている。

【0022】

本実施形態の信号処理回路４０は、読み出し制御部６０の構成要素の一つとして配置される、画素信号読み出し部４１０、焦点合わせ部４２０、検出部４３０、および水平レジスタ群４４０を主構成要素の一つとして有している。

【0023】

画素信号読み出し部４１０は、主としてセンサ部２０と信号処理回路４０との接続部に配置されている。
画素信号読み出し部４１０は、たとえば画素２００として光電変換読み出し部４１１、ＡＤ（アナログデジタル）変換部４１２、およびフレームメモリＦＲＭを有するメモリ部４１３を含み、たとえば積層型のＣＭＯＳイメージセンサとして構成されている。
本実施形態に係る固体撮像装置１０において、各画素ＰＸＬがＡＤ（アナログデジタル）変換機能を有しており、ＡＤ変換部４１２は、光電変換読み出し部４１１により読み出される電圧信号と参照電圧とを比較し、読み出される電圧信号ＶＳＬに対してアナログデジタル（ＡＤ）変換処理を行い、デジタル化した比較結果信号を出力する比較器（コンパレータ）ＣＭＰを有している。

【0024】

そして、本実施形態の画素信号読み出し部４１０は、フレームメモリＦＲＭを含み、センサ部２０の出力画素信号を一つのＴＶフレームの１倍、２倍または４倍の周波数でフレームメモリＦＲＭに格納することが可能で、１２０Ｈｚ以上の読み出しが可能となるように構成されている。

【0025】

本実施形態の信号処理回路４０の焦点合わせ部４２０は、センサ部２０の光入射側である前段に配置されるレンズＬNＳまたはセンサ部２０を関連する光軸に沿って駆動して被写体について焦点合わせを行う駆動装置としての焦点合わせ部４２０を含んで構成されている。

【0026】

さらに、本実施形態の信号処理回路４０の検出部４３０は、複数（ｎ×ｎ）の画素集合をセグメントと定義してあり、焦点合わせ部４２０によりレンズＬＮＳまたはセンサ部２０を駆動して動かした結果に基づいて、フレームごとに同じ位置に対応するセグメント間の差分またはフレーム内での隣接する複数のセグメントとの信号の連続性を計測することで、被写体のエッジや動きをたとえばＡＩ機能により検出し、この検出結果に基づいてオートフォーカスの動体追従性や被写体抽出能力を高め、さらにはトラッキングを可能にするように構成されている。

【0027】

なお、本実施形態の検出部４３０においては、３ｘ３，４ｘ４、８ｘ８もしくは９ｘ９の画素を１セグメントと定義し、フレームＦＲＭごとに同じ位置に対応するセグメント間の差分もしくはフレーム内での隣接する８つのセグメントとの信号の連続性を計測することで、被写体のエッジや動きをたとえばＡＩ機能により検出し、オートフォーカスの動体追従性や被写体抽出能力を高め、さらにはトラッキングを可能にする。

【0028】

また、本実施形態の画素信号読み出し部４１０は、最初のＴＶフレームでは水平方向の全画素を６０Hzで読み出し、次のＴＶフレームでは隣接するかもしくは同色で隣接する２画素の電荷を混合し、１２０Hzで読み出し、あるいは隣接する４画素もしくは同色の隣接する４画素の電荷を混合し２４０Hzで読み出す画素信号読み出し部４１０をセンサ部２０に含み、それらの出力の差分によって得られる空間周波数の所望の帯域を選択可能である。

【0029】

以下、本実施形態に係る固体撮像装置１０の各部の構成および機能の概要、特に、センサ部２０、画素信号読み出し部４１０、焦点合わせ部４２０、検出部４３０の構成および機能、それらに関連した読み出し処理等について詳述する。

【0030】

図２は、本発明の実施形態に係る画素信号読み出し系回路の構成例を回路図として示している。

【0031】

センサ部２０は、複数の画素２００がＮ行Ｍ列の行列状（マトリクス状）に配列されている。

【0032】

本実施形態に係るデ画素信号読み出し部４１０は、光電変換読み出し部４１１、ＡＤ変換部（ＡＤＣと表記）４１２、およびフレームメモリを有するメモリ部４１３を含んで構成されている。
本実施形態のセンサ部２０は、第１の基板１１０と第２の基板１２０の積層型のＣＭＯＳイメージセンサとして構成されるが、本例では、図２に示すように、第１の基板１１０に光電変換読み出し部４１１が形成され、第２の基板１２０にＡＤ変換部４１２およびメモリ部４１３が形成されている。

【0033】

画素２００の光電変換読み出し部４１１は、フォトダイオード（光電変換素子）と１つの画素内アンプとを含んで構成される。
具体的には、この光電変換読み出し部４１１は、たとえば光電変換素子であるフォトダイオードＰＤ０を有する。
本実施形態の画素２００は、フォトダイオードＰＤ０が、出力ノードＮＤ０としてのフローティングディフュージョンＦＤに接続される。

【0034】

フォトダイオードＰＤ０は、蓄積期間に光電変換により生成した電荷を蓄積する。
フォトダイオードＰＤ０の蓄積部ＰＮＤ０とフローティングディフュージョンＦＤとの間に転送素子としての転送トランジスタＴＧ０－Ｔｒが接続され、蓄積部ＰＮＤ０と所定の固定電位ＶＡＡＰＩＸとが接続されている。

【0035】

そして、光電変換読み出し部４１１は、一つの出力ノードＮＤ０としてのフローティングディフュージョンＦＤに対応して、リセット素子としてのリセットトランジスタＲＳＴ－Ｔｒ、ソースフォロワ素子としてのソースフォソースフォロワトランジスタロワトランジスタＳＦ－Ｔｒ、および読み出しノードＮＤ１をそれぞれ一つずつ有する。ＳＦ－Ｔｒおよび読み出しノードＮＤ１を含んで出力バッファ部４１１１が構成されている。

【0036】

本実施形態に係る光電変換読み出し部４１１は、出力バッファ部４１１１の読み出しノードＮＤ１がＡＤ変換部４１２の入力部に接続されている。
光電変換読み出し部４１１は、出力ノードとしてのフローティングディフュージョンＦＤの電荷を電荷量に応じた電圧信号に変換し、変換した電圧信号ＶＳＬをＡＤ変換部４１２に出力する。

【0037】

たとえば、光電変換読み出し部４１１は、ＡＤ変換部４１２の比較処理期間において、蓄積期間ＰＩに光電変換素子であるフォトダイオードＰＤ０から出力ノードとしてのフローティングディフュージョンＦＤに転送されたフォトダイオードＰＤ０の蓄積電荷に応じた電圧信号ＶＳＬを出力する。
光電変換読み出し部４１１は、比較処理期間において、画素信号としての読み出しリセット信号(信号電圧)（ＶＲＳＴ）および読み出し信号(信号電圧)（ＶＳＩＧ）をＡＤ変換部４１２に出力する。

【0038】

フォトダイオードＰＤ０は、入射光量に応じた量の信号電荷（ここでは電子）を発生し、蓄積する。
以下、信号電荷は電子であり、各トランジスタがｎ型トランジスタである場合について説明するが、信号電荷が正孔（ホール）であったり、各トランジスタがｐ型トランジスタであっても構わない。

【0039】

各画素２００において、フォトダイオード（ＰＤ）としては、埋め込み型フォトダイオード（ＰＰＤ）が用いられる。
フォトダイオード（ＰＤ）を形成する基板表面にはダングリングボンドなどの欠陥による界面準位が存在するため、熱エネルギーによって多くの電荷（暗電流）が発生し、正しい信号が読み出せなくなってしまう。
埋め込み型フォトダイオード（ＰＰＤ）では、フォトダイオード（ＰＤ）の電荷蓄積部を基板内に埋め込むことで、暗電流の信号への混入を低減することが可能となる。

【0040】

光電変換読み出し部４１１の転送トランジスタＴＧ０－Ｔｒは、フォトダイオードＰＤ０の蓄積部ＰＮＤ０とフローティングディフュージョンＦＤの間に接続され、制御線を通じてゲートに印加される制御信号ＴＧ０により制御される。
転送トランジスタＴＧ０－Ｔｒは、制御信号ＴＧ０がハイ（Ｈ）レベルの転送期間ＰＴに選択されて導通状態となり、フォトダイオードＰＤ０で光電変換され蓄積された電荷（電子）をフローティングディフュージョンＦＤに転送する。

【0041】

ソースフォロワ素子としてのソースフォロワトランジスタＳＦ－Ｔｒは、ソースが読み出しノードＮＤ１に接続され、ドレイン側が電源線Ｖaapixに接続され、ゲートがフローrントトランジスタＩＣ－Ｔｒのゲートは制御信号ＶＢＮＰＩＸの供給ラインに接続されている。
そして、読み出しノードＮＤ１とＡＤ変換部４１２の入力部間の信号線ＬＳＧＮ１は、電流源素子としてのカレントトランジスタＩＣ－Ｔｒにより駆動される。

【0042】

このカレントトランジスタＩC－Ｔr、または光電変換読み出し部４１１の読み出しノードＮＤ１と信号線ＬＳＧＮ１に接続されるカレントトランジスタは、センサゲートスイッチＳＧＳＷとしての機能を有する。

【0043】

画素２００のＡＤ変換部４１２は、光電変換読み出し部４１１により出力されるアナログの電圧信号ＶＳＬを、所定の傾きを持たせて変化させたランプ波形または固定電圧の参照電圧ＶＲＥＦと比較して、デジタル信号に変換する機能する。

【0044】

ＡＤ変換部４１２は、図２に示すように、比較器（ＣＯＭＰ）４１２１、出力側の負荷キャパシタＣＬ１、およびリセットスイッチＳＷ－ＲＳＴを含んで構成されている。

【0045】

比較器４１２１は、第１の入力端子としての反転入力端子（－）に、光電変換読み出し部４１１の出力バッファ部４１１１から信号線ＬＳＧＮ１に出力された電圧信号ＶＳＬが供給され、第２の入力端子としての非反転入力端子（＋）に参照電圧ＶＲＥＦが供給され、電圧信号ＶＳＴと参照電圧ＶＲＥＦとを比較し、デジタル化した比較結果信号ＳＣＭＰを出力するＡＤ変換処理（比較処理）を行う。

【0046】

比較器４１２１は、第１の入力端子としての反転入力端子（－）に結合キャパシタＣＣ１が接続されており、第１の基板１１０側の光電変換読み出し部４１１の出力バッファ部４１１１と第２の基板１２０側のＡＤ変換部４１２の比較器４１２１の入力部をＡＣ結合することにより、低ノイズ化を図り、低照度時に高ＳＮＲを実現可能なように構成されている。

【0047】

また、比較器４１２１は、出力端子と第１の入力端子としての反転入力端子（－）との間にリセットスイッチＳＷ－ＲＳＴが接続され、出力端子と基準電位ＶＳＳとの間に負荷キャパシタＣＬ１が接続されている。

【0048】

基本的に、ＡＤ変換部４１２においては、光電変換読み出し部４１１の出力バッファ部４１１１から信号線ＬＳＧＮ１に読み出されたアナログ信号（電位ＶＳＬ）は比較器４１２１で参照電圧ＶＲＥＦ、たとえばある傾きを持った線形に変化するスロープ波形であるランプ信号ＲＡＭＰと比較される。
このとき、たとえば比較器４１２１と同様に列毎に配置された図示しないカウンタが動作しており、ランプ波形のあるランプ信号ＲＡＭＰとカウンタ値が一対一の対応を取りながら変化することで電圧信号ＶＳＬをデジタル信号に変換する。
基本的に、ＡＤ変換部４１２は、参照電圧ＶＲＥＦ（たとえばランプ信号ＲＡＭＰ）の変化は電圧の変化を時間の変化に変換するものであり、その時間をある周期(クロック)で数えることでデジタル値に変換する。
そして、アナログ信号ＶＳＬとランプ信号ＲＡＭＰ（参照電圧ＶＲＥＦ）が交わったとき、比較器４１２１の出力が反転し、図示しないカウンタの入力クロックを停止し、または、入力を停止していたクロックを図示しないカウンタに入力し、そのときのカウンタの値（データ）がメモリ部４１３（２３０）に記憶されてＡＤ変換を完了させる。
以上のＡＤ変換期間終了後、各画素２００のメモリ部４１３（２３０）に格納されたデータ（信号）は信号処理回路４０から図示しない信号処理回路に出力され、所定の信号処理により２次元画像が生成される。

【0049】

メモリ部４１３はＳＲＡＭやＤＲＡＭにより構成され、デジタル変換された信号が供給され、フォトコンバージョン符号に対応し、画素アレイ周辺の信号処理回路４０の外部ＩＯバッファにより読み出すことができる。
本例では、メモリ部４１３は、比較器４１２１の出力に４つのメモリ４１３１（２３１），４１３２（２３２）、４１３３（２３３），４１３４（２３４）が接続されている。

【0050】

なお、比較器４１２１の比較処理結果のデジタルデータは、メモリ部４１３０の４つのメモリ４１３１（２３１），４１３２（２３２），４１３３（２３３），４１３４（２３４）に交互に格納される。
これにより、迅速な読み出し動作を実現可能である。

【0051】

垂直走査回路３０は、タイミング制御回路５０の制御に応じてシャッタ行および読み出し行において行走査制御線を通して画素２００の光電変換読み出し部４１１の駆動を行う。
垂直走査回路３０は、タイミング制御回路５０の制御に応じて、各画素２００の比較器２２１に対して、比較処理に準じて設定される参照電圧ＶＲＥＦを供給する。
また、垂直走査回路３０は、アドレス信号に従い、信号の読み出しを行うリード行と、フォトダイオードＰＤに蓄積された電荷をリセットするシャッタ行の行アドレスの行選択信号を出力する。

【0052】

信号処理回路４０は、たとえばセンサ部２０の各画素２００のメモリ出力に対応して配置されたＩＯバッファを含み、各画素２００から読み出されるデジタルデータを外部に出力する。

【0053】

タイミング制御回路５０は、画素部２０、垂直走査回路３０、出力回路４０等の信号処理に必要なタイミング信号を生成する。

【0054】

本実施形態において、読み出し制御部６０は、画素２００からの画素信号の読み出し制御を行う。

【0055】

（読み出し制御部６０による画素２００からの画素信号の読み出し制御）
次に、本実施形態に係る読み出し制御部６０による画素２００からの画素信号の読み出し制御について具体的に説明する。

【0056】

まず、上記構成を有する固体撮像装置（CMOSイメージセンサ）１０のセンサ部２０、および画素信号読み出し回路４１０の基本的な構成および各種操作、機能について、図面に関連付けて順を追って説明する。

【0057】

図３は、本発明の実施形態に係るセンサ部２０の画素（図１では、光電変換素子、フォトダイオードとして示されている）ＰＸＬとセンサゲートスイッチＳＧＳＷ、ＡD変換部および水平レジスタＨＲＥＧの構成図とその信号を受ける４枚のフレームメモリＭＥＭ０～ＭＥＭ３（２３１～２３４）の構成例を示す図である。
図４は、１ＴV フレームにおけるセンサゲートスイッチのオン、オフと出力タイミングとの関係を示す図である。

【0058】

図３の画素ＰＸＬは１/２４０秒間ずつ露光し、電荷を蓄積する。そして、１/２４０秒毎にセンサゲートスイッチＳＧＳＷをオンし、蓄積した電荷をA/D変換し水平レジスタＨＲＥＧに移送する。
水平レジスタＨＲＥＧは垂直画素数分用意され、順次格納したデータを水平方向にシフトし、出力し、後段のフレームメモリＭＥＭに格納していく。
この操作はセンサゲートスイッチＳＧＳＷがオンしたのち、１/２４０秒で完結する。
この間、並行して画素ＰＸＬには次の1/２４０秒の画像が蓄積され、それが終わり次第上記の動作を繰り返す（図４）。
このようにして１ＴＶ フレームＦＲＭで４枚の画像データが出力される。

【0059】

図５は、本発明の実施形態に係る駆動装置である焦点合わせ部としての可動イメージセンサ部のイメージを示す図である。

【0060】

イメージセン部２０の駆動はピエゾやボイスコイルあるいはステッピングモータ等でイメージセンサ部２０の基板を水平・垂直もしくはレンズＬＮＳの光軸を中心に回転方向に駆動する。
駆動の周期は１ＴＶフレーム毎に行う。

【0061】

最初に、１ＴＶフレーム毎に前段のフォーカスレンズの駆動を行って、中心被写体ついて焦点合わせを行う。
また合理性を高めるため、前段のフォーカスレンズは固定とし、代わってイメージセンサ部２０を光軸の焦点方向に駆動できるようにしてもよい。
また、ユーザーの希望で画面の特定位置の被写体に焦点合わせを行う場合にはその部分についてコントラストを抽出し、焦点合わせを行う。
あるいは、ＰＤＡＦや位相差センサがある場合には焦点合わせの操作はそちらに任せ、本機構では省略することが可能である。

【0062】

図６および図７は、被写体の移動方向や相関を観測するための処理を説明するための図である。
また、図８は、セグメント間の相関について説明するための図である。

【0063】

図６には被写体の移動方向や相関を観測するために、たとえば４x４画素のセグメントＳＧＭ（図７）を１stTV フレームＦＲＭ１と２ndTVフレームＦＲＭ２の間で差分の絶対値
Σ｜pij-p(i+3)(j+3)|
を１６画素分合算して、相関の大きいつまり差分の少ないセグメントを見つけることで被写体の移動方向を知ることができる。

【0064】

移動方向の計測のため、画１については１TV フレームと２TVフレームの間にイメージセンサ部２０を右方向にふって比較し、画２については左方向に、画３については上方向、画４は下方向に動かして比較すること（セグメントの相関が一番強いところを選ぶ）で１TVフレーム間での移動方向が容易に求められる。

【0065】

上記の操作を画面全体で繰り返し、一つの対応セグメントの相関が一番大きいところと隣接するセグメントの相関の一番大きいところの並び方が上記のイメージセンサ部２０の振り方向のうち一番類似している方向が被写体の移動方向であることがわかる。

【0066】

さらにその並びをトレースすることで被写体の閉曲面が推定される。
たとえば、1stTVフレーム画１と2ndTVフレーム画１が一番相関が大きい場合、右方向に被写体が動いていると判断されるので、1stTVフレームp24と２ndTVフレームのp14もしくはp２4もしくはp34の値の差分が一番小さいところを被写体の輝度が継続されたとみなすことができる。

【0067】

同様に、２ndTVフレーム画1 p24と3rdTVフレームの画1のp14,p24,p34の比較を行い、被写体の輝度の連続性を観測し、被写体の移動方向を把握することができる。

【0068】

1ＴＶフレームの間に被写体の移動方向が左ということが分かれば（すなわち画３の相関が一番大きい場合）たとえば1stTVフレーム画３のp21に対して2ndTVフレーム画３のp11,ｐ２1，p31の比較を行う。
1TVフレーム間の移動方向が上ということであれば、1stTVフレーム画４のp12に対して2ndTVフレーム画４のp11,p12,p13の比較を行う。
また、1TVフレームの間に下に移動したとなれば、1stTVフレーム画２のp42に対して2ndTVフレーム画２のp41,p42,p43との比較を行い、被写体の特定点の輝度が継続されている方向を見極める。

【0069】

これの操作により、画面全体の移動方向に加えて、さらにピクセル単位での移動方向や移動速度の詳細な情報を得ることができる。

【0070】

被写体の動きがもっと早い場合には、比較を行うピクセルを動き方向に２画素もしくは数画素分シフトして行う。

【0071】

イメージセンサ部２０の駆動は光軸を中心に時計回りもしくは半時計回りに回転させ被写体の移動方向を観測することもできる。

【0072】

図９は、空間周波数のバンドパスフィルタ（ＢＰＦ）の構成例を示す図である。
図１０は、ＢＰＦ出力とセグメント端面での画素データ相関のためのオーバーレイを示す図である。

【0073】

たとえば、１stTVフレームは、イメージセンサ部２０の全画素を６０Hzで読み出し、2ndTVフレームでは最初の読み出しを水平方向２画素を合算して１２０Hzで読み出し、後半を４画素合算して１２０Hzで読み出せば、図９のような帯域の信号がえられる。Sig全からSig半を引けばBPF2が、Sig半からSig四を引けばBPF1が算出される。これらをコントラストオートフォーカスの信号として用いることができるし、BPF2は被写体のエッジを示すため、エッジ抽出信号としても活用できる。
さらに上述の被写体閉曲面と重ねれば精度の高い領域抽出が可能になる。

【0074】

（閉曲線生成関連）
たとえば図９の６０Hzで読み出した1stフレームの画像と2ndフレーム内で１２０Hzで読み出した画像を引き算するとBPF２のような輪郭情報が得られる。
その輪郭の位置近傍で上述で得たフレーム間での移動方向のセグメントの端面での輝度の相関が一番高いところをトレースすれば被写体の輪郭によって形成される閉曲線を抽出することができる。

【0075】

このようにして得られた閉曲線を新たに被写体対応セグメントとして定義し、TVフレームごとにそれらの被写体セグメントの相関を取ることで被写体に応じたオートフォーカスやトラッキングが可能になる。

【0076】

また、TVフレーム間で上記被写体セグメントの相関がある一定量以上減じた場合には、相関が維持された閉曲線の部分以外のところでほかの被写体が侵入してきたことになり、侵入してきた被写体についても新たに被写体セグメントを形成することができる。

【0077】

このようにして時間がたつにつれて被写体が入れ替わったり、突然画面に侵入してきた場合にも、被写体セグメント毎にフォーカスを合わせることができるので、安定したフォーカスを得ることができる。

【0078】

＜本実施形態による効果＞
本実施形態によれば、センサ部２００の水平画素全部を１ＴＶフレーム内で読み出し、またそれらを２画素混合して読み出した画素信号を１ＴＶフレームの前半で１２０Hzで読み出し、１ＴＶフレームの後半で４画素混合したものを２４０Ｈｚで読み出し、それぞれのデータをフレームメモリに格納し、１ＴＶフレームのデータから１２０Ｈｚのデータを引き算することで、空間周波数のバンドパスフィルタ（ＢＰＦ）を構成することができる。
これにより、被写体の輪郭情報を効率よく抽出できる。
また同様に、１ＴＶフレームデータから２４０HZのデータを引き算したり、１２０Ｈｚのデータから２４０Ｈｚのデータを引き算することでいろいろな帯域のＢＰＦを構成することができ、オートフォーカスや画像データ圧縮時に有用な情報をきわめて効率よく得ることができる。

【0079】

また、本実施形態によれば、センサ部２００の基板を上下左右もしくは光軸を中心とした回転方向に駆動できる駆動装置としてのアクチュエータを備え、２４０Ｈｚで水平方向に４画素混合したデータを１ＴＶフレーム内に４回出力できるようなセンサ部２００において、１回目の読み出しではフレームごとに左にイメージセンサを動かし、２回目では右に、３回目では上に、４回目では下に動かし、それぞれの回で位置の対応するセグメントごとの画素データを比較することで、２ＴＶフレーム以内で被写体の移動方向が効率的に推定できる。

【0080】

また、本実施形態によれば、上述で判明した動き方向にセグメントの対応画素で相関を取ることで被写体ごとの細かい動きの方向が算出される。

【0081】

さらに、本実施形態によれば、対応セグメントの移動方向の端面の画素データの相関から被写体の輪郭によってできる閉曲線を推定できる。

【0082】

あわせて、本実施形態によれば、上記したオートフォーカスや画像データ圧縮時に有用な情報をきわめて効率よく得る方法によって得られた輪郭情報に対応するセグメントで上記（２）から（４）の操作を繰り返すことで、より詳細な閉曲線を得ることができる。

【0083】

また、本実施形態によれば、上記の操作によって得られた被写体の閉曲線に対応し、被写体セグメントを作成でき、TVフレーム毎に被写体セグメントごとの相関を取ることで、所望の被写体にあわせたフォーカシングやトラッキングを実現することができる。

【0084】

以上説明した固体撮像装置１０は、デジタルカメラやビデオカメラ、携帯端末、あるいは監視用カメラ、医療用内視鏡用カメラなどの電子機器に、撮像デバイスとして適用することができる。

【0085】

図１１は、本発明の実施形態に係る固体撮像装置が適用される人工機能を有する電子機器の構成の一例を示す図である。

【0086】

本電子機器３００は、図１１に示すように、本実施形態に係る固体撮像装置１０が適用可能なＣＭＯＳイメージセンサ３１０を有する。
さらに、電子機器３００は、このＣＭＯＳイメージセンサ３１０の画素領域に入射光を導く（被写体像を結像する）光学系（レンズ等）３２０を有する。
電子機器３００は、ＣＭＯＳイメージセンサ３１０の出力信号を処理する信号処理回路(ＰＲＣ)３３０を有する。

【0087】

信号処理回路３３０は、ＣＭＯＳイメージセンサ３１０の出力信号に対して所定の信号処理を施す。
信号処理回路３３０で処理された画像信号は、液晶ディスプレイ等からなるモニタに動画として映し出し、あるいはプリンタに出力することも可能であり、またメモリカード等の記録媒体に直接記録する等、種々の態様が可能である。

【0088】

上述したように、ＣＭＯＳイメージセンサ３１０として、前述した固体撮像装置１０を搭載することで、高性能、小型、低コストのカメラシステムを提供することが可能となる。
そして、カメラの設置の要件に実装サイズ、接続可能ケーブル本数、ケーブル長さ、設置高さなどの制約がある用途に使われる、たとえば、監視用カメラ、医療用内視鏡用カメラなどのＡＩ機能を有する電子機器を実現することができる。

【符号の説明】

【0089】

１０・・・固体撮像装置、２０・・・センサ部、ＰＤ０・・・フォトダイオード、ＴＧ０－Ｔｒ・・・転送トランジスタ、ＦＤ・・・フローティングディフュージョン、ＲＳＴ－Ｔｒ・・・リセットトランジスタ、ＲＳＴ０－Ｔｒ・・・リセットトランジスタ、ＳＦ－Ｔｒ・・・ソースフォロワトランジスタ、ＳＦ０－Ｔｒ・・・ソースフォロワトランジスタ、２００・・・画素、３０・・・垂直走査回路、４０・・・信号処理回路、４１０・・・画素信号読み出し部、４１１・・・光電変換読み出し部、４１２・・・ＡＤ変換部、４１２１・・・比較器、４１３・・・メモリ部、４１３１～４１３４・・・メモリ、４２０・・・焦点合わせ部、４３０・・・検出部、５０・・・タイミング制御回路、６０・・・読み出し制御部、３００・・・電子機器、３１０・・・ＣＭＯＳイメージセンサ、３２０・・・光学系、３３０・・・信号処理回路（ＰＲＣ）。

【要約】

【課題】センサ部の出力画素信号を一つのＴＶフレームの１倍、２倍または４倍でフレームメモリに格納することができ、１２０Ｈｚ以上の読み出しが可能になり、出力の差分によって得られる空間周波数の所望の帯域を選択することが可能となり、しかも１ＴＶフレーム間での被写体の移動方向を容易に求めることが可能な固体撮像装置、固体撮像装置の駆動方法、および電子機器を提供する。
【解決手段】焦点合わせ部４２０によりレンズまたはセンサ部を駆動して動かした結果に基づいて、フレームごとに同じ位置に対応するセグメント間の差分またはフレーム内での隣接する複数のセグメントとの信号の連続性を計測することで、被写体のエッジや動きを検出し、この検出結果に基づいてオートフォーカスの動体追従性や被写体抽出能力を高め、さらにトラッキングを可能にする検出部４３０を含む。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】