(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2025-01-07
(45)【発行日】2025-01-16
(54)【発明の名称】AI機能を有する固体撮像装置とその駆動方法、および電子機器
(51)【国際特許分類】
H04N 25/703 20230101AFI20250108BHJP
H04N 25/40 20230101ALI20250108BHJP
H04N 25/76 20230101ALI20250108BHJP
H04N 25/704 20230101ALI20250108BHJP
H04N 25/708 20230101ALI20250108BHJP
H04N 25/46 20230101ALI20250108BHJP
H04N 23/67 20230101ALI20250108BHJP
G06T 7/20 20170101ALI20250108BHJP
【FI】
H04N25/703
H04N25/40
H04N25/76
H04N25/704
H04N25/708
H04N25/46
H04N23/67
G06T7/20
(21)【出願番号】P 2024085530
(22)【出願日】2024-05-27
【審査請求日】2024-06-21
【早期審査対象出願】
(73)【特許権者】
【識別番号】524200391
【氏名又は名称】株式会社フューチャードメイン
(74)【代理人】
【識別番号】110001863
【氏名又は名称】弁理士法人アテンダ国際特許事務所
(72)【発明者】
【氏名】鶴田 雅明
【審査官】廣田 健介
(56)【参考文献】
【文献】特開2021-013117(JP,A)
【文献】特開2003-259234(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/30-5/33
H04N 23/11,23/20-23/30
H04N 25/00,25/20-25/79
H01L 27/14-24/148
H01L 29/76
H10K 39/32-39/34
(57)【特許請求の範囲】
【請求項1】
光電変換を行う画素が配置されたセンサ部と、
前記センサ部の前記画素から画素信号を読み出す読み出し制御部と、を有し、
前記読み出し制御部は、
フレームメモリを含み、前記センサ部の出力画素信号を一つのTVフレームの1倍、2倍または4倍の周波数でフレームメモリに格納することが可能で、120Hz以上の読み出しが可能な画素信号読み出し回路と、
前記センサ部の光入射側である前段に配置されるレンズまたは前記センサ部を関連する光軸に沿って駆動して被写体について焦点合わせを行う焦点合わせ部と、
複数(n×n)の画素集合をセグメントと定義し、前記焦点合わせ部により前記レンズまたは前記センサ部を駆動して動かした結果に基づいて、フレームごとに同じ位置に対応するセグメント間の差別またはフレーム内での隣接する複数のセグメントとの信号の連続性を計測することで、被写体のエッジや動きを検出し、この検出効果に基づいてオートフォーカスの動体追従性や被写体抽出能力を高め、さらにはトラッキングを可能にする第1の検出処理を行うことが可能な検出部と、を含み、
前記検出部は、
被写体の移動方向や相関を観測するために、n×n画素のセグメントを1stTVフレームと2ndTVフレームの間で差分の絶対値をセグメント全画素分合算して、相関が大きく差分の少ないセグメントを見つけることで被写体の移動方向を判断する第2の検出処理を行うことが可能であり、
前記検出部は、
移動方向の計測のため、第1画については1TV
フレームと2TVフレームの間に前記センサ部を右または左方向にふって比較し、第2画については左または右方向に、第3画については上または下方向、第4画は下または上方向に動かして比較して、セグメントの相関が一番強いところを選ぶことで1TVフレーム間での移動方向を求める第3の検出処理を行うことが可能である
固体撮像装置。
【請求項2】
光電変換を行う画素が配置されたセンサ部と、
前記センサ部の前記画素から画素信号を読み出す読み出し制御部と、を有し、
前記読み出し制御部は、
フレームメモリを含み、前記センサ部の出力画素信号を一つのTVフレームの1倍、2倍または4倍の周波数でフレームメモリに格納することが可能で、120Hz以上の読み出しが可能な画素信号読み出し回路と、
前記センサ部の光入射側である前段に配置されるレンズまたは前記センサ部を関連する光軸に沿って駆動して被写体について焦点合わせを行う焦点合わせ部と、
複数(n×n)の画素集合をセグメントと定義し、前記焦点合わせ部により前記レンズまたは前記センサ部を駆動して動かした結果に基づいて、フレームごとに同じ位置に対応するセグメント間の差別またはフレーム内での隣接する複数のセグメントとの信号の連続性を計測することで、被写体のエッジや動きを検出し、この検出効果に基づいてオートフォーカスの動体追従性や被写体抽出能力を高め、さらにはトラッキングを可能にする第1の検出処理を行うことが可能な検出部と、を含み
前記検出部は、
被写体の移動方向や相関を観測するために、n×n画素のセグメントを1stTVフレームと2ndTVフレームの間で差分の絶対値をセグメント全画素分合算して、相関が大きく差分の少ないセグメントを見つけることで被写体の移動方向を判断する第2の検出処理を行うことが可能であり、
前記画素信号読み出し
回路は、
最初のTVフレームでは水平方向の全画素を60Hzで読み出し、
次のTVフレームでは隣接するかもしくは同色で隣接する2画素の電荷を混合し、
120Hzで読み出し、あるいは隣接する4画素もしくは同色の隣接する4画素の電荷を混合し、240Hzで読み出す画素信号読み出し回路を前記センサ部に含み、それらの出力の差分によって得られる空間周波数の所望の帯域を選択可能である
固体撮像装置。
【請求項3】
前記検出部は、
前記第1、第2、第3の検出処理のうちの少なくともいずれかの検出処理を画面全体で繰り返し、一つの対応セグメントの相関が一番大きいところと隣接するセグメントの相関の一番大きいところの並び方が上記のセンサ部の振り方向のうち一番類似している方向が被写体の移動方向であると判断する
請求項1記載の固体撮像装置。
【請求項4】
前記検出部は、
対応セグメントの移動方向の端面の画素データの相関から被写体の輪郭によってできる閉曲線を推定可能である
請求項2記載の固体撮像装置。
【請求項5】
前記画素信号読み出し
回路は
最初のTVフレームで水平画素全部を読み出し、次のTVフレームで前半に水平2画素を混合したデータを、後半に水平4画素で混合したデータをそれぞれ120Hz、240Hzで読み出し、最初のTVフレームで読み出したデータから次のTVフレームで読み出した120Hz、240Hzのデータをそれぞれ引き算することで空間周波数のBPFを形成する
請求項1記載の固体撮像装置。
【請求項6】
前記画素信号読み出し
回路は、
最初のTVフレームで水平画素全部を読み出し、次のTVフレームで前半に水平2画素を混合したデータを、後半に水平4画素で混合したデータをそれぞれ120Hz、240Hzで読み出し、最初のTVフレームで読み出したデータから次のTVフレームで読み出した120Hz、240Hzのデータをそれぞれ引き算することで空間周波数のBPFを形成する
請求項2記載の固体撮像装置。
【請求項7】
光電変換を行う画素が配置されたセンサ部の前記画素から画素信号を読み出す読み出し制御を行う固体撮像装置の駆動方法であって、
前記読み出し制御は、
前記センサ部の出力画素信号を一つのTVフレームの1倍、2倍または4倍の周波数でフレームメモリに格納することが可能で、120Hz以上の読み出しを行う画素信号読み出しステップと、
前記センサ部の光入射側である前段に配置されるレンズまたは前記センサ部を関連する光軸に沿って駆動して被写体については焦点合わせを行う焦点合わせステップと、
複数(n×n)の画素集合をセグメントと定義し、前記焦点合わせステップにより前記レンズまたは前記センサ部を駆動して動かした結果に基づいて、フレームごとに同じ位置に対応するセグメント間の差分またはフレーム内での隣接する複数のセグメントとの信号の連続性を計測することで、被写体のエッジや動きを検出し、この検出結果に基づいてオートフォーカスの動体追従性や被写体抽出能力を高め、さらにはトラッキングを可能にする検出ステップと、を含み
前記検出部は、
被写体の移動方向や相関を観測するために、n×n画素のセグメントを1stTVフレームと2ndTVフレームの間で差分の絶対値をセグメント全画素分合算して、相関が大きく差分の少ないセグメントを見つけることで被写体の移動方向を判断する第2の検出処理を行うことが可能であり、
前記検出部は、
移動方向の計測のため、第1画については1TV
フレームと2TVフレームの間に前記センサ部を右または左方向にふって比較し、第2画については左または右方向に、第3画については上または下方向、第4画は下または上方向に動かして比較して、セグメントの相関が一番強いところを選ぶことで1TVフレーム間での移動方向を求める第3の検出処理を行うことが可能である
固体撮像装置の駆動方法。
【請求項8】
固体撮像装置と、
前記固体撮像装置に被写体を結像する光学系と、を有し、
前記固体撮像装置は、
光電変換を行う画素が配置されたセンサ部と、
前記センサ部の前記画素から画素信号を読み出す画素信号を読み出す読み出し制御部と、を有し、
前記読み出し制御部は、
フレームメモリを含み、前記センサ部の出力画素信号を一つのTVフレームの1倍、2倍または4倍の周波数でフレームメモリに格納することが可能で、120Hz以上の読み出しが可能な画素信号読み出し回路と、
前記センサ部の光入射側である前段に配置されるレンズまたは前記センサ部を関連する光軸に沿って駆動して被写体について焦点合わせを行う焦点合わせ部と、
複数(n×n)の画素集合をセグメントと定義し、前記焦点合わせ部により前記レンズまたは前記センサ部を駆動して動かした結果に基づいて、フレームごとに同じ位置に対応するセグメント間の差分またはフレーム内での隣接する複数のセグメントとの信号の連続性を計測することで、被写体のエッジや動きを検出し、この検出結果に基づいてオートフォーカスの動体追従性や被写体抽出能力を高め、さらにはトラッキングを可能にする検出部と、を含み
前記検出部は、
被写体の移動方向や相関を観測するために、n×n画素のセグメントを1stTVフレームと2ndTVフレームの間で差分の絶対値をセグメント全画素分合算して、相関が大きく差分の少ないセグメントを見つけることで被写体の移動方向を判断する第2の検出処理を行うことが可能であり、
前記検出部は、
移動方向の計測のため、第1画については1TV
フレームと2TVフレームの間に前記センサ部を右または左方向にふって比較し、第2画については左または右方向に、第3画については上または下方向、第4画は下または上方向に動かして比較して、セグメントの相関が一番強いところを選ぶことで1TVフレーム間での移動方向を求める第3の検出処理を行うことが可能である
電子機器。
【請求項9】
光電変換を行う画素が配置されたセンサ部の前記画素から画素信号を読み出す読み出し制御を行う固体撮像装置の駆動方法であって、
前記読み出し制御は、
前記センサ部の出力画素信号を一つのTVフレームの1倍、2倍または4倍の周波数でフレームメモリに格納することが可能で、120Hz以上の読み出しを行う画素信号読み出しステップと、
前記センサ部の光入射側である前段に配置されるレンズまたは前記センサ部を関連する光軸に沿って駆動して被写体については焦点合わせを行う焦点合わせステップと、
複数(n×n)の画素集合をセグメントと定義し、前記焦点合わせステップにより前記レンズまたは前記センサ部を駆動して動かした結果に基づいて、フレームごとに同じ位置に対応するセグメント間の差分またはフレーム内での隣接する複数のセグメントとの信号の連続性を計測することで、被写体のエッジや動きを検出し、この検出結果に基づいてオートフォーカスの動体追従性や被写体抽出能力を高め、さらにはトラッキングを可能にする第1の検出処理を行うことが可能な検出ステップと、を含み、
前記検出ステップは、
被写体の移動方向や相関を観測するために、n×n画素のセグメントを1stTVフレームと2ndTVフレームの間で差分の絶対値をセグメント全画素分合算して、相関が大きく差分の少ないセグメントを見つけることで被写体の移動方向を判断する第2の検出処理を行うことが可能であり、
前記画素信号読み出し
ステップは、
最初のTVフレームでは水平方向の全画素を60Hzで読み出し、
次のTVフレームでは隣接するかもしくは同色で隣接する2画素の電荷を混合し、
120Hzで読み出し、あるいは隣接する4画素もしくは同色の隣接する4画素の電荷を混合し、240Hzで読み出す画素信号読み出し回路を前記センサ部に含み、それらの出力の差分によって得られる空間周波数の所望の帯域を選択可能である
固体撮像装置の駆動方法。
【請求項10】
固体撮像装置と、
前記固体撮像装置に被写体を結像する光学系と、を有し、
前記固体撮像装置は、
光電変換を行う画素が配置されたセンサ部と、
前記センサ部の前記画素から画素信号を読み出す読み出し制御部と、を有し、
前記読み出し制御部は、
フレームメモリを含み、前記センサ部の出力画素信号を一つのTVフレームの1倍、2倍または4倍の周波数でフレームメモリに格納することが可能で、120Hz以上の読み出しが可能な画素信号読み出し回路と、
前記センサ部の光入射側である前段に配置されるレンズまたは前記センサ部を関連する光軸に沿って駆動して被写体について焦点合わせを行う焦点合わせ部と、
複数(n×n)の画素集合をセグメントと定義し、前記焦点合わせ部により前記レンズまたは前記センサ部を駆動して動かした結果に基づいて、フレームごとに同じ位置に対応するセグメント間の差別またはフレーム内での隣接する複数のセグメントとの信号の連続性を計測することで、被写体のエッジや動きを検出し、この検出効果に基づいてオートフォーカスの動体追従性や被写体抽出能力を高め、さらにはトラッキングを可能にする第1の検出処理を行うことが可能な検出部と、を含み
前記検出部は、
被写体の移動方向や相関を観測するために、n×n画素のセグメントを1stTVフレームと2ndTVフレームの間で差分の絶対値をセグメント全画素分合算して、相関が大きく差分の少ないセグメントを見つけることで被写体の移動方向を判断する第2の検出処理を行うことが可能であり、
前記画素信号読み出し
回路は、
最初のTVフレームでは水平方向の全画素を60Hzで読み出し、
次のTVフレームでは隣接するかもしくは同色で隣接する2画素の電荷を混合し、
120Hzで読み出し、あるいは隣接する4画素もしくは同色の隣接する4画素の電荷を混合し、240Hzで読み出す画素信号読み出し回路を前記センサ部に含み、それらの出力の差分によって得られる空間周波数の所望の帯域を選択可能である
電子機器。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像認識や人工知能演算を効率化するAI機能(人工知能)を有する固体撮像装置とその駆動方法、およびAI機能を有する電子機器に関するものである。
【背景技術】
【0002】
光を検出して電荷を発生させる光電変換素子を用いた固体撮像装置(イメージセンサ)として、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサが実用に供されている。
CMOSイメージセンサは、デジタルカメラ、ビデオカメラ、監視カメラ、医療用内視鏡、パーソナルコンピュータ(PC)、携帯電話等の携帯端末装置(モバイル機器)等の各種電子機器の一部として広く適用されている。
【0003】
CMOSイメージセンサは、画素毎にフォトダイオード(光電変換素子)および浮遊拡散層(FD:Floating Diffusion、フローティングディフュージョン)を有するFDアンプを持ち合わせており、その読み出しは、画素アレイの中のある一行を選択し、それらを同時に列(カラム)出力方向へと読み出すような列並列出力型が主流である。
【0004】
また、列並列出力型CMOSイメージセンサの画素信号読み出し(出力)回路については実に様々なものが提案されている。
それらの中で、その最も進んだ回路のひとつが、列(カラム)毎にアナログ-デジタル変換器(ADC(Analog digital converter))を備え、画素信号をデジタル信号として取り出す回路である(たとえば特許文献1,2参照)。
【0005】
この列並列ADC搭載CMOSイメージセンサ(カラムAD方式CMOSイメージセンサ)では、比較器(コンパレータ)はいわゆるRAMP波と画素信号の比較をして、後段のカウンタでデジタルCDSを行うことによりAD変換を行う。
【0006】
しかしながら、この種のCMOSイメージセンサは、信号の高速転送が可能であるが、グローバルシャッタ読み出しができないという不利益がある。
【0007】
これに対して、各画素に比較器を含むADC(さらにはメモリ部)を配置して、画素アレイ部中の全画素に対して同一のタイミングで露光開始と露光終了とを実行するグローバルシャッタをも実現可能にするデジタル画素(ピクセル)センサが提案されている(たとえば特許文献3,4参照)。
【先行技術文献】
【特許文献】
【0008】
【文献】特開2005-278135号公報
【文献】特開2005-295346号公報
【文献】US 7164114 B2 FIG、4
【文献】US 2010/0181464 A1
【発明の概要】
【発明が解決しようとする課題】
【0009】
ところで、従来のCMOSイメージセンサでは、光電変換された信号を画面上部左から順に読み出すため、画素信号は時系列に読み出されていた。
したがって、オートフォーカス系(自動焦点系)のように画像の周波数の一定の帯域を得たい場合には、その時系列信号をフィルタを通して演算する必要があった。
【0010】
また、オートホワイトバランスのようにR/G/Bの色成分を抽出する場合には、その時系列信号をセレクタ回路を通すことで得ていた。
それゆえ、CMOSイメージセンサに写された画像を順次時系列に読み出してしまうため、空間処理で簡単に得られる処理も、すべていったん時間周波数に変換して行っていたため、非効率な処理が生じていた。
またそれらの処理はTVフレームの60Hz毎に行われていたため、高速で移動する被写体に対しては情報を取得することができない場合があった。
【0011】
本発明は、センサ部の出力画素信号を一つのTVフレームの1倍、2倍または4倍の周波数でフレームメモリに格納することができ、120Hz以上の読み出しが可能になり、出力の差分によって得られる空間周波数の所望の帯域を選択することが可能となり、しかも1TVフレーム間での被写体の移動方向を容易に求めることが可能な固体撮像装置、固体撮像装置の駆動方法、および電子機器を提供することにある。
【課題を解決するための手段】
【0012】
本発明の第1の観点の固体撮像装置は、光電変換を行う画素が配置されたセンサ部と、前記センサ部の前記画素から画素信号を読み出す読み出し制御部と、を有し、前記読み出し制御部は、フレームメモリを含み、前記センサ部の出力画素信号を一つのTVフレームの1倍、2倍または4倍の周波数でフレームメモリに格納することが可能で、120Hz以上の読み出しが可能な画素信号読み出し回路と、前記センサ部の光入射側である前段に配置されるレンズまたは前記センサ部を関連する光軸に沿って駆動して被写体について焦点合わせを行う焦点合わせ部と、複数(n×n)の画素集合をセグメントと定義し、前記焦点合わせ部により前記レンズまたは前記センサ部を駆動して動かした結果に基づいて、フレームごとに同じ位置に対応するセグメント間の差分またはフレーム内での隣接する複数のセグメントとの信号の連続性を計測することで、被写体のエッジや動きを検出し、この検出結果に基づいてオートフォーカスの動体追従性や被写体抽出能力を高め、さらにはトラッキングを可能にする検出部と、を含む。
【0013】
本発明の第2の観点は、光電変換を行う画素が配置されたセンサ部の前記画素から画素信号を読み出す読み出し制御を行う固体撮像装置の駆動方法であって、前記読み出し制御は、前記センサ部の出力画素信号を一つのTVフレームの1倍、2倍または4倍の周波数でフレームメモリに格納することが可能で、120Hz以上の読み出しを行う画素信号読み出しステップと、前記センサ部の光入射側である前段に配置されるレンズまたは前記センサ部を関連する光軸に沿って駆動して被写体について焦点合わせを行う焦点合わせステップと、複数(n×n)の画素集合をセグメントと定義し、前記焦点合わせステップにより前記レンズまたは前記センサ部を駆動して動かした結果に基づいて、フレームごとに同じ位置に対応するセグメント間の差分またはフレーム内での隣接する複数のセグメントとの信号の連続性を計測することで、被写体のエッジや動きを検出し、この検出結果に基づいてオートフォーカスの動体追従性や被写体抽出能力を高め、さらにはトラッキングを可能にする検出ステップと、を含む。
【0014】
本発明の第3の観点の電子機器は、固体撮像装置と、前記固体撮像装置に被写体像を結像する光学系と、を有し、前記固体撮像装置は、光電変換を行う画素が配置されたセンサ部と、前記センサ部の前記画素から画素信号を読み出す読み出し制御部と、を有し、前記読み出し制御部は、フレームメモリを含み、前記センサ部の出力画素信号を一つのTVフレームの1倍、2倍または4倍の周波数でフレームメモリに格納することが可能で、120Hz以上の読み出しが可能な画素信号読み出し回路と、前記センサ部の光入射側である前段に配置されるレンズまたは前記センサ部を関連する光軸に沿って駆動して被写体について焦点合わせを行う焦点合わせ部と、複数(n×n)の画素集合をセグメントと定義し、前記焦点合わせ部により前記レンズまたは前記センサ部を駆動して動かした結果に基づいて、フレームごとに同じ位置に対応するセグメント間の差分またはフレーム内での隣接する複数のセグメントとの信号の連続性を計測することで、被写体のエッジや動きを検出し、この検出結果に基づいてオートフォーカスの動体追従性や被写体抽出能力を高め、さらにはトラッキングを可能にする検出部と、を含む。
【発明の効果】
【0015】
本発明によれば、センサ部の出力画素信号を一つのTVフレームの1倍、2倍または4倍でフレームメモリに格納することができ、120Hz以上の読み出しが可能となる。
また、本発明によれば、出力の差分によって得られる空間周波数の所望の帯域を選択することが可能となり、しかも1TVフレーム間での被写体の移動方向を容易に求めることが可能となる。
【図面の簡単な説明】
【0016】
【
図1】本発明の実施形態に係る固体撮像装置の構成例を示すブロック図である。
【
図2】本発明の実施形態に係る固体撮像装置の画素信号の読み出し系の一例を示す回路図である。
【
図3】本発明の実施形態に係るセンサ部の画素PXLとセンサゲートスイッチSGSW、AD変換部および水平レジスタHREGの構成図とその信号を受ける4枚のフレームメモリの構成例を示す図である。
【
図4】1TV フレームにおけるセンサゲートスイッチのオン、オフと出力タイミングとの関係を示す図である。
【
図5】本発明の実施形態に係る駆動装置である焦点合わせ部としての可動イメージセンサ部のイメージを示す図である。
【
図6】被写体の移動方向や相関を観測するための処理を説明するための第1図である。
【
図7】被写体の移動方向や相関を観測するための処理を説明するための第2図である。
【
図8】セグメント間の相関について説明するための図である。
【
図9】空間周波数のバンドパスフィルタ(BPF)の構成例を示す図である。
【
図10】BPF出力とセグメント端面での画素データ相関のためのオーバーレイを示す図である。
【
図11】本発明の実施形態に係る固体撮像装置が適用される人工機能を有する電子機器の構成の一例を示す図である。
【発明を実施するための形態】
【0017】
以下、本発明の実施形態を図面に関連付けて説明する。
【0018】
(実施形態)
図1は、本発明の実施形態に係る固体撮像装置の構成例を示すブロック図である。
図2は、本発明の実施形態に係る固体撮像装置の画素の読み出し系の一例を示す回路図である。
本実施形態において、固体撮像装置10は、たとえばCMOSイメージセンサにより構成される。
【0019】
この固体撮像装置10は、
図1に示すように、撮像部としてのセンサ部20、垂直走査回路(行走査回路)30、信号処理回路40、およびタイミング制御回路50を主構成要素として有している。
これらの構成要素のうち、たとえば垂直走査回路30、信号処理回路40、およびタイミング制御回路50により画素信号の読み出し制御部60が構成される。
【0020】
本実施形態において、固体撮像装置10は、光電変換を行う画素が配置されたセンサ部20と、読み出し制御部60の下、センサ部20の画素200から画素信号SPXを読み出し、所定の信号処理を施して出力する信号処理回路40と、を有している。
【0021】
信号処理回路40は、読み出し制御部60の制御の下、たとえば、画素信号の読み出し処理、焦点合わせ処理、それらの結果に基づいて、フレームFRMごとに同じ位置に対応するセグメントSGM間の差分またはフレームFRM内での隣接する複数のセグメントSGMとの信号の連続性を計測することで、被写体のエッジや動きを検出し、この検出結果に基づいてオートフォーカスの動体追従性や被写体抽出能力を高め、さらにはトラッキングを可能にする検出処理等を行うことが可能に構成されている。
【0022】
本実施形態の信号処理回路40は、読み出し制御部60の構成要素の一つとして配置される、画素信号読み出し部410、焦点合わせ部420、検出部430、および水平レジスタ群440を主構成要素の一つとして有している。
【0023】
画素信号読み出し部410は、主としてセンサ部20と信号処理回路40との接続部に配置されている。
画素信号読み出し部410は、たとえば画素200として光電変換読み出し部411、AD(アナログデジタル)変換部412、およびフレームメモリFRMを有するメモリ部413を含み、たとえば積層型のCMOSイメージセンサとして構成されている。
本実施形態に係る固体撮像装置10において、各画素PXLがAD(アナログデジタル)変換機能を有しており、AD変換部412は、光電変換読み出し部411により読み出される電圧信号と参照電圧とを比較し、読み出される電圧信号VSLに対してアナログデジタル(AD)変換処理を行い、デジタル化した比較結果信号を出力する比較器(コンパレータ)CMPを有している。
【0024】
そして、本実施形態の画素信号読み出し部410は、フレームメモリFRMを含み、センサ部20の出力画素信号を一つのTVフレームの1倍、2倍または4倍の周波数でフレームメモリFRMに格納することが可能で、120Hz以上の読み出しが可能となるように構成されている。
【0025】
本実施形態の信号処理回路40の焦点合わせ部420は、センサ部20の光入射側である前段に配置されるレンズLNSまたはセンサ部20を関連する光軸に沿って駆動して被写体について焦点合わせを行う駆動装置としての焦点合わせ部420を含んで構成されている。
【0026】
さらに、本実施形態の信号処理回路40の検出部430は、複数(n×n)の画素集合をセグメントと定義してあり、焦点合わせ部420によりレンズLNSまたはセンサ部20を駆動して動かした結果に基づいて、フレームごとに同じ位置に対応するセグメント間の差分またはフレーム内での隣接する複数のセグメントとの信号の連続性を計測することで、被写体のエッジや動きをたとえばAI機能により検出し、この検出結果に基づいてオートフォーカスの動体追従性や被写体抽出能力を高め、さらにはトラッキングを可能にするように構成されている。
【0027】
なお、本実施形態の検出部430においては、3x3,4x4、8x8もしくは9x9の画素を1セグメントと定義し、フレームFRMごとに同じ位置に対応するセグメント間の差分もしくはフレーム内での隣接する8つのセグメントとの信号の連続性を計測することで、被写体のエッジや動きをたとえばAI機能により検出し、オートフォーカスの動体追従性や被写体抽出能力を高め、さらにはトラッキングを可能にする。
【0028】
また、本実施形態の画素信号読み出し部410は、最初のTVフレームでは水平方向の全画素を60Hzで読み出し、次のTVフレームでは隣接するかもしくは同色で隣接する2画素の電荷を混合し、120Hzで読み出し、あるいは隣接する4画素もしくは同色の隣接する4画素の電荷を混合し240Hzで読み出す画素信号読み出し部410をセンサ部20に含み、それらの出力の差分によって得られる空間周波数の所望の帯域を選択可能である。
【0029】
以下、本実施形態に係る固体撮像装置10の各部の構成および機能の概要、特に、センサ部20、画素信号読み出し部410、焦点合わせ部420、検出部430の構成および機能、それらに関連した読み出し処理等について詳述する。
【0030】
図2は、本発明の実施形態に係る画素信号読み出し系回路の構成例を回路図として示している。
【0031】
センサ部20は、複数の画素200がN行M列の行列状(マトリクス状)に配列されている。
【0032】
本実施形態に係るデ画素信号読み出し部410は、光電変換読み出し部411、AD変換部(ADCと表記)412、およびフレームメモリを有するメモリ部413を含んで構成されている。
本実施形態のセンサ部20は、第1の基板110と第2の基板120の積層型のCMOSイメージセンサとして構成されるが、本例では、
図2に示すように、第1の基板110に光電変換読み出し部411が形成され、第2の基板120にAD変換部412およびメモリ部413が形成されている。
【0033】
画素200の光電変換読み出し部411は、フォトダイオード(光電変換素子)と1つの画素内アンプとを含んで構成される。
具体的には、この光電変換読み出し部411は、たとえば光電変換素子であるフォトダイオードPD0を有する。
本実施形態の画素200は、フォトダイオードPD0が、出力ノードND0としてのフローティングディフュージョンFDに接続される。
【0034】
フォトダイオードPD0は、蓄積期間に光電変換により生成した電荷を蓄積する。
フォトダイオードPD0の蓄積部PND0とフローティングディフュージョンFDとの間に転送素子としての転送トランジスタTG0-Trが接続され、蓄積部PND0と所定の固定電位VAAPIXとが接続されている。
【0035】
そして、光電変換読み出し部411は、一つの出力ノードND0としてのフローティングディフュージョンFDに対応して、リセット素子としてのリセットトランジスタRST-Tr、ソースフォロワ素子としてのソースフォソースフォロワトランジスタロワトランジスタSF-Tr、および読み出しノードND1をそれぞれ一つずつ有する。SF-Trおよび読み出しノードND1を含んで出力バッファ部4111が構成されている。
【0036】
本実施形態に係る光電変換読み出し部411は、出力バッファ部4111の読み出しノードND1がAD変換部412の入力部に接続されている。
光電変換読み出し部411は、出力ノードとしてのフローティングディフュージョンFDの電荷を電荷量に応じた電圧信号に変換し、変換した電圧信号VSLをAD変換部412に出力する。
【0037】
たとえば、光電変換読み出し部411は、AD変換部412の比較処理期間において、蓄積期間PIに光電変換素子であるフォトダイオードPD0から出力ノードとしてのフローティングディフュージョンFDに転送されたフォトダイオードPD0の蓄積電荷に応じた電圧信号VSLを出力する。
光電変換読み出し部411は、比較処理期間において、画素信号としての読み出しリセット信号(信号電圧)(VRST)および読み出し信号(信号電圧)(VSIG)をAD変換部412に出力する。
【0038】
フォトダイオードPD0は、入射光量に応じた量の信号電荷(ここでは電子)を発生し、蓄積する。
以下、信号電荷は電子であり、各トランジスタがn型トランジスタである場合について説明するが、信号電荷が正孔(ホール)であったり、各トランジスタがp型トランジスタであっても構わない。
【0039】
各画素200において、フォトダイオード(PD)としては、埋め込み型フォトダイオード(PPD)が用いられる。
フォトダイオード(PD)を形成する基板表面にはダングリングボンドなどの欠陥による界面準位が存在するため、熱エネルギーによって多くの電荷(暗電流)が発生し、正しい信号が読み出せなくなってしまう。
埋め込み型フォトダイオード(PPD)では、フォトダイオード(PD)の電荷蓄積部を基板内に埋め込むことで、暗電流の信号への混入を低減することが可能となる。
【0040】
光電変換読み出し部411の転送トランジスタTG0-Trは、フォトダイオードPD0の蓄積部PND0とフローティングディフュージョンFDの間に接続され、制御線を通じてゲートに印加される制御信号TG0により制御される。
転送トランジスタTG0-Trは、制御信号TG0がハイ(H)レベルの転送期間PTに選択されて導通状態となり、フォトダイオードPD0で光電変換され蓄積された電荷(電子)をフローティングディフュージョンFDに転送する。
【0041】
ソースフォロワ素子としてのソースフォロワトランジスタSF-Trは、ソースが読み出しノードND1に接続され、ドレイン側が電源線Vaapixに接続され、ゲートがフローrントトランジスタIC-Trのゲートは制御信号VBNPIXの供給ラインに接続されている。
そして、読み出しノードND1とAD変換部412の入力部間の信号線LSGN1は、電流源素子としてのカレントトランジスタIC-Trにより駆動される。
【0042】
このカレントトランジスタIC-Tr、または光電変換読み出し部411の読み出しノードND1と信号線LSGN1に接続されるカレントトランジスタは、センサゲートスイッチSGSWとしての機能を有する。
【0043】
画素200のAD変換部412は、光電変換読み出し部411により出力されるアナログの電圧信号VSLを、所定の傾きを持たせて変化させたランプ波形または固定電圧の参照電圧VREFと比較して、デジタル信号に変換する機能する。
【0044】
AD変換部412は、
図2に示すように、比較器(COMP)4121、出力側の負荷キャパシタCL1、およびリセットスイッチSW-RSTを含んで構成されている。
【0045】
比較器4121は、第1の入力端子としての反転入力端子(-)に、光電変換読み出し部411の出力バッファ部4111から信号線LSGN1に出力された電圧信号VSLが供給され、第2の入力端子としての非反転入力端子(+)に参照電圧VREFが供給され、電圧信号VSTと参照電圧VREFとを比較し、デジタル化した比較結果信号SCMPを出力するAD変換処理(比較処理)を行う。
【0046】
比較器4121は、第1の入力端子としての反転入力端子(-)に結合キャパシタCC1が接続されており、第1の基板110側の光電変換読み出し部411の出力バッファ部4111と第2の基板120側のAD変換部412の比較器4121の入力部をAC結合することにより、低ノイズ化を図り、低照度時に高SNRを実現可能なように構成されている。
【0047】
また、比較器4121は、出力端子と第1の入力端子としての反転入力端子(-)との間にリセットスイッチSW-RSTが接続され、出力端子と基準電位VSSとの間に負荷キャパシタCL1が接続されている。
【0048】
基本的に、AD変換部412においては、光電変換読み出し部411の出力バッファ部4111から信号線LSGN1に読み出されたアナログ信号(電位VSL)は比較器4121で参照電圧VREF、たとえばある傾きを持った線形に変化するスロープ波形であるランプ信号RAMPと比較される。
このとき、たとえば比較器4121と同様に列毎に配置された図示しないカウンタが動作しており、ランプ波形のあるランプ信号RAMPとカウンタ値が一対一の対応を取りながら変化することで電圧信号VSLをデジタル信号に変換する。
基本的に、AD変換部412は、参照電圧VREF(たとえばランプ信号RAMP)の変化は電圧の変化を時間の変化に変換するものであり、その時間をある周期(クロック)で数えることでデジタル値に変換する。
そして、アナログ信号VSLとランプ信号RAMP(参照電圧VREF)が交わったとき、比較器4121の出力が反転し、図示しないカウンタの入力クロックを停止し、または、入力を停止していたクロックを図示しないカウンタに入力し、そのときのカウンタの値(データ)がメモリ部413(230)に記憶されてAD変換を完了させる。
以上のAD変換期間終了後、各画素200のメモリ部413(230)に格納されたデータ(信号)は信号処理回路40から図示しない信号処理回路に出力され、所定の信号処理により2次元画像が生成される。
【0049】
メモリ部413はSRAMやDRAMにより構成され、デジタル変換された信号が供給され、フォトコンバージョン符号に対応し、画素アレイ周辺の信号処理回路40の外部IOバッファにより読み出すことができる。
本例では、メモリ部413は、比較器4121の出力に4つのメモリ4131(231),4132(232)、4133(233),4134(234)が接続されている。
【0050】
なお、比較器4121の比較処理結果のデジタルデータは、メモリ部4130の4つのメモリ4131(231),4132(232),4133(233),4134(234)に交互に格納される。
これにより、迅速な読み出し動作を実現可能である。
【0051】
垂直走査回路30は、タイミング制御回路50の制御に応じてシャッタ行および読み出し行において行走査制御線を通して画素200の光電変換読み出し部411の駆動を行う。
垂直走査回路30は、タイミング制御回路50の制御に応じて、各画素200の比較器221に対して、比較処理に準じて設定される参照電圧VREFを供給する。
また、垂直走査回路30は、アドレス信号に従い、信号の読み出しを行うリード行と、フォトダイオードPDに蓄積された電荷をリセットするシャッタ行の行アドレスの行選択信号を出力する。
【0052】
信号処理回路40は、たとえばセンサ部20の各画素200のメモリ出力に対応して配置されたIOバッファを含み、各画素200から読み出されるデジタルデータを外部に出力する。
【0053】
タイミング制御回路50は、画素部20、垂直走査回路30、出力回路40等の信号処理に必要なタイミング信号を生成する。
【0054】
本実施形態において、読み出し制御部60は、画素200からの画素信号の読み出し制御を行う。
【0055】
(読み出し制御部60による画素200からの画素信号の読み出し制御)
次に、本実施形態に係る読み出し制御部60による画素200からの画素信号の読み出し制御について具体的に説明する。
【0056】
まず、上記構成を有する固体撮像装置(CMOSイメージセンサ)10のセンサ部20、および画素信号読み出し回路410の基本的な構成および各種操作、機能について、図面に関連付けて順を追って説明する。
【0057】
図3は、本発明の実施形態に係るセンサ部20の画素(
図1では、光電変換素子、フォトダイオードとして示されている)PXLとセンサゲートスイッチSGSW、AD変換部および水平レジスタHREGの構成図とその信号を受ける4枚のフレームメモリMEM0~MEM3(231~234)の構成例を示す図である。
図4は、1TV フレームにおけるセンサゲートスイッチのオン、オフと出力タイミングとの関係を示す図である。
【0058】
図3の画素PXLは1/240秒間ずつ露光し、電荷を蓄積する。そして、1/240秒毎にセンサゲートスイッチSGSWをオンし、蓄積した電荷をA/D変換し水平レジスタHREGに移送する。
水平レジスタHREGは垂直画素数分用意され、順次格納したデータを水平方向にシフトし、出力し、後段のフレームメモリMEMに格納していく。
この操作はセンサゲートスイッチSGSWがオンしたのち、1/240秒で完結する。
この間、並行して画素PXLには次の1/240秒の画像が蓄積され、それが終わり次第上記の動作を繰り返す(
図4)。
このようにして1TV フレームFRMで4枚の画像データが出力される。
【0059】
図5は、本発明の実施形態に係る駆動装置である焦点合わせ部としての可動イメージセンサ部のイメージを示す図である。
【0060】
イメージセン部20の駆動はピエゾやボイスコイルあるいはステッピングモータ等でイメージセンサ部20の基板を水平・垂直もしくはレンズLNSの光軸を中心に回転方向に駆動する。
駆動の周期は1TVフレーム毎に行う。
【0061】
最初に、1TVフレーム毎に前段のフォーカスレンズの駆動を行って、中心被写体ついて焦点合わせを行う。
また合理性を高めるため、前段のフォーカスレンズは固定とし、代わってイメージセンサ部20を光軸の焦点方向に駆動できるようにしてもよい。
また、ユーザーの希望で画面の特定位置の被写体に焦点合わせを行う場合にはその部分についてコントラストを抽出し、焦点合わせを行う。
あるいは、PDAFや位相差センサがある場合には焦点合わせの操作はそちらに任せ、本機構では省略することが可能である。
【0062】
図6および
図7は、被写体の移動方向や相関を観測するための処理を説明するための図である。
また、
図8は、セグメント間の相関について説明するための図である。
【0063】
図6には被写体の移動方向や相関を観測するために、たとえば4x4画素のセグメントSGM(
図7)を1stTV フレームFRM1と2ndTVフレームFRM2の間で差分の絶対値
Σ|pij-p(i+3)(j+3)|
を16画素分合算して、相関の大きいつまり差分の少ないセグメントを見つけることで被写体の移動方向を知ることができる。
【0064】
移動方向の計測のため、画1については1TV フレームと2TVフレームの間にイメージセンサ部20を右方向にふって比較し、画2については左方向に、画3については上方向、画4は下方向に動かして比較すること(セグメントの相関が一番強いところを選ぶ)で1TVフレーム間での移動方向が容易に求められる。
【0065】
上記の操作を画面全体で繰り返し、一つの対応セグメントの相関が一番大きいところと隣接するセグメントの相関の一番大きいところの並び方が上記のイメージセンサ部20の振り方向のうち一番類似している方向が被写体の移動方向であることがわかる。
【0066】
さらにその並びをトレースすることで被写体の閉曲面が推定される。
たとえば、1stTVフレーム画1と2ndTVフレーム画1が一番相関が大きい場合、右方向に被写体が動いていると判断されるので、1stTVフレームp24と2ndTVフレームのp14もしくはp24もしくはp34の値の差分が一番小さいところを被写体の輝度が継続されたとみなすことができる。
【0067】
同様に、2ndTVフレーム画1 p24と3rdTVフレームの画1のp14,p24,p34の比較を行い、被写体の輝度の連続性を観測し、被写体の移動方向を把握することができる。
【0068】
1TVフレームの間に被写体の移動方向が左ということが分かれば(すなわち画3の相関が一番大きい場合)たとえば1stTVフレーム画3のp21に対して2ndTVフレーム画3のp11,p21,p31の比較を行う。
1TVフレーム間の移動方向が上ということであれば、1stTVフレーム画4のp12に対して2ndTVフレーム画4のp11,p12,p13の比較を行う。
また、1TVフレームの間に下に移動したとなれば、1stTVフレーム画2のp42に対して2ndTVフレーム画2のp41,p42,p43との比較を行い、被写体の特定点の輝度が継続されている方向を見極める。
【0069】
これの操作により、画面全体の移動方向に加えて、さらにピクセル単位での移動方向や移動速度の詳細な情報を得ることができる。
【0070】
被写体の動きがもっと早い場合には、比較を行うピクセルを動き方向に2画素もしくは数画素分シフトして行う。
【0071】
イメージセンサ部20の駆動は光軸を中心に時計回りもしくは半時計回りに回転させ被写体の移動方向を観測することもできる。
【0072】
図9は、空間周波数のバンドパスフィルタ(BPF)の構成例を示す図である。
図10は、BPF出力とセグメント端面での画素データ相関のためのオーバーレイを示す図である。
【0073】
たとえば、1stTVフレームは、イメージセンサ部20の全画素を60Hzで読み出し、2ndTVフレームでは最初の読み出しを水平方向2画素を合算して120Hzで読み出し、後半を4画素合算して120Hzで読み出せば、
図9のような帯域の信号がえられる。Sig全からSig半を引けばBPF2が、Sig半からSig四を引けばBPF1が算出される。これらをコントラストオートフォーカスの信号として用いることができるし、BPF2は被写体のエッジを示すため、エッジ抽出信号としても活用できる。
さらに上述の被写体閉曲面と重ねれば精度の高い領域抽出が可能になる。
【0074】
(閉曲線生成関連)
たとえば
図9の60Hzで読み出した1stフレームの画像と2ndフレーム内で120Hzで読み出した画像を引き算するとBPF2のような輪郭情報が得られる。
その輪郭の位置近傍で上述で得たフレーム間での移動方向のセグメントの端面での輝度の相関が一番高いところをトレースすれば被写体の輪郭によって形成される閉曲線を抽出することができる。
【0075】
このようにして得られた閉曲線を新たに被写体対応セグメントとして定義し、TVフレームごとにそれらの被写体セグメントの相関を取ることで被写体に応じたオートフォーカスやトラッキングが可能になる。
【0076】
また、TVフレーム間で上記被写体セグメントの相関がある一定量以上減じた場合には、相関が維持された閉曲線の部分以外のところでほかの被写体が侵入してきたことになり、侵入してきた被写体についても新たに被写体セグメントを形成することができる。
【0077】
このようにして時間がたつにつれて被写体が入れ替わったり、突然画面に侵入してきた場合にも、被写体セグメント毎にフォーカスを合わせることができるので、安定したフォーカスを得ることができる。
【0078】
<本実施形態による効果>
本実施形態によれば、センサ部200の水平画素全部を1TVフレーム内で読み出し、またそれらを2画素混合して読み出した画素信号を1TVフレームの前半で120Hzで読み出し、1TVフレームの後半で4画素混合したものを240Hzで読み出し、それぞれのデータをフレームメモリに格納し、1TVフレームのデータから120Hzのデータを引き算することで、空間周波数のバンドパスフィルタ(BPF)を構成することができる。
これにより、被写体の輪郭情報を効率よく抽出できる。
また同様に、1TVフレームデータから240HZのデータを引き算したり、120Hzのデータから240Hzのデータを引き算することでいろいろな帯域のBPFを構成することができ、オートフォーカスや画像データ圧縮時に有用な情報をきわめて効率よく得ることができる。
【0079】
また、本実施形態によれば、センサ部200の基板を上下左右もしくは光軸を中心とした回転方向に駆動できる駆動装置としてのアクチュエータを備え、240Hzで水平方向に4画素混合したデータを1TVフレーム内に4回出力できるようなセンサ部200において、1回目の読み出しではフレームごとに左にイメージセンサを動かし、2回目では右に、3回目では上に、4回目では下に動かし、それぞれの回で位置の対応するセグメントごとの画素データを比較することで、2TVフレーム以内で被写体の移動方向が効率的に推定できる。
【0080】
また、本実施形態によれば、上述で判明した動き方向にセグメントの対応画素で相関を取ることで被写体ごとの細かい動きの方向が算出される。
【0081】
さらに、本実施形態によれば、対応セグメントの移動方向の端面の画素データの相関から被写体の輪郭によってできる閉曲線を推定できる。
【0082】
あわせて、本実施形態によれば、上記したオートフォーカスや画像データ圧縮時に有用な情報をきわめて効率よく得る方法によって得られた輪郭情報に対応するセグメントで上記(2)から(4)の操作を繰り返すことで、より詳細な閉曲線を得ることができる。
【0083】
また、本実施形態によれば、上記の操作によって得られた被写体の閉曲線に対応し、被写体セグメントを作成でき、TVフレーム毎に被写体セグメントごとの相関を取ることで、所望の被写体にあわせたフォーカシングやトラッキングを実現することができる。
【0084】
以上説明した固体撮像装置10は、デジタルカメラやビデオカメラ、携帯端末、あるいは監視用カメラ、医療用内視鏡用カメラなどの電子機器に、撮像デバイスとして適用することができる。
【0085】
図11は、本発明の実施形態に係る固体撮像装置が適用される人工機能を有する電子機器の構成の一例を示す図である。
【0086】
本電子機器300は、
図11に示すように、本実施形態に係る固体撮像装置10が適用可能なCMOSイメージセンサ310を有する。
さらに、電子機器300は、このCMOSイメージセンサ310の画素領域に入射光を導く(被写体像を結像する)光学系(レンズ等)320を有する。
電子機器300は、CMOSイメージセンサ310の出力信号を処理する信号処理回路(PRC)330を有する。
【0087】
信号処理回路330は、CMOSイメージセンサ310の出力信号に対して所定の信号処理を施す。
信号処理回路330で処理された画像信号は、液晶ディスプレイ等からなるモニタに動画として映し出し、あるいはプリンタに出力することも可能であり、またメモリカード等の記録媒体に直接記録する等、種々の態様が可能である。
【0088】
上述したように、CMOSイメージセンサ310として、前述した固体撮像装置10を搭載することで、高性能、小型、低コストのカメラシステムを提供することが可能となる。
そして、カメラの設置の要件に実装サイズ、接続可能ケーブル本数、ケーブル長さ、設置高さなどの制約がある用途に使われる、たとえば、監視用カメラ、医療用内視鏡用カメラなどのAI機能を有する電子機器を実現することができる。
【符号の説明】
【0089】
10・・・固体撮像装置、20・・・センサ部、PD0・・・フォトダイオード、TG0-Tr・・・転送トランジスタ、FD・・・フローティングディフュージョン、RST-Tr・・・リセットトランジスタ、RST0-Tr・・・リセットトランジスタ、SF-Tr・・・ソースフォロワトランジスタ、SF0-Tr・・・ソースフォロワトランジスタ、200・・・画素、30・・・垂直走査回路、40・・・信号処理回路、410・・・画素信号読み出し部、411・・・光電変換読み出し部、412・・・AD変換部、4121・・・比較器、413・・・メモリ部、4131~4134・・・メモリ、420・・・焦点合わせ部、430・・・検出部、50・・・タイミング制御回路、60・・・読み出し制御部、300・・・電子機器、310・・・CMOSイメージセンサ、320・・・光学系、330・・・信号処理回路(PRC)。
【要約】
【課題】センサ部の出力画素信号を一つのTVフレームの1倍、2倍または4倍でフレームメモリに格納することができ、120Hz以上の読み出しが可能になり、出力の差分によって得られる空間周波数の所望の帯域を選択することが可能となり、しかも1TVフレーム間での被写体の移動方向を容易に求めることが可能な固体撮像装置、固体撮像装置の駆動方法、および電子機器を提供する。
【解決手段】焦点合わせ部420によりレンズまたはセンサ部を駆動して動かした結果に基づいて、フレームごとに同じ位置に対応するセグメント間の差分またはフレーム内での隣接する複数のセグメントとの信号の連続性を計測することで、被写体のエッジや動きを検出し、この検出結果に基づいてオートフォーカスの動体追従性や被写体抽出能力を高め、さらにトラッキングを可能にする検出部430を含む。
【選択図】
図1