特許第6595827号(P6595827)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本放送協会の特許一覧

<>
  • 特許6595827-撮像装置、撮像方法および制御回路 図000002
  • 特許6595827-撮像装置、撮像方法および制御回路 図000003
  • 特許6595827-撮像装置、撮像方法および制御回路 図000004
  • 特許6595827-撮像装置、撮像方法および制御回路 図000005
  • 特許6595827-撮像装置、撮像方法および制御回路 図000006
  • 特許6595827-撮像装置、撮像方法および制御回路 図000007
  • 特許6595827-撮像装置、撮像方法および制御回路 図000008
  • 特許6595827-撮像装置、撮像方法および制御回路 図000009
  • 特許6595827-撮像装置、撮像方法および制御回路 図000010
  • 特許6595827-撮像装置、撮像方法および制御回路 図000011
  • 特許6595827-撮像装置、撮像方法および制御回路 図000012
  • 特許6595827-撮像装置、撮像方法および制御回路 図000013
  • 特許6595827-撮像装置、撮像方法および制御回路 図000014
  • 特許6595827-撮像装置、撮像方法および制御回路 図000015
  • 特許6595827-撮像装置、撮像方法および制御回路 図000016
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6595827
(24)【登録日】2019年10月4日
(45)【発行日】2019年10月23日
(54)【発明の名称】撮像装置、撮像方法および制御回路
(51)【国際特許分類】
   H04N 5/357 20110101AFI20191010BHJP
   H04N 5/341 20110101ALI20191010BHJP
【FI】
   H04N5/357
   H04N5/341
【請求項の数】5
【全頁数】20
(21)【出願番号】特願2015-139949(P2015-139949)
(22)【出願日】2015年7月13日
(65)【公開番号】特開2017-22612(P2017-22612A)
(43)【公開日】2017年1月26日
【審査請求日】2018年5月29日
【権利譲渡・実施許諾】特許権者において、実施許諾の用意がある。
(73)【特許権者】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】100097984
【弁理士】
【氏名又は名称】川野 宏
(74)【代理人】
【識別番号】100098073
【弁理士】
【氏名又は名称】津久井 照保
(72)【発明者】
【氏名】新井 俊希
【審査官】 鈴木 明
(56)【参考文献】
【文献】 特開平05−075929(JP,A)
【文献】 特開昭63−019977(JP,A)
【文献】 特開2011−176520(JP,A)
【文献】 特開2008−098476(JP,A)
【文献】 特開平11−205689(JP,A)
【文献】 国際公開第2006/129762(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/30−5/378
(57)【特許請求の範囲】
【請求項1】
斜め正方格子状に配置される複数の画素に対応して形成された、入射光に応じて電荷が発生する光電変換部と、
該光電変換部に対して、Y行のアドレスを選択して駆動する行選択回路部、およびX列ごとに信号を読み出す列並列読出し回路部を含む画像フレーム読出し制御部とを有するCMOS型の撮像装置であって、
前記複数の画素は、X方向に7680画素でY方向に4320画素、またはX方向に3840画素でY方向に2160画素のいずれかとして出力されるように構成され、
前記画像フレーム読出し制御部は、非プログレッシブ方式を用い、分割画像フレーム間隔を8.333ミリ秒または8.342ミリ秒のいずれかに設定するとともに、前記光電変換部における各画素の、1電荷蓄積時間を10ミリ秒に設定するものであることを特徴とする撮像装置。
【請求項2】
前記画像フレーム読出し制御部は、各画素の1電荷蓄積時間が各画像フレームの読出し期間に対して6/10となるように制御するように構成されていることを特徴とする請求項1記載の撮像装置。
【請求項3】
前記非プログレッシブ方式がインターレース方式であることを特徴とする請求項1の撮像装置。
【請求項4】
斜め正方格子状に配置された複数の画素に対応して設けられた画素回路について、該複数の画素に各々入射する光に応じた電荷が発生するように光電変換を行なわせ、
前記斜め正方格子状に配置された複数の画素に対して、Y行のアドレスおよびX列のアドレスを指定することにより、画像フレーム読出しを所定の順序で行うCMOS型の撮像装置による撮像方法であって、
前記複数の画素は、X方向に7680画素でY方向に4320画素、またはX方向に3840画素でY方向に2160画素のいずれかとして出力されるように構成され、
画像フレーム読出しは、非プログレッシブ方式を用い、分割画像フレーム間隔を8.333ミリ秒または8.342ミリ秒のいずれかに設定するとともに、前記光電変換を行う光電変換部における各画素の1電荷蓄積時間を10ミリ秒に設定することを特徴とする撮像方法。
【請求項5】
斜め正方格子状に配置される複数の画素に対応して形成された、入射光に応じて電荷が発生する光電変換部に対して画像フレーム読出し制御信号を送出する回路であって、
Y行のアドレスを選択して当該Y行に含まれる画素を駆動する行選択回路部およびX列のアドレスを選択して当該X列に含まれる画素からの信号を読み出す列並列読出し回路部を含む画像フレーム読出し制御部を備えた、CMOS型の撮像装置における画像フレーム読出し制御回路において、
前記複数の画素は、X方向に7680画素でY方向に4320画素、またはX方向に3840画素でY方向に2160画素のいずれかとして出力されるように構成され、
前記画像フレーム読出し制御部による画像フレームの読出し操作は、非プログレッシブ方式を用い、分割画像フレーム間隔を8.333ミリ秒または8.342ミリ秒のいずれかに設定するとともに、前記光電変換部における各画素の1電荷蓄積時間を10ミリ秒に設定し得るように、前記複数の画素に対応する、少なくとも蓄積開始指示信号および蓄積終了指示信号を、前記画像フレーム読出し制御部から前記光電変換部に向けて所定の順序で出力することを特徴とする画像フレーム読出し制御回路。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、電源周波数が50Hz圏において、強度変化が100Hzとなる照明下において、フレーム周波数が120Hzの撮像を行う際に生じるフリッカを低減した斜め正方格子状の画素を有するCMOS型の撮像素子を用いた、撮像装置、撮像方法および画像フレーム読出し制御回路に関するものである。
【背景技術】
【0002】
電源周波数50Hz圏においては、蛍光灯などの照明機器は、整流後の脈動周波数である100Hzに応じた照明強度変化を示す。このような照明強度下において、撮像装置の撮像フレーム周波数が60Hzの撮像を行うと、照明強度変化の周波数が撮像フレーム周波数の整数倍になっていないので、フリッカが生じる。
【0003】
そこで、このようなフリッカ対策として、電子シャッター期間を(1/100)秒(=
10ミリ秒)に設定すること等が行われている(特許文献1〜3を参照)。これは、照明強度変化の位相と電子シャッターの位相がどのようにずれていても、10ミリ秒の間に入射される光量が一定に保たれるので、フリッカが生じないという知見に基づく。
【0004】
ところで、近年、スーパーハイビジョンシステムに搭載することを目的としてCMOS型撮像素子が発表されており(非特許文献1)、この文献では、斜め正方格子状に配列された画素が用いられている。
また、近年、スーパーハイビジョンの開発が活発化してきており、上記フリッカに対する対策構築が急務であることから、上記斜め正方格子状の画素を有するCMOS型撮像素子についても上述した手法を用いることができれば、既存の技術の利用が図れて効率的である。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開平5−091373号公報
【特許文献2】特開平6−125495号広報
【特許文献3】特開2000−299822号公報
【非特許文献】
【0006】
【非特許文献1】T. Toyama et al., “A 17.7Mpixel 120fps CMOS Image Sensor with 34.8Gb/s Readout,” ISSCC Digest of Technical Papers, pp. 420-422, 2011.
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、照明強度変化が100Hzの照明下において、スーパーハイビジョンの規格とされている120Hzの撮像フレーム周波数により撮像を行った場合には、20Hzのフリッカが生じてしまう。この場合、撮像フレーム間隔が(1/120)秒=8.3
33ミリ秒であるため、電子シャッター期間を10ミリ秒に設定すると、撮像フレーム間隔に対する電子シャッター期間が1より大きい6/5に設定されることになるので撮像の実行自体が困難となってしまう。
【0008】
本発明は、上記事情に鑑みなされたものであり、、画素が斜め正方格子状に配列された場合であっても、照明強度変化が100Hzの場合において、120Hzの撮像フレーム周波数で撮像を行ったときに生じるフリッカを低減することが可能な撮像装置、撮像方法
および画像フレーム読出し制御回路を提供することを目的とするものである。
【課題を解決するための手段】
【0009】
本発明の撮像装置は、
斜め正方格子状に配置される複数の画素に対応して形成された、入射光に応じて電荷が発生する光電変換部と、
該光電変換部に対して、Y行のアドレスを選択して駆動する行選択回路部、およびX列ごとに信号を読み出す列並列読出し回路部を含む画像フレーム読出し制御部とを有するCMOS型の撮像装置であって、
前記複数の画素は、X方向に7680画素でY方向に4320画素、またはX方向に3840画素でY方向に2160画素のいずれかとして出力されるように構成され、
前記画像フレーム読出し制御部は、非プログレッシブ方式を用い、分割画像フレーム間隔を8.333ミリ秒または8.342ミリ秒のいずれかに設定するとともに、前記光電変換部における各画素の1電荷蓄積時間を10ミリ秒に設定することを特徴とするものである。
【0010】
ここで、上記および下記「前記複数の画素は、X方向に7680画素でY方向に4320画素、またはX方向に3840画素でY方向に2160画素のいずれかとして出力されるように構成され」とは、「前記複数の画素は、X方向に7680画素でY方向に4320画素、およびX方向に3840画素でY方向に2160画素のいずれかに物理的に設定される」場合、さらに、「前記複数の画素は、信号処理部の信号処理によりX方向に7680画素でY方向に4320画素、またはX方向に3840画素でY方向に2160画素のいずれかに画素数が拡張される」場合の両方を含むものとする。
【0011】
なお、後者については、具体的にはソフトウェア等を用いて画素補間処理を行ってX方向、Y方向に、上記各々の画素数に拡張されて出力される場合が含まれる(例えば、非特許文献1を参照)。
【0012】
また、ここで、上記「斜め正方格子状」とは、撮像素子の素子面上で交差する正方形状画素配列の2軸の各々が、X方向およびY方向から共に45度傾いた状態となるように、これら正方形状画素が両方向に配列された状態をいう。なお、下述する構成において「斜め正方格子状」というときも同様とする。
【0013】
また、上記「非プログレッシブ方式」とは、撮像素子の1方向から順番に走査される方式であるプログレッシブ方式とは異なる、いわゆる飛越し走査方式を指称するものであり、インターレース方式のみならず、複数の画素ごとに複数の画素を飛び越して走査を行う方式など、その走査が飛越し走査であるような場合における走査方式も含まれるものとする。
【0014】
また、一般的には、上記「画像フレーム」に、飛越し走査により形成されたライン群、例えば奇数行のみによるフレーム(奇数フレーム:概念的にはNTSCによる第1フィールドに対応)あるいは偶数行のみによるフレーム(偶数フレーム:概念的にはNTSCによる第2フィールドに対応)も含まれ、奇数フレーム同士あるいは偶数フレーム同士のみならず、奇数フレームと偶数フレームの間隔も画像フレーム間隔と称されることが多い。しかしながら、本願明細書においてそのようにすると、発明の本質的部分において紛らわしくなる可能性があるので、奇数フレーム同士、あるいは偶数フレーム同士の間隔は画像フレーム間隔と称するが、奇数フレームと偶数フレームの間隔は、便宜的に、分割画像フレーム間隔と称することとする。
【0015】
また、前記画像フレーム読出し制御部は、画像フレーム間隔に対する各画素の1電荷蓄
積時間が6/10となるように制御するように構成されていることが好ましい。
また、前記非プログレッシブ方式がインターレース方式であることが好ましい。
【0016】
前記光電変換部が、斜め正方格子状に配列された複数画素において画素共有されるように構成されてなることが好ましい。
【0017】
また、本発明の撮像方法は、
斜め正方格子状に配置された複数の画素に対応して設けられた画素回路について、該複数の画素に各々入射する光に応じた電荷が発生するように光電変換を行なわせ、
前記斜め正方格子状に配置された複数の画素に対して、Y行のアドレスおよびX列のアドレスを指定することにより、画像フレーム読出しを所定の順序で行うCMOS型の撮像装置による撮像方法であって、
前記複数の画素は、X方向に7680画素でY方向に4320画素、またはX方向に3840画素でY方向に2160画素のいずれかとして出力されるように構成され、
画像フレーム読出しは、非プログレッシブ方式を用い、分割画像フレーム間隔を8.333ミリ秒または8.342ミリ秒のいずれかに設定するとともに、前記光電変換を行う光電変換部における各画素の1電荷蓄積時間を10ミリ秒に設定することを特徴とするものである。
【0018】
また、本発明の画像フレーム読出し制御回路は、
斜め正方格子状に配置される複数の画素に対応して形成された、入射光に応じて電荷が発生する光電変換部に対して画像フレーム読出し制御信号を送出する回路であって、Y行のアドレスを選択して当該Y行に含まれる画素を駆動する行選択回路部およびX列のアドレスを選択して当該X列に含まれる画素からの信号を読み出す列並列読出し回路部を含む画像フレーム読出し制御部を備えた、CMOS型の撮像装置における画像フレーム読出し制御回路において、
前記複数の画素は、X方向に7680画素でY方向に4320画素、またはX方向に3840画素でY方向に2160画素のいずれかとして出力されるように構成され、
前記画像フレーム読出し制御部による画像フレームの読出しは、非プログレッシブ方式を用い、分割画像フレーム間隔を8.333ミリ秒または8.342ミリ秒のいずれかに設定するとともに、前記光電変換部における各画素の蓄積時間を10ミリ秒に設定し得るように、前記複数の画素に対応する、少なくとも蓄積開始指示信号および蓄積終了指示信号を、前記画像フレーム読出し制御部から前記光電変換部に向けて所定の順序で出力することを特徴とするものである。
【発明の効果】
【0019】
本発明の撮像装置は、有効画素が、X方向とY方向に、7680画素と4320画素、または3840画素と2160画素、のいずれかとして出力されるように構成され、
インターレース方式等の、非プログレッシブ方式により駆動し、フレーム周波数120Hzとし、電子シャッター期間を10ミリ秒に設定することにより、奇数フレーム同士あるいは偶数フレーム同士の画像フレーム間隔を16.667ミリ秒、奇数フレームと偶数フレームの分割画像フレーム間隔を8.333ミリ秒で信号読出しを行うとともに、各画素の蓄積時間を10ミリ秒としている。
【0020】
すなわち、照明強度変化が100Hzの照明下において、スーパーハイビジョンの規格とされている120Hzの撮像フレーム周波数により撮像を行った場合には、20Hzのフリッカが生じてしまう。これを防止するために、電子シャッター速度を10ミリ秒に設定した場合、撮像フレーム間隔(分割画像フレーム間隔)が(1/120)秒=8.333ミリ秒であるため、撮像フレーム間隔(分割画像フレーム間隔)に対する電子シャッター期間が1より大きい6/5に設定されることになるので撮像を行なうことが困難となってしまう。
【0021】
しかし、本発明においては、電子シャッター速度を10ミリ秒とし、撮像フレーム間隔を(1/120)秒=8.333ミリ秒としたとしても、走査方式として、インターレー
ス方式などの非プログレッシブ方式を採用しているので、撮像フレーム間隔(画像フレーム間隔(分割画像フレーム間隔の倍の間隔:奇数フレーム同士あるいは偶数フレーム同士の間隔))に対する電子シャッター期間を1より小さい値(インターレース方式の場合は6/10)に設定することができるので、画素が斜め正方格子状に配列された場合であっても、電源周波数50Hz圏の100Hzの照明強度変化下において120Hzの撮像を行う際に生じるフリッカの発生を阻止することができる。
【図面の簡単な説明】
【0022】
図1】本発明の第1、第2の実施形態に係る4画素共有タイプであって、1画素あたり1.75トランジスタ使用の画素回路の等価回路図である。
図2図1に示す画素回路を斜め正方格子状に有する画素アレイおよび画像フレーム読出し制御回路を備えた撮像装置を示すブロック図である。
図3】本発明の第1の実施形態に係る画素配置例を示す斜め正方格子状画素配置図である。
図4図3に示す画素配置の第1の実施形態を用いて信号読出しを行った場合における画素回路への入力信号のタイムチャートである。
図5】撮像素子においてインターレース方式を用いて信号読出しを行った場合の奇数行(実線)と偶数行(破線)を示す概略図である。
図6】100Hzの照明強度変化の一例を示すタイムチャートである。
図7】120Hzインターレース走査の奇数行と偶数行からの映像の時系列的な関係を示すタイムチャートである。
図8】本発明の第2の実施形態に係る画素配置例を示す斜め正方格子状画素配置図である。
図9図8に示す画素配置の第2の実施形態を用いて信号読出しを行った場合における画素回路への入力信号のタイムチャートである。
図10】本発明の第3の実施形態に係る1画素あたり4トランジスタ使用の画素回路の等価回路を示す回路図である。
図11】本発明の第3の実施形態に係る画素配置例を示す斜め正方格子状画素配置図である。
図12図10に示す第3の実施形態を用いて信号読出しを行った場合における画素回路への入力信号のタイムチャートである。
図13】本発明の第4の実施形態に係る2画素共有タイプであって、1画素あたり2.5トランジスタ使用の画素回路の等価回路を示す回路図である。
図14】本発明の第4の実施形態に係る画素配置例を示す斜め正方格子状画素配置図である。
図15図13に示す第4の実施形態を用いて信号読出しを行った場合における画素回路への入力信号のタイムチャートである。
【発明を実施するための形態】
【0023】
以下、本発明の実施形態について、上記図面を参照しながら説明する。
【0024】
<第1の実施形態>
まず、第1の実施形態に係るCMOS型撮像装置に用いられる、1画素あたり4トランジスタ使用の画素回路の等価回路図を、図1を用いて説明する。なお、この等価回路図に示す画素回路100は、CMOS型撮像装置の画素アレイの各画素(または各画素群)に対応して設けられる(1対1の対応に限定されない)。
【0025】
図1に示すように、この画素回路100は、4つのフォトダイオード(PD)111A
〜D、4つの電荷転送トランジスタ(TX)112A〜D、浮遊拡散容量(FD)113、
リセットトランジスタ(RST)114、ソースフォロアアンプ(増幅トランジスタ:SF)115、選択トランジスタ(SEL)116、画素電源部(VDD)117、および画素出力部(OUT)118から構成される。
【0026】
また、この画素回路100は、X方向(行方向)およびY方向(列方向)から45度傾いた斜め正方格子状に多数個配列されて画素アレイ201を構成している。
図2に示すように、画素アレイは、Y方向走査部202、X方向走査部203、タイミングジェネレータ204および出力回路205とともに撮像装置(イメージセンサ)200を構成している。なお、撮像装置200のうち、Y方向走査部202、X方向走査部203、タイミングジェネレータ204および出力回路205は、本発明に係る画像フレーム読出し制御回路を構成する。
【0027】
各画素回路100において、PD111A〜Dは、入射光の強度に応じた量の負電荷を蓄積する。このPD111A〜Dのアノードは接地され、カソードはTX112A〜Dを介してSF115のゲートに接続される。TX112A〜Dのゲートは、Y方向走査部202からの信号線Lに接続され、転送信号が入力される。
【0028】
SF115およびSEL116は、VDD117と出力部118との間に直列接続される。SEL116のゲートは、Y方向走査部202からの信号線Lに接続され、選択信号が入力される。RST114は、VDD117とSF115のゲートとの間に接続される。RST114のゲートは、Y方向走査部202からの信号線Lに接続され、リセット信号を入力される。
また、FD113は、SF115のゲートに接続される。
【0029】
PD111A〜Dをリセットするためには、SEL116がオフ状態でTX112A〜DとRST114をオン状態とする。これにより、PD111A〜Dに蓄積されていた負電荷がTX112A〜DとRST114を介して、VDD117に放出され、リセット動作が終了する。
【0030】
PD111A〜Dのリセット動作終了時から入射光による電荷の蓄積が開始する。すなわち、転送信号およびリセット信号が「L」状態となり、TX112A〜DとRST114がオフ状態となると、入射光の強度に応じた量の電荷がPD111A〜Dに蓄えられ、電荷蓄積時間が開始する。
【0031】
一方、蓄積時間の終了は以下のように行われる。すなわち、まず、選択信号を「H」レベルにしてSEL116をオン状態とし、リセット信号を所定時間だけ「H」レベルにしてRST114をオン状態とすることでFD113をリセットする。次いで、転送信号を所定時間だけ「H」レベル状態にしてTX112A〜Dをオン状態とすることで、PD111A〜Dの蓄積電荷がFD113に移動され、TX112A〜Dがオフとなった時点でPD111A〜Dの蓄積時間が終了する。
【0032】
また、図2に示すタイミングジェネレータ204は、Y方向走査部202に行選択アドレス信号および駆動制御信号を送出するとともに、X方向走査部203に列選択アドレス信号および読出し制御信号を送出する。Y方向走査部202は、Y方向走査回路および電圧レベルシフト回路の機能を有しており、入力された行選択アドレス信号および駆動制御信号に応じて、画素アレイ201の所定の複数行を順次選択し、選択した行の信号線L,L,Lを介して、その行の各画素回路100に転送信号、リセット信号および選択信号を送出する。
【0033】
また、X方向走査部203は、X方向走査回路およびカラム回路の機能を有しており、Y方向走査部202によって選択された所定の行の複数の画素回路100から複数のY方向信号線Lに出力された電流を複数の所定の信号に変換する。
さらに、出力回路205は、X方向走査部203で生成された複数の画素信号を外部に出力する。
【0034】
また、図3は、第1の実施形態に係る画素配置および画素グループの配置関係を示すものである。すなわち、第1の実施形態においては、各TXトランジスタ112A〜Dに対応する4つの画素が画素共有されるようになっており、これらのTXトランジスタ112A
〜Dに対応した4つの画素(1.1、1.2、1.3、1.4(画素グループ1))ある
いは(2.1、2.2、2.3、2.4(画素グループ2))は、クランク状に配列されている。
【0035】
なお、図3に示す斜め正方形状の各画素は、左上方から右下方への画素配列軸である第1の軸と、右上方から左下方への画素配列軸である第2の軸が、互いに直交するように、かつこれら2つの軸が、X軸(図3中の横方向に延びる軸)およびY軸(図3中の縦方向に延びる軸)と45°の角度をなすように、配列される。
このような第1の実施形態に係る画素配置によれば、高速で移動する移動体を撮像したような場合に、画像エッジ部分にギザギザの少ない画像を読み取ることができる。
【0036】
図4は、図1に示す画素回路100を用いて、信号読出しを行った場合における、各トランジスタの入力信号を表すタイムチャートである。なお、本実施形態(および以下の第2の実施形態)においては、画像フレームレートが120Hzで、インターレース走査等非プログレッシブ走査を採用している。
【0037】
図4において、各グラフは、SEL116、RST114、TX112の信号波形を示すものであり、SEL、RSTおよびTXの後段に記されたかっこの中の数字は図3中での対応画素を示している。なお、各対応画素の蓄積時間を黒帯で示す。また、第1の実施形態において、nは4320/4=1080に設定されている。
【0038】
この画素回路100では、まず、第(1.1)番目の画素について、PD111Aをリ
セットするために、SEL116がオフ状態(SEL(1.x)が「L」レベル)でRST114とTX112Aを同時にオン状態(RST(1.x)とTX(1.1)が「H」
レベル)とした後、同時にオフ状態(RST(1.x)とTX(1.1)が「L」レベル)とする(図4の矢印Aを参照)。これにより、PD111AとFD113の信号電荷が
TX112AとRST114を介してVDD117に放出されることになり、PD111Aのリセット処理が終了する。この直後から、PD111Aの蓄積時間が開始される。
【0039】
また、蓄積時間が開始されたのち、SEL116がオン状態(SEL(1.x)が「H」レベル)となる(図4中の矢印Bを参照)ことで、当該画素が選択され、その際に、RST114がオン状態(RST(1.x)が「H」レベル)となることでFD113がリセットされ、RST114がオフ状態(RST(1.x)が「L」レベル)の時、FD113の電荷が放出された状態の値(リセット電位)が読みだされる。
【0040】
次に蓄積時間においてRST114がオフ状態(RST(1.1)が「L」レベル)となった後にTX112Aがオン状態(TX(1.1)が「H」レベル)になると、PD1
11Aに畜積されていた信号電荷がFD113に移動し、さらにTX112Aがオフ状態(TX(1.1)が「L」レベル)になると、このときの電位が読みだされる(図4のSEL(1.x)、RST(1.x)、TX(1.1)、蓄積時間(1.1)のタイムチャー
ト:矢印Cを参照)。このときPD111Aの蓄積時間が終了する。このように、当該画
素が選択されてから、RST114がオフ状態となったのちにTX112Aがオフ状態と
なるまでの時間が各画素の1蓄積時間となる。なお、この蓄積時間は、例えば(1/10
0)秒(=10ミリ秒)に設定される。
【0041】
この後、第(1.1)番目の他の奇数行目(1.3)番目、(2.1)番目、(2.3)番目・・(n.1)番目、(n.3)番目の画素についても順次、同様にして行われる。
【0042】
一方、第(1.2)番目についても第(1.1)番目の上記処理と同様の信号読出し処理が行われ(図4のSEL(1.x)、RST(1.x)、TX(1.2)および蓄積時間(1.2)のタイムチャートを参照)、第(1.2)番目全体の信号読出しが終了する。この後、(1.4)番目、(2.2)番目、(2.4)番目、・・(n.2)番目、(n.4)番目等の他の偶数行の信号読出し処理についても順次、同様にして行われる。
【0043】
すなわち、本実施形態における撮像装置においては、インターレース走査により読出し操作を行っており、まず、(1.1)番目、(1.3)番目、・・(n.1)番目、(n.3)番目を順次選択して信号を読み出して全奇数行の信号を読み出し、奇数行に記録された画像信号を出力する。続いて、(1.2)番目、(1.4)番目、・・(n.2)番目、(n.4)番目を順次選択して全偶数行の信号を読み出し、偶数行に記録された画像信号を出力する。
【0044】
なお、奇数行からなるフレーム(奇数フレーム)と偶数行からなるフレーム(偶数フレーム)の時間間隔(分割画像フレーム間隔)は(1/120)秒=8.333ミリ秒に設
定される。また、奇数行からなるフレーム(奇数フレーム)同士、および偶数行からなるフレーム(偶数フレーム)同士の時間間隔(画像フレーム間隔)は(1/60)秒=16
.667ミリ秒に設定される。
【0045】
また、第(1.1)番目と第(1.2)番目の分割画像フレーム間隔は上述したように8.333ミリ秒となり、一方が電荷を蓄積しているときに他方が信号を読み出すように構成されている。このことは、第(1.3)番目と第(1.4)番目の関係や第(n.1)番目と第(n.2)番目の関係も同様である。また、奇数行目と、それに続く偶数行目の蓄積時間同士が一部重複するように設定しているのは、各蓄積時間を10ミリ秒に設定しながら、奇数フレーム同士あるいは偶数フレーム同士の間隔(画像フレーム間隔)を16.667ミリ秒(60Hz)に設定するためである。
【0046】
以下、上述した第1の実施形態における切替タイミングについて図7を用いて説明する。
上述したように、本実施形態においては、画素アレイ201の画素読出し走査をインターレース方式を用いて行っている。すなわち、図5に示すように画素アレイ201の全行について、奇数行(図5では実線で表される)のみの画素読出しを行う操作と、偶数行(図5では破線で表される)のみの画素読出しを行う操作を交互に行うものである。このインターレース方式は、NTSC方式等において使用されているもので、飛越し走査等とも称される。
【0047】
第1の実施形態によれば、図6および図7に示すように、照明機器等が100Hz(電源周波数が50Hz圏)の照明強度下において、インターレース方式を採用することにより、イメージセンサ(撮像装置)200の画素(フォトダイオード)の1電荷蓄積時間を10ミリ秒に設定するとともに、撮像フレーム周波数を120Hzとしてスーパーハイビジョンに適合させつつ、フリッカの発生を阻止するようにしている。
【0048】
すなわち、フリッカの発生を阻止するために、電子シャッター速度を10ミリ秒に設定した場合には、撮像フレーム間隔(分割画像フレーム間隔)が(1/120)秒=8.333ミリ秒であるため、撮像フレーム間隔に対する電子シャッター期間が1より大きい6/5に設定されることになる。
【0049】
そこで、本実施形態においては、電子シャッター速度を10ミリ秒とし、分割画像フレーム間隔を(1/120)秒=8.333ミリ秒としたとしても、インターレース方式を
採用しているので、画像フレーム間隔(奇数フレーム同士あるいは偶数フレーム同士)に対する電子シャッター期間を1より小さい値(本実施形態ではインターレース方式を採用しているので6/10)に設定することができるので、電源周波数50Hz圏の100Hzの照明強度変化下において120Hzの撮像を行うにあたり、生じるフリッカの発生を阻止することができる。
【0050】
<第2の実施形態>
なお、第2の実施形態においては、第1の実施形態と重複する部分も多いことから、そのような部分については適宜、簡単に説明する。特に、図1に示す回路構成、図2に基づく装置構成および図5〜7による基本原理は略同様であるので、その詳細な説明は省略する。
【0051】
第2の実施形態においては、図8に示すように、各TXトランジスタ112A〜D(図1を参照)に対応する4つの画素は画素共有されるようになっており、これら4つの画素(1.1、1.2、1.3、1.4(画素グループ1))、(2.1、2.2、2.3、2.4(画素グループ2))、(3.1、3.2、3.3、3.4(画素グループ3))および(4.1、4.2、4.3、4.4(画素グループ4))が、各々斜め正方形状ブロックを構築するように配列されている。
このような第2の実施形態に係る画素配置によれば、画素グループ毎にまとまった斜め正方形状ブロックとされているので、画素配列のレイアウト設計が極めて容易となる。
【0052】
また、図9は、図1に示す画素回路と図8に示す画素配置を用いて信号読出しを行った場合における、各トランジスタの入力信号を表すタイムチャートである。各グラフにおいてかっこ内の数字は、第何番目の配置の画素であるかを示すものである。例えば、SEL(1.x、2.x)、RST(1.x、2.x)と記載されているのは、(1.x)番目と(2.x)番目の4画素が画素共有されていることを示す。TX(1.1、2.1)として表されるTXは、(1.1)番目と(2.1)番目の画素配置であることを示す。蓄積時間(1.1、2.1)は、(1.1)番目と(2.1)番目のPD111Aの蓄積時
間を示す。なお、各行の蓄積時間を黒帯で示す。
【0053】
また、第2の実施形態において、nは4320/2に設定されている。
【0054】
この画素配置では、(1.x)番目と(2.x)番目に同じ駆動波形を与え、(3.x)番目と(4.x)番目に同じ駆動波形を与え、(n−1.x)番目と(n.x)番目に同じ駆動波形を与える。読み出しはX軸方向に列並列で、(1.x)番目、(3.x)番目・・(n−1.x)番目に同じ出力配線をつなぎ、(2.x)番目、(4.x)番目・・(n.x)番目に同じ出力配線をつなぐ。これにより、(1.x)番目と(2.x)番目、(3.x)番目と(4.x)番目、(n−1.x)番目と(n.x)番目を同時に、そして、(1.x)番目、(3.x)番目・・(n−1.x)番目の順に、また(2.x)番目、(4.x)番目・・(n.x)番目の順に読み出す。なお、X軸方向に並んでいる列並列の読み出しは、隣り合う列同士で列並列読み出し回路が逆方向に配置されていてもよい。
【0055】
この図9を第1の実施形態の入力信号のタイムチャートを示す図4と比較して説明する。これら2つの実施形態においては、いずれも4画素共有とされているが、図8図3に示すように画素配列の点で異なっている。
すなわち、第1の実施形態のものでは、共有される4画素が、図3に示すようにクランク状に配列されているのに対し、第2実施形態のものでは、共有される4画素が、図8に示すように斜め正方形状ブロックを構成するように配列されている。
これにより、第2実施形態では、SEL(1.x、2.x)、RST(1.x、2.x)、TX(1.1、2.1)に示すように、駆動波形を与える画素の位置が、第1の実施形態と比較して異なることになる。
【0056】
上述したように、第2の実施形態における撮像装置においては、まず、(1.1)(2.1)番目、(1.3)(2.3)番目、・・、(n−1.1)(n.1)番目、(n−1.3)(n.3)番目を順次選択して信号を読み出して全奇数行の信号を読み出し、奇数行に記録された画像信号を出力する。続いて、(1.2)(2.2)番目、(1.4)(2.4)番目、・・、(n−1.2)(n.2)番目、(n−1.4)(n.4)番目を順次選択して全偶数行の信号を読み出し、偶数行に記録された画像信号を出力する。なお、奇数行からなるフレーム(奇数フレーム)と偶数行からなるフレーム(偶数フレーム)の時間間隔(分割画像フレーム間隔)は(1/120)秒=8.333ミリ秒に設定さ
れる。
【0057】
これにより、第2の実施形態においては、電源周波数50Hz圏の100Hzの照明強度変化下において120Hzの撮像を行うにあたり、生じるフリッカの発生を阻止することができる。
【0058】
<第3の実施形態>
なお、本実施形態および以下に示す第4の実施形態においては、第1の実施形態と重複する部分も多いことから、そのような部分については適宜、簡単に説明する。特に、図2に基づく装置構成および図5〜7による基本原理は略同様であるので、その詳細な説明は省略する。
【0059】
第3の実施形態に係る撮像装置における画素回路の主要構成を、1画素あたり4トランジスタ使用の画素回路の等価回路図である図10を用いて説明する。
【0060】
また、図10において、各トランジスタTX312、RST314、SEL316のゲート部に接続されるY方向走査部202(図2参照)からの信号線L,L,Lの機能については図1で説明した機能と同様であるので、図面中に対応する符号のみを付し詳細な説明は省略する(以下に説明する第4の実施形態についても同様にして説明を省略する)。
【0061】
図10に示すように、この画素回路300は、フォトダイオード(PD)311、電荷転送トランジスタ(TX)312、浮遊拡散容量(FD)313、リセットトランジスタ(RST)314、ソースフォロアアンプ(SF)315、選択トランジスタ(SEL)316、画素電源部(VDD)317、および画素出力部(OUT)318から構成される。
【0062】
PD311とTX312は各々1つづつ設けられており、またFD313、RST314、SF315、SEL316、VDD317およびOUT318も各々が1つづつ設けられている。すなわち、1画素あたり4個のトランジスタで構成することとなり、上記第1、第2の実施形態のものよりも、1画素あたりのトランジスタ数が2.25個分多くなる。
【0063】
また、図11は、第3の実施形態に係る画素配置を示すものである。すなわち、この第3の実施形態においては、TXトランジスタ312に対応する画素が駆動されるようになっており、これらのTXトランジスタ312に対応した画素1、2、…が、斜め正方格子状に配列されている。
【0064】
なお、図11に示す斜め正方形状の各画素は、左上方から右下方への画素配列軸である第1の軸と、右上方から左下方への画素配列軸である第2の軸が、互いに直交するように、かつこれら2つの軸が、X軸(図11中の横方向に延びる軸(図示されていない))およびY軸(図11中の縦方向に延びる軸(図示されていない))と45°の角度をなすように、配列される。
このように構成された第3の実施形態によれば、撮像フレーム間隔に対する電子シャッター期間を1より小さい値に設定することができるので、電源周波数50Hz圏の100Hzの照明強度変化下において120Hzの撮像を行う際に生じるフリッカの発生を阻止することができる。
【0065】
また、図12は、図10に示す画素回路300を用いて信号読出しを行った場合における、トランジスタの入力信号を表すタイムチャートである。各グラフにおいてかっこ内の数字は、第何番目の行数であるかを示すものであり、例えば、SEL(1)…SEL(n)、RST(1)…RST(n)と記載されているのは、1行目…n行目であることを示し、一方、TX(1)…TX(n)として表されるTX312は画素共有がなされていないで1行目…n行目であることを示し、さらに蓄積時間(1)〜蓄積時間(n)はPD311の1行目…n行目の蓄積時間を示す。
【0066】
なお、各行の蓄積時間を黒帯で示す。また、本実施形態において、nは4320(行)に設定されている。
【0067】
この画素回路300では、まず、第1行(奇数行)目の画素について、PD311をリセットするために、SEL316がオフ状態(SEL(1)が「L」レベル)でRST314とTX312を同時にオン状態(RST(1)とTX(1)が「H」レベル)とした後、同時にオフ状態(RST(1)とTX(1)が「L」レベル)とする(図12の矢印Aを参照)。これにより、PD311とFD313の信号電荷がTX312とRST314を介してVDD317に放出されることになり、PD311のリセット処理が終了する。
この直後から、PD311の蓄積時間が開始される。
【0068】
また、蓄積時間が開始されたのち、SEL316がオン状態(SEL(1)が「H」レベル)となる(図12中の矢印Bを参照)ことで、当該画素が選択され、その際に、RST314がオン状態(RST(1)が「H」レベル)となることでFD313がリセットされ、FD313の電荷が所定量だけ放出された状態の値(リセット電位)が読みだされる。
【0069】
次に蓄積時間においてRST314がオフ状態(RST(1)が「L」レベル)となった後にTX312がオン状態(TX(1)が「H」レベル)となると、PD311に畜積されていた信号電荷がFD313に移動し、さらにTX312がオフ状態(TX(1)が「L」レベル)になると、このときの電位が読みだされる(図12のSEL(1)、RST(1)、TX(1)、蓄積時間(1)のタイムチャート:特に矢印Cを参照)。このときPD311の蓄積時間が終了する。このように、当該画素が選択されてから、RST314がオフ状態となったのちにTX312がオフ状態となるまでの時間が各画素の1蓄積時間となる。なお、この蓄積時間は、例えば(1/100)秒(=10ミリ秒)に設定さ
れる。
【0070】
この後、第1行目の他の画素についても同様にして信号読出し処理が行われる。また、他の奇数行目(1行目、3行目、・・n−1行目)の画素についても順次、同様にして行われる。
【0071】
一方、第2行目についても第1行目の上記処理と同様の信号読出し処理が行われ(図12のSEL(2)、RST(2)、TX(2)および蓄積時間(2)のタイムチャートを参照)、第2行目全体の信号読出しが終了する。この後、4行目、・・n行目等の他の偶数行の信号読出し処理についても順次、同様にして行われる。
【0072】
すなわち、本実施形態における撮像装置においては、インターレース走査により読出し操作を行っており、まず、1行目、3行目、・・n−1行目を順次選択して信号を読み出して全奇数行の信号を読み出し、奇数行に記録された画像信号を出力する。続いて、2行目、4行目、・・n行目を順次選択して全偶数行の信号を読み出し、偶数行に記録された画像信号を出力する。
【0073】
<第4の実施形態>
第4の実施形態に係る撮像装置における画素回路の等価回路図を図13を用いて説明する。すなわち、この画素回路は、2画素共有タイプであって、1画素あたり2.5トランジスタ使用によるものである。なお、この等価回路図に示す画素回路は、列方向(左上から右下に向かう方向)に並列する2画素に対応して設けられる。列方向(右上から左下に向かう方向)に並列する2画素に対応して設けられていてもよい。
【0074】
また、図13において、各トランジスタTX412A,B、RST414、SEL416のゲート部に接続されるY方向走査部202からの信号線L,L,Lの機能については図1で説明した機能と同様であるので、図面中に対応する符号のみを付し詳細な説明は省略する(以下に説明する実施形態および変型例についても同様にして説明を省略する)。
【0075】
上述したように、この画素回路400は、2画素共有タイプであって、2つのフォトダイオード(PD)411A,B、2つの電荷転送トランジスタ(TX)412A,B、浮遊拡散容量(FD)413、リセットトランジスタ(RST)414、ソースフォロアアンプ(SF)415、選択トランジスタ(SEL)416、画素電源部(VDD)417、および画素出力部(OUT)418から構成される。
【0076】
PD411A,BとTX412A,Bは2画素並べて設けられており、またFD413、RST414、SF415、SEL416、VDD417およびOUT418は2画素共有の構成とされている。すなわち、2画素用を5つのトランジスタで構成しているから、1画素あたり2.5個のトランジスタで構成することができることとなるが、上記第1、
第2の実施形態のものよりも、1画素あたり、トランジスタ0.75個分多くなる。
【0077】
また、第4の実施形態においては、2つのTXトランジスタ412A、Bに対応する2つの画素は2画素共有されるようになっており、図14に示すように、これら2つの画素(1.1、1.2(画素グループ1))、(2.1、2.2(画素グループ2))、(3.1、3.2(画素グループ3))および(4.1、4.2(画素グループ4))が、各々斜め長方形状のブロックを構築するように配列されている。
このような第4の実施形態に係る画素配置によれば、画素グループ毎にまとまった斜め長方形状のブロックとされているので、画素配列のレイアウト設計が容易となる。
【0078】
また、図15は、図13に示す画素回路400を用いて信号読出しを行った場合における、各トランジスタの入力信号を表すタイムチャートである。各グラフにおいてかっこ内の数字は、第何番目の行数であるかを示すものである。例えば、蓄積時間(1.1)はPD411Aの蓄積時間を示し、蓄積時間(1.2)はPD411Bの蓄積時間を示す。
なお、( )の中のxは、1および2の両方の場合を表す。
【0079】
なお、各行の蓄積時間を黒帯で示す。また、本実施形態において、nは4320/2=2160(行)に設定されている。
【0080】
この画素回路400では、まず、PD411Aをリセットするために、SEL416が
オフ状態(SEL(1.x)が「L」レベル)となっているときにRST414とTX412Aが同時にオン状態(RST(1.x)とTX(1.1)が「H」レベル)とされ、
しかる後に同時にオフ状態(RST(1.x)とTX(1.1)が「L」レベル)とされる。これにより、このリセット終了時からPD411Aにおいて電荷の蓄積が開始される
図15中で矢印Aを参照)。
【0081】
次に、PD411Bをリセットするために、SEL416がオフ状態(SEL(2.x
)が「L」レベル)となっているときにRST414とTX412Bが同時にオン状態(
RST(2.x)とTX(2.1)が「H」レベル)とされ、しかる後に同時にオフ状態(RST(2.x)とTX(2.1)が「L」レベル)とされる。これにより、このリセット終了時からPD411Bにおいて電荷の蓄積が開始される(図15中で矢印A´を参
照)。
【0082】
また、SEL416がオン状態(SEL(1.x)が「H」レベル)となることで、当該画素が選択され(図中で矢印Bを参照)、RST414がオン状態(RST(1.x)が「H」レベル)となることでFD413がリセットされ、RST414がオフ状態(RST(1.x)が「L」レベル)となった後にTX412Aがオン状態(TX(1.1)
が「H」レベル)になると電荷がFD413へ移動し電圧が読み出され、TX412Aが
オフ状態(TX(1.1)が「L」レベル)になるとPD411Aの畜積時間が終了する
(図中で矢印Cを参照)。この蓄積時間は第1の実施形態と同様に(1/100)秒(=
10ミリ秒)に設定される。
【0083】
また、SEL416がオン状態(SEL(1.x)が「H」レベル)となることで、当該画素が選択され(図中で矢印B´を参照)、RST414がオン状態(RST(1.x)が「H」レベル)となることでFD413がリセットされ、RST414がオフ状態(RST(1.x)が「L」レベル)となった後にTX412Bがオン状態(TX(1.2
)が「H」レベル)になると電荷がFD413へ移動し電圧が読み出され、TX412B
がオフ状態(TX(1.2)が「L」レベル)になるとPD411Bの畜積時間が終了す
る(図中で矢印C´を参照)。この蓄積時間は第1の実施形態と同様に(1/100)秒
(=10ミリ秒)に設定される。
【0084】
上述したように、本実施形態における撮像装置においては、インターレース走査により読出し操作を行っており、まず、(1.1)行目、(2.1)行目、・・、(n.1)行目を順次選択して信号を読み出して全奇数行の信号を読み出し、奇数行に記録された画像信号を出力する。続いて、(1.2)行目、(2.2)行目、・・、(n.2)行目を順次選択して全偶数行の信号を読み出し、偶数行に記録された画像信号を出力する。なお、奇数行からなるフレーム(奇数フレーム)と偶数行からなるフレーム(偶数フレーム)の時間間隔(分割画像フレーム間隔)は(1/120)秒=8.333ミリ秒に設定される
【0085】
これにより、本実施形態においては、電源周波数50Hz圏の100Hzの照明強度変化下において120Hzの撮像を行うにあたり、生じるフリッカの発生を阻止することができる。
【0086】
さらに、本発明の撮像装置、撮像方法および画像フレーム読出し制御回路としては、上記実施形態のものに限られるものではなく、その他の種々の態様のものを採用し得る。例えば、上記実施形態においては、共有タイプの素子のうち、2つの画素に共有の2画素共有タイプの素子、および4つの画素に共有の4画素共有タイプの素子の例を挙げているが、それ以外の種々の、複数画素に共有の素子を用いて信号読出しを行うことができる。
【0087】
なお、上記実施形態においては、撮像装置を構成する複数の画素が、X方向に7680画素でY方向に4320画素、またはX方向に3840画素でY方向に2160画素のいずれかに物理的に設定される場合について説明しているが、これに替えて、複数の画素を、ハードウェアあるいはソフトウェア等を用いて画素補間処理を行い、X方向に7680画素でY方向に4320画素、またはX方向に3840画素でY方向に2160画素のいずれかとなるように画素数を拡張(増加)するようにしても、上記実施形態のものと、同様の効果が得られる。
【0088】
なお、上記実施形態においては、画像フレーム間隔を、1/120秒=8.333ミリ秒としているが、これに替えて、1/120秒×1001/1000=8.342ミリ秒としても、上記実施形態のものと略同様の効果を奏することができる。また、上記実施形態においては、フレーム周波数を120Hzとしているが、これに替えて、120×1000/1001=119.88Hzとしても、上記実施形態のものと略同様の効果を奏することができる。
【0089】
さらに、グローバルシャッタ機能(グローバルシャッタトランジスタ)を搭載することも可能であり、その場合には、全画素同時(実際には奇数フレーム画素同時および偶数フレーム画素を同時)にシャッタ動作を行うことができ、全画素同時読出しが可能である。これにより、特に、動きが高速である被写体については像の歪みを軽減することができる。
【符号の説明】
【0090】
100、300、400 画素回路
111A〜D、311、411A、B フォトダイオード(PD)
112A〜D、312、412A、B 電荷転送トランジスタ(TX)
113、313、413 浮遊拡散容量(FD)
114、314、414 リセットトランジスタ(RST)
115、315、415 ソースフォロアアンプ(SF)
116、316、416 選択トランジスタ(SEL)
117、317、417 画素電源部(VDD)
118、318、418 画素出力部(OUT)
200 撮像装置
201 画素アレイ
202 Y方向走査部
203 X方向走査部
204 タイミングジェネレータ
205 出力回路
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15