特開 2019-161384 撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2019-161384(P2019-161384A)

(43)【公開日】2019年9月19日

(54)【発明の名称】撮像装置

(51)【国際特許分類】

   H04N 9/07 20060101AFI20190823BHJP

【ＦＩ】

   H04N9/07 A

   H04N9/07 C

【審査請求】未請求

【請求項の数】3

【出願形態】ＯＬ

【全頁数】13

(21)【出願番号】特願2018-44002(P2018-44002)

(22)【出願日】2018年3月12日

(71)【出願人】

【識別番号】000131326

【氏名又は名称】株式会社シグマ

(72)【発明者】

【氏名】山崎 滋巳

【テーマコード（参考）】

5C065

【Ｆターム（参考）】

5C065BB30

5C065CC01

5C065DD15

5C065GG11

5C065GG16

(57)【要約】      （修正有）

【課題】高解像度で偽色の発生しない画像データを得るとともに、データ量を小さく抑えて高速の読み出しを行うことが可能な撮像装置を提供する。
【解決手段】撮像装置において、撮像素子は厚み方向に３層の光電変換層を有する複数の画素を持つ。画素は、複数の第１の画素、第２の画素及び第３の画素を有し、その制御手段は、第１の画素の３層の光電変換層及び第２の画素の１層の光電変換層から信号値を読み出し、第３の画素からは信号値を読み出さない。画像処理手段は、第１の画素から読み出された３層分の信号値を第１の信号値とし、第２の画素から読み出された１層分の信号値を第２の信号値として、複数の第１の信号値から画像データの色情報を算出し、複数の第１の信号値及び複数の第２の信号値から画像データの輪郭情報を算出し、画像データの色情報に画像データの輪郭情報を付加して画像データを作成する。
【選択図】図１

【特許請求の範囲】

【請求項1】

厚み方向に３層の光電変換層を有する複数の画素からなる撮像素子と、前記撮像素子の信号値の読み出しを制御する制御手段と、前記信号値によって画像データを作成する画像処理手段と、を有し、
前記画素は複数の第１の画素、第２の画素及び第３の画素を有し、
前記制御手段は、前記第１の画素の３層の前記光電変換層及び前記第２の画素の１層の前記光電変換層から信号値を読み出し、前記第３の画素からは信号値を読み出さず、前記第１の画素から読み出された３層分の信号値を第１の信号値とし、前記第２の画素から読み出された１層分の信号値を第２の信号値とすると、
前記画像処理手段は、複数の前記第１の信号値から画像データの色情報を算出し、複数の前記第１の信号値及び複数の前記第２の信号値から画像データの輪郭情報を算出し、前記画像データの色情報に前記画像データの輪郭情報を付加することで前記画像データを作成することを特徴とする撮像装置。

【請求項2】

前記撮像素子は所定の２行×２列による４画素からなる複数のブロックで構成され、
前記複数のブロックは前記第１の画素、前記第２の画素及び前記第３の画素をそれぞれ少なくとも１つ含み、
前記画像処理手段は、前記複数のブロックから取得された前記第１の信号値及び前記第２の信号値をベイヤー配列に配置し、前記第３の画素に対応する信号値を補間することで前記輪郭情報を算出することを特徴とする請求項１に記載の撮像装置。

【請求項3】

前記ブロックは２行×２列による４画素における左上に位置する１つの前記第１の画素と、右下に位置する１つの前記第２の画素と、右上及び左下に位置する２つの前記第３の画素から構成され、
前記第１の信号値が有する３層分の信号値をＲ信号値、Ｇ信号値、Ｂ信号値とすると、
前記画像処理手段は、前記Ｒ信号値を右上に位置する前記第３の画素の信号値とみなし、前記Ｂ信号値を左下に位置する前記第３の画素の信号値とみなす補間を行うことで、各ブロックの前記ベイヤー配列の配置を行うことを特徴とする請求項２に記載の撮像装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置に関し、特に撮像素子の高速信号読み出しが可能な撮像装置に関する。

【背景技術】

【0002】

昨今、デジタルスチルカメラ等の撮像装置は、静止画撮影だけでなく、動画撮影に対しても高解像、高画質と高品位化が求められている。しかし一方で、動画像のデータ量は出来るだけコンパクトに抑えることも望まれている。

【0003】

このような問題に対して出願人が嘗て行った出願として、特許文献１がある。特許文献１には、厚み方向に堆積した３色以上の光電変換層を有する撮像素子に対して、層ごとに異なる解像度で画素情報を読み出し、輝度情報及び色情報を取得する発明が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１７−２０８６５１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし特許文献１に記載の発明では、全ての画素から信号読み出しを行う必要があるため、データ量や画素読み出しに係る時間を十分に抑えることができなかった。

【0006】

上記課題から本発明は、多層センサを用いて高解像かつ偽色の発生しない画像データを得ながら、一方でデータ量を小さく抑えることで高速の読み出しを行うことが可能な撮像装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

請求項１に示す発明は、厚み方向に３層の光電変換層を有する複数の画素からなる撮像素子と、前記撮像素子の信号値の読み出しを制御する制御手段と、前記信号値によって画像データを作成する画像処理手段と、を有し、前記画素は複数の第１の画素、第２の画素及び第３の画素を有し、前記制御手段は、前記第１の画素の３層の前記光電変換層及び前記第２の画素の１層の前記光電変換層から信号値を読み出し、前記第３の画素からは信号値を読み出さず、前記第１の画素から読み出された３層分の信号値を第１の信号値とし、前記第２の画素から読み出された１層分の信号値を第２の信号値とすると、前記画像処理手段は、複数の前記第１の信号値から画像データの色情報を算出し、複数の前記第１の信号値及び複数の前記第２の信号値から画像データの輪郭情報を算出し、前記画像データの色情報に前記画像データの輪郭情報を付加することで前記画像データを作成することを特徴とする撮像装置である。

【0008】

請求項２に示す発明は、前記撮像素子は所定の２行×２列による４画素からなる複数のブロックで構成され、前記複数のブロックは前記第１の画素、前記第２の画素及び前記第３の画素をそれぞれ少なくとも１つ含み、前記画像処理手段は、前記複数のブロックから取得された前記第１の信号値及び前記第２の信号値をベイヤー配列に配置し、前記第３の画素に対応する信号値を補間することで前記輪郭情報を算出することを特徴とする請求項１に記載の撮像装置である。

【0009】

請求項３に示す発明は、前記ブロックは２行×２列による４画素における左上に位置する１つの前記第１の画素と、右下に位置する１つの前記第２の画素と、右上及び左下に位置する２つの前記第３の画素から構成され、前記第１の信号値が有する３層分の信号値をＲ信号値、Ｇ信号値、Ｂ信号値とすると、前記画像処理手段は、前記Ｒ信号値を右上に位置する前記第３の画素の信号値とみなし、前記Ｂ信号値を左下に位置する前記第３の画素の信号値とみなす補間を行うことで、各ブロックの前記ベイヤー配列の配置を行うことを特徴とする請求項２に記載の撮像装置である。

【発明の効果】

【0010】

本発明によれば、多層センサを用いて高解像かつ偽色の発生しない画像データを得ながら、一方でデータ量を小さく抑えることで高速の読み出しを行うことが可能な撮像装置を提供することができる。

【図面の簡単な説明】

【0011】

【図1】カメラシステムの主要な構成を示すブロック図である。

【図2】撮像素子の単一画素を単純化して示した断面図である。

【図3】撮像素子における単一画素の簡略化した等価回路図である。

【図4】３層センサにおいて全ての層から信号を読む場合のタイミングチャートの一例である。

【図5】３層センサにおいて１つの層から信号を読む場合のタイミングチャートの一例である。

【図6】動画撮影における撮像処理のフロー図である。

【図7】画素の配置を示す概略図である。

【図8】間引き読み出し方法にかかる概略図である。

【図9】出力データの作成にかかる画像処理のフロー図である。

【図10】色データ作成を示す模式図である。

【図11】疑似ベイヤーデータ作成を示す模式図である。

【発明を実施するための形態】

【0012】

以下、添付の図面に従って、本発明を実施するための最良の形態について説明する。なお、この実施の形態により本発明が限定されるものではない。

【0013】

図１は、本発明の一実施形態であるカメラシステムの主要な構成を示すブロック図である。図１に示す撮像装置１００は、レンズ部１１０と、撮像素子２００と、読み出し制御部１２０と、信号処理部１３０と、画像処理部１４０と、メモリ部１５０と、カメラＣＰＵ１６０と、ユーザインターフェース１７０と、記録媒体インターフェース１８０と、画像表示部１９０とを備えている。

【0014】

レンズ部１１０は、フォーカスレンズ群やズームレンズ群を含む、複数の不図示のレンズ群で構成された、撮像のための結像光学系全体を示している。ただし、本図においては、便宜上、１枚のレンズのみ記載している。

【0015】

撮像素子２００は、撮影光学により集光された光線を受光して光電変換し、画像データを出力する。本発明の撮像素子２００には、画素から読み出した色成分信号を増幅するゲイン可変アンプやゲイン値を補正するためのゲイン補正回路、アナログ画像信号をデジタル変換するＡ／Ｄコンバータが内蔵されている。また、撮像素子２００はＣＭＯＳイメージセンサが用いられている。かかる撮像素子２００の受光面は、多数の画素から構成されている。これらの画素は、その内部において、入射光の波長により光電変換される深さの違いを用いることで、単一画素からＲＧＢの各色成分信号を出力可能な垂直色分離型のイメージセンサである。垂直色分離型のイメージセンサの詳しい構造については後述する。

【0016】

読み出し制御部１２０は、撮像素子２００の駆動タイミングを決定するための信号を出力する。これにより、画素毎の水平駆動並びに垂直駆動が制御され、各画素からＲＧＢの各色成分信号が読み出される。この読み出し制御部１２０は、さらに、画素から読み出す色成分についても制御する。

【0017】

撮像素子２００から出力された色成分信号は一旦メモリ部１５０に記録される。メモリ部１５０は、この他にも各種データのバッファとして機能する。

【0018】

信号処理部１３０は、撮像素子２００から出力された信号から色データと輪郭データの作成を行い、更には出力データの作成を行うが、詳しくは後述する。

【0019】

画像処理部１４０は、信号処理部１３０から出力された出力データを受け取り、公知の画像処理を行う。公知の画像処理とは例えば、欠陥画素補正、ノイズ除去、色補正、ガンマ補正、シャープニング等である。

【0020】

カメラＣＰＵ１６０は、撮像装置１００全体の包括的な制御を行う。

【0021】

ユーザインターフェース（Ｉ／Ｆ）１７０は、例えば、レリーズボタン、電源ボタン、コマンドダイヤル、十字キー等の操作部材を有しており、ユーザがこれらの操作部材を操作すると、カメラＣＰＵ１６０は所定の動作を行う指示を出す。静止画撮影モードと動画撮影モードの切り替えに用いる操作部材もユーザＩ／Ｆ１７０に含まれる。

【0022】

記録媒体インターフェース（Ｉ／Ｆ）１８０は、不図示の記録媒体との間でＲＡＷデータや現像後の画像データの記録又は読み出しを行う。この記録媒体は、半導体メモリ等の着脱可能な記録媒体である。

【0023】

画像表示部１９０は、画像処理部１４０で処理された画像データや、不図示の記録媒体から読み出された画像データ等を表示する。また、動画撮影モードにおいては、撮像素子から連続的に読みだされた画像データを表示し続ける。

【0024】

なお、上述したゲイン可変アンプ、ゲイン補正回路、Ａ／Ｄコンバータを内蔵していない撮像素子２００を採用する場合には、これらのデバイスを個別に搭載すればよい。

【0025】

次に、本発明の撮像素子について、図２を用いて説明する。図２は、撮像装置１００に実装される撮像素子２００の単一画素を単純化して示した断面図である。上述したように、本実施形態の撮像素子２００はいわゆる垂直色分離型のイメージセンサであり、各画素には、深さ方向に３つのフォトダイオードが積層して形成されている。

【0026】

ある画素に光が入射すると、入射光中の青色（Ｂ）成分は主に最上面に位置するフォトダイオード２１０で光電変換される。同様に、入射光中の緑色（Ｇ）成分は主に中間深さに位置するフォトダイオード２３０で光電変換され、赤色（Ｒ）成分は主に最下層に位置するフォトダイオード２５０で光電変換される。これらの、垂直方向の色分離は撮像素子２００の材料として用いるシリコン（Ｓｉ）の特性を利用したものである。

【0027】

これら３つのフォトダイオードは、Ｓｉ基板の内部の異なる深さに所定のドープ処理を行うことで形成される。具体的には、Ｂ成分用フォトダイオード２１０は、約０．２〜０．５μｍの間の深さに形成され、Ｇ成分用フォトダイオード２３０は、約０．５〜１．５μｍの間の深さに形成され、Ｒ成分用フォトダイオード２５０は、約１．５〜３．０μｍの間の深さに形成される。

【0028】

従って、本発明の撮像素子２００は３層センサであり、ベイヤー型イメージセンサに必須のカラーフィルタが不要でありながら、１つの画素でＲＧＢ３色の色成分信号を取得することが可能である。

【0029】

このような特徴は、作成される画像データの偽色抑制に有利である。すなわちベイヤー型イメージセンサでは１つの画素に付き１色の色成分信号しか得られないため、画像データ作成のためには色成分を推定補間する必要があり、偽色発生の原因となってしまう。一方、３層センサであれば推定補間は必要ないため、偽色の発生しない画像データを取得することができる。

【0030】

次に、図３を用いて、本発明の実施例における撮像素子２００における信号読み出し回路の構成について説明する。図３は、撮像素子２００における単一画素の簡略化した等価回路図である。本図に示した等価回路を用いることで、撮像素子２００内の各フォトダイオードにおける光電変換により生成された電荷を信号としてフォトダイオードの外部に読み出すことができる。

【0031】

上述したように、撮像素子２００の各画素は、Ｂ成分用フォトダイオード２１０、Ｇ成分用フォトダイオード２３０、及びＲ成分用フォトダイオード２５０を有している。各フォトダイオードのアノードは接地されており、各フォトダイオードのカソードは、３つの色に対するフローティングディフュージョン（ＦＤ）を有する配線部２０１を備えている。

【0032】

フォトダイオード２１０、２３０、及び２５０のカソードは、各々の選択トランジスタを介してＦＤ部２０１に接続されている。詳しくは、Ｂ成分選択トランジスタ２１１は、Ｂ成分用フォトダイオード２１０のカソードとＦＤ部２０１との間に接続され、Ｂ成分選択トランジスタ２１１のゲートは、Ｂ成分選択線２１２に接続される。Ｇ成分選択トランジスタ２３１は、Ｇ成分用フォトダイオード２３０のカソードとＦＤ部２０１との間に接続され、Ｇ成分選択トランジスタ２３１のゲートは、Ｇ成分選択線２３２に接続される。Ｒ成分選択トランジスタ２５１は、Ｒ成分用フォトダイオード２５０のカソードとＦＤ部２０１との間に接続され、Ｒ成分選択トランジスタ２５１のゲートは、Ｒ成分選択線２５２に接続される。

【0033】

ＶＤＤ線２０２とＦＤ部２０１との間には、共通のリセットトランジスタ２０３が接続されている。リセットトランジスタ２０３のゲートは、リセット線２０４に接続される。

【0034】

ＦＤ部２０１にはソースフォロワトランジスタ２０５のゲートが接続され、そのドレインはＶＤＤ線２０２に接続され、そのソースは行選択トランジスタ２０６のドレインに接続されている。行選択トランジスタ２０６のソースは定電流源２０７に接続され、そのゲートは行選択線２０８に接続されている。

【0035】

なお、上述した撮像素子２００の等価回路図は一例であり、これに限られるものではない。例えば、本図ではＦＤ部は各フォトダイオードに共通して１つ設けられているが、各フォトダイオードにＦＤ部を別個に設けてもよい。

【0036】

その場合、各フォトダイオードの選択トランジスタのカソードにそれぞれ個別のＦＤ部が接続され、それらの各ＦＤ部はさらに共通のソースフォロワトランジスタのゲートに接続する。また、各ＦＤ部とＶＤＤ線との間には、それぞれ個別のリセットトランジスタを接続することで構成される。

【0037】

次に撮像素子２００内の各画素からの各色成分信号の読み出しについて、図４、図５を用いて説明する。本実施例では２種類の異なる読み出し方法が使用され、対象となる画素に応じて使い分けられる。図４は３層センサにおいて全ての層から信号を読む場合のタイミングチャートの一例である。なお、以下のタイミングチャートは静止画、動画に関わらず、どちらにも適用可能である。

【0038】

撮影者によりレリーズ操作が行われると、レンズ部１１０を介して被写体光が撮像素子２００に入射して露光される。撮像素子２００内の各フォトダイオードにおいて入射光が光電変換され、電荷の生成及び蓄積が完了すると、読み出し制御部１２０の制御により、まず、行選択線２０８がＨｉｇｈにされ、読み出す行が選択される。それと同時に、読み出し制御部１２０の制御により、リセット線２０４がＨｉｇｈにされ、これによりＦＤ部２０１がリセットされる。

【0039】

図４に示すように、Ｒ成分信号、Ｇ成分信号、Ｂ成分信号の順に読み出されるので、まず、読み出し制御部１２０の制御によりＲ成分選択線２５２がＨｉｇｈにされ、Ｒ成分用フォトダイオード２５０に蓄積された電荷がＦＤ部２０１に移動し、さらにＶｏｕｔから出力される。これにより、Ｒ成分信号が画素中から読み出される。

【0040】

続いて、読み出し制御部１２０の制御により、再度リセット線２０４がＨｉｇｈにされ、これによりＦＤ部２０１がリセットされる。次に、読み出し制御部１２０の制御によりＧ成分選択線２３２がＨｉｇｈにされ、Ｇ成分用フォトダイオード２３０に蓄積された電荷がＦＤ部２０１に移動し、さらにＶｏｕｔから出力される。これにより、Ｇ成分信号が画素中から読み出される。

【0041】

続いて、読み出し制御部１２０の制御により、再度リセット線２０４がＨｉｇｈにされ、これによりＦＤ部２０１がリセットされる。次に、読み出し制御部１２０の制御によりＢ成分選択線２１２がＨｉｇｈにされ、Ｂ成分用フォトダイオード２１０に蓄積された電荷がＦＤ部２０１に移動し、さらにＶｏｕｔから出力される。これにより、Ｂ成分信号が画素中から読み出される。

【0042】

以上で、単一画素からＲＧＢ全ての色成分信号の読み出しが完了するので、読み出し制御部１２０の制御により、行選択信号がＬｏｗにされる。これが３層センサにおいて全ての層から信号を読む場合の読み出し方法である。

【0043】

本実施例では３層全てから信号の読み出しを行う読み出し方法に加えて、中間深さに位置するフォトダイオード２３０からのみ信号の読み出しを行う読み出し方法を使用する。図５は３層センサにおいて１つの層から信号を読む場合のタイミングチャートの一例である。

【0044】

読み出し制御部１２０の制御により、まず、行選択線２０８がＨｉｇｈにされ、読み出す行が選択される。それと同時に、リセット線２０４がＨｉｇｈにされ、これによりＦＤ部２０１がリセットされる。Ｒ成分の信号の読み出しを行わないので、次に、Ｇ成分選択線２３２がＨｉｇｈにされ、Ｇ成分用フォトダイオード２３０に蓄積された電荷がＦＤ部２０１に移動し、さらにＶｏｕｔから出力される。これにより、Ｇ成分信号が画素中から読み出される。

【0045】

また、Ｂ成分もＲ成分と同様に信号読み出しを行わないので、以上で色成分信号の読み出しが完了となるため、読み出し制御部１２０の制御により、行選択信号がＬｏｗにされる。これが３層センサにおいて１つの層から信号を読む場合の読み出し方法である。

【0046】

次に本実施例における撮像処理について説明を行う。以下に説明する撮像処理においては３層センサを構成する全ての画素の全ての層から信号を読み出すことは行わず、所定の間引き方をもって信号読み出しを行うことで、高速の読み出しを実現する。また通常であれば間引き読み出しを行うことで画質が低下してしまうが、本実施例では特定の画像処理を行うことによって、高速の読み出しを行いながらも高解像の画像データを作成する。図６は本実施例における動画撮影における撮像処理のフロー図である。

【0047】

Ｓ１０１において動画撮影における撮像処理が開始されると、Ｓ１０２において撮影者によってレリーズボタンの操作が行われる。レリーズボタンが操作されることで撮像光学系を介して被写体光が撮像素子２００に入射し、信号の蓄積が行われる。

【0048】

Ｓ１０３では撮像素子２００における信号の読み出しが行われる。本実施例における信号の間引き読み出し方法について、図７及び図８を用いて説明する。図７は本実施例における画素の配置を示す概略図である。図８は本実施例の間引き読み出し方法にかかる概略図である。

【0049】

図７で示されるように、本実施例においては２行×２列に配置された画素群を１つの集団として扱い、これをブロックと呼称する。つまり本実施例の撮像素子は複数のブロックによって構成されている。また、１ブロックを構成する画素について、左上に位置する画素をＬＨ、右上に位置する画素をＲＨ、左下に位置する画素をＬＬ、右下に位置する画素をＲＬと呼称する。また、各ブロックには座標が付与されており、（ｎ，ｍ）で表される。但しｎ、ｍは自然数とする。

【0050】

図８で示されるように、本実施例においては１ブロックを構成する画素群に対して、異なる読み出し方法で信号の読み出しを行う。ＬＨについては最上面のフォトダイオード２１０からＢ成分の信号値ＬＨＢ、中間深さのフォトダイオード２３０からＧ成分の信号値ＬＨＧ、最下層のフォトダイオード２５０からＲ成分の信号値ＬＨＲを読み出す。ＲＨ、ＬＬについては信号を読み出さない。ＲＬについては中間深さのフォトダイオード２３０からＧ成分の信号値ＲＬＧを読み出す。このように一部の信号のみを読み出す間引き読み出しを行うことで、全ての信号を読み出す通常読み出しよりも高速の読み出しが可能となる。

【0051】

ここで、ＬＨの読み出しは、前述の３層センサにおいて全ての層から信号を読む場合の読み出し方法によって行われる。また、ＲＬの読み出しは前述の３層センサにおいて１つの層から信号を読む場合の読み出し方法によって行われる。

【0052】

ステップＳ１０３では上記のような間引き読み出し方法をもって、撮像素子２００全体に対して信号読み出しが行われる。読み出された信号値はメモリ部１５０へと保存される。

【0053】

ステップＳ１０４では信号処理部１３０において、メモリ部１５０から読み出された信号値から出力データの作成が行われる。図９は出力データの作成にかかる画像処理のフロー図である。以下に行われる画像処理においては間引き読み出しされた信号値から、低解像度かつ偽色の発生しない画像データである色データ、及び高解像度かつ偽色が存在する画像データである疑似ベイヤーデータを作成する。更に作成された疑似ベイヤーデータから輪郭データを導出し、輪郭データを色データと合成することで、高解像度かつ偽色の発生しない画像データである出力データの作成を行う。詳しい処理内容については後述する。

【0054】

ステップＳ１０５では記録媒体Ｉ／Ｆ１８０に出力データが保存され、同時に画像表示部１９０に表示される。ステップＳ１０６では再度レリーズボタンが操作されたかについて判定が行われる。レリーズボタンが操作され動画撮影が終了するまで、信号値は読み出され続ける。ステップＳ１０７において動画撮影における撮像処理は終了する。

【0055】

続いて図９のフロー図を用いてステップＳ１０４で行われる出力データの作成にかかる画像処理について説明する。ステップＳ２０１において出力データの作成が開始されると、ステップＳ２０２においては色データの作成が行われる。図１０は色データ作成を示す模式図である。色データはＬＨのみから構成されるデータであり、全てのＬＨが位置関係を保ったまま隣接するよう配列し直されることで作成される。

【0056】

ここでＬＨは単なる１つの信号値ではなく、ＬＨＢ、ＬＨＧ、ＬＨＲと３層センサにおける全ての層の信号値を有したデータである。従って、ＬＨにより構成される色データは補間が必要なく、偽色の発生しない画像データとなる。

【0057】

またＬＨの数は撮像素子中の略４分の１であるので、ＬＨのみから構成される色データは全画素から読み出された画像データと比べて略４分の１の低解像な画像データとなる。以上のようにして作成された色データはメモリ部に保存される。

【0058】

ステップＳ２０３においては疑似ベイヤーデータの作成が行われる。図１１は疑似ベイヤーデータ作成を示す模式図である。疑似ベイヤーデータとは間引き読み出しで得られた信号値を、ベイヤー配列に配置することで作成される画像データである。つまり２行×２列に配置された画素群について、左上にはＬＨのＧ成分の信号値ＬＨＧを、右上にはＬＨのＲ成分の信号値ＬＨＲを、左下にはＬＨのＢ成分の信号値ＬＨＢを、右下にはＲＬのＧ成分の信号値ＲＬＧを配置する。

【0059】

ブロック（１，１）を例に取り、説明する。ＬＨ（１，１）はＬＨＧ（１，１）、ＬＨＲ（１，１）、ＬＨＢ（１，１）の３層分の信号値が読み出されており、ＲＬ（１，１）はＲＬＧ（１，１）の１層分の信号値が読み出されている。そして、ＲＨ（１，１）及びＬＬ（１，１）は信号値が読み出されていない。ここで、ＲＨ（１，１）及びＬＬ（１，１）はＬＨ（１，１）と隣接画素であるため、略同一の信号値が得られるとみなすことができる。従って、ＬＨ（１，１）で得られた入射光中の赤色成分であるＬＨＲ（１，１）がＲＨ（１，１）から読み出されたとみなされ、信号値として配置される。同様にＬＨ（１，１）で得られた入射光中の青色成分であるＬＨＢ（１，１）がＬＨ（１，１）から読み出されたとみなされ、信号値として配置される。以上のような信号値の配置が全てのブロックに対して行われることで疑似ベイヤーデータの作成が行われる。

【0060】

ステップＳ２０４では疑似ベイヤーデータの信号補間が行われる。疑似ベイヤーデータは１画素において３つのデータを有していた色データと異なり、１画素において所定の色に関する１つのデータを持つのみである。従って各画素に対してＲＧＢの全ての信号値を取得するためには、信号値を推定補間する必要がある。ベイヤーセンサから得られる信号値の推定補間は既知の技術であるため、説明を省略する。

【0061】

推定補間を行った疑似ベイヤーデータは、推定に起因する偽色が発生している。しかし、撮像素子全体の全ての画素についての信号値を有しているため、全画素から読み出された画像データと比べても同一である高い解像度を有している。

【0062】

以上のようにして色データ及び疑似ベイヤーデータは作成される。前述したように色データは偽色が発生しないものの、低解像度のデータである。一方、疑似ベイヤーデータは偽色が発生するものの、高解像度のデータである。従って、疑似ベイヤーデータから輪郭情報を抽出し色データに付加することで、色データの解像感を向上させ、高解像かつ偽色の発生しない画像データを作成することができる。

【0063】

ステップＳ２０５では推定補間を行った疑似ベイヤーデータから輪郭データを作成する。輪郭データは画像データの高周波成分である。従って何らかの手段によって、疑似ベイヤーデータから高周波成分を抽出すればよい。本実施例においては疑似ベイヤーデータにハイパスフィルタを適用することによって輪郭データを作成する。

【0064】

ステップＳ２０６では輪郭データを色データに付加し、出力データを作成する。データの付加は例えば色データにおけるＲＧＢ成分を輝度及び色を示すＹＣｂＣｒ成分に変換し、Ｙ成分に輪郭データを加算し、再度ＲＧＢ成分に変換する等の方法で行えばよい。ただし色データは輪郭データと比較して低画素数であるため、色データに拡大を行うことで輪郭データと画素数を合わせてから、データの付加は行われる。このような技術は出願人が嘗て行った出願である特開２０１４−１１７２２号公報等に詳細に開示されている技術であるので、詳しくは省略する。

【0065】

ステップＳ２０７において画像データの作成に係る画像処理は終了する。以上のようにして、本実施例における出力データの作成は行われる。

【0066】

以上のように、間引き読み出しを行うことで読み出し速度の高速化を達成しながらも、偽色の存在しない色データに輪郭情報を付与することで、高解像かつ偽色の発生しない画像データを得ることができる。

【0067】

また、ベイヤー配列である画像データに関する画像処理は一般的な技術であり、信号値の補間等、多くの先行研究がなされている。従って、本発明においては３層センサを使用しながら、ベイヤー配列に関する既存の技術を享受することが可能となる。

【0068】

ここで、本実施例においては動画撮影について例示したが、静止画撮影においても本発明は適用可能である。

【0069】

また、本実施例における間引き読み出しでは１ブロックに対してＬＨの全ての信号値を読み出し、更にＲＬからＧ成分の信号値を読み出した。しかし本発明はそのような読み出し方法に限られるものではなく、１つの信号のみが読み出される画素はＬＨ以外の他の画素としてもよい。即ち、ＲＨからＧ成分の信号値を読み出す、もしくはＬＬからＧ成分の信号値を読み出すとしてもよい。そのような場合ではＲＨもしくはＬＬから読み出されたＧ信号の信号値をベイヤーデータ配列における右下の値とし、ＬＨから読み出された信号値によって右上、左下を補間することで、疑似ベイヤーデータを作成することができる。

【0070】

ここで１つのみ読み出される信号としてＧ成分の信号値が読み出されているのは、人の目はＧ成分に対する視覚感度が他の色より敏感とされているためである。従って、１つのみ読み出される信号としてＧ成分の信号値を読み出す方法が画像データの解像感に最も好適である。

【0071】

以上で説明したように、本発明の撮像装置においては３層センサに対して間引き読み出しを行い、画像処理を行うことで、高解像かつ偽色の発生しない画像データを得ながら、一方でデータ量を小さく抑えることで高速の読み出しを行うことが可能な撮像装置を提供することが可能となる。

【符号の説明】

【0072】

１００ 撮像装置
１１０ レンズ部
１２０ 読み出し制御部
１３０ 信号処理部
１４０ 画像処理部
１５０ メモリ部
１６０ カメラＣＰＵ
１７０ ユーザインターフェース
１８０ 記録媒体インターフェース
１９０ 画像表示部
２００ 撮像素子
２１０ Ｂ成分用フォトダイオード
２３０ Ｇ成分用フォトダイオード
２５０ Ｒ成分用フォトダイオード
２０１ ＦＤを有する配線部
２０２ ＶＤＤ線
２０３ リセットトランジスタ
２０４ リセット線
２０５ ソースフォロワトランジスタ
２０６ 行選択トランジスタ
２０７ 定電流源
２０８ 行選択線
２１１ Ｂ成分選択トランジスタ
２１２ Ｂ成分選択線
２３１ Ｇ成分選択トランジスタ
２３２ Ｇ成分選択線
２５１ Ｒ成分選択トランジスタ
２５２ Ｒ成分選択線

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】