▶ グディックス テクノロジー（エイチケー）カンパニー リミテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022080822
(43)【公開日】2022-05-30
(54)【発明の名称】撮像システム
(51)【国際特許分類】
H04N 5/232 20060101AFI20220523BHJP
H04N 5/335 20110101ALI20220523BHJP
【ＦＩ】
H04N5/232 290
H04N5/335
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2021056117
(22)【出願日】2021-03-29
(62)【分割の表示】P 2020192051の分割
【原出願日】2020-11-18
(71)【出願人】
【識別番号】521506272
【氏名又は名称】グディックス テクノロジー（エイチケー）カンパニー リミテッド
(74)【代理人】
【識別番号】110000671
【氏名又は名称】八田国際特許業務法人
(72)【発明者】
【氏名】山本 秀彦
(72)【発明者】
【氏名】石原 啓一郎
(72)【発明者】
【氏名】若崎 隆
【テーマコード（参考）】
5C024
5C122
【Ｆターム（参考）】
5C024CX37
5C024CX41
5C024CY37
5C024HX28
5C122EA37
5C122FC01
5C122FC02
5C122FC06
5C122FH03
5C122FH23
5C122HB09
(57)【要約】
【課題】ビニング処理によって低下した画像の解像度を復元し、高感度および高解像度を有する画像信号を出力することができる撮像システムを提供すること。
【解決手段】撮像システムは、連続する第１乃至第ｎのフレーム（ｎは２以上の整数）において、第１の方向または第２の方向に配列された複数の画素をビニングし、第１乃至第ｎのビニング信号を生成するビニング処理部と、第１乃至第ｎのビニング信号を合成し、解像度が復元された画像信号を生成する解像度復元処理と、を含み、ビニングされる複数の画素の組み合わせは、第１乃至第ｎのフレームごとに異なる。
【選択図】図１
【解決手段】撮像システムは、連続する第１乃至第ｎのフレーム（ｎは２以上の整数）において、第１の方向または第２の方向に配列された複数の画素をビニングし、第１乃至第ｎのビニング信号を生成するビニング処理部と、第１乃至第ｎのビニング信号を合成し、解像度が復元された画像信号を生成する解像度復元処理と、を含み、ビニングされる複数の画素の組み合わせは、第１乃至第ｎのフレームごとに異なる。
【選択図】図１
【特許請求の範囲】
【請求項1】
連続する第１乃至第ｎのフレーム（ｎは２以上の整数）において、第１の方向または第２の方向に配列された複数の画素をビニングし、第１乃至第ｎのビニング信号を生成するビニング処理部と、
前記第１乃至第ｎのビニング信号を合成し、解像度が復元された画像信号を生成する解像度復元処理と、を含み、
ビニングされる前記複数の画素の組み合わせは、前記第１乃至第ｎのフレームごとに異なる、撮像システム。
前記第１乃至第ｎのビニング信号を合成し、解像度が復元された画像信号を生成する解像度復元処理と、を含み、
ビニングされる前記複数の画素の組み合わせは、前記第１乃至第ｎのフレームごとに異なる、撮像システム。
【請求項2】
前記第１乃至第ｎのフレームのいずれか１つのフレームにおいて、ビニングされる前記複数の画素は、前記第１の方向で隣接する２個の画素または前記第２の方向で隣接する２個の画素を含む、請求項１に記載の撮像システム。
【請求項3】
前記第１乃至第ｎのフレームのいずれか１つのフレームにおいて、ビニングされる前記複数の画素は、互いに隣接する４個の画素である、請求項１に記載の撮像システム。
【請求項4】
前記第１乃至第ｎフレームの少なくとも２つのフレームの各々において、ビニングされる前記複数の画素は、前記第１の方向で隣接する２個の画素および前記第２の方向で隣接する２個の画素のうちの一方を含む４個の画素である、請求項１に記載の撮像システム。
【請求項5】
前記４個の画素は、互いに隣接し、
前記少なくとも２つのフレームの一方においてビニングされる前記４個の画素の位置は、前記少なくとも２つのフレームの他方においてビニングされる前記４個の画素の位置に対して、前記第１の方向または前記第２の方向にシフトしている、請求項４に記載の撮像システム。
前記少なくとも２つのフレームの一方においてビニングされる前記４個の画素の位置は、前記少なくとも２つのフレームの他方においてビニングされる前記４個の画素の位置に対して、前記第１の方向または前記第２の方向にシフトしている、請求項４に記載の撮像システム。
【請求項6】
前記第１乃至第ｎフレームの少なくとも１つのフレームにおいて、ビニングされる前記複数の画素は、前記第１の方向で連続する４個の画素である、請求項１乃至請求項５のいずれか一項に記載の撮像システム。
【請求項7】
前記第１乃至第ｎフレームの少なくとも１つのフレームにおいて、ビニングされる前記複数の画素は、前記第２の方向で連続する４個の画素である、請求項６に記載の撮像システム。
【請求項8】
前記第１乃至第ｎフレームの少なくとも１つのフレームにおいて、ビニングされる前記複数の画素は、前記第１の方向で隣接する２個の画素である、請求項１乃至請求項５のいずれか一項に記載の撮像システム。
【請求項9】
前記第１乃至第ｎフレームの少なくとも１つのフレームにおいて、ビニングされる前記複数の画素は、前記第２の方向で隣接する２個の画素である、請求項８に記載の撮像システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像システムに関する。
【背景技術】
【0002】
携帯電話、スマートフォン、ノート型のパーソナルコンピュータ、タブレット型のパーソナルコンピュータ、デジタルカメラ、デジタルビデオカメラ、または車載カメラなどの電子機器の多くは、表示装置とともに、固体撮像装置（イメージセンサ）を備える。これらの電子機器では、被写体が、イメージセンサによって電気信号に変換された画像として取得される。
【0003】
近年、表示装置だけでなく、イメージセンサの高解像度化が進んでいるが、イメージセンサの高解像度化においては、受光感度の低下またはノイズの増加などの問題が発生する。
【0004】
特に、低照度における動画の撮影では、光量の不足によって電気信号のＳ／Ｎが低下する。動画の撮影ではフレームレートが予め設定されている場合も多く、イメージセンサの露光時間の上限が制限される場合も少なくない。そのため、電気信号のＳ／Ｎを向上させるため、イメージセンサに含まれる複数の画素を１つの画素として出力するビニング処理が知られている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２０１９－５６３４号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、一般的に、電気信号のＳ／Ｎと解像度とはトレードオフの関係にある。すなわち、ビニング処理が実行されると実質的な画素の数が減少するため、イメージセンサの解像度が低下する問題があった。
【0007】
本発明は、上記問題に鑑みてなされたものであり、ビニング処理によって低下した画像の解像度を復元し、高感度および高解像度を有する画像信号を出力することができる撮像システムを提供することを課題の一つとする。
【課題を解決するための手段】
【0008】
本発明の一実施形態に係る撮像システムは、連続する第１乃至第ｎのフレーム（ｎは２以上の整数）において、第１の方向または第２の方向に配列された複数の画素をビニングし、第１乃至第ｎのビニング信号を生成するビニング処理部と、第１乃至第ｎのビニング信号を合成し、解像度が復元された画像信号を生成する解像度復元処理と、を含み、ビニングされる複数の画素の組み合わせは、第１乃至第ｎのフレームごとに異なる。
【0009】
第１乃至第ｎのフレームのいずれか１つのフレームにおいて、ビニングされる複数の画素は、第１の方向で隣接する２個の画素または第２の方向で隣接する２個の画素を含んでいてもよい。
【0010】
第１乃至第ｎのフレームのいずれか１つのフレームにおいて、ビニングされる複数の画素は、互いに隣接する４個の画素であってもよい。
【0011】
第１乃至第ｎフレームの少なくとも２つのフレームの各々において、ビニングされる複数の画素は、第１の方向で隣接する２個の画素および第２の方向で隣接する２個の画素のうちの一方を含む４個の画素であってもよい。また、４個の画素は、互いに隣接し、少なくとも２つのフレームの一方においてビニングされる４個の画素の位置は、少なくとも２つのフレームの他方においてビニングされる４個の画素の位置に対して、第１の方向または第２の方向にシフトしていてもよい。
【0012】
第１乃至第ｎフレームの少なくとも１つのフレームにおいて、ビニングされる複数の画素は、第１の方向で連続する４個の画素であってもよい。また、第１乃至第ｎフレームの少なくとも１つのフレームにおいて、ビニングされる複数の画素は、第２の方向で連続する４個の画素であってもよい。
【0013】
第１乃至第ｎフレームの少なくとも１つのフレームにおいて、ビニングされる複数の画素は、第１の方向で隣接する２個の画素であってもよい。また、第１乃至第ｎフレームの少なくとも１つのフレームにおいて、ビニングされる複数の画素は、第２の方向で隣接する２個の画素であってもよい。
【発明の効果】
【0014】
本発明の一実施形態に係る撮像システムによれば、フレームレートまたは露光時間を変更することなく、ビニング処理によって低下した画像の解像度を復元し、高感度および高解像度を有する画像信号を出力し、高感度および高解像度を有する画像を表示することができる。
【図面の簡単な説明】
【0015】
【図1】本発明の一実施形態に係る撮像システムの構成を示すブロック図である。
【図2】本発明の一実施形態に係る撮像システムの画素部の画素配列を示す模式図である。
【図3】本発明の一実施形態（第１実施形態）に係る撮像システムにおいて、第１のフレームで実行される第１のビニングパターンのビニング処理を説明する模式図である。
【図4】本発明の一実施形態（第１実施形態）に係る撮像システムにおいて、第２のフレームで実行される第２のビニングパターンのビニング処理を説明する模式図である。
【図5】本発明の一実施形態（第１実施形態）に係る撮像システムにおいて、第３のフレームで実行される第３のビニングパターンのビニング処理を説明する模式図である。
【図6A】本発明の一実施形態（第１実施形態）に係る撮像システムにおいて、解像度の復元処理を説明する模式図である。
【図6B】本発明の一実施形態（第１実施形態）に係る撮像システムにおいて、解像度の復元処理を説明する模式図である。
【図6C】本発明の一実施形態（第１実施形態）に係る撮像システムにおいて、解像度の復元処理を説明する模式図である。
【図6D】本発明の一実施形態（第１実施形態）に係る撮像システムにおいて、解像度の復元処理を説明する模式図である。
【図7】本発明の一実施形態（第２実施形態）に係る撮像システムにおいて、第１のフレームで実行される第１のビニングパターンのビニング処理を説明する模式図である。
【図8】本発明の一実施形態（第２実施形態）に係る撮像システムにおいて、第２のフレームで実行される第２のビニングパターンのビニング処理を説明する模式図である。
【図9】本発明の一実施形態（第２実施形態）に係る撮像システムにおいて、第１のビニング信号を基に第２のビニング信号を合成する解像度の復元処理を説明する模式図である。
【図10】本発明の一実施形態（第３実施形態）に係る撮像システムにおいて、解像度の復元処理を説明する模式図である。
【図11】本発明の一実施形態（第４実施形態）に係る撮像システムにおいて、第１のフレームで実行される第１のビニングパターンのビニング処理を説明する模式図である。
【図12】本発明の一実施形態（第４実施形態）に係る撮像システムにおいて、第２のフレームで実行される第２のビニングパターンのビニング処理を説明する模式図である。
【図13】本発明の一実施形態（第４実施形態）に係る撮像システムにおいて、第３のフレームで実行される第３のビニングパターンのビニング処理を説明する模式図である。
【図14】本発明の一実施形態（第４実施形態）に係る撮像システムにおいて、第４のフレームで実行される第４のビニングパターンのビニング処理を説明する模式図である。
【図15】本発明の一実施形態（第４実施形態）に係る撮像システムにおいて、解像度の復元処理を説明する模式図である。
【図16】本発明の一実施形態（第５実施形態）に係る撮像システムにおいて、第１のフレームで実行される第１のビニングパターンのビニング処理を説明する模式図である。
【図17】本発明の一実施形態（第５実施形態）に係る撮像システムにおいて、第２のフレームで実行される第２のビニングパターンのビニング処理を説明する模式図である。
【図18】本発明の一実施形態（第５実施形態）に係る撮像システムにおいて、第３のフレームで実行される第３のビニングパターンのビニング処理を説明する模式図である。
【図19A】本発明の一実施形態に係る撮像システムにおいて、解像度の復元処理を説明する模式図である。
【図19B】本発明の一実施形態に係る撮像システムにおいて、解像度の復元処理を説明する模式図である。
【図20】本発明の一実施形態（第６実施形態）に係る撮像システムにおいて、第１のフレームで実行される第１のビニングパターンのビニング処理を説明する模式図である。
【図21】本発明の一実施形態（第６実施形態）に係る撮像システムにおいて、第２のフレームで実行される第２のビニングパターンのビニング処理を説明する模式図である。
【図22】本発明の一実施形態（第６実施形態）に係る撮像システムにおいて、第３のフレームで実行される第３のビニングパターンのビニング処理を説明する模式図である。
【図23A】本発明の一実施形態（第６実施形態）に係る撮像システムにおいて、解像度の復元処理を説明する模式図である。
【図23B】本発明の一実施形態（第６実施形態）に係る撮像システムにおいて、解像度の復元処理を説明する模式図である。
【図24】本発明の一実施形態（第７実施形態）に係る撮像システムにおいて、第１のフレームで実行される第１のビニングパターンのビニング処理を説明する模式図である。
【図25】本発明の一実施形態（第７実施形態）に係る撮像システムにおいて、第２のフレームで実行される第２のビニングパターンのビニング処理を説明する模式図である。
【図26】本発明の一実施形態（第７実施形態）に係る撮像システムにおいて、第１のビニング信号を基に第２のビニング信号を合成する解像度の復元処理を説明する模式図である。
【図27】本発明の一実施形態（第７実施形態）に係る撮像システムにおいて、第２のビニング信号を基に第１のビニング信号を合成する解像度の復元処理を説明する模式図である。
【発明を実施するための形態】
【0016】
以下に、本発明の各実施形態について、図面を参照しつつ説明する。なお、各実施形態の開示はあくまで一例にすぎない。すなわち、当業者が、発明の主旨を保ちつつ適宜変更することで容易に想到し得る構成は、当然に本発明の範囲に含まれる。図面は、説明をより明確にするため、実際の態様に比べ、各部の幅、厚さ、または形状などについて模式的に表される場合がある。しかし、これらはあくまで一例であって、本発明の解釈を限定するものではない。また、本明細書および本図面において、既出の図に関して前述したものと同様の構成には、詳細な説明を適宜省略することがある。
【0017】
本明細書において、「αはＡ、Ｂ、またはＣを含む」との表現は、特に明示が無い限り、αがＡ～Ｃの複数の組み合わせを含む場合を排除しない。また、「αはＡ、Ｂ、またはＣを含む」または「αはＡ、Ｂ、およびＣを含む」との表現は、特に明示がない限り、αが他の構成を含む場合を排除しない。
【0018】
本明細書において、各構成に付記される「第１」、「第２」、または「第３」などの文字は、各構成を区別するために用いられる便宜的な標識であり、特段の説明がない限り、それ以上の意味を有さない。
【0019】
本明細書において、「互いに隣接する」との表現は、行方向および列方向において隣接することを表すだけでなく、行方向、列方向、および対角方向において隣接することを表す場合がある。
【0020】
本明細書において、ビニングされる画素は同色であり、「隣接する画素をビニングする」または「連続する画素をビニングする」との表現は、間に異色の画素を介して隣接する、または連続する同色の画素がビニングされることを表す場合がある。
【0021】
本明細書および図面において、同一、あるいは類似する複数の構成を総じて表記する際には同一の符号を用いる。また、１つの構成のうちの複数の部分をそれぞれ区別して表記する際には、同一の符号を用い、さらにハイフンと自然数を用いる場合がある。
【0022】
なお、以下の各実施形態は、技術的な矛盾を生じない限り、互いに組み合わせることができる。
【0023】
＜第１実施形態＞
図１～図６Ｄを参照して、本発明の一実施形態に係る撮像システム１００の構成について説明する。
［１．撮像システム１００］
図１は、本発明の一実施形態に係る撮像システム１００の構成を示すブロック図である。図１に示すように、撮像システム１００は、画素部１１０、ビニング処理部１２０、解像度復元処理部１３０、第１の記憶部１４０、センサ部１５０、画像信号処理部１６０、第２の記憶部１７０、および表示部１８０を含む。
図１～図６Ｄを参照して、本発明の一実施形態に係る撮像システム１００の構成について説明する。
［１．撮像システム１００］
図１は、本発明の一実施形態に係る撮像システム１００の構成を示すブロック図である。図１に示すように、撮像システム１００は、画素部１１０、ビニング処理部１２０、解像度復元処理部１３０、第１の記憶部１４０、センサ部１５０、画像信号処理部１６０、第２の記憶部１７０、および表示部１８０を含む。
【0024】
画素部１１０は、被写体が発する光を電気信号に変換することができる。すなわち、画素部１１０は、被写体の情報を電気信号として取得することができる（以下、画素部１１０が取得した電気信号を「画素信号」とする。）。換言すると、画素部１１０は、画素信号を生成し、出力することができる。画素部１１０は、複数の画素および複数の画素を制御する制御回路を含む。複数の画素の各々には、レンズ、フォトダイオード、トランジスタ、またはカラーフィルタなどを含む受光素子が設けられている。受光素子は、光によって起電力が発生する光電変換素子であってもよく、または光によって電気伝導度が変化する光電変換素子であってもよい。
【0025】
ここで、図２を参照して、画素部１１０に含まれる複数の画素の配列（以下、「画素配列」とする。）について説明する。図２は、本発明の一実施形態に係る撮像システム１００の画素部１１０の画素配列を示す模式図である。図２に示すように、画素部１１０は、第１の緑色画素（Ｇ１）、列方向において第１の緑色画素（Ｇ１）に隣接する青色画素（Ｂ）、行方向において第１の緑色画素（Ｇ１）に隣接する赤色画素（Ｒ）、および列方向と行方向との間の対角方向において第１の緑色画素（Ｇ１）に隣接する第２の緑色画素（Ｇ２）を含む。また、第１の緑色画素（Ｇ１）、青色画素（Ｂ）、赤色画素（Ｒ）、および第２の緑色画素（Ｇ２）は、列方向および行方向において等間隔で配置されている。ここで、隣接する１つの第１の緑色画素（Ｇ１）、１つの青色画素（Ｂ）、１つの赤色画素（Ｒ）、および１つの第２の緑色画素（Ｇ２）を画素ユニット２００とすると、画素ユニット２００は、マトリクス状に配置されている。図２に示す画素配列は、いわゆるベイヤー配列である。ベイヤー配列では、人の目の視感度の高い緑色画素が、青色画素および赤色画素よりも多く配置される。本明細書では、便宜上、第１の緑色画素（Ｇ１）と第２の緑色画素（Ｇ２）とを区別して説明するが、同一の光学特性を有する緑色画素であってもよい。
【0026】
ビニング処理部１２０は、画素信号を受信し、画素信号に対してビニング処理を実行することができる。すなわち、ビニング処理部１２０は、画素信号に含まれるいくつかの同色の画素のアナログ画素値を加算または加算平均し、１つの画素の画素値として出力することができる。換言すると、ビニング処理部１２０は、画素信号に対してビニング処理を実行し、画素信号からビニング信号を生成し、出力することができる。ここで、アナログ画素値とは、画素における画像情報が反映された値であって、受光素子によって取得された光の強度に対応する値である。また、ビニング信号は、Ａ／Ｄ変換されたデジタル信号であってもよい。なお、ビニング処理の詳細は後述する。
【0027】
解像度復元処理部１３０は、ビニング信号を受信し、ビニング信号を用いて解像度の復元処理を実行することができる。換言すると、解像度復元処理部１３０は、ビニング信号を用いて、解像度が復元された画像信号を生成し、画像信号処理部１６０に画像信号を出力することができる。ビニング処理部１２０によってビニング処理が実行されると画像の解像度が低下する。しかしながら、撮像システム１００では、解像度復元処理部１３０によって、低下した画像の解像度を復元することができる。したがって、撮像システム１００は、高解像度を有する画像信号を出力することができる。
【0028】
第１の記憶部１４０は、解像度復元処理部１３０が実行する解像度の復元処理に関連するデータを格納することができる。例えば、第１の記憶部１４０は、各フレームにおいて、ビニング処理部１２０が出力したビニング信号を格納することができる。解像度復元処理部１３０は、第１の記憶部１４０から複数のフレームにおけるビニング信号を読み出し、解像度の復元処理を実行することができる。第１の記憶部１４０として、例えば、メモリなどを用いることができる。
【0029】
解像度の復元処理の詳細は後述するが、解像度の復元処理は、例えば、情報処理装置（コンピュータ）によって実行することができる。情報処理装置は、例えば、中央演算処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの演算部およびレジスタまたはメモリなどの記憶部を含む。解像度の復元処理は、記憶部に予め格納されたプログラムを演算部で読み込むことによって実行することができる。
【0030】
センサ部１５０は、画素部１１０の動き（例えば、画素部１１０のブレ量など）を検出し、解像度復元処理部１３０にセンサ検出信号を出力することができる。解像度復元処理部１３０は、センサ検出信号に基づいて、ビニング信号を補正（例えば、ブレ補正など）し、解像度の復元処理を実行することができる。センサ部１５０に含まれるセンサの数は、１つであってもよく、複数であってもよい。センサ部１５０に含まれるセンサとして、例えば、加速度センサまたは角速度センサなどを用いることができる。
【0031】
撮像システム１００にセンサ部１５０が含まれない場合には、解像度復元処理部１３０は、ビニング信号から画素部１１０のブレ量を算出してもよい。解像度復元処理部１３０は、算出されたブレ量を基に、ビニング信号を補正することができる。
【0032】
画像信号処理部１６０は、画像信号を受信し、画像信号に対して、色補間（デモザイク）、ノイズ低減補正、エッジ強調、またはガンマ補正など各種信号処理を実行することができる。また、画像信号処理部１６０は、表示画像信号を生成し、表示部１８０に表示画像信号を出力することができる。画像信号処理部１６０として、例えば、イメージシグナルプロセッサなどを用いることができる。
【0033】
第２の記憶部１７０は、画像信号処理部１６０が実行する各種信号処理に関連するデータを格納することができる。第２の記憶部１７０として、例えば、メモリなどを用いることができる。第２の記憶部１７０は、第１の記憶部１４０が設けられたメモリとは異なるメモリに設けられていてもよく、第１の記憶部１４０が設けられたメモリの一部の領域に設けられていてもよい。
【0034】
表示部１８０は、表示画像信号を受信し、表示画像信号に基づく画像を表示することができる。表示部１８０として、例えば、液晶表示装置またはＯＬＥＤ表示装置などを用いることができる。
【0035】
ビニング処理部１２０はＡ／Ｄ変換される前のアナログ信号に対してビニング処理を実行するため、ビニング処理部１２０は、画素部１１０とともにイメージセンサに含まれていてもよい。一方、解像度復元処理部１３０は、ビニング処理部１２０が出力したビニング信号に対して解像度の復元処理を実行することができればよい。そのため、解像度復元処理部１３０は、イメージセンサおよびイメージシグナルプロセッサとは別に設けられていてもよく、イメージセンサまたはイメージシグナルプロセッサのいずれか一方に含まれていてもよい。
【0036】
［２．ビニング処理］
撮像システム１００では、フレームごとに異なるビニングパターンのビニング処理が実行される。例えば、３つの異なるビニングパターンのビニング処理を実行する場合、連続する第１のフレーム、第２のフレーム、および第３のフレームでは、それぞれ、第１のビニングパターン、第２のビニングパターン、および第３のビニングパターンのビニング処理が実行される。第４のフレーム以降では、このビニング処理が繰り返される。そのため、撮像システム１００では、複数の異なるビニングパターンのビニング処理に対応した複数のビニング信号が生成される。以下では、一例として、３つの異なるビニングパターン（第１のビニングパターン～第３のビニングパターン）のビニング処理について説明する。
撮像システム１００では、フレームごとに異なるビニングパターンのビニング処理が実行される。例えば、３つの異なるビニングパターンのビニング処理を実行する場合、連続する第１のフレーム、第２のフレーム、および第３のフレームでは、それぞれ、第１のビニングパターン、第２のビニングパターン、および第３のビニングパターンのビニング処理が実行される。第４のフレーム以降では、このビニング処理が繰り返される。そのため、撮像システム１００では、複数の異なるビニングパターンのビニング処理に対応した複数のビニング信号が生成される。以下では、一例として、３つの異なるビニングパターン（第１のビニングパターン～第３のビニングパターン）のビニング処理について説明する。
【0037】
図３は、本発明の一実施形態に係る撮像システム１００において、第１のフレームで実行される第１のビニングパターンのビニング処理を説明する模式図である。
【0038】
図３には、各々がベイヤー配列された４×４個の画素ユニット２００を含む画素ユニット群５００が示されている。画素ユニット群５００は、画素部１１０の画素配列の一部である。第１のビニングパターンは、画素ユニット群５００の中の４個の被ビニング領域５１０（第１の被ビニング領域５１０－１～第４の被ビニング領域５１０－４）に対して実行されるビニング処理である。４個の被ビニング領域５１０の各々は、互いに隣接する４個（２×２個）の画素ユニット２００を含む。また、４個の被ビニング領域５１０は、互いに隣接して配置されている。第１のビニングパターンのビニング処理では、被ビニング領域５１０内の４個の画素ユニット２００に含まれる同色の４個の画素がビニングされる。換言すれば、第１のビニングパターンのビニング処理では、被ビニング領域５１０内の４個の画素ユニット２００が、ビニング後画素ユニット６１０（第１のビニング後画素ユニット６１０－１～第４のビニング後画素ユニット６１０－４）に変換される。
【0039】
したがって、第１のフレームにおいて第１のビニングパターンのビニング処理が実行されると、４個（２×２個）のビニング後画素ユニット６１０（第１のビニング後画素ユニット６１０－１～第４のビニング後画素ユニット６１０－４）を含む第１のビニング信号６００－１が生成される。
【0040】
なお、第１のビニングパターンのビニング処理では、２×２個の画素がビニングされるため、第１のビニングパターンは２×２ビニングパターンということもできる。
【0041】
図４は、本発明の一実施形態に係る撮像システム１００において、第２のフレームで実行される第２のビニングパターンのビニング処理を説明する模式図である。
【0042】
図４には、図３に示された４×４個の画素ユニット２００を含む画素ユニット群５００が示されている。第２のビニングパターンは、画素ユニット群５００の中の被ビニング領域５２０（第１の被ビニング領域５２０－１～第４の被ビニング領域５２０－４）に対して実行されるビニング処理である。４個の被ビニング領域５２０の各々は、行方向において連続する４個（４×１個）の画素ユニット２００を含む。また、４個の被ビニング領域５２０は、列方向において連続して配置されている。第２のビニングパターンのビニング処理では、被ビニング領域５２０内の４個の画素ユニット２００に含まれる同色の４個の画素がビニングされる。換言すれば、第２のビニングパターンのビニング処理では、被ビニング領域５２０内の４個の画素ユニット２００が、ビニング後画素ユニット６２０（第１のビニング後画素ユニット６２０－１～第４のビニング後画素ユニット６２０－４）に変換される。
【0043】
したがって、第２のフレームにおいて第２のビニングパターンのビニング処理が実行されると、４個（１×４個）のビニング後画素ユニット６２０（第１のビニング後画素ユニット６２０－１～第４のビニング後画素ユニット６２０－４）を含む第２のビニング信号６００－２が生成される。
【0044】
なお、第２のビニングパターンのビニング処理では、４×１個の画素がビニングされるため、第２のビニングパターンは４×１ビニングパターンということもできる。
【0045】
図５は、本発明の一実施形態に係る撮像システム１００において、第３のフレームで実行される第３のビニングパターンのビニング処理を説明する模式図である。
【0046】
図５には、図３に示された４×４個の画素ユニット２００を含む画素ユニット群５００が示されている。第３のビニングパターンは、画素ユニット群５００の中の被ビニング領域５３０（第１の被ビニング領域５３０－１～第４の被ビニング領域５３０－４）に対して実行されるビニング処理である。４個の被ビニング領域５３０の各々は、列方向において連続する４個（１×４個）の画素ユニット２００を含む。また、４個の被ビニング領域５３０は、行方向において連続して配置されている。第３のビニングパターンのビニング処理では、被ビニング領域５３０内の４個の画素ユニット２００に含まれる同色の４個の画素がビニングされる。換言すれば、第３のビニングパターンのビニング処理では、被ビニング領域５３０内の４個の画素ユニット２００が、ビニング後画素ユニット６３０（第１のビニング後画素ユニット６３０－１～第４のビニング後画素ユニット６３０－４）に変換される。
【0047】
したがって、第３のフレームにおいて第３のビニングパターンのビニング処理が実行されると、４個（４×１個）のビニング後画素ユニット６３０（第１のビニング後画素ユニット６３０－１～第４のビニング後画素ユニット６３０－４）を含む第３のビニング信号６００－３が生成される。
【0048】
なお、第３のビニングパターンのビニング処理では、１×４個の画素がビニングされるため、第３のビニングパターンは１×４ビニングパターンということもできる。
【0049】
第１のビニングパターン～第３のビニングパターンのビニング処理の順序は特に限定されない。すなわち、本実施形態に係る撮像システム１００のビニング処理では、連続する３つのフレームにおいて、第１のビニング信号６００－１～第３のビニング信号６００－３が生成されればよい。
【0050】
第１のフレーム～第３のフレームでは、同じ画素群５００に含まれる画素に対するビニングであっても、被ビニング領域が異なる。そのため、ビニングされる複数の画素の組み合わせは、第１のフレーム～第３のフレームごとに異なる。
【0051】
［３．解像度の復元処理］
上述のビニング処理によって画像の解像度は低下する。しかしながら、撮像システム１００では、複数の異なるビニング信号を合成して画像の解像度を復元することができる。以下では、図６Ａ～図６Ｄを参照して、第１のビニング信号６００－１～第３のビニング信号６００－３を合成する解像度の復元処理について説明する。
上述のビニング処理によって画像の解像度は低下する。しかしながら、撮像システム１００では、複数の異なるビニング信号を合成して画像の解像度を復元することができる。以下では、図６Ａ～図６Ｄを参照して、第１のビニング信号６００－１～第３のビニング信号６００－３を合成する解像度の復元処理について説明する。
【0052】
本実施形態では、第１のビニング信号６００－１の第１のビニング後画素ユニット６１０－１～第４のビニング後画素ユニット６１０－４に含まれる第１の緑色画素（Ｇ１）の画素値を、それぞれ、Ｋ１～Ｋ４とする。同様に、第２のビニング信号６００－２の第１のビニング後画素ユニット６２０－１～第４のビニング後画素ユニット６２０－４に含まれる第１の緑色画素（Ｇ１）の画素値を、それぞれ、Ｌ１～Ｌ４とする。同様に、第３のビニング信号６００－３の第１のビニング後画素ユニット６３０－１～第４のビニング後画素ユニット６３０－４に含まれる第１の緑色画素（Ｇ１）の画素値を、それぞれ、Ｌ１～Ｌ４とする。また、本実施形態では、ビニング後画素ユニット６１０～６３０に含まれる第１の緑色画素（Ｇ１）に対する解像度の復元処理を説明するが、ビニング後画素ユニット６１０～６３０に含まれる青色画素（Ｂ）、赤色画素（Ｒ）、および第２の緑色画素（Ｇ２）の各々に対しても同様に解像度の復元処理を適用することができる。
【0053】
【0054】
始めに、図６Ａに示すように、第１のビニング信号６００－１に含まれるビニング後画素ユニット６１０の面積を、列方向において２倍に拡張する変換を実行する。すなわち、第１のビニング後画素ユニット６１０－１～第４のビニング後画素ユニット６１０－４は、それぞれ、第１の拡張ビニング後画素ユニット６１１－１～第４の拡張ビニング後画素ユニット６１１－４に変換される。なお、以下では、第１の拡張ビニング後画素ユニット６１１－１～第４の拡張ビニング後画素ユニット６１１－４を特に区別しない場合は、拡張ビニング後画素ユニット６１１として説明する場合がある。
【0055】
拡張ビニング後画素ユニット６１１の面積は、ビニング後画素ユニット６１０の面積の２倍であるため、拡張ビニング後画素ユニット６１１に含まれる第１の緑色画素（Ｇ１）の画素値は、ビニング後画素ユニット６１０に含まれる第１の緑色画素（Ｇ１）の画素値の２倍となる。したがって、第１の拡張ビニング後画素ユニット６１１－１～第４の拡張ビニング後画素ユニット６１１－４に含まれる第１の緑色画素（Ｇ１）の画素値は、それぞれ、２Ｋ１、２Ｋ２、２Ｋ３、および２Ｋ４となる。
【0056】
なお、上述の説明では、ビニング後画素ユニット６１０の面積を２倍に拡張する変換であるため、画素値の変換係数を２としたが、変換係数はこれに限られない。変換係数は、面積以外の重み付けが考慮されてもよい。
【0057】
次に、図６Ｂに示すように、拡張ビニング後画素ユニット６１１を、列方向において２つに分割する変換を実行する。すなわち、第１の拡張ビニング後画素ユニット６１１－１は、第１の合成ビニング後画素ユニット６２１－１および第２の合成ビニング後画素ユニット６２１－２に分割される。同様に、第２の拡張ビニング後画素ユニット６１１－２、第３の拡張ビニング後画素ユニット６１１－３、および第４の拡張ビニング後画素ユニット６１１－４は、それぞれ、第３の合成ビニング後画素ユニット６２１－３および第４の合成ビニング後画素ユニット６２１－４、第５の合成ビニング後画素ユニット６２１－５および第６の合成ビニング後画素ユニット６２１－６、ならびに第７の合成ビニング後画素ユニット６２１－７および第８の合成ビニング後画素ユニット６２１－８に分割される。なお、以下では、第１の合成ビニング後画素ユニット６２１－１～第８の合成ビニング後画素ユニット６２１－８を特に区別しない場合は、合成ビニング後画素ユニット６２１として説明する場合がある。
【0058】
合成ビニング後画素ユニット６２１に含まれる第１の緑色画素（Ｇ１）の画素値は、第２のビニング信号６００－２の２つのビニング後画素ユニット６２０に含まれる第１の緑色画素（Ｇ１）の画素値の比率が考慮される。具体的には、第１の合成ビニング後画素ユニット６２１－１および第２の合成ビニング後画素ユニット６２１－２の各々に含まれる第１の緑色画素（Ｇ１）の画素値は、第２のビニング信号６００－２の第１のビニング後画素ユニット６２０－１および第２のビニング後画素ユニット６２０－２に含まれる第１の緑色画素（Ｇ１）の画素値の比率が考慮される。同様に、第３の合成ビニング後画素ユニット６２１－３および第４の合成ビニング後画素ユニット６２１－４の各々に含まれる第１の緑色画素（Ｇ１）は、第２のビニング信号６００－２の第１のビニング後画素ユニット６２０－１および第２のビニング後画素ユニット６２０－２に含まれる第１の緑色画素（Ｇ１）の画素値の比率が考慮される。また、同様に、第５の合成ビニング後画素ユニット６２１－５および第６の合成ビニング後画素ユニット６２１－６の各々に含まれる第１の緑色画素（Ｇ１）の画素値は、第２のビニング信号６００－２の第３のビニング後画素ユニット６２０－３および第４のビニング後画素ユニット６２０－４に含まれる第１の緑色画素（Ｇ１）の画素値の比率が考慮される。また、同様に、第７の合成ビニング後画素ユニット６２１－７および第８の合成ビニング後画素ユニット６２１－８の各々に含まれる第１の緑色画素（Ｇ１）の画素値は、第２のビニング信号６００－２の第３のビニング後画素ユニット６２０－３および第４のビニング後画素ユニット６２０－４に含まれる第１の緑色画素（Ｇ１）の画素値との比率が考慮される。したがって、第１の合成ビニング後画素ユニット６２１－１～第８の合成ビニング後画素ユニット６２１－８の第１の緑色画素（Ｇ１）の画素値であるＫ１’、Ｋ１’’、Ｋ２’、Ｋ２’’、Ｋ３’、Ｋ３’’、Ｋ４’、およびＫ４’’は、表１に示す式で算出することができる。
【0059】
【表1】
【0060】
次に、図６Ｃに示すように、合成ビニング後画素ユニット６２１の面積を、行方向において２倍に拡張する変換を実行する。すなわち、第１の合成ビニング後画素ユニット６２１－１～第８の合成ビニング後画素ユニット６２１－８は、それぞれ、第１の拡張ビニング後画素ユニット６２２－１～第８の拡張ビニング後画素ユニット６２２－８に変換される。なお、以下では、第１の拡張ビニング後画素ユニット６２２－１～第８の拡張ビニング後画素ユニット６２２－８を特に区別しない場合は、拡張ビニング後画素ユニット６２２として説明する場合がある。
【0061】
拡張ビニング後画素ユニット６２２の面積は、合成ビニング後画素ユニット６２１の面積の２倍であるため、拡張ビニング後画素ユニット６２２に含まれる第１の緑色画素（Ｇ１）の画素値は、合成ビニング後画素ユニット６２１に含まれる第１の緑色画素（Ｇ１）の画素値の２倍となる。したがって、第１の拡張ビニング後画素ユニット６２２－１～第８の拡張ビニング後画素ユニット６２２－８に含まれる第１の緑色画素（Ｇ１）の画素値は、それぞれ、２Ｋ１’、２Ｋ１’’、２Ｋ２’、２Ｋ２’’、２Ｋ３’、２Ｋ３’’、２Ｋ４’、および２Ｋ４’’となる。
【0062】
次に、図６Ｄに示すように、拡張ビニング後画素ユニット６２２を、行方向において２つに分割する変換を実行する。その結果、第１の拡張ビニング後画素ユニット６２２－１～第８の拡張ビニング後画素ユニット６２２－８は、第１の復元画素ユニット７１０－１～第１６の復元画素ユニット７１０－１６に変換される。なお、以下では、第１の復元画素ユニット７１０－１～第１６の復元画素ユニット７１０－１６を特に区別しない場合は、復元画素ユニット７１０として説明する場合がある。
【0063】
復元画素ユニット７１０に含まれる第１の緑色画素（Ｇ１）の画素値は、第３のビニング信号６００－３の２つのビニング後画素ユニット６３０に含まれる第１の緑色画素（Ｇ１）の画素値の比率が考慮される。具体的には、復元画素ユニット７１０に含まれる第１の緑色画素（Ｇ１）の画素値は、第３のビニング信号６００－３の第１のビニング後画素ユニット６３０－１および第２のビニング後画素ユニット６３０－２に含まれる第１の緑色画素（Ｇ１）の画素値の比率、または第３のビニング信号６００－３の第３のビニング後画素ユニット６３０－３および第４のビニング後画素ユニット６３０－４に含まれる第１の緑色画素（Ｇ１）の画素値の比率が考慮される。したがって、第１の復元画素ユニット７１０－１～第１６の復元画素ユニット７１０－１６に含まれる第１の緑色画素（Ｇ１）の画素値であるＰ１～Ｐ１６は、表２に示す式で算出することができる。
【0064】
【表2】
【0065】
図６Ｄに示す４×４個の復元画素ユニット７１０は、ビニング処理前の４×４個の画素ユニット２００を含む画素ユニット群５００に対応するものである。そのため、上述した解像度の復元処理を実行することによって、ビニング処理によって低下した解像度を復元することができる。また、解像度が復元された復元画素ユニット７１０のノイズ量は、ランダムノイズの性質により、ビニングされていない画素ユニット２００のノイズ量よりも小さい。したがって、解像度の復元処理によって生成された復元画素ユニット７１０を含む画像信号７００は、Ｓ／Ｎが向上し、画像の解像度の低下が軽減される。
【0066】
第４のフレーム以降も、順次、第１のビニング信号６００－１～第３のビニング信号６００－３が生成される。すなわち、連続する３つのフレームには、第１のビニング信号６００－１～第３のビニング信号６００－３が含まれる。したがって、各フレームに対応して、順次、画像信号７００が生成されるため、フレームレートは変わらない。
【0067】
上述の解像度の復元処理では、第１のビニング信号６００－１を基に、第２のビニング信号６００－２および第３のビニング信号６００－３を合成したが、合成する順序はこれに限られない。第２のビニング信号６００－２を基に、第３のビニング信号６００－３および第１のビニング信号６００－１を合成してもよく、第３のビニング信号６００－３を基に、第１のビニング信号６００－１および第２のビニング信号６００－２を合成してもよい。
【0068】
なお、上述したビニング処理および解像度の復元処理は、一例であって、これらに限られない。
【0069】
本発明の一実施形態に係る撮像システム１００は、フレームレートを変更することなく、ビニング処理によって低下した画像の解像度を復元し、高感度および高解像度を有する画像信号７００を出力することができる。
【0070】
＜第２実施形態＞
撮像システム１００において、解像度の復元処理に用いるビニング信号は３つに限られない。ここでは、図７～図９を参照して、２つの異なるビニングパターン（第１のビニングパターンおよび第２のビニングパターン）のビニング処理および解像度の復元処理について説明する。なお、以下では、第１実施形態で説明した構成と同様の構成については説明を省略する場合がある。
撮像システム１００において、解像度の復元処理に用いるビニング信号は３つに限られない。ここでは、図７～図９を参照して、２つの異なるビニングパターン（第１のビニングパターンおよび第２のビニングパターン）のビニング処理および解像度の復元処理について説明する。なお、以下では、第１実施形態で説明した構成と同様の構成については説明を省略する場合がある。
【0071】
［１．ビニング処理］
図７は、本発明の一実施形態に係る撮像システム１００において、第１のフレームで実行される第１のビニングパターンのビニング処理を説明する模式図である。
図７は、本発明の一実施形態に係る撮像システム１００において、第１のフレームで実行される第１のビニングパターンのビニング処理を説明する模式図である。
【0072】
図７には、各々がベイヤー配列された２×２個の画素ユニット２００を含む画素ユニット群５００Ａが示されている。画素ユニット群５００Ａは、画素部１１０の画素配列の一部である。第１のビニングパターンは、画素ユニット群５００Ａの中の２個の被ビニング領域５１０Ａ（第１の被ビニング領域５１０Ａ－１および第２の被ビニング領域５１０Ａ－２）に対して実行されるビニング処理である。２個の被ビニング領域５１０Ａの各々は、列方向において隣接する２個（１×２個）の画素ユニット２００を含む。また、２個の被ビニング領域５１０Ａは、行方向において隣接して配置されている。第１のビニングパターンのビニング処理では、被ビニング領域５１０Ａ内の２個の画素ユニット２００に含まれる同色の２個の画素がビニングされる。換言すれば、第１のビニングパターンのビニング処理では、被ビニング領域５１０Ａ内の２個の画素ユニット２００が、ビニング後画素ユニット６１０Ａ（第１のビニング後画素ユニット６１０Ａ－１および第２のビニング後画素ユニット６１０Ａ－２）に変換される。
【0073】
したがって、第１のフレームにおいて第１のビニングパターンのビニング処理が実行されると、２個（２×１個）のビニング後画素ユニット６１０Ａ（第１のビニング後画素ユニット６１０Ａ－１および第２のビニング後画素ユニット６１０Ａ－２）を含む第１のビニング信号６００Ａ－１が生成される。
【0074】
なお、第１のビニングパターンのビニング処理では、１×２個の画素がビニングされるため、第１のビニングパターンは、１×２ビニングパターンということもできる。
【0075】
図８は、本発明の一実施形態に係る撮像システム１００において、第２のフレームで実行される第２のビニングパターンのビニング処理を説明する模式図である。
【0076】
図８には、図７に示された２×２個の画素ユニット２００を含む画素ユニット群５００Ａが示されている。第２のビニングパターンは、画素ユニット群５００Ａの中の被ビニング領域５２０Ａ（第１の被ビニング領域５２０Ａ－１および第２の被ビニング領域５２０Ａ－２）に対して実行されるビニング処理である。２個の被ビニング領域５２０Ａの各々は、行方向において隣接する２個（２×１個）の画素ユニットを含む。また、２個の被ビニング領域５２０Ａは、列方向において隣接して配置されている。また、第２のビニングパターンのビニング処理では、被ビニング領域５２０Ａ内の２個の画素ユニット２００に含まれる同色の２個の画素がビニングされる。換言すれば、第２のビニングパターンのビニング処理では、被ビニング領域５２０Ａ内の２個の画素ユニット２００が、ビニング後画素ユニット６２０Ａ（第１のビニング後画素ユニット６２０Ａ－１および第２のビニング後画素ユニット６２０Ａ－２）に変換される。
【0077】
したがって、第２のフレームにおいて第２のビニングパターンのビニング処理が実行されると、２個（１×２個）のビニング後画素ユニット６２０Ａ（第１のビニング後画素ユニット６２０Ａ－１および第２のビニング後画素ユニット６２０Ａ－２）を含む第２のビニング信号６００Ａ－２が生成される。
【0078】
なお、第２のビニングパターンのビニング処理では、２×１個の画素がビニングされるため、第２のビニングパターンは、２×１ビニングパターンということもできる。
【0079】
第１のフレームと第２のフレームとでは、同じ画素群５００Ａに含まれる画素に対する被ビニング領域が異なる。そのため、ビニングされる複数の画素の組み合わせは、第１のフレームと第２のフレームとで異なる。
【0080】
［２．解像度の復元処理］
本実施形態では、上述のビニング処理によって生成された連続する２つのフレームに含まれる第１のビニング信号６００Ａ－１および第２のビニング信号６００Ａ－２を合成して解像度を復元する。以下では、図９を参照して、第１のビニング信号６００Ａ－１および第２のビニング信号６００Ａ－２を合成する解像度の復元処理について説明する。
本実施形態では、上述のビニング処理によって生成された連続する２つのフレームに含まれる第１のビニング信号６００Ａ－１および第２のビニング信号６００Ａ－２を合成して解像度を復元する。以下では、図９を参照して、第１のビニング信号６００Ａ－１および第２のビニング信号６００Ａ－２を合成する解像度の復元処理について説明する。
【0081】
本実施形態では、第１のビニング信号６００Ａ－１の第１のビニング後画素ユニット６１０Ａ－１および第２のビニング後画素ユニット６１０Ａ－２に含まれる第１の緑色画素（Ｇ１）の画素値を、それぞれ、Ｋ１およびＫ２とする。同様に、第２のビニング信号６００Ａ－２の第１のビニング後画素ユニット６２０Ａ－１および第２のビニング後画素ユニット６２０Ａ－２に含まれる第１の緑色画素（Ｇ１）の画素値を、それぞれ、Ｌ１およびＬ２とする。また、本実施形態では、ビニング後画素ユニット６１０Ａおよび６２０Ａに含まれる第１の緑色画素（Ｇ１）に対する解像度の復元処理を説明するが、ビニング後画素ユニット６１０Ａおよび６２０Ａに含まれる青色画素（Ｂ）、赤色画素（Ｒ）、および第２の緑色画素（Ｇ２）の各々に対しても同様に解像度の復元処理を適用することができる。
【0082】
図９は、本発明の一実施形態に係る撮像システム１００において、第１のビニング信号６００Ａ－１を基に第２のビニング信号６００Ａ－２を合成する解像度の復元処理を説明する模式図である。
【0083】
図９に示すように、第１のビニング信号６００Ａ－１を基に第２のビニング信号６００Ａ－２が合成されて、復元画素ユニット７１０Ａ（第１の復元画素ユニット７１０Ａ－１～第４の復元画素ユニット７１０Ａ－４）を含む画像信号７００Ａが生成される。
【0084】
復元画素ユニット７１０Ａは、第１のビニング信号６００Ａ－１のビニング後画素ユニット６１０Ａの面積を列方向において２倍に拡張した後、２つに分割する変換によって生成される。復元画素ユニット７１０Ａに含まれる第１の緑色画素（Ｇ１）の画素値は、第１のビニング信号６００Ａ－１のビニング後画素ユニット６１０Ａに含まれる第１の緑色画素（Ｇ１）を基に、第２のビニング信号６００Ａ－２の２つのビニング後画素ユニット６２０Ａに含まれる第１の緑色画素（Ｇ１）の画素値の比率が考慮される。したがって、第１の復元画素ユニット７１０Ａ－１～第４の復元画素ユニット７１０Ａ－４に含まれる第１の緑色画素（Ｇ１）である画素値Ｐ１～Ｐ４は、表３に示す式で算出することができる。
【0085】
【表3】
【0086】
図９に示す２×２個の復元画素ユニット７１０Ａは、ビニング処理前の２×２個の画素ユニット２００を含む画素ユニット群５００Ａに対応するものである。そのため、上述した解像度の復元処理を実行することによって、ビニング処理によって低下した解像度を復元することができる。また、解像度が復元された復元画素ユニット７１０Ａのノイズ量は、ランダムノイズの性質により、ビニングされていない画素ユニット２００のノイズ量よりも小さい。したがって、解像度の復元処理によって生成された復元画素ユニット７１０Ａを含む画像信号７００Ａは、Ｓ／Ｎが向上し、画像の解像度の低下が軽減される。
【0087】
本実施形態では、第３のフレーム以降も、順次、第１のビニング信号６００Ａ－１および第２のビニング信号６００Ａ－２が生成される。すなわち、連続する２つのフレームには、第１のビニング信号６００Ａ－１および第２のビニング信号６００Ａ－２が含まれる。そのため、各フレームに対応して、順次、画像信号７００Ａが生成されるため、フレームレートは変わらない。
【0088】
上述の解像度の復元処理では、第１のビニング信号６００Ａ－１を基に、第２のビニング信号６００Ａ－２を合成したが、合成する順序はこれに限られない。第２のビニング信号６００Ａ－２を基に、第１のビニング信号６００Ａ－１を合成してもよい。
【0089】
なお、上述したビニング処理および解像度の復元処理は、一例であって、これらに限られない。
【0090】
本発明の一実施形態に係る撮像システム１００は、フレームレートを変更することなく、ビニング処理によって低下した画像の解像度を復元し、高感度および高解像度を有する画像信号７００Ａを出力することができる。
【0091】
＜第３実施形態＞
撮像システム１００において、各フレームでビニングされる画素の数は異なっていてもよく、そのようなビニング処理によって生成されたビニング信号を用いて、解像度の復元処理を実行することもできる。すなわち、解像度の復元処理に用いる複数のビニング信号の各々に含まれるビニング後画素ユニットの数は異なっていてもよい。ここでは、図１０を参照して、ビニング後画素ユニットの数が異なる複数のビニング信号を合成する解像度の復元処理について説明する。なお、以下では、第１実施形態および第２実施形態で説明した構成と同様の構成については説明を省略する場合がある。
撮像システム１００において、各フレームでビニングされる画素の数は異なっていてもよく、そのようなビニング処理によって生成されたビニング信号を用いて、解像度の復元処理を実行することもできる。すなわち、解像度の復元処理に用いる複数のビニング信号の各々に含まれるビニング後画素ユニットの数は異なっていてもよい。ここでは、図１０を参照して、ビニング後画素ユニットの数が異なる複数のビニング信号を合成する解像度の復元処理について説明する。なお、以下では、第１実施形態および第２実施形態で説明した構成と同様の構成については説明を省略する場合がある。
【0092】
図１０は、本発明の一実施形態に係る撮像システム１００において、解像度の復元処理を説明する模式図である。図１０には、２×２個の画素ユニット２００を含む画素ユニット群に対して、第１のフレームにおいて２×２ビニングパターンのビニング処理によって生成された第１のビニング信号６００Ｂ－１、第１のフレームに続く第２のフレームにおいて２×１ビニングパターンのビニング処理によって生成された第２のビニング信号６００Ｂ－２、および第２のフレームに続く第３のフレームにおいて１×２ビニングパターンのビニング処理によって生成された第３のビニング信号６００Ｂ－３が示されている。第１のビニング信号６００Ｂ－１を生成するビニング処理は、第１実施形態の２×２ビニングパターンと同様であり、第２のビニング信号６００Ｂ－２を生成するビニング処理は、第２実施形態の２×１ビニングパターンと同様であり、第３のビニング信号６００Ｂ－３を生成するビニング処理は、第２実施形態の１×２ビニングパターンと同様であるため、ここでは説明を省略する。
【0093】
第１のビニング信号６００Ｂ－１は、１個のビニング後画素ユニット６１０Ｂを含む。第２のビニング信号６００Ｂ－２は、列方向に隣接する２個（１×２個）のビニング後画素ユニット６２０Ｂ（第１のビニング後画素ユニット６２０Ｂ－１および第２のビニング後画素ユニット６２０Ｂ－２）を含む。第３のビニング信号６００Ｂ－３は、行方向に隣接する２個（２×１個）のビニング後画素ユニット６３０Ｂ（第１のビニング後画素ユニット６３０Ｂ－１および第２のビニング後画素ユニット６３０Ｂ－２）を含む。したがって、第１のビニング信号６００Ｂ－１～第３のビニング信号６００Ｂ－３では、ビニング後画素ユニットの数が一致していない。この場合においても、第１実施形態と同様に、第１のビニング信号６００Ｂ－１のビニング後画素ユニット６１０Ｂの面積を列方向または行方向に拡張する変換を実行し、または列方向または行方向において２つに分割する変換を実行する。これにより、第１のビニング信号６００Ａ－１、第２のビニング信号６００Ａ－２、および第３のビニング信号６００Ａ－３が合成されて、復元画素ユニット７１０Ｂ（第１の復元画素ユニット７１０Ｂ－１～第４の復元画素ユニット７１０Ｂ－４）を含む画像信号７００Ｂが生成される。復元画素ユニット７１０Ｂに含まれる第１の緑色画素（Ｇ１）の画素値は、第１のビニング信号６００Ｂ－１のビニング後画素ユニット６１０Ｂに含まれる第１の緑色画素（Ｇ１）を基に、第２のビニング信号６００Ｂ－２の２つのビニング後画素ユニット６２０Ｂおよび第３のビニング信号６００Ｂ－３の２つのビニング後画素ユニット６３０Ｂに含まれる第１の緑色画素（Ｇ１）の画素値の比率が考慮される。復元画素ユニット７１０Ｂに含まれる第１の緑色画素（Ｇ１）の画素値の算出方法は、第１実施形態または第２実施形態と同様であるため、ここでは説明を省略する。
【0094】
図１０に示す２×２個の復元画素ユニット７１０Ｂは、ビニング処理前の２×２個の画素ユニット２００を含む画素ユニット群に対応するものである。そのため、上述した解像度の復元処理を実行することによって、ビニング処理によって低下した解像度を復元することができる。また、解像度が復元された復元画素ユニット７１０Ｂのノイズ量は、ランダムノイズの性質により、ビニングされていない画素ユニット２００のノイズ量よりも小さい。したがって、解像度の復元処理によって生成された復元画素ユニット７１０Ｂを含む画像信号７００Ｂは、Ｓ／Ｎが向上し、画像の解像度の低下が軽減される。
【0095】
本実施形態では、第４のフレーム以降も、順次、第１のビニング信号６００Ｂ－１～第３のビニング信号６００Ｂ－３が生成される。すなわち、連続する３つのフレームには、第１のビニング信号６００Ｂ－１～第３のビニング信号６００Ｂ－３が含まれる。そのため、各フレームに対応して、順次、画像信号７００Ｂが生成されるため、フレームレートは変わらない。
【0096】
上述の解像度の復元処理では、第１のビニング信号６００Ｂ－１を基に、第２のビニング信号６００Ｂ－２および第３のビニング信号６００Ｂ－３を合成したが、合成する順序はこれに限られない。第２のビニング信号６００Ｂ－２を基に、第３のビニング信号６００Ｂ－３および第１のビニング信号６００Ｂ－１を合成してもよく、第３のビニング信号６００Ｂ－３を基に、第１のビニング信号６００Ｂ－１および第２のビニング信号６００Ｂ－２を合成してもよい。
【0097】
なお、上述したビニング処理および解像度の復元処理は、一例であって、これらに限られない。
【0098】
本発明の一実施形態に係る撮像システム１００は、フレームレートを変更することなく、ビニング処理によって低下した画像の解像度を復元し、高感度および高解像度を有する画像信号７００Ｂを出力することができる。
【0099】
＜第４実施形態＞
撮像システム１００において、解像度の復元処理に用いるビニング信号は、各フレームごとに被ビニング領域の位置がシフトしたものであってもよい。ここでは、図１１～図１５を参照して、各フレームの被ビニング領域の位置が異なる場合におけるビニング処理および解像度の復元処理について説明する。なお、以下では、第１実施形態～第３実施形態で説明した構成と同様の構成については説明を省略する場合がある。
撮像システム１００において、解像度の復元処理に用いるビニング信号は、各フレームごとに被ビニング領域の位置がシフトしたものであってもよい。ここでは、図１１～図１５を参照して、各フレームの被ビニング領域の位置が異なる場合におけるビニング処理および解像度の復元処理について説明する。なお、以下では、第１実施形態～第３実施形態で説明した構成と同様の構成については説明を省略する場合がある。
【0100】
［１．ビニング処理］
図１１は、本発明の一実施形態に係る撮像システム１００において、第１のフレームで実行される第１のビニングパターンのビニング処理を説明する模式図である。
図１１は、本発明の一実施形態に係る撮像システム１００において、第１のフレームで実行される第１のビニングパターンのビニング処理を説明する模式図である。
【0101】
図１１には、各々がベイヤー配列された５×５個の画素ユニット２００を含む画素ユニット群５００Ｃが示されている。画素ユニット群５００Ｃは、画素部１１０の画素配列の一部である。第１のビニングパターンは、画素ユニット群５００Ｃの中の４個の被ビニング領域５１０Ｃ（第１の被ビニング領域５１０Ｃ－１～第４の被ビニング領域５１０Ｃ－４）に対して実行されるビニング処理である。４個の被ビニング領域５１０Ｃの各々は、互いに隣接する４個（２×２個）の画素ユニット２００を含む。また、４個の被ビニング領域５１０Ｃは、互いに隣接して配置されている。また、第１のビニングパターンのビニング処理では、被ビニング領域５１０Ｃ内の４個の画素ユニット２００に含まれる同色の４個の画素がビニングされる。換言すれば、第１のビニングパターンのビニング処理では、被ビニング領域５１０Ｃ内の４個の画素ユニット２００が、ビニング後画素ユニット６１０Ｃ（第１のビニング後画素ユニット６１０Ｃ－１～第４のビニング後画素ユニット６１０－４）に変換される。
【0102】
したがって、第１のフレームにおいて第１のビニングパターンのビニング処理が実行されると、４個（２×２個）のビニング後画素ユニット６１０Ｃ（第１のビニング後画素ユニット６１０Ｃ－１～第４のビニング後画素ユニット６１０Ｃ－４）を含む第１のビニング信号６００Ｃ－１が生成される。
【0103】
図１２は、本発明の一実施形態に係る撮像システム１００において、第２のフレームで実行される第２のビニングパターンのビニング処理を説明する模式図である。
【0104】
図１２には、図１１に示された５×５個の画素ユニット２００を含む画素ユニット群５００Ｃが示されている。第２のビニングパターンは、画素ユニット群５００Ｃの中の４個の被ビニング領域５２０Ｃ（第１の被ビニング領域５２０Ｃ－１～第４の被ビニング領域５２０Ｃ－４）に対して実行されるビニング処理である。４個の被ビニング領域５２０Ｃの各々は、互いに隣接する４個（２×２個）の画素ユニット２００を含む。また、４個の被ビニング領域５２０Ｃは、互いに隣接して配置されている。第２のビニングパターンのビニング処理では、被ビニング領域５２０Ｃ内の４個の画素ユニット２００に含まれる同色の４個の画素がビニングされる。換言すれば、第２のビニングパターンのビニング処理では、被ビニング領域５２０Ｃ内の４個の画素ユニット２００が、ビニング後画素ユニット６２０Ｃ（第１のビニング後画素ユニット６２０Ｃ－１～第４のビニング後画素ユニット６２０－４）に変換される。
【0105】
したがって、第２のフレームにおいて第２のビニングパターンのビニング処理が実行されると、４個（２×２個）のビニング後画素ユニット６２０Ｃ（第１のビニング後画素ユニット６２０Ｃ－１～第４のビニング後画素ユニット６２０－４）を含む第２のビニング信号６００Ｃ－２が生成される。
【0106】
第２のビニングパターンも、２×２ビニングパターンということができる。しかしながら、第２のビニングパターンが適用される被ビニング領域５２０Ｃは、第１のビニングパターンが適用される被ビニング領域５１０Ｃに対して、行方向に１つの画素ユニット２００だけシフトしているおり、被ビニング領域５２０Ｃは、被ビニング領域５１０Ｃと異なる。そのため、第２のフレームでビニングされる画素の組み合わせは、第１のフレームでビニングされる画素の組み合わせと異なる。
【0107】
図１３は、本発明の一実施形態に係る撮像システム１００において、第３のフレームで実行される第３のビニングパターンのビニング処理を説明する模式図である。
【0108】
図１３には、図１１に示された５×５個の画素ユニット２００を含む画素ユニット群５００Ｃが示されている。第３のビニングパターンは、画素ユニット群５００Ｃの中の４個の被ビニング領域５３０Ｃ（第１の被ビニング領域５３０Ｃ－１～第４の被ビニング領域５３０Ｃ－４）に対して実行されるビニング処理である。４個の被ビニング領域５３０Ｃの各々は、互いに隣接する４個（２×２個）の画素ユニット２００を含む。また、４個の被ビニング領域５３０Ｃは、互いに隣接して配置されている。第３のビニングパターンのビニング処理では、被ビニング領域５３０Ｃ内の４個の画素ユニット２００に含まれる同色の４個の画素がビニングされる。換言すれば、第３のビニングパターンのビニング処理では、被ビニング領域５３０Ｃ内の４個の画素ユニット２００が、ビニング後画素ユニット６３０Ｃ（第１のビニング後画素ユニット６３０Ｃ－１～第４のビニング後画素ユニット６３０－４）に変換される。
【0109】
したがって、第３のフレームにおいて第３のビニングパターンのビニング処理が実行されると、４個（２×２個）のビニング後画素ユニット６３０Ｃ（第１のビニング後画素ユニット６３０Ｃ－１～第４のビニング後画素ユニット６３０－４）を含む第３のビニング信号６００Ｃ－３が生成される。
【0110】
第３のビニングパターンも、２×２ビニングパターンということができる。しかしながら、第３のビニングパターンが適用される被ビニング領域５３０Ｃは、第１のビニングパターンが適用される被ビニング領域５１０Ｃに対して、列方向に１つの画素ユニット２００だけシフトしており、被ビニング領域５３０Ｃは、被ビニング領域５１０Ｃと異なる。また、被ビニング領域５３０Ｃは、第２のビニングパターンが適用される被ビニング領域５２０Ｃとも異なる。そのため、第３のフレームでビニングされる画素の組み合わせは、第１のフレームおよび第２のフレームでビニングされる画素の組み合わせと異なる。
【0111】
図１４は、本発明の一実施形態に係る撮像システム１００において、第４のフレームで実行される第４のビニングパターンのビニング処理を説明する模式図である。
【0112】
図１４には、図１１に示された５×５個の画素ユニット２００を含む画素ユニット群５００Ｃが示されている。第４のビニングパターンは、画素ユニット群５００Ｃの中の４個の被ビニング領域５４０Ｃ（第１の被ビニング領域５４０Ｃ－１～第４の被ビニング領域５４０Ｃ－４）に対して実行されるビニング処理である。４個の被ビニング領域５４０Ｃの各々は、互いに隣接する４個（２×２個）の画素ユニット２００を含む。また、４個の被ビニング領域５４０Ｃは、互いに隣接して配置されている。第４のビニングパターンのビニング処理では、被ビニング領域５４０Ｃ内の４個の画素ユニット２００に含まれる同色の４個の画素がビニングされる。換言すれば、第４のビニングパターンのビニング処理では、被ビニング領域５４０Ｃ内の４個の画素ユニット２００が、ビニング後画素ユニット６４０Ｃ（第１のビニング後画素ユニット６４０Ｃ－１～第４のビニング後画素ユニット６４０－４）に変換される。
【0113】
したがって、第４のフレームにおいて第４のビニングパターンのビニング処理が実行されると、４個（２×２個）のビニング後画素ユニット６４０Ｃ（第１のビニング後画素ユニット６４０Ｃ－１～第４のビニング後画素ユニット６４０－４）を含む第４のビニング信号６００Ｃ－４が生成される。
【0114】
第４のビニングパターンも、２×２ビニングパターンということができる。しかしながら、第４のビニングパターンが適用される被ビニング領域５４０Ｃは、第１のビニングパターンが適用される被ビニング領域５１０Ｃに対して、行方向および列方向の各々に（すなわち、対角方向に）１つの画素ユニット２００だけシフトしており、被ビニング領域５４０Ｃは、被ビニング領域５１０Ｃと異なる。また、被ビニング領域５４０Ｃは、第２のビニングパターンが適用される被ビニング領域５２０Ｃおよび第３のビニングパターンが適用される被ビニング領域５３０Ｃとも異なる。そのため、第４のフレームでビニングされる画素の組み合わせは、第１のフレーム～第３のフレームでビニングされる画素の組み合わせと異なる。
【0115】
なお、画素配列の端部では、ビニング処理される画素が存在しない場合がある。そのような場合には、存在しない画素を無視してビニング処理を実行してもよく、画素を補間してビニング処理を実行してもよい。
【0116】
［２．解像度の復元処理］
本実施形態では、上述のビニング処理によって生成された連続する４つのフレームに含まれる第１のビニング信号６００Ｃ－１～第４のビニング信号６００Ｃ－４を合成して解像度を復元する。以下では、図１５を参照して、第１のビニング信号６００Ｃ－１～第４のビニング信号６００Ｃ－４を合成する解像度の復元処理について説明する。
本実施形態では、上述のビニング処理によって生成された連続する４つのフレームに含まれる第１のビニング信号６００Ｃ－１～第４のビニング信号６００Ｃ－４を合成して解像度を復元する。以下では、図１５を参照して、第１のビニング信号６００Ｃ－１～第４のビニング信号６００Ｃ－４を合成する解像度の復元処理について説明する。
【0117】
本実施形態では、第１のビニング信号６００Ｃ－１の第１のビニング後画素ユニット６１０Ｃ－１～第４のビニング後画素ユニット６１０Ｃ－４に含まれる第１の緑色画素（Ｇ１）の画素値を、それぞれ、Ｋ１～Ｋ４とする。同様に、第２のビニング信号６００Ｃ－２の第１のビニング後画素ユニット６２０Ｃ－１～第４のビニング後画素ユニット６２０Ｃ－４に含まれる第１の緑色画素（Ｇ１）の画素値を、それぞれ、Ｌ１～Ｌ４とする。同様に、第３のビニング信号６００Ｃ－３の第１のビニング後画素ユニット６３０Ｃ－１～第４のビニング後画素ユニット６３０Ｃ－４に含まれる第１の緑色画素（Ｇ１）の画素値を、それぞれ、Ｍ１～Ｍ４とする。同様に、第４のビニング信号６００Ｃ－４の第１のビニング後画素ユニット６４０Ｃ－１～第４のビニング後画素ユニット６４０Ｃ－４に含まれる第１の緑色画素（Ｇ１）の画素値を、それぞれ、Ｎ１～Ｎ４とする。また、本実施形態では、ビニング後画素ユニット６１０Ｃ～６４０Ｃに含まれる第１の緑色画素（Ｇ１）に対する解像度の復元処理を説明するが、ビニング後画素ユニット６１０Ｃ～６４０Ｃに含まれる青色画素（Ｂ）、赤色画素（Ｒ）、および第２の緑色画素（Ｇ２）の各々に対しても同様に解像度の復元処理を適用することができる。
【0118】
図１５は、本発明の一実施形態に係る撮像システム１００において、解像度の復元処理を説明する模式図である。
【0119】
図１５に示すように、第１のビニング信号６００Ｃ－１～第４のビニング信号６００Ｃ－４が合成されて、復元画素ユニット７１０Ｃ（第１の復元画素ユニット７１０Ｃ－１～第１６の復元画素ユニット７１０Ｃ－１６）を含む画像信号７００Ｃが生成される。
【0120】
本実施形態に係る撮像システム１００のビニング処理では、第１のフレーム～第４のフレームにおける被ビニング領域５１０Ｃ～５４０Ｃの位置が異なる。そのため、解像度が復元された復元画素ユニット７１０Ｃに含まれる第１の緑色画素（Ｇ１）の画素値は、被ビニング領域５１０Ｃ～５４０Ｃの相対的な位置を考慮して算出することができる。被ビニング領域５１０Ｃの位置を基準とすると、被ビニング領域５２０Ｃの位置は行方向にシフトし、被ビニング領域５３０Ｃの位置は列方向にシフトし、および被ビニング領域５４０Ｃの位置は対角方向にシフトしている。そこで、第１のビニング信号６００Ｃ－１のビニング後画素ユニット６１０Ｃを基準として、第２のビニング信号６００Ｃ－２のビニング後画素ユニット６２０Ｃが行方向で隣接し、第３のビニング信号６００Ｃ－３のビニング後画素ユニット６３０Ｃが列方向で隣接し、および第４のビニング信号６００Ｃ－４のビニング後画素ユニット６４０Ｃが対角方向で隣接するように、ビニング後画素ユニット６１０Ｃ～６４０Ｃを配置し、これを復元画素ユニット７１０とすることができる。なお、第１の復元画素ユニット７１０Ｃ－１～第１６の復元画素ユニット７１０Ｃ－１６に含まれる第１の緑色画素（Ｇ１）の画素値は、それぞれ、図１５に示すとおりである。
【0121】
図１５に示す４×４個の復元画素ユニット７１０Ｃは、ビニング処理前の画素ユニット群５００Ｃに含まれる４×４個の画素ユニット２００に対応するものである。そのため、上述した解像度の復元処理を実行することによって、ビニング処理によって低下した解像度を復元することができる。また、解像度が復元された復元画素ユニット７１０Ｃのノイズ量は、ランダムノイズの性質により、ビニングされていない画素ユニット２００のノイズ量よりも小さい。したがって、解像度の復元処理によって生成された復元画素ユニット７１０Ｃを含む画像信号７００Ｃは、Ｓ／Ｎが向上し、画像の解像度の低下が軽減される。
【0122】
本実施形態では、第５のフレーム以降も、順次、第１のビニング信号６００Ｃ－１～第４のビニング信号６００Ｃ－４が生成される。すなわち、連続する４つのフレームには、第１のビニング信号６００Ｃ－１～第４のビニング信号６００Ｃ－４が含まれる。そのため、各フレームに対応して、順次、画像信号７００Ｃが生成されるため、フレームレートは変わらない。
【0123】
なお、上述したビニング処理および解像度の復元処理は、一例であって、これらに限られない。
【0124】
本発明の一実施形態に係る撮像システム１００は、フレームレートを変更することなく、ビニング処理によって低下した画像の解像度を復元し、高感度および高解像度を有する画像信号７００Ｃを出力することができる。
【0125】
＜第５実施形態＞
第４実施形態では、フレームごとに２×２ビニングパターンが適用される被ビニング領域をシフトしたビニング処理について説明したが、これらとは別のビニングパターン（例えば、１×４ビニングパターン）とを組み合わせて解像度の復元処理をしてもよい。ここでは、図１６～図１９Ｂを参照して、第１実施形態～第４実施形態とは異なるビニング処理および解像度の復元処理について説明する。
第４実施形態では、フレームごとに２×２ビニングパターンが適用される被ビニング領域をシフトしたビニング処理について説明したが、これらとは別のビニングパターン（例えば、１×４ビニングパターン）とを組み合わせて解像度の復元処理をしてもよい。ここでは、図１６～図１９Ｂを参照して、第１実施形態～第４実施形態とは異なるビニング処理および解像度の復元処理について説明する。
【0126】
［１．ビニング処理］
図１６は、本発明の一実施形態に係る撮像システム１００において、第１のフレームで実行される第１のビニングパターンのビニング処理を説明する模式図である。
図１６は、本発明の一実施形態に係る撮像システム１００において、第１のフレームで実行される第１のビニングパターンのビニング処理を説明する模式図である。
【0127】
図１６には、各々がベイヤー配列された４×６個の画素ユニット２００を含む画素ユニット群５００Ｄが示されている。画素ユニット群５００Ｄは、画素部１１０の画素配列の一部である。第１のビニングパターンは、画素ユニット群５００Ｄの中の４個の被ビニング領域５１０Ｄ（第１の被ビニング領域５１０Ｄ－１～第４の被ビニング領域５１０Ｄ－４）に対して実行されるビニング処理である。４個の被ビニング領域５１０Ｄの各々は、互いに隣接する４個（２×２個）の画素ユニット２００を含む。また、４個の被ビニング領域５１０Ｄは、互いに隣接して配置されている。また、第１のビニングパターンのビニング処理では、被ビニング領域５１０Ｄ内の４個の画素ユニット２００に含まれる同色の４個の画素がビニングされる。換言すれば、第１のビニングパターンのビニング処理では、被ビニング領域５１０Ｄ内の４個の画素ユニットが、ビニング後画素ユニット６１０Ｄ（第１のビニング後画素ユニット６１０Ｄ－１～第４のビニング後画素ユニット６１０Ｄ－４）に変換される。
【0128】
したがって、第１のフレームにおいて第１のビニングパターンのビニング処理が実行されると、４個（２×２個）のビニング後画素ユニット６１０Ｄ（第１のビニング後画素ユニット６１０Ｄ－１～第４のビニング後画素ユニット６１０Ｄ－４）を含む第１のビニング信号６００Ｄ－１が生成される。
【0129】
図１７は、本発明の一実施形態に係る撮像システム１００において、第２のフレームで実行される第２のビニングパターンのビニング処理を説明する模式図である。
【0130】
図１７には、図１６に示された４×６個の画素ユニット２００を含む画素ユニット群５００Ｄが示されている。第２のビニングパターンは、画素ユニット群５００Ｄの中の被ビニング領域５２０Ｄ（第１の被ビニング領域５２０Ｄ－１～第６の被ビニング領域５２０Ｄ－６）に対して実行されるビニング処理である。６個の被ビニング領域５２０Ｄの各々は、互いに隣接する４個（２×２個）の画素ユニット２００を含む。また、６個の被ビニング領域５２０Ｄは、隣接して配置されている。第２のビニングパターンのビニング処理では、被ビニング領域５２０Ｄ内の４個の画素ユニット２００に含まれる同色の４個の画素がビニングされる。換言すれば、第２のビニングパターンのビニング処理では、被ビニング領域５２０Ｄ内の６個の画素ユニット２００が、ビニング後画素ユニット６２０Ｄ（第１のビニング後画素ユニット６２０Ｄ－１～第６のビニング後画素ユニット６２０Ｄ－６）に変換される。
【0131】
したがって、第２のフレームにおいて第２のビニングパターンのビニング処理が実行されると、６個（２×３個）のビニング後画素ユニット６２０Ｄ（第１のビニング後画素ユニット６２０Ｄ－１～第６のビニング後画素ユニット６２０Ｄ－６）を含む第２のビニング信号６００Ｄ－２が生成される。
【0132】
第１のビニングパターンと第２のビニングパターンとは、画素ユニット群５００Ｄにおける被ビニング領域の位置および数が異なる。具体的には、第２のビニングパターンの被ビニング領域５２０Ｄは、第１のビニングパターンの被ビニング領域５１０Ｄに対して、列方向に１個の画素ユニット２００だけシフトしている。なお、被ビニング領域５２０Ｄは、被ビニング領域５１０Ｄの上側にシフトされていてもよく、被ビニング領域５１０Ｄの下側にシフトされていてもよい。
【0133】
図１８は、本発明の一実施形態に係る撮像システム１００において、第３のフレームで実行される第３のビニングパターンのビニング処理を説明する模式図である。
【0134】
図１８には、図１６に示された４×６個の画素ユニット２００を含む画素ユニット群５００Ｄが示されている。第３のビニングパターンは、画素ユニット群５００Ｄの中の被ビニング領域５３０Ｄ（第１の被ビニング領域５３０Ｄ－１～第４の被ビニング領域５３０Ｄ－４）に対して実行されるビニング処理である。４個の被ビニング領域５３０Ｄの各々は、列方向において連続する４個（１×４個）の画素ユニット２００を含む。また、４個の被ビニング領域５３０Ｄは、行方向において連続して配置されている。第３のビニングパターンのビニング処理では、被ビニング領域５３０Ｄ内の４個の画素ユニット２００に含まれる同色の４個の画素がビニングされる。換言すれば、第３のビニングパターンのビニング処理では、被ビニング領域５３０Ｄ内の４個の画素ユニット２００が、ビニング後画素ユニット６３０Ｄ（第１のビニング後画素ユニット６３０Ｄ－１～第４のビニング後画素ユニット６３０Ｄ－４）に変換される。
【0135】
したがって、第３のフレームにおいて第３のビニングパターンのビニング処理が実行されると、４個（４×１個）のビニング後画素ユニット６３０Ｄ（第１のビニング後画素ユニット６３０Ｄ－１～第４のビニング後画素ユニット６３０Ｄ－４）を含む第３のビニング信号６００Ｄ－３が生成される。
【0136】
第３のビニングパターンが適用される被ビニング領域５３０Ｄは、第１のビニングパターンが適用される被ビニング領域５１０Ｄおよび第２のビニングパターンが適用される被ビニング領域５２０Ｄと異なる。そのため、第３のフレームでビニングされる画素の組み合わせは、第１のフレームでビニングされる画素の組み合わせおよび第２のフレームでビニングされる画素の組み合わせのいずれとも異なる。
【0137】
［２．解像度の復元処理］
本実施形態では、上述のビニング処理によって生成された連続する３つのフレームに含まれる第１のビニング信号６００Ｄ－１～第３のビニング信号６００Ｄ－３を用いて解像度を復元する。以下では、図１９Ａおよび図１９Ｂを参照して、第１のビニング信号６００Ｄ－１～第３のビニング信号６００Ｄ－３を用いた解像度の復元処理について説明する。
本実施形態では、上述のビニング処理によって生成された連続する３つのフレームに含まれる第１のビニング信号６００Ｄ－１～第３のビニング信号６００Ｄ－３を用いて解像度を復元する。以下では、図１９Ａおよび図１９Ｂを参照して、第１のビニング信号６００Ｄ－１～第３のビニング信号６００Ｄ－３を用いた解像度の復元処理について説明する。
【0138】
図１９Ａおよび図１９Ｂは、本発明の一実施形態に係る撮像システム１００において、解像度の復元処理を説明する模式図である。なお、以下では、ビニング後画素ユニット６１０Ｄ～６３０Ｄに含まれる第１の緑色画素（Ｇ１）に対する解像度の復元処理を説明するが、ビニング後画素ユニット６１０Ｄ～６３０Ｄに含まれる青色画素（Ｂ）、赤色画素（Ｒ）、および第２の緑色画素（Ｇ２）の各々に対しても同様に解像度の復元処理を適用することができる。
【0139】
本実施形態の解像度の復元処理では、第１のビニング信号６００Ｄ－１と第２のビニング信号６００Ｄ－２とを合成し、その後、第３のビニング信号６００Ｄ－３を合成する。
【0140】
ここで、第１のビニング処理によって生成された第１のビニング後画素ユニット６１０Ｄ－１～第４のビニング後画素ユニット６１０Ｄ－４に含まれる第１の緑色画素（Ｇ１）の画素値を、それぞれ、Ｋ１～Ｋ４とする。同様に、第２のビニング処理によって生成された第１のビニング後画素ユニット６２０Ｄ－１～第６のビニング後画素ユニット６２０Ｄ－６に含まれる第１の緑色画素（Ｇ１）の画素値を、それぞれ、Ｌ１～Ｌ６とする。同様に、第３のビニング処理によって生成された第１のビニング後画素ユニット６３０Ｄ－１～第４のビニング後画素ユニット６３０－４に含まれる第１の緑色画素（Ｇ１）の画素値を、それぞれ、Ｍ１～Ｍ４とする。
【0141】
始めに、図１９Ａに示すように、第１のビニング信号６００Ｄ－１および第２のビニング信号６００Ｄ－２を用いて、第１の合成ビニング後画素ユニット６２１Ｄ－１～第８の合成ビニング後画素ユニット６２１Ｄ－８が生成される。なお、以下では、第１の合成ビニング後画素ユニット６２１Ｄ－１～第４の合成ビニング後画素ユニット６２１Ｄ－４を特に区別しない場合は、合成ビニング後画素ユニット６２１Ｄとして説明する場合がある。
【0142】
合成ビニング後画素ユニット６２１Ｄは、線形補間により生成することができる。例えば、第１の合成ビニング後画素ユニット６２１Ｄ－１は、第１のビニング信号６００Ｄ－１の第１のビニング後画素ユニット６１０Ｄ－１と第２のビニング信号６００Ｄ－２の第１のビニング後画素ユニット６２０Ｄ－１との中間であるとする。また、第２の合成ビニング後画素ユニット６２１Ｄ－２は、第１のビニング信号６００Ｄ－１の第１のビニング後画素ユニット６１０Ｄ－１と第２のビニング信号６００Ｄ－２の第３のビニング後画素ユニット６２０Ｄ－３との中間であるとする。第３の合成ビニング後画素ユニット６２１Ｄ－３～第８の合成ビニング後画素ユニット６２１Ｄ－８も同様である。したがって、合成ビニング後画素ユニット６２１Ｄに含まれる第１の緑色画素（Ｇ１）の画素値であるＫ１’、Ｋ１’’、Ｋ２’、Ｋ２’’、Ｋ３’、Ｋ３’’、Ｋ４’、およびＫ４’’は、表４に示す式で算出することができる。
【0143】
【表4】
【0144】
次に、図１９Ｂに示すように、合成ビニング後画素ユニット６２１Ｄの面積を、行方向において２倍に拡張する変換を実行し、行方向において２つに分割する変換を実行する。その結果、第１の合成ビニング後画素ユニット６２１Ｄ－１～第８の合成ビニング後画素ユニット６２１Ｄ－８は、第１の復元画素ユニット７１０－１～第１６の復元画素ユニット７１０Ｄ－１６に変換される。なお、以下では、第１の復元画素ユニット７１０Ｄ－１～第１６の復元画素ユニット７１０Ｄ－１６を特に区別しない場合は、復元画素ユニット７１０Ｄとして説明する場合がある。
【0145】
行方向における分割変換において、復元画素ユニット７１０Ｄに含まれる第１の緑色画素（Ｇ１）の画素値は、第３のビニング信号６００Ｄ－３が考慮される。具体的には、復元画素ユニット７１０Ｄに含まれる第１の緑色画素（Ｇ１）の画素値は、第３のビニング信号６００Ｄ－３の第１のビニング後画素ユニット６３０Ｄ－１および第２のビニング後画素ユニット６３０Ｄ－２に含まれる第１の緑色画素（Ｇ１）の画素値の比率、または第３のビニング信号６００Ｄ－３の第３のビニング後画素ユニット６３０Ｄ－３および第４のビニング後画素ユニット６３０Ｄ－４に含まれる第１の緑色画素（Ｇ１）の画素値の比率が考慮される。したがって、第１の復元画素ユニット７１０Ｄ－１～第１６の復元画素ユニット７１０Ｄ－１６に含まれる第１の緑色画素（Ｇ１）の画素値であるＰ１～Ｐ１６は、表５に示す式で算出することができる。
【0146】
【表5】
【0147】
図１９Ｂに示す４×４個の復元画素ユニット７１０Ｄは、ビニング処理前の画素ユニット群５００Ｄに含まれる４×４個の画素ユニット２００に対応するものである。そのため、上述した解像度の復元処理を実行することによって、ビニング処理によって低下した解像度を復元することができる。また、解像度が復元された復元画素ユニット７１０のノイズ量は、ランダムノイズの性質により、ビニングされていない画素ユニット２００のノイズ量よりも小さい。したがって、解像度の復元処理によって生成された復元画素ユニット７１０Ｄを含む画像信号７００Ｄは、Ｓ／Ｎが向上し、画像の解像度の低下が軽減される。
【0148】
第４のフレーム以降も、順次、第１のビニング信号６００Ｄ－１～第３のビニング信号６００Ｄ－３が生成される。すなわち、連続する３つのフレームには、第１のビニング信号６００Ｄ－１～第３のビニング信号６００Ｄ－３が含まれる。したがって、各フレームに対応して、順次、画像信号７００Ｄが生成されるため、フレームレートは変わらない。
【0149】
上述した解像度の復元処理の説明では、第１のビニング信号６００Ｄ－１と第２のビニング信号６００Ｄ－２とを合成し、その後、第３のビニング信号６００Ｄ－３を合成したが、ビニング信号６００Ｄを合成する順序はこれに限られない。第２のビニング信号６００Ｄ－２と第３のビニング信号６００Ｄ－３とを合成し、その後、第１のビニング信号６００Ｄ－１を合成してもよい。また、第３のビニング信号６００Ｄ－３と第１のビニング信号６００Ｄ－１とを合成し、その後、第２のビニング信号６００Ｄ－２を合成してもよい。
【0150】
なお、上述したビニング処理および解像度の復元処理は、一例であって、これらに限られない。
【0151】
本発明の一実施形態に係る撮像システム１００は、フレームレートを変更することなく、ビニング処理によって低下した画像の解像度を復元し、高感度および高解像度を有する画像信号７００Ｄを出力することができる。
【0152】
＜第６実施形態＞
撮像システム１００において、ビニングされる画素は、隣接または連続する画素に限られない。ここでは、図２０～図２３Ｂを参照して、隣接または連続しない画素を含む被ビニング領域に適用されるビニングパターンのビニング処理および解像度の復元処理について説明する。なお、以下では、第１実施形態～第５実施形態で説明した構成と同様の構成については説明を省略する場合がある。
撮像システム１００において、ビニングされる画素は、隣接または連続する画素に限られない。ここでは、図２０～図２３Ｂを参照して、隣接または連続しない画素を含む被ビニング領域に適用されるビニングパターンのビニング処理および解像度の復元処理について説明する。なお、以下では、第１実施形態～第５実施形態で説明した構成と同様の構成については説明を省略する場合がある。
【0153】
［１．ビニング処理］
図２０は、本発明の一実施形態に係る撮像システム１００において、第１のフレームで実行される第１のビニングパターンのビニング処理を説明する模式図である。
図２０は、本発明の一実施形態に係る撮像システム１００において、第１のフレームで実行される第１のビニングパターンのビニング処理を説明する模式図である。
【0154】
図２０には、各々がベイヤー配列された４×４個の画素ユニット２００を含む画素ユニット群５００Ｅが示されている。画素ユニット群５００Ｅは、画素部１１０の画素配列の一部である。第１のビニングパターンは、画素ユニット群５００Ｅの中の４個の被ビニング領域５１０Ｅ（第１の被ビニング領域５１０Ｅ－１～第４の被ビニング領域５１０Ｅ－４）に対して実行されるビニング処理である。４個の被ビニング領域５１Ｅの各々は、互いに隣接する４個（２×２個）の画素ユニット２００を含む。また、４個の被ビニング領域５１０Ｅは、互いに隣接して配置されている。第１のビニングパターンのビニング処理では、被ビニング領域５１０Ｅ内の４個の画素ユニット２００に含まれる同色の４個の画素がビニングされる。換言すれば、第１のビニングパターンのビニング処理では、被ビニング領域５１０Ｅ内の４個の画素ユニットが、ビニング後画素ユニット６１０Ｅ（第１のビニング後画素ユニット６１０Ｅ－１～第４のビニング後画素ユニット６１０Ｅ－４）に変換される。
【0155】
したがって、第１のフレームにおいて第１のビニングパターンのビニング処理が実行されると、４個（２×２個）のビニング後画素ユニット６１０Ｅ（第１のビニング後画素ユニット６１０Ｅ－１～第４のビニング後画素ユニット６１０Ｅ－４）を含む第１のビニング信号６００Ｅ－１が生成される。
【0156】
図２１は、本発明の一実施形態に係る撮像システムにおいて、第２のフレームで実行される第２のビニングパターンのビニング処理を説明する模式図である。
【0157】
図２１には、図２０に示された４×４個の画素ユニット２００を含む画素ユニット群５００Ｅが示されている。第２のビニングパターンは、画素ユニット群５００Ｅの中の被ビニング領域５２０Ｅ（第１の被ビニング領域５２０Ｅ－１～第４の被ビニング領域５２０Ｅ－４）に対して実行されるビニング処理である。第１の被ビニング領域５２０Ｅ－１は、第１の領域５２０Ｅ－１Ａおよび第２の領域５２０Ｅ－１Ｂを含み、第１の領域５２０Ｅ－１Ａおよび第２の領域５２０Ｅ－１Ｂの各々は、行方向において隣接する２個（２×１個）の画素ユニット２００を含む。第１の領域５２０Ｅ－１Ａと第２の領域５２０Ｅ－１Ｂとは隣接しておらず、列方向において１個の画素ユニット２００だけ離れて配置されている。すなわち、第２のビニングパターンは、離れた画素をビニングするビニング処理である。
【0158】
同様に、第２の被ビニング領域５２０Ｅ－２は、第１の領域５２０Ｅ－２Ａおよび第２の領域５２０Ｅ－２Ｂを含み、第３の被ビニング領域５２０Ｅ－３は、第１の領域５２０Ｅ－３Ａおよび第２の領域５２０Ｅ－３Ｂを含み、第４の被ビニング領域５２０Ｅ－４は、第１の領域５２０Ｅ－４Ａおよび第２の領域５２０Ｅ－４Ｂを含む。
【0159】
隣接する２つの列に着目すると、一方の列では、第１の被ビニング領域の第１の領域５２０Ｅ－１Ａおよび第２の領域５２０Ｅ－１Ｂと第３の被ビニング領域の第１の領域５２０Ｅ－３Ａおよび第２の領域５２０Ｅ－３Ｂとが互い違いに配置されている。また、他方の列では、第２の被ビニング領域の第１の領域５２０Ｅ－２Ａおよび第２の領域５２０Ｅ－２Ｂと第４の被ビニング領域の第１の領域５２０Ｅ－４Ａおよび第２の領域５２０Ｅ－４Ｂとが互い違いに配置されている。
【0160】
行方向においては、第１の被ビニング領域の第１の領域５２０Ｅ－１Ａおよび第２の領域５２０Ｅ－１Ｂは、それぞれ、第２の被ビニング領域の第１の領域５２０Ｅ－２Ａおよび第２の領域５２０Ｅ－２Ｂと隣接している。同様に、第３の被ビニング領域の第１の領域５２０Ｅ－３Ａおよび第２の領域５２０Ｅ－３Ｂは、それぞれ、第４の被ビニング領域の第１の領域５２０Ｅ－４Ａおよび第２の領域５２０Ｅ－４Ｂと隣接している。
【0161】
第２のビニングパターンのビニング処理では、被ビニング領域５２０Ｅ内の４個の画素ユニット２００に含まれる同色の４個の画素がビニングされる。換言すれば、第２のビニングパターンのビニング処理では、被ビニング領域５２０Ｅ内の４個の画素ユニット２００が、ビニング後画素ユニット６２０Ｅ（第１のビニング後画素ユニット６２０Ｅ－１～第４のビニング後画素ユニット６２０Ｅ－４）に変換される。
【0162】
したがって、第２のフレームにおいて第２のビニングパターンのビニング処理が実行されると、４個（２×２個）のビニング後画素ユニット６２０Ｅ（第１のビニング後画素ユニット６２０Ｅ－１～第４のビニング後画素ユニット６２０Ｅ－４）を含む第２のビニング信号６００Ｅ－２が生成される。
【0163】
第２のビニングパターンが適用される被ビニング領域５２０Ｅは、第１のビニングパターンが適用される被ビニング領域５１０Ｅと異なる。そのため、第２のフレームでビニングされる画素の組み合わせは、第１のフレームでビニングされる画素の組み合わせと異なる。
【0164】
図２２は、本発明の一実施形態に係る撮像システム１００において、第３のフレームで実行される第３のビニングパターンのビニング処理を説明する模式図である。
【0165】
図２２には、図２０に示された４×４個の画素ユニット２００を含む画素ユニット群５００Ｅが示されている。第３のビニングパターンは、画素ユニット群５００Ｅの中の被ビニング領域５３０Ｅ（第１の被ビニング領域５３０Ｅ－１～第４の被ビニング領域５３０Ｅ－４）に対して実行されるビニング処理である。４個の被ビニング領域５３０Ｅの各々は、列方向において連続する４個（１×４個）の画素ユニット２００を含む。また、４個の被ビニング領域５３０Ｅは、行方向において連続して配置されている。第３のビニングパターンのビニング処理では、被ビニング領域５３０Ｅ内の４個の画素ユニット２００に含まれる同色の４個の画素がビニングされる。換言すれば、第３のビニングパターンのビニング処理では、被ビニング領域５３０Ｅ内の４個の画素ユニットが、ビニング後画素ユニット６３０Ｅ（第１のビニング後画素ユニット６３０Ｅ－１～第４のビニング後画素ユニット６３０Ｅ－４）に変換される。
【0166】
したがって、第３のフレームにおいて第３のビニングパターンのビニング処理が実行されると、４個（４×１個）のビニング後画素ユニット６３０Ｅ（第１のビニング後画素ユニット６３０Ｅ－１～第４のビニング後画素ユニット６３０Ｅ－４）を含む第３のビニング信号６００Ｅ－３が生成される。
【0167】
第３のビニングパターンが適用される被ビニング領域５３０Ｅは、第１のビニングパターンが適用される被ビニング領域５１０Ｅおよび第２のビニングパターンが適用される被ビニング領域５２０Ｅと異なる。そのため、第３のフレームでビニングされる画素の組み合わせは、第１のフレームでビニングされる画素の組み合わせおよび第２のフレームでビニングされる画素の組み合わせのいずれとも異なる。
【0168】
［２．解像度の復元処理］
本実施形態では、上述のビニング処理によって生成された連続する３つのフレームに含まれる第１のビニング信号６００Ｅ－１～第３のビニング信号６００Ｅ－３を合成して解像度を復元する。以下では、図２３Ａおよび図２３Ｂを参照して、第１のビニング信号６００Ｅ－１～第３のビニング信号６００Ｅ－３を合成する解像度の復元処理について説明する。
本実施形態では、上述のビニング処理によって生成された連続する３つのフレームに含まれる第１のビニング信号６００Ｅ－１～第３のビニング信号６００Ｅ－３を合成して解像度を復元する。以下では、図２３Ａおよび図２３Ｂを参照して、第１のビニング信号６００Ｅ－１～第３のビニング信号６００Ｅ－３を合成する解像度の復元処理について説明する。
【0169】
本実施形態では、第１のビニング信号６００Ｅ－１の第１のビニング後画素ユニット６１０Ｅ－１～第４のビニング後画素ユニット６１０Ｅ－４に含まれる第１の緑色画素（Ｇ１）の画素値を、それぞれ、Ｋ１～Ｋ４とする。同様に、第２のビニング信号６００Ｅ－２の第１のビニング後画素ユニット６２０Ｅ－１～第４のビニング後画素ユニット６２０Ｅ－４に含まれる第１の緑色画素（Ｇ１）の画素値を、それぞれ、Ｌ１～Ｌ４とする。同様に、第３のビニング信号６００Ｅ－３の第１のビニング後画素ユニット６３０Ｅ－１～第４のビニング後画素ユニット６３０Ｅ－４に含まれる第１の緑色画素（Ｇ１）の画素値を、それぞれ、Ｍ１～Ｍ４とする。また、本実施形態では、ビニング後画素ユニット６１０Ｅ～６３０Ｅに含まれる第１の緑色画素（Ｇ１）に対する解像度の復元処理を説明するが、ビニング後画素ユニット６１０Ｅ～６３０Ｅに含まれる青色画素（Ｂ）、赤色画素（Ｒ）、および第２の緑色画素（Ｇ２）の各々に対しても同様に解像度の復元処理を適用することができる。
【0170】
【0171】
始めに、図２３Ａに示すように、第１のビニング信号６００Ｅ－１と第２のビニング信号６００Ｅ－２とを合成し、合成ビニング後画素ユニット６２１Ｅ（第１の合成ビニング後画素ユニット６２１Ｅ－１～第８の合成ビニング後画素ユニット６２１Ｅ－８）を生成する。
【0172】
合成ビニング後画素ユニット６２１Ｅは、第１のビニング信号６００Ｅ－１のビニング後画素ユニット６１０Ｅの面積を列方向において２倍に拡張した後、２つに分割する変換によって生成される。合成ビニング後画素ユニット６２１Ｅに含まれる第１の緑色画素（Ｇ１）の画素値は、第１のビニング信号６００Ｅ－１のビニング後画素ユニット６１０Ｅに含まれる第１の緑色画素（Ｇ１）を基に、第２のビニング信号６００Ｅ－２の２つのビニング後画素ユニット６２０Ｅに含まれる第１の緑色画素（Ｇ１）の画素値の比率が考慮される。例えば、第１の合成ビニング後画素ユニット６２１Ｅ－１および第２の合成ビニング後画素ユニット６２１Ｅ－２は、第１のビニング信号６００Ｅ－１の第１のビニング後画素ユニット６１０Ｅ－１に含まれる第１の緑色画素（Ｇ１）の画素値を基に、第２のビニング信号６００Ｅ－２の第１のビニング後画素ユニット６２０Ｅ－１および第２のビニング後画素ユニット６２０Ｅ－２の第１の緑色画素（Ｇ１）の画素値の比率を考慮して算出することができる。したがって、第１の合成ビニング後画素ユニット６２１Ｅ－１～第８の合成ビニング後画素ユニット６２１Ｅ－８に含まれる第１の緑色画素（Ｇ１）の画素値であるＫ１’、Ｋ１’’、Ｋ２’、Ｋ２’’、Ｋ３’、Ｋ３’’、Ｋ４’、およびＫ４’’は、表６に示す式で算出することができる。
【0173】
【表6】
【0174】
次に、図２３Ｂに示すように、第３のビニング信号６００Ｅ－３が合成されて、復元画素ユニット７１０Ｅ（第１の復元画素ユニット７１０Ｅ－１～第１６の復元画素ユニット７１０Ｅ－１６）を含む画像信号７００Ｅが生成される。
【0175】
復元画素ユニット７１０Ｅは、合成ビニング後画素ユニット６２１Ｅの面積を行方向において２倍に拡張した後、２つに分割する変換によって生成される。復元画素ユニット７１０Ｅに含まれる第１の緑色画素（Ｇ１）の画素値は、合成ビニング後画素ユニット６２１Ｅに含まれる第１の緑色画素（Ｇ１）を基に、第３のビニング信号６００Ｅ－３の２つのビニング後画素ユニット６３０Ｅに含まれる第１の緑色画素（Ｇ１）の画素値の比率が考慮される。例えば、第１の復元画素ユニット７１０Ｅ－１および第２の復元画素ユニット７１０Ｅ－２は、第１の合成ビニング後画素ユニット６２１Ｅ－１に含まれる第１の緑色画素（Ｇ１）の画素値を基に、第３のビニング信号６００Ｅ－３の第１のビニング後画素ユニット６３０Ｅ－１および第２のビニング後画素ユニット６３０Ｅ－２に含まれる第１の緑色画素（Ｇ１）の画素値の比率を考慮して算出することができる。したがって、第１の復元画素ユニット７１０Ｅ－１～第１６の復元画素ユニット７１０Ｅ－１６に含まれる第１の緑色画素（Ｇ１）の画素値であるＰ１～Ｐ１６は、表７に示す式で算出することができる。
【0176】
【表7】
【0177】
図２３Ｂに示す４×４個の復元画素ユニット７１０Ｅは、ビニング処理前の画素ユニット群５００Ｅに含まれる４×４個の画素ユニット２００に対応するものである。そのため、上述した解像度の復元処理を実行することによって、ビニング処理によって低下した解像度を復元することができる。また、解像度が復元された復元画素ユニット７１０Ｅのノイズ量は、ランダムノイズの性質により、ビニングされていない画素ユニット２００のノイズ量よりも小さい。したがって、解像度の復元処理によって生成された復元画素ユニット７１０Ｅを含む画像信号７００Ｅは、Ｓ／Ｎが向上し、画像の解像度の低下が軽減される。
【0178】
本実施形態では、第４のフレーム以降も、順次、第１のビニング信号６００Ｅ－１～第３のビニング信号６００Ｅ－３が生成される。すなわち、連続する３つのフレームには、第１のビニング信号６００Ｅ－１～第３のビニング信号６００Ｅ－３が含まれる。したがって、各フレームに対応して、順次、画像信号７００Ｅが生成されるため、フレームレートは変わらない。
【0179】
上述の解像度の復元処理では、第１のビニング信号６００Ｅ－１を基に、第２のビニング信号６００Ｅ－２および第３のビニング信号６００Ｅ－３を合成したが、合成する順序はこれに限られない。第２のビニング信号６００Ｅ－２を基に、第３のビニング信号６００Ｅ－３および第１のビニング信号６００Ｅ－１を合成してもよく、第３のビニング信号６００Ｅ－３を基に、第１のビニング信号６００Ｅ－１および第２のビニング信号６００Ｅ－２を合成してもよい。
【0180】
なお、上述したビニング処理および解像度の復元処理は、一例であって、これらに限られない。
【0181】
本発明の一実施形態に係る撮像システム１００は、フレームレートを変更することなく、ビニング処理によって低下した画像の解像度を復元し、高感度および高解像度を有する画像信号７００Ｅを出力することができる。
【0182】
＜第７実施形態＞
第３実施形態で説明したように、撮像システム１００において、解像度の復元処理に用いる複数のビニング信号の各々に含まれるビニング後画素ユニットの数は異なっていてもよい。ここでは、図２４～図２７を参照して、第３実施形態とは異なるビニング処理および解像度の復元処理について説明する。なお、以下では、第１実施形態～第６実施形態で説明した構成と同様の構成については説明を省略する場合がある。
第３実施形態で説明したように、撮像システム１００において、解像度の復元処理に用いる複数のビニング信号の各々に含まれるビニング後画素ユニットの数は異なっていてもよい。ここでは、図２４～図２７を参照して、第３実施形態とは異なるビニング処理および解像度の復元処理について説明する。なお、以下では、第１実施形態～第６実施形態で説明した構成と同様の構成については説明を省略する場合がある。
【0183】
［１．ビニング処理］
図２４は、本発明の一実施形態に係る撮像システム１００において、第１のフレームで実行される第１のビニングパターンのビニング処理を説明する模式図である。
図２４は、本発明の一実施形態に係る撮像システム１００において、第１のフレームで実行される第１のビニングパターンのビニング処理を説明する模式図である。
【0184】
図２４には、各々がベイヤー配列された２×８個の画素ユニット２００を含む画素ユニット群５００Ｆが示されている。画素ユニット群５００Ｆは、画素部１１０の画素配列の一部である。第１のビニングパターンは、画素ユニット群５００Ｆの中の４個の被ビニング領域５１０Ｆ（第１の被ビニング領域５１０Ｆ－１～第４の被ビニング領域５１０Ｆ－４）に対して実行されるビニング処理である。４個の被ビニング領域５１０Ｆの各々は、互いに隣接する４個（２×２個）の画素ユニット２００を含む。また、４個の被ビニング領域５１０Ｆは、列方向に連続して配置されている。第１のビニングパターンのビニング処理では、被ビニング領域５１０Ｆ内の４個の画素ユニット２００に含まれる同色の４個の画素がビニングされる。換言すれば、第１のビニングパターンのビニング処理では、被ビニング領域５１０Ｆ内の４個の画素ユニット２００が、ビニング後画素ユニット６１０Ｆ（第１のビニング後画素ユニット６１０Ｆ－１～第４のビニング後画素ユニット６１０Ｆ－４）に変換される。
【0185】
したがって、第１のフレームにおいて第１のビニングパターンのビニング処理が実行されると、４個（１×４個）のビニング後画素ユニット６１０Ｆ（第１のビニング後画素ユニット６１０Ｆ－１～第４のビニング後画素ユニット６１０Ｆ－４）を含む第１のビニング信号６００Ｆ－１が生成される。
【0186】
図２５は、本発明の一実施形態に係る撮像システム１００において、第２のフレームで実行される第２のビニングパターンのビニング処理を説明する模式図である。
【0187】
図２５には、図２４に示された２×８個の画素ユニット２００を含む画素ユニット群５００Ｆが示されている。第２のビニングパターンは、画素ユニット群５００Ｆの中の６個の被ビニング領域５２０Ｆ（第１の被ビニング領域５２０Ｆ－１～第６の被ビニング領域５２０Ｆ－６）に対して実行されるビニング処理である。６個の被ビニング領域５２０Ｆの各々は、列方向において隣接する２個（１×２個）の画素ユニット２００を含む。また、６個の被ビニング領域５２０Ｆは、隣接して配置されている。第２のビニングパターンのビニング処理では、被ビニング領域５２０Ｆ内の２個の画素ユニットに含まれる同色の２個の画素がビニングされる。換言すれば、第２のビニングパターンのビニング処理では、被ビニング領域５２０Ｆ内の２個の画素ユニット２００が、ビニング後画素ユニット６２０Ｆ（第１のビニング後画素ユニット６２０Ｆ－１～第６のビニング後画素ユニット６２０Ｆ－６）に変換される。
【0188】
したがって、第２のフレームにおいて第２のビニングパターンのビニング処理が実行されると、６個（２×３個）のビニング後画素ユニット６２０Ｆ（第１のビニング後画素ユニット６２０Ｆ－１～第６のビニング後画素ユニット６２０Ｆ－６）を含む第２のビニング信号６００Ｆ－２が生成される。
【0189】
［２．解像度の復元処理］
本実施形態では、上述のビニング処理によって生成された連続する２つのフレームに含まれる第１のビニング信号６００Ｆ－１および第２のビニング信号６００Ｆ－２を用いて解像度を復元する。以下では、第１のビニング信号６００Ｆ－１を基に第２のビニング信号６００Ｆ－２を合成する解像度の復元処理（図２６）および第２のビニング信号６００Ｆ－２を基に第１のビニング信号６００Ｆ－１を合成する解像度の復元処理（図２７）について説明する。
本実施形態では、上述のビニング処理によって生成された連続する２つのフレームに含まれる第１のビニング信号６００Ｆ－１および第２のビニング信号６００Ｆ－２を用いて解像度を復元する。以下では、第１のビニング信号６００Ｆ－１を基に第２のビニング信号６００Ｆ－２を合成する解像度の復元処理（図２６）および第２のビニング信号６００Ｆ－２を基に第１のビニング信号６００Ｆ－１を合成する解像度の復元処理（図２７）について説明する。
【0190】
本実施形態では、第１のビニング信号６００Ｆ－１の第１のビニング後画素ユニット６１０Ｆ－１～第４のビニング後画素ユニット６１０Ｆ－４に含まれる第１の緑色画素（Ｇ１）の画素値を、それぞれ、Ｋ１～Ｋ４とする。同様に、第２のビニング信号６００Ｆ－２の第１のビニング後画素ユニット６２０Ｆ－１～第６のビニング後画素ユニット６２０Ｆ－６に含まれる第１の緑色画素（Ｇ１）の画素値を、それぞれ、Ｌ１～Ｌ６とする。また、本実施形態では、ビニング後画素ユニット６１０Ｆおよび６２０Ｆに含まれる第１の緑色画素（Ｇ１）に対する解像度の復元処理を説明するが、ビニング後画素ユニット６１０Ｆおよび６２０Ｆに含まれる青色画素（Ｂ）、赤色画素（Ｒ）、および第２の緑色画素（Ｇ２）の各々に対しても同様に解像度の復元処理を適用することができる。
【0191】
図２６は、本発明の一実施形態に係る撮像システム１００において、第１のビニング信号６００Ｆ－１を基に第２のビニング信号６００Ｆ－２を合成する解像度の復元処理を説明する模式図である。
【0192】
図２６に示すように、第１のビニング信号６００Ｆ－１を基に第２のビニング信号６００Ｆ－２が合成されて、復元画素ユニット７１０Ｆ（第１の復元画素ユニット７１０Ｆ－１～第８の復元画素ユニット７１０Ｆ－８）を含む画像信号７００Ｆが生成される。
【0193】
第１のビニング信号６００Ｆ－１を基に解像度を復元する場合、第１のビニング信号６００Ｆ－１のビニング後画素ユニット６１０Ｆの一部である第２のビニング後画素ユニット６１０Ｆ－２および第３のビニング後画素ユニット６１０Ｆ－３を用いてもよい。復元画素ユニット７１０Ｆは、列方向に、第２のビニング後画素ユニット６１０Ｆ－２および第３のビニング後画素ユニット６１０Ｆ－３を補間し、それぞれの面積を行方向において２倍に拡張した後、２つに分割する変換によって生成される。復元画素ユニット７１０Ｆに含まれる第１の緑色画素（Ｇ１）の画素値は、第１のビニング信号６００Ｆ－１のビニング後画素ユニット６１０Ｆに含まれる第１の緑色画素（Ｇ１）を基に、第２のビニング信号６００Ｆ－２の２つのビニング後画素ユニット６２０Ｆに含まれる第１の緑色画素（Ｇ１）の画素値の比率が考慮される。したがって、第１の復元画素ユニット７１０Ｆ－１～第８の復元画素ユニット７１０Ｆ－８に含まれる第１の緑色画素（Ｇ１）である画素値Ｐ１～Ｐ８は、表８に示す式で算出することができる。
【0194】
【表8】
【0195】
図２６に示す２×４個の復元画素ユニット７１０Ｆは、ビニング処理前の画素ユニット群５００Ｆに含まれる２×４個の画素ユニット２００に対応するものである。そのため、上述した解像度の復元処理を実行することによって、ビニング処理によって低下した解像度を復元することができる。また、解像度が復元された復元画素ユニット７１０Ｆのノイズ量は、ランダムノイズの性質により、ビニングされていない画素ユニット２００のノイズ量よりも小さい。したがって、解像度の復元処理によって生成された復元画素ユニット７１０Ｆを含む画像信号７００Ｆは、Ｓ／Ｎが向上し、画像の解像度の低下が軽減される。
【0196】
図２７は、本発明の一実施形態に係る撮像システム１００において、第２のビニング信号６００Ｆ－２を基に第１のビニング信号６００Ｆ－１を合成する解像度の復元処理を説明する模式図である。
【0197】
図２７に示すように、第２のビニング信号６００Ｆ－２を基に第１のビニング信号６００Ｆ－１が合成されて、復元画素ユニット７１０Ｆ’（第１の復元画素ユニット７１０Ｆ’－１～第８の復元画素ユニット７１０Ｆ’－８）を含む画像信号７００Ｆ’が生成される。
【0198】
復元画素ユニット７１０Ｆ’は、列方向に第３のビニング後画素ユニット６２０Ｆ－３および第４のビニング後画素ユニット６２０Ｆ－４を補間し、２つに分割する変換によって生成される。ここでは、第３のビニング後画素ユニット６２０Ｆ－３および第４のビニング後画素ユニット６２０Ｆ－４を補間したが、第１のビニング後画素ユニット６２０Ｆ－１～第６のビニング後画素ユニット６２０Ｆ－６のいずれを補間してもよい。復元画素ユニット７１０Ｆ’に含まれる第１の緑色画素（Ｇ１）の画素値は、第２のビニング信号６００Ｆ－２のビニング後画素ユニット６２０Ｆに含まれる第１の緑色画素（Ｇ１）を基に、第１のビニング信号６００Ｆ－１の２つのビニング後画素ユニット６１０Ｆに含まれる第１の緑色画素（Ｇ１）の画素値の比率が考慮される。したがって、第１の復元画素ユニット７１０Ｆ’－１～第８の復元画素ユニット７１０Ｆ’－８に含まれる第１の緑色画素（Ｇ１）である画素値Ｐ’１～Ｐ’８は、表９に示す式で算出することができる。
【0199】
【表9】
【0200】
図２７に示す２×４個の復元画素ユニット７１０Ｆ’は、ビニング処理前の画素ユニット群５００Ｆに含まれる２×４個の画素ユニット２００に対応するものである。そのため、上述した解像度の復元処理を実行することによって、ビニング処理によって低下した解像度を復元することができる。また、解像度が復元された復元画素ユニット７１０Ｆ’のノイズ量は、ランダムノイズの性質により、ビニングされていない画素ユニット２００のノイズ量よりも小さい。したがって、解像度の復元処理によって生成された復元画素ユニット７１０Ｆ’を含む画像信号７００Ｆ’は、Ｓ／Ｎが向上し、画像の解像度の低下が軽減される。
【0201】
以上、本発明の各実施形態について図面を参照しながら説明したが、本発明は上記の実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、各実施形態の撮像システムを基にして、当業者が適宜構成の追加、削除、または設計変更を行ったものも、本発明の要旨を備えている限り、本発明の範囲に含まれる。さらに、上述した各実施形態は、相互に矛盾がない限り適宜組み合わせが可能であり、各実施形態に共通する技術事項については、明示の記載がなくても各実施形態に含まれる。
【0202】
また、上述した各実施形態の態様によりもたらされる作用効果とは異なる他の作用効果であっても、本明細書の記載から明らかなもの、または当業者において容易に予測し得るものについては、当然に本発明によりもたらされるものと解される。
【符号の説明】
【0203】
１００：撮像システム、
１１０：画素部、 １２０：ビニング処理部、 １３０：解像度復元処理部、１４０：第１の記憶部、 １５０：センサ部、 １６０：画像信号処理部、 １７０：第２の記憶部、 １８０：表示部、
２００：画素ユニット、
５００、５００Ａ、５００Ｃ、５００Ｄ、５００Ｅ、５００Ｆ：画素ユニット群、
５１０～５３０、５１０Ａ～５２０Ａ、５１０Ｃ～５４０Ｃ、５１０Ｄ～５３０Ｄ、５１０Ｅ～５３０Ｅ、５１０Ｆ～５２０Ｆ：被ビニング領域、
６００、６００Ａ、６００Ｂ、６００Ｃ、６００Ｄ、６００Ｅ、６００Ｆ：ビニング信号、
６１０～６３０、６１０Ａ～６２０Ａ、６１０Ｂ～６３０Ｂ、６１０Ｃ～６４０Ｃ、６１０Ｄ～６３０Ｄ、６１０Ｅ～６３０Ｅ、６１０Ｆ～６２０Ｆ：ビニング後画素ユニット、
６１１：拡張ビニング後画素ユニット、
６２１、６２１Ｄ、６２１Ｅ：合成ビニング後画素ユニット、
６２２：拡張ビニング後画素ユニット、
７００、７００Ａ、７００Ｂ、７００Ｃ、７００Ｄ、７００Ｅ、７００Ｆ、７００Ｆ’：画像信号、
７１０、７１０Ａ、７１０Ｂ、７１０Ｃ、７１０Ｄ、７１０Ｅ、７１０Ｆ、７１０Ｆ’：復元画素ユニット
１１０：画素部、 １２０：ビニング処理部、 １３０：解像度復元処理部、１４０：第１の記憶部、 １５０：センサ部、 １６０：画像信号処理部、 １７０：第２の記憶部、 １８０：表示部、
２００：画素ユニット、
５００、５００Ａ、５００Ｃ、５００Ｄ、５００Ｅ、５００Ｆ：画素ユニット群、
５１０～５３０、５１０Ａ～５２０Ａ、５１０Ｃ～５４０Ｃ、５１０Ｄ～５３０Ｄ、５１０Ｅ～５３０Ｅ、５１０Ｆ～５２０Ｆ：被ビニング領域、
６００、６００Ａ、６００Ｂ、６００Ｃ、６００Ｄ、６００Ｅ、６００Ｆ：ビニング信号、
６１０～６３０、６１０Ａ～６２０Ａ、６１０Ｂ～６３０Ｂ、６１０Ｃ～６４０Ｃ、６１０Ｄ～６３０Ｄ、６１０Ｅ～６３０Ｅ、６１０Ｆ～６２０Ｆ：ビニング後画素ユニット、
６１１：拡張ビニング後画素ユニット、
６２１、６２１Ｄ、６２１Ｅ：合成ビニング後画素ユニット、
６２２：拡張ビニング後画素ユニット、
７００、７００Ａ、７００Ｂ、７００Ｃ、７００Ｄ、７００Ｅ、７００Ｆ、７００Ｆ’：画像信号、
７１０、７１０Ａ、７１０Ｂ、７１０Ｃ、７１０Ｄ、７１０Ｅ、７１０Ｆ、７１０Ｆ’：復元画素ユニット
【図1】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図6C】
【図6D】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19A】
【図19B】
【図20】
【図21】
【図22】
【図23A】
【図23B】
【図24】
【図25】
【図26】
【図27】