特許 6557568 撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6557568

(24)【登録日】2019年7月19日

(45)【発行日】2019年8月7日

(54)【発明の名称】撮像装置

(51)【国際特許分類】

   H04N 5/341 20110101AFI20190729BHJP

   H04N 5/343 20110101ALI20190729BHJP

   H04N 5/345 20110101ALI20190729BHJP

   H04N 5/232 20060101ALI20190729BHJP

   H04N 5/225 20060101ALI20190729BHJP

   H04N 7/01 20060101ALI20190729BHJP

   H04N 7/015 20060101ALI20190729BHJP

【ＦＩ】

   H04N5/341

   H04N5/343

   H04N5/345

   H04N5/232 290

   H04N5/225 300

   H04N7/01 370

   H04N7/015

【請求項の数】4

【全頁数】12

(21)【出願番号】特願2015-186402(P2015-186402)

(22)【出願日】2015年9月24日

(65)【公開番号】特開2017-63261(P2017-63261A)

(43)【公開日】2017年3月30日

【審査請求日】2018年7月30日

【権利譲渡・実施許諾】特許権者において、実施許諾の用意がある。

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100143568

【弁理士】

【氏名又は名称】英 貢

(72)【発明者】

【氏名】船津 良平

(72)【発明者】

【氏名】中村 友洋

(72)【発明者】

【氏名】山▲崎▼ 貴弘

(72)【発明者】

【氏名】島本 洋

【審査官】 鈴木 明

(56)【参考文献】

【文献】 特開２００８−１４７９０４（ＪＰ，Ａ）

【文献】 国際公開第２００７／０２９４４３（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／３０−５／３７８

Ｈ０４Ｎ ５／２２２−５／２５７

Ｈ０４Ｎ ７／００−７／０８８

(57)【特許請求の範囲】

【請求項1】

撮像素子のライン間引き駆動とその間引き画素補間により高フレームレート化する撮像装置であって、
撮像するフレームにおける任意のラインの画素信号を選択的に読み出し可能とする撮像素子と、
当該撮像するフレームをＮ（Ｎは２以上の整数）回に分けたフィールド単位でＭ（ＭはＭ＞Ｎを満たす整数）回のフィールド単位の読み出しを１シーケンスとし、フィールドごとに前記撮像素子の全ライン数Ｌを１／Ｍとする所定間隔で間引いたラインと、フレーム内の動き領域で追加したラインとで１フィールド期間に読み出されるライン数をＬ／Ｎとし、１シーケンスで当該全ラインの画素信号を読み出すよう前記撮像素子を制御する撮像素子駆動手段と、
当該フィールド単位で前記撮像素子から読み出したラインの画素信号を基に、当該フィールド内の欠落ラインの画素信号を補間して出力する欠落ライン補間手段と、
前記撮像素子の全ラインの画素信号に対応するフレーム画像をフィールド単位で更新するフレームメモリーとして機能する記憶手段と、
前記撮像素子から読み出したフィールド単位の画像と前記記憶手段に蓄積されているフレーム画像を基に判定した当該動き領域で読み出しラインを追加するよう前記撮像素子駆動手段を制御する動き領域判定手段と、
を備えることを特徴とする撮像装置。

【請求項2】

前記欠落ライン補間手段は、前記記憶手段に蓄積されているフレーム画像の画素信号とフィールド単位で前記撮像素子から読み出したラインの画素信号を基に、フレーム内の動き領域に応じて当該フィールド内の欠落ラインの画素信号を適応的に補間し、当該補間したフィールド画像を用いて前記記憶手段に蓄積されているフレーム画像を更新することを特徴とする、請求項１に記載の撮像装置。

【請求項3】

前記欠落ライン補間手段は、前記撮像素子から読み出したフィールド内で動きのない領域の欠落ラインの画素信号は全て、前記記憶手段に蓄積されているフレーム画像の画素信号で補間し、動きのある領域のうち前記撮像素子から読み出されることなく欠落ラインとなっている画素信号については、当該フィールド内の読み出されたラインの画素信号を用いて補間することを特徴とする、請求項２に記載の撮像装置。

【請求項4】

前記動き領域判定手段は、当該撮像するフレーム内で動き領域の有無、動き領域の位置、動き領域内の主要な動き方向、及び当該追加する読み出しラインの上限ライン数と動き領域のライン範囲との関係に基づいて、読み出しを行うフィールドに対する当該追加する読み出しラインの割り当てを適応的に決定する手段を有することを特徴とする、請求項１から３のいずれか一項に記載の撮像装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置に関し、特に撮像素子のライン間引き駆動とその間引き画素補間により高フレームレート化する撮像装置に関する。

【背景技術】

【0002】

滑らかで自然な動きの再現や、スポーツ制作でのスローモーション撮像に利用する目的で、高フレームレート撮像に対する要求が高まっており、４Ｋや８Ｋの放送サービスなどの高精細撮像と高フレームレート撮像を両立できる撮像装置の実現が求められている。

【0003】

一般に、高精細用の撮像装置を高フレームレート化するためには、高速に動作する多画素の撮像素子が必要となるが、回路技術や半導体プロセス技術の進歩に依存する部分が大きい。また、高フレームレート化に伴って撮像素子の出力のデータレートを増大させるため、後段のアナログ信号処理等も更なる高速処理が要求されて高コスト化する。

【0004】

一方で、撮像装置を高フレームレート化せず通常のフレームレートを維持したまま動画のコマ数を増やす技法としてインターレース走査が古くから用いられている。ただし、インターレース走査は、動きのある領域の垂直解像度の低下だけでなく、フリッカーなどの問題が生じるため、４Ｋや８Ｋの放送サービスなどの高精細映像では順次走査の撮像装置が主流となっている。

【0005】

ところで、撮像素子の読み出しライン数を１／２にしてフレームレートを２倍に高めるとともに、Ｇ信号に２枚、Ｒ信号及びＢ信号にそれぞれ１枚の合計４枚の撮像素子と、色分解プリズムを用いて、Ｇ信号についてはフル解像度（ただし、１枚の撮像素子を奇数ライン、もう１枚の撮像素子を偶数ラインの読み出しに利用）、Ｒ信号及びＢ信号はＧ信号との相関による高品位な補間画像を生成して撮像素子の本来のフレームレートの２倍の映像を取得する技法が知られている（例えば、非特許文献１参照）。

【先行技術文献】

【非特許文献】

【0006】

【非特許文献1】添野 拓司、他、“3300万画素CMOS撮像素子4板式によるスーパーハイビジョン120fps撮像実験”、一般社団法人映像情報メディア学会、2011年映像情報メディア学会冬季大会講演予稿集、2-14-1, 2011年12月21日発行

【発明の概要】

【発明が解決しようとする課題】

【0007】

前述したように、高精細用の撮像装置を高フレームレート化するために、撮像素子の出力のデータレートを増大させるため、後段のアナログ信号処理等も更なる高速処理が要求されて高コスト化する。また、単にインターレース走査を利用すると、動きのある領域の垂直解像度の低下だけでなく、フリッカーなどの問題が生じる。

【0008】

そして、非特許文献１の技法は、高画質な２倍の高フレームレート化を達成できるが、Ｇ信号を２分割するための特殊な撮像光学系が必要となる。

【0009】

そこで、本発明の目的は、上述の問題に鑑みて、高品質の高フレームレート映像を撮像可能とし、特に、特殊な撮像光学系を用いずに既存の撮像素子を用いて、動きのある領域の垂直解像度の低下を抑えながら、高フレームレート化を実現する撮像装置を提供することにある。

【課題を解決するための手段】

【0010】

本発明の撮像装置は、撮像素子のライン間引き駆動とその間引き画素補間により高フレームレート化する撮像装置であって、撮像するフレームにおける任意のラインの画素信号を選択的に読み出し可能とする撮像素子と、当該撮像するフレームをＮ（Ｎは２以上の整数）回に分けたフィールド単位でＭ（ＭはＭ＞Ｎを満たす整数）回のフィールド単位の読み出しを１シーケンスとし、フィールドごとに前記撮像素子の全ライン数Ｌを１／Ｍとする所定間隔で間引いたラインと、フレーム内の動き領域で高密度化するために追加したラインとで１フィールド期間に読み出されるライン数をＬ／Ｎとし、１シーケンスで当該全ラインの画素信号を読み出すよう前記撮像素子を制御する撮像素子駆動手段と、当該フィールド単位で前記撮像素子から読み出したラインの画素信号を基に、当該フィールド内の欠落ラインの画素信号を補間して出力する欠落ライン補間手段と、前記撮像素子の全ラインの画素信号に対応するフレーム画像をフィールド単位で更新するフレームメモリーとして機能する記憶手段と、前記撮像素子から読み出したフィールド単位の画像と前記記憶手段に蓄積されているフレーム画像を基に判定した当該動き領域で読み出しラインを追加するよう前記撮像素子駆動手段を制御する動き領域判定手段と、を備えることを特徴とする。

【0011】

また、本発明の撮像装置において、前記欠落ライン補間手段は、前記記憶手段に蓄積されているフレーム画像の画素信号とフィールド単位で前記撮像素子から読み出したラインの画素信号を基に、フレーム内の動き領域に応じて当該フィールド内の欠落ラインの画素信号を適応的に補間し、当該補間したフィールド画像を用いて前記記憶手段に蓄積されているフレーム画像を更新することを特徴とする。

【0012】

また、本発明の撮像装置において、前記欠落ライン補間手段は、前記撮像素子から読み出したフィールド内で動きのない領域の欠落ラインの画素信号は全て、前記記憶手段に蓄積されているフレーム画像の画素信号で補間し、動きのある領域のうち前記撮像素子から読み出されることなく欠落ラインとなっている画素信号については、当該フィールド内の読み出されたラインの画素信号を用いて補間することを特徴とする。

【0013】

また、本発明の撮像装置において、前記動き領域判定手段は、当該撮像するフレーム内で動き領域の有無、動き領域の位置、動き領域内の主要な動き方向、及び当該追加する読み出しラインの上限ライン数と動き領域のライン範囲との関係に基づいて、読み出しを行うフィールドに対する当該追加する読み出しラインの割り当てを適応的に決定する手段を有することを特徴とする。

【発明の効果】

【0014】

本発明によれば、動きがある場合でも、ライン間引き駆動による垂直解像度の低下が抑えられ、高品質の高フレームレート映像を撮像できる。

【図面の簡単な説明】

【0015】

【図1】本発明による一実施形態の撮像装置の概略構成を示すブロック図である。

【図2】本発明による一実施形態の撮像装置における動き領域に応じた読み出しラインの密度を説明する説明図である。

【図3】（ａ）, （ｂ）は、それぞれ本発明による一実施形態の撮像装置における高フレームレート化を例示する説明図である。

【図4】本発明による一実施形態の撮像装置における選択的なライン読み出しに係る撮像素子の駆動方法を説明する説明図である。

【図5】本発明による一実施形態の撮像装置における動き領域判定部の概略構成を示すブロック図である。

【図6】本発明による一実施形態の撮像装置における動き領域ライン割り当て処理を示すフローチャートである。

【発明を実施するための形態】

【0016】

以下、図面を参照して、本発明による一実施形態の撮像装置１の構成と、その動作を説明する。

【0017】

図１は、本発明による一実施形態の撮像装置１の概略構成を示すブロック図である。本実施形態の撮像装置１は、動画を撮像可能とするカメラとして構成され、撮像するフレームにおける任意のラインの画素信号を選択的に読み出し可能とする撮像素子１１と、撮像素子１１のライン間引き駆動とその間引き画素補間により高フレームレート化する制御部１２と、を備える。尚、図１は、本発明に係る構成要素以外の要素、例えばレンズ等の光学系やアナログ信号処理、アナログ・デジタル変換処理、１画素内で完結する間引き画素補間処理前の画像処理、間引き画素補間処理後の画像処理に係る構成等は本発明の主旨とは直接的に関係しないため、その図示・説明は省略している。

【0018】

制御部１２は、撮像素子駆動部１３、欠落ライン補間部１４、記憶部１５、及び動き領域判定部１６の各機能部を備えており、後述するシーケンスでこれら各機能部を同期制御する。

【0019】

撮像素子駆動部１３は、動き領域判定部１６から得られる動き領域情報を基にライン選択駆動信号を発生させ撮像素子１１のライン間引き駆動を行う機能部であり、当該撮像するフレームをＮ（Ｎは２以上の整数）回に分けたフィールド単位でＭ（ＭはＭ＞Ｎを満たす整数）回のフィールド単位の読み出しを１シーケンスとし、フィールドごとに撮像素子１１の全ライン数Ｌを１／Ｍとする所定間隔で間引いたラインと、当該動き領域情報を基にフレーム内の動き領域で高密度化するために追加したラインとで１フィールド期間に読み出されるライン数をＬ／Ｎとし、１シーケンスで当該全ラインの画素信号を読み出すよう撮像素子１１を制御する。尚、撮像素子駆動部１３は、動き領域判定部１６から得られる動き領域情報を基にライン選択駆動信号を発生させて撮像素子１１を駆動制御した際に、その欠落ラインとなるライン番号の情報を当該動き領域情報を含めた欠落ライン番号情報として欠落ライン補間部１４に出力する。ただし、欠落ライン番号情報とする代わりに、撮像素子駆動部１３が、読み出しラインとなるライン番号の情報を欠落ライン補間部１４に出力するよう構成してもよい。

【0020】

欠落ライン補間部１４は、撮像素子駆動部１３から得られる欠落ライン番号情報を参照して、記憶部１５に蓄積されている画素信号とフィールド単位で撮像素子１１から読み出したラインの画素信号（撮像素子出力信号）を基に、フレーム内の動き領域に応じて当該フィールド内の欠落ラインの画素（以下、「欠落画素」とも称する）の信号を適応的に補間して高フレームレート映像として出力し、その補間したフィールド画像を用いて記憶部１５に蓄積されているフレーム画像を更新する機能部である。

【0021】

記憶部１５は、撮像素子１１の全ラインの画素信号に対応するフレーム画像をフィールド単位で更新するフレームメモリーとして機能する機能部であり、欠落ライン補間部１４の制御下で一時記憶したフレーム画像の画素信号の読み出し又は書き込みが行われる。このため、記憶部１５は、フィールド単位で更新されるフレーム画像を蓄積している。また、記憶部１５は、動き領域判定部１６により、当該蓄積されていたフレーム画像を読み出し可能となっている。

【0022】

動き領域判定部１６は、撮像素子１１から得られる当該撮像するフレームに対し間引かれたラインで構成されるフィールド単位の画像（フィールド画像）を欠落ライン補間部１４に出力するとともに、記憶部１５（フレームメモリー）に蓄積されているフレーム画像における同一画素位置の画素信号に対する差分を計算して、当該フレーム内で全ての動きを含む領域のラインを抽出し、動きのある領域（動き領域）を含むラインとそれ以外のラインにグループ分けし、当該動き領域で高密度化するために読み出しラインを追加するライン番号の情報を動き領域情報として撮像素子駆動部１３に出力する。

【0023】

以下、本発明に係る撮像素子駆動部１３、欠落ライン補間部１４、記憶部１５、及び動き領域判定部１６について、詳細に説明する。

【0024】

撮像素子駆動部１３により、全ライン数Ｌ、フレームレートｆ［Ｈｚ］の撮像素子１１をＮ倍のｆ・Ｎ［Ｈｚ］で駆動する場合、フレームレートがｆ［Ｈｚ］の１フレーム分に相当する期間をＮ回に分けたフレーム（本願明細書中、区別を明確にするため「フィールド」と称している）あたりに読み出せるライン数はＬ／Ｎとなる。例えば、撮像素子駆動部１３により、撮像素子１１で読み出すラインを等間隔にサンプリングすると、全体の垂直解像度は１／Ｎに低下する。

【0025】

そこで、動き領域判定部１６は、図２に示すように、撮像素子１１で撮像するフレームＦに対し、動きのある領域（動き領域）を含むラインとそれ以外のラインにグループ分けし、当該動き領域で高密度化するために読み出しラインを追加するライン番号の情報を動き領域情報として撮像素子駆動部１３に出力する。尚、図２に示す例では、動き領域を１つとして示しているが、複数でもよい。

【0026】

従って、動き領域判定部１６は、撮像素子駆動部１３に対して動きに応じたライン選択駆動信号を発生させるために、動きのある領域を含むライン範囲は高密度に読み出し、動きのないライン範囲は読み出すラインの間引く間隔を大きくする動き領域情報を撮像素子駆動部１３に出力する。ただし、動きのない領域でも一定の時間間隔ですべてのラインの信号を読み出すことが望ましいため、撮像素子駆動部１３は、撮像素子１１の全てのラインが少なくともＭ（Ｍ＞Ｎ）フレームに１回は読み出されるようにライン選択駆動信号を発生させる。

【0027】

例えば、撮像素子１１の全ラインが少なくとも１回は読み出される周期を１シーケンスと定め、当該撮像するフレームをＮ（Ｎは２以上の整数）回に分けたフィールド単位でＭ（Ｍ＞Ｎ）回のフィールド単位の読み出しを１シーケンスとする。そして、撮像素子駆動部１３は、フィールドごとに撮像素子１１の全ライン数Ｌを１／Ｍとする所定間隔で間引いたライン（Ｌ／Ｍライン）と、当該動き領域情報を基にフレーム内の動き領域で高密度化する追加したライン（L_move）とで１フィールド期間に読み出されるライン数をＬ／Ｎとし、１シーケンスで当該全ラインの画素信号を読み出すよう撮像素子１１を制御する。

【0028】

このとき、１シーケンスで撮像するフレームは、動き領域以外の読み出しラインをフィールド単位で１ラインずつシフトさせ、第１フィールド、第２フィールド、…、第Ｍフィールドに分けて撮像素子１１から読み出される。すると、１フィールド期間に読み出されるライン数Ｌ／Ｎに対して、固定的に割り当てられるライン数L_fixはＬ／Ｍとなるので、動きのある領域の読み出しに割り当てることが可能な追加のライン数L_moveの上限は、式（１）に示す値となる。

【0029】

【数1】

【0030】

従って、動き領域判定部１６は、動き領域に対して優先的にL_moveの割り当てを示す動き領域情報を撮像素子駆動部１３に出力し、撮像素子駆動部１３は、その動き領域情報を基に、動き領域に高密度化したラインで撮像素子１１から読み出しを行うライン選択駆動信号を発生させる。

【0031】

例えば、全ライン数Ｌの撮像素子１１の元のフレームレートを６０[Ｈｚ]と仮定し、２倍（Ｎ＝２）の１２０［Ｈｚ］の高フレームレート化した画素信号を得る場合、時系列で表現すると、図３に示すようになる。図３に示す例では、１シーケンスを４フィールド（Ｍ＝４）で構成しており、１フィールドに読み出すライン数はＬ／２で、１フィールド期間に固定で読み出されるライン数L_fixはＬ／４、動き領域に割り当てる読み出しライン数L_moveについても、Ｌ／４となる。

【0032】

したがって、動いている領域にL_moveを優先的に割り当てた場合の読み出しパターンは、例えば図４に示すようになる。図４に示す各フィールドで得られるフレームＦのグレー部分を、動きのある領域を含むライン範囲であるとすると、この動き領域のライン範囲内に追加の読み出しライン（L_move）を割り当てることで高密度読み出しが可能となり、動きのある領域の画素信号が高解像度で得られるようになる。また、動きのない領域は、詳細は後述するが、欠落ライン補間部１４によって、記憶部１５（フレームメモリー）に蓄積していた過去の画素信号で補間することで、この場合も解像度が損なわれることが無い。

【0033】

また、フィールドは少なくとも４ライン間隔では読み出されているので、どのフィールドでも動き領域の有無やその位置は一定の精度で把握することができ、図４に示すように、動き領域の変化に追従してフィールドごとに動きに対応した読み出しラインを変更することができる。

【0034】

ただし、追加可能なL_moveのライン数は、１フィールド期間に読み出されるライン数Ｌ／Ｎを維持するべく上限があるため、動き領域のライン範囲のライン数がL_moveを上回った場合は、その動きの性質に従って優先順位をつけて割り当てるようにする（詳細は後述する）。

【0035】

図５は、本実施形態の撮像装置１における動き領域判定部１６の概略構成を示すブロック図である。動き領域判定部１６は、撮像素子１１から得られる当該撮像するフレームに対し間引かれたラインで構成されるフィールド単位の画像を欠落ライン補間部１４に出力するとともに、当該フィールド単位の画像から撮像素子１１で撮像するフレームＦに対し動きのある領域を抽出するために、減算部１６１、動き領域抽出部１６２、及びL_move割り当て選択部１６３を備える。

【0036】

減算部１６１は、撮像素子１１から得られる或るフィールド期間に読み出されるライン数Ｌ／Ｎのフィールド画像と、記憶部１５（フレームメモリー）に蓄積されているフィールド単位で更新されるフレーム画像を入力し、当該フィールド画像と当該フレーム画像における同一画素位置の画素信号との差分を計算して、当該フレーム画像における画素位置に対応付けられたその差分量の情報を動き領域抽出部１６２に出力する。

【0037】

動き領域抽出部１６２は、当該フレーム画像における画素位置に対応付けられたその差分量の情報を基に動きの有無を画素単位で判別し、当該フレーム画像における全ての動きについて、その動きを含む領域（動き領域）の画素を含む全てのラインを抽出する。この動きの有無は当該差分量が一定の閾値を超えた時に動き有りと判断する。

【0038】

そして、動き領域抽出部１６２は、動き領域を含むライン番号と、その動き領域における主要な動き方向の情報とを含む全動き領域信号を、L_move割り当て選択部１６３に出力する。この主要な動き方向は、物体が動く方向に動きぼやけが生じる性質を利用して推定する。例えば、対象となる画素を中心に水平及び垂直方向に独立に１次微分フィルタ処理を施し、その大小関係を比較して、値の小さい方向に被写体が動いていると推定する。

【0039】

L_move割り当て選択部１６３は、前述したように限られたL_moveの割り当て数を考慮して、全動き領域信号が示す動き方向及びライン番号の情報から、後述するが例えばフレーム全体の動きである場合や被写体の動き等による部分的な動きを識別し、優先的にL_moveを割り当てるべき追加のライン番号を定め、この追加のライン番号の情報を次フィールド時の撮像素子１１の駆動制御のための動き領域情報として、撮像素子駆動部１３に出力する。

【0040】

この優先順位の決定には、特に、動きがフレーム画像の部分的なものか否か、動きの方向が水平であるか否か、の２点が垂直解像度の改善にとって重要な要素となる。

【0041】

例えば、図６に、本実施形態の撮像装置１におけるL_move割り当て選択部１６３による動き領域ライン割り当て処理のフローチャートを示す。まず、L_move割り当て選択部１６３は、動き領域抽出部１６２から、撮像素子１１からフィールド画像を読み出した時点の当該フレーム画像における全ての動きについて、動き方向及びライン番号の情報を含む全動き領域信号を取得する（ステップＳ１）。

【0042】

続いて、L_move割り当て選択部１６３は、全動き領域信号を基に、動き領域そのものの検出の有無を判定する（ステップＳ２）。動き領域が無い場合（ステップＳ２：Ｎｏ）、L_move割り当て選択部１６３は、フレーム画像の画面全体に対してできる限り等間隔になるようL_moveを割り当て（ステップＳ７）、動き領域が有る場合（ステップＳ２：Ｙｅｓ）、ステップＳ３に移行する。

【0043】

次に、動き領域が有る場合（ステップＳ２：Ｙｅｓ）、L_move割り当て選択部１６３は、動きのある領域が部分的なものか否かを判定する（ステップＳ３）。動きのある領域が部分的なものでなく全体的なものであった場合（ステップＳ３：Ｎｏ）、さらにその主要な動きの方向が水平方向か垂直方向かを判定する（ステップＳ４）。全体的な動きの主要部分が水平方向の場合（ステップＳ４：Ｙｅｓ）、L_move割り当て選択部１６３は、L_moveをフレーム画像の画面中央に優先的に割り当て、全体的な動きの主要部分が垂直方向の場合（ステップＳ４：Ｎｏ）、動きなしの場合と同様にフレーム画像の画面全体に対してできる限り等間隔になるようL_moveを割り当てる（ステップＳ７）。動きが部分的であった場合（ステップＳ３：Ｙｅｓ）、ステップＳ５に移行する。

【0044】

次に、動きが部分的であった場合（ステップＳ３：Ｙｅｓ）、L_move割り当て選択部１６３は、動き領域を含むライン範囲内のライン数と、限られたライン数（上限）のL_moveとの大小を比較する（ステップＳ５）。L_move上限より動き領域を含むライン範囲内のライン数が小さい場合（ステップＳ５：Ｎｏ）、L_move割り当て選択部１６３は、L_moveを当該動き領域を含むライン範囲内にすべて割り当てた上で、さらにその領域の周辺を埋めるように余ったL_moveを割り当てる（ステップＳ９）。L_move上限より動き領域を含むライン範囲内のライン数が大きい場合（ステップＳ５：Ｙｅｓ）、ステップＳ６に移行する。

【0045】

次に、L_move上限より動き領域を含むライン範囲内のライン数が大きい場合（ステップＳ５：Ｙｅｓ）、L_move割り当て選択部１６３は、さらに水平方向の動きが支配的な領域のライン数を調べ、このライン数がL_move上限より大きいか否かを判定する（ステップＳ６）。水平方向の動きが支配的な領域のライン数がL_move上限より小さい場合（ステップＳ６：Ｎｏ）、L_move割り当て選択部１６３は、まず水平方向に支配的なすべてのラインにL_moveを割り当てた後、残りの垂直方向に支配的な領域にL_moveを割り当てる（ステップＳ１０）。一方、水平方向の動きが支配的な領域のライン数がL_move上限より大きい場合（ステップＳ６：Ｙｅｓ）、L_move割り当て選択部１６３は、フレーム画像の画面中央部に近い領域から優先してL_moveを割り当てる（ステップＳ１１）。

【0046】

このように、L_move割り当て選択部１６３によって動きの位置及び方向によってL_moveの割り当てを選択的に行うことで、例えば、撮像装置１（カメラ）をパン方向に動かす場合は、視線が集中しやすい中央部に集中的にL_moveを割り当てることができる。また、撮像装置１（カメラ）をチルト方向に動かす場合は、もともと動きぼやけによって垂直解像度が失われるので、L_moveをフレーム画像の画面全体に等間隔に割り当てることができる。そして、撮像装置１（カメラ）を固定して撮影している場合は、水平方向に動く被写体のある領域を優先し、余った場合は垂直方向の被写体に割り当てることができる。特に、動く被写体の範囲が小さく、限られたライン数のL_moveの割り当てに余りが生じるときには、動きのある領域の周りを埋めるようにL_moveを割り当てることができる。これにより、被写体が次のフレームで動きのある領域の範囲外に飛び出したときにも高解像度を得ることが可能となる。

【0047】

欠落ライン補間部１４は、撮像素子駆動部１３から得られる欠落ライン番号情報を参照して、記憶部１５に蓄積されている画素信号とフィールド単位で撮像素子１１から読み出したラインの画素信号（撮像素子出力信号）を基に、フレーム内の動き領域に応じて当該フィールド内の欠落ラインの画素信号を補間して高フレームレート映像として出力し、その補間したフィールド画像を用いて記憶部１５（フレームメモリー）に蓄積されているフレーム画像を更新する。

【0048】

即ち、欠落ライン補間部１４は、現在のフィールド内で動きのない領域の欠落ラインの画素信号は全て、記憶部１５（フレームメモリー）に蓄積されているフレーム画像の画素信号で補間する。一方、動きのある領域のうち、読み出しラインを割り当てられず欠落ラインとなった画素信号については、欠落ライン補間部１４は、当該現在のフィールド内の読み出されたラインの画素信号を用いて補間する。そして、欠落ライン補間部１４は、最終的に補間で生成されたフル画素のフィールド画像で記憶部１５（フレームメモリー）内のフレーム画像を更新する。

【0049】

このように、欠落ライン補間部１４は、動きのない領域の欠落ラインの信号については、直前のフィールド画像で更新されたフレーム画像の画素信号を用いて補間し、動きが検出されているにもかかわらず、L_moveの不足により読み出されなかった領域の画素については、現在のフィールド内の読み出されたラインの画素信号を用いて画素補間する。このため、仮にL_moveが割り当てられなかった動き領域内のラインが当該現在のフィールド内のライン補間により解像度低下が生じたとしても、図６に示すL_moveの割り当てに従うことでフレーム画像の全体として画質に大きな影響を受けにくい領域であるとみなされるため、全体としては動きがある場合にも高品質な画像を生成できる。

【0050】

ところで、電子シャッターを利用して蓄積時間を制御する撮像素子１１の場合は、第ｎフィールドの読み出しの際に、次の第ｎ＋１フィールド（例えば、第Ｎフィールド読み出しの時は後続する第１フィールド）の読み出しラインの画素の蓄積電荷をリセットする。即ち、電子シャッター間隔はフィールド間隔と同じ１／（ｆ・Ｎ）秒となる。例えば、図３（ａ）に示すようにｆ＝６０［Ｈｚ］の時の各フレームの通常駆動時に対し、Ｎ＝２，Ｍ＝４の高速駆動時には図３（ｂ）に示すように、各フィールドをｆ＝１２０［Ｈｚ］で読み出し画素補間で２倍速のフレーム画像を構成することができる。

【0051】

このため、動き領域判定部１６及び撮像素子駆動部１３は、動き領域の判定とL_moveの割り当てについて、次に読み出そうとするフィールドのさらに次のフィールド読み出しラインまでの２フィールド単位で決定するよう構成することができる。L_moveの割り当ては、上述したように、フレーム画像内の動き方向を考慮していることから、２フィールド単位で決定するのに利用することができる。

【0052】

また、欠落ライン補間部１４は、動き領域の判定時のタイミングと同期させるべく当該動き領域情報を含めた欠落ライン番号情報を保持して、動き領域の判定時と同期した補間後のフレーム画像を生成することができる。

【0053】

これにより、本実施形態の撮像装置１によれば、動きのある領域の垂直解像度の低下を抑えながら、間引き駆動による高フレームレート化を実現することができる。

【0054】

以上、特定の実施形態の例を挙げて本発明を説明したが、本発明は前述した例に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、上述した例では、撮像素子１１として電子シャッター付きのライン選択可能なＣＭＯＳエリアイメージセンサを想定して説明したものであるが、ラインイメージセンサの構造を複数列配列した構造とすればよいことから、ＣＣＤエリアイメージセンサでも実現でき、必ずしも電子シャッターにより蓄積時間制御を行う形態に限定する必要はない。

【産業上の利用可能性】

【0055】

本発明によれば、高品質の高フレームレート映像を撮像できるようになるので、動画撮像を可能とするカメラの用途に有用である。

【符号の説明】

【0056】

１ 撮像装置
１１ ライン選択型撮像素子
１２ 制御部
１３ 撮像素子駆動部
１４ 欠落ライン補間部
１５ 記憶部（フレームメモリー）
１６ 動き領域判定部
１６１ 減算部
１６２ 動き領域抽出部
１６３ L_move割り当て選択部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】