特許 6572074 撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6572074

(24)【登録日】2019年8月16日

(45)【発行日】2019年9月4日

(54)【発明の名称】撮像装置

(51)【国際特許分類】

   H04N 5/232 20060101AFI20190826BHJP

   H04N 5/225 20060101ALI20190826BHJP

   H04N 5/345 20110101ALI20190826BHJP

【ＦＩ】

   H04N5/232 290

   H04N5/225 300

   H04N5/345

【請求項の数】5

【全頁数】16

(21)【出願番号】特願2015-186401(P2015-186401)

(22)【出願日】2015年9月24日

(65)【公開番号】特開2017-63260(P2017-63260A)

(43)【公開日】2017年3月30日

【審査請求日】2018年7月30日

【権利譲渡・実施許諾】特許権者において、実施許諾の用意がある。

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100143568

【弁理士】

【氏名又は名称】英 貢

(72)【発明者】

【氏名】船津 良平

(72)【発明者】

【氏名】中村 友洋

(72)【発明者】

【氏名】山▲崎▼ 貴弘

(72)【発明者】

【氏名】島本 洋

【審査官】 佐藤 直樹

(56)【参考文献】

【文献】 国際公開第２００８／０５３７９１（ＷＯ，Ａ１）

【文献】 特開２０１３−２１１９２７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３２

Ｈ０４Ｎ ５／２２５

Ｈ０４Ｎ ５／３４５

(57)【特許請求の範囲】

【請求項1】

撮像素子のライン間引き駆動とその間引き画素補間により高フレームレート化する撮像装置であって、
撮像するフレームにおける任意のラインの画素信号を選択的に読み出し可能とする撮像素子と、
当該撮像するフレームをＮ（Ｎは２以上の整数）回に分けたフィールド単位で前記撮像素子の全ライン数を１／Ｎずつ間引いて読み出し、Ｎ回のフィールド単位の読み出しを１シーケンスとして当該全ラインの画素信号を読み出すよう前記撮像素子を制御する撮像素子駆動手段と、
当該フィールド単位で前記撮像素子から読み出したラインの画素信号を基に、当該フィールド内の欠落ラインの画素信号を補間して出力する欠落ライン補間手段と、
前記撮像素子の全ラインの画素信号に対応するフレーム画像をフィールド単位で更新するフレームメモリーとして機能する記憶手段とを備え、
前記欠落ライン補間手段は、前記撮像素子から読み出される複数ラインのフィールドの画素信号と、前記記憶手段に蓄積されていた同一画素位置の画素信号とをブロック単位で比較して動きがある領域であるか否かを識別し、この識別結果に応じて、動きのある領域として識別した際には前記撮像素子から読み出される画素信号を用いて、動きの無い領域であるとして識別した際には、前記撮像素子から読み出される画素信号と、前記記憶手段に蓄積されていた画素信号と、を用いて適応的に補間した出力用画素ブロックの画素信号を生成し、該出力用画素ブロックの画素信号を基に前記記憶手段に蓄積されていた画素信号を更新し、
前記欠落ライン補間手段は、前記識別結果として、
動きのある領域であるとして識別した際には、当該フィールドの欠落ラインの画素信号を該欠落ライン近傍の前記撮像素子から読み出される画素信号で補間した画素信号を生成するとともに、前記撮像素子から読み出される画素信号と当該補間した画素信号とを用いて前記出力用画素ブロックの画素信号を生成し、
動きのない領域であるとして識別した際には、前記撮像素子から読み出される画素信号と前記記憶手段に蓄積されていた同一画素位置の画素信号と一定の比率で混合した画素信号を生成するとともに、当該フィールドの欠落ラインの画素信号を前記記憶手段に蓄積されていた同一画素位置の画素信号から取得し、この取得した画素信号と当該混合した画素信号とを用いて前記出力用画素ブロックの画素信号を生成することを特徴とする撮像装置。

【請求項2】

撮像素子のライン間引き駆動とその間引き画素補間により高フレームレート化する撮像装置であって、
撮像するフレームにおける任意のラインの画素信号を選択的に読み出し可能とする撮像素子と、
当該撮像するフレームをＮ（Ｎは２以上の整数）回に分けたフィールド単位で前記撮像素子の全ライン数を１／Ｎずつ間引いて読み出し、Ｎ回のフィールド単位の読み出しを１シーケンスとして当該全ラインの画素信号を読み出すよう前記撮像素子を制御する撮像素子駆動手段と、
当該フィールド単位で前記撮像素子から読み出したラインの画素信号を基に、当該フィールド内の欠落ラインの画素信号を補間して出力する欠落ライン補間手段と、
前記撮像素子の全ラインの画素信号に対応するフレーム画像をフィールド単位で更新するフレームメモリーとして機能する記憶手段とを備え、
前記欠落ライン補間手段は、前記撮像素子から読み出される複数ラインのフィールドの画素信号と、前記記憶手段に蓄積されていた同一画素位置の画素信号とをブロック単位で比較して動きがある領域であるか否かを識別し、この識別結果に応じて、動きのある領域として識別した際には前記撮像素子から読み出される画素信号を用いて、動きの無い領域であるとして識別した際には、前記撮像素子から読み出される画素信号と、前記記憶手段に蓄積されていた画素信号と、を用いて適応的に補間した出力用画素ブロックの画素信号を生成し、該出力用画素ブロックの画素信号を基に前記記憶手段に蓄積されていた画素信号を更新し、
前記欠落ライン補間手段により当該動きがある領域であるか否かの識別に用いる動き判定用画素ブロックは、前記出力用画素ブロックを構成する画素数よりも縦方向に大きいブロックサイズを有することを特徴とする撮像装置。

【請求項3】

前記欠落ライン補間手段により当該動きがある領域であるか否かの識別に用いる動き判定用画素ブロックは、前記出力用画素ブロックを構成する画素数よりも縦方向に大きいブロックサイズを有することを特徴とする、請求項１に記載の撮像装置。

【請求項4】

前記欠落ライン補間手段は、前記撮像するフレームの上端及び下端に位置する当該動き判定用画素ブロックについては、当該１シーケンス内のフィールドごとに縦方向に異なるブロックサイズを用いて、当該動きがある領域であるか否かの識別を行うことを特徴とする、請求項２又は３に記載の撮像装置。

【請求項5】

前記撮像素子駆動手段は、前記撮像素子の種別に応じて定められた間引き間隔により、前記撮像素子の全ライン数を１／Ｎずつ間引くよう前記撮像素子を制御し、
前記欠落ライン補間手段は、該間引き間隔に応じて当該フィールド単位で前記撮像素子から読み出したラインの画素信号を基に、当該フィールド内の欠落ラインの画素信号を補間して出力することを特徴とする、請求項１から４のいずれか一項に記載の撮像装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置に関し、特に撮像素子のライン間引き駆動とその間引き画素補間により高フレームレート化する撮像装置に関する。

【背景技術】

【0002】

滑らかで自然な動きの再現や、スポーツ制作でのスローモーション撮像に利用する目的で、高フレームレート撮像に対する要求が高まっており、４Ｋや８Ｋの放送サービスなどの高精細撮像と高フレームレート撮像を両立できる撮像装置の実現が求められている。

【0003】

一般に、高精細用の撮像装置を高フレームレート化するためには、高速に動作する多画素の撮像素子が必要となるが、回路技術や半導体プロセス技術の進歩に依存する部分が大きい。また、高フレームレート化に伴って撮像素子の出力のデータレートを増大させ、且つ蓄積時間を減少させると、感度低下が生じる。

【0004】

一方で、撮像装置を高フレームレート化せず通常のフレームレートを維持したまま動画のコマ数を増やす技法としてインターレース走査が古くから用いられている。ただし、インターレース走査はフリッカーなどの問題が生じるため、４Ｋや８Ｋの放送サービスなどの高精細映像では順次走査の撮像装置が主流となっている。

【0005】

ところで、撮像素子の読み出しライン数を１／２にしてフレームレートを２倍に高めるとともに、Ｇ信号に２枚、Ｒ信号及びＢ信号にそれぞれ１枚の合計４枚の撮像素子と、色分解プリズムを用いて、Ｇ信号についてはフル解像度（ただし、１枚の撮像素子を奇数ライン、もう１枚の撮像素子を偶数ラインの読み出しに利用）、Ｒ信号及びＢ信号はＧ信号との相関による高品位な補間画像を生成して撮像素子の本来のフレームレートの２倍の映像を取得する技法が知られている（例えば、非特許文献１参照）。

【先行技術文献】

【非特許文献】

【0006】

【非特許文献1】添野 拓司、他、“3300万画素CMOS撮像素子4板式によるスーパーハイビジョン120fps撮像実験”、一般社団法人映像情報メディア学会、2011年映像情報メディア学会冬季大会講演予稿集、2-14-1, 2011年12月21日発行

【発明の概要】

【発明が解決しようとする課題】

【0007】

前述したように、高精細用の撮像装置を高フレームレート化するために、撮像素子の出力のデータレートを増大させ、且つ蓄積時間を減少させると、感度低下が生じる。また、単にインターレース走査を利用するとフリッカーなどの問題が生じる。

【0008】

そして、非特許文献１の技法は、高画質な２倍の高フレームレート化を達成できるが、Ｇ信号を２分割するための特殊な撮像光学系が必要となり、また、蓄積時間の減少による感度低下は免れない。

【0009】

そこで、本発明の目的は、上述の問題に鑑みて、高品質の高フレームレート映像を撮像可能とし、特に、特殊な撮像光学系を用いずに既存の撮像素子を用いて高フレームレート化を実現するとともに動画像内の静止領域において高フレームレート化による感度低下に起因する信号対雑音比（以下、ＳＮ比）を改善可能とする撮像装置を提供することにある。

【課題を解決するための手段】

【0010】

本発明の撮像装置は、撮像素子のライン間引き駆動とその間引き画素補間により高フレームレート化する撮像装置であって、撮像するフレームにおける任意のラインの画素信号を選択的に読み出し可能とする撮像素子と、当該撮像するフレームをＮ（Ｎは２以上の整数）回に分けたフィールド単位で前記撮像素子の全ライン数を１／Ｎずつ間引いて読み出し、Ｎ回のフィールド単位の読み出しを１シーケンスとして当該全ラインの画素信号を読み出すよう前記撮像素子を制御する撮像素子駆動手段と、当該フィールド単位で前記撮像素子から読み出したラインの画素信号を基に、当該フィールド内の欠落ラインの画素信号を補間して出力する欠落ライン補間手段と、前記撮像素子の全ラインの画素信号に対応するフレーム画像をフィールド単位で更新するフレームメモリーとして機能する記憶手段とを備え、前記欠落ライン補間手段は、前記撮像素子から読み出される複数ラインのフィールドの画素信号と、前記記憶手段に蓄積されていた同一画素位置の画素信号とをブロック単位で比較して動きがある領域であるか否かを識別し、この識別結果に応じて、動きのある領域として識別した際には前記撮像素子から読み出される画素信号を用いて、動きの無い領域であるとして識別した際には、前記撮像素子から読みだされる画素信号と、前記記憶手段に蓄積されていた画素信号と、を用いて適応的に補間した出力用画素ブロックの画素信号を生成し、該出力用画素ブロックの画素信号を基に前記記憶手段に蓄積されていた画素信号を更新し、前記欠落ライン補間手段は、前記識別結果として、動きのある領域であるとして識別した際には、当該フィールドの欠落ラインの画素信号を該欠落ライン近傍の前記撮像素子から読み出される画素信号で補間した画素信号を生成するとともに、前記撮像素子から読み出される画素信号と当該補間した画素信号とを用いて前記出力用画素ブロックの画素信号を生成し、動きのない領域であるとして識別した際には、前記撮像素子から読み出される画素信号と前記記憶手段に蓄積されていた同一画素位置の画素信号と一定の比率で混合した画素信号を生成するとともに、当該フィールドの欠落ラインの画素信号を前記記憶手段に蓄積されていた同一画素位置の画素信号から取得し、この取得した画素信号と当該混合した画素信号とを用いて前記出力用画素ブロックの画素信号を生成することを特徴とする。

【0011】

また、本発明の撮像装置は、撮像素子のライン間引き駆動とその間引き画素補間により高フレームレート化する撮像装置であって、撮像するフレームにおける任意のラインの画素信号を選択的に読み出し可能とする撮像素子と、当該撮像するフレームをＮ（Ｎは２以上の整数）回に分けたフィールド単位で前記撮像素子の全ライン数を１／Ｎずつ間引いて読み出し、Ｎ回のフィールド単位の読み出しを１シーケンスとして当該全ラインの画素信号を読み出すよう前記撮像素子を制御する撮像素子駆動手段と、当該フィールド単位で前記撮像素子から読み出したラインの画素信号を基に、当該フィールド内の欠落ラインの画素信号を補間して出力する欠落ライン補間手段と、前記撮像素子の全ラインの画素信号に対応するフレーム画像をフィールド単位で更新するフレームメモリーとして機能する記憶手段とを備え、前記欠落ライン補間手段は、前記撮像素子から読み出される複数ラインのフィールドの画素信号と、前記記憶手段に蓄積されていた同一画素位置の画素信号とをブロック単位で比較して動きがある領域であるか否かを識別し、この識別結果に応じて、動きのある領域として識別した際には前記撮像素子から読み出される画素信号を用いて、動きの無い領域であるとして識別した際には、前記撮像素子から読み出される画素信号と、前記記憶手段に蓄積されていた画素信号と、を用いて適応的に補間した出力用画素ブロックの画素信号を生成し、該出力用画素ブロックの画素信号を基に前記記憶手段に蓄積されていた画素信号を更新し、前記欠落ライン補間手段により当該動きがある領域であるか否かの識別に用いる動き判定用画素ブロックは、前記出力用画素ブロックを構成する画素数よりも縦方向に大きいブロックサイズを有することを特徴とする。

【0012】

また、本発明の撮像装置において、前記欠落ライン補間手段により当該動きがある領域であるか否かの識別に用いる動き判定用画素ブロックは、前記出力用画素ブロックを構成する画素数よりも縦方向に大きいブロックサイズを有することを特徴とする。

【0013】

また、本発明の撮像装置において、前記欠落ライン補間手段は、前記撮像するフレームの上端及び下端に位置する当該動き判定用画素ブロックについては、当該１シーケンス内のフィールドごとに縦方向に異なるブロックサイズを用いて、当該動きがある領域であるか否かの識別を行うことを特徴とする。

【0014】

また、本発明の撮像装置において、前記撮像素子駆動手段は、前記撮像素子の種別に応じて定められた間引き間隔により、前記撮像素子の全ライン数を１／Ｎずつ間引くよう前記撮像素子を制御し、前記欠落ライン補間手段は、該間引き間隔に応じて当該フィールド単位で前記撮像素子から読み出したラインの画素信号を基に、当該フィールド内の欠落ラインの画素信号を補間して出力することを特徴とする。

【発明の効果】

【0015】

本発明によれば、特殊な撮像光学系を用いずに高フレームレート化を実現し、且つその高フレームレート化による感度低下に起因する動画像のＳＮ比を改善することができ、高品質の高フレームレート映像を撮像できるようになる。

【図面の簡単な説明】

【0016】

【図1】本発明による一実施形態の撮像装置の概略構成を示すブロック図である。

【図2】本発明による一実施形態の撮像装置における撮像素子の駆動に係るシーケンスを例示する説明図である。

【図3】（ａ）, （ｂ）は、それぞれ本発明による一実施形態の撮像装置における高フレームレート化を例示する説明図である。

【図4】本発明による一実施形態の撮像装置における欠落ライン補間処理に関する１シーケンスの動作例を示すフローチャートである。

【図5】本発明による一実施形態の撮像装置における欠落ライン補間処理の動作に関する説明図である。

【図6】（ａ）, （ｂ）は、それぞれ本発明による一実施形態の撮像装置における欠落ライン補間処理の基本とする動き判定用画素ブロックと、フレームの上端用にフィールド別の動き判定用画素ブロックを例示する説明図である。

【図7】撮像素子のカラーフィルター配列を例示する図である。

【図8】本発明による一実施形態の撮像装置における撮像素子の駆動に係るシーケンスの別例を示す説明図である。

【発明を実施するための形態】

【0017】

以下、図面を参照して、本発明による一実施形態の撮像装置１の構成と、その動作を説明する。

【0018】

図１は、本発明による一実施形態の撮像装置１の概略構成を示すブロック図である。本実施形態の撮像装置１は、動画を撮像可能とするカメラとして構成され、撮像するフレームにおける任意のラインの画素信号を選択的に読み出し可能とする撮像素子１１と、撮像素子１１のライン間引き駆動とその間引き画素補間により高フレームレート化する制御部１２と、を備える。尚、図１は、本発明に係る構成要素以外の要素、例えばレンズ等の光学系やアナログ信号処理、アナログ・デジタル変換処理、１画素内で完結する間引き画素補間処理前の画像処理、間引き画素補間処理後の画像処理に係る構成等は本発明の主旨とは直接的に関係しないため、その図示・説明は省略している。

【0019】

制御部１２は、撮像素子駆動部１３、欠落ライン補間部１４、及び記憶部１５の各機能部を備えており、後述するシーケンスでこれら各機能部を同期制御する。

【0020】

撮像素子駆動部１３は、ライン選択駆動信号を発生させ撮像素子１１のライン間引き駆動を行う機能部であり、当該撮像するフレームをＮ（Ｎは２以上の整数）回に分けたフィールド単位で撮像素子１１の全ライン数を１／Ｎずつ間引いて読み出し、Ｎ回のフィールド単位の読み出しを１シーケンスとして当該全ラインの画素信号を読み出すよう撮像素子１１を制御する。

【0021】

欠落ライン補間部１４は、フィールド単位で撮像素子１１から読み出したラインの画素信号（撮像素子出力信号）を基に、後述する動きの有無に応じて当該フィールド内の欠落ラインの画素（以下、「欠落画素」とも称する）の信号を適応的に補間して高フレームレート映像として出力する機能部である。

【0022】

記憶部１５は、撮像素子１１の全ラインの画素信号に対応するフレーム画像をフィールド単位で更新するフレームメモリーとして機能する機能部であり、欠落ライン補間部１４の制御下で一時記憶したフレーム画像の画素信号の読み出し又は書き込みが行われる。このため、記憶部１５は、フィールド単位で更新されるフレーム画像を蓄積している。

【0023】

以下、本発明に係る撮像素子駆動部１３、欠落ライン補間部１４、及び記憶部１５の各機能部について、詳細に説明する。

【0024】

撮像素子駆動部１３は、撮像素子１１のフレームレートがｆ［Ｈｚ］のときＮ倍のフレームレート（ｆ・Ｎ ［Ｈｚ］）の映像を取得する場合、フレームレートがｆ［Ｈｚ］の１フレーム分に相当する期間をＮ回に分けたフレーム（本願明細書中、区別を明確にするため「フィールド」と称している）ごとに撮像素子１１の全ライン数の１／Ｎずつ読み出し、Ｎフィールド数分を経て全ラインを読み出すように、撮像素子１１を駆動する。この動作は、インターレース比Ｎ：１のインターレース走査と同等とも云えるが、例えば２ライン連続で読み出して２ラインスキップするといった変則的な読み出し方をしてもよい。

【0025】

これにより、各フィールドでは、或る１フレーム期間内に撮像した映像のライン数は元の１／Ｎとなるが、事実上、フレームレートは元のＮ倍となる。従って、撮像素子駆動部１３は、ライン数を１／Ｎに間引いて読み出した１番目のフィールドを第１フィールド、後続するフィールドを、それぞれ第２フィールド、第３フィールド、…、第Ｎフィールドとし、第Ｎフィールドの後は第１フィールドに戻り、この読み出しを繰り返す。例えば、Ｎ＝４としたとき、フレームレートがｆ［Ｈｚ］の１フレームＦ分に相当する期間を４回に分けたフィールドは、図２に示すようになる。

【0026】

そして、第１フィールドから第Ｎフィールドまでの一連の読み出し周期を１シーケンスとする。ところで、電子シャッターを利用して蓄積時間を制御する撮像素子１１の場合は、第ｎフィールドの読み出しの際に、次の第ｎ＋１フィールド（例えば、第Ｎフィールド読み出しの時は後続する第１フィールド）の読み出しラインの画素の蓄積電荷をリセットする。即ち、電子シャッター間隔はフィールド間隔と同じ１／（ｆ・Ｎ）秒となる。例えば、図３（ａ）に示すようにｆ＝６０［Ｈｚ］の時の各フレームの通常駆動時に対し、Ｎ＝４の高速駆動時には図３（ｂ）に示すように、各フィールドをｆ＝２４０［Ｈｚ］で読み出し、画素補間で４倍速のフレーム画像を構成することができる。

【0027】

欠落ライン補間部１４は、撮像素子１１から得られる１フィールド分の映像のライン数が撮像素子１１におけるフレームＦの全ライン数の１／Ｎとなっているため、不足するライン（欠落したライン）の画素を補間して生成する。図４に、欠落ライン補間部１４による欠落ライン補間処理に関する１シーケンスの動作例（Ｎ＝４）に関するフローチャートを示している。また、図５に、欠落ライン補間部１４による欠落ライン補間処理の動作に関する説明図を示している。ここで、欠落ライン補間部１４は、ブロック生成部１４１、比較回路で構成可能な動き検出部１４２、及び補間更新部１４３を備える。

【0028】

図４を参照するに、欠落ライン補間部１４は、最初に（例えば撮像開始時）、１シーケンス分で取得した全ライン分の画素信号を記憶部１５（フレームメモリー）に蓄積する（ステップＳ１）。

【0029】

続いて、欠落ライン補間部１４は、次のシーケンス（現在のシーケンス）で、撮像素子１１から読み出される複数ラインの第１フィールドの画素信号と、記憶部１５に蓄積されていた対応する画素位置の画素信号とをブロック単位（所定ブロックサイズの動き判定用画素ブロック）で比較して動きがある領域であるか否かを識別し、この識別結果に応じて、当該撮像素子１１から読み出される画素信号と記憶部１５に蓄積されていた画素信号を用いて適応的に補間した出力用画素ブロックの画素信号を生成し、記憶部１５に蓄積されていた画素信号を更新するとともに後段の機能部（図示しない画像処理等の機能部）へ出力する（ステップＳ２）。従って、詳細は後述するが、欠落ライン補間部１４は、フィールド単位で得られる画像の局所的な動きを検出し、この動きの有無に応じて適応的に画素補間を行う。

【0030】

続いて、欠落ライン補間部１４は、当該現在のシーケンスで、撮像素子１１から読み出される複数ラインの第２フィールドの画素信号と、記憶部１５に蓄積されていた対応する画素位置の画素信号とをブロック単位（所定ブロックサイズの動き判定用画素ブロック）で比較して動きがある領域であるか否かを識別し、この識別結果に応じて、当該撮像素子１１から読み出される画素信号と記憶部１５に蓄積された画素信号を用いて適応的に補間した出力用画素ブロックの画素信号を生成し、記憶部１５に蓄積されていた画素信号を更新するとともに後段の機能部（図示しない画像処理等の機能部）へ出力する（ステップＳ３）。

【0031】

第１，第２フィールドの場合と同様に、欠落ライン補間部１４は、当該現在のシーケンスで、第３，第４フィールドの画素信号に対する欠落ラインの画素信号を補間して記憶部１５に蓄積された画素信号を更新するとともに後段の機能部（図示しない画像処理等の機能部）へ出力する（ステップＳ４，Ｓ５）。ステップＳ４を経て当該現在のシーケンスでの欠落ライン補間処理が終了すると、更に当該現在のシーケンスから次のシーケンスでの欠落ライン補間処理を行うべくステップＳ２に移行して繰り返すよう動作する。

【0032】

ところで、動きの有無に関する識別結果として、動きのある領域であるとして識別した際には、欠落ライン補間部１４は、当該フィールドの欠落ラインの画素信号を該欠落ライン近傍の撮像素子１１から読み出される画素信号で補間した画素信号を生成するとともに、撮像素子１１から読み出される画素信号と当該補間した画素信号とを用いて出力用画素ブロックの画素信号を生成する。このとき、欠落ライン補間部１４は、記憶部１５（フレームメモリー）に蓄積されていた対応する画素位置の画素信号を全てこの出力用画素ブロックの画素信号で更新する。

【0033】

一方、動きのない領域であるとして識別した際には、欠落ライン補間部１４は、撮像素子１１から読み出される画素信号と記憶部１５（フレームメモリー）に蓄積されていた同一画素位置の画素信号と一定の比率で混合した画素信号を生成するとともに、当該フィールドの欠落ラインの画素信号を記憶部１５（フレームメモリー）に蓄積されていた同一画素位置の画素信号から取得し、この取得した画素信号と当該混合した画素信号とを用いて出力用画素ブロックの画素信号を生成する。このとき、欠落ライン補間部１４は、記憶部１５（フレームメモリー）に蓄積されていた対応する画素位置の画素信号を全てこの出力用画素ブロックの画素信号で更新する（ただし、この場合は欠落ラインの画素信号は、元々記憶部１５に蓄積されていた画素信号であることから、当該混合した画素信号のみ更新すればよい）。

【0034】

より具体的に、欠落ライン補間部１４は、動きが無いと判定された場合、例えば、式（１）に示すように、動きが無いと判定された動き判定用画素ブロック内の撮像素子１で読み出された画素信号をＳ_ＲＥＡＤ、記憶部１５（フレームメモリー）に蓄積されていた同一画素位置の過去の画素信号をＳ_ＭＥＭとすると、Ｓ_ＲＥＡＤとＳ_ＭＥＭとを１：ｋ−１の比率で混合した場合の画素信号Ｓ_ＭＩＸを生成し、この画素信号Ｓ_ＭＩＸと欠落画素に対応する画素位置の記憶部１５（フレームメモリー）に蓄積されていた画素信号を用いて出力用画素ブロックを生成する。ここに、ｋは定数である。

【0035】

【数1】

【0036】

図５を参照してより詳細な例を説明する。出力用画素ブロックのブロックサイズを「縦Ｋ画素×横Ｌ画素」（Ｋ：Ｎ以上の整数）とすると、動き判定用画素ブロックのブロックサイズは、「縦（Ｋ＋１）画素×横Ｌ画素」とする（後述する図６（ａ）参照）ことができるが、例えばＫ＝４，Ｌ＝４とすると、欠落ライン補間部１４は、まず、画像の局所的な動きを検出するために、ブロック生成部１４１により、撮像素子１１から得られるフィールドの画像をその内部の一時記憶メモリ（図示せず）で一時記憶して、基本として５×４画素のブロックサイズで分割した動き判定用画素ブロックを生成する。続いて、欠落ライン補間部１４は、動き検出部１４２により、撮像素子１１から読み出される複数ラインを含む５×４画素の動き判定用画素ブロック（本例では、Ｓ１１〜Ｓ１４, Ｓ５１〜Ｓ５４が撮像素子１１から読み出された画素であり、Ｓ２１〜Ｓ２４, Ｓ３１〜Ｓ３４, Ｓ４１〜Ｓ４４が撮像素子１１から読み出されない欠落画素）と、記憶部１５（フレームメモリー）に蓄積された直前のシーケンスの対応する同一画素位置の画素ブロック（本例では、Ｍ１１〜Ｍ５４が直前のシーケンスで蓄積されている蓄積画素）とを比較して、当該動き判定用画素ブロックが、動きがある領域であるか否かを識別する。

【0037】

この比較による動きがある領域であるか否かの識別は、例えば、式（２）に示すように、撮像素子１１から読み出されたフィールドの動き判定用画素ブロックの各画素（Ｓ１１〜Ｓ１４及びＳ５１〜Ｓ５４）の画素値と、記憶部１５（フレームメモリー）に蓄積された直前のシーケンスの対応する同一画素位置の画素ブロックの各画素（Ｍ１１〜Ｍ１４及びＭ５１〜Ｍ５４）の画素値における対応する画素位置の画素ごとの差分の絶対値の総和が一定値Ｃ以下であるか否かで判定することで、当該動き判定用画素ブロックが、動きがある領域であるか否かを識別することができる。

【0038】

【数2】

【0039】

動き検出部１４２は、式（２）を満たすときは動きなしと判定し、そうでない場合は動きありと判定する。この動き検出部１４２による判定に基づき、補間更新部１４３は、適応的に補間処理を行って出力用画素ブロックの映像信号を出力する。ただし、図５に示す例にて、動き判定用ブロック内のＳ５１〜Ｓ５４の画素は、当該動き判定用ブロックの下側の３ライン分の補間処理にも利用するよう動き判定用ブロックを構成するため、補間更新部１４３は、４×４画素の出力用画素ブロックの映像信号を出力する。

【0040】

動き検出部１４２によって動きなしと判定されたとき、補間更新部１４３は、当該動き判定用ブロック内の欠落画素を記憶部１５に蓄積されていた対応する画素位置の画素信号（Ｍ２１〜Ｍ４４）を読み出し、且つ当該撮像素子１１から読み出される上側ラインの画素信号（Ｓ１１〜Ｓ１４）と記憶部１５に蓄積されていた対応する画素位置の画素信号（Ｍ１１〜Ｍ１４）を用いて更新し、例えば式（３）に基づいて、出力用画素ブロックを生成する。

【0041】

【数3】

【0042】

ここに、補間更新部１４３の出力信号をＳｉｊ’（ｉ,ｊ＝１，２，３，４）とし、ｋは定数である。これにより、動きのない場合の当該フィールドの画素信号は、過去の同一画素信号との加重加算効果によりランダム雑音が抑圧された信号となる。そして、補間更新部１４３は、記憶部１５（フレームメモリー）に蓄積されていたＭ１１〜Ｍ１４の画素信号をＳ１１’〜Ｓ１４’の画素信号で置き換えて更新することで、動きのない時間が長くなるほどランダム雑音の抑圧効果が得られるようなる。

【0043】

一方、動き検出部１４２によって動きありと判定されたとき、補間更新部１４３は、当該撮像素子１１から読み出される上側ラインの画素信号（Ｓ１１〜Ｓ１４）と、この画素信号と下側ラインの画素信号（Ｓ５１〜Ｓ５４）のみを用いて欠落画素の画素信号を補間して生成した画素信号により、出力用画素ブロックを生成する。例えば、式（４）に示すように、補間更新部１４３は、当該動き判定用ブロック内の欠落画素の上下に位置する撮像素子１１により読み出された画素信号のみを用いて、欠落画素の画素信号を線形補間で内挿して補間する。そして、この場合の補間更新部１４３は、記憶部１５（フレームメモリー）に蓄積されていたＭ１１〜Ｍ４４の画素信号を式（４）に基づくＳ１１’〜Ｓ４４’の画素信号で置き換えて更新する。

【0044】

【数4】

【0045】

各フィールドの動作は、ライン補間の対象となるラインが異なるだけで、第１フィールドの補間動作と同様である。これにより、動きが無い領域の画像は画素加算の効果によりランダム雑音が抑圧され、高フレームレート化時の感度低下を抑えることができ、特殊な撮像光学系も不要となる。

【0046】

以下、３板式カラーカメラと、単板式カラーカメラに適用した実施例として、それぞれより詳細な動作について説明する。

【0047】

（３板式カラーカメラの場合）
ここでは、３板式カラーカメラにおいてフレームレートを４倍で撮像する例を説明する。３板式カメラでは、各色Ｒ，Ｇ，Ｂ用に用いる３枚の撮像素子１１の素子自体は全てモノクロ用と同じであるため、３つの撮像素子１１は全て同じ方法で駆動・ライン補間を行うことができる。

【0048】

この撮像装置１の基本構成は図１に示すとおりの構成となる。フレームレートは４倍とするので、図２に示すように、４つのフィールドで１シーケンスを構成するように撮像素子１１を駆動する。これにより、図３に示すように、撮像素子１１の本来のフレームレートが６０Ｈｚの場合、本撮像装置のフレームレートは４倍の２４０Ｈｚとなる。

【0049】

そして、欠落ライン補間部１４は、図４に示すフローチャートに従って、図５に例示したように、式（３）及び式（４）に基づいて、第１フィールドから第４フィールドの信号の画素補間を行う。

【0050】

ところで、撮像素子１１の実際の欠落ラインの画素補間動作に関して、基本として、図６（ａ）に示すように、出力用画素ブロックのブロックサイズを「縦Ｋ画素×横Ｌ画素」とすると、動き判定用画素ブロックのブロックサイズは、「縦（Ｋ＋１）画素×横Ｌ画素」とする。例えば、Ｋ＝４，Ｌ＝４として、５×４画素の動き判定用画素ブロックとすることができる。

【0051】

ただし、撮像素子１１の実際の欠落ラインの画素補間動作としては、フレームの上端・下端以外の動き判定用画素ブロックは、５×４画素の動き判定用画素ブロックとすることができるが（図５参照）、フレームの上端又は下端では、フィールド別に動き判定用画素ブロックサイズを変更する（図６（ｂ）参照）。

【0052】

そこで、図６（ｂ）を参照して、第１フィールドのフレームの上端から、実際の欠落ラインの画素補間動作を説明する。欠落ライン補間部１４は、まず、画像の局所的な動きを検出するために、ブロック生成部１４１により、撮像素子１１から得られるフィールドの画像をその内部の一時記憶メモリ（図示せず）で一時記憶して、所定のブロックサイズで分割し、動き判定用画素ブロックを生成する。本例では、３ラインの欠落画素を取り囲むようにブロックを設定するため、５×４画素のブロックサイズとする。この第１フィールドのフレームの上端の動き判定用画素ブロックは、前述したフレームの上端・下端以外の動き判定用画素ブロック（図５参照）と同様である。

【0053】

次に第２フィールドの上端の補間を考える。この場合の動き判定用画素ブロックは、６×４画素のブロックサイズとする。即ち、図５で示す補間処理を行う第１フィールドと同一の処理を実現するべく、少なくとも２ライン分の撮像素子１１から読み出されるラインが含まれるようにするためである。この場合のフレーム上端の第２フィールドでは、６×４画素の動き判定用画素ブロック内の１ライン目の画素が全て欠落画素信号となる（白抜きで示すＳ１１〜Ｓ１４）。

【0054】

そこで、この第２フィールドの動き判定用画素ブロックについて、動きがある領域であるか否かの識別は、例えば、式（５）に示すように、撮像素子１１から読み出されたフィールドの動き判定用画素ブロックの各画素（Ｓ２１〜Ｓ２４及びＳ６１〜Ｓ６４）の画素値と、記憶部１５（フレームメモリー）に直前の第１シーケンスを経て蓄積された同一画素位置の画素ブロックの各画素（Ｍ２１〜Ｍ２４及びＭ６１〜Ｍ６４）の画素値との比較で、対応する画素位置の画素ごとの差分の絶対値の総和が一定値Ｃ以下であるか否かで判定することで、当該動き判定用画素ブロックが、動きがある領域であるか否かを識別することができる。

【0055】

【数5】

【0056】

動きが無い場合は、式（３）を基に記憶部１５（フレームメモリー）から得られる画素信号Ｍ２１〜Ｍ２４を式（６）の加重加算処理で得られる平均化した画素信号Ｓ２１’〜Ｓ２４’で置き換えて、５×４画素の出力画素ブロックを生成する。

【0057】

【数6】

【0058】

一方、動きがある場合は、第２フィールド内の信号で補間する。Ｓ３ｊ〜Ｓ５ｊの信号は、例えば式（４）と同様に上下の信号から線形補間で内挿するとともに、１ライン目の信号であるＳ１ｊは、例えば式（７）により線形補間で外挿して５×４画素の出力画素ブロックを生成する。

【0059】

【数7】

【0060】

第３フィールド、第４フィールドの補間も第２フィールドと同様にしてブロックサイズに応じた補間を行う。尚、フレームの上端より次段以降は、各フィールドで１ラインずつシフトさせながら、フレームの下端となる位置までは５×４画素の動き判定用画素ブロックとすることができる（図６（ｂ）の破線参照）。また、フレームの下端のラインについても、図６（ｂ）と同様に、フィールド別のブロックサイズとなる動き判定用画素ブロックを生成することで、端部側の欠落ラインの画素についてその動きの有無に応じた補間更新処理を行う。ただし、撮像素子１１の撮像するフレームサイズが、動画表示に利用するフレームサイズより上端・下端で大きい場合には、この上端・下端部分を除いてトリミングして出力すればよく、この場合には、全て５×４画素の動き判定用画素ブロックで処理しても実害がない。

【0061】

これにより、動きの少ない部分の雑音が抑圧された４倍のフレームレートの映像を生成できる。この方法は、動きのある領域の解像度が低下するが、実際の映像では動きぼやけによる解像度低下が生じるため、全体としては大きく解像感を損なうことなく高フレームレートの映像を生成可能となる。

【0062】

（単板カラーカメラの場合）
例えばベイヤー配列を持つ単板カラーカメラの場合、図７に示すように、２×２画素単位でカラーフィルターが構成されている。一般的に３色（Ｃ１,Ｃ２,Ｃ３）のカラーフィルターがベイヤー配列と呼ばれる構造で並んでいる。一般的な原色フィルターの場合はＣ１＝Ｇ，Ｃ２＝Ｒ，Ｃ３＝Ｂである。ここでは、ベイヤー配列を構成する４画素を映像信号上の１画素信号として扱う場合について説明する。

【0063】

この撮像装置１の基本構成も図１に示すとおりの構成となる。フレームレートは４倍とするので、図２に示すように、４つのフィールドで１シーケンスを構成するように撮像素子１１を駆動する。これにより、図３に示すように、撮像素子１１の本来のフレームレートが６０Ｈｚの場合、本撮像装置のフレームレートは４倍の２４０Ｈｚとなる。

【0064】

そして、欠落ライン補間部１４は、図４に示すフローチャートに従って、図５に例示したように、式（３）及び式（４）に基づいて、第１フィールドから第４フィールドの信号の画素補間を行う。

【0065】

ただし、撮像装置１は、カラーフィルターの配列に合わせて、図８のように第１フィールドは１，２，５，６,…，４Ｎ−３，４Ｎ−２，…のラインを読み出し、第２フィールドでは３，４，７，８,…，４Ｎ−１，４Ｎ，…のラインを読み出す。これにより、上下のラインを用いて補間する際に、ＲＧＢ各色すべての画素信号が揃った状態で各フィールドの画像を生成することができる。

【0066】

この場合も、欠落ライン補間部１４は、欠落ライン補間処理として上述とほぼ同様の手順で行うが、動きを判定するためのブロックサイズはカラーフィルターの配列に合わせて、例えば６×４画素単位のブロックサイズの動き判定用画素ブロックで動きを判定し、画素信号のない３，４ライン目の画素の補間を行うといった方法を用いる。フレームレート２倍の場合、その垂直方向は高々１画素分の画素補間となるため、垂直方向の解像度低下も最小限に抑えられ、非常に品質の高い倍速映像が得られるようになる。

【0067】

また、フレームの上端・下端の欠落ライン補間処理も、図６（ｂ）に例示した場合と同様に、動き判定用画素ブロックをフィールドごとに可変とすればよい。

【0068】

以上、特定の実施形態の例を挙げて本発明を説明したが、本発明は前述した例に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、図６（ｂ）に例示したような、フィールド別の動き判定用画素ブロックをシーケンス単位で繰り返すようにして、欠落ライン補間部１４の出力の後段側で、重複する画素信号を除去又は平均化するなどの処理を行う構成とすることもできる。また、上述した例では、撮像素子１１として電子シャッター付きのライン選択可能なＣＭＯＳエリアイメージセンサを想定して説明したものであるが、ラインイメージセンサの構造を複数列配列した構造とすればよいことから、ＣＣＤエリアイメージセンサでも実現でき、必ずしも電子シャッターにより蓄積時間制御を行う形態に限定する必要はない。さらに、記憶部１５に初期値（たとえば値として０）を与えておき、図４のＳ１の一時記憶動作をスキップして図４のＳ２〜Ｓ５の１シーケンス動作（特に第１フィールド）を行うと、初期値との比較から動き検出部１４２が全ブロックを動きのある領域であると判定するため、図４のＳ１に相当する記憶動作を省略することができる。

【産業上の利用可能性】

【0069】

本発明によれば、高品質の高フレームレート映像を撮像できるようになるので、動画撮像を可能とするカメラの用途に有用である。

【符号の説明】

【0070】

１ 撮像装置
１１ ライン選択型撮像素子
１２ 制御部
１３ 撮像素子駆動部
１４ 欠落ライン補間部
１５ 記憶部（フレームメモリー）
１４１ ブロック生成部
１４２ 動き検出部（比較回路）
１４３ 補間更新部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】