特許 5965173 動画像処理システム、画像処理装置、および動画像処理システムの動作方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5965173

(24)【登録日】2016年7月8日

(45)【発行日】2016年8月3日

(54)【発明の名称】動画像処理システム、画像処理装置、および動画像処理システムの動作方法

(51)【国際特許分類】

   H04N 5/225 20060101AFI20160721BHJP

   H04N 5/235 20060101ALI20160721BHJP

   H04N 101/00 20060101ALN20160721BHJP

【ＦＩ】

   H04N5/225 B

   H04N5/235

   H04N5/225 F

   H04N101:00

【請求項の数】6

【全頁数】14

(21)【出願番号】特願2012-68873(P2012-68873)

(22)【出願日】2012年3月26日

(65)【公開番号】特開2013-201613(P2013-201613A)

(43)【公開日】2013年10月3日

【審査請求日】2015年2月18日

(73)【特許権者】

【識別番号】591128453

【氏名又は名称】株式会社メガチップス

(74)【代理人】

【識別番号】100088672

【弁理士】

【氏名又は名称】吉竹 英俊

(74)【代理人】

【識別番号】100088845

【弁理士】

【氏名又は名称】有田 貴弘

(72)【発明者】

【氏名】小室 武明

(72)【発明者】

【氏名】澤田 孝司

【審査官】 榎 一

(56)【参考文献】

【文献】 特開２００６−１２９０６５（ＪＰ，Ａ）

【文献】 特開平０８−１９１４５３（ＪＰ，Ａ）

【文献】 特開２００５−０８０１９８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２〜２５７

Ｈ０４Ｎ １０１／００

(57)【特許請求の範囲】

【請求項1】

被写体像に関する画像を取得する撮像素子と、
前記撮像素子によって取得された画像に縮小処理を施す縮小処理手段と、
前記縮小処理後の画像を記憶する記憶手段と、
前記記憶手段から読み出した画像に対して、前記縮小処理が施される前の画像サイズに戻す拡大処理を施し、拡大処理後の画像を、所定のフレーム表示レートで表示部に表示させる表示制御手段と、
前記フレーム表示レートよりも低いフレームレートであるフレームキャプチャレートで前記撮像素子を駆動する駆動手段と、
前記撮像素子による１フレーム分の画像取得動作と、前記表示部による同一フレームを用いた複数回の画像表示動作との同期をとる同期手段と、
を備え、
前記同期手段は、前記フレーム表示レートを規定する垂直同期信号とマスク信号とに基づいて当該垂直同期信号の一部をマスクすることによって、当該垂直同期信号に対して複数倍の周期を有する動作同期信号を生成する信号生成手段を有し、
前記駆動手段は、前記動作同期信号によって規定されるフレームレートを前記フレームキャプチャレートとして用いる動画像処理システム。

【請求項2】

前記動画像処理システムは、前記画像取得動作によって取得した１フレーム分の画像を、次の画像取得動作と同期した複数回の画像表示動作でそれぞれ表示させる請求項１に記載の動画像処理システム。

【請求項3】

前記縮小処理手段は、前記撮像素子によって取得された画像の水平成分を間引くことによって、当該画像を水平方向に縮小させる縮小処理を施し、
前記表示制御手段は、前記記憶手段から読み出した画像を前記水平方向に拡大させる請求項１または請求項２に記載の動画像処理システム。

【請求項4】

被写体像に関する画像を取得する撮像素子と、
前記撮像素子によって取得された画像に縮小処理を施す縮小処理手段と、
前記縮小処理後の画像を記憶する記憶手段と、
前記記憶手段から読み出した画像に対して、前記縮小処理が施される前の画像サイズに戻す拡大処理を施し、拡大処理後の画像を、所定のフレーム表示レートで表示部に表示させる表示制御手段と、
前記フレーム表示レートよりも低いフレームレートであるフレームキャプチャレートで前記撮像素子を駆動する駆動手段と、
前記撮像素子による１フレーム分の画像取得動作と、前記表示部による同一フレームを用いた複数回の画像表示動作との同期をとる同期手段と、
を備え、
前記同期手段は、前記フレーム表示レートを規定する垂直同期信号とマスク信号とに基づいて当該垂直同期信号の一部をマスクすることによって、当該垂直同期信号に対して複数倍の周期を有する動作同期信号を生成する信号生成手段を有し、
前記駆動手段は、前記動作同期信号によって規定されるフレームレートを前記フレームキャプチャレートとして用いる画像処理装置。

【請求項5】

ａ）被写体像に関する画像を撮像素子で取得する工程と、
ｂ）前記撮像素子によって取得された画像に縮小処理を施す工程と、
ｃ）前記縮小処理後の画像を記憶手段に記憶する工程と、
ｄ）前記記憶手段から読み出した画像に対して、前記縮小処理が施される前の画像サイズに戻す拡大処理を施し、拡大処理後の画像を、所定のフレーム表示レートで表示部に表示させる工程と、
を備え、
前記ａ）工程は、前記フレーム表示レートよりも低いフレームレートであるフレームキャプチャレートで前記撮像素子を駆動して行われ、
前記ａ）工程における１フレーム分の画像取得動作と、前記ｄ）工程における同一フレームを用いた複数回の画像表示動作とは同期をとって行われ、
ｅ）前記フレーム表示レートを規定する垂直同期信号とマスク信号とに基づいて当該垂直同期信号の一部をマスクすることによって、当該垂直同期信号に対して複数倍の周期を有する動作同期信号を生成する工程をさらに備え、
前記動作同期信号によって規定されるフレームレートが前記フレームキャプチャレートとして用いられる動画像処理システムの動作方法。

【請求項6】

被写体像に関する画像を取得する撮像素子と、
前記撮像素子によって取得された画像の水平成分を間引くことによって、当該画像を水平方向に縮小させる縮小処理を施す縮小処理手段と、
前記縮小処理後の画像を記憶する記憶手段と、
前記記憶手段から読み出した画像を前記水平方向に拡大させ、拡大後の画像を、所定のフレーム表示レートで表示部に表示させる表示制御手段と、
前記フレーム表示レートよりも低いフレームレートであるフレームキャプチャレートで前記撮像素子を駆動する駆動手段と、
前記撮像素子による１フレーム分の画像取得動作と、前記表示部による同一フレームを用いた複数回の画像表示動作との同期をとる同期手段と、
を備える動画像処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像の処理技術に関する。

【背景技術】

【0002】

デジタルスチルカメラ、またはデジタルビデオカメラ等の撮像装置は、撮像素子で被写体を撮像しつつ、撮像した画像を動画的態様にてＬＣＤ等の表示部にリアルタイムに表示する、いわゆるスルー画像表示機能を有している（例えば、特許文献１）。

【0003】

このような撮像装置では、表示部での画像表示を違和感なく行うために、６０ｆｐｓ程度の比較的高いフレームレートで表示部が駆動されており、これに対応して、撮像素子も表示用の画像を取得するために同じフレームレートで駆動されていた。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００５−３１１６９９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、撮像素子を表示部と同じ比較的高いフレームレートで駆動させた場合、露光時間が短くなるため、暗い室内などでは十分な光量を得ることができず、表示部には、全体的に輝度の低い画像が表示されていた。

【0006】

このような現象は、撮像装置に限らず、撮像素子によって取得した画像を表示部に表示する他の装置およびシステムにおいても発生し得る。

【0007】

そこで、本発明は、暗い室内でも輝度の比較的高い画像を取得して表示部に表示することが可能な技術を提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明に係る動画像処理システムの第１の態様は、被写体像に関する画像を取得する撮像素子と、前記撮像素子によって取得された画像に縮小処理を施す縮小処理手段と、前記縮小処理後の画像を記憶する記憶手段と、前記記憶手段から読み出した画像に対して、前記縮小処理が施される前の画像サイズに戻す拡大処理を施し、拡大処理後の画像を、所定のフレーム表示レートで表示部に表示させる表示制御手段と、前記フレーム表示レートよりも低いフレームレートであるフレームキャプチャレートで前記撮像素子を駆動する駆動手段と、前記撮像素子による１フレーム分の画像取得動作と、前記表示部による同一フレームを用いた複数回の画像表示動作との同期をとる同期手段とを備え、前記同期手段は、前記フレーム表示レートを規定する垂直同期信号とマスク信号とに基づいて当該垂直同期信号の一部をマスクすることによって、当該垂直同期信号に対して複数倍の周期を有する動作同期信号を生成する信号生成手段を有し、前記駆動手段は、前記動作同期信号によって規定されるフレームレートを前記フレームキャプチャレートとして用いる。

【0010】

また、本発明に係る動画像処理システムの第２の態様は、上記第１の態様であって、前記動画像処理システムは、前記画像取得動作によって取得した１フレーム分の画像を、次の画像取得動作と同期した複数回の画像表示動作でそれぞれ表示させる。

【0012】

また、本発明に係る動画像処理システムの第３の態様は、上記第１の態様または上記第２の態様であって、前記縮小処理手段は、前記撮像素子によって取得された画像の水平成分を間引くことによって、当該画像を水平方向に縮小させる縮小処理を施し、前記表示制御手段は、前記記憶手段から読み出した画像を前記水平方向に拡大させる。

【0013】

また、本発明に係る画像処理装置は、被写体像に関する画像を取得する撮像素子と、前記撮像素子によって取得された画像に縮小処理を施す縮小処理手段と、前記縮小処理後の画像を記憶する記憶手段と、前記記憶手段から読み出した画像に対して、前記縮小処理が施される前の画像サイズに戻す拡大処理を施し、拡大処理後の画像を、所定のフレーム表示レートで表示部に表示させる表示制御手段と、前記フレーム表示レートよりも低いフレームレートであるフレームキャプチャレートで前記撮像素子を駆動する駆動手段と、前記撮像素子による１フレーム分の画像取得動作と、前記表示部による同一フレームを用いた複数回の画像表示動作との同期をとる同期手段とを備え、前記同期手段は、前記フレーム表示レートを規定する垂直同期信号とマスク信号とに基づいて当該垂直同期信号の一部をマスクすることによって、当該垂直同期信号に対して複数倍の周期を有する動作同期信号を生成する信号生成手段を有し、前記駆動手段は、前記動作同期信号によって規定されるフレームレートを前記フレームキャプチャレートとして用いる。

【0014】

また、本発明に係る動画像処理システムの動作方法は、ａ）被写体像に関する画像を撮像素子で取得する工程と、ｂ）前記撮像素子によって取得された画像に縮小処理を施す工程と、ｃ）前記縮小処理後の画像を記憶手段に記憶する工程と、ｄ）前記記憶手段から読み出した画像に対して、前記縮小処理が施される前の画像サイズに戻す拡大処理を施し、拡大処理後の画像を、所定のフレーム表示レートで表示部に表示させる工程とを備え、前記ａ）工程は、前記フレーム表示レートよりも低いフレームレートであるフレームキャプチャレートで前記撮像素子を駆動して行われ、前記ａ）工程における１フレーム分の画像取得動作と、前記ｄ）工程における同一フレームを用いた複数回の画像表示動作とは同期をとって行われ、ｅ）前記フレーム表示レートを規定する垂直同期信号とマスク信号とに基づいて当該垂直同期信号の一部をマスクすることによって、当該垂直同期信号に対して複数倍の周期を有する動作同期信号を生成する工程をさらに備え、前記動作同期信号によって規定されるフレームレートが前記フレームキャプチャレートとして用いられる。

【発明の効果】

【0015】

本発明によれば、暗い室内でも輝度の比較的高い画像を取得して、表示部に表示することができる。

【図面の簡単な説明】

【0016】

【図1】第１実施形態に係る動画像処理システムの機能構成を示すブロック図である。

【図2】第１実施形態に係る動画像処理システムの動作概要を示す図である。

【図3】同期信号生成回路の詳細構成を示す図である。

【図4】同期信号生成回路に入力される入力信号と、同期信号生成回路から出力される出力信号とを示す図である。

【図5】画像取得動作と画像表示動作との関係を示すタイムチャートである。

【図6】第２実施形態に係る動画像処理システムの動作概要を示す図である。

【図7】水平間引きによって画像を縮小させる様子を示す図である。

【図8】垂直間引きによって画像を縮小させる様子を示す図である。

【発明を実施するための形態】

【0017】

以下、各実施形態について図面を参照して説明する。なお、異なる図面において同一の符号を付した要素は、同一または相応する要素を示すものとする。

【0018】

＜１．第１実施形態＞
［１−１．構成］
第１実施形態に係る動画像処理システム１Ａは、被写体を撮像して画像を取得しつつ、撮影画像をリアルタイム（実時間）で表示部に表示する、いわゆるライブビュー表示機能（スルー画像表示機能）を有している。このような動画像処理システム１Ａとしては、例えば、デジタルスチルカメラまたはデジタルビデオカメラなどの撮像装置、撮影機能を備えた携帯情報端末および携帯電話、或いは画像処理装置が想定される。

【0019】

まず、最初に、当該動画像処理システム１Ａの構成について説明する。図１は、第１実施形態に係る動画像処理システム１Ａの機能構成を示すブロック図である。

【0020】

図１に示されるように、動画像処理システム１Ａは、撮像部１１と、信号処理回路１２Ａと、メモリ１３Ａと、メモリ制御部１４と、表示部１５と、表示制御回路１６Ａとを備えている。

【0021】

撮像部１１は、例えば、ＣＯＭＳセンサまたはＣＣＤセンサなどの撮像素子１１１（図２）を有して構成されている。当該撮像素子１１１は、被写体像を形成する光（被写体光）を受光して、被写体像に関する画像の画像データを生成する機能を有している。また、撮像部１１は、撮像素子１１１によって生成された画像データに対して、Ａ／Ｄ変換処理、画素補間処理、およびＹＵＶ変換処理等を施し、ＹＵＶ形式のデジタル画像データを信号処理回路１２Ａに出力する。

【0022】

また、撮像部１１は、撮像素子１１１による画像データの取得動作を制御する駆動回路（不図示）をもさらに有している。

【0023】

信号処理回路１２Ａは、撮像部１１から入力された画像データを一時的にバッファリングして、当該画像データをメモリ１３Ａに出力する。なお、ここでは、撮像部１１から入力される画像データが、ＹＵＶ形式のデジタルデータである場合を例示しているが、撮像部１１から入力される画像データは、ＲＧＢ形式の画像データであってもよい。この場合、当該ＲＧＢ形式の画像データは、信号処理回路１２ＡにてＹＵＶ形式の画像データに変換されることになる。

【0024】

メモリ１３Ａは、ＤＲＡＭ等を用いて構成され、画像データを記憶する記憶手段として機能する。本実施形態のメモリ１３Ａは、物理的に異なる２つのメモリを有した、ダブルバッファ構成となっている。

【0025】

メモリ制御部１４は、メモリ１３Ａへの画像データの書込動作およびメモリ１３Ａからの画像データの読出動作を制御する。例えば、メモリ制御部１４は、信号処理回路１２Ａから出力された画像データをバス１７を介して取得し、当該画像データをメモリ１３Ａに記憶させる書込動作（記憶制御）を行う。また、メモリ制御部１４は、表示制御回路１６Ａからの画像データの読出指示信号に応じて、メモリ１３Ａから画像データを読み出す読出制御を行う。

【0026】

表示部１５は、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）または有機ＥＬディスプレイ等の表示手段であり、表示制御回路１６Ａから入力された画像データに基づく画像を、所定のフレームレートで表示する。

【0027】

なお、画像を表示する際の表示部１５のフレームレート（「フレーム表示レート」または「表示フレームレート」とも称する）は、垂直同期信号の周波数に等しく、本実施形態では、６０ｆｐｓとなっている。

【0028】

表示制御回路１６Ａは、表示部１５における画像の表示動作を制御する。具体的には、表示制御回路１６Ａは、メモリ１３Ａから画像データを読み出すための読出指示信号を出力し、バス１７を介して画像データを取得する。そして、表示制御回路１６Ａは、取得した画像データを、表示部１５から入力される垂直同期信号に基づいて表示部１５に表示可能な形式に変換して出力する。

【0029】

また、表示制御回路１６Ａは、表示部１５を用いた画像表示動作と撮像部１１を用いた画像取得動作（撮像動作）との同期をとるための同期信号（「動作同期信号」とも称する）を、垂直同期信号に基づいて生成する同期信号生成回路（動作同期信号生成回路）１６１を有している。当該同期信号生成回路１６１によって生成された動作同期信号は、撮像部１１に出力される。

【0030】

なお、ここでは、表示制御回路１６Ａは、表示部１５から垂直同期信号を得る構成としていたが、表示制御回路１６Ａは、垂直同期信号を自ら生成する態様であってもよい。この場合、表示制御回路１６Ａは、自ら生成した垂直同期信号に基づいて画像データを表示部１５に出力することになり、同期信号生成回路１６１は、自ら生成した垂直同期信号を用いて、動作同期信号を生成することになる。

【0031】

［１−２．動作］
次に、動画像処理システム１Ａの動作について説明する。図２は、動画像処理システム１Ａの動作概要を示す図である。

【0032】

図２に示されるように、動画像処理システム１Ａでは、撮像部１１内の撮像素子１１１は、駆動回路の制御に従って、例えば、１５ｆｐｓのフレームレート（「フレームキャプチャレート」または「フレーム取得レート」とも称する）で駆動される。そして、撮像部１１から出力される画像データは、フレームごとにメモリ１３Ａに記憶される。

【0033】

ここで、本実施形態のメモリ１３Ａは、物理的に異なる第１メモリ１３１と第２メモリ１３２とを有した、ダブルバッファ構成となっている。

【0034】

撮像部１１から順次に出力される１フレーム分の画像データは、第１メモリ１３１および第２メモリ１３２のうち、いずれか一方に交互に記憶される。図２では、撮像部１１から出力されたフレームＦ１の画像データが、第１メモリ１３１に記憶され、次に撮像部１１から出力されたフレームＦ２の画像データが、第２メモリ１３２に記憶された態様が例示されている。

【0035】

一方、表示部１５には、メモリ１３Ａから読み出された画像データが、１フレームごとに表示されるが、表示部１５のフレーム表示レートは、上述のように６０ｆｐｓである。このように、表示部１５のフレーム表示レートは、撮像素子１１１のフレームキャプチャレート（フレーム取得レート）よりも高いため、動画像処理システム１Ａは、１フレーム分の画像データをメモリ１３Ａへ記憶する間に、同じフレームの画像データをメモリ１３Ａから複数回読み出して表示部１５に出力する。

【0036】

例えば、図２に示されるように、０ｓから１／１５ｓまでの第１期間Ｔ１において、フレームＦ１の画像データが撮像部１１によって取得され、当該フレームＦ１の画像データが第１メモリ１３１に記憶された場合を想定する。この場合、次の１／１５ｓから２／１５ｓまでの第２期間Ｔ２では、動画像処理システム１Ａは、フレームＦ２の画像データを取得して、当該画像データを第２メモリ１３２に記憶する間に、第１メモリ１３１に記憶されているフレームＦ１の画像データを１／６０ｓ間隔で４回読み出して表示部１５に出力する。さらに次の２／１５ｓから３／１５ｓまでの第３期間Ｔ３では、動画像処理システム１Ａは、フレームＦ３の画像データを取得して、当該画像データを第１メモリ１３１に記憶する間に、第２メモリ１３２に記憶されているフレームＦ２の画像データを１／６０ｓ間隔で４回読み出して表示部１５に出力する。

【0037】

このように、動画像処理システム１Ａでは、撮像素子１１１のフレームキャプチャレートを表示部１５のフレーム表示レートよりも低く設定した状態で、１フレームの画像取得動作と、１フレームに関する画像表示動作とが、同期をとって行われる。

【0038】

［１−３．画像取得動作と画像表示動作との同期原理］
次に、動画像処理システム１Ａにおける画像取得動作と画像表示動作との同期原理について説明する。図３は、同期信号生成回路１６１の詳細構成を示す図である。図４は、同期信号生成回路１６１に入力される入力信号と、同期信号生成回路１６１から出力される出力信号とを示す図である。図５は、画像取得動作と画像表示動作との関係を示すタイムチャートである。

【0039】

動画像処理システム１Ａでは、画像取得動作と画像表示動作との同期をとるために動作同期信号ＤＳが用いられる。当該動作同期信号ＤＳは、表示制御回路１６Ａ内の同期信号生成回路１６１によって生成される。

【0040】

図３に示されるように、同期信号生成回路１６１は、論理積回路（ＡＮＤ回路）と否定回路（ＮＯＴ回路）とで構成され、同期信号生成回路１６１は、マスク信号ＭＳを反転させた反転信号と、垂直同期信号ＨＳとの論理積をとって、動作同期信号ＤＳを生成する。

【0041】

このようにして生成される動作同期信号ＤＳは、図４に示されるように、フレーム表示レートを規定する垂直同期信号ＨＳの一部をマスクした信号であり、垂直同期信号ＨＳに対して複数倍（ここでは、４倍）の周期を有している。換言すれば、動作同期信号ＤＳの周波数は、垂直同期信号ＨＳの周波数の１／４となっている。

【0042】

同期信号生成回路１６１において生成された動作同期信号ＤＳは、表示制御回路１６Ａから出力され、撮像部１１に入力される。撮像部１１の駆動回路は、当該動作同期信号ＤＳによって規定されるフレームキャプチャレートで撮像素子１１１を駆動し、画像取得動作を実行する。ここで、撮像部１１の駆動回路は、撮像素子１１１のフレームキャプチャレートを動作同期信号ＤＳの周波数に等しい値に設定する。

【0043】

これにより、図５に示されるように、動作同期信号ＤＳの第１周期ＤＰ１では、例えば、フレームＦ１の画像データを取得するための画像取得動作ＧＦ１が実行され、第２周期ＤＰ２では、フレームＦ２の画像データを取得するための画像取得動作ＧＦ２が実行されることになる。

【0044】

これに対して、表示部１５では、垂直同期信号ＨＳに基づいたフレーム表示レートで、画像表示動作が実行される。具体的には、図５に示されるように、表示部１５は、垂直同期信号ＨＳの周波数に等しいフレーム表示レートで駆動され、画像表示動作の実行中は、垂直同期信号ＨＳの各周期において、画像表示動作ＨＦ１，ＨＦ２が実行されることになる。

【0045】

ここで、動作同期信号ＤＳは、垂直同期信号ＨＳの一部をマスクして生成された信号であり、動作同期信号ＤＳは、垂直同期信号ＨＳにおける４周期ごとの信号と同一タイミングの信号となっている。

【0046】

このため、動画像処理システム１Ａでは、動作同期信号ＤＳの或る１周期において、１フレーム分の画像取得動作が行われた場合、動作同期信号ＤＳの当該或る１周期と同じ時間帯における垂直同期信号ＨＳの４周期それぞれにおいて、同一フレームの画像表示動作が行われることになる。例えば図５では、動作同期信号ＤＳの第２周期ＤＰ２において、フレームＦ２の画像取得動作ＧＦ２が実行され、動作同期信号ＤＳの当該第２周期ＤＰ２と同時期の垂直同期信号ＨＳの４周期ＨＰ２１〜ＨＰ２４それぞれにおいて、同一フレームＦ１の画像表示動作ＨＦ１が実行される態様が示されている。

【0047】

このように、動画像処理システム１Ａは、撮像素子１１１による１フレーム分の画像取得動作と、表示部１５による同一フレームを用いた複数回の画像表示動作との同期をとる同期手段を有し、当該同期手段には、画像取得動作と画像表示動作との同期をとるための動作同期信号ＤＳを生成する同期信号生成回路１６１が含まれている。

【0048】

以上のように、動画像処理システム１Ａは、被写体像に関する画像を取得する撮像素子１１１と、撮像素子１１１によって取得された画像を記憶するメモリ１３Ａと、メモリ１３Ａに記憶された画像を所定のフレーム表示レートで表示部１５に表示させる表示制御回路１６Ａと、フレーム表示レートよりも低いフレームレートであるフレームキャプチャレートで撮像素子１１１を駆動する駆動回路と、撮像素子１１１による１フレーム分の画像取得動作と、表示部１５による同一フレームを用いた複数回の画像表示動作との同期をとる同期手段とを備えている。

【0049】

このような動画像処理システム１Ａでは、表示部１５のフレーム表示レートよりも低いフレームキャプチャレートで撮像素子１１１を駆動するので、露光時間を長く確保でき、暗い環境下でも比較的明るい画像を取得して表示部１５に表示することが可能になる。

【0050】

また一方、動画像処理システム１Ａでは、表示部１５のフレーム表示レートを撮像素子１１１のフレームキャプチャレートに合わせて下げることなく、高いフレームレート（例えば、６０ｆｐｓ）を維持して画像を表示するので、画面のちらつきを抑えることができる。

【0051】

また、動画像処理システム１Ａは、画像取得動作ＧＦ１によって取得した１フレーム分の画像を、次の画像取得動作ＧＦ２と同期した複数回の画像表示動作ＨＦ１でそれぞれ表示する。このような動画像処理システム１Ａでは、新たに取得した画像を表示済みの画像に上書きして保存することにより、メモリ１３Ａの記憶容量を２フレーム分の画像を記憶可能な容量とすることが可能になり、メモリ１３Ａの記憶容量を抑制することができる。

【0052】

また、このような動画像処理システム１Ａでは、画像を取得した後に当該画像を表示するまでの遅延を少なくすることができる。

【0053】

＜２．第２実施形態＞
次に、本発明の第２実施形態について説明する。上記第１実施形態に係る動画像処理システム１Ａは、ダブルバッファ構成のメモリ１３Ａを有していたが、第２実施形態に係る動画像処理システム１Ｂは、シングルバッファ構成のメモリ１３Ａを有している。なお、動画像処理システム１Ｂは、動画像処理システム１Ａとほぼ同様の構造および機能（図１および図３参照）を有しており、共通する部分については同じ符号を付して説明を省略する。図６は、第２実施形態に係る動画像処理システム１Ｂの動作概要を示す図である。

【0054】

図１に示されるように、動画像処理システム１Ｂは、撮像部１１と、信号処理回路１２Ｂと、メモリ１３Ｂと、メモリ制御部１４と、表示部１５と、表示制御回路１６Ｂとを備えている。

【0055】

撮像部１１は、例えば、ＣＯＭＳセンサまたはＣＣＤセンサなどの撮像素子１１１（図２）を有して構成されている。そして、撮像部１１は、撮像素子１１１によって生成された画像データに対して、Ａ／Ｄ変換処理、画素補間処理、およびＹＵＶ変換処理等を施すことによって、ＹＵＶ形式のデジタル画像データを取得し、当該デジタル画像データを信号処理回路１２Ｂに出力する。

【0056】

信号処理回路１２Ｂは、撮像部１１から入力された画像データに対して、画像を水平方向に１／２に縮小させる縮小処理を施す機能を有している。このような縮小処理は、ＦＩＲフィルタと縮小フィルタ（バイリニアフィルタ）とで構成されたフィルタによって実現され、当該フィルタは、縮小処理の際に発生するノイズを軽減する機能をも有している。

【0057】

そして、信号処理回路１２Ｂは、縮小処理後の画像データをメモリ１３Ｂに出力する。

【0058】

なお、ここでは、撮像部１１から入力される画像データが、ＹＵＶ形式のデジタルデータである場合を例示しているが、撮像部１１から入力される画像データは、ＲＧＢ形式の画像データであってもよい。この場合、当該ＲＧＢ形式の画像データは、信号処理回路１２ＢにてＹＵＶ形式の画像データに変換されることになる。

【0059】

メモリ１３Ｂは、ＤＲＡＭ等を用いて構成され、画像データを記憶する記憶手段として機能する。メモリ１３Ｂには、上述のように、シングルバッファ構成が採用されている。

【0060】

メモリ制御部１４は、メモリ１３Ｂへの画像データの書込動作およびメモリ１３Ｂからの画像データの読出動作を制御する。

【0061】

表示制御回路１６Ｂは、表示部１５における画像の表示動作を制御する。具体的には、表示制御回路１６Ｂは、メモリ１３Ｂから画像データを読み出すための読出指示信号を出力し、バス１７を介して画像データを取得する。そして、表示制御回路１６Ｂは、取得した画像データに対して、画像を水平方向に２倍に拡大させる拡大処理を施す。さらに、表示制御回路１６Ｂは、拡大処理後の画像データを表示部１５から入力される垂直同期信号に基づいて表示部１５に表示可能な形式に変換して出力する。

【0062】

また、表示制御回路１６Ｂは、動作同期信号を生成する同期信号生成回路１６１を有している。表示制御回路１６Ｂは、同期信号生成回路１６１によって生成された動作同期信号を、撮像部１１に対して出力する。

【0063】

このような構成を有する動画像処理システム１Ｂは、撮像部１１から出力される１フレーム分の画像データを、１／２に縮小してメモリ１３Ｂに記憶しつつ、記憶済みの画像データをメモリ１３Ｂから読み出して、当該画像データを２倍に拡大した後、表示部１５に出力する。図６では、撮像部１１から出力されたフレームＦ１の画像データをメモリ１３Ｂに記憶後、次に出力されたフレームＦ２の画像データを、メモリ１３Ｂに記憶しつつ、記憶済みのフレームＦ１の画像データをメモリ１３Ｂから読み出して表示部１５に出力している態様が例示されている。

【0064】

以上のように、第２実施形態の動画像処理システム１Ｂは、画像を縮小してメモリ１３Ｂに記憶するため、メモリ１３Ｂの記憶容量を削減することができ、メモリ１３Ｂのコストダウンを実現できる。

【0065】

＜３．変形例＞
以上、この発明の実施の形態について説明したが、この発明は、上記に説明した内容に限定されるものではない。

【0066】

例えば、上記各実施形態では、表示部１５のフレーム表示レートが、撮像素子１１１のフレームキャプチャレートよりも高い場合の例として、表示部１５を６０ｆｐｓのフレーム表示レートで駆動し、撮像素子１１１を１５ｆｐｓのフレームキャプチャレートで駆動した場合を例示したが、これに限定されない。

【0067】

具体的には、表示部１５を６０ｆｐｓのフレーム表示レートで駆動し、撮像素子１１１を２０ｆｐｓまたは３０ｆｐｓのフレームキャプチャレートで駆動してもよい。或いは、表示部１５を８０ｆｐｓのフレーム表示レートで駆動し、撮像素子１１１を１５ｆｐｓ、２０ｆｐｓまたは３０ｆｐｓのフレームキャプチャレートで駆動してもよい。

【0068】

また、上記第２実施形態では、画像データの縮小率を１／２としていたが、これに限定されず、画像データの縮小率は、２／３であっても、１／３であってもよい。

【0069】

また、上記第２実施形態では、画像を縮小する際に水平方向に縮小させていたが、垂直方向に縮小させてもよい。図７は、水平間引きによって画像を縮小させる様子を示す図である。図８は、垂直間引きによって画像を縮小させる様子を示す図である。

【0070】

具体的には、上記第２実施形態では、図７に示されるように、画像ＧＲの水平成分を間引く水平間引き（画素間引き）によって、画像ＧＲを水平方向に１／２に縮小させていた。これに対して、図８に示されるように、画像ＧＲの垂直成分を間引く垂直間引き（ライン間引き）によって、画像ＧＲを垂直方向に１／２に縮小させてもよい。

【0071】

なお、表示部１５における画像の表示が、画像左上の始点画素から一定の行方向に沿って順次に画素を表示し、行単位の表示が終了する度に改行しつつ、上記一定の行方向に沿って画素を順次に表示する、いわゆるラスター順で行われる場合、水平間引きによって画像を縮小させることが好ましい。

【0072】

具体的には、画像データを表示部１５に出力する前に表示制御回路１６で行われる画像の拡大処理では、縮小処理の際に間引かれた画素の画素値が補間演算により取得される。

【0073】

垂直間引きによって得られた縮小画像を拡大する場合、間引かれた行（間引き行）の各画素の画素値を算出するために、当該間引き行の上下の行を用いて補間演算を行うことになる。このとき、画像データがラスター順に処理される場合、間引き行の画素値を算出するためには、当該間引き行の上の１行分の画像データを補間演算用の記憶部に格納しておくことになる。１行分の画像データを記憶する補間演算用の記憶部としては、例えば、ラインメモリが採用される。

【0074】

これに対して、水平間引きによって得られた縮小画像を拡大する場合、間引かれた画素（間引き画素）の画素値を算出するために、当該間引き画素の左右の画素を用いて補間演算を行うことになる。このとき、画像データがラスター順に処理される場合、間引き画素の画素値を算出するためには、当該間引き画素の左の１画素分の画素値を補間演算用の記憶部に格納しておくことになる。１画素分の画素値を記憶する補間演算用の記憶部としては、例えば、レジスタが採用される。

【0075】

このように、垂直間引きによって得られた縮小画像を拡大する場合よりも水平間引きによって得られた縮小画像を拡大する場合の方が、補間演算用の記憶部の記憶容量を削減することができ、当該記憶部のコストダウンを実現できる。

【0076】

また、上記各実施形態では、動作同期信号を生成する同期信号生成回路１６１が、表示制御回路１６Ａ，１６Ｂ内に存在する場合を例示していたが、これに限定されない。具体的には、同期手段としての同期信号生成回路１６１は、撮像素子１１１の駆動回路内に、或いは他の機能部とは別個独立に設けられていてもよい。

【符号の説明】

【0077】

１Ａ，１Ｂ 動画像処理システム
１１ 撮像部
１１１ 撮像素子
１２Ａ，１２Ｂ 信号処理回路
１３Ａ，１３Ｂ メモリ
１３１ 第１メモリ
１３２ 第２メモリ
１４ メモリ制御部
１５ 表示部
１６Ａ，１６Ｂ 表示制御回路
１６１ 同期信号生成回路
１７ バス
Ｆ１〜Ｆ３ フレーム
ＨＳ 垂直同期信号
ＭＳ マスク信号
ＤＳ 動作同期信号
ＨＰ２１〜ＨＰ２４ 垂直同期信号における周期
ＤＰ１，ＤＰ２ 動作同期信号における周期
ＧＦ１，ＧＦ２ 画像取得動作
ＨＦ１，ＨＦ２ 画像表示動作
ＧＲ 画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】