特許第6135072号(P6135072)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ カシオ計算機株式会社の特許一覧

特許6135072画像処理装置、画像処理方法及びプログラム
<>
  • 特許6135072-画像処理装置、画像処理方法及びプログラム 図000002
  • 特許6135072-画像処理装置、画像処理方法及びプログラム 図000003
  • 特許6135072-画像処理装置、画像処理方法及びプログラム 図000004
  • 特許6135072-画像処理装置、画像処理方法及びプログラム 図000005
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6135072
(24)【登録日】2017年5月12日
(45)【発行日】2017年5月31日
(54)【発明の名称】画像処理装置、画像処理方法及びプログラム
(51)【国際特許分類】
   H04N 19/115 20140101AFI20170522BHJP
   H04N 19/136 20140101ALI20170522BHJP
   H04N 19/152 20140101ALI20170522BHJP
   H04N 19/156 20140101ALI20170522BHJP
   H04N 19/172 20140101ALI20170522BHJP
   H04N 1/41 20060101ALI20170522BHJP
   H04N 5/232 20060101ALI20170522BHJP
   H04N 5/225 20060101ALI20170522BHJP
【FI】
   H04N19/115
   H04N19/136
   H04N19/152
   H04N19/156
   H04N19/172
   H04N1/41 B
   H04N5/232 Z
   H04N5/225 F
【請求項の数】6
【全頁数】16
(21)【出願番号】特願2012-189405(P2012-189405)
(22)【出願日】2012年8月30日
(65)【公開番号】特開2014-49835(P2014-49835A)
(43)【公開日】2014年3月17日
【審査請求日】2015年8月28日
(73)【特許権者】
【識別番号】000001443
【氏名又は名称】カシオ計算機株式会社
(74)【代理人】
【識別番号】110001254
【氏名又は名称】特許業務法人光陽国際特許事務所
(72)【発明者】
【氏名】竹内 丈晴
【審査官】 山▲崎▼ 雄介
(56)【参考文献】
【文献】 特開平10−228729(JP,A)
【文献】 特開2012−114692(JP,A)
【文献】 特開2007−200391(JP,A)
【文献】 特開平11−176097(JP,A)
【文献】 特開2000−115767(JP,A)
【文献】 再公表特許第2005/076629(JP,A1)
【文献】 特開2007−096789(JP,A)
【文献】 特開2007−267020(JP,A)
【文献】 特開2006−352335(JP,A)
【文献】 特開2008−236084(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 19/00−19/98
H04N 5/222−5/257
H04N 1/41−1/419
H04N 5/76−5/956
(57)【特許請求の範囲】
【請求項1】
所定の時間間隔で非圧縮の画像データを逐次取得する取得手段と、
この取得手段により取得された各々の非圧縮の画像データに対して圧縮処理を施す圧縮手段と、
この圧縮手段による圧縮処理後の画像データを記録する所定の記録容量を有する記録手段と、
前記所定の時間間隔と前記圧縮手段による圧縮処理後の画像データを記録した際の前記記録手段の空き容量の状況とに基いて、前記圧縮手段による処理対象の画像データの圧縮率を低くした再度の圧縮処理を許可するか否かを設定する設定手段と、
前記設定手段によって再度の圧縮処理の許可が設定された場合、前記所定の時間間隔以内に、前記処理対象の画像データを前記圧縮手段により圧縮処理させる圧縮制御手段と、
を備えたことを特徴とする画像処理装置。
【請求項2】
前記取得手段により非圧縮の画像データを取得する際の時間間隔が複数規定され、
前記複数の時間間隔に応じて、前記圧縮手段による圧縮処理の圧縮率を設定する圧縮率設定手段を更に備えることを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記複数の時間間隔に応じた前記圧縮手段による圧縮処理の複数の圧縮率を記録する圧縮率記録手段を更に備え、
前記圧縮率設定手段は、前記圧縮率記録手段に記録されている複数の圧縮率の中で、前記圧縮手段による圧縮処理の圧縮率を設定することを特徴とする請求項2に記載の画像処理装置。
【請求項4】
前記取得手段は、被写体を撮像して画像データを生成する撮像手段を含むことを特徴とする請求項1〜3の何れか一項に記載の画像処理装置。
【請求項5】
所定の時間間隔で非圧縮の画像データを逐次取得する取得手段と、この取得手段により取得された各々の非圧縮の画像データに対して圧縮処理を施す圧縮手段と、この圧縮手段による圧縮処理後の画像データを記録する所定の記録容量を有する記録手段と、を備えた画像処理装置を用いた画像処理方法であって、
前記所定の時間間隔と前記圧縮手段による圧縮処理後の画像データを記録した際の前記記録手段の空き容量の状況とに基いて、前記圧縮手段による処理対象の画像データの圧縮率を低くした再度の圧縮処理を許可するか否かを設定する処理と、
再度の圧縮処理の許可が設定された場合、前記所定の時間間隔以内に前記処理対象の画像データを前記圧縮手段により圧縮処理させる処理と、
を含むことを特徴とする画像処理方法。
【請求項6】
所定の時間間隔で非圧縮の画像データを逐次取得する取得手段と、この取得手段により取得された各々の非圧縮の画像データに対して圧縮処理を施す圧縮手段と、この圧縮手段による圧縮処理後の画像データを記録する所定の記録容量を有する記録手段と、備えた画像処理装置のコンピュータを、
前記所定の時間間隔と前記圧縮手段による圧縮処理後の画像データを記録した際の前記記録手段の空き容量の状況とに基いて、前記圧縮手段による処理対象の画像データの圧縮率を低くした再度の圧縮処理を許可するか否かを設定する設定手段、
前記設定手段によって再度の圧縮処理の許可が設定された場合、前記所定の時間間隔以内に前記処理対象の画像データを前記圧縮手段により圧縮処理させる圧縮制御手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【0002】
従来、各画像の記録画素数及び圧縮率と、記録媒体の空き容量とに基づいて、画像の連続撮像可能枚数を設定する撮像装置が知られている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2006−173914号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記特許文献等の場合、連続撮像できることを優先して、各画像の圧縮率を設定しているため、画像データの記録容量が十分であるにも拘わらず相対的に高い圧縮率で圧縮されてしまい、高画質の画像を記録できない虞がある。
【0005】
本発明は、このような問題に鑑みてなされたものであり、本発明の課題は、不必要に高い圧縮率での圧縮処理を抑制しつつ、圧縮処理後の画像の高画質化を図ることができる画像処理装置、画像処理方法及びプログラムを提供することである。
【課題を解決するための手段】
【0006】
上記課題を解決するため、本発明に係る画像処理装置は、
所定の時間間隔で非圧縮の画像データを逐次取得する取得手段と、この取得手段により取得された各々の非圧縮の画像データに対して圧縮処理を施す圧縮手段と、この圧縮手段による圧縮処理後の画像データを記録する所定の記録容量を有する記録手段と、前記所定の時間間隔と前記圧縮手段による圧縮処理後の画像データを記録した際の前記記録手段の空き容量の状況とに基いて、前記圧縮手段による処理対象の画像データの圧縮率を低くした再度の圧縮処理を許可するか否かを設定する設定手段と、前記設定手段によって再度の圧縮処理の許可が設定された場合、前記所定の時間間隔以内に、前記処理対象の画像データを前記圧縮手段により圧縮処理させる圧縮制御手段と、を備えたことを特徴としている。
【0007】
また、本発明に係る画像処理方法は、
所定の時間間隔で非圧縮の画像データを逐次取得する取得手段と、この取得手段により取得された各々の非圧縮の画像データに対して圧縮処理を施す圧縮手段と、この圧縮手段による圧縮処理後の画像データを記録する所定の記録容量を有する記録手段と、を備えた画像処理装置を用いた画像処理方法であって、前記所定の時間間隔と前記圧縮手段による圧縮処理後の画像データを記録した際の前記記録手段の空き容量の状況とに基いて、前記圧縮手段による処理対象の画像データの圧縮率を低くした再度の圧縮処理を許可するか否かを設定する処理と、再度の圧縮処理の許可が設定された場合、前記所定の時間間隔以内に前記処理対象の画像データを前記圧縮手段により圧縮処理させる処理と、を含むことを特徴としている。
【0008】
また、本発明に係るプログラムは、
所定の時間間隔で非圧縮の画像データを逐次取得する取得手段と、この取得手段により取得された各々の非圧縮の画像データに対して圧縮処理を施す圧縮手段と、この圧縮手段による圧縮処理後の画像データを記録する所定の記録容量を有する記録手段と、備えた画像処理装置のコンピュータを、前記所定の時間間隔と前記圧縮手段による圧縮処理後の画像データを記録した際の前記記録手段の空き容量の状況とに基いて、前記圧縮手段による処理対象の画像データの圧縮率を低くした再度の圧縮処理を許可するか否かを設定する設定手段、前記設定手段によって再度の圧縮処理の許可が設定された場合、前記所定の時間間隔以内に前記処理対象の画像データを前記圧縮手段により圧縮処理させる圧縮制御手段、として機能させることを特徴としている。
【発明の効果】
【0009】
本発明によれば、不必要に高い圧縮率での圧縮処理を抑制しつつ、圧縮処理後の画像の高画質化を図ることができる。
【図面の簡単な説明】
【0010】
図1】本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。
図2図1の撮像装置に記録されている圧縮制御テーブルの一例を示す図である。
図3図1の撮像装置による連続撮像処理に係る動作の一例を示すフローチャートである。
図4図3の連続撮像処理の続きを示すフローチャートである。
【発明を実施するための形態】
【0011】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
【0012】
図1は、本発明を適用した一実施形態の撮像装置100の概略構成を示すブロック図である。
図1に示すように、撮像装置100は、レンズ部1と、電子撮像部2と、ユニット回路部3と、撮像制御部4と、画像データ処理部5と、テーブル記録部6と、メモリ7と、記録媒体制御部8と、表示部9と、操作入力部10と、中央制御部11等を備えている。
また、撮像制御部4、画像データ処理部5、テーブル記録部6、メモリ7、記録媒体制御部8、表示部9及び中央制御部11は、バスライン12を介して接続されている。
【0013】
レンズ部1及び電子撮像部2は、被写体を撮像して画像データを生成する撮像手段を構成している。
レンズ部1は、例えば、図示は省略するが、ズームレンズ、フォーカスレンズ、絞り等を有し、これらレンズを通過した被写体の光学像を結像する。
電子撮像部2は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal-oxide Semiconductor)等のイメージセンサ等から構成され、レンズ部1の各種レンズを通過した光学像を当該電子撮像部2により二次元の画像信号(アナログの画像信号)に変換して、ユニット回路部3に出力する。
【0014】
ユニット回路部3は、例えば、図示は省略するが、CDS(Correlated Double Sampling:相関二重サンプリング回路)、AGC(Auto Gain Control:ゲイン調整回路)、ADC(Analog to Digital Converter:アナログ/デジタル変換器)等を具備している。そして、ユニット回路部3は、電子撮像部2から出力されて入力される被写体の光学像に応じたアナログの画像信号をCDSにより保持し、当該画像信号をAGCにより増幅した後、増幅された画像信号をADCによりデジタルの画像信号に変換する。
【0015】
撮像制御部4は、中央制御部11からの指令に基づいて、被写体の撮像の際に、レンズ部1、電子撮像部2、ユニット回路部3等の動作を制御する。
即ち、撮像制御部4は、レンズ部1のズームレンズやフォーカスレンズ等を光軸上で移動させるためのレンズモータ(図示略)の駆動を制御したり、電子撮像部2を走査駆動するタイミングを制御したり、電子撮像部2の駆動タイミングに基づいてユニット回路部3の駆動タイミングを制御する。
具体的には、撮像制御部4は、電子撮像部2及びユニット回路部3の駆動タイミングを撮像フレームレートに対応する一定の時間間隔で制御する。即ち、撮像フレームレートを所定の値A[fps](例えば、30[fps]等)とした場合には、撮像制御部4は、1000/A[ms](例えば、約33[ms]等)間隔で電子撮像部2及びユニット回路部3を駆動させて、ユニット回路部3にデジタルの画像信号(非圧縮の画像データ)を生成させる。
ここで、ユニット回路部3は、一定の時間間隔で非圧縮の画像データを逐次取得する取得手段を構成している。
【0016】
画像データ処理部5は、A/D変換後の画像信号に対して、画素毎のR,G,Bの色成分データ(RGBデータ)を生成するRGB補間処理、RGBデータから輝度信号(Y)と色差信号(U、V)からなるYUVデータを画素毎に生成するYUV変換処理、さらに、ホワイトバランス調整や輪郭強調などの画品質向上のためのデジタル信号処理等を行う。
具体的には、画像データ処理部5は、圧縮部5aと、圧縮制御情報設定部5bと、圧縮率設定部5cと、判定部5dと、圧縮制御部5eとを具備している。
【0017】
圧縮部5aは、非圧縮の画像データの各々に対して圧縮処理を施す。
即ち、圧縮部(圧縮手段)5aは、画像を記録する際に、逐次生成される各フレーム画像の非圧縮のYUVデータの複製に対して、所定の符号化方式(例えば、JPEG形式等)に従って圧縮処理を施す。そして、圧縮部5aは、圧縮処理後の各フレーム画像の画像データをメモリ7に順次出力し、当該メモリ7の所定の格納領域に格納させる。
ここで、圧縮処理とは、データ量を低減(圧縮)させる処理であれば如何なるものであっても良く、例えば、YUVデータの色差信号(U、V)のダウンサンプリングの程度を変更する処理や、量子化(quantization)のビット数を変更する処理等を含む。また、圧縮処理の処理対象として、YUVデータを例示したが、一例であってこれに限られるものではなく、例えば、RGBデータや他の色空間の画像データ等であっても良い。
【0018】
なお、圧縮部5aにより所定の符号化方式に従って圧縮された画像データは、例えば、画像を再生表示する場合には、画像データ処理部5は、表示対象の画像データを対応する所定の符号化方式に従って復号して、表示部9の表示制御部9bに出力する。
【0019】
圧縮制御情報設定部5bは、撮像フレームレートに応じた圧縮制御テーブルTを設定する。
具体的には、圧縮制御情報設定部5bは、テーブル記録部6に記録されている複数の圧縮制御テーブルTの中で、非圧縮の画像データを取得する際の撮像フレームレートに対応する圧縮制御テーブルTをテーブル記録部6から読み出して設定する。
ここで、複数の圧縮制御テーブルTの各々は、複数の撮像フレームレートに対応して規定されている(図2(a)及び図2(b)参照)。また、各圧縮制御テーブルTには、連続撮像に係る1枚目や2枚目以降の各画像の圧縮率、1回目の圧縮処理後の再度の圧縮処理を許可するか否かの指示に係る圧縮制御情報が含まれている(詳細後述)。
また、撮像フレームレートA[fps]で1[s](1000[ms])を除算した値(1000/撮像フレームレートA[ms])が、ユニット回路部3により非圧縮の画像データが逐次取得される時間間隔となる。
つまり、圧縮制御情報設定部5bは、非圧縮の画像データを逐次取得する所定の時間間隔に応じて、圧縮部5aによる処理対象の画像データの圧縮処理後の再度の圧縮処理を許可するか否かを指示する圧縮制御情報を設定する設定手段を構成している。
【0020】
圧縮率設定部5cは、圧縮制御情報設定部5bにより設定された圧縮制御テーブルTに応じて、圧縮部5aによる圧縮処理の圧縮率を設定する。
具体的には、テーブル記録部6に記録されている複数の圧縮制御テーブルTの中で何れか一の圧縮制御テーブルTが圧縮制御情報設定部5bにより設定されると、圧縮率設定部5cは、当該一の圧縮制御テーブルTに規定されている連続撮像に係る1枚目や2枚目以降の画像の圧縮率を設定する。
ここで、複数の圧縮制御テーブルTは、非圧縮の画像データが逐次取得される時間間隔に対応する撮像フレームレートに応じて、連続撮像に係る各画像の圧縮率が規定されている。そして、圧縮制御情報設定部5bにより撮像フレームレートに応じた圧縮制御テーブルTが設定されることで、圧縮率設定部(圧縮率設定手段)5cは、当該圧縮制御テーブルTに規定されている連続撮像に係る各画像の圧縮率を、非圧縮の画像データが逐次取得される時間間隔に応じた各画像の圧縮率として設定する。また、圧縮制御情報設定部5bにより、連続撮像に係る各画像の圧縮率が異なる複数の圧縮制御テーブルTの中から何れか一の圧縮制御テーブルTが設定されることで、圧縮率設定部5cは、テーブル記録部6に記録されている複数の圧縮率の中で圧縮部5aによる圧縮処理に係る圧縮率を設定する。
【0021】
判定部5dは、非圧縮の画像データの第1の圧縮率での圧縮処理が成功したか否かを判定する。
即ち、判定部(判定手段)5dは、ユニット回路部3により逐次取得される非圧縮の画像データの圧縮部5aによる第1の圧縮率での圧縮処理が成功したか否かを判定する。具体的には、判定部5dは、所定の規格(例えば、DCF等)に準拠したフォーマットでの画像データのファイル化が成功したか否かに応じて、非圧縮の画像データの圧縮部5aによる第1の圧縮率での圧縮処理が成功したか否かを判定する。
【0022】
圧縮制御部5eは、圧縮制御テーブルTに基づいて、非圧縮の画像データを圧縮部5aにより所定の圧縮率で圧縮処理させる。
即ち、圧縮制御部(圧縮制御手段)5eは、圧縮制御情報設定部5bによって設定された圧縮制御テーブルTに基づいて、非圧縮の画像データが逐次取得される時間間隔以内に処理対象の画像データを圧縮部5aにより圧縮処理させる。
具体的には、圧縮制御テーブルT(例えば、撮像フレームレートが15[fps]に対応する圧縮制御テーブルT2等)にてリトライ処理(再度の圧縮処理)を許可する圧縮制御情報が設定された状態で、判定部5dにより第1の圧縮率(例えば、40[%]等)での圧縮処理が成功しなかったと判定されると、圧縮制御部5eは、第1の圧縮率よりも高い第2の圧縮率(例えば、20[%]等)で処理対象の画像データの複製を圧縮部5aにより再度圧縮処理させる。
【0023】
また、2枚目以降の画像に対しては、前回圧縮処理された画像データがメモリ7に格納された状態でメモリ7の記録容量に占める当該圧縮処理後の画像データの割合に基づいて、圧縮制御部5eは、非圧縮の画像データが逐次取得される時間間隔に応じて当該処理対象となった画像データの次に取得される非圧縮の画像データの圧縮率を設定する。
具体的には、圧縮制御部5eは、メモリ7の格納領域に前回処理対象となった画像データが一時的に格納された状態で、メモリ7の記録容量に占める当該圧縮処理後の画像データの割合(例えば、百分率等)に基づいてメモリ7の空き容量が「余裕あり」、「適切」及び「余裕なし」の何れであるかを特定する。例えば、圧縮制御部5eは、メモリ7の記録容量に占める当該圧縮処理後の画像データの割合が、第1の判定値よりも小さい場合にはメモリ7の空き容量が「余裕あり」と判断し、また、第1の判定値以上、且つ、第2の判定値よりも小さい場合にはメモリ7の空き容量が「適切」と判断し、第2の判定値以上の場合にはメモリ7の空き容量が「余裕なし」と判断する。
そして、メモリ7の空き容量が「余裕あり」と判断した場合に、圧縮制御部5eは、当該処理対象の画像データの次に取得される非圧縮の画像データの圧縮率として、当該処理対象の画像データの圧縮率よりも低い圧縮率、即ち、圧縮処理後のデータ量が大きくなる圧縮率を設定する。また、メモリ7の空き容量が「適切」と判断した場合に、圧縮制御部5eは、当該処理対象の画像データの次に取得される非圧縮の画像データの圧縮率として、当該処理対象の画像データの圧縮率と同じ圧縮率を設定する。また、メモリ7の空き容量が「余裕なし」と判断した場合に、圧縮制御部5eは、当該処理対象の画像データの次に取得される非圧縮の画像データの圧縮率として、当該処理対象の画像データの圧縮率よりも高い圧縮率、即ち、圧縮処理後のデータ量が小さくなる圧縮率を設定する。
なお、第1の判定値は、例えば、0[%]よりも大きい値であれば適宜任意に設定可能であり、また、第2の判定値は、第1の判定値よりも大きい値であれば適宜任意に設定可能であり、また、第3の判定値は、第2の判定値よりも大きい値で、且つ、100[%]よりも小さい値であれば適宜任意に設定可能である。
【0024】
テーブル記録部6は、複数の圧縮制御テーブルT(図2(a)及び図2(b)参照)を記録している。
複数の圧縮制御テーブルTは、複数の撮像フレームレートに対応させて設けられ、例えば、30[fps]用の圧縮制御テーブルT1(図2(a)参照)や15[fps]用の圧縮制御テーブルT2等を含む。
また、圧縮制御テーブルTの各々は、連続撮像に係る1枚目や2枚目以降の各画像の圧縮処理内容を含む。この圧縮処理内容は、各画像について、「1回目の圧縮処理の圧縮率」と、1回目の圧縮処理後の再度の圧縮処理を許可するか否かの指示に係る圧縮制御情報(「圧縮処理内容」)とが対応付けられている。圧縮制御情報には、「1回目の圧縮処理後の処理内容」や、「リトライ処理後の処理内容」等が含まれているが、撮像フレームレートに応じて規定されている情報が異なっている。つまり、非圧縮の画像データが逐次取得される時間間隔は、撮像フレームレートに応じて変動する。これに対して、画像データの圧縮処理に係る時間は、画素数(サイズ)が変動しない限り、略一定(例えば、25[mS])と考えることができる。このため、撮像フレームレートが高速になるほど非圧縮の画像データが逐次取得される時間間隔が短くなることから、一の画像データの圧縮処理の完了後に次の画像データが取得されるまでの時間が短くなってしまい、1回目の圧縮処理後の処理内容に制約が生じる。従って、高速の撮像フレームレートに対応する圧縮制御テーブルTでは、1回目の圧縮処理後に再度の圧縮処理(リトライ処理)を行うことができず、「リトライ処理後の処理内容」が規定されていない。一方、撮像フレームレートがより低速の15[fps]の場合、非圧縮の画像データが逐次取得される時間間隔が66[mS]となるため、一回の圧縮処理にかかる時間が25[mS]としても、再度の圧縮処理を行う時間が十分にあると考えられる。
なお、圧縮率とは、非圧縮の画像データのデータ量を圧縮させる割合を表し、例えば、圧縮率が20[%]であるとは、非圧縮の画像データのデータ量(サイズ)の80[%]を圧縮してデータ量を20[%]とすることである。
【0025】
例えば、図2(a)に示すように、撮像フレームレートが30[fps]用の圧縮制御テーブルT1には、連続撮像に係る1枚目の画像の圧縮率として、20[%]が対応付けられ、「1回目の圧縮処理後の処理内容」として、画像データに対する処理を保留することを表す「保留」が対応付けられている。
また、連続撮像に係る2枚目以降の画像の1回目の圧縮率は、前回の画像データが圧縮処理された時のメモリ7の空き容量に応じて変動し、例えば、空き容量が「余裕あり」の場合、前回よりも低い圧縮率(例えば、30[%])が対応付けられ、空き容量が「適切」の場合、前回と同じ圧縮率が対応付けられ、空き容量が「余裕なし」の場合、前回よりも高い圧縮率(例えば、40[%])が対応付けられている。また、連続撮像に係る2枚目以降の画像の「1回目の圧縮処理後の処理内容」として、連続撮像の中止を表す「撮像中止」或いは画像データの破棄を表す「破棄」が対応付けられている。
なお、「1回目の圧縮処理後の処理内容」は、メモリ7の空き容量に余裕がなく、リトライ処理が不可の場合の処理に対応する。
【0026】
また、例えば、図2(b)に示すように、撮像フレームレートが15[fps]用の圧縮制御テーブルT2には、連続撮像に係る1枚目の画像の圧縮率として、40[%]が対応付けられ、「1回目の圧縮処理後の処理内容」として、画像データを前回よりも低い圧縮率(例えば、20[%]等)で再度圧縮処理(リトライ処理)することを表す「リトライ処理」が対応付けられ、「リトライ処理後の処理内容」として、「保留」が対応付けられている。
また、連続撮像に係る2枚目以降の画像の1回目の圧縮率は、前回の画像データが圧縮処理された時のメモリ7の空き容量に応じて変動し、例えば、空き容量が「余裕あり」の場合、前回よりも低い圧縮率(例えば、50[%])が対応付けられ、空き容量が「適切」の場合、前回と同じ圧縮率が対応付けられ、空き容量が「余裕なし」の場合、前回よりも高い圧縮率(例えば、30[%])が対応付けられている。また、連続撮像に係る2枚目以降の画像の「1回目の圧縮処理後の処理内容」として、「リトライ処理」が対応付けられ、「リトライ処理後の処理内容」として、「撮像中止」或いは「破棄」が対応付けられている。
なお、「1回目の圧縮処理後の処理内容」は、メモリ7の空き容量に余裕がある場合の処理に対応し、「リトライ処理後の処理内容」は、リトライ処理が不可の場合の処理に対応する。
【0027】
このように、テーブル記録部6は、撮像フレームレートに対応する非圧縮の画像データが逐次取得される時間間隔に応じた圧縮部5aによる圧縮処理の複数の圧縮率を記録する圧縮率記録手段を構成している。
なお、各圧縮制御テーブルTに記録されている1回目の圧縮率は、例えば、圧縮処理後の画像の画質の劣化の抑制の観点から相対的に低い圧縮率が設定されるのが望ましい。また、圧縮率の数値は、予めデフォルトとして指定されている値であっても良いし、ユーザによる操作入力部10の所定操作等に基づいて任意に指定されたユーザ所望の値であっても良い。
【0028】
メモリ7は、例えば、DRAM(Dynamic Random Access Memory)等により構成され、中央制御部11の他、当該撮像装置100の各部によって処理されるデータ等を一時的に格納する。即ち、メモリ7は、記録手段として、画像データ処理部5の圧縮部5aによる圧縮処理後の画像データを記録する所定の記録容量を有する。具体的には、メモリ7は、例えば、画像データ等を一時的に記録するバッファメモリや、中央制御部11などのワーキングメモリ、当該撮像装置100の機能に係る各種プログラムやデータが格納されたプログラムメモリ等(何れも図示略)として機能する。
【0029】
記録媒体制御部8は、例えば、不揮発性メモリ(フラッシュメモリ)等の記録媒体Mが着脱自在に構成され、装着された記録媒体Mからのデータの読み出しや記録媒体Mに対するデータの書き込みを制御する。
即ち、記録媒体制御部8は、画像データ処理部5の圧縮部5aにより所定の圧縮形式(例えば、JPEG形式、モーションJPEG形式、MPEG形式等)で符号化(ファイル化)された記録用の画像データをメモリ7から取得して、記録媒体Mの所定の記録領域に記録させる。
【0030】
表示部9は、表示パネル9aと、表示制御部9bとを具備している。
表示パネル9aは、その表示領域内に画像を表示する。また、表示パネル9aとしては、例えば、液晶表示パネルや有機EL表示パネルなどが挙げられるが、一例であってこれらに限られるものではない。
【0031】
表示制御部9bは、記録媒体Mから読み出され画像データ処理部5により復号された所定サイズの画像データに基づいて、所定の画像を表示パネル9aの表示領域に表示させる制御を行う。具体的には、表示制御部9bは、VRAM(Video Random Access Memory)、VRAMコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、画像データ処理部5により復号されてVRAM(図示略)に記憶されている輝度信号Y及び色差信号Cb,Crを、VRAMコントローラを介してVRAMから所定の再生フレームレート(例えば、60fps)で読み出して、これらのデータを元にビデオ信号を発生して表示パネル9aに出力する。
【0032】
操作入力部10は、当該撮像装置100の所定操作を行うためのものである。具体的には、操作入力部10は、例えば、装置本体の電源のON/OFFに係る電源ボタン、被写体の撮像指示に係るシャッタボタン、撮像モードや機能等の選択指示に係る選択決定用ボタン、ズーム量の調整指示に係るズームボタン(何れも図示略)等の操作部を備えている。そして、操作入力部10は、ユーザによる操作部の各ボタンの所定操作に応じて所定の操作信号を中央制御部11に出力する。
【0033】
中央制御部11は、例えば、撮像装置100の各部を制御するCPUを具備するワンチップマイコン等から構成されている。
また、中央制御部11は、操作入力部10から出力され入力された操作信号に基づいて、撮像装置100の各部を制御する。具体的には、中央制御部11は、操作入力部10のシャッタボタンの所定操作に従って出力された記録指示信号が入力されると、プログラムメモリに記憶されている所定のプログラムに従って、撮像制御部4により電子撮像部2及びユニット回路部3の駆動タイミングを制御して静止画像を撮像する処理を実行する。この静止画像の撮像により生成された各フレーム画像のYUVデータは、画像データ処理部5によりJPEG方式等の所定の符号化方式に従って圧縮されて、記録媒体Mに静止画像データとして記録される。
【0034】
次に、撮像装置100による連続撮像処理について、図3及び図4を参照して説明する。
図3及び図4は、連続撮像処理に係る動作の一例を示すフローチャートである。
【0035】
図3に示すように、中央制御部11のCPUは、ユーザによる操作入力部10のシャッタボタンの所定操作に基づいて出力された撮像指示が入力されたか否かを判定する(ステップS1)。
ステップS1における撮像指示が入力されたか否かの判定は、当該撮像指示が入力されたと判定されるまで(ステップS1;YES)、所定の時間間隔で繰り返し実行される。
【0036】
ステップS1にて、撮像指示が入力されたと判定されると(ステップS1;YES)、撮像制御部4は、レンズ部1及び電子撮像部2により被写体を撮像させる(ステップS2)。具体的には、撮像制御部4は、レンズ部1により結像された被写体の光学像を電子撮像部2により所定の撮像フレームレートに対応する一定の時間間隔で二次元の画像信号に変換させ、ユニット回路部3に出力させる。続けて、撮像制御部4は、ユニット回路部3により被写体の光学像に応じたアナログの画像信号をデジタルの画像信号に変換させ、非圧縮の画像データとして取得させる(ステップS3)。
【0037】
画像データ処理部5は、デジタルの画像信号の画素毎のR,G,Bの色成分データ(RGBデータ)を生成し、当該RGBデータを非圧縮のYUVデータに変換した後、当該YUVデータが連写撮像に係る一枚目(N=1)の画像であるか否かを判定する(ステップS4)。
ここで、一枚目の画像であると判定されると(ステップS4;YES)、圧縮制御情報設定部5bは、撮像フレームレート(例えば、15[fps]等)を取得した後(ステップS5)、取得された撮像フレームレートに対応する圧縮制御テーブルT(例えば、15[fps]用の圧縮制御テーブルT2等)をテーブル記録部6から読み出して取得する(ステップS6)。
【0038】
次に、圧縮率設定部5cは、取得された圧縮制御テーブルTに規定されている「1回目の圧縮率」の欄を参照して、連続撮像に係る1枚目の画像の圧縮率(例えば、40[%]等)を設定する(ステップS7)。続けて、圧縮制御部5eは、設定された圧縮率で1枚目の非圧縮のYUVデータを圧縮部5aにより圧縮処理させる(ステップS8)。
次に、判定部5dは、所定の規格(例えば、DCF等)に準拠したフォーマットでの1枚目の非圧縮のYUVデータのファイル化が成功したか否かを判定する(ステップS9)。
【0039】
ステップS9にて、YUVデータのファイル化が成功したと判定されると(ステップS9;YES)、圧縮部5aは、圧縮処理後の画像データ(画像ファイル)をメモリ7に出力して、当該メモリ7の所定の格納領域に一時的に格納させる(ステップS10)。
続けて、中央制御部11のCPUは、連写枚数が所定枚数に達したか否かを判定する(ステップS11)。
ここで、所定枚数とは、ユーザによる操作入力部10の所定操作に基づいて設定された枚数であっても良いし、当該連続撮像処理にて連続して撮像可能な最大枚数等を含む。
【0040】
ステップS11にて、連写枚数が所定枚数に達していないと判定されると(ステップS11;NO)、図4に示すように、圧縮制御部5eは、メモリ7の空き容量を取得した後(ステップS12)、メモリ7の空き容量に余裕があるか否かを判定する(ステップS13)。具体的には、圧縮制御部5eは、メモリ7の記録容量に占める当該圧縮処理後の画像データの割合(例えば、百分率等)を算出して、算出された割合に基づいてメモリ7の空き容量が「余裕あり」であるか否かを判定する。
【0041】
ステップS13にて、メモリ7の空き容量に余裕があると判定されると(ステップS13;YES)、圧縮制御部5eは、圧縮制御テーブルT(例えば、15[fps]用の圧縮制御テーブルT2等)の「1回目の圧縮処理後の処理内容」の欄を参照して、再度の圧縮処理(リトライ処理)が可能か否かを判定する(ステップS14)。
また、ステップS9にて、YUVデータのファイル化が成功していないと判定された場合にも(ステップS9;NO)、圧縮制御部5eは、処理をステップS14に移行して、再度の圧縮処理が可能か否かを判定する(ステップS14)。
【0042】
ステップS14にて、再度の圧縮処理が可能であると判定されると(ステップS14;YES)、図3に示すように、圧縮率設定部5cは、処理をステップS7に戻し、圧縮制御テーブルTの「1回目の圧縮処理後の処理内容」に規定されているリトライ処理の圧縮率(例えば、20[%]等)を設定する(ステップS7)。ステップS7以降の各処理は、上記と同様であり、その詳細な説明は省略する。
そして、ステップS13にて、メモリ7の空き容量に余裕がないと判定されると(ステップS13;NO)、圧縮制御部5eは、処理対象の画像データが連写撮像に係る一枚目(N=1)の画像であるか否かを判定する(ステップS15)。
ここでは、連写撮像に係る一枚目の画像であると判定され(ステップS15;YES)、記録媒体制御部8は、メモリ7から圧縮処理後の画像データを取得して、記録媒体Mの所定の記録領域に記録させた後(ステップS16)、中央制御部11のCPUは、2枚目以降の画像の連写を中止させて、当該連続撮像処理を終了する(ステップS17)。
【0043】
一方、ステップS14にて、再度の圧縮処理が不可能であると判定されると(ステップS14;NO)、記録媒体制御部8は、メモリ7から圧縮処理後の画像データを取得して、記録媒体Mの所定の記録領域に記録させる(ステップS18)。
即ち、再度の圧縮処理を行う時間がない場合、撮像フレームレートに対応する次のタイミングにて撮像される画像(2枚目以降の画像)の処理に備えるため、図3に示すように、中央制御部11のCPUは、処理をステップS3に戻す。そして、撮像制御部4は、一定の時間間隔で電子撮像部2から出力される被写体の光学像に応じたアナログの画像信号をユニット回路部3によりデジタルの画像信号に変換させ、非圧縮の画像データとして取得させる(ステップS3)。
その後、2枚目以降の各画像に対してもステップS3以降の各処理が、上記と同様にして行われる。
【0044】
2枚目以降の各画像に対する各処理のうち、ステップS7にて、圧縮率設定部5cは、圧縮制御テーブルTの「1回目の圧縮率」の欄を参照して、連続撮像に係る各画像の圧縮率を設定する(ステップS7)。具体的には、圧縮率設定部5cは、前回処理対象となった画像(例えば、1枚目の画像等)に対するステップS13の処理にて算出されたメモリ7の記録容量に占める当該圧縮処理後の画像データの割合を取得する。そして、圧縮率設定部5cは、メモリ7の空き容量が「余裕あり」、「適切」及び「余裕なし」の何れであるかを特定して、特定された結果に応じて今回処理対象となっている画像(例えば、2枚目の画像等)の圧縮率を設定する。
例えば、メモリ7の空き容量が「余裕あり」の場合には、圧縮制御部5eは、圧縮処理後のデータ量が大きくなるように、前回処理対象の画像データの圧縮率よりも低い圧縮率(例えば、50[%]等)を設定する。
【0045】
その後、2枚目以降の各画像に対してもステップS7以降の各処理が、上記と同様にして行われる。
ステップS13にて、メモリ7の空き容量に余裕があると判定された後(ステップS13;YES)、ステップS14にて、再度の圧縮処理が可能であると判定されると(ステップS14;YES)、図3に示すように、圧縮率設定部5cは、処理をステップS7に戻し、圧縮制御テーブルTの「1回目の圧縮処理後の処理内容」に規定されているリトライ処理の圧縮率(例えば、20[%]等)を設定する(ステップS7)。ステップS7以降の各処理は、上記と同様であり、その詳細な説明は省略する。
その後、ステップS13にて、メモリ7の空き容量に余裕がないと判定されると(ステップS13;NO)、圧縮制御部5eは、処理対象の画像データが連写撮像に係る一枚目(N=1)の画像であるか否かを判定する(ステップS15)。
ここでは、連写撮像に係る一枚目の画像でないと判定され(ステップS15;NO)、中央制御部11のCPUは、圧縮制御テーブルTの「リトライ処理後の処理内容」の欄を参照して、ステップS16の処理をスキップして、それ以降の画像の連写を中止させて、当該連続撮像処理を終了する(ステップS17)。
【0046】
一方、ステップS11にて、連写枚数が所定枚数に達したと判定されると(ステップS11;YES)、記録媒体制御部8は、メモリ7から最後に圧縮処理された圧縮処理後の画像データを取得して、記録媒体Mの所定の記録領域に記録させた後(ステップS19)、中央制御部11のCPUは、当該連続撮像処理を終了する。
【0047】
なお、上記の連続撮像処理では、圧縮処理後の画像データを一旦メモリ7に格納した後、記録媒体Mに記録するようにしたが、一例であってこれに限られるものではなく、例えば、メモリ7を介在させることなく、圧縮処理後の画像データを記録媒体Mに直接記録するようにしても良い。
【0048】
以上のように、本実施形態の撮像装置100によれば、非圧縮の画像データが逐次取得される所定の時間間隔に応じて設定された、圧縮部5aによる処理対象の画像データの圧縮処理後の再度の圧縮処理を許可するか否かを指示する圧縮制御情報に基づいて、所定の時間間隔以内に処理対象の画像データを圧縮部5aにより圧縮処理させるので、非圧縮の画像データが逐次取得される時間間隔を考慮して処理対象の画像データの圧縮処理後の再度の圧縮処理を行うことができる。具体的には、再度の圧縮処理が許可された状態で、非圧縮の画像データの第1の圧縮率での圧縮処理が成功しなかったと判定された場合に、第1の圧縮率よりも高い第2の圧縮率で処理対象の画像データを圧縮部5aにより圧縮処理させることができる。即ち、処理対象となった非圧縮の画像データ毎に画質の劣化の抑制の観点から相対的に低い圧縮率で圧縮処理を行うことができるとともに、再度の圧縮処理が許可されている場合には、逐次取得される非圧縮の画像データの圧縮処理を停止させないように相対的に高い圧縮率で画像データを圧縮処理することができる。
特に、被写体の連続撮像により逐次生成される非圧縮の画像データを処理対象とする場合には、所定の撮像フレームレートでの連続撮像が可能となるように、即ち、連続撮像の途中で圧縮処理が停止しないように圧縮率を予め設定する必要がなくなる。つまり、連続撮像される全てのフレーム画像の画質が劣化してしまうのを許容した相対的に高い圧縮率を予め設定しておかなくとも、途中で圧縮処理が停止することなく、所定の撮像フレームレートでの連続撮像を行うことができる。
このように、不必要に高い圧縮率での圧縮処理を抑制することができ、圧縮処理後の画像の高画質化を図ることができる。
【0049】
また、メモリ7の記録容量に占める圧縮処理後の画像データの割合に基づいて、所定の時間間隔に応じて当該処理対象となった画像データの次に取得される非圧縮の画像データの圧縮率を設定するので、非圧縮の画像データが逐次取得される時間間隔に応じて圧縮率を変動させることができ、次に取得される非圧縮の画像データの圧縮処理を停止させないように相対的に高い圧縮率を設定したり、圧縮処理後の画像の高画質化を図れるように相対的に低い圧縮率を設定することができる。
【0050】
また、非圧縮の画像データを取得する際の複数の時間間隔に応じて、圧縮部5aによる圧縮処理の圧縮率を設定することができる。具体的には、圧縮制御テーブルTに記録されている複数の時間間隔に応じた複数の圧縮率の中で、圧縮部5aによる圧縮処理の圧縮率を設定することができる。
これにより、撮像フレームレートに対応する複数の時間間隔に応じて、圧縮処理後の画像の画質の劣化や圧縮処理の停止の抑制を考慮して画像データの圧縮率を変動させることができる。即ち、撮像フレームレートが相対的に高速になるほど非圧縮の画像データが逐次取得される時間間隔が短くなるため、この場合には、逐次取得される非圧縮の画像データの圧縮処理を停止させないように相対的により高い圧縮率を設定することができる。その一方で、撮像フレームレートが相対的に低速になるほど非圧縮の画像データが逐次取得される時間間隔が長くなるため、この場合には、圧縮処理後の画像の高画質化を図れるように相対的により低い圧縮率を設定することができる。
【0051】
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、画像処理装置として、撮像装置100を例示したが、一例であってこれに限られるものではなく、撮像装置100の構成は適宜任意に変更可能である。
【0052】
加えて、上記実施形態にあっては、中央制御部11の制御下にて、圧縮制御情報設定部5b、圧縮制御部5e等が駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部11のCPUによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ(図示略)に、設定処理ルーチン、圧縮制御処理ルーチンを含むプログラムを記憶しておく。そして、設定処理ルーチンにより中央制御部11のCPUを、非圧縮の画像データが逐次取得される所定の時間間隔に応じて、圧縮手段による処理対象の画像データの圧縮処理後の再度の圧縮処理を許可するか否かを指示する圧縮制御情報を設定する設定手段として機能させるようにしても良い。また、圧縮制御処理ルーチンにより中央制御部11のCPUを、設定手段によって設定された圧縮制御情報に基づいて、所定の時間間隔以内に処理対象の画像データを圧縮手段により圧縮処理させる圧縮制御手段として機能させるようにしても良い。
【0053】
さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ROMやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、CD−ROM等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ(搬送波)も適用される。
【0054】
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
<請求項1>
所定の時間間隔で非圧縮の画像データを逐次取得する取得手段と、
この取得手段により取得された各々の非圧縮の画像データに対して圧縮処理を施す圧縮手段と、
前記所定の時間間隔に応じて、前記圧縮手段による処理対象の画像データの圧縮処理後の再度の圧縮処理を許可するか否かを指示する圧縮制御情報を設定する設定手段と、
前記設定手段によって設定された圧縮制御情報に基づいて、前記所定の時間間隔以内に前記処理対象の画像データを前記圧縮手段により圧縮処理させる圧縮制御手段と、
を備えたことを特徴とする画像処理装置。
<請求項2>
前記圧縮手段による前記非圧縮の画像データの第1の圧縮率での圧縮処理が成功したか否かを判定する判定手段を更に備え、
前記圧縮制御手段は、
前記設定手段により前記再度の圧縮処理を許可する圧縮制御情報が設定された状態で、前記判定手段により前記第1の圧縮率での圧縮処理が成功しなかったと判定された場合に、前記第1の圧縮率よりも高い第2の圧縮率で前記処理対象の画像データを前記圧縮手段により圧縮処理させることを特徴とする請求項1記載の画像処理装置。
<請求項3>
前記圧縮手段による圧縮処理後の画像データを記録する所定の記録容量を有する記録手段を更に備え、
前記圧縮制御手段は、
前記所定の記録容量に占める圧縮処理後の画像データの割合に基づいて、前記所定の時間間隔に応じて当該処理対象となった画像データの次に前記取得手段により取得される非圧縮の画像データの圧縮率を設定することを特徴とする請求項1又は2に記載の画像処理装置。
<請求項4>
前記取得手段により非圧縮の画像データを取得する際の時間間隔が複数規定され、
前記複数の時間間隔に応じて、前記圧縮手段による圧縮処理の圧縮率を設定する圧縮率設定手段を更に備えることを特徴とする請求項1〜3の何れか一項に記載の画像処理装置。
<請求項5>
前記複数の時間間隔に応じた前記圧縮手段による圧縮処理の複数の圧縮率を記録する圧縮率記録手段を更に備え、
前記圧縮率設定手段は、前記圧縮率記録手段に記録されている複数の圧縮率の中で、前記圧縮手段による圧縮処理の圧縮率を設定することを特徴とする請求項4に記載の画像処理装置。
<請求項6>
前記取得手段は、被写体を撮像して画像データを生成する撮像手段を含むことを特徴とする請求項1〜5の何れか一項に記載の画像処理装置。
<請求項7>
所定の時間間隔で非圧縮の画像データを逐次取得する取得手段と、この取得手段により取得された各々の非圧縮の画像データに対して圧縮処理を施す圧縮手段と、を備えた画像処理装置を用いた画像処理方法であって、
前記所定の時間間隔に応じて、前記圧縮手段による処理対象の画像データの圧縮処理後の再度の圧縮処理を許可するか否かを指示する圧縮制御情報を設定する処理と、
設定された圧縮制御情報に基づいて、前記所定の時間間隔以内に前記処理対象の画像データを前記圧縮手段により圧縮処理させる処理と、
を含むことを特徴とする画像処理方法。
<請求項8>
所定の時間間隔で非圧縮の画像データを逐次取得する取得手段と、この取得手段により取得された各々の非圧縮の画像データに対して圧縮処理を施す圧縮手段と、を備えた画像処理装置のコンピュータを、
前記所定の時間間隔に応じて、前記圧縮手段による処理対象の画像データの圧縮処理後の再度の圧縮処理を許可するか否かを指示する圧縮制御情報を設定する設定手段、
前記設定手段によって設定された圧縮制御情報に基づいて、前記所定の時間間隔以内に前記処理対象の画像データを前記圧縮手段により圧縮処理させる圧縮制御手段、
として機能させることを特徴とするプログラム。
【符号の説明】
【0055】
100 撮像装置
1 レンズ部
2 電子撮像部
3 ユニット回路部
5 画像データ処理部
5a 圧縮部
5b 圧縮制御情報設定部
5c 圧縮率設定部
5d 判定部
5e 圧縮制御部
6 テーブル記録部
T 圧縮制御テーブル
7 メモリ
11 中央制御部
図1
図2
図3
図4