(58)【調査した分野】(Int.Cl.,DB名)
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、従来においては不要部分と判定した動画像を単に削除する処理を実行するのみであることから、判定に対応して実行される記録に関連した処理は単純かつ単一である。よって、不要部分の撮影に応じて自動処理が実行されても、これによる利便性は低く、このためより多様な記録制御が実行される技術の出現が期待されていた。
【0007】
本発明は、かかる従来の課題に鑑みてなされたものであり、動画撮影時における不要部分の撮影に応じて、多様な記録に関連した処理を行う撮像装置、プログラム及び撮像方法を提供することを目的とするものである。
【課題を解決するための手段】
【0008】
前記
目的を達成するため本発明に
係る撮像装置
の一様態は、動画像を撮像する撮像手段と、
前記撮像手段により撮像されている
前記動画像が不要な画像であるか否かを判断する判断手段と、
前記判断手段により
前記不要な画像であると判断された期間を測定する測定手段と、
前記測定手段により測定された前記期間の長さに応じた異なる処理態様で、前記撮像手段により撮像された
前記動画像の記録に関連する処理を実行する記録処理手段と
、を備
え、前記記録処理手段の前記処理態様には、前記測定手段により測定された前記期間が所定の閾値以下である場合には、前記判断手段により前記不要な画像であると判断されるまでに前記撮像手段により撮像された前記動画像を一つのファイルで記録する記録処理と、前記期間が前記所定の閾値を超える場合には、前記撮像手段により撮像された前記動画像を破棄して記録しない破棄処理と、が含まれる、ことを特徴とする。
【0009】
また、
前記目的を達成するため本発明に
係るプログラム
の一様態は、動画像を撮像する撮像手段を備える
撮像装置が有するコンピュータが読み取り可能
なプログラムであって
、前記コンピュータを、前記撮像手段により撮像されている
前記動画像が不要な画像であるか否かを判断する判断手
段、前記判断手段により
前記不要な画像であると判断された期間を測定する測定手
段、前記測定手段により測定された前記期間の長さに応じた異なる処理態様で、前記撮像手段により撮像された
前記動画像の記録に関連する処理を実行する記録処理手
段、として機能さ
せ、前記記録処理手段の前記処理態様には、前記測定手段により測定された前記期間が所定の閾値以下である場合には、前記判断手段により前記不要な画像であると判断されるまでに前記撮像手段により撮像された前記動画像を一つのファイルで記録する記録処理と、前記期間が前記所定の閾値を超える場合には、前記撮像手段により撮像された前記動画像を破棄して記録しない破棄処理と、が含まれる、ことを特徴とする。
【0010】
また、
前記目的を達成するため本発明に
係る撮像方法
の一様態は、動画像を撮像する撮像ステップと、
前記撮像ステップにより撮像されている
前記動画像が不要な画像であるか否かを判断する判断ステップと、
前記判断ステップにより
前記不要な画像であると判断された期間を測定する測定ステップと、
前記測定ステップにより測定された前記期間の長さに応じた異なる処理態様で、前記撮像ステップにより撮像された
前記動画像の記録に関連する処理を実行する記録処理ステップと
、を含
み、前記記録処理ステップでの前記処理態様には、前記測定ステップで測定された前記期間が所定の閾値以下である場合には、前記判断ステップで前記不要な画像であると判断されるまでに前記撮像ステップで撮像された前記動画像を一つのファイルで記録する記録処理と、前記期間が前記所定の閾値を超える場合には、前記撮像ステップで撮像された前記動画像を破棄して記録しない破棄処理と、が含まれる、ことを特徴とする。
【発明の効果】
【0011】
本発明によれば、動画撮影時における不要部分の撮影に応じて、多様な記録に関連した処理を行うことが可能となる。
【発明を実施するための形態】
【0013】
以下、本発明の一実施の形態を図に従って説明する。
図1は、本発明の一実施の形態を適用したデジタルカメラ10の回路構成を示すブロック図であり、このデジタルカメラ10は、AF(Auto Focus)、AE(Auto Exposure)、AWB(Auto White Balance)等の一般的な機能をも有するものである。レンズブロック11には、ズームレンズ、フォーカスレンズ等の光学系、及び光学系を駆動するための駆動機構が含まれており、前記光学系は、駆動機構に設けられているモーター12によって光軸方向に駆動される。
【0014】
デジタルカメラ10全体を制御するCPU13には、バス14及びタイミング発生器(TG:Timing Generator)15を介してモータードライバ16が接続されており、モータードライバ16は、CPU13の命令に従いタイミング発生器15が発生するタイミング信号に基づき、モーター12を駆動する。
【0015】
このデジタルカメラ10は、撮像素子としてCCD18を有している。CCD18は、レンズブロック11の光軸上に配置されており、被写体は、レンズブロック11によってCCD18の受光面に結像される。CCD18は、CPU13の命令に従いタイミング発生器15が生成するタイミング信号に基づき垂直及び水平ドライバ19によって駆動され、被写体の光学像に応じたアナログの撮像信号をユニット回路20に出力する。ユニット回路20は、CCD18の出力信号に含まれるノイズを相関二重サンプリングによって除去するCDS回路や、ノイズが除去された撮像信号をデジタル信号に変換するA/D変換器等から構成され、デジタルに変換した撮像信号を画像処理部21へ出力する。
【0016】
画像処理部21は、入力した撮像信号に対しペデスタルクランプ等の処理を施し、それを輝度(Y)信号及び色差(UV)信号に変換するとともに、AWB、輪郭強調、画素補間などの画品質向上のためのデジタル信号処理を行う。画像処理部21で変換されたYUVデータは順次SDRAM22に格納されるとともに、RECスルー状態では1フレーム分のデータ(画像データ)が蓄積される毎にビデオ信号に変換され、バックライトユニット24を備える液晶モニタ(LCD)23へ送られてスルー画像として画面表示される。
【0017】
そして、静止画撮影モードにおいては、シャッターキー操作をトリガとして、CPU13は、CCD18、垂直及び水平ドライバ19、ユニット回路20、及び画像処理部21に対してRECスルー状態から撮影処理への切り替えを指示する。この静止画撮影モードでの撮影処理により画像データが取得され、この取得された画像データはSDRAM22に一時記憶されて、CPU13により圧縮され、最終的に所定のフォーマットの静止画ファイルとして外部メモリ25に記録される。
【0018】
また、ムービー録画モードにおいては、1回目のシャッターキー操作によりRECスルー状態から撮影処理への切り替えを指示する。そして、1回目のシャッターキー操作と2回目のシャッターキー操作との間にて取得されて、SDRAM22に順次一時記憶される複数の画像データがCPU13により順次圧縮され、最終的に動画ファイルとして外部メモリ25に記録される。なお、CPU13が外部メモリ25に動画ファイルを記録する際の記録態様の詳細については後述する。この外部メモリ25に記録された静止画ファイル及び動画ファイルは、PLAY・モードにおいてユーザの選択操作に応じてCPU13に読み出されるとともに伸張され、YUVデータとしてSDRAM22に展開された後、液晶モニタ23に表示される。
【0019】
フラッシュメモリ26には、CPU13に前記各部を制御させるための各種のプログラム、例えばAE、AF、AWB制御用のプログラム等の各種のプログラムが格納されている。
【0020】
また、このデジタルカメラ10は、電源スイッチ、モード選択キー、シャッターキー、ズームキー等の複数の操作キー及びスイッチを含むキー入力部27、ニッケル水素電池等の充電可能なバッテリー28、このバッテリー28の電力を各部に供給するための電源制御回路29、及びこれらを制御するマイコン30を有している。マイコン30は、キー入力部27における前記操作キーの操作の有無を定常的にスキャンしており、ユーザによっていずれかの操作キーが操作されると、その操作内容に応じた操作信号をCPU13へ送る。
【0021】
また、このデジタルカメラ10は、前記ムービー録画モードにおいて、周囲音を記録する録音機能を備えており、CPU13には、音声処理回路を有する音声チップ32を介して、スピーカ(SP)33と、マイクロホン(MIC)34とが接続されている。音声チップ32は、ムービー録画モード時には、マイクロホン34から入力された音声波形を処理して、音声波形データをCPU13に入力する。そして、CPU13は、ムービー録画モードにおいて1回目と2回目のシャッターキー操作間に、音声チップ32から入力された音声波形データを圧縮し、この圧縮周囲音データと圧縮動画データとを含む音声付き動画ファイルを生成して外部メモリ25に記録する。この外部メモリ25に記録された音声付き動画ファイルは、PLAY・モードにおいて動画データが再生される際に、周囲音データが音声チップ32で音声波形に変換されてスピーカ33により再生される。
【0022】
以上の構成に係る本実施の形態において、CPU13は前記フラッシュメモリ26に格納されているプログラムに基づき、
図2のフローチャートに示すような処理を実行する。すなわち、撮影モードが設定されているRECスルー状態において、マイコン30からのキー入力部27に対するスキャン結果に基づき、撮影開始操作である1回目のシャッターキー操作がなされたか否かを判断する(ステップS1)。1回目のシャッターキー操作である撮影開始操作がなされたならば、CPU13は、CCD18、垂直及び水平ドライバ19、ユニット回路20、及び画像処理部21に対してRECスルー状態から撮影処理への切り替えを指示し、所定の撮影フレームレートに応じたタイミングで画像処理部21が出力する画像データを取得する(ステップS2)。
【0023】
そして、取得した画像データをSDRAM22に一時記憶して保存するとともに、この画像データを可変ビットレートで圧縮する(ステップS3)。さらに、この可変ビットレートで圧縮した画像データのコード量を検出するとともに、検出したコード量が所定量以下であるか否かを判断する(ステップS4)。
【0024】
ここで、コード量が所定量以下とは、圧縮した画像データにより表される画像が全面暗くて(ほぼ真っ暗で)視認不可能である場合をいう。このとき、画像データにより表される画像が全面暗くて視認不可能であれば、視認可能な画像の画像データを可変ビットレートで圧縮した際のコード量よりも遙かに少ないコード量となる。つまり、本実施の形態は、画像が全面暗くて視認不可能な画像を不要な画像であると判断するものである。したがって、レンズブロック11が有するレンズの前面を手で覆って撮影環境を意図的に暗くした場合、あるいは例えば突然の停電等により撮影環境が偶発的に暗くなった場合のいずれの場合も、ステップS4での判断はYESとなって不要な画像であると判断される。
【0025】
しかし、このような意図的な操作あるいは偶発的な事象が発生せず、正常な撮影環境が継続している限り、ステップS4での判断はNOとなる。したがって、CPU13は、ステップS4からステップS5に処理を進めて、F=1であってフラグFがセット状態にあるか否かを判断する(ステップS5)。このフラグFは、ムービー録画モードが設定された際にF=0にリセットされ、後述するように、ステップS4で不要な画像であると判断された際にF=0の状態にあれば、F=1にセットされるフラグである。したがって、前述の正常な撮影環境が継続していれば、F=0の状態にあり、正常な撮影環境が継続している限りは、ステップS5での判断がNOとなる。
【0026】
よって、ステップS7に処理を進めて、撮影終了操作である2回目のシャッターキー操作がなされたか否かを判断する。撮影終了操作がなければ、T=0であってタイマTのカウント値が「0」の状態にあるか否かを判断する(ステップS8)。このタイマTは、CPU13が動画撮影中に不要な画像であると判断した期間を測定する測定手段であり、後述するように、ステップS4で不要な画像であると判断した後にカウントアップされるタイマである。したがって、正常な撮影環境が継続している限りは、ステップS8での判断はYESとなり、CPU13はステップS2からの処理に戻る。
【0027】
つまり、正常な撮影環境が継続して動画撮影がなされていると、CPU13はステップS2→S3→S4→S5→S7→S8→S2のループによる処理を繰り返し、これにより動画を構成する所定撮影フレームレートで取得された画像データが圧縮されてSDRAM22に順次保存されていく。そして、動画撮影を終了させるべく2回目のシャッターキー操作を行うと、CPU13はステップS7でYESと判断し、SDRAM22に保存されている全画像データを1つの動画ファイルとして外部メモリ25に記録する(ステップS9)。したがって、このように正常な撮影環境が継続している状態で動画撮影がなされると、通常の動画撮影と同様に、撮影開始操作から終了操作までに取得された複数のフレーム画像データが1つの動画ファイルとして外部メモリ25に記録されることとなる。
【0028】
しかし、動画撮影中に前記意図的な操作あるいは偶発的な事象が発生すると、ステップS4での判断がYESとなる。したがって、CPU13はステップS4からステップS10に処理を進め、F=0でフラグFがリセット状態にあるか否かを判断する。F=0の状態にあるならば、これをセットしてF=1とする(ステップS11)。また、不要な画像であると判断された期間を測定するためのタイマTを動作させて、カウントアップさせる(ステップS12)。しかる後に、前述したループにおけるステップS7からの処理を実行する。
【0029】
つまり、動画撮影中に前述の意図的な操作あるいは偶発的な事象が発生すると、ステップS2→S3→S4→S10→S11→S12→S7→S8と処理が進められることとなる。このとき、ステップS12でタイマTのカウントが開始されたことから、ステップS8での判断はNOとなる。したがって、ステップS8からS13に処理を進めることとなるが、フラグFはステップS11で先ほどセットされたので、ステップS13での判断はNOとなる。よって、CPU13はステップS13からステップS2からの処理に戻る。
【0030】
そして、ステップS2からの処理を繰り返した際、前述の意図的な操作あるいは偶発的な事象が発生した状態が継続していると、ステップS4での判断はYESとなる。したがって、CPU13はステップS4からステップS10に処理を進めるが、このときは既にF=1の状態にあるので、ステップS10での判断はNOとなる。したがって、ステップS11の処理は行うことなく、タイマTのカウントアップを実行する。よって、動画撮影中であって前述の意図的な操作あるいは偶発的な事象が発生した状態が継続していると、CPU13は、ステップS2→S3→S4→S10→S12→S7→S8→S13→S2のループによる処理を繰り返し、タイマTはカウントアップされていく。
【0031】
しかし、ステップS2からの処理を繰り返した際、前述の意図的な操作あるいは偶発的な事象が消滅していると、ステップS4での判断はNOとなる。したがって、CPU13はステップS4からステップS5に処理を進めるが、このときはF=1の状態にあるので、ステップS5での判断はYESとなる。したがって、フラグFをリセットする(ステップS6)。また、未だ動画撮影中であればステップS6→S7→S8→S13→S14と処理を進めて、タイマTの計測値が閾値TT(例えば5秒)以下であるか否かを判断する(ステップS14)。
【0032】
T≦TTであり、タイマTの計測値が閾値TT(例えば5秒)以下である場合、つまり前述の意図的な操作あるいは偶発的な事象に起因して不要な画像が撮像された期間が、閾値TT以下である短時間である場合には、ステップS14からステップS15に処理を進める。そして、SDRAM22に一時的に記憶されている動画を構成する画像データのうち、F=0の時点からF=1になるまでに取得された複数のフレーム画像データ、つまりコード量が所定量以下であると判断されたフレーム画像データの直前のフレーム画像データまでを1ファイルで外部メモリ25に記録する。すなわち、コード量が所定量以下であると判断されたフレーム画像データと、F=1がF=0になった後に取得されたフレーム画像データ(コード量が所定量以下でないと判断されたフレーム画像データ以降のフレーム画像データ)を除いたフレーム画像データが1ファイルで外部メモリ25に記録されることになる。ここで、SDRAM22に記憶されている、コード量が所定量以下であると判断されたフレーム画像データと、ステップS15で外部メモリ25に記録されたフレーム画像データは破棄(削除)されることになる。しかる後に、フラグF及びタイマTをリセットして(ステップS17)、ステップS2に戻る。
【0033】
したがって、撮影環境がほぼ真っ暗な状態の期間が、5秒以下等の比較的短時間であった場合には、下記の記録態様を含む処理が実行されることとなる。
(1A)ほぼ真っ暗な状態を検出するまでの動画を一つのファイルとして記録するとともに、新しい動画の撮影を開始しておく。
(1B)ほぼ真っ暗な状態の終了を検出したことに応答して、次のファイルとなる画像データの保存を開始する。
【0034】
この(1A)(1B)が実行されることにより、ほぼ真っ暗な状態を検出した前後の動画を別々のファイルで記録することができるという効果が生ずる。また、ほぼ真っ暗な状態で不要な画像は除外されることから、動画の作品性の低下を抑制することができ、かつ、外部メモリ25の無用な使用を回避することもできる。
【0035】
なお、このように本実施の形態においては、ほぼ真っ暗な状態の期間が比較的短い場合には、その前後の動画を別々のファイルで記録するようにしたが、別々のファイルで記録することなく同一のファイルで記録するようにしてもよい。この場合であっても、ほぼ真っ暗な状態で撮影された不要な画像は除外されることから、動画の作品性の低下を抑制することができ、外部メモリ25の無用な使用を回避することもできる。
【0036】
他方、ステップS14の判断がNOであって、タイマTの計測値が閾値TTを超える場合、つまり前述の意図的な操作あるいは偶発的な事象に起因して、不要な画像が撮像された期間が閾値TTを超える比較的長時間である場合には、ステップS14からステップS16に処理を進める。そして、SDRAM22に一時的に記憶されている動画を構成する全画像データを破棄(消去)する。但し、厳密には、F=1がF=0になった後に取得されたフレーム画像データ(コード量が所定量以下でないと判断されたフレーム画像データ以降のフレーム画像データ)を除いたフレーム画像データが破棄(削除)されることになる。しかる後に、フラグF及びタイマTをリセットして(ステップS17)、ステップS2に戻る。
【0037】
したがって、撮影環境がほぼ真っ暗な状態の期間が、5秒を超える等の比較的長時間である場合には、下記の記録態様を含む処理が実行されることとなる。
(2A)ほぼ真っ暗な状態を検出するまでの画像データを破棄する。
(2B)ほぼ真っ暗な状態の終了を検出したことに応答して、次のファイルとなる画像データの保存を開始する。
【0038】
この(2A)(2B)が実行されることにより、レンズを既定時間塞ぐなどの動作で、動画の撮り直しが可能となるという効果が生ずる。したがって、簡単な操作で迅速な撮り直しが可能となるとともに、外部メモリ25の無用な使用を回避することもできる。
【0039】
なお、以上の説明では、動画撮影された際の画像の記録態様について説明したが、音声に関しては記録する画像データに対応する音声データのみを圧縮して記録するようにすればよい。
【0040】
また、実施の形態においては、一つのファイルで記録する画像データを一旦全てSDRAM22に保存した後、外部メモリ25に記録するようにしたが、SDRAM22内で圧縮した画像データを順次外部メモリ25に記録するようにしてもよい。
【0041】
また、実施の形態においては、ほぼ真っ暗な撮影環境で撮影された画像を不要な画像としたが、これに限ることなく手ブレが生じている画像、当該カメラの傾きが所定角度以上で撮影された画像、閾値よりも輝度変化が大きい画像等の他の画像を不要な画像としてもよい。さらには、不要な画像の条件をマニュアル操作で設定可能とし、ユーザが任意に設定した条件を満たす、あるいは満たさない画像を不要な画像とするようにしてもよい。
【0042】
以上、この発明の実施形態について説明したが、この発明はこれに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
【0043】
以下に、本願出願時の特許請求の範囲を付記する。
【0044】
<請求項1>
動画像を撮像する撮像手段と、
この撮像手段により撮像されている動画像が不要な画像であるか否かを判断する判断手段と、
この判断手段により不要な画像であると判断された期間を測定する測定手段と、
この測定手段により測定された前記期間の長さに応じた異なる処理態様で、前記撮像手段により撮像された動画像の記録に関連する処理を実行する記録処理手段と
を備えることを特徴とする撮像装置。
【0045】
<請求項2>
前記判断手段は、前記撮像手段により撮像された動画像の明るさに基づき、不要な画像であるか否かを判断することを特徴とする請求項1記載の撮像装置。
【0046】
<請求項3>
前記記録処理手段の処理態様には、前記判断手段により不要な画像であると判断されるまでに前記撮像手段により撮像された動画像を一つのファイルで記録する記録処理が含まれることを特徴とする請求項1又は2記載の撮像装置。
【0047】
<請求項4>
前記記録処理手段の処理態様には、前記判断手段により不要な画像であると判断されるまでに前記撮像手段により撮像された動画像を破棄して記録しない破棄処理が含まれることを特徴とする請求項1、2又は3記載の撮像装置。
【0048】
<請求項5>
前記記録処理手段は、前記測定手段により測定された期間が所定の閾値よりも短い場合と、長い場合とで異なる態様で動画像を処理することを特徴とする請求項1記載の撮像装置。
【0049】
<請求項6>
前記記録処理手段の処理態様には、前記測定手段により測定された期間が所定の閾値以下である場合には、前記判断手段により不要な画像であると判断されるまでに前記撮像手段により撮像された動画像を一つのファイルで記録する記録処理と、前記閾値を超える場合には前記撮像手段により撮像された動画像を破棄して記録しない破棄処理とが含まれることを特徴とする請求項5記載の撮像装置。
【0050】
<請求項7>
前記判断手段により前記動画像が不要な画像であると判断された後、再度不要な画像でないと判断された時点において、前記撮像手段を撮像動作させている撮像制御手段をさらに備えることを特徴とする請求項1から6にいずれか記載の撮像装置。
【0051】
<請求項8>
動画像を撮像する撮像手段を備える装置が有するコンピュータが読み取り可能であって当該コンピュータを、
前記撮像手段により撮像されている動画像が不要な画像であるか否かを判断する判断手段と、
この判断手段により不要な画像であると判断された期間を測定する測定手段と、
この測定手段により測定された前記期間の長さに応じた異なる処理態様で、前記撮像手段により撮像された動画像の記録に関連する処理を実行する記録処理手段と
して機能させることを特徴とするプログラム。
【0052】
<請求項9>
動画像を撮像する撮像ステップと、
この撮像ステップにより撮像されている動画像が不要な画像であるか否かを判断する判断ステップと、
この判断ステップにより不要な画像であると判断された期間を測定する測定ステップと、
この測定ステップにより測定された前記期間の長さに応じた異なる処理態様で、前記撮像ステップにより撮像された動画像の記録に関連する処理を実行する記録処理ステップと
を含むことを特徴とする撮像方法。