(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-11
(45)【発行日】2023-12-19
(54)【発明の名称】動画圧縮装置および動画圧縮プログラム
(51)【国際特許分類】
H04N 23/60 20230101AFI20231212BHJP
H04N 23/54 20230101ALI20231212BHJP
H04N 19/20 20140101ALI20231212BHJP
H04N 19/85 20140101ALI20231212BHJP
【ＦＩ】
H04N23/60 500
H04N23/54
H04N19/20
H04N19/85
【請求項の数】
8
(21)【出願番号】P 2019545649
(86)(22)【出願日】2018-09-27
(86)【国際出願番号】 JP2018036129
(87)【国際公開番号】W WO2019065915
(87)【国際公開日】2019-04-04
【審査請求日】2021-08-26
(31)【優先権主張番号】P 2017192102
(32)【優先日】2017-09-29
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000004112
【氏名又は名称】株式会社ニコン
(74)【代理人】
【識別番号】110001678
【氏名又は名称】藤央弁理士法人
(72)【発明者】
【氏名】小宮 大作
(72)【発明者】
【氏名】關口 直樹
【審査官】高野 美帆子
(56)【参考文献】
【文献】国際公開第２０１３／１６４９１５（ＷＯ，Ａ１）
【文献】特開２００６－３２４８３４（ＪＰ，Ａ）
【文献】国際公開第２０１４／１９２１５２（ＷＯ，Ａ１）
【文献】特開２００９－０４９９７９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２３／６０
Ｈ０４Ｎ ２３／５４
Ｈ０４Ｎ １９／２０
Ｈ０４Ｎ １９／８５
(57)【特許請求の範囲】
【請求項1】
被写体を撮像する第１撮像領域と、被写体を撮像する第２撮像領域と、を有し、前記第１撮像領域に第１フレームレートを設定可能であり、かつ、前記第２撮像領域に前記第１フレームレートよりも速い第２フレームレートを設定可能な撮像素子から出力された複数のフレームを含む動画データを取得する取得部と、前記取得部によって取得された動画データのうち、前記第１フレームレートで撮像された前記フレームにおける第１画像領域の画像データについては、前記第１画像領域の画像データ内のオブジェクトに動きがないことを示す特定の動きベクトルを設定し、前記第２フレームレートで撮像された前記フレームにおける第２画像領域の画像データについては、動きベクトルの検出を実行する動き検出部と、
前記第１画像領域の画像データについては、前記特定の動きベクトルに基づいて動き補償を実行し、前記第２画像領域の画像データについては、前記動き検出部によって検出された動きベクトルに基づいて動き補償を実行する動き補償部と、
を有する動画圧縮装置。
【請求項2】
請求項１に記載の動画圧縮装置であって、前記複数のフレームの各々について、前記フレームと前記フレームを予測する予測フレームとの差分データと、前記予測フレームと、に基づいて、前記フレームよりも時間的に後に入力されるフレームが参照する参照フレームを生成する生成部を有し、
前記動き補償部は、前記第１画像領域の画像データについては、前記特定の動きベクトルと前記参照フレームとに基づいて動き補償を実行し、前記第２画像領域の画像データについては、前記動きベクトルと前記参照フレームとに基づいて動き補償を実行する、
動画圧縮装置。
【請求項3】
被写体を撮像する第１撮像領域と、被写体を撮像する第２撮像領域と、を有し、前記第１撮像領域に第１フレームレートを設定可能であり、かつ、前記第２撮像領域に前記第１フレームレートよりも速い第２フレームレートを設定可能な撮像素子から出力された複数のフレームを含む動画データを取得する取得部と、前記複数のフレームの各々について、前記フレームと前記フレームを予測する予測フレームとの差分データと、前記予測フレームと、に基づいて、前記フレームよりも時間的に後に入力されるフレームが参照する参照フレームを生成する生成部と、
前記第１フレームレートで撮像された前記フレームにおける第１画像領域の画像データについては、動きベクトルの検出を実行せず、前記第２フレームレートで撮像された前記フレームにおける第２画像領域の画像データについては、動きベクトルの検出を実行する動き検出部と、
前記第１画像領域の画像データについては、前記参照フレームに基づいて動き補償を実行し、前記第２画像領域の画像データについては、前記参照フレームと前記動き検出部によって検出された動きベクトルに基づいて動き補償を実行する動き補償部と、
を有する動画圧縮装置。
【請求項4】
請求項３に記載の動画圧縮装置であって、前記動き補償部は、前記第１画像領域の画像データについては、前記参照フレームを、前記フレームの時間的に１つ後のフレームを予測する予測フレームに決定する、
動画圧縮装置。
【請求項5】
被写体を撮像する第１撮像領域と、被写体を撮像する第２撮像領域と、を有し、前記第１撮像領域に第１フレームレートを設定可能であり、かつ、前記第２撮像領域に前記第１フレームレートよりも速い第２フレームレートを設定可能な撮像素子から出力された複数のフレームを含む動画データを取得する取得部と、前記取得部によって取得された動画データのうち、第１タイミングで前記第１撮像領域から出力された第１フレームと前記第１タイミングで前記第２撮像領域から出力された第２フレームとに基づいて第３フレームを生成し、前記第１フレームと前記第１タイミングとは異なるタイミングで前記第２撮像領域から出力される第４フレームとに基づいて第５フレームを生成し、前記第３フレームと前記第５フレームとに基づいて、前記動画データを圧縮する圧縮部と、
を有する動画圧縮装置。
【請求項6】
請求項５に記載の動画圧縮装置であって、前記第４フレームにおける第２画像領域の画像データにおいて、前記第１フレームにおける第１画像領域の画像データと重複する範囲については、前記第２フレームにおける前記第２画像領域の画像データを適用することにより、前記第５フレームを生成する画像処理部と、
を有する動画圧縮装置。
【請求項7】
請求項５に記載の動画圧縮装置であって、前記第４フレームにおける第２画像領域および前記第１フレームにおける第１画像領域のいずれにも属さない範囲については、前記第１フレームにおける前記第２画像領域の画像データを適用することにより、前記第５フレームを生成する画像処理部と、
を有する動画圧縮装置。
【請求項8】
被写体を撮像する第１撮像領域と、被写体を撮像する第２撮像領域と、を有し、前記第１撮像領域に第１フレームレートを設定可能であり、かつ、前記第２撮像領域に前記第１フレームレートよりも速い第２フレームレートを設定可能な撮像素子から出力された複数のフレームを含む動画データの圧縮を、プロセッサに実行させる動画圧縮プログラムであって、前記プロセッサに、
前記動画データを取得する取得処理と、
前記取得処理によって取得された動画データのうち、第１タイミングで前記第１撮像領域から出力された第１フレームと前記第１タイミングで前記第２撮像領域から出力された第２フレームとに基づいて第３フレームを生成し、前記第１フレームと前記第１タイミングとは異なるタイミングで前記第２撮像領域から出力される第４フレームとに基づいて第５フレームを生成し、前記第３フレームと前記第５フレームとに基づいて、前記動画データを圧縮する圧縮処理と、
を実行させる動画圧縮プログラム。
【発明の詳細な説明】
【参照による取り込み】
【0001】
本出願は、平成２９年（２０１７年）９月２９日に出願された日本出願である特願２０１７－１９２１０２の優先権を主張し、その内容を参照することにより、本出願に取り込む。
【技術分野】
【0002】
本発明は、動画圧縮装置および動画圧縮プログラムに関する。
【背景技術】
【0003】
裏面照射型撮像チップと信号処理チップとが積層された撮像素子（以下、積層型撮像素子という）を備えた電子機器が提案されている（特許文献１参照）。積層型撮像素子は、裏面照射型撮像チップと信号処理チップとが、所定の領域ごとにマイクロバンプを介して接続されるように積層されている。しかしながら、積層型撮像素子において複数の撮像条件を撮像領域内に設定可能である場合、複数の撮像条件で撮像されたフレームが出力されるため、そのようなフレームの動画圧縮は従来考慮されていない。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２００６－４９３６１号公報
【発明の概要】
【0005】
本願において開示される技術の第１側面となる動画圧縮装置は、被写体を撮像する第１撮像領域と、被写体を撮像する第２撮像領域と、を有し、前記第１撮像領域に第１フレームレートを設定可能であり、かつ、前記第２撮像領域に前記第１フレームレートよりも速い第２フレームレートを設定可能な撮像素子から出力された複数のフレームを含む動画データを取得する取得部と、前記取得部によって取得された動画データのうち、前記第１フレームレートで撮像された前記フレームにおける第１画像領域の画像データについては、前記第１画像領域の画像データ内のオブジェクトに動きがないことを示す特定の動きベクトルを設定し、前記第２フレームレートで撮像された前記フレームにおける第２画像領域の画像データについては、動きベクトルの検出を実行する動き検出部と、前記第１画像領域の画像データについては、前記特定の動きベクトルに基づいて動き補償を実行し、前記第２画像領域の画像データについては、前記動き検出部によって検出された動きベクトルに基づいて動き補償を実行する動き補償部と、を有する。
【0006】
本願において開示される技術の第２側面となる動画圧縮装置は、被写体を撮像する第１撮像領域と、被写体を撮像する第２撮像領域と、を有し、前記第１撮像領域に第１フレームレートを設定可能であり、かつ、前記第２撮像領域に前記第１フレームレートよりも速い第２フレームレートを設定可能な撮像素子から出力された複数のフレームを含む動画データを取得する取得部と、前記複数のフレームの各々について、前記フレームと前記フレームを予測する予測フレームとの差分データと、前記予測フレームと、に基づいて、前記フレームよりも時間的に後に入力されるフレームが参照する参照フレームを生成する生成部と、前記第１フレームレートで撮像された前記フレームにおける第１画像領域の画像データについては、動きベクトルの検出を実行せず、前記第２フレームレートで撮像された前記フレームにおける第２画像領域の画像データについては、動きベクトルの検出を実行する動き検出部と、前記第１画像領域の画像データについては、前記参照フレームに基づいて動き補償を実行し、前記第２画像領域の画像データについては、前記参照フレームと前記動き検出部によって検出された動きベクトルに基づいて動き補償を実行する動き補償部と、を有する。
【0007】
本願において開示される技術の第３側面となる動画圧縮装置は、被写体を撮像する第１撮像領域と、被写体を撮像する第２撮像領域と、を有し、前記第１撮像領域に第１フレームレートを設定可能であり、かつ、前記第２撮像領域に前記第１フレームレートよりも速い第２フレームレートを設定可能な撮像素子から出力された複数のフレームを含む動画データを取得する取得部と、前記取得部によって取得された動画データのうち、第１タイミングで前記第１撮像領域から出力された第１フレームと前記第１タイミングで前記第２撮像領域から出力された第２フレームとに基づいて第３フレームを生成し、前記第１フレームと前記第１タイミングとは異なるタイミングで前記第２撮像領域から出力される第４フレームとに基づいて第５フレームを生成し、前記第３フレームと前記第５フレームとに基づいて、前記動画データを圧縮する圧縮部と、を有する。
【0008】
本願において開示される技術の第４側面となる動画圧縮プログラムは、被写体を撮像する第１撮像領域と、被写体を撮像する第２撮像領域と、を有し、前記第１撮像領域に第１フレームレートを設定可能であり、かつ、前記第２撮像領域に前記第１フレームレートよりも速い第２フレームレートを設定可能な撮像素子から出力された複数のフレームを含む動画データの圧縮を、プロセッサに実行させる動画圧縮プログラムであって、前記プロセッサに、前記動画データを取得する取得処理と、前記取得処理によって取得された動画データのうち、第１タイミングで前記第１撮像領域から出力された第１フレームと前記第１タイミングで前記第２撮像領域から出力された第２フレームとに基づいて第３フレームを生成し、前記第１フレームと前記第１タイミングとは異なるタイミングで前記第２撮像領域から出力される第４フレームとに基づいて第５フレームを生成し、前記第３フレームと前記第５フレームとに基づいて、前記動画データを圧縮する圧縮処理と、を実行させる。
【図面の簡単な説明】
【0011】
【発明を実施するための形態】
【0012】
＜撮像素子の構成例＞
初めに、電子機器に搭載する積層型撮像素子について説明する。なお、この積層型撮像素子は、本願出願人が先に出願した特願２０１２－１３９０２６号に記載されているものである。電子機器は、たとえば、デジタルカメラやデジタルビデオカメラなどの撮像装置である。
初めに、電子機器に搭載する積層型撮像素子について説明する。なお、この積層型撮像素子は、本願出願人が先に出願した特願２０１２－１３９０２６号に記載されているものである。電子機器は、たとえば、デジタルカメラやデジタルビデオカメラなどの撮像装置である。
【0013】
図１は、積層型撮像素子１００の断面図である。積層型撮像素子（以下、単に、「撮像素子」）１００は、入射光に対応した画素信号を出力する裏面照射型撮像チップ（以下、単に、「撮像チップ」）１１３と、画素信号を処理する信号処理チップ１１１と、画素信号を記憶するメモリチップ１１２とを備える。これら撮像チップ１１３、信号処理チップ１１１およびメモリチップ１１２は積層されており、Ｃｕなどの導電性を有するバンプ１０９により互いに電気的に接続される。
【0014】
なお、図１に示すように、入射光は主に白抜き矢印で示すＺ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ１１３において、入射光が入射する側の面を裏面と称する。また、座標軸に示すように、Ｚ軸に直交する紙面左方向をＸ軸プラス方向、Ｚ軸およびＸ軸に直交する紙面手前方向をＹ軸プラス方向とする。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
【0015】
撮像チップ１１３の一例は、裏面照射型のＭＯＳ（Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサである。ＰＤ（フォトダイオード）層１０６は、配線層１０８の裏面側に配されている。ＰＤ層１０６は、二次元的に配され、入射光に応じた電荷を蓄積する複数のＰＤ１０４、および、ＰＤ１０４に対応して設けられたトランジスタ１０５を有する。
【0016】
ＰＤ層１０６における入射光の入射側にはパッシベーション膜１０３を介してカラーフィルタ１０２が設けられる。カラーフィルタ１０２は、互いに異なる波長領域を透過する複数の種類を有しており、ＰＤ１０４のそれぞれに対応して特定の配列を有している。カラーフィルタ１０２の配列については後述する。カラーフィルタ１０２、ＰＤ１０４およびトランジスタ１０５の組が、一つの画素を形成する。
【0017】
カラーフィルタ１０２における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ１０１が設けられる。マイクロレンズ１０１は、対応するＰＤ１０４へ向けて入射光を集光する。
【0018】
配線層１０８は、ＰＤ層１０６からの画素信号を信号処理チップ１１１に伝送する配線１０７を有する。配線１０７は多層であってもよく、また、受動素子および能動素子が設けられてもよい。
【0019】
配線層１０８の表面には複数のバンプ１０９が配される。当該複数のバンプ１０９が信号処理チップ１１１の対向する面に設けられた複数のバンプ１０９と位置合わせされて、撮像チップ１１３と信号処理チップ１１１とが加圧などされることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。
【0020】
同様に、信号処理チップ１１１およびメモリチップ１１２の互いに対向する面には、複数のバンプ１０９が配される。これらのバンプ１０９が互いに位置合わせされて、信号処理チップ１１１とメモリチップ１１２とが加圧などされることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。
【0021】
なお、バンプ１０９間の接合には、固相拡散によるＣｕバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用してもよい。また、バンプ１０９は、たとえば、後述する一つのブロックに対して一つ程度設ければよい。したがって、バンプ１０９の大きさは、ＰＤ１０４のピッチよりも大きくてもよい。また、画素が配列された画素領域以外の周辺領域において、画素領域に対応するバンプ１０９よりも大きなバンプを併せて設けてもよい。
【0022】
信号処理チップ１１１は、表裏面にそれぞれ設けられた回路を互いに接続するＴＳＶ（シリコン貫通電極）１１０を有する。ＴＳＶ１１０は、周辺領域に設けられることが好ましい。また、ＴＳＶ１１０は、撮像チップ１１３の周辺領域、メモリチップ１１２にも設けられてよい。
【0023】
図２は、撮像チップ１１３の画素配列を説明する図である。特に、撮像チップ１１３を裏面側から観察した様子を示す。（ａ）は、撮像チップ１１３の裏面である撮像面２００を模式的に示す平面図であり、（ｂ）は、撮像面２００の一部領域２００ａを拡大した平面図である。（ｂ）に示すように、撮像面２００には、画素２０１が二次元状に多数配列されている。
【0024】
画素２０１は、それぞれ不図示の色フィルタを有している。色フィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３種類からなり、（ｂ）における「Ｒ」、「Ｇ」、および「Ｂ」という表記は、画素２０１が有する色フィルタの種類を表している。（ｂ）に示すように、撮像素子１００の撮像面２００には、このような各色フィルタを備えた画素２０１が、いわゆるベイヤー配列に従って配列されている。
【0025】
赤フィルタを有する画素２０１は、入射光のうち、赤色の波長帯の光を光電変換して受光信号（光電変換信号）を出力する。同様に、緑フィルタを有する画素２０１は、入射光のうち、緑色の波長帯の光を光電変換して受光信号を出力する。また、青フィルタを有する画素２０１は、入射光のうち、青色の波長帯の光を光電変換して受光信号を出力する。
【0026】
撮像素子１００は、隣接する２画素×２画素の計４つの画素２０１から成る単位グループ２０２ごとに、個別に制御可能に構成されている。たとえば、互いに異なる２つの単位グループ２０２について、同時に電荷蓄積が開始されたときに、一方の単位グループ２０２では電荷蓄積開始から１／３０秒後に電荷の読み出し、すなわち受光信号の読み出しが行われ、他方の単位グループ２０２では電荷蓄積開始から１／１５秒後に電荷の読み出しが行われる。換言すると、撮像素子１００は、１回の撮像において、単位グループ２０２ごとに異なる露光時間（電荷蓄積時間であり、いわゆるシャッタースピード）を設定することができる。
【0027】
撮像素子１００は、上述した露光時間以外にも、撮像信号の増幅率（いわゆるＩＳＯ感度）を単位グループ２０２ごとに異ならせることが可能である。撮像素子１００は、電荷蓄積を開始するタイミングや受光信号を読み出すタイミングを単位グループ２０２ごとに変化させることができる。すなわち、撮像素子１００は、動画撮像時のフレームレートを単位グループ２０２ごとに変化させることができる。
【0028】
以上をまとめると、撮像素子１００は、単位グループ２０２ごとに、露光時間、増幅率、フレームレートなどの撮像条件を異ならせることが可能に構成されている。たとえば、画素２０１が有する不図示の光電変換部から撮像信号を読み出すための不図示の読み出し線が、単位グループ２０２ごとに設けられ、単位グループ２０２ごとに独立して撮像信号を読み出し可能に構成すれば、単位グループ２０２ごとに露光時間（シャッタースピード）を異ならせることができる。
【0029】
また、光電変換された電荷により生成された撮像信号を増幅する不図示の増幅回路を単位グループ２０２ごとに独立して設け、増幅回路による増幅率を増幅回路ごとに独立して制御可能に構成すれば、単位グループ２０２ごとに信号の増幅率（ＩＳＯ感度）を異ならせることができる。
【0030】
また、単位グループ２０２ごとに異ならせることが可能な撮像条件は、上述した撮像条件のほか、フレームレート、ゲイン、解像度（間引き率）、画素信号を加算する加算行数または加算列数、電荷の蓄積時間または蓄積回数、デジタル化のビット数などである。さらに、制御パラメータは、画素からの画像信号取得後の画像処理におけるパラメータであってもよい。
【0031】
また、撮像条件は、たとえば、単位グループ２０２ごとに独立して制御可能な区画（１区画が１つの単位グループ２０２に対応する）を有する液晶パネルを撮像素子１００に設け、オンオフ可能な減光フィルタとして利用すれば、単位グループ２０２ごとに明るさ（絞り値）を制御することが可能になる。
【0032】
なお、単位グループ２０２を構成する画素２０１の数は、上述した２×２の４画素でなくてもよい。単位グループ２０２は、少なくとも１個の画素２０１を有していればよいし、逆に、４個より多くの画素２０１を有していてもよい。
【0033】
図３は、撮像チップ１１３の回路図である。図３において、代表的に点線で囲む矩形が、１つの画素２０１に対応する回路を表す。また、一点鎖線で囲む矩形が１つの単位グループ２０２（２０２－１～２０２－４）に対応する。なお、以下に説明する各トランジスタの少なくとも一部は、図１のトランジスタ１０５に対応する。
【0034】
上述したように、画素２０１のリセットトランジスタ３０３は、単位グループ２０２単位でオン／オフされる。また、画素２０１の転送トランジスタ３０２も、単位グループ２０２単位でオン／オフされる。図３に示す例において、左上単位グループ２０２－１に対応する４つのリセットトランジスタ３０３をオン／オフするためのリセット配線３００－１が設けられており、同単位グループ２０２－１に対応する４つの転送トランジスタ３０２に転送パルスを供給するためのＴＸ配線３０７－１も設けられる。
【0035】
同様に、左下単位グループ２０２－３に対応する４つのリセットトランジスタ３０３をオン／オフするためのリセット配線３００－３が、上記リセット配線３００－１とは別個に設けられる。また、同単位グループ２０２－３に対応する４つの転送トランジスタ３０２に転送パルスを供給するためのＴＸ配線３０７－３が、上記ＴＸ配線３０７－１と別個に設けられる。
【0036】
右上単位グループ２０２－２や右下単位グループ２０２－４についても同様に、それぞれリセット配線３００－２とＴＸ配線３０７－２、およびリセット配線３００－４とＴＸ配線３０７－４が、それぞれの単位グループ２０２に設けられている。
【0037】
各画素２０１に対応する１６個のＰＤ１０４は、それぞれ対応する転送トランジスタ３０２に接続される。各転送トランジスタ３０２のゲートには、上記単位グループ２０２ごとのＴＸ配線を介して転送パルスが供給される。各転送トランジスタ３０２のドレインは、対応するリセットトランジスタ３０３のソースに接続されるとともに、転送トランジスタ３０２のドレインとリセットトランジスタ３０３のソース間のいわゆるフローティングディフュージョンＦＤが、対応する増幅トランジスタ３０４のゲートに接続される。
【0038】
各リセットトランジスタ３０３のドレインは、電源電圧が供給されるＶｄｄ配線３１０に共通に接続される。各リセットトランジスタ３０３のゲートには、上記単位グループ２０２ごとのリセット配線を介してリセットパルスが供給される。
【0039】
各増幅トランジスタ３０４のドレインは、電源電圧が供給されるＶｄｄ配線３１０に共通に接続される。また、各増幅トランジスタ３０４のソースは、対応する選択トランジスタ３０５のドレインに接続される。各選択トランジスタ３０５のゲートには、選択パルスが供給されるデコーダ配線３０８に接続される。デコーダ配線３０８は、１６個の選択トランジスタ３０５に対してそれぞれ独立に設けられる。
【0040】
そして、各々の選択トランジスタ３０５のソースは、共通の出力配線３０９に接続される。負荷電流源３１１は、出力配線３０９に電流を供給する。すなわち、選択トランジスタ３０５に対する出力配線３０９は、ソースフォロアにより形成される。なお、負荷電流源３１１は、撮像チップ１１３側に設けてもよいし、信号処理チップ１１１側に設けてもよい。
【0041】
ここで、電荷の蓄積開始から蓄積終了後の画素出力までの流れを説明する。上記単位グループ２０２ごとのリセット配線を通じてリセットパルスがリセットトランジスタ３０３に印加され、同時に上記単位グループ２０２（２０２－１～２０２－４）ごとのＴＸ配線を通じて転送パルスが転送トランジスタ３０２に印加されると、上記単位グループ２０２ごとに、ＰＤ１０４およびフローティングディフュージョンＦＤの電位がリセットされる。
【0042】
各ＰＤ１０４は、転送パルスの印加が解除されると、受光する入射光を電荷に変換して蓄積する。その後、リセットパルスが印加されていない状態で再び転送パルスが印加されると、蓄積された電荷はフローティングディフュージョンＦＤへ転送され、フローティングディフュージョンＦＤの電位は、リセット電位から電荷蓄積後の信号電位になる。
【0043】
そして、デコーダ配線３０８を通じて選択パルスが選択トランジスタ３０５に印加されると、フローティングディフュージョンＦＤの信号電位の変動が、増幅トランジスタ３０４および選択トランジスタ３０５を介して出力配線３０９に伝わる。これにより、リセット電位と信号電位とに対応する画素信号は、単位画素から出力配線３０９に出力される。
【0044】
上述したように、単位グループ２０２を形成する４画素に対して、リセット配線とＴＸ配線が共通である。すなわち、リセットパルスと転送パルスはそれぞれ、同単位グループ２０２内の４画素に対して同時に印加される。したがって、ある単位グループ２０２を形成するすべての画素２０１は、同一のタイミングで電荷蓄積を開始し、同一のタイミングで電荷蓄積を終了する。ただし、蓄積された電荷に対応する画素信号は、それぞれの選択トランジスタ３０５に選択パルスが順次印加されることにより、選択的に出力配線３０９から出力される。
【0045】
このように、単位グループ２０２ごとに電荷蓄積開始タイミングを制御することができる。換言すると、異なる単位グループ２０２間では、異なったタイミングで撮像することができる。
【0046】
図４は、撮像素子１００の機能的構成例を示すブロック図である。アナログのマルチプレクサ４１１は、単位グループ２０２を形成する１６個のＰＤ１０４を順番に選択して、それぞれの画素信号を当該単位グループ２０２に対応して設けられた出力配線３０９へ出力させる。マルチプレクサ４１１は、ＰＤ１０４と共に、撮像チップ１１３に形成される。
【0047】
マルチプレクサ４１１を介して出力された画素信号は、信号処理チップ１１１に形成された、相関二重サンプリング（ＣＤＳ）・アナログ／デジタル（Ａ／Ｄ）変換を行う信号処理回路４１２により、ＣＤＳおよびＡ／Ｄ変換が行われる。Ａ／Ｄ変換された画素信号は、デマルチプレクサ４１３に引き渡され、それぞれの画素に対応する画素メモリ４１４に格納される。デマルチプレクサ４１３および画素メモリ４１４は、メモリチップ１１２に形成される。
【0048】
演算回路４１５は、画素メモリ４１４に格納された画素信号を処理して後段の画像処理部に引き渡す。演算回路４１５は、信号処理チップ１１１に設けられてもよいし、メモリチップ１１２に設けられてもよい。なお、図４では４つの単位グループ２０２の分の接続を示すが、実際にはこれらが４つの単位グループ２０２ごとに存在して、並列で動作する。
【0049】
ただし、演算回路４１５は４つの単位グループ２０２ごとに存在しなくてもよく、たとえば、一つの演算回路４１５がそれぞれの４つの単位グループ２０２に対応する画素メモリ４１４の値を順に参照しながらシーケンシャルに処理してもよい。
【0050】
上記の通り、単位グループ２０２のそれぞれに対応して出力配線３０９が設けられている。撮像素子１００は撮像チップ１１３、信号処理チップ１１１およびメモリチップ１１２を積層しているので、これら出力配線３０９にバンプ１０９を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。
【0051】
＜電子機器のブロック構成例＞
図５は、電子機器のブロック構成例を示す説明図である。電子機器５００は、たとえば、レンズ一体型のカメラである。電子機器５００は、撮像光学系５０１と、撮像素子１００と、制御部５０２と、液晶モニタ５０３と、メモリカード５０４と、操作部５０５と、ＤＲＡＭ５０６と、フラッシュメモリ５０７と、録音部５０８とを備える。制御部５０２は、後述するように動画データを圧縮する圧縮部を含む。したがって、電子機器５００のうち、少なくとも制御部５０２を含む構成が動画圧縮装置となる。
図５は、電子機器のブロック構成例を示す説明図である。電子機器５００は、たとえば、レンズ一体型のカメラである。電子機器５００は、撮像光学系５０１と、撮像素子１００と、制御部５０２と、液晶モニタ５０３と、メモリカード５０４と、操作部５０５と、ＤＲＡＭ５０６と、フラッシュメモリ５０７と、録音部５０８とを備える。制御部５０２は、後述するように動画データを圧縮する圧縮部を含む。したがって、電子機器５００のうち、少なくとも制御部５０２を含む構成が動画圧縮装置となる。
【0052】
撮像光学系５０１は、複数のレンズから構成され、撮像素子１００の撮像面２００に被写体像を結像させる。なお、図５では、便宜上、撮像光学系５０１を１枚のレンズとして図示している。
【0053】
撮像素子１００は、たとえば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子であり、撮像光学系５０１により結像された被写体像を撮像して撮像信号を出力する。制御部５０２は、電子機器５００の各部を制御する電子回路であり、プロセッサとその周辺回路とから構成される。
【0054】
不揮発性の記憶媒体であるフラッシュメモリ５０７には、予め所定の制御プログラムが書き込まれている。制御部５０２は、フラッシュメモリ５０７から制御プログラムを読み込んで実行することにより、各部の制御を行う。この制御プログラムは、揮発性の記憶媒体であるＤＲＡＭ５０６を作業用領域として使用する。
【0055】
液晶モニタ５０３は、液晶パネルを利用した表示装置である。制御部５０２は、所定周期（たとえば６０分の１秒）ごとに撮像素子１００に繰り返し被写体像を撮像させる。そして、撮像素子１００から出力された撮像信号に種々の画像処理を施していわゆるスルー画を作成し、液晶モニタ５０３に表示する。液晶モニタ５０３には、上記のスルー画以外に、たとえば撮像条件を設定する設定画面などが表示される。
【0056】
制御部５０２は、撮像素子１００から出力された撮像信号に基づき、後述する画像ファイルを作成し、可搬性の記録媒体であるメモリカード５０４に画像ファイルを記録する。操作部５０５は、プッシュボタンなどの種々の操作部材を有し、それら操作部材が操作されたことに応じて制御部５０２に操作信号を出力する。
【0057】
録音部５０８は、たとえば、マイクロフォンにより構成され、環境音を音声信号に変換して制御部５０２に入力する。なお、制御部５０２は、可搬性の記録媒体であるメモリカード５０４に動画ファイルを記録するのではなく、ハードディスクのような電子機器５００に内蔵された不図示の記録媒体に記録してもよい。
【0058】
＜動画ファイルの構成例＞
図６は、動画ファイルの構成例を示す説明図である。動画ファイル６００は、制御部５０２内の後述する圧縮部９０２での圧縮処理中に生成され、メモリカード５０４、ＤＲＡＭ５０６、またはフラッシュメモリ５０７に格納される。動画ファイル６００は、ヘッダ部６０１およびデータ部６０２の２つのブロックにより構成される。ヘッダ部６０１は、動画ファイル６００の先頭に位置するブロックである。ヘッダ部６０１には、ファイル基本情報領域６１１と、マスク領域６１２と、撮像情報領域６１３とが、以上に述べた順序で格納されている。
図６は、動画ファイルの構成例を示す説明図である。動画ファイル６００は、制御部５０２内の後述する圧縮部９０２での圧縮処理中に生成され、メモリカード５０４、ＤＲＡＭ５０６、またはフラッシュメモリ５０７に格納される。動画ファイル６００は、ヘッダ部６０１およびデータ部６０２の２つのブロックにより構成される。ヘッダ部６０１は、動画ファイル６００の先頭に位置するブロックである。ヘッダ部６０１には、ファイル基本情報領域６１１と、マスク領域６１２と、撮像情報領域６１３とが、以上に述べた順序で格納されている。
【0059】
ファイル基本情報領域６１１には、たとえば、動画ファイル６００内の各部（ヘッダ部６０１、データ部６０２、マスク領域６１２、撮像情報領域６１３など）のサイズやオフセットが記録される。マスク領域６１２には、後述する撮像条件情報やマスク情報などが記録される。撮像情報領域６１３には、たとえば電子機器５００の機種名や撮像光学系５０１の情報（たとえば収差などの光学特性に関する情報）など、撮像に関する情報が記録される。データ部６０２は、ヘッダ部６０１の後ろに位置するブロックであり、画像情報や音声情報などが記録される。
【0060】
＜撮像面と被写体像との関係＞
図７は、撮像面と被写体像との関係を示す説明図である。（ａ）は、撮像素子１００の撮像面２００（撮像範囲）と被写体像７０１とを模式的に示す。（ａ）において、制御部５０２は、被写体像７０１を撮像する。（ａ）の撮像は、たとえばライブビュー画像（いわゆるスルー画）の作成のために行われる撮像を兼ねていてもよい。
図７は、撮像面と被写体像との関係を示す説明図である。（ａ）は、撮像素子１００の撮像面２００（撮像範囲）と被写体像７０１とを模式的に示す。（ａ）において、制御部５０２は、被写体像７０１を撮像する。（ａ）の撮像は、たとえばライブビュー画像（いわゆるスルー画）の作成のために行われる撮像を兼ねていてもよい。
【0061】
制御部５０２は、（ａ）の撮像により得られた被写体像７０１に対して、所定の画像解析処理を実行する。画像解析処理は、たとえば周知の被写体検出技術（特徴量を演算して所定の被写体が存在する範囲を検出する技術）により、主要被写体領域と背景領域とを検出する処理である。画像解析処理によって、撮像面２００は、主要被写体が存在する主要被写体領域７０２と、背景が存在する背景領域７０３とに分割される。
【0062】
なお、（ａ）では、被写体像７０１を大まかに含む領域を主要被写体領域７０２として図示しているが、主要被写体領域７０２は、被写体像７０１の外形に沿った形状であってもよい。つまり、被写体像７０１以外のものをできるだけ含まないように主要被写体領域７０２を設定してもよい。
【0063】
制御部５０２は、主要被写体領域７０２内の各単位グループ２０２と、背景領域７０３内の各単位グループ２０２とで、異なる撮像条件を設定する。たとえば、前者の各単位グループ２０２には、後者の各単位グループ２０２に比べて高速なシャッタースピードを設定する。このようにすると、（ａ）の撮像の次に撮像される（ｃ）の撮像において、主要被写体領域７０２では像ぶれが発生しにくくなる。
【0064】
また、制御部５０２は、背景領域７０３に存在する太陽などの光源の影響で、主要被写体領域７０２が逆光状態となっている場合には、前者の各単位グループ２０２に、相対的に高めのＩＳＯ感度を設定したり、低速なシャッタースピードを設定する。また、制御部５０２は、後者の各単位グループ２０２に、相対的に低めのＩＳＯ感度を設定したり、高速なシャッタースピードを設定したりする。このようにすると、（ｃ）の撮像において、逆光状態の主要被写体領域７０２の黒つぶれや、光量の大きい背景領域７０３の白飛びを防止することができる。
【0065】
なお、画像解析処理は、上述した主要被写体領域７０２と背景領域７０３とを検出する処理とは異なる処理であってもよい。たとえば、撮像面２００全体のうち、明るさが一定以上の部分（明るすぎる部分）や明るさが一定未満の部分（暗すぎる部分）を検出する処理であってもよい。画像解析処理をこのような処理とした場合、制御部５０２は、前者の領域に含まれる単位グループ２０２について、露出値（Ｅｖ値）が他の領域に含まれる単位グループ２０２よりも低くなるように、シャッタースピードやＩＳＯ感度を設定する。
【0066】
また、制御部５０２は、後者の領域に含まれる単位グループ２０２については、露出値（Ｅｖ値）が他の領域に含まれる単位グループ２０２よりも高くなるように、シャッタースピードやＩＳＯ感度を設定する。このようにすることで、（ｃ）の撮像により得られる画像のダイナミックレンジを、撮像素子１００の本来のダイナミックレンジよりも広げることができる。
【0067】
図７の（ｂ）は、（ａ）に示した撮像面２００に対応するマスク情報７０４の一例を示す。主要被写体領域７０２に属する単位グループ２０２の位置には「１」が、背景領域７０３に属する単位グループ２０２の位置には「２」がそれぞれ格納されている。
【0068】
制御部５０２は、１フレーム目の画像データに対して、画像解析処理を実行し、主要被写体領域７０２と背景領域７０３とを検出する。これにより、（ａ）の撮像によるフレームは、（ｃ）に示すように、主要被写体領域７０２と背景領域７０３とに分割される。制御部５０２は、主要被写体領域７０２内の各単位グループ２０２と、背景領域７０３内の各単位グループ２０２とで、異なる撮像条件を設定して、（ｃ）の撮像を行い、画像データを作成する。このときのマスク情報７０４の例を、（ｄ）に示す。
【0069】
（ａ）の撮像の結果に対応する（ｂ）のマスク情報７０４と、（ｃ）の撮像の結果に対応する（ｄ）のマスク情報７０４とでは、異なる時刻に撮像を行っている（時間差がある）ため、たとえば、被写体が移動している場合や、ユーザが電子機器５００を動かした場合に、これら２つのマスク情報７０４が異なる内容になる。換言すると、マスク情報７０４は、時間経過に伴い変化する動的情報である。従って、ある単位グループ２０２において、フレームごとに異なる撮像条件が設定されることになる。
【0070】
＜動画ファイルの具体例＞
図８は、動画ファイル６００の具体的な構成例に示す説明図である。マスク領域６１２には、識別情報８０１と、撮像条件情報８０２と、マスク情報７０４が、以上に述べた順序で記録される。
図８は、動画ファイル６００の具体的な構成例に示す説明図である。マスク領域６１２には、識別情報８０１と、撮像条件情報８０２と、マスク情報７０４が、以上に述べた順序で記録される。
【0071】
識別情報８０１は、この動画ファイル６００がマルチフレームレート動画撮像機能によって作成されたものである旨を表す。マルチフレームレート動画撮像機能とは、複数のフレームレートが設定された撮像素子１００で動画撮影する機能である。
【0072】
撮像条件情報８０２は、単位グループ２０２にどのような用途（目的、役割）が存在するかを表す情報である。たとえば、上述したように、撮像面２００（図７（ａ））を主要被写体領域７０２と背景領域７０３とに分割する場合、各々の単位グループ２０２は、主要被写体領域７０２に属するか、または、背景領域７０３に属するかのいずれかである。
【0073】
つまり、撮像条件情報８０２は、この動画ファイル６００の作成に際し、単位グループ２０２にたとえば「主要被写体領域を６０ｆｐｓで動画撮像する」、「背景領域を３０ｆｐｓで動画撮像する」という２種類の用途が存在したこと、並びに、これらの用途ごとに割り当てられた一意な番号を表す情報である。たとえば、１という番号が「主要被写体領域を６０ｆｐｓで動画撮像する」用途を、２という番号が「背景領域を３０ｆｐｓで動画撮像する」用途にそれぞれ割り当てられる。
【0074】
マスク情報７０４は、各々の単位グループ２０２の用途（目的、役割）を表す情報である。マスク情報７０４を、「撮像条件情報８０２に割り当てられた番号を、単位グループ２０２の位置に合わせて二次元マップの形で表現した情報」としている。つまり、二次元状に配列された単位グループ２０２を２つの整数ｘ、ｙによる二次元座標（ｘ、ｙ）で特定するとき、（ｘ、ｙ）の位置に存在する単位グループ２０２の用途は、マスク情報７０４の（ｘ、ｙ）の位置に存在する番号により表現される。
【0075】
たとえば、マスク情報７０４の座標（３，５）の位置に「１」という番号が入っていた場合、座標（３，５）に位置する単位グループ２０２には、「主要被写体領域を６０［ｆｐｓ］で撮像する」という用途が与えられたことがわかる。換言すると、座標（３，５）に位置する単位グループ２０２は、主要被写体領域７０２に属することがわかる。
【0076】
なお、マスク情報７０４はフレームごとに変化する動的情報なので、フレームごと、すなわち、後述するデータブロックＢｉごとに圧縮処理中に記録される（不図示）。
【0077】
データ部６０２には、フレームＦ（Ｆ１～Ｆｎ）ごとにデータブロックＢ１～Ｂｎが撮像順に動画データとして格納される。データブロックＢｉ（ｉは１≦ｉ≦ｎの整数）は、マスク情報７０４と、画像情報８１１と、Ｔｖ値マップ８１２と、Ｓｖ値マップ８１３と、Ｂｖ値マップ８１４と、Ａｖ値情報８１５と、音声情報８１６と、付加情報８１７とを含む。
【0078】
画像情報８１１は、図７の（ｃ）の撮像により撮像素子１００から出力された撮像信号を、種々の画像処理を施す前の形で記録した情報であり、いわゆるＲＡＷ画像データである。
【0079】
Ｔｖ値マップ８１２は、単位グループ２０２ごとに設定されたシャッタースピードを表すＴｖ値を、単位グループ２０２の位置に合わせて二次元マップの形で表現した情報である。たとえば座標（ｘ、ｙ）に位置する単位グループ２０２に設定されたシャッタースピードは、Ｔｖ値マップ８１２の座標（ｘ、ｙ）に格納されているＴｖ値を調べることで判別可能である。
【0080】
Ｓｖ値マップ８１３は、単位グループ２０２ごとに設定されたＩＳＯ感度を表すＳｖ値を、Ｔｖ値マップ８１２と同様に二次元マップの形で表現した情報である。
【0081】
Ｂｖ値マップ８１４は、図７の（ｃ）の撮像に際して単位グループ２０２ごとに測定された被写体輝度、すなわち、各々の単位グループ２０２に入射した被写体光の輝度を表すＢｖ値を、Ｔｖ値マップ８１２と同様に二次元マップの形で表現した情報である。
【0082】
Ａｖ値情報８１５は、図７の（ｃ）の撮像時の絞り値を表す情報である。Ａｖ値は、Ｔｖ値、Ｓｖ値、Ｂｖ値とは異なり、単位グループ２０２ごとに存在する値ではない。従って、Ｔｖ値、Ｓｖ値、Ｂｖ値とは違い、Ａｖ値は単一の値のみが格納され、複数の値を二次元状にマップした情報とはなっていない。
【0083】
音声情報８１６は、動画再生を行いやすいように、１フレーム分の情報ごとに分割され、データブロックＢｉと多重化されてデータ部６０２に格納されている。なお、音声情報８１６の多重化は、１フレーム分でなく、所定数のフレーム分ごとに行ってもよい。なお、音声情報８１６は、必ずしも含まれている必要はない。
【0084】
付加情報８１７は、図７の（ｃ）の撮像に際して単位グループ２０２ごとに設定されたフレームレートを二次元マップの形で表現した情報である。付加情報８１７の設定については、図１４および図１５で後述する。なお、付加情報８１７については、フレームＦに保持させてもよいが、後述するプロセッサ１２０１のキャッシュメモリに保持してもよい。特にリアルタイムで圧縮処理を実行する場合は、高速処理の観点からキャッシュメモリを利用するのが好ましい。
【0085】
以上のように、制御部５０２は、マルチフレームレート動画撮像機能による撮像を行うことにより、単位グループ２０２ごとに撮像条件が設定可能な撮像素子１００により生成された画像情報８１１と、単位グループ２０２ごとの撮像条件に関するデータ（撮像条件情報８０２、マスク情報７０４、Ｔｖ値マップ８１２、Ｓｖ値マップ８１３、Ｂｖ値マップ８１４など）とが関連付けられた動画ファイル６００を、メモリカード５０４に記録する。
【0086】
以下、上述した撮像素子１００を用いた動画圧縮の実施例について説明する。
【実施例1】
【0087】
＜動画圧縮例＞
図９は、実施例１にかかる動画圧縮例を示す説明図である。電子機器５００は、上述した撮像素子１００と、制御部５０２と、を有する。制御部５０２は、画像処理部９０１と、圧縮部９０２と、を含む。撮像素子１００は、上述したように、被写体を撮像する複数の撮像領域を有する。撮像領域は、少なくとも１画素以上の画素集合であり、たとえば、上述した１以上の単位グループ２０２である。撮像領域には、単位グループ２０２ごとにフレームレートが設定可能である。
図９は、実施例１にかかる動画圧縮例を示す説明図である。電子機器５００は、上述した撮像素子１００と、制御部５０２と、を有する。制御部５０２は、画像処理部９０１と、圧縮部９０２と、を含む。撮像素子１００は、上述したように、被写体を撮像する複数の撮像領域を有する。撮像領域は、少なくとも１画素以上の画素集合であり、たとえば、上述した１以上の単位グループ２０２である。撮像領域には、単位グループ２０２ごとにフレームレートが設定可能である。
【0088】
ここでは、撮像領域のうち、第１撮像領域には、第１フレームレート（たとえば、３０［ｆｐｓ］）が設定され、第１撮像領域以外の第２撮像領域には、第１フレームレートよりも速い第２フレームレート（たとえば、６０［ｆｐｓ］）が設定されたものとする。なお、第１フレームレートおよび第２フレームレートの値は一例であり、第２フレームレートが第１フレームレートよりも速ければ他の値でもよい。
【0089】
撮像素子１００は、被写体を撮像して、画像信号（図９では、便宜的に複数のフレームを含む第１動画データ９１０とする）を画像処理部９０１に出力する。フレーム内において、撮像素子１００のある撮像領域で撮像された画像データの領域を画像領域と称す。また、第１撮像領域に設定された第１フレームレート（３０［ｆｐｓ］）で撮像された第１画像領域ａ１（網掛け）の画像データおよび第２撮像領域に設定された第２フレームレート（６０［ｆｐｓ］）で撮像された第２画像領域ａ２（黒塗り）の画像データのうち、少なくとも第１画像領域ａ１の画像データを含むフレームを第１フレームと称す。
【0090】
具体的には、たとえば、第１フレームは、特定被写体（電車）が検出されていない場合、フレーム全域（風景）が第１フレームレート（３０［ｆｐｓ］）で撮像された第１画像領域ａ１となる。また、第１フレームは、特定被写体が検出されている場合、フレーム全域のうち、特定被写体（電車）を撮像した部分が、第２フレームレート（６０［ｆｐｓ］）で撮像された第２画像領域ａ２であり、残余（風景）の部分が第１フレームレート（３０［ｆｐｓ］）で撮像された第１画像領域ａ１となる。
【0091】
また、第２撮像領域に設定された第２フレームレート（６０［ｆｐｓ］）で撮像された第２画像領域ａ２のみのフレームを第２フレームと称す。
【0092】
たとえば、ある撮像領域が１つの単位グループ２０２（２×２画素）で構成されている場合、対応する画像領域の大きさも単位グループ２０２の大きさとなる。同様に、ある撮像領域が２×２の単位グループ２０２（４×４画素）で構成されている場合、対応する画像領域の大きさも２×２の単位グループ２０２の大きさとなる。
【0093】
図９では、撮像素子１００から出力された第１動画データ９１０のうち、第１画像領域ａ１を含むフレームは、第１フレームとし、第２画像領域ａ２の特定被写体像のみのフレームは、第２フレームとする。なお、撮像領域は３以上でもよい。この場合、第３撮像領域以降については、第１フレームレートおよび第２フレームレートとは異なるフレームレートが設定可能となる。
【0094】
画像処理部９０１は、撮像素子１００から入力された動画データ（以下、第１動画データ）９１０を画像処理する。具体的には、たとえば、画像処理部９０１は、第２フレームの時間的に１つ前の第１フレームを参照して、その第１フレームを参照元の第２フレームにコピー、すなわち、合成する。合成されたフレームを第３フレームと称す。第３フレームは、第１フレームの被写体画像に、第２フレームにおける特定被写体画像が重畳されたフレームである。画像処理部９０１は、３０［ｆｐｓ］で撮像された第１フレームと、合成フレームである第３フレームと、を含む動画データ（以下、第２動画データ）９２０を圧縮部９０２に出力する。
【0095】
上述した第１動画データ９１０そのままでは圧縮部９０２で圧縮することができない。そのため、画像処理部９０１は、フレーム列に第１フレームおよび第２フレームが混在する場合、圧縮部９０２が動作可能な第２動画データ９２０を生成する。これにより、汎用の圧縮部９０２により、圧縮部９０２において通常の動画データと同様に第２動画データ９２０の圧縮が可能となる。
【0096】
圧縮部９０２は、画像処理部９０１から入力された第２動画データ９２０を圧縮する。圧縮部９０２は、たとえば、動き補償フレーム間予測（Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ：ＭＣ）と離散コサイン変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：ＤＣＴ）とに、エントロピー符号化を組み合わせたハイブリッド符号化によって圧縮する。
【0097】
圧縮部９０２は、第２動画データ９２０を構成する第１フレームおよび第３フレームのうち、網掛けで示した第１画像領域ａ１については、動き検出や動き補償が不要な圧縮処理を実行し、黒塗りした特定被写体像の第２画像領域ａ２については、上述したハイブリッド符号化によって圧縮する。このように、特定被写体像以外の第１画像領域ａ１については、動き検出や動き補償が実行されないため、動画圧縮の処理負荷の低減を図ることができる。
【0098】
図１０は、図９に示した動画圧縮における画像処理例１を示す説明図である。画像処理例１では、電子機器５００は、田んぼ、山、および空を含む風景の定点撮影中に、特定被写体として、走行する電車を撮影する。特定被写体である電車は、上述した周知の被写体検出技術により特定される。撮影されたフレームは、時系列順にフレームＦ１，Ｆ２－６０，Ｆ３，Ｆ４－６０，Ｆ５とする。ここでは、電車は、フレームＦ１，Ｆ２－６０，Ｆ３，Ｆ４－６０，Ｆ５内において、右から左に向かって走行するものとする。
【0099】
フレームＦ１，Ｆ３，Ｆ５は、第１撮像領域が３０［ｆｐｓ］の第１フレームレートで撮像された第１画像領域ａ１の画像データと、第２撮像領域が６０［ｆｐｓ］の第２フレームレートで撮像された第２画像領域ａ２の画像データと、を含む第１フレームである。フレームＦ２－６０，Ｆ４－６０は、第２撮像領域が６０［ｆｐｓ］の第２フレームレートで撮像された第２画像領域ａ２の画像データを含む第２フレームである。
【0100】
具体的には、たとえば、フレームＦ１，Ｆ３，Ｆ５は、第１画像領域ａ１に田んぼ、山、および空を含む風景が撮像され、第２画像領域ａ２に特定被写体として走行する電車が撮像された第１フレームである。フレームＦ２－６０，Ｆ４－６０は、第２画像領域ａ２に電車が撮像されたフレームである。すなわち、フレームＦ１，Ｆ２－６０，Ｆ３，Ｆ４－６０，Ｆ５において、電車が撮像された第２画像領域ａ２の画像データが、第２撮像領域（６０［ｆｐｓ］）で撮像された画像データであり、フレームＦ１，Ｆ３，Ｆ５において、風景が撮像された第１画像領域ａ１の画像データが、第１撮像領域（３０［ｆｐｓ］）で撮像された画像データである。第１撮像領域は、第１フレームレートで撮像されるため、第２フレームレートで撮像されるフレームＦ２－６０，Ｆ４－６０の第１画像領域ａ１には、何も撮像されていない。
【0101】
フレームＦ１，Ｆ２－６０，Ｆ３，Ｆ４－６０…は、上述した第１動画データ９１０に相当し、そのままでは圧縮部９０２で圧縮することができない。フレーム列に第１フレームおよび第２フレームが混在する場合、圧縮部９０２が動作可能な第２動画データ９２０を生成する必要がある。
【0102】
画像処理部９０１は、フレームＦ２－６０よりも時間的に１つ前のフレームＦ１の第１画像領域ａ１の画像データ（電車を除いた風景）に、フレームＦ２－６０の第２画像領域ａ２の画像データ（電車）をコピーする。これにより、画像処理部９０１は、第３フレームであるフレームＦ２を生成する。
【0103】
フレームＦ４－６０も同様に、画像処理部９０１は、フレームＦ４－６０よりも時間的に１つ前のフレームＦ３の第１画像領域ａ１の画像データ（電車を除いた風景）に、フレームＦ４－６０の第２画像領域ａ２の画像データ（電車）をコピーする。これにより、画像処理部９０１は、第３フレームであるフレームＦ４を生成する。そして、画像処理部９０１は、フレームＦ１～Ｆ５を含む第２動画データ９２０を出力する。
【0104】
このようにして、フレームＦ２－６０，Ｆ４－６０の第１画像領域ａ１の画像データを時間的に１つ前の第１フレームレートのフレームＦ１、Ｆ３で補間することにより、第１画像領域ａ１について、フレームＦ１，Ｆ２間の差分をほぼ０にし、フレームＦ３，Ｆ４間の差分をほぼ０にすることができる。したがって、第１フレームと第２フレームとが混在するフレーム列を従来の圧縮部９０２で圧縮することが可能となる。また、圧縮処理の処理負荷の低減を図ることができる。
【0105】
なお、フレームＦ２では、フレームＦ１の第１画像領域ａ１の画像データ（電車を除いた風景）がコピーされる。したがって、本来フレームＦ１の第２画像領域ａ２だった部分（電車の末尾）がフレームＦ２にコピーされない。このため、フレームＦ２は、何も出力されていない範囲Ｄａ１を有する。
【0106】
同様に、フレームＦ４では、フレームＦ３の第１画像領域ａ１の画像データ（電車を除いた風景）がコピーされる。したがって、本来フレームＦ３の第２画像領域ａ２だった部分（電車の末尾）がフレームＦ４にコピーされない。このため、フレームＦ４は、何も出力されていない範囲Ｄａ３を有する。
【0107】
実施例１では、範囲Ｄａ１，Ｄａ３については、画像処理部９０１は、特定色（たとえば、白、黒、またはグレー）で塗りつぶしてもよく、周辺画素を用いてデモザイク処理を実行してもよい。これにより、動画圧縮が可能で、かつ、違和感がより少ないフレームＦ２，Ｆ４，…を再現することができる。
【0108】
図１１は、図９に示した動画圧縮における画像処理例２を示す説明図である。画像処理例２では、電子機器５００は、たとえば、ドライブレコーダであり、前方を走行する車（先行車）および風景を撮影する。この場合、先行車が追尾対象となる特定被写体であり、風景が自走により変化する。撮影されたフレームは、時系列順にフレームＦ６，Ｆ７－６０，Ｆ８，Ｆ９－６０，Ｆ１０とする。
【0109】
フレームＦ６，Ｆ８，Ｆ１０は、第１撮像領域が３０［ｆｐｓ］の第１フレームレートで撮像された第１画像領域ａ１の画像データと、第２撮像領域が６０［ｆｐｓ］の第２フレームレートで撮像された第２画像領域ａ２の画像データと、を含む第１フレームである。フレームＦ７－６０，Ｆ９－６０は、第２撮像領域が６０［ｆｐｓ］の第２フレームレートで撮像された第２画像領域ａ２の画像データを含む第２フレームである。
【0110】
具体的には、たとえば、フレームＦ６，Ｆ８，Ｆ１０は、第１画像領域ａ１に先行車が撮像され、第２画像領域ａ２に変わりゆく風景が撮像された第１フレームである。フレームＦ７－６０，Ｆ９－６０は、第２画像領域ａ２に風景が撮像されたフレームである。すなわち、フレームＦ６，Ｆ７－６０，Ｆ８，Ｆ９－６０，Ｆ１０において、風景が撮像された第２画像領域ａ２の画像データが、第２撮像領域（６０［ｆｐｓ］）で撮像された画像データであり、フレームＦ６，Ｆ８，Ｆ１０において、先行車が撮像された第１画像領域ａ１の画像データが、第１撮像領域（３０［ｆｐｓ］）で撮像された画像データである。第１撮像領域は、第１フレームレートで撮像されるため、第２フレームレートで撮像されるフレームＦ７－６０，Ｆ９－６０の第１画像領域ａ１には、何も撮像されていない。
【0111】
画像処理部９０１は、フレームＦ７－６０よりも時間的に１つ前のフレームＦ６の第１画像領域ａ１の画像データ（風景を除いた先行車）に、フレームＦ７－６０の第２画像領域ａ２の画像データ（風景）をコピーする。これにより、画像処理部９０１は、第３フレームであるフレームＦ７を生成する。
【0112】
フレームＦ９も同様に、画像処理部９０１は、フレームＦ９－６０よりも時間的に１つ前のフレームＦ８の第１画像領域ａ１の画像データ（風景を除いた先行車）に、フレームＦ９－６０の第２画像領域ａ２の画像データ（風景）をコピーする。これにより、画像処理部９０１は、第３フレームであるフレームＦ９を生成する。そして、画像処理部９０１は、フレームＦ６～Ｆ１０を含む第２動画データ９２０を出力する。
【0113】
このようにして、フレームＦ７－６０，Ｆ９－６０の第１画像領域ａ１の画像データを時間的に１つ前の第１フレームレートのフレームＦ６，Ｆ８で補間することにより、第１画像領域ａ１について、フレームＦ６，Ｆ７間の差分を０にし、フレームＦ８，Ｆ９間の差分を０にすることができる。したがって、第１フレームと第２フレームとが混在するフレーム列を従来の圧縮部９０２で圧縮することが可能となる。また、圧縮処理の処理負荷の低減を図ることができる。
【0114】
なお、制御部５０２は、第２動画データ９２０の圧縮処理をリアルタイム処理で実行してもよいが、バッチ処理で実行してもよい。たとえば、制御部５０２は、撮像素子１００、前処理部９００、または画像処理部９０１からの第１動画データ９１０、第２動画データ９２０を一旦メモリカード５０４、ＤＲＡＭ５０６、またはフラッシュメモリ５０７に格納しておき、自動的にまたはユーザ操作によるトリガがあった場合に、第１動画データ９１０、第２動画データ９２０を読み出して（第１動画データ９１０の場合は画像処理部９０１で第２動画データ９２０に変換後）、圧縮部９０２に圧縮処理を実行させてもよい。
【0115】
＜制御部５０２の構成例＞
図１２は、図５に示した制御部５０２の構成例を示すブロック図である。制御部５０２は、前処理部１２１０と、画像処理部９０１と、取得部１２２０と、圧縮部９０２と、を有し、プロセッサ１２０１、メモリ１２０２、集積回路１２０３、およびこれらを接続するバス１２０４により構成される。
図１２は、図５に示した制御部５０２の構成例を示すブロック図である。制御部５０２は、前処理部１２１０と、画像処理部９０１と、取得部１２２０と、圧縮部９０２と、を有し、プロセッサ１２０１、メモリ１２０２、集積回路１２０３、およびこれらを接続するバス１２０４により構成される。
【0116】
前処理部１２１０、画像処理部９０１、取得部１２２０および圧縮部９０２は、メモリ１２０２に記憶されたプログラムをプロセッサ１２０１に実行させることにより実現してもよく、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などの集積回路１２０３により実現してもよい。また、プロセッサ１２０１は、メモリ１２０２をワークエリアとして利用してもよい。また、集積回路１２０３は、メモリ１２０２を、画像データを含む各種データを一時的に保持するバッファとして利用してもよい。
【0117】
前処理部１２１０は、撮像素子１００からの第１動画データ９１０について画像処理部９０１による画像処理の前処理を実行する。具体的には、たとえば、前処理部１２１０は、検出部１２１１と設定部１２１２とを有する。検出部１２１１は、上述した周知の被写体検出技術により、特定被写体を検出する。
【0118】
設定部１２１２は、撮像素子１００からの第１動画データ９１０を構成する各フレームに付加情報８１７を付与する。また、設定部１２１２は、撮像素子１００の撮像面２００のうち、特定被写体が検出された撮像領域を第１フレームレート（たとえば、３０［ｆｐｓ］）から第２フレームレート（６０［ｆｐｓ］）に変更する。
【0119】
具体的には、たとえば、設定部１２１２は、入力フレームでの特定被写体が検出された撮像領域と入力済みフレームの特定被写体が検出された撮像領域との差分から特定被写体の動きベクトルを検出して、次の入力フレームでの特定被写体の撮像領域を予測する。設定部１２１２は、予測した撮像領域について第２フレームレートに変更する指示を撮像素子１００に出力する。
【0120】
画像処理部９０１は、前処理部１２１０から出力された第１動画データ９１０の各フレームを画像処理する。具体的には、たとえば、画像処理部９０１は、特定部１２１３と合成部１２１４とを有する。
【0121】
特定部１２１３は、第１動画データ９１０の複数のフレームの中で、上述した第１フレーム（たとえば、図１０のフレームＦ１）と、上述した第２フレーム（たとえば、図１０のフレームＦ２－６０）と、に基づいて、第１フレームにおける第２撮像領域に対応する第２画像領域ａ２と、第２フレームにおける第２撮像領域に対応する第２画像領域ａ２と、の差分領域を特定する。フレームＦ１とフレームＦ２－６０との差分領域は、フレームＦ２－６０における電車の後方の第１画像領域ａ１となる。
【0122】
合成部１２１４は、図９～図１１に示したように、第２画像領域ａ２の画像データのみの第２フレーム（たとえば、図１０のフレームＦ２－６０）に、時間的に１つ前の第１画像領域ａ１の画像データを含む第１フレーム（たとえば、図１０のフレームＦ１）をコピーして合成し、第３フレーム（たとえば、図１０のフレームＦ２）を生成する。なお、合成部１２１４は、特定部１２１３で特定された差分領域（範囲Ｄａ１）に、第１フレームの差分領域と同一位置における第２画像領域ａ２の画像データ（電車の末尾部分）をコピーする（図１０のフレームＦ２－６０の点線丸を参照。）。これにより、時間的に連続する第１フレームと第３フレームとの差分をほぼ０にすることができる。
【0123】
取得部１２２０は、画像処理部９０１から出力された第２動画データ９２０をメモリ１２０２に保持して、所定のタイミングで第２動画データ９２０に含まれる複数のフレームを時系列順に１フレームずつ圧縮部９０２に出力する。
【0124】
圧縮部９０２は、図９に示したように、入力された第２動画データ９２０を圧縮する。具体的には、たとえば、圧縮部９０２は、第２動画データ９２０を構成する第１フレームおよび第３フレームのうち、第１画像領域ａ１の画像データについては、動き検出や動き補償が不要な圧縮処理を実行し、特定被写体が撮像された第２画像領域ａ２の画像データについては、上述したハイブリッド符号化によって圧縮する。このように、特定被写体像以外の領域については、動き検出や動き補償が実行されないため、動画圧縮の処理負荷の低減を図る。
【0125】
＜圧縮部９０２の構成例＞
図１３は、圧縮部９０２の構成例を示すブロック図である。上述したように、圧縮部９０２は、動き補償フレーム間予測（ＭＣ）と離散コサイン変換（ＤＣＴ）とに、エントロピー符号化を組み合わせたハイブリッド符号化によって、第２動画データ９２０の各フレームを圧縮する。
図１３は、圧縮部９０２の構成例を示すブロック図である。上述したように、圧縮部９０２は、動き補償フレーム間予測（ＭＣ）と離散コサイン変換（ＤＣＴ）とに、エントロピー符号化を組み合わせたハイブリッド符号化によって、第２動画データ９２０の各フレームを圧縮する。
【0126】
圧縮部９０２は、減算部１３０１と、ＤＣＴ部１３０２と、量子化部１３０３と、エントロピー符号化部１３０４と、符号量制御部１３０５と、逆量子化部１３０６と、逆ＤＣＴ部１３０７と、生成部１３０８と、フレームメモリ１３０９と、動き検出部１３１０と、動き補償部１３１１と、圧縮制御部１３１２と、を有する。減算部１３０１～動き補償部１３１１は、既存の圧縮器と同様な構成である。
【0127】
具体的には、たとえば、減算部１３０１は、入力フレームから、当該入力フレームを予測する動き補償部１３１１からの予測フレームを減算して差分データを出力する。ＤＣＴ部１３０２は、減算部１３０１からの差分データを離散コサイン変換する。
【0128】
量子化部１３０３は、離散コサイン変換された差分データを量子化する。エントロピー符号化部１３０４は、量子化された差分データをエントロピー符号化し、また、動き検出部１３１０からの動きベクトルもエントロピー符号化する。
【0129】
符号量制御部１３０５は、量子化部１３０３による量子化を制御する。逆量子化部１３０６は、量子化部１３０３で量子化された差分データを逆量子化して、離散コサイン変換された差分データにする。逆ＤＣＴ部１３０７は、逆量子化された差分データを逆離散コサイン変換する。
【0130】
生成部１３０８は、逆離散コサイン変換された差分データと、動き補償部１３１１からの予測フレームとを加算して、当該入力フレームよりも時間的に後に入力されるフレームが参照する参照フレームを生成する。フレームメモリ１３０９は、生成部１３０８から得られた参照フレームを保持する。動き検出部１３１０は、入力フレームと参照フレームとを用いて、動きベクトルを検出する。動き補償部１３１１は、参照フレームと動きベクトルとを用いて、予測フレームを生成する。
【0131】
動き補償部１３１１は、具体的には、たとえば、フレームメモリ１３０９に保持された複数の参照フレームのうち特定の参照フレームと動きベクトルとを用いて、第２フレームレートで撮像されたフレームの動き補償を実行する。参照フレームを特定の参照フレームとすることにより、特定の参照フレーム以外の他の参照フレームをも用いた高負荷の動き補償を抑制することができる。また、特定の参照フレームを、入力フレームの時間的に１つ前のフレームから得られた１枚の参照フレームとすることにより、高負荷な動き補償を回避して、動き補償の処理負荷の低減を図ることができる。
【0132】
圧縮制御部１３１２は、動き検出部１３１０と動き補償部１３１１を制御する。具体的には、たとえば、圧縮制御部１３１２は、動き検出部１３１０で動きがないことを示す特定の動きベクトルを設定する第１圧縮制御方法と、動き検出自体をスキップする第２圧縮制御方法を実行する。
【0133】
第１圧縮制御方法については、圧縮制御部１３１２は、動き検出部１３１０を制御して、第１フレームレート（たとえば、３０［ｆｐｓ］）で撮像された第１画像領域ａ１については、動きベクトルの検出ではなく、動きがないことを示す特定の動きベクトルを設定して、動き補償部１３１１に出力し、第２フレームレート（たとえば、６０［ｆｐｓ］）で撮像された第２画像領域ａ２については、動きベクトルを検出して、動き補償部１３１１に出力する。特定の動きベクトルは、方向が規定されず、かつ、動き量が０の動きベクトルである。
【0134】
この場合、圧縮制御部１３１２は、動き補償部１３１１を制御して、第１画像領域ａ１の画像データについては、特定の動きベクトルと参照フレームとに基づいて動き補償を実行し、第２画像領域ａ２の画像データについては、動き検出部１３１０によって検出された動きベクトルに基づいて動き補償を実行する。
【0135】
第２圧縮制御方法については、圧縮制御部１３１２は、動き検出部１３１０を制御して、第１フレームレート（たとえば、３０［ｆｐｓ］）で撮像された第１画像領域ａ１については、動きベクトルの検出を実行せず、第２フレームレート（たとえば、６０［ｆｐｓ］）で撮像された第２画像領域ａ２については、動きベクトルの検出を実行する。
【0136】
この場合、圧縮制御部１３１２は、動き補償部１３１１を制御して、第１画像領域ａ１の画像データについては、参照フレームに基づいて動き補償を実行する。すなわち、動きベクトルがないため、圧縮制御部１３１２は、動き補償部１３１１を制御して、第１画像領域ａ１の画像データについては、参照フレームを、入力フレームの時間的に１つ後のフレームを予測する予測フレームに決定する。また、圧縮制御部１３１２は、動き補償部１３１１を制御して、第２画像領域ａ２の画像データについては、参照フレームと動き検出部１３１０によって検出された動きベクトルに基づいて動き補償を実行する。
【0137】
第１圧縮制御方法によれば、動きベクトルが特定の動きベクトルであるため、第１画像領域ａ１での動き検出が簡略化される。したがって、動画圧縮の処理負荷の低減を図る。また、第２圧縮制御方法によれば、第１画像領域ａ１について動き検出自体が実行されないため、第１圧縮制御方法よりも、動画圧縮の処理負荷の低減を図る。
【0138】
＜制御部５０２の動作処理手順例＞
図１４は、制御部５０２の動作処理手順例を示すシーケンス図である。図１４では、説明の便宜上、取得部１２２０を省略する。前処理部１２１０は、たとえば、ユーザが操作部５０５を操作することにより、または、ステップＳ１４１２の特定被写体の非検出の場合（ステップＳ１４１２：Ｙｅｓ）は自動で、撮像素子１００の撮像面２００全域の撮像条件を第１フレームレート（たとえば、３０［ｆｐｓ］）に設定する（ステップＳ１４０１）。
図１４は、制御部５０２の動作処理手順例を示すシーケンス図である。図１４では、説明の便宜上、取得部１２２０を省略する。前処理部１２１０は、たとえば、ユーザが操作部５０５を操作することにより、または、ステップＳ１４１２の特定被写体の非検出の場合（ステップＳ１４１２：Ｙｅｓ）は自動で、撮像素子１００の撮像面２００全域の撮像条件を第１フレームレート（たとえば、３０［ｆｐｓ］）に設定する（ステップＳ１４０１）。
【0139】
そして、前処理部１２１０は、ステップＳ１４０１の設定内容を含む第１フレームレート設定指示を撮像素子１００に送信する（ステップＳ１４０２）。これにより、撮像素子１００は、撮像面２００全域の撮像条件を第１フレームレートに設定され、撮像素子１００は、被写体を第１フレームレートで撮像して、第１動画データ９１０を前処理部１２１０に出力する（ステップＳ１４０３）。
【0140】
前処理部１２１０は、第１動画データ９１０が入力されると（ステップＳ１４０３）、設定処理を実行する（ステップＳ１４０４）。設定処理（ステップＳ１４０４）は、第１動画データ９１０の各フレームに、付加情報８１７を設定する。付加情報８１７とは、上述したように、各撮像領域で撮像されたフレーム内の画像領域に設定されたフレームレートである。たとえば、第１フレームレート（たとえば、３０［ｆｐｓ］）が付加情報８１７として付加された画像領域は、第１画像領域ａ１として認識され、第２フレームレート（たとえば、６０［ｆｐｓ］）が付加情報８１７として付加された画像領域は、第２画像領域ａ２として認識される。
【0141】
また、前処理部１２１０は、各フレームに付加情報８１７が付加された第１動画データ９１０を画像処理部９０１に出力する（ステップＳ１４０５）。
【0142】
また、前処理部１２１０は、設定処理（ステップＳ１４０４）で次の入力フレームの第２フレームレートの画像領域が検出されなかった場合（ステップＳ１４０６：Ｎｏ）、ステップＳ１４０３の第１動画データ９１０の入力を待ち受ける。一方、前処理部１２１０は、設定処理（ステップＳ１４０４）で次の入力フレームの第２フレームレートの画像領域が検出された場合（ステップＳ１４０６：Ｙｅｓ）、特定被写体を含む第２画像領域ａ２を第２フレームレート（たとえば、６０［ｆｐｓ］）に設定変更する（ステップＳ１４０７）。
【0143】
そして、前処理部１２１０は、ステップＳ１４０７の設定変更内容を含む第２フレームレート設定指示を撮像素子１００に送信する（ステップＳ１４０８）。これにより、撮像素子１００は、撮像面２００全域のうち第２撮像領域の撮像条件を第２フレームレートに設定され、撮像素子１００は、被写体を第１撮像領域では第１フレームレートで撮像し、第２撮像領域では第２フレームレートで撮像して、第１動画データ９１０を前処理部１２１０に出力する（ステップＳ１４０９）。
【0144】
前処理部１２１０は、第１動画データ９１０が入力されると（ステップＳ１４０９）、付加情報設定処理を実行する（ステップＳ１４１０）。付加情報設定処理（ステップＳ１４１０）は、付加情報設定処理（ステップＳ１４０４）と同一処理である。付加情報設定処理（ステップＳ１４１０）の詳細については、図１５で後述する。前処理部１２１０は、各フレームに付加情報８１７が付加された第１動画データ９１０を画像処理部９０１に出力する（ステップＳ１４１１）。
【0145】
前処理部１２１０は、特定被写体が非検出になった場合（ステップＳ１４１２：Ｙｅｓ）、ステップＳ１４０１に戻り、撮像面２００全域を第１フレームレートに設定変更する（ステップＳ１４０１）。一方、特定被写体が検出され続けている場合（ステップＳ１４１２：Ｎｏ）、ステップＳ１４０７に戻り、特定被写体の検出位置に応じた第２画像領域ａ２を第２フレームレートに変更する（ステップＳ１４０７）。なお、この場合、特定被写体が検出されなくなった画像領域については、前処理部１２１０は、第１フレームレートに設定変更する。
【0146】
また、画像処理部９０１は、第１動画データ９１０が入力されると（ステップＳ１４０５）、付加情報８１７を参照して画像処理を実行する（ステップＳ１４１３）。なお、画像処理（ステップＳ１４１３）では、画像処理部９０１は、各フレームの付加情報８１７を参照して、第１動画データ９１０の各フレームは、第１フレームのみであると特定する。
【0147】
したがって、特定被写体が撮像されていないため、画像処理部９０１は、第３フレームを生成しない。画像処理（ステップＳ１４１３）の詳細については、図１８で後述する。画像処理部９０１は、第１動画データ９１０を圧縮部９０２に出力する（ステップＳ１４１４）。
【0148】
また、画像処理部９０１は、第１動画データ９１０が入力されると（ステップＳ１４１１）、付加情報８１７を参照して画像処理を実行する（ステップＳ１４１５）。なお、画像処理（ステップＳ１４１５）では、画像処理部９０１は、各フレームの付加情報８１７を参照して、第１動画データ９１０の各フレームは、第１フレームおよび第２フレームを含むと特定する。
【0149】
したがって、第１フレームおよび第２フレームに特定被写体が撮像されているため、画像処理部９０１は、第３フレームを生成する。画像処理（ステップＳ１４１５）の詳細については、図１８で後述する。画像処理部９０１は、第１フレームおよび第３フレームを含む第２動画データ９２０を圧縮部９０２に出力する（ステップＳ１４１６）。
【0150】
圧縮部９０２は、第１動画データ９１０が入力されると（ステップＳ１４１４）、第１動画データ９１０の圧縮処理を実行する（ステップＳ１４１７）。第１動画データ９１０は、第１フレームのみで構成されるため、圧縮部９０２は、圧縮処理（ステップＳ１４１７）において、動き検出や動き補償が不要な圧縮符号化を実行する。圧縮処理（ステップＳ１４１７）の詳細については、図１９～図２４で後述する。
【0151】
また、圧縮部９０２は、第２動画データ９２０が入力されると（ステップＳ１４１６）、第２動画データ９２０の圧縮処理を実行する（ステップＳ１４１８）。第２動画データ９２０は、第１フレームおよび第３フレームで構成されるため、圧縮部９０２は、圧縮処理（ステップＳ１４１８）において、第１画像領域ａ１については動き検出や動き補償が不要な圧縮符号化を実行し、第２画像領域ａ２については通常のハイブリッド符号化による圧縮を実行する。圧縮処理（ステップＳ１４１８）の詳細については、図１９～図２４で後述する。
【0152】
＜設定処理（ステップＳ１４０４、Ｓ１４１０）＞
図１５は、図１４に示した設定処理（ステップＳ１４０４、Ｓ１４１０）の詳細な処理手順例を示すフローチャートである。図１５では、撮像素子１００には、あらかじめ第１フレームレート（例：３０［ｆｐｓ］）が設定されており、検出部１２１１の被写体検出技術により第２フレームレート（例：６０［ｆｐｓ］）の画像領域を追尾して、撮像素子１００にフィードバックする。なお、第１フレームレートおよび第２フレームレートの画像領域は、常時固定でもよい。
図１５は、図１４に示した設定処理（ステップＳ１４０４、Ｓ１４１０）の詳細な処理手順例を示すフローチャートである。図１５では、撮像素子１００には、あらかじめ第１フレームレート（例：３０［ｆｐｓ］）が設定されており、検出部１２１１の被写体検出技術により第２フレームレート（例：６０［ｆｐｓ］）の画像領域を追尾して、撮像素子１００にフィードバックする。なお、第１フレームレートおよび第２フレームレートの画像領域は、常時固定でもよい。
【0153】
前処理部１２１０は、第１動画データ９１０を構成するフレームの入力を待ち受け（ステップＳ１５０１：Ｎｏ）、フレームが入力された場合（ステップＳ１５０１：Ｙｅｓ）、検出部１２１１により主要被写体などの特定被写体が検出されたか否かを判断する（ステップＳ１５０２）。特定被写体が検出されていない場合（ステップＳ１５０２：Ｎｏ）、ステップＳ１５０４に移行する。
【0154】
一方、特定被写体が検出された場合（ステップＳ１５０２：Ｙｅｓ）、前処理部１２１０は、検出部１２１１により、時間的に１つ前のフレーム（たとえば、参照フレーム）と入力フレームとを比較して動きベクトルを検出し、次の入力フレームでの第２フレームレートの画像領域を予測し、撮像素子１００に出力し、ステップＳ１５０４に移行する（ステップＳ１５０３）。これにより、撮像素子１００は、予測された画像領域に対応する撮像領域を構成する単位グループ２０２の撮像条件を第２フレームレートに設定し、残余の単位グループ２０２の撮像条件を第１フレームレートに設定して、被写体を撮像する。
【0155】
そして、前処理部１２１０は、入力フレームについて図８に示したデータブロックＢｉを生成して（ステップＳ１５０４）、付加情報設定処理を実行し（ステップＳ１５０５）、ステップＳ１５０１に戻る。付加情報設定処理（ステップＳ１５０５）は、上述した付加情報を設定する処理であり、図１６で詳細に説明する。
【0156】
フレームの入力がない場合（ステップＳ１５０１：Ｎｏ）、第１動画データ９１０の入力が終了しているため、前処理部１２１０は、設定処理（ステップＳ１４０４、Ｓ１４１０）を終了する。
【0157】
＜付加情報設定処理（ステップＳ１５０５）＞
図１６は、図１５に示した付加情報設定処理（ステップＳ１５０５）の詳細な処理手順例を示すフローチャートである。前処理部１２１０は、フレームが入力されると（ステップＳ１６０１）、入力フレームに未選択画像領域があるか否かを判断する（ステップＳ１６０２）。未選択画像領域がある場合（ステップＳ１６０２：Ｙｅｓ）、前処理部１２１０は、未選択画像領域を１つ選択し（ステップＳ１６０３）、特定被写体の検出フラグがＯＮであるか否かを判断する（ステップＳ１６０４）。検出フラグは、特定被写体の検出の有無を示す情報であり、デフォルトはＯＦＦ（非検出）である。
図１６は、図１５に示した付加情報設定処理（ステップＳ１５０５）の詳細な処理手順例を示すフローチャートである。前処理部１２１０は、フレームが入力されると（ステップＳ１６０１）、入力フレームに未選択画像領域があるか否かを判断する（ステップＳ１６０２）。未選択画像領域がある場合（ステップＳ１６０２：Ｙｅｓ）、前処理部１２１０は、未選択画像領域を１つ選択し（ステップＳ１６０３）、特定被写体の検出フラグがＯＮであるか否かを判断する（ステップＳ１６０４）。検出フラグは、特定被写体の検出の有無を示す情報であり、デフォルトはＯＦＦ（非検出）である。
【0158】
図１４のステップＳ１４０６で特定被写体が検出された場合（ステップＳ１４０６：Ｙｅｓ）、前処理部１２１０は、検出フラグをＯＦＦからＯＮ（検出中）に変更する。ステップＳ１４１２で特定被写体が非検出となった場合（ステップＳ１４１２：Ｙｅｓ）、前処理部１２１０は、検出フラグをＯＮからＯＦＦに変更する。
【0159】
図１６に戻り、検出フラグがＯＦＦである場合（ステップＳ１６０４：Ｎｏ）、前処理部１２１０は、選択画像領域について第１フレームレートを示す情報を付加情報８１７に設定し（ステップＳ１６０５）、ステップＳ１６０２に戻る。一方、検出フラグがＯＮである場合（ステップＳ１６０４：Ｙｅｓ）、前処理部１２１０は、選択画像領域は、特定被写体像が存在する画像領域であるか否かを判断する（ステップＳ１６０６）。
【0160】
特定被写体像が存在しない場合（ステップＳ１６０６：Ｎｏ）、ステップＳ１６０２に戻る。一方、特定被写体像が存在する場合（ステップＳ１６０６：Ｙｅｓ）、前処理部１２１０は、選択画像領域について第２フレームレートを示す情報を付加情報８１７に設定し（ステップＳ１６０７）、ステップＳ１６０２に戻る。
【0161】
ステップＳ１６０２において、未選択画像領域がない場合（ステップＳ１６０２：Ｎｏ）、前処理部１２１０は、付加情報設定処理を終了する。このあと、前処理部１２１０は、フレームレートの設定指示を撮像素子１００に送信する（ステップＳ１４０２、Ｓ１４０８）。
【0162】
各フレームの画像領域ごとに、付加情報８１７を設定することにより、前処理部１２１０は、どの画像領域に対応する撮像素子１００の撮像領域をどのフレームレートに設定すればよいかを特定することができる。または、画像処理部９０１および圧縮部９０２は、入力されたフレームの各画像領域のフレームレートを付加情報８１７から特定することができる。
【0163】
＜動画ファイル生成処理＞
図１７は、動画ファイル生成処理手順例を示すフローチャートである。動画ファイル生成処理は、例えば、圧縮部９０２の圧縮処理中に実行されるが、圧縮せずに動画ファイル６００を生成する場合は、画像処理部９０１の後に実行されてもよい。
図１７は、動画ファイル生成処理手順例を示すフローチャートである。動画ファイル生成処理は、例えば、圧縮部９０２の圧縮処理中に実行されるが、圧縮せずに動画ファイル６００を生成する場合は、画像処理部９０１の後に実行されてもよい。
【0164】
制御部５０２は、図８に示したように、識別情報８０１、撮像条件情報８０２、およびマスク情報７０４を生成して、その順にマスク領域６１２に格納する（ステップＳ１７０１）。つぎに、前処理部１２１０は、撮像情報を撮像情報領域６１３に格納する（ステップＳ１７０２）。
【0165】
そして、制御部５０２は、Ｔｖ値マップ８１２、Ｓｖ値マップ８１３、Ｂｖ値マップ８１４、およびＡｖ値情報８１５を生成する（ステップＳ１７０３）。つぎに、前処理部１２１０は、マスク情報７０４、画像情報８１１、Ｔｖ値マップ８１２、Ｓｖ値マップ８１３、Ｂｖ値マップ８１４、およびＡｖ値情報８１５の順にデータ領域に格納する（ステップＳ１７０４）。
【0166】
最後に、制御部５０２は、ファイル基本情報を生成して、ヘッダ部６０１の先頭であるファイル基本情報領域６１１に格納する（ステップＳ１７０５）。これにより、制御部５０２は、動画ファイル６００を生成することができる。
【0167】
＜画像処理（ステップＳ１４１３、Ｓ１４１５）＞
図１８は、図１４に示した画像処理（ステップＳ１４１３、Ｓ１４１５）の詳細な処理手順例を示すフローチャートである。画像処理部９０１は、フレームを入力すると（ステップＳ１８０１）、付加情報８１７を参照する（ステップＳ１８０２）。画像処理部９０１は、付加情報８１７内のフレームレートが第２フレームレートのみであるか否かを判断する（ステップＳ１８０３）。
図１８は、図１４に示した画像処理（ステップＳ１４１３、Ｓ１４１５）の詳細な処理手順例を示すフローチャートである。画像処理部９０１は、フレームを入力すると（ステップＳ１８０１）、付加情報８１７を参照する（ステップＳ１８０２）。画像処理部９０１は、付加情報８１７内のフレームレートが第２フレームレートのみであるか否かを判断する（ステップＳ１８０３）。
【0168】
第２フレームレートのみでない場合（ステップＳ１８０３：Ｎｏ）、付加情報８１７は、第１フレームレートのみ、または、第１フレームレートおよび第２フレームレートを含む。したがって、画像処理部９０１は、入力フレームの画像情報を格納対象として保持し、かつ、バッファに上書きして（ステップＳ１８０４）、ステップＳ１８０６に移行する。
【0169】
一方、付加情報８１７が第２フレームレートのみである場合（ステップＳ１８０３：Ｙｅｓ）、ステップＳ１８０４で上書きされたバッファ内の画像情報と、入力フレームの画像情報とで、第２フレームの画像情報を格納対象として生成し（ステップＳ１８０５）、ステップＳ１８０６に移行する。
【0170】
画像処理（ステップＳ１４１３）では、付加情報８１７は第１フレームレートのみとなる（ステップＳ１８０３：Ｎｏ）。一方、画像処理（ステップＳ１４１５）では、付加情報８１７は第１フレームレートおよび第２フレームレートを含むか（ステップＳ１８０３：Ｎｏ）、または、第２フレームレートのみとなる（ステップＳ１８０３：Ｙｅｓ）。
【0171】
これにより、画像処理部９０１は、図９～図１１に示したように、第２フレームレートの第２画像領域ａ２のみからなるフレームを時間的に１つ前の第１フレームレートの第１画像領域ａ１により補間して、第１画像領域ａ１および第２画像領域ａ２を含むフレームに合成することができる。したがって、１フレーム内のフレームレートの相違を吸収することができる。
【0172】
＜圧縮処理例：第１圧縮制御方法＞
つぎに、圧縮部９０２による圧縮処理を第１圧縮制御方法と第２圧縮制御方法に分けて説明する。
つぎに、圧縮部９０２による圧縮処理を第１圧縮制御方法と第２圧縮制御方法に分けて説明する。
【0173】
図１９は、圧縮制御部１３１２による第１圧縮制御方法の圧縮制御処理手順例を示すフローチャートである。圧縮制御部１３１２は、入力フレームを取得し（ステップＳ１９０１）、取得した入力フレームから未選択画像領域を選択する（ステップＳ１９０２）。そして、圧縮制御部１３１２は、選択画像領域のフレームレートを付加情報８１７から参照する（ステップＳ１９０３）。
【0174】
選択画像領域のフレームレートが第２フレームレートである場合（ステップＳ１９０３：第２ＦＲ）、圧縮制御部１３１２は、選択画像領域の画像データを動き検出部１３１０に出力する（ステップＳ１９０４）。これにより、動き検出部１３１０は、第２フレームレートの選択画像領域については、通常通り、参照フレームを用いて動きベクトルを検出する。
【0175】
一方、選択画像領域のフレームレートが第１フレームレートである場合（ステップＳ１９０３：第１ＦＲ）、圧縮制御部１３１２は、第１フレームレートの選択画像領域にスキップフラグを設定して、動き検出部１３１０に出力する（ステップＳ１９０５）。これにより、動き検出部１３１０は、第１フレームレートの選択画像領域については、動きがないことを示す特定の動きベクトルを設定することになる。
【0176】
ステップＳ１９０４またはＳ１９０５のあと、圧縮制御部１３１２は、取得した入力フレームに未選択画像領域があるか否かを判断する（ステップＳ１９０６）。未選択画像領域がある場合（ステップＳ１９０６：Ｙｅｓ）、ステップＳ１９０２に戻る。一方、未選択画像領域がない場合（ステップＳ１９０６：Ｎｏ）、圧縮制御部１３１２は、一連の処理を終了する。
【0177】
図２０は、動き検出部１３１０による第１圧縮制御方法の動き検出処理手順例を示すフローチャートである。動き検出部１３１０は、入力フレームよりも時間的に１つ前の参照フレームをフレームメモリ１３０９から取得し（ステップＳ２００１）、図１９のステップＳ１９０４またはＳ１９０５で出力された選択画像領域の入力を待ち受ける（ステップＳ２００２：Ｎｏ）。
【0178】
選択画像領域が入力された場合（ステップＳ２００２：Ｙｅｓ）、動き検出部１３１０は、選択画像領域と同一箇所の画像領域の画像データを参照フレームから取得する（ステップＳ２００３）。そして、動き検出部１３１０は、選択画像領域にスキップフラグがあるか否かを判断する（ステップＳ２００４）。スキップフラグがない場合（ステップＳ２００４：Ｎｏ）、選択画像領域のフレームレートが第２フレームレートである。したがって、動き検出部１３１０は、選択画像領域の画像データと、ステップＳ２００３で取得した参照フレームの画像領域の画像データとを用いて、動きベクトルを検出する（ステップＳ２００５）。
【0179】
一方、スキップフラグがある場合（ステップＳ２００４：Ｙｅｓ）、動き検出部１３１０は、動きがないことを示す特定の動きベクトルを設定する（ステップＳ２００６）。これにより、動き検出部１３１０での動き検出処理は、常に、動きがないことを示す特定の動きベクトルを用いるため、第１フレームレートの選択画像領域について、動き検出の処理負荷が低減される。そして、動き検出部１３１０は、ステップＳ２００５またはＳ２００６で得られた動きベクトルを動き補償部１３１１に出力して（ステップＳ２００７）、一連の処理を終了する。
【0180】
図２１は、動き補償部１３１１による第１圧縮制御方法の動き補償処理手順例を示すフローチャートである。動き補償部１３１１は、フレームメモリ１３０９から参照フレームを取得する（ステップＳ２１０１）。動き補償部１３１１は、選択画像領域と同一箇所の画像領域を参照フレームから取得する（ステップＳ２１０２）。
【0181】
そして、動き補償部１３１１は、動き検出部１３１０からの選択画像領域についての動きベクトルと、ステップＳ２１０２で取得された参照フレームの画像領域とを用いて、動き補償を実行する（ステップＳ２１０３）。これにより、動き補償部１３１１は、選択画像領域における予測画像データを生成することができる。
【0182】
そして、動き補償部１３１１は、全選択画像領域の動き補償が終了したか否かを判断する（ステップＳ２１０４）。具体的には、たとえば、圧縮制御部１３１２がステップＳ１９０６で未選択画像領域があると判断した場合に（ステップＳ１９０７：Ｙｅｓ）、動き補償部１３１１は、全選択画像領域の動き補償が終了していないと判断し（ステップＳ２１０４：Ｎｏ）、ステップＳ２１０２に戻る。
【0183】
一方、圧縮制御部１３１２がステップＳ１９０６で未選択画像領域がないと判断した場合に（ステップＳ１９０６：Ｎｏ）、動き補償部１３１１は、全選択画像領域の動き補償が終了したと判断する（ステップＳ２１０４：Ｙｅｓ）。そして、動き補償部１３１１は、全選択画像領域についての予測画像データを結合した予測フレームを減算部１３０１および生成部１３０８に出力して（ステップＳ２１０５）、一連の処理を終了する。
【0184】
＜圧縮処理例：第２圧縮制御方法＞
図２２は、圧縮制御部１３１２による第２圧縮制御方法の圧縮制御処理手順例を示すフローチャートである。圧縮制御部１３１２は、入力フレームを取得し（ステップＳ２２０１）、取得した入力フレームから未選択画像領域を選択する（ステップＳ２２０２）。そして、圧縮制御部１３１２は、選択画像領域のフレームレートを付加情報８１７から参照する（ステップＳ２２０３）。
図２２は、圧縮制御部１３１２による第２圧縮制御方法の圧縮制御処理手順例を示すフローチャートである。圧縮制御部１３１２は、入力フレームを取得し（ステップＳ２２０１）、取得した入力フレームから未選択画像領域を選択する（ステップＳ２２０２）。そして、圧縮制御部１３１２は、選択画像領域のフレームレートを付加情報８１７から参照する（ステップＳ２２０３）。
【0185】
選択画像領域のフレームレートが第２フレームレートである場合（ステップＳ２２０３：第２ＦＲ）、圧縮制御部１３１２は、選択画像領域を動き検出部１３１０に出力する（ステップＳ２２０４）。これにより、動き検出部１３１０は、第２フレームレートの選択画像領域については、通常通り、参照フレームを用いて動きベクトルを検出する。
【0186】
一方、選択画像領域のフレームレートが第１フレームレートである場合（ステップＳ２２０３：第１ＦＲ）、圧縮制御部１３１２は、第１フレームレートの選択画像領域にスキップフラグを設定して、動き検出部１３１０に出力する（ステップＳ２２０５）。これにより、動き検出部１３１０は、第１フレームレートの選択画像領域については、動き検出を実行しないことになる。そして、圧縮制御部１３１２は、選択画像領域の動き補償停止指示を発行して、動き補償部１３１１に出力する（ステップＳ２２０６）。これにより、当該選択画像領域について動き補償の実行を停止することができる。
【0187】
ステップＳ２２０４またはＳ２２０６のあと、圧縮制御部１３１２は、取得した入力フレームに未選択画像領域があるか否かを判断する（ステップＳ２２０７）。未選択画像領域がある場合（ステップＳ２２０７：Ｙｅｓ）、ステップＳ２２０２に戻る。一方、未選択画像領域がない場合（ステップＳ２２０７：Ｎｏ）、圧縮制御部１３１２は、一連の処理を終了する。
【0188】
図２３は、動き検出部１３１０による第２圧縮制御方法の動き検出処理手順例を示すフローチャートである。動き検出部１３１０は、入力フレームよりも時間的に１つ前の参照フレームをフレームメモリ１３０９から取得し（ステップＳ２３０１）、図２２のステップＳ２２０４またはＳ２２０５で出力された選択画像領域の入力を待ち受ける（ステップＳ２３０２：Ｎｏ）。
【0189】
選択画像領域が入力された場合（ステップＳ２３０２：Ｙｅｓ）、動き検出部１３１０は、選択画像領域と同一箇所の画像領域の画像データを参照フレームから取得する（ステップＳ２３０３）。そして、動き検出部１３１０は、選択画像領域にスキップフラグがあるか否かを判断する（ステップＳ２３０４）。スキップフラグがない場合（ステップＳ２３０４：Ｎｏ）、選択画像領域のフレームレートが第２フレームレートである。したがって、動き検出部１３１０は、選択画像領域の画像データと、ステップＳ２００３で取得した参照フレームの画像領域の画像データとを用いて、動きベクトルを検出する（ステップＳ２３０５）。
【0190】
そして、動き検出部１３１０は、ステップＳ２３０５で得られた動きベクトルを動き補償部１３１１に出力して（ステップＳ２３０６）、一連の処理を終了する。一方、スキップフラグがある場合（ステップＳ２３０４：Ｙｅｓ）、動き検出部１３１０は、動き検出を実行せずに、一連の処理を終了する。
【0191】
図２４は、動き補償部１３１１による第２圧縮制御方法の動き補償処理手順例を示すフローチャートである。動き補償部１３１１は、フレームメモリ１３０９から参照フレームを取得する（ステップＳ２４０１）。動き補償部１３１１は、選択画像領域と同一箇所の画像領域を参照フレームから取得する（ステップＳ２４０２）。
【0192】
そして、動き補償部１３１１は、選択画像領域についての動き補償のトリガ入力が動きベクトルか動き補償停止指示のいずれかであるかを判断する（ステップＳ２４０３）。トリガ入力が動きベクトルである場合（ステップＳ２４０３：動きベクトル）、動き補償部１３１１は、動き検出部１３１０からの選択画像領域についての動きベクトルと、ステップＳ２４０２で取得された参照フレームの画像領域とを用いて、動き補償を実行する（ステップＳ２４０４）。これにより、動き補償部１３１１は、選択画像領域における予測画像データを生成することができる。
【0193】
一方、トリガ入力が動き補償停止指示である場合（ステップＳ２４０３：動き補償停止指示）、動き補償部１３１１は、取得画像領域の画像データを予測画像領域の画像データ（予測画像データ）に決定する（ステップＳ２４０５）。
【0194】
そして、動き補償部１３１１は、ステップＳ２４０４またはＳ２４０５のあと、全選択画像領域の動き補償が終了したか否かを判断する（ステップＳ２４０６）。具体的には、たとえば、圧縮制御部１３１２がステップＳ２２０７で未選択画像領域があると判断した場合に（ステップＳ２００７：Ｙｅｓ）、動き補償部１３１１は、全選択画像領域の動き補償が終了していないと判断し（ステップＳ２４０６：Ｎｏ）、ステップＳ２４０２に戻る。
【0195】
一方、圧縮制御部１３１２がステップＳ２２０７で未選択画像領域がないと判断した場合に（ステップＳ２２０７：Ｎｏ）、動き補償部１３１１は、全選択画像領域の動き補償が終了したと判断する（ステップＳ２４０６：Ｙｅｓ）。そして、動き補償部１３１１は、全選択画像領域についての予測画像データを結合した予測フレームを減算部１３０１および生成部１３０８に出力して（ステップＳ２４０７）、一連の処理を終了する。
【0196】
（１－１）このように、上述した動画圧縮装置は、取得部１２２０と、圧縮部９０２と、を有する。取得部１２２０は、被写体を撮像する第１撮像領域と、被写体を撮像する第２撮像領域と、を有し、第１撮像領域に第１フレームレート（たとえば、３０［ｆｐｓ］）を設定可能であり、かつ、第２撮像領域に第１フレームレートよりも速い第２フレームレート（たとえば、６０［ｆｐｓ］）を設定可能な撮像素子１００から出力された複数のフレームを含む動画データを取得する。圧縮部９０２は、取得部１２２０によって取得された動画データ（第２動画データ９２０）を、第１フレームレートと第２フレームレートとに基づいて圧縮する。
【0197】
これにより、異なるフレームレートが設定された１枚のフレームについて、フレームレートに応じた圧縮が汎用の圧縮部９０２により実現可能となる。また、１つのフレームレートが設定された場合の圧縮よりも処理負荷の低減を図ることができる。
【0198】
（１－２）また、上記（１－１）の動画圧縮装置では、第１フレームレートで撮像されたフレームにおける第１画像領域ａ１の画像データについては、第１フレームレートに基づいて圧縮し、第２フレームレートで撮像されたフレームにおける第２画像領域ａ２の画像データについては、第２フレームレートに基づいて圧縮する。
【0199】
これにより、異なるフレームレートが設定された１枚のフレームについて、フレームレートごとに、フレームレートに応じた画像領域の圧縮が実現可能となり、１つのフレームレートが設定された場合の圧縮よりも処理負荷の低減を図ることができる。
【0200】
（１－３）また、上記（１－２）の動画圧縮装置は、動き検出部１３１０と、動き補償部１３１１と、を有する。動き検出部１３１０は、第１画像領域ａ１の画像データについては、第１画像領域ａ１の画像データ内のオブジェクトに動きがないことを示す特定の動きベクトルを設定し、第２画像領域ａ２の画像データについては、動きベクトルの検出を実行する、動き補償部１３１１は、第１画像領域ａ１の画像データについては、特定の動きベクトルに基づいて動き補償を実行し、第２画像領域ａ２の画像データについては、動き検出部１３１０によって検出された動きベクトルに基づいて動き補償を実行する。
【0201】
これにより、第１画像領域ａ１の画像データについては動きベクトルの検出に替えて特定の動きベクトルを設定することにより、動き検出が実行されないこととなり、圧縮処理の負荷低減を図ることができる。
【0202】
（１－４）また、上記（１－３）の動画圧縮装置は、生成部１３０８を有する。生成部１３０８は、複数のフレームの各々について、フレームとフレームを予測する予測フレームとの差分データと、予測フレームと、に基づいて、フレームよりも時間的に後に入力されるフレームが参照する参照フレームを生成する。この場合、動き補償部１３１１は、第１画像領域ａ１の画像データについては、特定の動きベクトルと参照フレームとに基づいて動き補償を実行し、第２画像領域ａ２の画像データについては、動きベクトルと参照フレームとに基づいて動き補償を実行する。
【0203】
これにより、特定の動きベクトルを用いた場合でも、動き補償の実行が可能となり、低負荷の圧縮処理を実現することができる。
【0204】
（１－５）また、上記（１－２）の動画圧縮装置は、生成部１３０８と、動き検出部１３１０と、動き補償部１３１１と、を有する。生成部１３０８は、複数のフレームの各々について、フレームとフレームを予測する予測フレームとの差分データと、予測フレームと、に基づいて、フレームよりも時間的に後に入力されるフレームが参照する参照フレームを生成する。動き検出部１３１０は、第１画像領域ａ１の画像データについては、動きベクトルの検出を実行せず、第２画像領域ａ２の画像データについては、動きベクトルの検出を実行する。動き補償部１３１１は、第１画像領域ａ１の画像データについては、参照フレームに基づいて動き補償を実行し、第２画像領域ａ２の画像データについては、参照フレームと動き検出部１３１０によって検出された動きベクトルに基づいて動き補償を実行する。
【0205】
これにより、第１画像領域ａ１の画像データについて動き検出を実行しないことにより、圧縮処理の負荷低減を図ることができる。
【0206】
（１－６）また、上記（１－５）の動画圧縮装置では、動き補償部１３１１は、第１画像領域ａ１の画像データについては、参照フレームを、フレームの時間的に１つ後のフレームを予測する予測フレームに決定する。
【0207】
これにより、動きベクトルを検出しない場合でも、動き補償の実行が可能となり、低負荷の圧縮処理を実現することができる。
【0208】
（１－７）また、上記（１－１）の動画圧縮装置は、画像処理部９０１を有する。画像処理部９０１は、複数のフレームの中で、第１フレームと第２フレームとに基づいて、第２フレームを第３フレームに更新する。ここで、第１フレームは、第１フレームレートが設定された第１撮像領域および第２フレームレートが設定された第２撮像領域のうち少なくとも第１撮像領域により撮像されたフレームである。
【0209】
また、第２フレームは、第２撮像領域により第１フレームよりも時間的に後に撮像されたフレームである。また、第３フレームは、第２フレームを、第１フレームにおける第１画像領域ａ１の画像データと第２フレームにおける第２画像領域ａ２の画像データとを合成したフレームである。圧縮部９０２は、画像処理部９０１によって更新された第３フレームのうち第１画像領域ａ１の画像データを、第１フレームレートに基づいて圧縮し、第２画像領域ａ２の画像データを第２フレームレートに基づいて圧縮する。
【0210】
これにより、フレームレートの相違による第２フレームでの画像データの欠落を抑制することができる。したがって、１枚のフレームにフレームレートの相違がある場合でも、補間された第３フレームにより圧縮処理が可能となる。
【0211】
（１－８）また、上記（１－７）の動画圧縮装置では、画像処理部９０１は、第２フレームにおける第２画像領域ａ２の画像データにおいて、第１フレームにおける第１画像領域ａ１の画像データと重複する領域については、第２フレームにおける第２画像領域ａ２の画像データを適用することにより、第２フレームを第３フレームに更新する。
【0212】
これにより、たとえば、第２フレームであるフレームＦ２－６０の電車の先頭部分と第１フレームであるフレームＦ１の背景領域とが重複する領域では、画像処理部９０１は、第２フレームであるフレームＦ２の電車の先頭部分を優先適用する。したがって、違和感がより少ない画像（第３フレームであるフレームＦ２）を得ることができる。
【0213】
（１－９）また、上記（１－７）の動画圧縮装置では、画像処理部９０１は、第２フレームにおいて、第２フレームにおける第２画像領域ａ２および第１フレームにおける第１画像領域ａ１のいずれにも属さない領域については、第１フレームにおける第２画像領域ａ２の画像データを適用することにより、第２フレームを第３フレームに更新する。
【0214】
これにより、たとえば、第２フレームであるフレームＦ２－６０の第２フレームの電車の末尾部分と第１フレームであるフレームＦ１の背景領域との間の画像領域については、第１フレームであるフレームＦ１における第２画像領域ａ２の画像データ（電車の末尾）を優先適用する。したがって、違和感がより少ない画像（第３フレームであるフレームＦ２）を得ることができる。
【0215】
（１－１０）また、他の動画圧縮装置は、被写体を撮像する第１撮像領域と、被写体を撮像する第２撮像領域と、を有し、第１撮像領域に第１フレームレートを設定可能であり、かつ、第２撮像領域に第１フレームレートよりも速い第２フレームレートを設定可能な撮像素子１００から出力された複数のフレームを含む動画データを圧縮する。この動画圧縮装置は、生成部１３０８と、動き補償部１３１１と、を有する。
【0216】
生成部１３０８は、複数のフレームの各々について、フレームとフレームを予測する予測フレームとの差分データと、予測フレームと、に基づいて、フレームよりも時間的に後に入力されるフレームが参照する参照フレームを生成する。動き補償部１３１１は、生成部１３０８によって生成された複数の参照フレームのうち特定の参照フレームを用いて、複数のフレームのうち、第２フレームレートで撮像されたフレームの動き補償を実行する。
【0217】
これにより、参照フレームを特定の参照フレームに固定化することができ、動き補償の効率化を図ることができる。
【0218】
（１－１１）また、上記（１－１０）の動画圧縮装置では、複数のフレームの各々は、第１フレームレートと第１フレームレートよりも速い第２フレームレートのうち少なくとも第１フレームレートが設定された第１撮像領域に対応する第１画像領域ａ１の画像データを含む。また、動き補償部１３１１は、第１画像領域ａ１の画像データについては、特定の参照フレームとして、フレームの時間的に１つ前のフレームで生成された参照フレームを用いて動き補償を実行する。
【0219】
これにより、時間的に１つ前の参照フレームを特定の参照フレームとすることにより、フレームに最も近しいフレームを参照することができ、動き補償の効率化を図りつつ、動き補償の高精度化を図ることができる。
【0220】
（１－１２）また、上述した電子機器５００は、撮像素子１００と、圧縮部９０２と、を有する。撮像素子１００は、被写体を撮像する第１撮像領域と、被写体を撮像する第２撮像領域と、を有し、第１撮像領域に第１フレームレートを設定可能であり、かつ、第２撮像領域に第１フレームレートよりも速い第２フレームレートを設定可能であり、撮像領域ごとに設定されたフレームレートで被写体を撮像して、動画データである複数のフレームを出力する。圧縮部９０２は、撮像素子１００によって撮像された複数のフレームの各々を、第１フレームレートと第２フレームレートとに基づいて圧縮する。
【0221】
これにより、異なるフレームレートが設定された１枚のフレームについて、フレームレートに応じた圧縮が可能な電子機器５００が実現可能となり、１つのフレームレートが設定された場合の圧縮よりも処理負荷の低減を図ることができる。
【0222】
（１－１３）また、他の電子機器５００は、被写体を撮像する第１撮像領域と、被写体を撮像する第２撮像領域と、を有し、第１撮像領域に第１フレームレートを設定可能であり、かつ、第２撮像領域に第１フレームレートよりも速い第２フレームレートを設定可能な撮像素子１００から出力された複数のフレームを含む動画データを圧縮する。この電子機器５００は、生成部１３０８と、動き補償部１３１１と、を有する。
【0223】
生成部１３０８は、複数のフレームの各々について、フレームとフレームを予測する予測フレームとの差分データと、予測フレームと、に基づいて、フレームよりも時間的に後に入力されるフレームが参照する参照フレームを生成する。動き補償部１３１１は、生成部１３０８によって生成された複数の参照フレームのうち特定の参照フレームを用いて、複数のフレームのうち、第２フレームレートで撮像されたフレームの動き補償を実行する。
【0224】
これにより、参照フレームを特定の参照フレームに固定化することができ、動き補償の効率化を図る電子機器５００を実現することができる。
【0225】
なお、上述した（１－１２）および（１－１３）の電子機器５００としては、たとえば、デジタルカメラ、デジタルビデオカメラ、スマートフォン、タブレット、監視カメラ、ドライブレコーダ、ドローンなどが挙げられる。
【0226】
（１－１４）また、上述した動画圧縮プログラムは、被写体を撮像する第１撮像領域と、被写体を撮像する第２撮像領域と、を有し、第１撮像領域に第１フレームレートを設定可能であり、かつ、第２撮像領域に第１フレームレートよりも速い第２フレームレートを設定可能な撮像素子１００から出力された複数のフレームを含む動画データの圧縮を、プロセッサ１２０１に実行させる。この動画圧縮プログラムは、プロセッサ１２０１に、動画データを取得する取得処理と、取得処理によって取得された動画データを、第１フレームレートと第２フレームレートとに基づいて圧縮する圧縮処理と、を実行させる。
【0227】
これにより、異なるフレームレートが設定された１枚のフレームについて、フレームレートに応じた圧縮をソフトウェアにより実現することができ、１つのフレームレートが設定された場合の圧縮よりも処理負荷の低減を図ることができる。
【0228】
（１－１５）また、上述した他の動画圧縮プログラムは、被写体を撮像する第１撮像領域と、被写体を撮像する第２撮像領域と、を有し、第１撮像領域に第１フレームレートを設定可能であり、かつ、第２撮像領域に第１フレームレートよりも速い第２フレームレートを設定可能な撮像素子１００から出力された複数のフレームを含む動画データの圧縮を、プロセッサ１２０１に実行させる。
【0229】
この動画圧縮プログラムは、プロセッサ１２０１に、複数のフレームの各々について、フレームとフレームを予測する予測フレームとの差分データと、予測フレームと、に基づいて、フレームよりも時間的に後に入力されるフレームが参照する参照フレームを生成する生成処理と、生成処理によって生成された参照フレームのうち特定の参照フレームを用いて、複数のフレームのうち第２フレームレートで撮像されたフレームの動き補償を実行する動き補償処理と、を実行させる。
【0230】
これにより、参照フレームを特定の参照フレームに固定化することができ、動き補償の効率化をソフトウェアにより実現することができる。
【0231】
なお、上述した（１－１４）および（１－１５）の動画圧縮プログラムは、ＣＤ－ＲＯＭ，ＤＶＤ－ＲＯＭ，フラッシュメモリ，メモリカード５０４など可搬な記録媒体に記録されていてもよい。また、上述した（１－１４）および（１－１５）の動画圧縮プログラムは、動画圧縮装置または電子機器５００にダウンロード可能なサーバに記録されていてもよい。
【実施例2】
【0232】
実施例２について説明する。実施例１では、図１０に示したフレームＦ２，Ｆ４，…において、範囲Ｄａ１，Ｄａ３，…が存在するため、画像処理部９０１が、特定色に塗りつぶしたり、デモザイク処理を実行したりした。実施例２では、画像処理部９０１は、そのような画像処理を実行することなく、より違和感がより少ないフレームＦ２，Ｆ４，…を生成する。
【0233】
なお、実施例２では、画像処理部９０１を含み、かつ、撮像素子１００や圧縮部９０２を含まない構成を画像処理装置と称す。なお、実施例１では、圧縮部９０２は、画像処理装置（画像処理部９０１）の画像処理されたフレームを圧縮したが、必ずしも圧縮する必要はなく、非圧縮のまま液晶モニタ５０３に出力してもよい。なお、実施例２では、実施例１と共通部分については、同一符号を用い、その説明を省略する。
【0234】
＜動画圧縮の改良例＞
ここで、実施例２における動画圧縮の改良例について説明する。図１０では、電子機器５００は、田んぼ、山、および空を含む風景の定点撮影中に、特定被写体として、走行する電車を撮影する画像処理例１について説明した。以下、動画処理例１の処理の流れを具体的に説明する。
ここで、実施例２における動画圧縮の改良例について説明する。図１０では、電子機器５００は、田んぼ、山、および空を含む風景の定点撮影中に、特定被写体として、走行する電車を撮影する画像処理例１について説明した。以下、動画処理例１の処理の流れを具体的に説明する。
【0235】
図２５は、図１０に示した動画処理例１の具体的な処理の流れを示す説明図である。図１０でも説明したように、撮像素子１００は、時系列順にフレームＦ１，Ｆ２－６０，Ｆ３，…を出力する。電車は、フレームＦ１，Ｆ２－６０，Ｆ３内において、右から左に向かって走行するものとする。
【0236】
図２５において、フレームＦ１～Ｆ３の枝番は、当該フレームＦ１～Ｆ３のフレームレートを示す。たとえば、奇数番号のフレームＦ１－３０は、フレームＦ１のうち３０［ｆｐｓ］のフレームレートで撮像された第１画像領域ｒ１－３０の画像データを示し、フレームＦ１－６０は、フレームＦ１のうち６０［ｆｐｓ］のフレームレートで撮像された第２画像領域ｒ１－６０の画像データを示す。
【0237】
フレームＦ１－６０の６０［ｆｐｓ］のフレームレートで撮像された第２画像領域ｒ１－６０は電車の画像データを有するが、フレームＦ１－３０では、第２画像領域ｒ１－６０はない。フレームＦ１－３０におけるこのような領域を非画像領域ｎ１－６０と称す。フレームＦ１－６０も同様に、フレームＦ１－３０の３０［ｆｐｓ］のフレームレートで撮像された第１画像領域ｒ１－３０は風景の画像データを有するが、フレームＦ１－６０では、第２画像領域ｒ１－６０にない。フレームＦ１－６０におけるこのような領域を非画像領域ｎ１－３０と称す。
【0238】
フレームＦ３においても同様に、フレームＦ３－３０は、風景の画像データが出力されている第１画像領域ｒ３－３０と、何も出力されない非画像領域ｎ３－６０と、で構成され、フレームＦ３－６０は、電車の画像データが出力されている第２画像領域ｒ３－６０と、何も出力されない非画像領域ｎ３－６０と、で構成される。フレームＦ３－３０，Ｆ３－６０以降の不図示の奇数番号フレームについても同様である。
【0239】
また、偶数番号のフレームＦ２－６０は、６０［ｆｐｓ］のフレームレートで撮像された第２画像領域ｒ２－６０の画像データ（電車）と、何も出力されない非画像領域ｎ２－３０と、で構成されるフレームである。以降の不図示の偶数番号フレームについても同様である。
【0240】
画像処理部９０１は、フレームＦ２－６０の第２画像領域ｒ２－６０の画像データ（電車）と、フレームＦ１－３０の第１画像領域ｒ１－３０の画像データ（風景）とを合成することにより、合成画像データであるフレームＦ２を生成する。この場合、図１０でも説明したように、フレームＦ２は、フレームＦ１－３０の非画像領域ｎ１－６０と、フレームＦ２－６０の非画像領域ｎ２－３０との重複する範囲Ｄａ１を有する。
【0241】
実施例１では、画像処理部９０１が、範囲Ｄａ１を特定色に塗りつぶしたり、デモザイク処理を実行したりしたが、実施例２では、画像処理部９０１は、そのような画像処理を行うことなく、他の画像領域における範囲Ｄａ１の画像データをコピーする。これにより、画像処理部９０１は、より違和感がより少ないフレームＦ２を生成する。範囲Ｄａ３についても同様であるが、実施例２では、範囲Ｄａ１に着目して説明する。
【0242】
＜フレームＦ２の合成例＞
つぎに、画像処理部９０１（合成部１２１４）によるフレームＦ２の合成例について説明する。
つぎに、画像処理部９０１（合成部１２１４）によるフレームＦ２の合成例について説明する。
【0243】
［合成例１］
図２６は、実施例２にかかる６０［ｆｐｓ］のフレームＦ２の合成例１を示す説明図である。合成例１は、範囲Ｄａ１へのコピー対象となる他の画像領域として、フレームＦ２－６０よりも時間的に１つ後のフレームＦ３の第１画像領域ｒ３－３０において範囲Ｄａ１と同一位置の範囲Ｄｂ１を用いる例である。範囲Ｄｂ１の画像データは、風景の一部である。
図２６は、実施例２にかかる６０［ｆｐｓ］のフレームＦ２の合成例１を示す説明図である。合成例１は、範囲Ｄａ１へのコピー対象となる他の画像領域として、フレームＦ２－６０よりも時間的に１つ後のフレームＦ３の第１画像領域ｒ３－３０において範囲Ｄａ１と同一位置の範囲Ｄｂ１を用いる例である。範囲Ｄｂ１の画像データは、風景の一部である。
【0244】
図２６において、画像処理部９０１は、フレームＦ１－３０の非画像領域ｎ１－６０と、フレームＦ２－６０の非画像領域ｎ２－３０と、が重複する範囲Ｄａ１を特定し、特定した範囲Ｄａ１と同一位置の範囲Ｄｂ１をフレームＦ３から特定する。そして、画像処理部９０１は、フレームＦ２における範囲Ｄａ１に範囲Ｄｂ１の画像データをコピーする。これにより、画像処理部９０１は、違和感がより少ないフレームＦ２を生成することができる。
【0245】
［合成例２］
図２７は、実施例２にかかる６０［ｆｐｓ］のフレームＦ２の合成例２を示す説明図である。合成例１では、フレームＦ１－３０の第１画像領域ｒ１－３０の画像データをフレームＦ２の第１画像領域へのコピー元とし、フレームＦ３の範囲Ｄｂ１の画像データを範囲Ｄａ１へのコピー元としたが、合成例２では逆に、フレームＦ３－３０の第１画像領域ｒ３－３０の画像データをフレームＦ２の第１画像領域へのコピー元とし、フレームＦ１の範囲Ｄｂ２の画像データを範囲Ｄａ２へのコピー元とする。
図２７は、実施例２にかかる６０［ｆｐｓ］のフレームＦ２の合成例２を示す説明図である。合成例１では、フレームＦ１－３０の第１画像領域ｒ１－３０の画像データをフレームＦ２の第１画像領域へのコピー元とし、フレームＦ３の範囲Ｄｂ１の画像データを範囲Ｄａ１へのコピー元としたが、合成例２では逆に、フレームＦ３－３０の第１画像領域ｒ３－３０の画像データをフレームＦ２の第１画像領域へのコピー元とし、フレームＦ１の範囲Ｄｂ２の画像データを範囲Ｄａ２へのコピー元とする。
【0246】
ここで、範囲Ｄａ２は、フレームＦ３－３０の非画像領域ｎ３－６０と、フレームＦ２－６０の非画像領域ｎ２－３０とが重複する範囲である。フレームＦ１の範囲Ｄｂ２は、範囲Ｄａ２と同一位置の範囲である。
【0247】
図２７において、画像処理部９０１は、フレームＦ３－３０の非画像領域ｎ３－６０と、フレームＦ２－６０の非画像領域ｎ２－３０と、が重複する範囲Ｄａ２を特定し、特定した範囲Ｄａ２と同一位置の範囲Ｄｂ２をフレームＦ１から特定する。そして、画像処理部９０１は、フレームＦ２における範囲Ｄａ２に範囲Ｄｂ２の画像データをコピーする。これにより、画像処理部９０１は、違和感がより少ないフレームＦ２を生成することができる。
【0248】
［合成例３］
合成例３は、合成例１および合成例２のうちいずれか一方を選択して合成する例である。合成例３では、画像処理部９０１は、合成例１における範囲Ｄａ１と合成例２における範囲Ｄａ２とを特定する。画像処理部９０１は、範囲Ｄａ１，Ｄａ２のうちいずれか一方を選択し、選択した範囲を特定した合成例を適用する。画像処理部９０１は、範囲Ｄａ１が選択された場合は合成例１、範囲Ｄａ２が選択された場合は合成例２を適用する。
合成例３は、合成例１および合成例２のうちいずれか一方を選択して合成する例である。合成例３では、画像処理部９０１は、合成例１における範囲Ｄａ１と合成例２における範囲Ｄａ２とを特定する。画像処理部９０１は、範囲Ｄａ１，Ｄａ２のうちいずれか一方を選択し、選択した範囲を特定した合成例を適用する。画像処理部９０１は、範囲Ｄａ１が選択された場合は合成例１、範囲Ｄａ２が選択された場合は合成例２を適用する。
【0249】
画像処理部９０１は、範囲Ｄａ１，Ｄａ２のうちいずれか一方を選択する選択基準として、たとえば、範囲の狭さを選択基準とする。図２６および図２７の例では、範囲Ｄａ１が範囲Ｄａ２よりも狭いため、合成例１が適用される。狭い方の範囲を選択することにより、コピーによる違和感を最小限度に留めることができる。
【0250】
［合成例４］
図２８は、実施例２にかかる６０［ｆｐｓ］のフレームＦ２の合成例４を示す説明図である。合成例４は、合成例１における範囲Ｄａ１のコピー元を、フレームＦ３の第１画像領域ｒ３－３０内における範囲Ｄｂ１の画像データ（風景の一部）ではなく、フレームＦ１の第２画像領域ｒ１－６０における範囲Ｄｂ３の画像データ（電車の末尾）とする。これにより、フレームＦ２において第２画像領域ｒ２－６０の画像データ（電車）は、範囲Ｄｂ３の画像データが追加されたことになるが、第２画像領域ｒ２－６０の画像データ（電車）の進行方向反対側に追加されるため、ユーザが映像を見た場合に、当該第２画像領域ｒ２－６０の画像データ（電車）を、走行する電車の残像と錯覚する。したがって、この場合も違和感がより少ないフレームＦ２，Ｆ４，…を生成することができる。
図２８は、実施例２にかかる６０［ｆｐｓ］のフレームＦ２の合成例４を示す説明図である。合成例４は、合成例１における範囲Ｄａ１のコピー元を、フレームＦ３の第１画像領域ｒ３－３０内における範囲Ｄｂ１の画像データ（風景の一部）ではなく、フレームＦ１の第２画像領域ｒ１－６０における範囲Ｄｂ３の画像データ（電車の末尾）とする。これにより、フレームＦ２において第２画像領域ｒ２－６０の画像データ（電車）は、範囲Ｄｂ３の画像データが追加されたことになるが、第２画像領域ｒ２－６０の画像データ（電車）の進行方向反対側に追加されるため、ユーザが映像を見た場合に、当該第２画像領域ｒ２－６０の画像データ（電車）を、走行する電車の残像と錯覚する。したがって、この場合も違和感がより少ないフレームＦ２，Ｆ４，…を生成することができる。
【0251】
＜フレームＦ２の合成処理手順例＞
以下、上述した合成例１～合成例４によるフレームＦ２の合成処理手順例について説明する。以下のフローチャートでは、第２フレームが、合成対象となる第２フレームレート（たとえば、６０［ｆｐｓ］）のみで撮像されたフレームである。たとえば、図２５～図２８のフレームＦ２である。
以下、上述した合成例１～合成例４によるフレームＦ２の合成処理手順例について説明する。以下のフローチャートでは、第２フレームが、合成対象となる第２フレームレート（たとえば、６０［ｆｐｓ］）のみで撮像されたフレームである。たとえば、図２５～図２８のフレームＦ２である。
【0252】
第１フレームが、第２フレームよりも時間的に１つ前で、かつ、第１フレームレート（たとえば、３０［ｆｐｓ］）および第２フレームレートのうち少なくとも第１フレームレートで撮像された画像領域を含むフレームである。たとえば、図２５～図２８のフレームＦ１である。
【0253】
第３フレームが、第２フレームよりも時間的に１つ後で、かつ、第１フレームレートおよび第２フレームレートのうち少なくとも第１フレームレートで撮像された画像領域を含むフレームである。たとえば、図２５～図２８のフレームＦ３である。
【0254】
［合成例１］
図２９は、画像処理部９０１によるフレームＦ２の合成例１による合成処理手順例１を示すフローチャートである。なお、入力フレームは、順次バッファに蓄積されるものとする。画像処理部９０１は、バッファに第２フレームがあるか否かを判断する（ステップＳ２９０１）。第２フレームがバッファにある場合（ステップＳ２９０１：Ｙｅｓ）、画像処理部９０１は、第１フレームの非画像領域でかつ第２フレームの非画像領域となる範囲を特定する（ステップＳ２９０２）。具体的には、たとえば、画像処理部９０１は、フレームＦ１－３０の非画像領域ｎ１－６０とフレームＦ２－６０の非画像領域ｎ２－３０とが重複する範囲Ｄａ１を特定する。
図２９は、画像処理部９０１によるフレームＦ２の合成例１による合成処理手順例１を示すフローチャートである。なお、入力フレームは、順次バッファに蓄積されるものとする。画像処理部９０１は、バッファに第２フレームがあるか否かを判断する（ステップＳ２９０１）。第２フレームがバッファにある場合（ステップＳ２９０１：Ｙｅｓ）、画像処理部９０１は、第１フレームの非画像領域でかつ第２フレームの非画像領域となる範囲を特定する（ステップＳ２９０２）。具体的には、たとえば、画像処理部９０１は、フレームＦ１－３０の非画像領域ｎ１－６０とフレームＦ２－６０の非画像領域ｎ２－３０とが重複する範囲Ｄａ１を特定する。
【0255】
つぎに、画像処理部９０１は、第１フレームの第１画像領域ａ１の画像データを複製する（ステップＳ２９０３）。具体的には、たとえば、画像処理部９０１は、フレームＦ１の第１画像領域ｒ１－３０の画像データ（風景）を複製する。
【0256】
そして、画像処理部９０１は、ステップＳ２９０２で特定した範囲の画像データを第３フレームから複製する（ステップＳ２９０４）。具体的には、たとえば、画像処理部９０１は、ステップＳ２９０２で特定した範囲Ｄａ１と同範囲Ｄｂ１の画像データをフレームＦ３から複製する。
【0257】
つぎに、画像処理部９０１は、第２フレームを更新する（ステップＳ２９０５）。具体的には、たとえば、画像処理部９０１は、フレームＦ２－６０の第２画像領域ｒ２－６０と、複製した第１画像領域ｒ１－３０の画像データ（風景）と、複製した範囲Ｄｂ１の画像データと、を合成することにより、フレームＦ２－６０をフレームＦ２に更新する。
【0258】
このあと、ステップＳ２９０１に戻る。第２フレームがバッファにない場合（ステップＳ２９０１：Ｎｏ）、画像処理部９０１は、画像処理（ステップＳ１４１３、Ｓ１４１５）を終了する。これにより、画像処理部９０１は、違和感がより少ないフレームＦ２を生成することができる。
【0259】
［合成例２］
図３０は、画像処理部９０１によるフレームＦ２の合成例２による合成処理手順例２を示すフローチャートである。なお、入力フレームは、順次バッファに蓄積されるものとする。画像処理部９０１は、バッファに第２フレームがあるか否かを判断する（ステップＳ３００１）。第２フレームがバッファにある場合（ステップＳ３００１：Ｙｅｓ）、画像処理部９０１は、第３フレームの非画像領域でかつ第２フレームの非画像領域となる範囲を特定する（ステップＳ３００２）。具体的には、たとえば、画像処理部９０１は、フレームＦ３－３０の非画像領域ｎ３－６０とフレームＦ２－６０の非画像領域ｎ２－３０とが重複する範囲Ｄａ２を特定する。
図３０は、画像処理部９０１によるフレームＦ２の合成例２による合成処理手順例２を示すフローチャートである。なお、入力フレームは、順次バッファに蓄積されるものとする。画像処理部９０１は、バッファに第２フレームがあるか否かを判断する（ステップＳ３００１）。第２フレームがバッファにある場合（ステップＳ３００１：Ｙｅｓ）、画像処理部９０１は、第３フレームの非画像領域でかつ第２フレームの非画像領域となる範囲を特定する（ステップＳ３００２）。具体的には、たとえば、画像処理部９０１は、フレームＦ３－３０の非画像領域ｎ３－６０とフレームＦ２－６０の非画像領域ｎ２－３０とが重複する範囲Ｄａ２を特定する。
【0260】
つぎに、画像処理部９０１は、第３フレームの第１画像領域ａ１の画像データを複製する（ステップＳ３００３）。具体的には、たとえば、画像処理部９０１は、フレームＦ３の第１画像領域ｒ３－３０の画像データ（風景）を複製する。
【0261】
そして、画像処理部９０１は、ステップＳ３００２で特定した範囲の画像データを第１フレームから複製する（ステップＳ３００４）。具体的には、たとえば、画像処理部９０１は、ステップＳ３００２で特定した範囲Ｄａ２と同範囲Ｄｂ２の画像データをフレームＦ１から複製する。
【0262】
つぎに、画像処理部９０１は、第２フレームを更新する（ステップＳ３００５）。具体的には、たとえば、画像処理部９０１は、フレームＦ２－６０の第２画像領域ｒ２－６０と、複製した第１画像領域ｒ３－３０の画像データ（風景）と、複製した範囲Ｄｂ２の画像データと、を合成することにより、フレームＦ２－６０をフレームＦ２に更新する。
【0263】
このあと、ステップＳ３００１に戻る。第２フレームがバッファにない場合（ステップＳ３００１：Ｎｏ）、画像処理部９０１は、画像処理（ステップＳ１４１３、Ｓ１４１５）を終了する。これにより、画像処理部９０１は、違和感がより少ないフレームＦ２を生成することができる。
【0264】
［合成例３］
図３１は、画像処理部９０１によるフレームＦ２の合成例３による合成処理手順例３を示すフローチャートである。なお、入力フレームは、順次バッファに蓄積されるものとする。画像処理部９０１は、バッファに第２フレームがあるか否かを判断する（ステップＳ３１０１）。第２フレームがバッファにある場合（ステップＳ３１０１：Ｙｅｓ）、画像処理部９０１は、第１フレームの非画像領域でかつ第２フレームの非画像領域となる第１範囲を特定する（ステップＳ３１０２）。具体的には、たとえば、画像処理部９０１は、フレームＦ１－３０の非画像領域ｎ１－６０とフレームＦ２－６０の非画像領域ｎ２－３０とが重複する範囲Ｄａ１を特定する。
図３１は、画像処理部９０１によるフレームＦ２の合成例３による合成処理手順例３を示すフローチャートである。なお、入力フレームは、順次バッファに蓄積されるものとする。画像処理部９０１は、バッファに第２フレームがあるか否かを判断する（ステップＳ３１０１）。第２フレームがバッファにある場合（ステップＳ３１０１：Ｙｅｓ）、画像処理部９０１は、第１フレームの非画像領域でかつ第２フレームの非画像領域となる第１範囲を特定する（ステップＳ３１０２）。具体的には、たとえば、画像処理部９０１は、フレームＦ１－３０の非画像領域ｎ１－６０とフレームＦ２－６０の非画像領域ｎ２－３０とが重複する範囲Ｄａ１を特定する。
【0265】
画像処理部９０１は、第３フレームの非画像領域でかつ第２フレームの非画像領域となる第２範囲を特定する（ステップＳ３１０３）。具体的には、たとえば、画像処理部９０１は、フレームＦ３－３０の非画像領域ｎ３－６０とフレームＦ２－６０の非画像領域ｎ２－３０とが重複する範囲Ｄａ２を特定する。
【0266】
つぎに、画像処理部９０１は、特定した第１範囲および第２範囲のいずれか一方の範囲を選択する（ステップＳ３１０４）。具体的には、たとえば、画像処理部９０１は、第１範囲および第２範囲のうち狭い方（面積が小さい方）の範囲を選択する。選択された範囲を選択範囲と称す。範囲Ｄａ１、Ｄａ２の場合、画像処理部９０１は、範囲Ｄａ１を選択する。これにより、合成に用いる範囲を最小限に抑制することができ、違和感をより一層抑制することができる。
【0267】
そして、画像処理部９０１は、選択フレームの第１画像領域ａ１の画像データを複製する（ステップＳ３１０５）。選択フレームとは、選択範囲の特定元となるフレームであり、たとえば、第１範囲（範囲Ｄａ１）が選択された場合は、選択フレームは、第１フレーム（フレームＦ１）であり、第２範囲（範囲Ｄａ２）が選択された場合は、選択フレームは、第３フレーム（フレームＦ３）である。したがって、選択フレームの第１画像領域ａ１の画像データとは、選択フレームがフレームＦ１であれば、フレームＦ１の第１画像領域ｒ１－３０の画像データ（風景）であり、選択フレームがフレームＦ３であれば、フレームＦ３の第１画像領域ｒ３－３０の画像データ（風景）である。
【0268】
そして、画像処理部９０１は、ステップＳ３１０４の選択範囲の画像データを非選択フレームから複製する（ステップＳ３１０６）。非選択フレームとは、選択されなかった範囲の特定元となるフレームであり、たとえば、第１範囲（範囲Ｄａ１）が選択されなかった場合は、非選択フレームは、第１フレーム（フレームＦ１）であり、第２範囲（範囲Ｄａ２）が選択されなかった場合は、非選択フレームは、第３フレーム（フレームＦ３）である。したがって、画像処理部９０１は、選択範囲が範囲Ｄａ１であれば、範囲Ｄａ１と同位置の範囲Ｄｂ１の画像データをフレームＦ３から複製し、選択範囲が範囲Ｄａ２であれば、範囲Ｄａ２と同位置の範囲Ｄｂ２の画像データをフレームＦ１から複製する。
【0269】
つぎに、画像処理部９０１は、第２フレームを更新する（ステップＳ３１０７）。具体的には、たとえば、選択範囲が第１範囲（範囲Ｄａ１）である場合、画像処理部９０１は、フレームＦ２－６０の第２画像領域ｒ２－６０と、複製した第１画像領域ｒ１－３０の画像データ（風景）と、複製した範囲Ｄｂ１の画像データと、を合成することにより、フレームＦ２－６０をフレームＦ２に更新する。また、選択範囲が第２範囲（範囲Ｄａ２）である場合、画像処理部９０１は、フレームＦ２－６０の第２画像領域ｒ２－６０と、複製した第１画像領域ｒ３－３０の画像データ（風景）と、複製した範囲Ｄｂ２の画像データと、を合成することにより、フレームＦ２－６０をフレームＦ２に更新する。
【0270】
このあと、ステップＳ３１０１に戻る。第２フレームがバッファにない場合（ステップＳ３１０１：Ｎｏ）、画像処理部９０１は、画像処理（ステップＳ１４１３、Ｓ１４１５）を終了する。これにより、画像処理部９０１は、狭い方の範囲を選択することにより、コピーによる違和感を最小限度に留めることができる。
【0271】
［合成例４］
図３２は、画像処理部９０１によるフレームＦ２の合成例４による合成処理手順例４を示すフローチャートである。なお、入力フレームは、順次バッファに蓄積されるものとする。画像処理部９０１は、バッファに第２フレームがあるか否かを判断する（ステップＳ３２０１）。第２フレームがバッファにある場合（ステップＳ３２０１：Ｙｅｓ）、画像処理部９０１は、第１フレームの非画像領域でかつ第２フレームの非画像領域となる範囲を特定する（ステップＳ３２０２）。具体的には、たとえば、画像処理部９０１は、フレームＦ１－３０の非画像領域ｎ１－６０とフレームＦ２－６０の非画像領域ｎ２－３０とが重複する範囲Ｄａ１を特定する。
図３２は、画像処理部９０１によるフレームＦ２の合成例４による合成処理手順例４を示すフローチャートである。なお、入力フレームは、順次バッファに蓄積されるものとする。画像処理部９０１は、バッファに第２フレームがあるか否かを判断する（ステップＳ３２０１）。第２フレームがバッファにある場合（ステップＳ３２０１：Ｙｅｓ）、画像処理部９０１は、第１フレームの非画像領域でかつ第２フレームの非画像領域となる範囲を特定する（ステップＳ３２０２）。具体的には、たとえば、画像処理部９０１は、フレームＦ１－３０の非画像領域ｎ１－６０とフレームＦ２－６０の非画像領域ｎ２－３０とが重複する範囲Ｄａ１を特定する。
【0272】
つぎに、画像処理部９０１は、第１フレームの第１画像領域ａ１の画像データを複製する（ステップＳ３２０３）。具体的には、たとえば、画像処理部９０１は、フレームＦ１の第１画像領域ｒ１－３０の画像データ（風景）を複製する。
【0273】
そして、画像処理部９０１は、ステップＳ３２０２で特定した範囲の画像データを第１フレームから複製する（ステップＳ３２０４）。具体的には、たとえば、画像処理部９０１は、ステップＳ３２０２で特定した範囲Ｄａ１と同範囲Ｄｂ３の画像データをフレームＦ１から複製する。
【0274】
つぎに、画像処理部９０１は、第２フレームを更新する（ステップＳ３２０５）。具体的には、たとえば、画像処理部９０１は、フレームＦ２－６０の第２画像領域ｒ２－６０と、複製した第１画像領域ｒ１－３０の画像データ（風景）と、複製した範囲Ｄｂ１の画像データと、を合成することにより、フレームＦ２－６０をフレームＦ２に更新する。
【0275】
このあと、ステップＳ３２０１に戻る。第２フレームがバッファにない場合（ステップＳ３２０１：Ｎｏ）、画像処理部９０１は、画像処理（ステップＳ１４１３、Ｓ１４１５）を終了する。これにより、画像処理部９０１は、違和感がより少ないフレームＦ２を生成することができる。
【0276】
（２－１）このように、実施例２の画像処理装置は、被写体を撮像する第１撮像領域と、被写体を撮像する第２撮像領域と、を有し、第１撮像領域に第１フレームレート（たとえば、３０［ｆｐｓ］）を設定可能であり、かつ、第２撮像領域に第１フレームレートよりも速い第２フレームレート（たとえば、６０［ｆｐｓ］）を設定可能な撮像素子１００からの出力により生成された複数のフレームを画像処理する。
【0277】
画像処理装置は、特定部１２１３と合成部１２１４とを有する。特定部１２１３は、複数のフレームの中で、第１撮像領域および第２撮像領域からの出力により生成された第１フレームと、第２撮像領域からの出力により生成された第２フレーム（たとえば、フレームＦ２－６０）と、に基づいて、第１フレームにおける第２撮像領域に対応する非画像領域ｎ１－６０で、かつ、第２フレームにおける第１撮像領域に対応する非画像領域ｎ２－３０である範囲Ｄａ１を特定する。
【0278】
合成部１２１４は、第２フレームと、第１フレームにおける第１撮像領域に対応する第１画像領域ｒ１－３０の画像データと、第１フレームにおける第１画像領域ｒ１－３０の画像データおよび第２フレーム以外の他の画像領域において特定部１２１３によって特定された範囲Ｄａ１の特定の画像データと、を合成する。
【0279】
これにより、第２フレームで撮像されかなった非画像領域ｎ２－３０を、第２フレームと時間的に近いフレームにより補間することができる。したがって、第２フレームよりも違和感が少ない合成フレームを得ることができる。
【0280】
（２－２）また、上記（２－１）の画像処理装置では、第１フレームは、第２フレームよりも時間的に前に生成されたフレーム（たとえば、フレームＦ１）であり、特定の画像データは、第２フレームよりも時間的に後に第１撮像領域および第２撮像領域からの出力により生成されたフレーム（たとえば、フレームＦ３）の第１画像領域ａ１（ｒ３－３０）における範囲（Ｄａ１）の画像データ（すなわち、範囲Ｄｂ１の画像データ）としてもよい。
【0281】
これにより、第２フレームで撮像されかなった非画像領域ｎ２－３０を、第２フレームの時間的に１つ前の第１フレームと１つ後の第３フレームとにより補間することができる。したがって、第２フレームよりも違和感が少ない合成フレームを得ることができる。
【0282】
（２－３）また、上記（２－１）の画像処理装置では、第１フレームは、第２フレームよりも時間的に後に生成されたフレーム（たとえば、フレームＦ３）であり、特定の画像データは、第２フレームよりも時間的に前に第１撮像領域および第２撮像領域からの出力により生成されたフレーム（たとえば、フレームＦ１）の第１画像領域ａ１（ｒ１－３０）における範囲（Ｄａ２）の画像データ（すなわち、範囲Ｄｂ２の画像データ）としてもよい。
【0283】
これにより、第２フレームで撮像されかなった非画像領域ｎ２－３０を、第２フレームの時間的に１つ前の第１フレームと１つ後の第３フレームとにより補間することができる。したがって、第２フレームよりも違和感が少ない合成フレームを得ることができる。
【0284】
（２－４）また、上記（２－１）の画像処理装置では、特定部１２１３は、第１範囲（Ｄａ１）と第２範囲（Ｄａ２）とに基づいて、合成部１２１４で用いる範囲を特定する。また、合成部１２１４は、第２フレームと、第１フレームおよび第３フレームのうち特定部１２１３によって特定された一方の範囲（Ｄａ１／Ｄａ２）の特定元となる一方のフレーム（Ｆ１／Ｆ３）における第１画像領域ａ１（ｒ１－３０／ｒ３－３０）の画像データと、第１フレームおよび第３フレームのうち特定部１２１３によって特定されなかった他方の範囲（Ｄａ２／Ｄａ１）の特定元となる他方のフレーム（Ｆ３／Ｆ１）の第１画像領域ａ１（ｒ３－３０／ｒ１－３０）における一方の範囲（Ｄａ１／Ｄａ２）の画像データ（Ｄｂ１／Ｄｂ２）と、を合成する。
【0285】
これにより、画像処理部９０１は、狭い方の範囲を選択することにより、コピーによる違和感を最小限度に留めることができる。
【0286】
（２－５）また、上記（２－１）の画像処理装置では、第１フレームは、第２フレームよりも時間的に前に生成されたフレームであり、特定の画像データは、第１フレームの第２画像領域ａ２における範囲（Ｄａ１）の画像データ（すなわち、範囲Ｄｂ３の画像データ）としてもよい。
【0287】
これにより、第２フレームで撮像されかなった非画像領域ｎ２－３０を、第２フレームの時間的に１つ前の第１フレームにより補間することができる。したがって、第２フレームよりも違和感が少ない合成フレームを得ることができる。
【0288】
（２－６）また、実施例２にかかる動画圧縮装置は、被写体を撮像する第１撮像領域と、被写体を撮像する第２撮像領域と、を有し、第１撮像領域に第１フレームレート（たとえば、３０［ｆｐｓ］）を設定可能であり、かつ、第２撮像領域に第１フレームレートよりも速い第２フレームレート（たとえば、６０［ｆｐｓ］）を設定可能な撮像素子１００からの出力により生成された複数のフレームを含む動画データを圧縮する。
【0289】
動画圧縮装置は、特定部１２１３と合成部１２１４とを有する。特定部１２１３は、複数のフレームの中で、第１撮像領域および第２撮像領域からの出力により生成された第１フレームと、第２撮像領域からの出力により生成された第２フレーム（たとえば、フレームＦ２－６０）と、に基づいて、第１フレームにおける第２撮像領域に対応する非画像領域ｎ１－６０で、かつ、第２フレームにおける第１撮像領域に対応する非画像領域ｎ２－３０である範囲Ｄａ１を特定する。
【0290】
合成部１２１４は、第２フレームと、第１フレームにおける第１撮像領域に対応する第１画像領域ｒ１－３０の画像データと、第１フレームにおける第１画像領域ｒ１－３０の画像データおよび第２フレーム以外の他の画像領域において特定部１２１３によって特定された範囲Ｄａ１の特定の画像データと、を合成する。
【0291】
圧縮部９０２は、第１フレームと、合成部１２１４によって合成されたフレームと、を圧縮する。
【0292】
これにより、第２フレームと同様に圧縮可能でかつ第２フレームよりも違和感がより少ない合成フレームを得ることができる。
【0293】
（２－７）また、実施例２にかかる画像処理プログラムは、被写体を撮像する第１撮像領域と、被写体を撮像する第２撮像領域と、を有し、第１撮像領域に第１フレームレート（たとえば、３０［ｆｐｓ］）を設定可能であり、かつ、第２撮像領域に第１フレームレートよりも速い第２フレームレート（たとえば、６０［ｆｐｓ］）を設定可能な撮像素子１００からの出力により生成された複数のフレームの画像処理をプロセッサ１２０１に実行させる。
【0294】
画像処理プログラムは、プロセッサ１２０１に、特定処理と合成処理とを実行させる。特定処理では、画像処理プログラムは、プロセッサ１２０１に、複数のフレームの中で、第１撮像領域および第２撮像領域からの出力により生成された第１フレームと、第２撮像領域からの出力により生成された第２フレーム（たとえば、フレームＦ２－６０）と、に基づいて、第１フレームにおける第２撮像領域に対応する非画像領域ｎ１－６０で、かつ、第２フレームにおける第１撮像領域に対応する非画像領域ｎ２－３０である範囲Ｄａ１を特定する。
【0295】
画像処理プログラムは、合成処理では、プロセッサ１２０１に、第２フレームと、第１フレームにおける第１撮像領域に対応する第１画像領域ｒ１－３０の画像データと、第１フレームにおける第１画像領域ｒ１－３０の画像データおよび第２フレーム以外の他の画像領域において特定処理によって特定された範囲Ｄａ１の特定の画像データと、を合成させる。
【0296】
これにより、第２フレームで撮像されかなった非画像領域ｎ２－３０を、第２フレームと時間的に近いフレームによりソフトウェアで補間することができる。したがって、第２フレームよりも違和感が少ない合成フレームをソフトウェアで得ることができる。
【0297】
（２－８）また、実施例２にかかる動画圧縮プログラムは、プロセッサ１２０１に、特定処理と合成処理と圧縮処理とを実行させる。
【0298】
動画圧縮プログラムは、プロセッサ１２０１に、特定処理と合成処理とを実行させる。特定処理では、画像処理プログラムは、プロセッサ１２０１に、複数のフレームの中で、第１撮像領域および第２撮像領域からの出力により生成された第１フレームと、第２撮像領域からの出力により生成された第２フレーム（たとえば、フレームＦ２－６０）と、に基づいて、第１フレームにおける第２撮像領域に対応する非画像領域ｎ１－６０で、かつ、第２フレームにおける第１撮像領域に対応する非画像領域ｎ２－３０である範囲Ｄａ１を特定する。
【0299】
動画圧縮プログラムは、合成処理では、プロセッサ１２０１に、第２フレームと、第１フレームにおける第１撮像領域に対応する第１画像領域ｒ１－３０の画像データと、第１フレームにおける第１画像領域ｒ１－３０の画像データおよび第２フレーム以外の他の画像領域において特定処理によって特定された範囲Ｄａ１の特定の画像データと、を合成させる。
【0300】
動画圧縮プログラムは、圧縮処理では、プロセッサ１２０１に、第１フレームと、合成処理によって合成されたフレームと、を圧縮する。
【0301】
これにより、第２フレームと同様に圧縮可能でかつ第２フレームよりも違和感がより少ない合成フレームをソフトウェアで得ることができる。
【0302】
なお、上述した（２－７）の画像処理プログラムおよび（２－８）の動画圧縮プログラムは、ＣＤ－ＲＯＭ，ＤＶＤ－ＲＯＭ，フラッシュメモリ，メモリカード５０４など可搬な記録媒体に記録されていてもよい。また、上述した（２－７）の画像処理プログラムおよび（２－８）の動画圧縮プログラムは、動画圧縮装置または電子機器５００にダウンロード可能なサーバに記録されていてもよい。
【実施例3】
【0303】
実施例３について説明する。実施例１では、図１０に示したフレームＦ２，Ｆ４，…において、範囲Ｄａ１，Ｄａ３，…が存在するため、画像処理部９０１が、特定色に塗りつぶしたり、デモザイク処理を実行したりした。実施例３では、実施例２と同様、画像処理部９０１は、そのような画像処理を実行することなく、より違和感がより少ないフレームＦ２，Ｆ４，…を生成する。
【0304】
なお、実施例３では、画像処理部９０１を含み、かつ、撮像素子１００や圧縮部９０２を含まない構成を画像処理装置と称す。また、撮像素子１００と前処理部１２１０とを含む構成を撮像装置と称す。なお、実施例１では、圧縮部９０２は、画像処理装置（画像処理部９０１）の画像処理されたフレームを圧縮したが、必ずしも圧縮する必要はなく、非圧縮のまま液晶モニタ５０３に出力してもよい。なお、実施例３では、実施例１および実施例２と共通部分については、同一符号を用い、その説明を省略する。
【0305】
図３３は、実施例３にかかる６０［ｆｐｓ］のフレームＦ２の合成例を示す説明図である。フレームＦ２－６０の撮像前に、前処理部１２１０は、フレームＦ２－６０以前のフレームＦ１などから電車などの特定被写体を検出し、１つ前のフレームＦ１での特定被写体の動きベクトルを検出する。前処理部１２１０は、フレームＦ１の特定被写体の画像領域と動きベクトルとにより、次のフレームＦ２－６０で、６０［ｆｐｓ］の画像領域Ｒ１２－６０を得ることができる。
【0306】
また、合成フレームであるフレームＦ２の合成では、実施例１と同様に、画像処理部９０１は、１つ前のフレームＦ１の第１画像領域ｒ１－３０の画像データ（風景）を複製し、第１画像領域ｒ１－３０の画像データ（風景）と、画像領域Ｒ１２－６０の画像データ（電車と風景の一部）とを合成することにより、フレームＦ２を得ることができる。
【0307】
図３４は、撮像領域の設定とフレームＦ２－６０の画像領域との対応関係を示す説明図である。（Ａ）は、動きベクトルの検出例を示し、（Ｂ）は、撮像領域の設定とフレームＦ２－６０の画像領域との対応関係を示す。
【0308】
撮像領域ｐ１－６０は、フレームＦ１の時間的に１つ前のフレームＦ０－６０の生成後、フレームＦ１の生成前にすでに検出済みの特定被写体の撮像領域である。したがって、フレームＦ１では、特定被写体（電車）の画像データｏ１は、撮像領域ｐ１－６０に対応する第２画像領域ｒ１－６０に存在する。
【0309】
前処理部１２１０は、検出部１２１１により、フレームＦ０の特定被写体の画像データｏ１とフレームＦ１の特定被写体の画像データｏ１とにより特定被写体の動きベクトルｍｖを検出する。そして、前処理部１２１０は、フレームＦ１の特定被写体の第２画像領域ｒ１－６０と動きベクトルｍｖとにより、次のフレームＦ２－６０で特定被写体が映し出される第２画像領域ｒ２－６０を検出し、検出した第２画像領域ｒ２－６０に対応する撮像素子１００の撮像面２００の検出撮像領域ｐ２－６０を検出する。
【0310】
前処理部１２１０は、設定部１２１２により、フレームＦ１の生成の際に特定済みの撮像領域ｐ１－６０と、検出撮像領域ｐ２－６０と、を包含する特定の撮像領域Ｐ１２－６０のフレームレートを、第２フレームレートに設定し、当該設定指示を撮像素子１００に出力する。これにより、撮像素子１００は、特定の撮像領域Ｐ１２－６０を第２フレームレートに設定して撮像し、フレームＦ２－６０を生成する。
【0311】
画像処理部９０１は、合成部１２１４により、フレームＦ１に含まれる第１画像領域ｒ１－３０の画像データと、設定部１２１２によって設定された第２フレームレートでの撮像により生成された第２フレームＦ２－６０に含まれる特定の撮像領域Ｐ１２－６０の画像データと、を合成する。これにより、フレームＦ２－６０は、フレームＦ２に更新される。
【0312】
なお、フレームＦ２－６０の生成後、次のフレームＦ３の生成前において、前処理部１２１０は、検出撮像領域ｐ２－６０のフレームレートを第２フレームレートに設定し、撮像面２００のうち検出撮像領域ｐ２－６０以外の他の撮像領域のフレームレートを第１フレームレートに設定する。これにより、第１フレームレートの撮像領域を含む撮像で得られるフレームＦ３の生成においては、フレームＦ１と同様、第２フレームレートが設定される第２撮像領域は検出撮像領域ｐ２－６０のみとなる。このように、合成対象となるフレームＦ２－６０，Ｆ４－６０，…について特定の検出撮像領域が設定されるため、フレームＦ１，Ｆ３，…での無駄な処理が抑制される。
【0313】
フレームＦ２－６０は、画像領域Ｒ１２－６０に、特定被写体（電車）の画像データｏ１と風景の一部の画像データｏ２を含む。このように、画像領域Ｒ１２－６０は、第２画像領域ｒ２－６０に比べて、特定被写体の移動方向の反対側において拡張される。したがって、実施例２のように範囲Ｄａ１，Ｄａ２を特定して、他のフレームの範囲Ｄｂ１、Ｄｂ２の画像データを複製して合成する必要がない。なお、実施例３の合成処理は、たとえば、図１８のステップＳ１８０５で実行される。また、この合成処理は、第２フレームレートのみのフレームＦ２－６０，Ｆ４－６０，…の合成の場合に適用され、第１フレームレートの画像領域を含むフレームＦ１，Ｆ３，…では実行されない。
【0314】
このように、実施例３では、合成元の画像データが、画像領域Ｒ１２－６０とフレームＦ１の第１画像領域ｒ１－３０の２つであるため、違和感がより少ないフレームＦ２を生成することができる。すなわち、画像データｏ１，ｏ２は同一タイミングで撮像された画像データであるため、画像データｏ１，ｏ２の境界は不自然ではなく違和感がない。また、実施例２のように、範囲Ｄａ１，Ｄａ２を特定したり、範囲Ｄａ１，Ｄａ２から最適な範囲を選択したりするという処理が不要となるため、フレームＦ２の合成処理の負荷低減を図ることができる。
【0315】
（３－１）このように、実施例３にかかる撮像装置は、撮像素子１００と、検出部１２１１と、設定部１２１２と、を有する。撮像素子１００は、被写体を撮像する第１撮像領域と、被写体を撮像する第２撮像領域と、を有し、第１撮像領域に第１フレームレート（たとえば、３０［ｆｐｓ］）を設定可能であり、かつ、第２撮像領域に第１フレームレートよりも速い第２フレームレート（たとえば、６０［ｆｐｓ］）を設定可能である。
【0316】
検出部１２１１は、撮像素子１００からの出力により生成されたフレームＦ１に含まれる特定被写体の第２画像領域ｒ１－６０に基づいて、撮像素子１００における特定被写体の検出撮像領域ｐ２－６０を検出する。設定部１２１２は、フレームＦ１の生成に用いられた特定被写体の撮像領域ｐ１－６０と、検出部１２１１によって検出された撮像領域（以下、検出撮像領域）ｐ２－６０と、を包含する特定の撮像領域Ｐ１２－６０のフレームレートを、第２フレームレートに設定する。
【0317】
これにより、第２フレームレートでの撮像領域を拡張設定して、フレームＦ１，Ｆ２で非画像領域が重複する範囲Ｄａ１が生じないように第２フレームレートで特定被写体を撮像することができ、第２フレームレートで撮像されるフレームＦ２－６０の画像欠損を抑制することができる。
【0318】
（３－２）また、上記（３－１）の撮像装置では、検出部１２１１は、フレームＦ１に含まれる特定被写体の第２画像領域ｒ１－６０と、フレームＦ１とフレームＦ１よりも時間的に前のフレームＦ０－６０との間における特定被写体の動きベクトルｍｖと、に基づいて、特定被写体の検出撮像領域ｐ２－６０を検出する。
【0319】
これにより、特定被写体の検出撮像領域ｐ２－６０の予測を容易に実現することができる。
【0320】
（３－３）また、上記（３－１）の撮像装置では、設定部１２１２は、フレームが第１撮像領域からの出力により生成された第１フレームＦ１である場合に、特定の撮像領域のフレームレートを第２フレームレートに設定し、フレームが第１フレームＦ１の後に特定の撮像領域からの出力により生成された第２フレームＦ２－６０である場合に、検出撮像領域ｐ２－６０のフレームレートを第２フレームレートに設定し、検出撮像領域ｐ２－６０以外の他の撮像領域（撮像面２００のうち検出撮像領域ｐ２－６０を除いた部分）のフレームレートを第１フレームレートに設定する。
【0321】
これにより、合成対象となるフレームＦ２－６０，Ｆ４－６０，…についてのみ特定の検出撮像領域が設定されるため、フレームＦ１，Ｆ３，…での無駄な処理が抑制される。
【0322】
（３－４）また、実施例３にかかる画像処理装置は、被写体を撮像する第１撮像領域と、被写体を撮像する第２撮像領域と、を有し、第１撮像領域に第１フレームレート（たとえば、３０［ｆｐｓ］）を設定可能であり、かつ、第２撮像領域に第１フレームレートよりも速い第２フレームレート（たとえば、６０［ｆｐｓ］）を設定可能な撮像素子１００からの出力により生成されたフレームを画像処理する。
【0323】
この画像処理装置は、検出部１２１１と、設定部１２１２と、合成部１２１４と、を有する。検出部１２１１は、撮像素子１００からの出力により生成されたフレームＦ１に含まれる特定被写体の第２画像領域ｒ１－６０に基づいて、撮像素子１００における特定被写体の撮像領域ｐ２－６０を検出する。設定部１２１２は、フレームＦ１の生成に用いられた特定被写体の撮像領域ｐ１－６０と、検出部１２１１によって検出された検出撮像領域ｐ２－６０と、を包含する特定の撮像領域Ｐ１２－６０のフレームレートを、第２フレームレートに設定する。
【0324】
合成部１２１４は、第１フレームＦ１に含まれる第１画像領域ｒ１－３０の画像データと、設定部１２１２によって設定された第２フレームレートでの撮像により生成された第２フレームＦ２－６０に含まれる特定の撮像領域Ｐ１２－６０の画像データと、を合成する。
【0325】
これにより、第２フレームレートでの撮像領域を拡張設定して、フレームＦ１，Ｆ２で非画像領域が重複する範囲Ｄａ１が生じないように第２フレームレートで特定被写体を撮像することができ、第２フレームレートで撮像されるフレームＦ２－６０の画像欠損を抑制することができる。また、合成の際、重複する範囲Ｄａ１について補間する必要がないため、より違和感の少ない画像を得ることができ、また、合成処理の負荷低減を図ることができる。
【0326】
（３－５）また、実施例３にかかる動画圧縮装置は、被写体を撮像する第１撮像領域と、被写体を撮像する第２撮像領域と、を有し、第１撮像領域に第１フレームレート（たとえば、３０［ｆｐｓ］）を設定可能であり、かつ、第２撮像領域に第１フレームレートよりも速い第２フレームレート（たとえば、６０［ｆｐｓ］）を設定可能な撮像素子１００からの出力により生成された複数のフレームを含む動画データを圧縮する。
【0327】
この動画圧縮装置は、検出部１２１１と、設定部１２１２と、合成部１２１４と、圧縮部９０２と、を有する。検出部１２１１は、撮像素子１００からの出力により生成されたフレームＦ１に含まれる特定被写体の第２画像領域ｒ１－６０に基づいて、撮像素子１００における特定被写体の撮像領域ｐ２－６０を検出する。設定部１２１２は、フレームＦ１の生成に用いられた特定被写体の撮像領域ｐ１－６０と、検出部１２１１によって検出された撮像領域ｐ２－６０と、を包含する特定の撮像領域Ｐ１２－６０のフレームレートを、第２フレームレートに設定する。
【0328】
合成部１２１４は、第１フレームＦ１に含まれる第１画像領域ｒ１－３０の画像データと、設定部１２１２によって設定された第２フレームレートでの撮像により生成された第２フレームＦ２－６０に含まれる特定の撮像領域Ｐ１２－６０の画像データと、を合成する。圧縮部９０２は、第１フレームＦ１と、合成部１２１４によって得られた合成後の第２フレームＦ２と、を圧縮する。
【0329】
これにより、第２フレームレートでの撮像領域を拡張設定して、フレームＦ１，Ｆ２で非画像領域が重複する範囲Ｄａ１が生じないように第２フレームレートで特定被写体を撮像することができ、第２フレームレートで撮像されるフレームＦ２－６０の画像欠損を抑制することができる。また、合成の際、重複する範囲Ｄａ１について補間する必要がないため、より違和感の少ない画像を得ることができ、また、合成処理の負荷低減を図ることができる。また、フレームＦ２－６０がフレームＦ２に更新されてから圧縮されるため、フレームＦ１，Ｆ２間での差分を最小限に抑制することができ、圧縮処理負荷の低減を図ることができる。
【0330】
（３－６）また、実施例３にかかる設定プログラムは、被写体を撮像する第１撮像領域と、被写体を撮像する第２撮像領域と、を有し、第１撮像領域に第１フレームレート（たとえば、３０［ｆｐｓ］）を設定可能であり、かつ、第２撮像領域に第１フレームレートよりも速い第２フレームレート（たとえば、６０［ｆｐｓ］）を設定可能な撮像素子１００の制御をプロセッサ１２０１に実行させる。
【0331】
設定プログラムは、プロセッサ１２０１に、検出処理と、設定処理と、を実行させる。検出処理では、設定プログラムは、プロセッサ１２０１に、撮像素子１００からの出力により生成されたフレームＦ１に含まれる特定被写体の第２画像領域ｒ１－６０に基づいて、撮像素子１００における特定被写体の撮像領域ｐ２－６０を検出させる。設定処理では、設定プログラムは、プロセッサ１２０１に、フレームＦ１の生成に用いられた特定被写体の撮像領域ｐ１－６０と、検出処理によって検出された検出撮像領域ｐ２－６０と、を包含する特定の撮像領域Ｐ１２－６０のフレームレートを、第２フレームレートに設定させる。
【0332】
これにより、第２フレームレートでの撮像領域を拡張設定して、フレームＦ１，Ｆ２で非画像領域が重複する範囲Ｄａ１が生じないように第２フレームレートで特定被写体を撮像することができ、第２フレームレートで撮像されるフレームＦ２－６０の画像欠損の抑制をソフトウェアで実現することができる。
【0333】
（３－７）また、実施例３にかかる画像処理プログラムは、被写体を撮像する第１撮像領域と、被写体を撮像する第２撮像領域と、を有し、第１撮像領域に第１フレームレート（たとえば、３０［ｆｐｓ］）を設定可能であり、かつ、第２撮像領域に第１フレームレートよりも速い第２フレームレート（たとえば、６０［ｆｐｓ］）を設定可能な撮像素子１００からの出力により生成されたフレームの画像処理をプロセッサ１２０１に実行させる。
【0334】
画像処理プログラムは、プロセッサ１２０１に、検出処理と、設定処理と、合成処理と、を実行させる。検出処理では、画像処理プログラムは、プロセッサ１２０１に、撮像素子１００からの出力により生成されたフレームＦ１に含まれる特定被写体の第２画像領域ｒ１－６０に基づいて、撮像素子１００における特定被写体の撮像領域ｐ２－６０を検出させる。設定処理では、画像処理プログラムは、プロセッサ１２０１に、フレームＦ１の生成に用いられた特定被写体の撮像領域ｐ１－６０と、検出処理によって検出された検出撮像領域ｐ２－６０と、を包含する特定の撮像領域Ｐ１２－６０のフレームレートを、第２フレームレートに設定させる。
【0335】
合成処理では、画像処理プログラムは、プロセッサ１２０１に、第１フレームＦ１に含まれる第１画像領域ｒ１－３０の画像データと、設定処理によって設定された第２フレームレートでの撮像により生成された第２フレームＦ２－６０に含まれる特定の撮像領域Ｐ１２－６０の画像データと、を合成させる。
【0336】
これにより、第２フレームレートでの撮像領域を拡張設定して、フレームＦ１，Ｆ２で非画像領域が重複する範囲Ｄａ１が生じないように第２フレームレートで特定被写体を撮像することができ、第２フレームレートで撮像されるフレームＦ２－６０の画像欠損を抑制することをソフトウェアにより実現することができる。また、合成の際、重複する範囲Ｄａ１について補間する必要がないため、より違和感の少ない画像を得ることができ、また、合成処理の負荷低減をソフトウェアにより実現することができる。また、フレームＦ２－６０がフレームＦ２に更新されてから圧縮されるため、フレームＦ１，Ｆ２間での差分を最小限に抑制することができ、圧縮処理負荷の低減をソフトウェアにより実現することができる。
【0337】
（３－８）また、実施例３にかかる動画圧縮プログラムは、被写体を撮像する第１撮像領域と、被写体を撮像する第２撮像領域と、を有し、第１撮像領域に第１フレームレート（たとえば、３０［ｆｐｓ］）を設定可能であり、かつ、第２撮像領域に第１フレームレートよりも速い第２フレームレート（たとえば、６０［ｆｐｓ］）を設定可能な撮像素子１００からの出力により生成された複数のフレームを含む動画データの圧縮を、プロセッサ１２０１に実行させる。
【0338】
この動画圧縮プログラムは、プロセッサ１２０１に、検出処理と、設定処理と、合成処理と、圧縮処理と、を実行させる。検出処理では、動画圧縮プログラムは、プロセッサ１２０１に、撮像素子１００からの出力により生成されたフレームＦ１に含まれる特定被写体の第２画像領域ｒ１－６０に基づいて、撮像素子１００における特定被写体の撮像領域ｐ２－６０を検出させる。設定処理では、動画圧縮プログラムは、プロセッサ１２０１に、フレームＦ１の生成に用いられた特定被写体の撮像領域ｐ１－６０と、検出処理によって検出された検出撮像領域ｐ２－６０と、を包含する特定の撮像領域Ｐ１２－６０のフレームレートを、第２フレームレートに設定させる。
【0339】
合成処理では、動画圧縮プログラムは、プロセッサ１２０１に、第１フレームＦ１に含まれる第１画像領域ｒ１－３０の画像データと、設定処理によって設定された第２フレームレートでの撮像により生成された第２フレームＦ２－６０に含まれる特定の撮像領域Ｐ１２－６０の画像データと、を合成させる。圧縮処理では、動画圧縮プログラムは、プロセッサ１２０１に、第１フレームＦ１と、合成処理によって得られた合成後の第２フレームＦ２と、を圧縮させる。
【0340】
これにより、第２フレームレートでの撮像領域を拡張設定して、フレームＦ１，Ｆ２で非画像領域が重複する範囲Ｄａ１が生じないように第２フレームレートで特定被写体を撮像することができ、第２フレームレートで撮像されるフレームＦ２－６０の画像欠損の抑制を、ソフトウェアにより実現することができる。また、合成の際、重複する範囲Ｄａ１について補間する必要がないため、より違和感の少ない画像を得ることができ、また、合成処理の負荷低減をソフトウェアにより実現することができる。また、フレームＦ２－６０がフレームＦ２に更新されてから圧縮されるため、フレームＦ１，Ｆ２間での差分を最小限に抑制することができ、圧縮処理負荷の低減を、ソフトウェアにより実現することができる。
【符号の説明】
【0341】
１００ 撮像素子、２００ 撮像面、５００ 電子機器、５０１ 撮像光学系、５０２ 制御部、５０３ 液晶モニタ、５０４ メモリカード、５０５ 操作部、５０７ フラッシュメモリ、５０８ 録音部、６００ 動画ファイル、Ｂ１～Ｂｎ データブロック、８１７ 付加情報、９０１ 画像処理部、９０２ 圧縮部、１２０１ プロセッサ、１２０２ メモリ、１２０３ 集積回路、１２０４ バス、１２１０ 前処理部、１２１１ 検出部、１２１２ 設定部、１２１３ 特定部、１２１４ 合成部、１２２０ 取得部、１３０１ 減算部、１３０２ ＤＣＴ部、１３０３ 量子化部、１３０４ エントロピー符号化部、１３０５ 符号量制御部、１３０６ 逆量子化部、１３０７ 逆ＤＣＴ部、１３０８ 生成部、１３０９ フレームメモリ、１３１０ 動き検出部、１３１１ 動き補償部、１３１２ 圧縮制御部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】