(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-10-31
(45)【発行日】2022-11-09
(54)【発明の名称】動画圧縮装置、電子機器、および動画圧縮プログラム
(51)【国際特許分類】
H04N 19/57 20140101AFI20221101BHJP
H04N 19/105 20140101ALI20221101BHJP
H04N 19/136 20140101ALI20221101BHJP
H04N 19/172 20140101ALI20221101BHJP
【ＦＩ】
H04N19/57
H04N19/105
H04N19/136
H04N19/172
【請求項の数】
16
(21)【出願番号】P 2019545650
(86)(22)【出願日】2018-09-27
(86)【国際出願番号】 JP2018036130
(87)【国際公開番号】W WO2019065916
(87)【国際公開日】2019-04-04
【審査請求日】2021-08-30
(31)【優先権主張番号】P 2017192105
(32)【優先日】2017-09-29
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000004112
【氏名又は名称】株式会社ニコン
(74)【代理人】
【識別番号】110001678
【氏名又は名称】藤央弁理士法人
(72)【発明者】
【氏名】小宮 大作
(72)【発明者】
【氏名】關口 直樹
【審査官】久保 光宏
(56)【参考文献】
【文献】国際公開第２０１７／０５７４９２（ＷＯ，Ａ１）
【文献】特開２０１５－９２６６０（ＪＰ，Ａ）
【文献】特開２００８－１０３９２８（ＪＰ，Ａ）
【文献】特開２００９－２８４０５８（ＪＰ，Ａ）
【文献】YAMAZAKI, T., et al.，"Segmented-base CMOS Image Sensor for Machine Vision Application"，Papers of 2013 INTERNATIONAL IMAGE SENSOR WORKSHOP，[online], International Image Sensor Society，2013年06月13日，Pages 1-4，[平成30年10月18日検索], インターネット, <URL: http://imagesensors.org/2013-papers/> and <URL: http://www.imagesensors.org/Past%20Workshops/2013%20Workshop/2013%20Papers/05-05_014-YAMAZAKI-paper.pdf>.
【文献】OTAKA, T. et al.，"An 8-Segmented 256X512 CMOS Image Sensor for Processing Element-Coupled Unified System in Machine Vision Application"，Proceedings of the 10th IEEE International NEWCAS Conference，2012年06月20日，Pages 329-332，ISBN: 978-1-4673-0859-5, <DOI: 10.1109/NEWCAS.2012.6329023>.
【文献】箱石 広之（外２名），「撮像面分割型イメージセンサを用いた環境認識に適した画像の取得」，映像情報メディア学会技術報告，日本，一般社団法人 映像情報メディア学会，2013年05月24日，Vol.37, No.22，第２５～２８頁，ISSN: 1342-6893.
【文献】山崎 智裕（外２名），「小撮像面群構成型イメージセンサを用いた広ダイナミックレンジ撮像と高速動物体追跡」，映像情報メディア学会 ２０１２年年次大会講演予稿集, [CD-ROM]，Session-Id: 17-2，日本，一般社団法人 映像情報メディア学会，2012年08月08日，全２頁，ISSN: 1880-6961.
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ１９／００－１９／９８
Ｈ０４Ｎ５／２２５
Ｈ０４Ｎ５／２３２
ＣＳＤＢ（日本国特許庁）
ＩＥＥＥＸｐｌｏｒｅ（ＩＥＥＥ）
(57)【特許請求の範囲】
【請求項1】
被写体を撮像する撮像領域を複数有し前記撮像領域ごとに撮像条件が設定可能な撮像素子から出力された一連のフレームである動画データを圧縮する動画圧縮装置であって、圧縮対象領域に基づいて参照フレームから特定領域を検出する処理に用いられる前記参照フレーム内の探索領域を、複数の前記撮像条件に基づいて設定する設定部と、
前記設定部によって設定された探索領域を用いた前記処理に基づいて前記特定領域を検出することにより、動きベクトルを生成する生成部と、
を有する動画圧縮装置。
【請求項2】
請求項１に記載の動画圧縮装置であって、前記設定部は、前記探索領域を、前記複数の撮像条件の各々で撮像された画像領域のうち、前記圧縮対象領域が存在する特定の撮像条件で撮像された特定の画像領域に設定する、動画圧縮装置。
【請求項3】
請求項２に記載の動画圧縮装置であって、前記設定部は、前記探索領域を、前記特定の画像領域と、前記特定の画像領域を囲む他の撮像条件の画像領域と、に設定する、動画圧縮装置。
【請求項4】
請求項２に記載の動画圧縮装置であって、前記設定部は、前記複数の撮像条件の関係に基づいて、前記探索領域を拡大または縮小する動画圧縮装置。
【請求項5】
請求項４に記載の動画圧縮装置であって、前記設定部は、前記複数の撮像条件が示す値の差に基づいて、前記探索領域を拡大または縮小する動画圧縮装置。
【請求項6】
請求項４に記載の動画圧縮装置であって、前記設定部は、前記特定の撮像条件が特定の露光時間であり、前記複数の撮像条件のうち前記特定の撮像条件以外の他の撮像条件が前記特定の露光時間よりも短い露光時間である場合に、前記探索領域を縮小する動画圧縮装置。
【請求項7】
請求項１に記載の動画圧縮装置であって、前記設定部は、複数の撮像条件が設定された画像領域のうち、前記圧縮対象領域が存在する特定の撮像条件が設定された特定の画像領域を第１探索領域に設定するとともに、前記画像領域のうち、前記特定の画像領域以外の他の画像領域を第２探索領域に設定し、
前記生成部は、前記設定部によって設定された第１探索領域と、前記設定部によって設定された第２探索領域とで、画素精度が異なる前記処理を実行することにより、前記動きベクトルを生成することを特徴とする動画圧縮装置。
【請求項8】
請求項７に記載の動画圧縮装置であって、前記生成部は、前記第１探索領域での前記処理が前記第２探索領域での前記処理よりも画素精度が高い動画圧縮装置。
【請求項9】
請求項２に記載の動画圧縮装置であって、前記生成部は、前記探索領域での前記処理の結果に基づいて、前記探索領域外での前記処理を実行する動画圧縮装置。
【請求項10】
請求項２に記載の動画圧縮装置であって、前記生成部は、前記探索領域で前記圧縮対象領域とのマッチング対象となる探索対象範囲について、前記探索対象範囲および前記特定の画像領域に含まれる特定の画素と、前記探索対象範囲および前記特定の画像領域以外の他の画像領域に含まれる他の画素と、の割合に基づいて、ブロックマッチングを実行する動画圧縮装置。
【請求項11】
請求項１０に記載の動画圧縮装置であって、前記生成部は、前記探索対象範囲が前記特定の画素のみとなるように、前記処理を実行する動画圧縮装置。
【請求項12】
請求項１０に記載の動画圧縮装置であって、前記生成部は、前記探索対象範囲内の前記特定の画素の画素数が前記他の画素の画素数よりも多くなるように、前記処理を実行する動画圧縮装置。
【請求項13】
請求項１０に記載の動画圧縮装置であって、前記生成部は、前記探索対象範囲内に前記特定の画素が少なくとも１つ存在するように、前記処理を実行する動画圧縮装置。
【請求項14】
被写体を撮像する撮像領域を複数有し前記撮像領域ごとに撮像条件が設定可能な撮像素子から出力された一連のフレームである動画データを圧縮する動画圧縮装置であって、参照フレーム内の特定領域を検出するための探索領域を、複数の前記撮像条件に基づいて設定する設定部と、
前記参照フレームとは異なるフレームの圧縮対象領域に基づいて、前記設定部によって設定された探索領域から前記特定領域を検出部と、
を有する動画圧縮装置。
【請求項15】
被写体を撮像する撮像領域を複数有し前記撮像領域ごとに撮像条件が設定可能であり、一連のフレームである動画データを出力する撮像素子と、圧縮対象領域に基づいて参照フレームから特定領域を検出する処理に用いられる前記参照フレーム内の探索領域を、複数の前記撮像条件に基づいて設定する設定部と、
前記設定部によって設定された探索領域を用いた前記処理に基づいて前記特定領域を検出することにより、動きベクトルを生成する生成部と、
を有する電子機器。
【請求項16】
被写体を撮像する撮像領域を複数有し前記撮像領域ごとに撮像条件が設定可能な撮像素子から出力された一連のフレームである動画データの圧縮をプロセッサに実行させる動画圧縮プログラムであって、前記プロセッサに、
圧縮対象領域に基づいて参照フレームから特定領域を検出する処理に用いられる前記参照フレーム内の探索領域を、複数の前記撮像条件に基づいて設定させ、
前記探索領域を用いた前記処理に基づいて前記特定領域を検出することにより、動きベクトルを生成させる、
動画圧縮プログラム。
【発明の詳細な説明】
【参照による取り込み】
【0001】
本出願は、平成２９年（２０１７年）９月２９日に出願された日本出願である特願２０１７－１９２１０５の優先権を主張し、その内容を参照することにより、本出願に取り込む。
【技術分野】
【0002】
本発明は、動画圧縮装置、電子機器、および動画圧縮プログラムに関する。
【背景技術】
【0003】
裏面照射型撮像チップと信号処理チップとが積層された撮像素子（以下、積層型撮像素子という）を備えた電子機器が提案されている（特許文献１参照）。積層型撮像素子は、裏面照射型撮像チップと信号処理チップとが、所定の領域ごとにマイクロバンプを介して接続されるように積層されている。しかしながら、積層型撮像素子において複数の撮像条件を撮像領域内に設定可能である場合、複数の撮像条件で撮像されたフレームが出力されるため、そのようなフレームの動画圧縮は従来考慮されていない。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２００６－４９３６１号公報
【発明の概要】
【0005】
本願において開示される技術の一側面となる動画圧縮装置は、被写体を撮像する撮像領域を複数有し前記撮像領域ごとに撮像条件が設定可能な撮像素子から出力された一連のフレームである動画データを圧縮する動画圧縮装置であって、圧縮対象領域に基づいて参照フレームから特定領域を検出する処理に用いられる前記参照フレーム内の探索領域を、複数の前記撮像条件に基づいて設定する設定部と、前記設定部によって設定された探索領域を用いた前記処理に基づいて前記特定領域を検出することにより、動きベクトルを生成する生成部と、を有する。
【0006】
本願において開示される技術の一側面となる電子機器は、被写体を撮像する撮像領域を複数有し前記撮像領域ごとに撮像条件が設定可能であり、一連のフレームである動画データを出力する撮像素子と、圧縮対象領域に基づいて参照フレームから特定領域を検出する処理に用いられる前記参照フレーム内の探索領域を、複数の前記撮像条件に基づいて設定する設定部と、前記設定部によって設定された探索領域を用いた前記処理に基づいて前記特定領域を検出することにより、動きベクトルを生成する生成部と、を有する。
【0007】
本願において開示される技術の一側面となる動画圧縮プログラムは、被写体を撮像する撮像領域を複数有し前記撮像領域ごとに撮像条件が設定可能な撮像素子から出力された一連のフレームである動画データの圧縮をプロセッサに実行させる動画圧縮プログラムであって、前記プロセッサに、圧縮対象領域に基づいて参照フレームから特定領域を検出する処理に用いられる前記参照フレーム内の探索領域を、複数の前記撮像条件に基づいて設定させ、前記探索領域を用いた前記処理に基づいて前記特定領域を検出することにより、動きベクトルを生成させる。
【図面の簡単な説明】
【0008】
【発明を実施するための形態】
【0009】
＜撮像素子の構成例＞
初めに、電子機器に搭載する積層型撮像素子について説明する。なお、この積層型撮像素子は、本願出願人が先に出願した特願２０１２－１３９０２６号に記載されているものである。電子機器は、たとえば、デジタルカメラやデジタルビデオカメラなどの撮像装置である。
初めに、電子機器に搭載する積層型撮像素子について説明する。なお、この積層型撮像素子は、本願出願人が先に出願した特願２０１２－１３９０２６号に記載されているものである。電子機器は、たとえば、デジタルカメラやデジタルビデオカメラなどの撮像装置である。
【0010】
図１は、積層型撮像素子１００の断面図である。積層型撮像素子（以下、単に、「撮像素子」）１００は、入射光に対応した画素信号を出力する裏面照射型撮像チップ（以下、単に、「撮像チップ」）１１３と、画素信号を処理する信号処理チップ１１１と、画素信号を記憶するメモリチップ１１２とを備える。これら撮像チップ１１３、信号処理チップ１１１およびメモリチップ１１２は積層されており、Ｃｕなどの導電性を有するバンプ１０９により互いに電気的に接続される。
【0011】
なお、図１に示すように、入射光は主に白抜き矢印で示すＺ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ１１３において、入射光が入射する側の面を裏面と称する。また、座標軸に示すように、Ｚ軸に直交する紙面左方向をＸ軸プラス方向、Ｚ軸およびＸ軸に直交する紙面手前方向をＹ軸プラス方向とする。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
【0012】
撮像チップ１１３の一例は、裏面照射型のＭＯＳ（Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサである。ＰＤ（フォトダイオード）層１０６は、配線層１０８の裏面側に配されている。ＰＤ層１０６は、二次元的に配され、入射光に応じた電荷を蓄積する複数のＰＤ１０４、および、ＰＤ１０４に対応して設けられたトランジスタ１０５を有する。
【0013】
ＰＤ層１０６における入射光の入射側にはパッシベーション膜１０３を介してカラーフィルタ１０２が設けられる。カラーフィルタ１０２は、互いに異なる波長領域を透過する複数の種類を有しており、ＰＤ１０４のそれぞれに対応して特定の配列を有している。カラーフィルタ１０２の配列については後述する。カラーフィルタ１０２、ＰＤ１０４およびトランジスタ１０５の組が、一つの画素を形成する。
【0014】
カラーフィルタ１０２における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ１０１が設けられる。マイクロレンズ１０１は、対応するＰＤ１０４へ向けて入射光を集光する。
【0015】
配線層１０８は、ＰＤ層１０６からの画素信号を信号処理チップ１１１に伝送する配線１０７を有する。配線１０７は多層であってもよく、また、受動素子および能動素子が設けられてもよい。
【0016】
配線層１０８の表面には複数のバンプ１０９が配される。当該複数のバンプ１０９が信号処理チップ１１１の対向する面に設けられた複数のバンプ１０９と位置合わせされて、撮像チップ１１３と信号処理チップ１１１とが加圧などされることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。
【0017】
同様に、信号処理チップ１１１およびメモリチップ１１２の互いに対向する面には、複数のバンプ１０９が配される。これらのバンプ１０９が互いに位置合わせされて、信号処理チップ１１１とメモリチップ１１２とが加圧などされることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。
【0018】
なお、バンプ１０９間の接合には、固相拡散によるＣｕバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用してもよい。また、バンプ１０９は、たとえば、後述する一つのブロックに対して一つ程度設ければよい。したがって、バンプ１０９の大きさは、ＰＤ１０４のピッチよりも大きくてもよい。また、画素が配列された画素領域以外の周辺領域において、画素領域に対応するバンプ１０９よりも大きなバンプを併せて設けてもよい。
【0019】
信号処理チップ１１１は、表裏面にそれぞれ設けられた回路を互いに接続するＴＳＶ（シリコン貫通電極）１１０を有する。ＴＳＶ１１０は、周辺領域に設けられることが好ましい。また、ＴＳＶ１１０は、撮像チップ１１３の周辺領域、メモリチップ１１２にも設けられてよい。
【0020】
図２は、撮像チップ１１３の画素配列を説明する図である。特に、撮像チップ１１３を裏面側から観察した様子を示す。（ａ）は、撮像チップ１１３の裏面である撮像面２００を模式的に示す平面図であり、（ｂ）は、撮像面２００の一部領域２００ａを拡大した平面図である。（ｂ）に示すように、撮像面２００には、画素２０１が二次元状に多数配列されている。
【0021】
画素２０１は、それぞれ不図示の色フィルタを有している。色フィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３種類からなり、（ｂ）における「Ｒ」、「Ｇ」、および「Ｂ」という表記は、画素２０１が有する色フィルタの種類を表している。（ｂ）に示すように、撮像素子１００の撮像面２００には、このような各色フィルタを備えた画素２０１が、いわゆるベイヤー配列に従って配列されている。
【0022】
赤フィルタを有する画素２０１は、入射光のうち、赤色の波長帯の光を光電変換して受光信号（光電変換信号）を出力する。同様に、緑フィルタを有する画素２０１は、入射光のうち、緑色の波長帯の光を光電変換して受光信号を出力する。また、青フィルタを有する画素２０１は、入射光のうち、青色の波長帯の光を光電変換して受光信号を出力する。
【0023】
撮像素子１００は、隣接する２画素×２画素の計４つの画素２０１から成る単位グループ２０２ごとに、個別に制御可能に構成されている。たとえば、互いに異なる２つの単位グループ２０２について、同時に電荷蓄積が開始されたときに、一方の単位グループ２０２では電荷蓄積開始から１／３０秒後に電荷の読み出し、すなわち受光信号の読み出しが行われ、他方の単位グループ２０２では電荷蓄積開始から１／１５秒後に電荷の読み出しが行われる。換言すると、撮像素子１００は、１回の撮像において、単位グループ２０２ごとに異なる露光時間（電荷蓄積時間であり、いわゆるシャッタースピード）を設定することができる。
【0024】
撮像素子１００は、上述した露光時間以外にも、撮像信号の増幅率（いわゆるＩＳＯ感度）を単位グループ２０２ごとに異ならせることが可能である。撮像素子１００は、電荷蓄積を開始するタイミングや受光信号を読み出すタイミングを単位グループ２０２ごとに変化させることができる。すなわち、撮像素子１００は、動画撮像時のフレームレートを単位グループ２０２ごとに変化させることができる。
【0025】
以上をまとめると、撮像素子１００は、単位グループ２０２ごとに、露光時間、増幅率、フレームレート、解像度などの撮像条件を異ならせることが可能に構成されている。たとえば、画素２０１が有する不図示の光電変換部から撮像信号を読み出すための不図示の読み出し線が、単位グループ２０２ごとに設けられ、単位グループ２０２ごとに独立して撮像信号を読み出し可能に構成すれば、単位グループ２０２ごとに露光時間（シャッタースピード）を異ならせることができる。
【0026】
また、光電変換された電荷により生成された撮像信号を増幅する不図示の増幅回路を単位グループ２０２ごとに独立して設け、増幅回路による増幅率を増幅回路ごとに独立して制御可能に構成すれば、単位グループ２０２ごとに信号の増幅率（ＩＳＯ感度）を異ならせることができる。
【0027】
また、単位グループ２０２ごとに異ならせることが可能な撮像条件は、上述した撮像条件のほか、フレームレート、ゲイン、解像度（間引き率）、画素信号を加算する加算行数または加算列数、電荷の蓄積時間または蓄積回数、デジタル化のビット数などである。さらに、制御パラメータは、画素からの画像信号取得後の画像処理におけるパラメータであってもよい。
【0028】
また、撮像条件は、たとえば、単位グループ２０２ごとに独立して制御可能な区画（１区画が１つの単位グループ２０２に対応する）を有する液晶パネルを撮像素子１００に設け、オンオフ可能な減光フィルタとして利用すれば、単位グループ２０２ごとに明るさ（絞り値）を制御することが可能になる。
【0029】
なお、単位グループ２０２を構成する画素２０１の数は、上述した２×２の４画素でなくてもよい。単位グループ２０２は、少なくとも１個の画素２０１を有していればよいし、逆に、４個より多くの画素２０１を有していてもよい。
【0030】
図３は、撮像チップ１１３の回路図である。図３において、代表的に点線で囲む矩形が、１つの画素２０１に対応する回路を表す。また、一点鎖線で囲む矩形が１つの単位グループ２０２（２０２－１～２０２－４）に対応する。なお、以下に説明する各トランジスタの少なくとも一部は、図１のトランジスタ１０５に対応する。
【0031】
上述したように、画素２０１のリセットトランジスタ３０３は、単位グループ２０２単位でオン／オフされる。また、画素２０１の転送トランジスタ３０２も、単位グループ２０２単位でオン／オフされる。図３に示す例において、左上単位グループ２０２－１に対応する４つのリセットトランジスタ３０３をオン／オフするためのリセット配線３００－１が設けられており、同単位グループ２０２－１に対応する４つの転送トランジスタ３０２に転送パルスを供給するためのＴＸ配線３０７－１も設けられる。
【0032】
同様に、左下単位グループ２０２－３に対応する４つのリセットトランジスタ３０３をオン／オフするためのリセット配線３００－３が、上記リセット配線３００－１とは別個に設けられる。また、同単位グループ２０２－３に対応する４つの転送トランジスタ３０２に転送パルスを供給するためのＴＸ配線３０７－３が、上記ＴＸ配線３０７－１と別個に設けられる。
【0033】
右上単位グループ２０２－２や右下単位グループ２０２－４についても同様に、それぞれリセット配線３００－２とＴＸ配線３０７－２、およびリセット配線３００－４とＴＸ配線３０７－４が、それぞれの単位グループ２０２に設けられている。
【0034】
各画素２０１に対応する１６個のＰＤ１０４は、それぞれ対応する転送トランジスタ３０２に接続される。各転送トランジスタ３０２のゲートには、上記単位グループ２０２ごとのＴＸ配線を介して転送パルスが供給される。各転送トランジスタ３０２のドレインは、対応するリセットトランジスタ３０３のソースに接続されるとともに、転送トランジスタ３０２のドレインとリセットトランジスタ３０３のソース間のいわゆるフローティングディフュージョンＦＤが、対応する増幅トランジスタ３０４のゲートに接続される。
【0035】
各リセットトランジスタ３０３のドレインは、電源電圧が供給されるＶｄｄ配線３１０に共通に接続される。各リセットトランジスタ３０３のゲートには、上記単位グループ２０２ごとのリセット配線を介してリセットパルスが供給される。
【0036】
各増幅トランジスタ３０４のドレインは、電源電圧が供給されるＶｄｄ配線３１０に共通に接続される。また、各増幅トランジスタ３０４のソースは、対応する選択トランジスタ３０５のドレインに接続される。各選択トランジスタ３０５のゲートには、選択パルスが供給されるデコーダ配線３０８に接続される。デコーダ配線３０８は、１６個の選択トランジスタ３０５に対してそれぞれ独立に設けられる。
【0037】
そして、各々の選択トランジスタ３０５のソースは、共通の出力配線３０９に接続される。負荷電流源３１１は、出力配線３０９に電流を供給する。すなわち、選択トランジスタ３０５に対する出力配線３０９は、ソースフォロアにより形成される。なお、負荷電流源３１１は、撮像チップ１１３側に設けてもよいし、信号処理チップ１１１側に設けてもよい。
【0038】
ここで、電荷の蓄積開始から蓄積終了後の画素出力までの流れを説明する。上記単位グループ２０２ごとのリセット配線を通じてリセットパルスがリセットトランジスタ３０３に印加され、同時に上記単位グループ２０２（２０２－１～２０２－４）ごとのＴＸ配線を通じて転送パルスが転送トランジスタ３０２に印加されると、上記単位グループ２０２ごとに、ＰＤ１０４およびフローティングディフュージョンＦＤの電位がリセットされる。
【0039】
各ＰＤ１０４は、転送パルスの印加が解除されると、受光する入射光を電荷に変換して蓄積する。その後、リセットパルスが印加されていない状態で再び転送パルスが印加されると、蓄積された電荷はフローティングディフュージョンＦＤへ転送され、フローティングディフュージョンＦＤの電位は、リセット電位から電荷蓄積後の信号電位になる。
【0040】
そして、デコーダ配線３０８を通じて選択パルスが選択トランジスタ３０５に印加されると、フローティングディフュージョンＦＤの信号電位の変動が、増幅トランジスタ３０４および選択トランジスタ３０５を介して出力配線３０９に伝わる。これにより、リセット電位と信号電位とに対応する画素信号は、単位画素から出力配線３０９に出力される。
【0041】
上述したように、単位グループ２０２を形成する４画素に対して、リセット配線とＴＸ配線が共通である。すなわち、リセットパルスと転送パルスはそれぞれ、同単位グループ２０２内の４画素に対して同時に印加される。したがって、ある単位グループ２０２を形成するすべての画素２０１は、同一のタイミングで電荷蓄積を開始し、同一のタイミングで電荷蓄積を終了する。ただし、蓄積された電荷に対応する画素信号は、それぞれの選択トランジスタ３０５に選択パルスが順次印加されることにより、選択的に出力配線３０９から出力される。
【0042】
このように、単位グループ２０２ごとに電荷蓄積開始タイミングを制御することができる。換言すると、異なる単位グループ２０２間では、異なったタイミングで撮像することができる。
【0043】
図４は、撮像素子１００の機能的構成例を示すブロック図である。アナログのマルチプレクサ４１１は、単位グループ２０２を形成する１６個のＰＤ１０４を順番に選択して、それぞれの画素信号を当該単位グループ２０２に対応して設けられた出力配線３０９へ出力させる。マルチプレクサ４１１は、ＰＤ１０４と共に、撮像チップ１１３に形成される。
【0044】
マルチプレクサ４１１を介して出力された画素信号は、信号処理チップ１１１に形成された、相関二重サンプリング（ＣＤＳ）・アナログ／デジタル（Ａ／Ｄ）変換を行う信号処理回路４１２により、ＣＤＳおよびＡ／Ｄ変換が行われる。Ａ／Ｄ変換された画素信号は、デマルチプレクサ４１３に引き渡され、それぞれの画素に対応する画素メモリ４１４に格納される。デマルチプレクサ４１３および画素メモリ４１４は、メモリチップ１１２に形成される。
【0045】
演算回路４１５は、画素メモリ４１４に格納された画素信号を処理して後段の画像処理部に引き渡す。演算回路４１５は、信号処理チップ１１１に設けられてもよいし、メモリチップ１１２に設けられてもよい。なお、図４では４つの単位グループ２０２の分の接続を示すが、実際にはこれらが４つの単位グループ２０２ごとに存在して、並列で動作する。
【0046】
ただし、演算回路４１５は４つの単位グループ２０２ごとに存在しなくてもよく、たとえば、一つの演算回路４１５がそれぞれの４つの単位グループ２０２に対応する画素メモリ４１４の値を順に参照しながらシーケンシャルに処理してもよい。
【0047】
上記の通り、単位グループ２０２のそれぞれに対応して出力配線３０９が設けられている。撮像素子１００は撮像チップ１１３、信号処理チップ１１１およびメモリチップ１１２を積層しているので、これら出力配線３０９にバンプ１０９を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。
【0048】
＜電子機器のブロック構成例＞
図５は、電子機器のブロック構成例を示す説明図である。電子機器５００は、たとえば、レンズ一体型のカメラである。電子機器５００は、撮像光学系５０１と、撮像素子１００と、制御部５０２と、液晶モニタ５０３と、メモリカード５０４と、操作部５０５と、ＤＲＡＭ５０６と、フラッシュメモリ５０７と、録音部５０８とを備える。制御部５０２は、後述するように動画データを圧縮する圧縮部を含む。したがって、電子機器５００のうち、少なくとも制御部５０２を含む構成が動画圧縮装置となる。
図５は、電子機器のブロック構成例を示す説明図である。電子機器５００は、たとえば、レンズ一体型のカメラである。電子機器５００は、撮像光学系５０１と、撮像素子１００と、制御部５０２と、液晶モニタ５０３と、メモリカード５０４と、操作部５０５と、ＤＲＡＭ５０６と、フラッシュメモリ５０７と、録音部５０８とを備える。制御部５０２は、後述するように動画データを圧縮する圧縮部を含む。したがって、電子機器５００のうち、少なくとも制御部５０２を含む構成が動画圧縮装置となる。
【0049】
撮像光学系５０１は、複数のレンズから構成され、撮像素子１００の撮像面２００に被写体像を結像させる。なお、図５では、便宜上、撮像光学系５０１を１枚のレンズとして図示している。
【0050】
撮像素子１００は、たとえば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子であり、撮像光学系５０１により結像された被写体像を撮像して撮像信号を出力する。制御部５０２は、電子機器５００の各部を制御する電子回路であり、プロセッサとその周辺回路とから構成される。
【0051】
不揮発性の記憶媒体であるフラッシュメモリ５０７には、予め所定の制御プログラムが書き込まれている。制御部５０２は、フラッシュメモリ５０７から制御プログラムを読み込んで実行することにより、各部の制御を行う。この制御プログラムは、揮発性の記憶媒体であるＤＲＡＭ５０６を作業用領域として使用する。
【0052】
液晶モニタ５０３は、液晶パネルを利用した表示装置である。制御部５０２は、所定周期（たとえば６０分の１秒）ごとに撮像素子１００に繰り返し被写体像を撮像させる。そして、撮像素子１００から出力された撮像信号に種々の画像処理を施していわゆるスルー画を作成し、液晶モニタ５０３に表示する。液晶モニタ５０３には、上記のスルー画以外に、たとえば撮像条件を設定する設定画面などが表示される。
【0053】
制御部５０２は、撮像素子１００から出力された撮像信号に基づき、後述する画像ファイルを作成し、可搬性の記録媒体であるメモリカード５０４に画像ファイルを記録する。操作部５０５は、プッシュボタンなどの種々の操作部材を有し、それら操作部材が操作されたことに応じて制御部５０２に操作信号を出力する。
【0054】
録音部５０８は、たとえば、マイクロフォンにより構成され、環境音を音声信号に変換して制御部５０２に入力する。なお、制御部５０２は、可搬性の記録媒体であるメモリカード５０４に動画ファイルを記録するのではなく、ハードディスクのような電子機器５００に内蔵された不図示の記録媒体に記録してもよい。
【0055】
＜動画ファイルの構成例＞
図６は、動画ファイルの構成例を示す説明図である。動画ファイル６００は、制御部５０２内の後述する圧縮部９０２での圧縮処理中に生成され、メモリカード５０４、ＤＲＡＭ５０６、またはフラッシュメモリ５０７に格納される。動画ファイル６００は、ヘッダ部６０１およびデータ部６０２の２つのブロックにより構成される。ヘッダ部６０１は、動画ファイル６００の先頭に位置するブロックである。ヘッダ部６０１には、ファイル基本情報領域６１１と、マスク領域６１２と、撮像情報領域６１３とが、以上に述べた順序で格納されている。
図６は、動画ファイルの構成例を示す説明図である。動画ファイル６００は、制御部５０２内の後述する圧縮部９０２での圧縮処理中に生成され、メモリカード５０４、ＤＲＡＭ５０６、またはフラッシュメモリ５０７に格納される。動画ファイル６００は、ヘッダ部６０１およびデータ部６０２の２つのブロックにより構成される。ヘッダ部６０１は、動画ファイル６００の先頭に位置するブロックである。ヘッダ部６０１には、ファイル基本情報領域６１１と、マスク領域６１２と、撮像情報領域６１３とが、以上に述べた順序で格納されている。
【0056】
ファイル基本情報領域６１１には、たとえば、動画ファイル６００内の各部（ヘッダ部６０１、データ部６０２、マスク領域６１２、撮像情報領域６１３など）のサイズやオフセットが記録される。マスク領域６１２には、後述する撮像条件情報やマスク情報などが記録される。撮像情報領域６１３には、たとえば電子機器５００の機種名や撮像光学系２１の情報（たとえば収差などの光学特性に関する情報）など、撮像に関する情報が記録される。データ部６０２は、ヘッダ部６０１の後ろに位置するブロックであり、画像情報や音声情報などが記録される。
【0057】
＜撮像画面と被写体像との関係＞
図７は、撮像面と被写体像との関係を示す説明図である。（ａ）は、撮像素子１００の撮像面２００（撮像範囲）と被写体像７０１とを模式的に示す。（ａ）において、制御部５０２は、被写体像７０１を撮像する。（ａ）の撮像は、たとえばライブビュー画像（いわゆるスルー画）の作成のために行われる撮像を兼ねていてもよい。
図７は、撮像面と被写体像との関係を示す説明図である。（ａ）は、撮像素子１００の撮像面２００（撮像範囲）と被写体像７０１とを模式的に示す。（ａ）において、制御部５０２は、被写体像７０１を撮像する。（ａ）の撮像は、たとえばライブビュー画像（いわゆるスルー画）の作成のために行われる撮像を兼ねていてもよい。
【0058】
制御部５０２は、（ａ）の撮像により得られた被写体像７０１に対して、所定の画像解析処理を実行する。画像解析処理は、たとえば周知の被写体検出技術（特徴量を演算して所定の被写体が存在する範囲を検出する技術）により、主要被写体領域と背景領域とを検出する処理である。画像解析処理によって、撮像面２００は、主要被写体が存在する主要被写体領域７０２と、背景が存在する背景領域７０３とに分割される。
【0059】
なお、（ａ）では、被写体像７０１を大まかに含む領域を主要被写体領域７０２として図示しているが、主要被写体領域７０２は、被写体像７０１の外形に沿った形状であってもよい。つまり、被写体像７０１以外のものをできるだけ含まないように主要被写体領域７０２を設定してもよい。
【0060】
制御部５０２は、主要被写体領域７０２内の各単位グループ２０２と、背景領域７０３内の各単位グループ２０２とで、異なる撮像条件を設定する。たとえば、前者の各単位グループ２０２には、後者の各単位グループ２０２に比べて高速なシャッタースピードを設定する。このようにすると、（ａ）の撮像の次に撮像される（ｃ）の撮像において、主要被写体領域７０２では像ぶれが発生しにくくなる。
【0061】
また、制御部５０２は、背景領域７０３に存在する太陽などの光源の影響で、主要被写体領域７０２が逆光状態となっている場合には、前者の各単位グループ２０２に、相対的に高めのＩＳＯ感度を設定したり、低速なシャッタースピードを設定する。また、制御部５０２は、後者の各単位グループ２０２に、相対的に低めのＩＳＯ感度を設定したり、高速なシャッタースピードを設定したりする。このようにすると、（ｃ）の撮像において、逆光状態の主要被写体領域７０２の黒つぶれや、光量の大きい背景領域７０３の白飛びを防止することができる。
【0062】
なお、画像解析処理は、上述した主要被写体領域７０２と背景領域７０３とを検出する処理とは異なる処理であってもよい。たとえば、撮像面２００全体のうち、明るさが一定以上の部分（明るすぎる部分）や明るさが一定未満の部分（暗すぎる部分）を検出する処理であってもよい。画像解析処理をこのような処理とした場合、制御部５０２は、前者の領域に含まれる単位グループ２０２について、露出値（Ｅｖ値）が他の領域に含まれる単位グループ２０２よりも低くなるように、シャッタースピードやＩＳＯ感度を設定する。
【0063】
また、制御部５０２は、後者の領域に含まれる単位グループ２０２については、露出値（Ｅｖ値）が他の領域に含まれる単位グループ２０２よりも高くなるように、シャッタースピードやＩＳＯ感度を設定する。このようにすることで、（ｃ）の撮像により得られる画像のダイナミックレンジを、撮像素子１００の本来のダイナミックレンジよりも広げることができる。
【0064】
図７の（ｂ）は、（ａ）に示した撮像面２００に対応するマスク情報７０４の一例を示す。主要被写体領域７０２に属する単位グループ２０２の位置には「１」が、背景領域７０３に属する単位グループ２０２の位置には「２」がそれぞれ格納されている。
【0065】
制御部５０２は、１フレーム目の画像データに対して、画像解析処理を実行し、主要被写体領域７０２と背景領域７０３とを検出する。これにより、（ａ）の撮像によるフレームは、（ｃ）に示すように、主要被写体領域７０２と背景領域７０３とに分割される。制御部５０２は、主要被写体領域７０２内の各単位グループ２０２と、背景領域７０３内の各単位グループ２０２とで、異なる撮像条件を設定して、（ｃ）の撮像を行い、画像データを作成する。このときのマスク情報７０４の例を、（ｄ）に示す。
【0066】
（ａ）の撮像の結果に対応する（ｂ）のマスク情報７０４と、（ｂ）の撮像の結果に対応する（ｄ）のマスク情報７０４とでは、異なる時刻に撮像を行っている（時間差がある）ため、たとえば、被写体が移動している場合や、ユーザが電子機器５００を動かした場合に、これら２つのマスク情報７０４が異なる内容になる。換言すると、マスク情報７０４は、時間経過に伴い変化する動的情報である。従って、ある単位グループ２０２において、フレームごとに異なる撮像条件が設定されることになる。
【0067】
＜動画ファイル６００の具体例＞
図８は、動画ファイル６００の具体的な構成例に示す説明図である。マスク領域６１２には、識別情報８０１と、撮像条件情報８０２と、マスク情報７０４が、以上に述べた順序で記録される。
図８は、動画ファイル６００の具体的な構成例に示す説明図である。マスク領域６１２には、識別情報８０１と、撮像条件情報８０２と、マスク情報７０４が、以上に述べた順序で記録される。
【0068】
識別情報８０１は、この動画ファイル６００がマルチ撮像条件動画撮像機能によって作成されたものである旨を表す。マルチ撮像条件動画撮像機能とは、複数の撮像条件が設定された撮像素子１００で動画撮影する機能である。
【0069】
撮像条件情報８０２は、単位グループ２０２にどのような用途（目的、役割）が存在するかを表す情報である。たとえば、上述したように、撮像面２００（図７（ａ））を主要被写体領域７０２と背景領域７０３とに分割する場合、各々の単位グループ２０２は、主要被写体領域７０２に属するか、または、背景領域７０３に属するかのいずれかである。
【0070】
つまり、撮像条件情報８０２は、この動画ファイル６００の作成に際し、単位グループ２０２にたとえば「主要被写体領域を６０ｆｐｓで動画撮像する」、「背景領域を３０ｆｐｓで動画撮像する」という２種類の用途が存在したこと、並びに、これらの用途ごとに割り当てられた一意な番号を表す情報である。たとえば、１という番号が「主要被写体領域を６０ｆｐｓで動画撮像する」用途を、２という番号が「背景領域を３０ｆｐｓで動画撮像する」用途にそれぞれ割り当てられる。
【0071】
マスク情報７０４は、各々の単位グループ２０２の用途（目的、役割）を表す情報である。マスク情報７０４を、「撮像条件情報８０２に割り当てられた番号を、単位グループ２０２の位置に合わせて二次元マップの形で表現した情報」としている。つまり、二次元状に配列された単位グループ２０２を２つの整数ｘ、ｙによる二次元座標（ｘ、ｙ）で特定するとき、（ｘ、ｙ）の位置に存在する単位グループ２０２の用途は、マスク情報７０４の（ｘ、ｙ）の位置に存在する番号により表現される。
【0072】
たとえば、マスク情報７０４の座標（３，５）の位置に「１」という番号が入っていた場合、座標（３，５）に位置する単位グループ２０２には、「主要被写体領域を６０［ｆｐｓ］で撮像する」という用途が与えられたことがわかる。換言すると、座標（３，５）に位置する単位グループ２０２は、主要被写体領域７０２に属することがわかる。
【0073】
なお、マスク情報７０４はフレームごとに変化する動的情報なので、フレームごと、すなわち、後述するデータブロックＢｉごとに圧縮処理中に記録される（不図示）。
【0074】
データ部６０２には、フレームＦ（Ｆ１～Ｆｎ）ごとにデータブロックＢ１～Ｂｎが撮像順に動画データとして格納される。データブロックＢｉ（ｉは１≦ｉ≦ｎの整数）は、マスク情報７０４と、画像情報８１１と、Ｔｖ値マップ８１２と、Ｓｖ値マップ８１３と、Ｂｖ値マップ８１４と、Ａｖ値情報８１５と、音声情報８１６と、付加情報８１７とを含む。
【0075】
画像情報８１１は、図７の（ｃ）の撮像により撮像素子１００から出力された撮像信号を、種々の画像処理を施す前の形で記録した情報であり、いわゆるＲＡＷ画像データである。
【0076】
Ｔｖ値マップ８１２は、単位グループ２０２ごとに設定されたシャッタースピードを表すＴｖ値を、単位グループ２０２の位置に合わせて二次元マップの形で表現した情報である。たとえば座標（ｘ、ｙ）に位置する単位グループ２０２に設定されたシャッタースピードは、Ｔｖ値マップ８１２の座標（ｘ、ｙ）に格納されているＴｖ値を調べることで判別可能である。
【0077】
Ｓｖ値マップ８１３は、単位グループ２０２ごとに設定されたＩＳＯ感度を表すＳｖ値を、Ｔｖ値マップ８１２と同様に二次元マップの形で表現した情報である。
【0078】
Ｂｖ値マップ８１４は、図７の（ｃ）の撮像に際して単位グループ２０２ごとに測定された被写体輝度、すなわち、各々の単位グループ２０２に入射した被写体光の輝度を表すＢｖ値を、Ｔｖ値マップ８１２と同様に二次元マップの形で表現した情報である。
【0079】
Ａｖ値情報８１５は、図７の（ｃ）の撮像時の絞り値を表す情報である。Ａｖ値は、Ｔｖ値、Ｓｖ値、Ｂｖ値とは異なり、単位グループ２０２ごとに存在する値ではない。従って、Ｔｖ値、Ｓｖ値、Ｂｖ値とは違い、Ａｖ値は単一の値のみが格納され、複数の値を二次元状にマップした情報とはなっていない。
【0080】
音声情報８１６は、動画再生を行いやすいように、１フレーム分の情報ごとに分割され、データブロックＢｉと多重化されてデータ部６０２に格納されている。なお、音声情報８１６の多重化は、１フレーム分でなく、所定数のフレーム分ごとに行ってもよい。なお、音声情報８１６は、必ずしも含まれている必要はない。
【0081】
付加情報８１７は、図７の（ｃ）の撮像に際して単位グループ２０２ごとに設定されたフレームレートを二次元マップの形で表現した情報である。付加情報８１７の設定については、図１４および図１５で後述する。なお、付加情報８１７については、フレームＦに保持させてもよいが、後述するプロセッサ１００１のキャッシュメモリに保持してもよい。特にリアルタイムで圧縮処理を実行する場合は、高速処理の観点からキャッシュメモリを利用するのが好ましい。
【0082】
以上のように、制御部５０２は、このような動画撮像機能による撮像を行うことにより、単位グループ２０２ごとに撮像条件が設定可能な撮像素子１００により生成された画像情報８１１と、単位グループ２０２ごとの撮像条件に関するデータ（撮像条件情報８０２、マスク情報７０４、Ｔｖ値マップ８１２、Ｓｖ値マップ８１３、Ｂｖ値マップ８１４など）とが関連付けられた動画ファイル６００を、メモリカード５０４に記録する。
【0083】
＜ブロックマッチング例＞
つぎに、１枚のフレームに複数の撮像条件が設定された場合のブロックマッチングについて説明する。本実施例では、ブロックマッチングで使用される探索範囲内で撮像条件の相違がある場合、当該相違を利用してブロックマッチングの適正化、ひいては、ブロックマッチングの処理負荷低減やブロックマッチングの精度低減の抑制を図る。
つぎに、１枚のフレームに複数の撮像条件が設定された場合のブロックマッチングについて説明する。本実施例では、ブロックマッチングで使用される探索範囲内で撮像条件の相違がある場合、当該相違を利用してブロックマッチングの適正化、ひいては、ブロックマッチングの処理負荷低減やブロックマッチングの精度低減の抑制を図る。
【0084】
図９は、ブロックマッチング例を示す説明図である。電子機器５００は、上述した撮像素子１００と、制御部５０２と、を有する。制御部５０２は、前処理部９００と、画像処理部９０１と、圧縮部９０２と、を含む。撮像素子１００は、上述したように、被写体を撮像する複数の撮像領域を有する。
【0085】
撮像領域は、少なくとも１画素以上の画素集合であり、たとえば、上述した１以上の単位グループ２０２である。撮像領域は、単位グループ２０２ごとに撮像条件が設定可能である。撮像条件は、上述したように、具体的には、たとえば、露光時間（シャッタースピード）、増幅率（ＩＳＯ感度）、解像度を含む。
【0086】
撮像素子１００は、被写体を撮像して、複数のフレームを含む動画データ９１０を制御部５０２内の前処理部９００に出力する。フレームＦ内において、撮像素子１００のある撮像領域で撮像された画像データの領域を画像領域と称す。
【0087】
たとえば、ある撮像領域が１つの単位グループ２０２（２×２画素）で構成されている場合、対応する画像領域の大きさも単位グループ２０２の大きさとなる。同様に、ある撮像領域が２×２の単位グループ２０２（４×４画素）で構成されている場合、対応する画像領域の大きさも２×２の単位グループ２０２の大きさとなる。
【0088】
図９では、フレームＦで撮影された被写体のうち主要被写体（たとえば、合焦された被写体）については撮像条件Ａで、背景領域については撮像条件Ｂで撮像されたものとする。ここで、撮像条件Ａ、Ｂは、同種でかつ値が異なる撮像条件である。たとえば、撮像条件Ａ，Ｂが露光時間とすると、たとえば、撮像条件Ａは、１／５００［秒］、撮像条件Ｂは、１／６０［秒］である。撮像条件が露光時間の場合、当該撮像条件は、図８に示した動画ファイル６００のＴｖ値マップ８１２に格納される。
【0089】
同様に、撮像条件がＩＳＯ感度である場合、当該撮像条件は、図８に示した動画ファイル６００のＳｖ値マップ８１３に格納される。撮像条件がフレームレートである場合、当該撮像条件は、図８に示した動画ファイル６００の付加情報８１７に格納される。
【0090】
前処理部９００は、動画データ９１０について画像処理部９０１による画像処理の前処理を実行する。具体的には、たとえば、前処理部９００は、撮像素子１００から動画データ９１０（ここでは、ＲＡＷ画像データの集合）が入力されると、周知の被写体検出技術により、主要被写体のような特定被写体を検出する。また、前処理部９００は、特定被写体の撮像領域を予測して、撮像素子１００における当該撮像領域の撮像条件を特定の撮像条件に設定する。
【0091】
たとえば、撮像面２００全域にわたって撮像条件Ｂが設定されている場合、主要被写体などの特定被写体が検出されて撮像されると、前処理部９００は、特定被写体を撮像した撮像素子１００の撮像領域を撮像条件Ａにするように撮像素子１００に出力する。これにより、当該特定被写体の撮像領域が撮像条件Ａに設定され、それ以外の撮像領域が撮像条件Ｂに設定される。
【0092】
また、前処理部９００は、具体的には、たとえば、入力フレームでの特定被写体が検出された撮像領域と入力済みフレームの特定被写体が検出された撮像領域との差分から特定被写体の動きベクトルを検出して、次の入力フレームでの特定被写体の撮像領域を特定してもよい。この場合、前処理部９００は、特定した撮像領域について撮像条件Ａに変更する指示を撮像素子１００に出力する。これにより、当該特定被写体の撮像領域が撮像条件Ａに設定され、それ以外の撮像領域が撮像条件Ｂに設定される。
【0093】
画像処理部９０１は、撮像素子１００から入力された動画データ９１０についてデモザイク処理やホワイトバランス調整、ノイズリダクション、ディベイヤなどの画像処理を実行する。圧縮部９０２は、画像処理部９０１から入力された動画データ９１０を圧縮する。圧縮部９０２は、たとえば、動き補償フレーム間予測（Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ：ＭＣ）と離散コサイン変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：ＤＣＴ）とに、エントロピー符号化を組み合わせたハイブリッド符号化によって圧縮する。
【0094】
圧縮部９０２は、動き検出に際し、ブロックマッチングを実行する。ブロックマッチングとは、特定領域を検出する処理の一例である。ブロックマッチングは、圧縮対象であるフレームＦ１のあるブロックを圧縮対象領域である対象ブロックｂ１とし、フレームＦ１よりも時間的に前（後でもよい）に入力されたフレームＦ２を参照フレームとしてフレームＦ２の探索範囲ＳＲの中から対象ブロックｂ１と相関度が最も高いブロックｂ２を特定領域として検出する技術である。そして、ブロックマッチングで検出したブロックｂ２の座標位置と対象ブロックｂ１との座標位置との差を動きベクトルｍｖとして検出する。相関度の評価値としては、一般的に、自乗誤差または絶対値誤差が用いられる。
【0095】
圧縮部９０２は、フレームＦ１において対象ブロックｂ１が撮像条件Ａで撮像された画像データである場合、フレームＦ２における対象ブロックｂ１と同一位置を探索窓ｗとする。探索窓ｗの形状は多角形であれば矩形に限られない。探索範囲ＳＲは、探索窓ｗを中心とする所定の範囲である。探索範囲ＳＲの範囲は、圧縮の規格として定められていてもよい。圧縮部９０２は、フレームＦ２において探索範囲ＳＲと撮像条件Ａの範囲との重複領域を探索領域ＳＡに設定し、探索領域ＳＡ内で探索窓ｗを走査（矢印で表現）して、対象ブロックｂ１と最も相関が高いブロックｂ２を検出し、動きベクトルｍｖを生成する。なお、走査は１画素単位で行うだけでなく、半画素単位、４分の１画素単位など、任意の単位で行うことができる。
【0096】
主要被写体は、撮像条件Ａで撮像されている。対象ブロックｂ１は、主要被写体の一部である。対象ブロックｂ１と最も相関が高いブロックｂ２は、撮像条件Ａにしか存在しないため、探索範囲ＳＲと撮像条件Ａの範囲との重複領域である探索領域ＳＡだけ探索すれば十分である。このように、探索範囲ＳＲを探索領域ＳＡにあらかじめ絞り込むことができるため、ブロックマッチングにおける探索処理の高速化を図ることができる。また、探索範囲ＳＲは、対象ブロックｂ１の撮像条件と同一撮像条件となる探索領域ＳＡに絞り込むことができるため、ブロックマッチングのマッチング精度の低下を抑制することができる。
【0097】
なお、制御部５０２は、撮像素子１００からの動画データ９１０の圧縮処理をリアルタイム処理で実行してもよいが、バッチ処理で実行してもよい。たとえば、制御部５０２は、撮像素子１００、前処理部９００、または画像処理部９０１からの動画データ９１０を一旦メモリカード５０４、ＤＲＡＭ５０６、またはフラッシュメモリ５０７に格納しておき、自動的にまたはユーザ操作によるトリガがあった場合に、動画データ９１０を読み出して、圧縮部９０２に圧縮処理を実行させてもよい。
【0098】
＜制御部５０２の構成例＞
図１０は、図５に示した制御部５０２の構成例を示すブロック図である。制御部５０２は、前処理部９００と、画像処理部９０１と、取得部１０２０と、圧縮部９０２と、を有し、プロセッサ１００１、メモリ１００２、集積回路１００３、およびこれらを接続するバス１００４により構成される。
図１０は、図５に示した制御部５０２の構成例を示すブロック図である。制御部５０２は、前処理部９００と、画像処理部９０１と、取得部１０２０と、圧縮部９０２と、を有し、プロセッサ１００１、メモリ１００２、集積回路１００３、およびこれらを接続するバス１００４により構成される。
【0099】
前処理部９００、画像処理部９０１、取得部１０２０および圧縮部９０２は、メモリ１００２に記憶されたプログラムをプロセッサ１００１に実行させることにより実現してもよく、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などの集積回路１００３により実現してもよい。また、プロセッサ１００１は、メモリ１００２をワークエリアとして利用してもよい。また、集積回路１００３は、メモリ１００２を、画像データを含む各種データを一時的に保持するバッファとして利用してもよい。
【0100】
前処理部９００は、撮像素子１００からの動画データ９１０について画像処理部９０１による画像処理の前処理を実行する。具体的には、たとえば、前処理部９００は、検出部１０１１と設定部１０１２とを有する。検出部１０１１は、上述した周知の被写体検出技術により、特定被写体を検出する。
【0101】
設定部１０１２は、撮像素子１００からの動画データ９１０を構成する各フレームに付加情報８１７を付与する。また、設定部１０１２は、撮像素子１００の撮像面２００のうち、特定被写体が検出される撮像領域を変更する。具体的には、たとえば、設定部１０１２は、入力フレームでの特定被写体が検出された撮像領域と入力済みフレームの特定被写体が検出された撮像領域との差分から特定被写体の動きベクトルを検出して、次の入力フレームでの特定被写体の撮像領域を予測する。設定部１０１２は、予測した撮像領域について特定の撮像条件（たとえば、撮像条件Ａ）に変更する指示を撮像素子１００に出力する。
【0102】
画像処理部９０１は、前処理部９００から出力された動画データ９１０の各フレームを画像処理する。具体的には、たとえば、画像処理部９０１は、上述したように、画像処理部９０１は、デモザイク処理やホワイトバランス調整など既知の画像処理を実行する。
【0103】
取得部１０２０は、画像処理部９０１から出力された動画データ９１０をメモリ１００２に保持して、所定のタイミングで動画データ９１０に含まれる複数のフレームを時系列順に１フレームずつ圧縮部９０２に出力する。
【0104】
圧縮部９０２は、図９に示したように、入力された動画データ９１０を圧縮する。具体的には、たとえば、圧縮部９０２は、上述したように、フレームＦ２において探索範囲ＳＲと撮像条件Ａの範囲との重複領域を探索領域ＳＡに設定し、探索領域ＳＡ内で探索窓ｗを走査（矢印で表現）して、ブロックｂ２を検出する。
【0105】
＜圧縮部９０２の構成例＞
図１１は、圧縮部９０２の構成例を示すブロック図である。上述したように、圧縮部９０２は、動き補償フレーム間予測（ＭＣ）と離散コサイン変換（ＤＣＴ）とに、エントロピー符号化を組み合わせたハイブリッド符号化によって、動画データ９１０の各フレームを圧縮する。
図１１は、圧縮部９０２の構成例を示すブロック図である。上述したように、圧縮部９０２は、動き補償フレーム間予測（ＭＣ）と離散コサイン変換（ＤＣＴ）とに、エントロピー符号化を組み合わせたハイブリッド符号化によって、動画データ９１０の各フレームを圧縮する。
【0106】
圧縮部９０２は、減算部１１０１と、ＤＣＴ部１１０２と、量子化部１１０３と、エントロピー符号化部１１０４と、符号量制御部１１０５と、逆量子化部１１０６と、逆ＤＣＴ部１１０７と、生成部１１０８と、フレームメモリ１１０９と、動き検出部１１１０と、動き補償部１１１１と、を有する。減算部１１０１～フレームメモリ１１０９および動き補償部１１１１は、既存の圧縮器と同様な構成である。
【0107】
具体的には、たとえば、減算部１１０１は、入力フレームから、当該入力フレームを予測する動き補償部１１１１からの予測フレームを減算して差分データを出力する。ＤＣＴ部１１０２は、減算部１１０１からの差分データを離散コサイン変換する。
【0108】
量子化部１１０３は、離散コサイン変換された差分データを量子化する。エントロピー符号化部１１０４は、量子化された差分データをエントロピー符号化し、また、動き検出部１１１０からの動きベクトルもエントロピー符号化する。
【0109】
符号量制御部１１０５は、量子化部１１０３による量子化を制御する。逆量子化部１１０６は、量子化部１１０３で量子化された差分データを逆量子化して、離散コサイン変換された差分データにする。逆ＤＣＴ部１１０７は、逆量子化された差分データを逆離散コサイン変換する。
【0110】
生成部１１０８は、逆離散コサイン変換された差分データと、動き補償部１１１１からの予測フレームとを加算して、当該入力フレームよりも時間的に後に入力されるフレームが参照する参照フレームを生成する。フレームメモリ１１０９は、生成部１１０８から得られた参照フレームを保持する。
【0111】
動き検出部１１１０は、入力フレームと参照フレームとを用いて、動きベクトルを検出する。動き検出部１１１０は、領域設定部１１２１と、動き生成部１１２２と、を有する。領域設定部１１２１は、動き検出に際し、ブロックマッチングのための探索領域を設定する。
【0112】
ブロックマッチングは、上述したように、圧縮対象のフレームＦ１のあるブロックを対象ブロックｂ１とし、フレームＦ１よりも時間的に前（後でもよい）に入力されたフレームＦ２の探索範囲ＳＲの中から最も対象ブロックｂ１と相関度が最も高いブロックｂ２を検出し、当該ブロックｂ２の座標位置と対象ブロックｂ１との座標位置との差を動きベクトルｍｖとして検出する技術である（図９を参照）。相関度の評価値としては、一般的に、自乗誤差または絶対値誤差が用いられる。
【0113】
領域設定部１１２１は、フレームＦ１において対象ブロックｂ１が撮像条件Ａで撮像された画像データである場合、フレームＦ２における対象ブロックｂ１と同一位置を探索窓ｗとする。探索範囲ＳＲは、探索窓ｗを中心とする範囲である。領域設定部１１２１は、フレームＦ２において探索範囲ＳＲと撮像条件Ａの範囲との重複領域を探索領域ＳＡに設定する。
【0114】
動き生成部１１２２は、対象ブロックｂ１とブロックｂ２とにより動きベクトルｍｖを生成する。具体的には、たとえば、動き生成部１１２２は、領域設定部１１２１によって設定された探索領域ＳＡ内で探索窓ｗを走査（矢印で表現）して、対象ブロックｂ１と相関度が最も高いブロックｂ２を検出する。動き生成部１１２２は、当該ブロックｂ２の座標位置と対象ブロックｂ１との座標位置との差を動きベクトルｍｖとして生成する。
【0115】
このように、探索範囲ＳＲを探索領域ＳＡにあらかじめ絞り込むことができるため、ブロックマッチングにおける探索処理の高速化を図ることができる。また、探索範囲ＳＲは、対象ブロックｂ１の撮像条件と同一撮像条件となる探索領域ＳＡに絞り込むことができるため、ブロックマッチングのマッチング精度の低下を抑制することができる。
【0116】
動き補償部１１１１は、参照フレームと動きベクトルｍｖとを用いて、予測フレームを生成する。具体的には、たとえば、動き補償部１１１１は、フレームメモリ１１０９に保持された複数の参照フレームのうち特定の参照フレームと動きベクトルｍｖとを用いて、動き補償を実行する。
【0117】
参照フレームを特定の参照フレームとすることにより、特定の参照フレーム以外の他の参照フレームをも用いた高負荷の動き補償を抑制することができる。また、特定の参照フレームを、入力フレームの時間的に１つ前のフレームから得られた１枚の参照フレームとすることにより、高負荷な動き補償を回避して、動き補償の処理負荷の低減を図ることができる。
【0118】
【0119】
図１２は、探索範囲、探索領域および探索窓の一例を示す説明図である。図１２は、フレームＦ２の一部、具体的には、たとえば、撮像条件Ａ，Ｂの境界に着目した図である。画像領域１２００は、撮像素子１００の撮像領域に対応するフレームＦ２内の領域であり、たとえば、４×４画素、すなわち、２×２の単位グループ２０２に対応する。図１２では、フレームＦ２は、４×５の画像領域１２００により構成される。
【0120】
なお、図１２では、一例として、画像領域１２００に対応する撮像領域単位、すなわち、２×２の単位グループ２０２で撮像条件が設定されているが、１単位グループ２０２で構成される撮像単位で撮像条件が設定されてもよく、また、２×２の他にグループ２０２よりも大きい単位で撮像条件が設定されてもよい。なお、探索窓ｗは、３×３画素の大きさとする。
【0121】
動き生成部１１２２は、探索領域ＳＡ内で探索窓ｗを走査する際、撮像条件Ａ，Ｂの境界において、探索窓ｗを、撮像条件Ｂの領域を１画素も含まないように走査してもよく、撮像条件Ａ，Ｂの両方の領域を走査してもよく、撮像条件Ａから所定画素離れた撮像条件Ｂのみの領域を走査してもよい。以下、順に説明する。なお、図１３～図１９では、図１２の凡例を適用する。
【0122】
また、図１３～図１９では、撮像条件Ａ，Ｂの境界を含む４×４の画像領域１２００（左上の画像領域１２００を画像領域１２０１、右上の画像領域１２００を画像領域１２０２、左下の画像領域１２００を画像領域１２０３、右下の画像領域１２００を画像領域１２０４とする）に着目して説明する。また、探索窓ｗは、フレームＦ２の左上から右方向（白い太矢印）に走査され、右端に到達すると、１画素下方にシフトして、左端から右端に走査されるものとする（ラスタスキャン）が、いわゆる中心から放射状に走査するダイヤモンドスキャンでもよい。
【0123】
なお、探索窓ｗの左端から右端への走査幅は探索窓ｗの走査方向幅の画素数（本例では、３画素）以内であればよい。同様に、探索窓ｗの下方へのシフト幅も１画素に限らず、探索窓ｗのシフト方向幅の画素数（本例では、３画素）以内であればよい。
【0124】
図１３は、異なる撮像条件の境界での走査例１を示す説明図である。図１３では、時系列順に（ａ）～（ｅ）を示す。走査例１では、動き生成部１１２２は、撮像条件Ａの領域のみを含むように探索窓ｗを走査する。したがって、（ａ）～（ｅ）では、探索窓ｗには、撮像条件Ｂの領域は含まれない。
【0125】
図１４は、異なる撮像条件の境界での走査例２を示す説明図である。図１４では、時系列順に（ａ）～（ｄ）を示す。走査例２では、探索窓ｗは、撮像条件Ａ，Ｂの境界において、動き生成部１１２２は、常に撮像条件Ａの領域が撮像条件Ｂの領域よりも大きくなるように探索窓ｗを走査する。探索窓ｗの９画素中、撮像条件Ａの領域が、（ａ）では６画素、（ｂ）では６画素、（ｃ）では５画素、（ｄ）では６画素である。（ｄ）以降は、図１３の（ｄ），（ｅ）と同じ走査となる。
【0126】
図１５は、異なる撮像条件の境界での走査例３を示す説明図である。図１５では、時系列順に（ａ）～（ｄ）を示す。走査例２では、探索窓ｗは、撮像条件Ａ，Ｂの境界において、動き生成部１１２２は、可能な限り撮像条件Ｂの領域が撮像条件Ａの領域よりも大きくなるように探索窓ｗを走査する。探索窓ｗの９画素中、撮像条件Ｂの領域が、（ａ）では６画素、（ｂ）では６画素、（ｃ）では６画素となる。（ｃ）から１行下がった（ｄ）の走査位置では、撮像条件Ｂの領域が、画像領域１２０１の下端の３画素となる。（ｄ）以降は、図１３の（ｄ），（ｅ）と同じ走査となる。
【0127】
図１６は、撮像条件の領域拡縮例を示す説明図である。（ａ）は拡大例、（ｂ）は縮小例を示す。異なる撮像条件の画像領域が隣接する場合、ブロックマッチングの処理負荷低減またはブロックマッチングの精度低下抑制の観点から、動画圧縮装置は、探索領域ＳＡを拡縮する。
【0128】
たとえば、隣接しあう画像領域の撮像条件を撮像条件Ａ，Ｂとする。撮像条件Ａの画像領域は、特定被写体の画像領域とし、撮像条件Ｂの画像領域は背景の画像領域とする。また、撮像条件を露光時間（シャッタースピード）とする。
【0129】
たとえば、撮像条件Ａの露光時間が１／３０［秒］であり、撮像条件Ｂの露光時間が１／６０［秒］である場合、露光時間としては差が小さいため、主要被写体が撮像条件Ｂの画像領域に存在する可能性もある。したがって、撮像条件Ａ，Ｂの差がしきい値Ｔ１以下であれば、領域設定部１１２１は、撮像条件Ａの探索領域ＳＡを拡大する。これにより、ブロックマッチングの精度低下を抑制することができる。
【0130】
また、たとえば、撮像条件Ａの露光時間が１／３０［秒］であり、撮像条件Ｂの露光時間が１／１０００［秒］である場合、露光時間としては差が大きいため、主要被写体像が撮像条件Ｂの画像領域に存在しない可能性が高い。したがって、撮像条件Ａ，Ｂの差がしきい値Ｔ２（Ｔ２≧Ｔ１）を超える場合、領域設定部１１２１は、撮像条件Ａの探索領域ＳＡを縮小する。これにより、ブロックマッチングの処理負荷の低減を図ることができる。
【0131】
また、たとえば、被写体が暗い空間と明るい空間を含み、暗い空間に主要被写体が存在する場合、暗い空間については、明るい空間よりも、露光時間を長くする必要がある。したがって、領域設定部１１２１は、暗い空間については、撮像条件Ａの露光時間とし、明るい空間については撮像条件Ｂの露光時間（撮像条件Ａが撮像条件Ｂよりも長秒）とする。そして、領域設定部１１２１は、撮像条件Ａの探索領域ＳＡを縮小する。これにより、ブロックマッチングの処理負荷の低減を図ることができる。
【0132】
なお、ここでは、撮像条件を露光時間とした場合について説明したが、撮像条件がＩＳＯ感度や解像度の場合も同様である。以下、撮像条件の領域拡縮例について具体的に説明する。
【0133】
（ａ）において、領域設定部１１２１は、撮像条件Ａの領域の外縁１６００を外側、すなわち、撮像条件Ｂの領域側に拡大して、外縁１６０１とする。ただし、外縁１６００と外縁１６０１との間の撮像条件は撮像条件Ｂのままである。拡大後の探索領域ＳＡ１は、探索範囲ＳＲ内において、撮像条件Ａの領域と、外縁１６００と外縁１６０１との間の領域と、を含む領域となる。これにより、探索領域ＳＡが、探索領域ＳＡ１に拡大されたため、探索領域ＳＡの外側もブロックマッチング対象とすることができ、探索領域ＳＡを探索する場合に比べてブロックマッチングの精度向上を図ることができる。
【0134】
（ｂ）において、領域設定部１１２１は、撮像条件Ａの領域の外縁１６００を内側、すなわち、撮像条件Ａの領域側に縮小して、外縁１６０２とする。ただし、外縁１６００と外縁１６０２との間の撮像条件は撮像条件Ａのままである。縮小後の探索領域ＳＡ２は、探索領域ＳＡから外縁１６００と外縁１６０２との間の領域を除いた領域となる。これにより、探索領域ＳＡが、探索領域ＳＡ２に縮小されたため、探索領域ＳＡ２の外側の撮像条件Ａの領域をブロックマッチング対象外とすることができ、探索領域ＳＡを探索する場合に比べてブロックマッチング処理の高速化を図ることができる。
【0135】
なお、図１６では、領域設定部１１２１は、探索領域ＳＡが設定された後に拡大したが、探索領域ＳＡの設定時に、撮像条件Ａの画像領域を囲む撮像条件Ｂの画像領域も含めて探索領域ＳＡ１を設定してもよい。
【0136】
図１７は、異なる撮像条件の境界での走査例４を示す説明図である。図１７では、時系列順に（ａ）～（ｄ）を示す。走査例４では、動き生成部１１２２は、図１６の（ａ）に示した探索領域ＳＡ１における探索窓ｗの走査例である。走査例４では、動き生成部１１２２は、可能な限り撮像条件Ａ，Ｂの境界に接し、かつ、撮像条件Ｂの領域を含むように、探索窓ｗを走査する。（ｂ）から１行下がった（ｃ）の走査位置では、探索窓ｗは撮像条件Ａの領域を含む。同様に、（ｃ）から１行下がった（ｄ）の走査位置では、探索窓ｗは撮像条件Ａの領域を含む。
【0137】
図１８は、異なる撮像条件の境界での走査例５を示す説明図である。図１８では、時系列順に（ａ）～（ｄ）を示す。走査例５では、動き生成部１１２２は、図１６の（ａ）に示した探索領域ＳＡ１における探索窓ｗの走査例である。走査例５では、動き生成部１１２２は、可能な限り撮像条件Ａ，Ｂの境界に接しないように、かつ、撮像条件Ｂの領域を含むように、探索窓ｗを走査する。
【0138】
（ａ）では、探索窓ｗは、撮像条件Ａから左および上方向に１画素離れた位置となる。（ｂ）では、探索窓ｗは、撮像条件Ａから左方向に１画素離れた位置となる。（ｂ）から１行下がった（ｃ）の走査位置では、探索窓ｗは撮像条件Ａの領域を含む。同様に、（ｃ）から１行下がった（ｄ）の走査位置では、探索窓ｗは撮像条件Ａの領域を含む。
【0139】
図１９は、異なる撮像条件の境界での走査例６を示す説明図である。図１９では、時系列順に（ａ）～（ｄ）を示す。走査例６では、動き生成部１１２２は、図１６の（ｂ）に示した探索領域ＳＡ２における探索窓ｗの走査例である。走査例６では、動き生成部１１２２は、常に撮像条件Ｂの領域を含まないように、探索窓ｗを走査する。
【0140】
このように、異なる撮像条件Ａ，Ｂの画像領域の境界で、ブロックマッチングについての処理負荷低減と精度低下抑制を調整することができる。特に、動き生成部１１２２は、探索窓ｗが撮像条件Ａの画素のみとなるように、ブロックマッチングを実行することにより、異なる撮像条件の画像領域の境界で、ブロックマッチングについての処理負荷低減に特化することができる。
【0141】
また、動き生成部１１２２は、探索窓ｗ内の撮像条件Ａの画素の画素数が撮像条件Ｂの画素の画素数よりも多くなるように、ブロックマッチングを実行することにより、異なる撮像条件の画像領域の境界で、ブロックマッチングについて処理負荷低減を優先しつつ精度低下抑制を図ることができる。
【0142】
また、動き生成部１１２２は、探索窓ｗ内に撮像条件Ａの画素が少なくとも１つ存在するように、ブロックマッチングを実行することにより、異なる撮像条件の画像領域の境界で、ブロックマッチングについて処理負荷低減を保持しつつ精度低下抑制を図ることができる。
【0143】
＜前処理手順例＞
図２０は、前処理部９００による前処理手順例を示すフローチャートである。図２０では、撮像素子１００には、あらかじめ撮像条件Ｂが設定されており、検出部１０１１の被写体検出技術により撮像条件Ａの画像領域を追尾して、撮像素子１００にフィードバックする例を説明する。なお、撮像条件Ａ，Ｂの画像領域は、常時固定でもよい。
図２０は、前処理部９００による前処理手順例を示すフローチャートである。図２０では、撮像素子１００には、あらかじめ撮像条件Ｂが設定されており、検出部１０１１の被写体検出技術により撮像条件Ａの画像領域を追尾して、撮像素子１００にフィードバックする例を説明する。なお、撮像条件Ａ，Ｂの画像領域は、常時固定でもよい。
【0144】
前処理部９００は、動画データ９１０を構成するフレームの入力を待ち受け（ステップＳ２００１：Ｎｏ）、フレームが入力された場合（ステップＳ２００１：Ｙｅｓ）、検出部により主要被写体などの特定被写体が検出されたか否かを判断する（ステップＳ２００２）。特定被写体が検出されていない場合（ステップＳ２００２：Ｎｏ）、ステップＳ２００１に移行する。
【0145】
一方、特定被写体が検出された場合（ステップＳ２００２：Ｙｅｓ）、前処理部９００は、検出部１０１１により、時間的に１つ前のフレーム（たとえば、参照フレーム）と入力フレームとを比較して動きベクトルを検出し、次の入力フレームでの撮像条件Ａの画像領域を予測し、撮像素子１００に出力し（ステップＳ２００３）、ステップＳ２００１に移行する。これにより、撮像素子１００は、予測された画像領域に対応する撮像領域を構成する単位グループ２０２の撮像条件を撮像条件Ａに設定し、残余の単位グループ２０２の撮像条件を撮像条件Ｂに設定して、被写体を撮像する。
【0146】
そして、ステップＳ２００１に戻る。フレームが入力されず（ステップＳ２００１：Ｎｏ）、動画データ９１０を構成する全フレームの入力が終了した場合、一連の処理を終了する。
【0147】
＜動きベクトル検出処理手順＞
つぎに、動き検出部１１１０による動きベクトルｍｖの検出処理手順例について説明する。以下のフローチャートでは、特定被写体像が存在し得る撮像条件Ａでの動きベクトルｍｖの検出処理手順例を示す。
つぎに、動き検出部１１１０による動きベクトルｍｖの検出処理手順例について説明する。以下のフローチャートでは、特定被写体像が存在し得る撮像条件Ａでの動きベクトルｍｖの検出処理手順例を示す。
【0148】
図２１は、動き検出部１１１０による動き検出処理手順例１を示すフローチャートである。まず、動き検出部１１１０は、圧縮対象である入力フレームとフレームメモリ内の参照フレームとを取得する（ステップＳ２１０１）。動き検出部１１１０は、参照フレームで撮像条件Ａの探索範囲ＳＲを設定する（ステップＳ２１０２）。具体的には、たとえば、動き検出部１１１０は、入力フレーム内の対象ブロックｂ１を撮像条件Ａの画像領域から設定し、参照フレームにおいて対象ブロックｂ１と同一位置に探索窓ｗを設定する。そして、動き検出部１１１０は、探索窓ｗを中心とする探索範囲ＳＲを参照フレームに設定する（図１２を参照）。
【0149】
つぎに、動き検出部１１１０は、探索範囲ＳＲ内で、かつ、撮像条件Ａの画像領域である探索領域ＳＡを特定する（ステップＳ２１０３）。そして、動き検出部１１１０は、動き生成部１１２２により、特定した探索領域ＳＡで探索窓ｗを走査することにより、対象ブロックｂ１のブロックマッチングを実行し（ステップＳ２１０４）、ブロックｂ２から対象ブロックｂ１への動きベクトルｍｖを生成する（ステップＳ２１０５）。
【0150】
動き検出部１１１０は、ブロックマッチングにより、たとえば、対象ブロックｂ１と最も相関度が最も高いブロックｂ２を参照フレームから検出し、当該ブロックｂ２の座標位置と対象ブロックｂ１との座標位置との差を動きベクトルｍｖとして生成する。相関度の評価値としては、たとえば、自乗誤差または絶対値誤差が用いられる。これにより、一連の処理を終了する。
【0151】
このように、探索範囲ＳＲを探索領域ＳＡにあらかじめ絞り込むことができるため、ブロックマッチングにおける探索処理の高速化を図ることができる。また、探索範囲ＳＲは、対象ブロックｂ１の撮像条件と同一撮像条件となる探索領域ＳＡに絞り込むことができるため、ブロックマッチングのマッチング精度の低下を抑制することができる。
【0152】
図２２は、動き検出部１１１０による動き検出処理手順例２を示すフローチャートである。図２２の動き検出処理手順例２では、撮像条件の探索領域ＳＡを拡縮する処理例について説明する。なお、撮像条件Ａ，Ｂの設定については、ユーザが操作部５０５を操作することで設定してもよく、電子機器５００が、撮像素子１００における各単位グループ２０２の受光量に応じて自動的に設定してもよい。また、図２１と同一処理内容については、同一ステップ番号を付し、その説明を省略する。
【0153】
ステップＳ２１０３のあと、動き検出部１１１０は、領域設定部１１２１により、探索範囲ＳＲ内で、かつ、撮像条件Ａと隣接する撮像条件Ｂの画像領域を特定する（ステップＳ２２０４）。そして、動き検出部１１１０は、領域設定部１１２１により、撮像条件Ａの画像領域と、当該画像領域に隣接する撮像条件Ｂの画像領域と、に基づいて、ステップＳ２１０３で特定した探索領域ＳＡを拡大または縮小する（ステップＳ２２０５）。具体的には、たとえば、領域設定部１１２１は、図１６に示したように、探索領域ＳＡを拡縮する。
【0154】
動き検出部１１１０は、ステップＳ２１０４、Ｓ２１０５と同様、動き生成部１１２２により、拡縮後の探索領域ＳＡで探索窓ｗを走査することにより、対象ブロックｂ１のブロックマッチングを実行し（ステップＳ２２０６）、ブロックｂ２から対象ブロックｂ１への動きベクトルｍｖを生成する（ステップＳ２２０７）。
【0155】
これにより、探索領域ＳＡの拡縮に応じて、ブロックマッチングの精度低下抑制またはブロックマッチングの処理負荷低減を選択的に実現することができる。
【0156】
＜異なる画素精度でのブロッマッチング例＞
つぎに、異なる画素精度でのブロックマッチング例について説明する。上述の例では、撮像条件の種類に関係なく、動き検出部１１１０は、探索範囲ＳＲ内において撮像条件Ａの探索領域ＳＡ（拡縮後も含む）についてブロックマッチングを実行し、探索範囲ＳＲの残余の画像領域についてはブロックマッチングを実行しない例を説明した。ここでは、探索領域ＳＡ内で異なる画素精度でブロックマッチングを実行する例について説明する。
つぎに、異なる画素精度でのブロックマッチング例について説明する。上述の例では、撮像条件の種類に関係なく、動き検出部１１１０は、探索範囲ＳＲ内において撮像条件Ａの探索領域ＳＡ（拡縮後も含む）についてブロックマッチングを実行し、探索範囲ＳＲの残余の画像領域についてはブロックマッチングを実行しない例を説明した。ここでは、探索領域ＳＡ内で異なる画素精度でブロックマッチングを実行する例について説明する。
【0157】
図２３は、異なる画素精度でのブロックマッチング例を示す説明図である。図９と同一構成については同一符号を付し、その説明を省略する。図２３では、画素精度を採用して、動き検出部１１１０は、探索範囲ＳＲ内において撮像条件Ａの探索領域ＳＡ（拡縮後も含んでもよい。以下、第１探索領域ＳＡ１０）についてはある画素精度ＰＡ１でブロックマッチングを実行し、探索範囲ＳＲの残余の画像領域（以下、第２探索領域ＳＡ２０）については画素精度ＰＡ１よりも画素精度が低い画素精度ＰＡ２でブロックマッチングを実行する。
【0158】
たとえば、第１探索領域ＳＡ１０での画素精度ＰＡ１が１／２画素精度、第２探索領域ＳＡ２０での画素精度ＰＡ２が整数画素精度である。画素精度ＰＡ１，ＰＡ２の組み合わせは、画素精度ＰＡ１が画素精度ＰＡ２よりも高精度であれば上記に限定されない。たとえば、第１探索領域ＳＡ１０での画素精度ＰＡ１が１／４画素精度、第２探索領域ＳＡ２０での画素精度ＰＡ２が１／２画素精度でもよい。
【0159】
また、動き検出部１１１０は、第１探索領域ＳＡ１０および第２探索領域ＳＡ２０の各画素精度を、それぞれの撮像条件Ａ，Ｂ（またはＡ，Ｂの差）に基づいて決定してもよい。たとえば、画素精度として、１画素精度、１／２画素精度、１／４画素精度が適用可能とする。撮像条件Ａの露光時間が１／３０［秒］であり、撮像条件Ｂの露光時間が１／６０［秒］である場合、露光時間としては差が小さいため、主要被写体が撮像条件Ｂの画像領域に存在する可能性もある。
【0160】
したがって、撮像条件Ａ，Ｂの差がしきい値Ｔ１以下であれば、領域設定部１１２１は、第１探索領域ＳＡ１０の画素精度ＰＡ１を１／２画素精度とし、第２探索領域ＳＡ２０の画素精度ＰＡ２を１画素精度とする。これにより、ブロックマッチングの精度低下を抑制することができる。
【0161】
また、たとえば、撮像条件Ａの露光時間が１／３０［秒］であり、撮像条件Ｂの露光時間が１／１０００［秒］である場合、露光時間としては差が大きいため、主要被写体像が撮像条件Ｂの画像領域に存在しない可能性が高い。したがって、撮像条件Ａ，Ｂの差がしきい値Ｔ２（Ｔ２≧Ｔ１）を超える場合、領域設定部１１２１は、第１探索領域ＳＡの画素精度ＰＡ１を１／４画素精度とし、第２探索精度の画素精度ＰＡ２を１画素精度とする。領域設定部１１２１は、第１探索領域ＳＡ１０の画素精度ＰＡ１を１／２画素精度とし、第２探索領域ＳＡ２０の画素精度ＰＡ２を１画素精度とする。これにより、ブロックマッチングの処理負荷の低減を図ることができる。
【0162】
このように、第２探索領域ＳＡ２０の画素精度を第１探索領域ＳＡ１０の画素精度よりも下げることにより、第２探索領域ＳＡ２０のブロックマッチングについて第１探索領域ＳＡ１０よりも処理負荷低減を図りつつ、第２探索領域ＳＡ２０のブロックマッチングの不実行の場合に比べて、ブロックマッチングの精度低下抑制を図ることができる。
【0163】
＜異なる画素精度での動きベクトル検出処理手順＞
図２４は、動き検出部１１１０による異なる画素精度での動きベクトル検出処理手順例を示すフローチャートである。なお、第１探索領域ＳＡ１０および第２探索領域ＳＡ２０での画素精度の設定については、ユーザが操作部５０５を操作することで設定してもよく、電子機器５００が、撮像素子１００における各単位グループ２０２の受光量に応じて自動的に設定してもよい。また、図２１および図２２と同一処理内容については、同一ステップ番号を付し、その説明を省略する。
図２４は、動き検出部１１１０による異なる画素精度での動きベクトル検出処理手順例を示すフローチャートである。なお、第１探索領域ＳＡ１０および第２探索領域ＳＡ２０での画素精度の設定については、ユーザが操作部５０５を操作することで設定してもよく、電子機器５００が、撮像素子１００における各単位グループ２０２の受光量に応じて自動的に設定してもよい。また、図２１および図２２と同一処理内容については、同一ステップ番号を付し、その説明を省略する。
【0164】
ステップＳ２２０４のあと、動き検出部１１１０は、領域設定部１１２１により、撮像条件Ａと撮像条件Ｂとに基づいて、第１探索領域ＳＡ１０および第２探索領域ＳＡ２０のブロックマッチングでの各画素精度ＰＡ１，ＰＡ２を決定する（ステップＳ２４０５）。
【0165】
動き検出部１１１０は、ステップＳ２１０４、Ｓ２１０５と同様、動き生成部１１２２により、画素精度決定後の第１探索領域ＳＡ１０および第２探索領域ＳＡ２０で探索窓ｗを走査することにより、対象ブロックｂ１のブロックマッチングを実行し（ステップＳ２４０６）、ブロックｂ２から対象ブロックｂ１への動きベクトルｍｖを生成する（ステップＳ２４０７）。
【0166】
これにより、探索領域ＳＡの画素精度に応じて、ブロックマッチングの精度低下抑制およびブロックマッチングの処理負荷低減の最適化を図ることができる。また、異なる画素精度による動きベクトル検出の場合でも、図２２の動き検出処理手順例２で示したように、動き検出部１１１０は、領域設定部１１２１により、第１探索領域ＳＡ１０を拡大（この場合、第２探索領域ＳＡ２０が縮小）、または、縮小（この場合、第２探索領域ＳＡ２０が拡大）してもよい。
【0167】
これにより、探索領域ＳＡの画素精度および拡縮に応じて、ブロックマッチングの精度低下抑制およびブロックマッチングの処理負荷低減の最適化を、より効果的に図ることができる。
【0168】
（１）このように、上述した動画圧縮装置は、被写体を撮像する撮像領域を複数有し撮像領域ごとに撮像条件が設定可能な撮像素子１００から出力された一連のフレームである動画データを圧縮する。この動画圧縮装置は、領域設定部１１２１と動き生成部１１２２とを有する。領域設定部１１２１は、圧縮対象領域（たとえば、対象ブロックｂ１）に基づいて参照フレーム（たとえば、フレームＦ２）から特定領域（たとえば、ブロックｂ２）を検出する処理（たとえば、ブロックマッチング）に用いられる参照フレーム内の探索領域ＳＡを、複数の撮像条件に基づいて設定する。動き生成部１１２２は、領域設定部１１２１によって設定された探索領域ＳＡを用いた処理（たとえば、ブロックマッチング）に基づいて特定領域（たとえば、ブロックｂ２）を検出することにより、動きベクトルｍｖを生成する。
【0169】
これにより、探索領域ＳＡの範囲を複数の撮像条件を考慮した範囲に設定することができる。
【0170】
（２）また、上記（１）において、領域設定部１１２１は、探索領域ＳＡを、複数の撮像条件の各々で撮像された画像領域のうち、圧縮対象領域が存在する特定の撮像条件（たとえば、撮像条件Ａ）で撮像された特定の画像領域に設定してもよい。
【0171】
これにより、探索領域ＳＡが特定の撮像条件により制限されるため、特定領域検出処理（たとえば、ブロックマッチング）の処理負荷低減を図ることができる。
【0172】
（３）また、上記（２）において、領域設定部１１２１は、探索領域ＳＡを、特定の画像領域と、特定の画像領域を囲む他の撮像条件（たとえば、撮像条件Ｂ）の画像領域と、に設定してもよい。
【0173】
このように、特定の画像領域の周囲も含むように探索領域ＳＡを設定することにより、動きベクトル検出の処理負荷低減を図りつつ、動きベクトル検出精度の低減を抑制することができる。
【0174】
（４）また、上記（２）において、領域設定部１１２１は、複数の撮像条件の関係に基づいて、探索領域ＳＡを拡大または縮小してもよい。
【0175】
これにより、探索領域ＳＡの拡縮に応じて、特定領域検出処理の精度低下抑制またはの処理負荷低減を選択的に実現することができる。
【0176】
（５）また、上記（４）において、領域設定部１１２１は、複数の撮像条件が示す値の差（たとえば、ＩＳＯ感度の差）に基づいて、探索領域ＳＡを拡大または縮小してもよい。
【0177】
（６）また、上記４において、領域設定部１１２１は、特定の撮像条件（たとえば、撮像条件Ａ）が特定の露光時間であり、複数の撮像条件のうち特定の撮像条件以外の他の撮像条件（たとえば、撮像条件Ｂ）が特定の露光時間よりも短い露光時間である場合に、探索領域を縮小する。
【0178】
これにより、主要被写体についての露光時間がいわゆる長秒となる場合であっても特定領域検出処理の処理負荷の低減を図ることができる。
【0179】
（７）また、上記（１）において、領域設定部１１２１は、複数の撮像条件が設定された画像領域のうち、圧縮対象領域が存在する特定の撮像条件が設定された特定の画像領域を第１探索領域ＳＡ１０に設定するとともに、画像領域のうち、特定の画像領域以外の他の画像領域を第２探索領域ＳＡ２０に設定し、動き生成部１１２２は、領域設定部１１２１によって設定された第１探索領域ＳＡ１０と、領域設定部１１２１によって設定された第２探索領域ＳＡ２０とで、画素精度が異なる特定領域検出処理を実行することにより、動きベクトルｍｖを生成してもよい。
【0180】
これにより、撮像条件に応じた画素精度で、特定領域検出処理を実行することができる。
【0181】
（８）また、上記（７）において、動き生成部１１２２は、第１探索領域ＳＡ１０での特定領域検出処理が第２探索領域ＳＡ２０での特定領域検出処理よりも画素精度が高くてもよい。
【0182】
このように、第２探索領域ＳＡ２０の画素精度を第１探索領域ＳＡ１０の画素精度よりも下げることにより、第２探索領域ＳＡ２０のブロックマッチングについて第１探索領域ＳＡ１０よりも処理負荷低減を図りつつ、第２探索領域ＳＡ２０の特定領域検出処理の不実行の場合に比べて、特定領域検出処理の精度低下抑制を図ることができる。
【0183】
（９）また、上記（２）において、動き生成部１１２２は、探索領域ＳＡでの特定領域検出処理の結果に基づいて、探索領域ＳＡ外での特定領域検出処理を実行してもよい。具体的には、たとえば、動き生成部１１２２は、対象ブロックｂ１にマッチするブロックｂ２が探索領域ＳＡから検出されなかった場合、探索範囲ＳＲ内でかつ探索領域ＳＡを除いた残余の画像領域、すなわち、撮像条件Ｂの画像領域で特定領域検出処理を実行する。
【0184】
これにより、探索領域ＳＡを優先的に探索することにより、特定領域検出処理の処理負荷低減を図るとともに、ブロックｂ２が探索領域ＳＡから検出されなかった場合でも特定領域検出処理の精度低下抑制を図ることができる。
【0185】
（１０）また、上記（２）において、動き生成部１１２２は、探索領域ＳＡで圧縮対象領域とのマッチング対象となる探索対象範囲（たとえば、探索窓ｗ）について、探索対象範囲および特定の画像領域（たとえば、撮像条件Ａの画像領域）に含まれる特定の画素と、探索対象範囲および特定の画像領域以外の他の画像領域（たとえば、撮像条件Ｂの画像領域）に含まれる他の画素と、の割合に基づいて、特定領域検出処理を実行してもよい。
【0186】
これにより、異なる撮像条件の画像領域の境界で、特定領域検出処理についての処理負荷低減と精度低下抑制を調整することができる。
【0187】
（１１）また、上記（１０）において、動き生成部１１２２は、探索対象範囲が特定の画素のみとなるように、特定領域検出処理を実行してもよい。
【0188】
これにより、異なる撮像条件の画像領域の境界で、特定領域検出処理についての処理負荷低減に特化することができる。
【0189】
（１２）また、上記（１０）において、動き生成部１１２２は、探索対象範囲内の特定の画素の画素数が他の画素の画素数よりも多くなるように、特定領域検出処理を実行してもよい。
【0190】
これにより、異なる撮像条件の画像領域の境界で、特定領域検出処理について処理負荷低減を優先しつつ精度低下抑制を図ることができる。
【0191】
（１３）また、上記（１０）において、動き生成部１１２２は、探索対象範囲内に特定の画素が少なくとも１つ存在するように、特定領域検出処理を実行してもよい。
【0192】
これにより、異なる撮像条件の画像領域の境界で、特定領域検出処理について処理負荷低減を保持しつつ精度低下抑制を図ることができる。
【0193】
（１４）また、上述した電子機器は、撮像素子１００と、領域設定部１１２１と、動き生成部１１２２と、を有する。撮像素子１００は、被写体を撮像する撮像領域を複数有し撮像領域ごとに撮像条件が設定可能であり、一連のフレームである動画データを出力する。領域設定部１１２１は、圧縮対象領域（たとえば、対象ブロックｂ１）に基づいて参照フレーム（たとえば、フレームＦ２）から特定領域（たとえば、ブロックｂ２）を検出する処理（たとえば、ブロックマッチング）に用いられる参照フレーム内の探索領域ＳＡを、複数の撮像条件に基づいて設定する。動き生成部１１２２は、領域設定部１１２１によって設定された探索領域ＳＡを用いた処理（たとえば、ブロックマッチング）に基づいて特定領域（たとえば、ブロックｂ２）を検出することにより、動きベクトルｍｖを生成する。
【0194】
これにより、探索領域ＳＡの範囲を複数の撮像条件を考慮した範囲に設定可能な電子機器５００が実現可能となる。なお、上述した電子機器５００としては、たとえば、デジタルカメラ、デジタルビデオカメラ、スマートフォン、タブレット、監視カメラ、ドライブレコーダ、ドローンなどが挙げられる。
【0195】
（１５）また、上述した動画圧縮プログラムは、被写体を撮像する撮像領域を複数有し撮像領域ごとに撮像条件が設定可能な撮像素子１００から出力された一連のフレームである動画データの圧縮をプロセッサ１００１に実行させる。この動画圧縮プログラムは、プロセッサ１００１に、圧縮対象領域（たとえば、対象ブロックｂ１）に基づいて参照フレーム（たとえば、フレームＦ２）から特定領域（たとえば、ブロックｂ２）を検出する処理（たとえば、ブロックマッチング）に用いられる参照フレーム内の探索領域ＳＡを、複数の撮像条件に基づいて設定させる。また、この動画圧縮プログラムは、プロセッサに、設定された探索領域ＳＡを用いた処理（たとえば、ブロックマッチング）に基づいて特定領域（たとえば、ブロックｂ２）を検出することにより、動きベクトルｍｖを生成させる。
【0196】
これにより、探索領域ＳＡの範囲を複数の撮像条件を考慮した範囲設定をソフトウェアにより実現することができる。なお、この動画圧縮プログラムは、ＣＤ－ＲＯＭ，ＤＶＤ－ＲＯＭ，フラッシュメモリ，メモリカード５０４など可搬な記録媒体に記録されていてもよい。また、この動画圧縮プログラムは、動画圧縮装置または電子機器５００にダウンロード可能なサーバに記録されていてもよい。
【符号の説明】
【0197】
ＰＡ１，ＰＡ２ 画素精度、ＳＡ，ＳＡ１，ＳＡ２，ＳＡ１０，ＳＡ２０ 探索領域、ｂ１ 対象ブロック、ｂ２ ブロック、ｍｖ 動きベクトル、１００ 撮像素子、２０２ 単位グループ、６００ 動画ファイル、９００ 前処理部、９０１ 画像処理部、９０２ 圧縮部、９１０ 動画データ、１００１ プロセッサ、１０１１ 検出部、１０１２ 設定部、１１１０ 動き検出部、１１１１ 動き補償部、１１２１ 領域設定部、１１２２ 動き生成部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】