特開 2015-179988 画像処理システム、画像処理装置、画像処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2015-179988(P2015-179988A)

(43)【公開日】2015年10月8日

(54)【発明の名称】画像処理システム、画像処理装置、画像処理方法及びプログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20150911BHJP

   G03B 5/00 20060101ALI20150911BHJP

【ＦＩ】

   H04N5/232 Z

   G03B5/00 G

   G03B5/00 K

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

【全頁数】14

(21)【出願番号】特願2014-56885(P2014-56885)

(22)【出願日】2014年3月19日

(71)【出願人】

【識別番号】313000601

【氏名又は名称】日本テレビ放送網株式会社

(71)【出願人】

【識別番号】000101330

【氏名又は名称】アストロデザイン株式会社

(74)【代理人】

【識別番号】100079005

【弁理士】

【氏名又は名称】宇高 克己

(72)【発明者】

【氏名】佐藤 誠

(72)【発明者】

【氏名】土屋 隆

(72)【発明者】

【氏名】岡田 直紀

(72)【発明者】

【氏名】高橋 一徳

(72)【発明者】

【氏名】梓沢 曜平

(72)【発明者】

【氏名】塚本 拓

【テーマコード（参考）】

2K005

5C122

【Ｆターム（参考）】

2K005AA20

2K005BA52

2K005BA53

2K005BA54

2K005CA13

2K005CA14

2K005CA15

2K005CA29

5C122DA03

5C122EA41

5C122FH10

5C122GD01

5C122GD04

5C122HA75

(57)【要約】

【課題】意図的なカメラ操作による動きを検出し、意図的なカメラ操作を反映しつつ、ぶれのない画像を生成することができる画像処理システム、画像処理装置、画像処理方法及びプログラムを提供すること。
【解決手段】本発明は、所定の解像度を持つカメラで撮影された画像フレーム中の所定位置に配置された対象領域の画像を切り出して、出力画像を生成する画像生成手段と、カメラに設けられ、画像フレームにおけるカメラの動きを検出する第１の動き検出手段と、カメラが積載される積載部に設けられ、画像フレームにおける積載部の動きを検出する第２の動き検出手段と、第１の動き検出手段が検出した動きと第２の動き検出手段が検出した動きとに基づいて、画像フレームにおける対象領域を配置する位置を決定する対象領域配置位置制御手段とを有する画像処理システムである。
【選択図】図３

【特許請求の範囲】

【請求項1】

所定の解像度を持つカメラで撮影された画像フレーム中の所定位置に配置された対象領域の画像を切り出して、出力画像を生成する画像生成手段と、
前記カメラに設けられ、前記画像フレームにおける前記カメラの動きを検出する第１の動き検出手段と、
前記カメラが積載される積載部に設けられ、前記画像フレームにおける前記積載部の動きを検出する第２の動き検出手段と、
前記第１の動き検出手段が検出した動きと前記第２の動き検出手段が検出した動きとに基づいて、前記画像フレームにおける前記対象領域を配置する位置を決定する対象領域配置位置制御手段と
を有する画像処理システム。

【請求項2】

前記対象領域配置位置制御手段は、
前記第１の動き検出手段が検出した動きと前記第２の動き検出手段が検出した動きとの第１の差分を計算し、前記第１の差分に基づいて、前記画像フレームにおけるパン撮影またはチルト撮影を判定する
請求項１に記載の画像処理システム。

【請求項3】

前記対象領域配置位置制御手段は、
前記第１の動き検出手段が検出した動きと前記第２の動き検出手段が検出した動きとの第１の差分を計算し、
前記第１の差分と、前記第１の動き検出手段が検出した動きとの第２の差分を計算し、
前記第２の差分に基づいて、前記対象領域を配置する位置を決定する
請求項１又は請求項２に記載の画像処理システム。

【請求項4】

前記第１の差分が、前記画像フレームにおけるパン撮影またはチルト撮影の移動量であり、
前記第２の差分が、前記画像フレームにおけるカメラの振れである
請求項３に記載の画像処理システム。

【請求項5】

前記積載部は、車、又は、カメラ固定台のいずれかである
請求項１から請求項４のいずれかに記載の画像処理システム。

【請求項6】

所定の解像度を持つカメラで撮影された画像フレーム中の所定位置に配置された対象領域の画像を切り出して、出力画像を生成する画像生成手段と、
前記カメラに設けられ、前記画像フレームにおける前記カメラの動きを検出する第１の動き検出手段が検出した動きと、前記カメラが積載される積載部に設けられ、前記画像フレームにおける前記積載部の動きを検出する第２の動き検出手段が検出した動きとに基づいて、前記画像フレームにおける前記対象領域を配置する位置を決定する対象領域配置位置制御手段と
を有する画像処理装置。

【請求項7】

所定の解像度を持つカメラに設けられた第１の動き検出手段により、画像フレームにおける前記カメラの動きを検出し、
前記カメラが積載される積載部に設けられた第２の動き検出手段により、画像フレームにおける前記積載部の動きを検出し、
前記第１の動き検出手段が検出した動きと、前記第２の動き検出手段が検出した動きとに基づいて、前記画像フレームにおける対象領域を配置する位置を決定し、
画像フレーム中の配置された対象領域の画像を切り出して、出力画像を生成する
画像処理方法。

【請求項8】

所定の解像度を持つカメラに設けられた第１の動き検出手段により、画像フレームにおける前記カメラの動き検出する処理と、
前記カメラが積載される積載部に設けられた第２の動き検出手段により、画像フレームにおける前記積載部の動きを検出する処理と、
前記第１の動き検出手段が検出した動きと、前記第２の動き検出手段が検出した動きとに基づいて、前記画像フレームにおける対象領域を配置する位置を決定する処理と、
画像フレーム中の配置された対象領域の画像を切り出して、出力画像を生成する処理と
をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理システム、画像処理装置、画像処理方法及びプログラムに関する。

【背景技術】

【0002】

手ぶれ補正技術は、カメラ撮影における手ぶれを軽減する技術であり、近年において盛んに研究されている。手ぶれ補正技術において、手ぶれと撮影者による意図的なカメラの動きとを区別することは重要である。意図的なカメラの動きは、パン又はチルト撮影などのカメラ操作によって生じる。通常、撮像装置には、手ぶれと意図的な揺れを判別する機能が搭載されているが、これを完璧に判別することは一般的に難しい。

【0003】

そこで、手ぶれ検出センサ又は画像信号から得た動きベクトルを用いて撮像装置の動きを検出し、その動き検出結果に基づいて、切り出し枠（有効撮影領域）を撮影可能最大領域内で移動させることにより手ぶれ補正を行う。一方、意図的なカメラの動きの制御については、切り出し枠の端部に位置する顔領域に着目し、撮像装置の動きに由来して顔領域がフレームアウトする方向に移動している場合には、その動きは手ぶれによるものと判断して顔領域がフレーム内に収まる方向に切り出し枠を移動させ、撮像装置の動きに由来して顔領域がフレームインする方向に移動している場合には、その動きはパン又はチルト撮影によるものと判断して、そのフレームインが阻害されないように切り出し枠の位置制御を行う技術が提案されている（例えば、特許文献１）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００８−１２４７８７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１の技術は、パン又はチルト撮影等による意図的なカメラの動きの判断をするためには、顔領域を検出しなければならず、人物等のいない場面では、意図的な揺れは検出することができなかった。

【0006】

また、顔検出等に複雑な処理が必要となり、それを切り出し枠の制御に反映させるには高速な処理装置が必要となり、装置全体が高価なものになるという課題があった。

【0007】

そこで、本発明は上記課題に鑑みて発明されたものであって、その目的は、意図的なカメラ操作による動きを検出し、意図的なカメラ操作を反映しつつ、ぶれのない画像を生成することができる画像処理システム、画像処理装置、画像処理方法及びプログラムを提供することにある。

【課題を解決するための手段】

【0008】

本発明は、所定の解像度を持つカメラで撮影された画像フレーム中の所定位置に配置された対象領域の画像を切り出して、出力画像を生成する画像生成手段と、前記カメラに設けられ、前記画像フレームにおける前記カメラの動きを検出する第１の動き検出手段と、前記カメラが積載される積載部に設けられ、前記画像フレームにおける前記積載部の動きを検出する第２の動き検出手段と、前記第１の動き検出手段が検出した動きと前記第２の動き検出手段が検出した動きとに基づいて、前記画像フレームにおける前記対象領域を配置する位置を決定する対象領域配置位置制御手段とを有する画像処理システムである。

【0009】

本発明は、所定の解像度を持つカメラで撮影された画像フレーム中の所定位置に配置された対象領域の画像を切り出して、出力画像を生成する画像生成手段と、前記カメラに設けられ、前記画像フレームにおける前記カメラの動きを検出する第１の動き検出手段が検出した動きと、前記カメラが積載される積載部に設けられ、前記画像フレームにおける前記積載部の動きを検出する第２の動き検出手段が検出した動きとに基づいて、前記画像フレームにおける前記対象領域を配置する位置を決定する対象領域配置位置制御手段とを有する画像処理装置である。

【0010】

本発明は、所定の解像度を持つカメラに設けられた第１の動き検出手段により、画像フレームにおける前記カメラの動き検出し、前記カメラが積載される積載部に設けられた第２の動き検出手段により、画像フレームにおける前記積載部の動きを検出し、前記第１の動き検出手段が検出した動きと、前記第２の動き検出手段が検出した動きとに基づいて、前記画像フレームにおける対象領域を配置する位置を決定し、画像フレーム中の配置された対象領域の画像を切り出して、出力画像を生成する画像処理方法である。

【0011】

本発明は、所定の解像度を持つカメラに設けられた第１の動き検出手段により、画像フレームにおける前記カメラの動き検出する処理と、前記カメラが積載される積載部に設けられた第２の動き検出手段により、画像フレームにおける前記積載部の動きを検出する処理と、前記第１の動き検出手段が検出した動きと、前記第２の動き検出手段が検出した動きとに基づいて、前記画像フレームにおける対象領域を配置する位置を決定する処理と、画像フレーム中の配置された対象領域の画像を切り出して、出力画像を生成する処理とをコンピュータに実行させるプログラムである。

【発明の効果】

【0012】

本発明によれば、意図的なカメラ操作による動きを検出し、意図的なカメラ操作を反映しつつ、ぶれのない画像を生成することができる。

【図面の簡単な説明】

【0013】

【図1】図１は本実施の形態に係る画像処理システムのブロック図である。

【図2】図２はセンサ１１、２１を説明するための図である。

【図3】図３は画像処理装置３のブロック図である。

【図4】図４はぶれ量の算出を説明するための図である。

【図5】図５はぶれ補正算出部３３のぶれの補正量の算出、及び出力画像生成部３４の出力画像の生成を説明するための図である。

【図6】図６はぶれ補正算出部３３のぶれの補正量の算出、及び出力画像生成部３４の出力画像の生成を説明するための図である。

【図7】図７はぶれ補正算出部３３のぶれの補正量の算出、及び出力画像生成部３４の出力画像の生成を説明するための図である。

【図8】図８は本実施の形態の他の変形例を説明するための図である。

【発明を実施するための形態】

【0014】

本発明の実施の形態を説明する。

【0015】

尚、本実施の形態では、撮影装置の例として、ビデオカメラに本発明を適用した場合について説明する。

【0016】

図１は本実施の形態に係る画像処理システムのブロック図である。

【0017】

１はビデオカメラ、２はビデオカメラ１が積載される積載部、３は画像処理装置である。

【0018】

ビデオカメラ１は、撮影部１０と、センサ１１とを備える。

【0019】

撮影部１０は、被写体を動画として撮影する撮影手段として機能する。具体的には、撮影部１０は、被写体が撮像されたフレームのデータ（以下、単に「フレーム」と言う）をカメラコントロール回路に所定のサンプリングレートで順次出力するものであり、ＣＣＤやＣＭＯＳ等の光電変換素子がマトリクス状あるいはハニカム状に配置されてなるイメージセンサ、複数の光学レンズを有してなる光学レンズ系、この光学レンズ系を駆動してズーム・フォーカスや絞り等を実現するためのレンズ駆動装置、イメージセンサによって取得されたアナログ信号の画像をデジタル信号に変換して画像データを出力するＡ／Ｄ変換回路等を備えて構成される。撮影部１０により撮影される動画は、例えば１秒あたり６０フレーム（６０ｆｐｓ）の連続する複数の静止画像の集合として記録され、フレーム毎に画像処理を施すことが可能である。

【0020】

センサ１１は、ビデオカメラ１のぶれ量を検出するぶれ検出手段として機能する。具体的には、図２に示すように、画像フレームの横方向（以下、Ｘ軸と定義する）の移動と高さ方向（以下、Ｙ軸と定義する）の移動とのそれぞれの角速度を個別に検出すべく、Ｘ軸ジャイロセンサおよびＹ軸ジャイロセンサの２つのジャイロセンサを有する。そして、それぞれのジャイロセンサが角速度に応じた電圧値の角速度検出信号を出力する。尚、ジャイロセンサに限らず、加速度センサを用いて光軸回りの回転量θを検出し、光軸の回転により生じるローリングぶれを検出するようにしても良い。また、ＸＹ軸の並進方向のぶれを検知する加速度センサを用いて、並進（シフト）ぶれを検出するようにしても良い。

【0021】

積載部２は、ビデオカメラ１が積載されるものである。本実施の形態では、ビデオカメラ１が積載される台を例にして説明するが、これに限られない。例えば、テレビの撮影ではビデオカメラが中継車等の移動体に積載されることが多い。そのような場合では、積載部２は中継車等の移動体となる。

【0022】

センサ２１は、積載部２のぶれ量を検出するぶれ検出手段として機能し、上述したセンサ１１と同様なものであり、Ｘ軸ジャイロセンサおよびＹ軸ジャイロセンサの２つのジャイロセンサを有する。そして、それぞれのジャイロセンサが角速度に応じた電圧値の角速度検出信号を出力する。

【0023】

画像処理装置３は、センサ１１からの角速度検出信号、撮影部１０からの画像信号及びセンサ２１からの角速度検出信号を受信し、撮影部１０により撮影されたフレームからぶれのない出力用画像を生成するぶれ補正処理を実行する。

【0024】

図３は、画像処理装置３のブロック図である。画像処理装置３は、ぶれ量算出部３０、３１と、減算器３２と、ぶれ補正量算出部３３と、出力画像生成部３４とを有する。

【0025】

ぶれ量算出部３０、３１は、それぞれセンサ１１からの角速度検出信号、センサ２１からの角速度検出信号を受信する。ここで、ぶれ量の算出について、図４を用いて簡単に説明すると、ぶれ量算出部３０、３１はそれぞれの角速度検出信号に基づいて角速度（ｒａｄ／秒）を算出し、この角速度（ｒａｄ／秒）をフレームのサンプリング間隔（秒）で積分することで移動角度量θ（ｒａｄ）を算出する。そして、ぶれ量算出部３０、３１は、移動角度量θ（ｒａｄ）に基づいて手ぶれ量を画素数（ｄｏｔ）として算出する。すなわち、図４に示すように、焦点距離をＬ、画角をαとし、画角α＞＞移動角度量θである場合、手ぶれ量Ｋ（ｄｏｔ）と移動角度量θとの間には、
手ぶれ量Ｋ（ｄｏｔ）＝移動角度量θ×補正係数ｒ
の関係が成立する。

【0026】

上記式において、
補正係数ｒ＝焦点距離Ｌ×（１＋ｔａｎ^２（α／２））
であり、画角αは焦点距離Ｌとイメージセンサのサイズ（画素数）とによって決まる値の関係式が成り立ち、この関係式に基づいて、ぶれ量算出部３０、３１はＸ軸およびＹ軸についてぶれ量をフレームごとに算出する。

【0027】

減算器３２は、ぶれ量算出部３０のぶれ量とぶれ量算出部３１のぶれ量との差分を算出する。

【0028】

ぶれ補正算出部３３は、減算器３２のぶれ量の差分と、ぶれ量算出部３０、３１のぶれ量とを受信し、ぶれの補正量を算出する。

【0029】

出力画像生成部３４は、ぶれ補正算出部３３からのぶれの補正量を受信し、撮影されたフレームの一部をトリミングした画像を生成して、この画像を出力する。

【0030】

以下に、ぶれ補正算出部３３のぶれの補正量の算出、及び出力画像生成部３４の出力画像の生成について述べる。

【0031】

まず、前提となるぶれの補正について述べる。

【0032】

図５（ａ）は、ぶれが発生していないビデオカメラ１の撮影時を示したものであり、撮影部１０により撮影された画像フレーム４０は、画像処理装置３から出力される画像よりも多くの画素からなる画像となっており、出力画像生成部３４は、撮影されたフレームの一部をトリミングした画像を生成して、この画像を出力する。

【0033】

ここで、図５（ｂ）に示すように、ビデオカメラ１の撮影時に手ぶれが発生すると、被写体に対する撮影対象範囲の相対位置が移動する。従って、撮影された画像中で被写体が不自然に動くことになり、画像が見難く煩雑なものとなる。そこで、トリミングする対象領域４１を移動させることによって、手ぶれの影響を軽減することができる。すなわち、出力画像生成部３４は、撮影部１０により撮影された画像フレーム４０から、対象領域４１をトリミングして出力画像とする。

【0034】

画像フレーム４０における対象領域４１の位置は、初期状態では画像フレーム４０の中央位置にあるが、この初期状態から任意に変更できる。このため、撮影時に手ぶれが発生して画像フレーム４０に写る被写体が移動した場合には、図４（ｂ）、（ｃ）に示すように、これを補償するように、ぶれ方向と反対の方向に対象領域４１を移動させ、移動後の対象領域４１をトリミングすると、図４（ｄ）に示すように、被写体の位置がぶれ発生の前と変わらない補正画像が得られる。この場合の対象領域４１の移動量（補正量）は、上述したように求められる手ぶれ量Ｋ（画素数）と同じ値としてもよいし、画像フレーム４０と対象領域４１との面積または画素数の比に従って、手ぶれ量Ｋの値から求めた値としてもよい。

【0035】

このように、ぶれ補正処理によれば、ぶれによる画像フレーム４０の移動（フレーム４０中における被写体の見かけ上の移動）が、対象領域４１の移動によって相殺され、ぶれの影響を解消できる。

【0036】

ところで、通常の撮影方法では、上述のぶれ補正は有効ではあるが、パン撮影やチルト撮影の場合は、意図的なビデオカメラの振れ動作であるにもかかわらず、これらの動作をぶれと認識して正常なぶれ補正ができない場合があった。ここで、パン動作とは、図２に示したＹ軸に平行な軸を中心としてビデオカメラ１を回動させる動作であり、パン撮影とは、撮影部１０による撮影中にパン動作がなされること、およびこの撮影方法を指す。また、チルト動作とは、図２に示したＸ軸に平行な軸を中心としてビデオカメラ１を回動させる動作であって、チルト撮影とは、撮影部１０による撮影中にチルト動作が行われること、およびこの撮影方法を指す。

【0037】

そこで、ぶれ補正算出部３３は、減算器３２のぶれ量の差分と、ぶれ量算出部３０、３１のぶれ量とから、パン動作やチルト動作を判定し、正常なぶれ補正量を算出する。図６は、ぶれ補正算出部３３のぶれ補正量の算出を説明する為の図であり、図６では、ビデオカメラ１のパン動作を例にしている。

【0038】

まず、ビデオカメラ１のパン動作の場合、図５（ａ）、（ｂ）に示す如く、センサ１１の検出量とセンサ２１の検出量とが異なる。これは、センサ１１はビデオカメラ１に搭載されており、センサ１１はビデオカメラ１の意図的ではないぶれのみならず、パン動作やチルト動作の全ての移動量を検出するからである。すなわち、センサ１１の検出量は、ビデオカメラ１のパン動作による移動量と、意図的ではないぶれによる移動量との双方の移動量となる。一方、センサ２１は積載部２に搭載されており、ビデオカメラ１のパン動作の影響を受けない。よって、センサ２１の検出量は、振動等によるビデオカメラ１のぶれ量を検出することになる。

【0039】

従って、減算器３２のぶれ量の差分の絶対値が所定値以上ある場合、ビデオカメラ１についてパン動作が行われていると判定することができ、その差分はビデオカメラ１のパン動作による移動量を示しているともいえる。

【0040】

例えば、所定値を理想的な場合を想定し、０とし、ぶれ量算出部３０が算出したぶれ量（センサ１１の検出量）が１００（ｄｏｔ）であり、ぶれ量算出部３１が算出したぶれ量（センサ２１の検出量）が２５（ｄｏｔ）であった場合、減算器３２のぶれ量の差分は、差分＝１００−２５＝７５（ｄｏｔ）であり、所定値以上の値となり、ぶれ補正算出部３３はパン動作が行われていると判定することができる。尚、前述の例において、所定値を理想的な場合を想定して０に設定したが、実際には、ぶれのある環境下で、パン動作やチルト動作を予め試行し、適切な値を求めておく。

【0041】

ぶれ補正算出部３３は、減算器３２のぶれ量の差分の絶対値が所定値以上ある場合、ビデオカメラ１についてパン動作やチルト動作が行われていると判定し、このパン動作やチルト動作による移動量を考慮したぶれの補正量（対象領域の移動量）を算出する。このぶれの補正量（対象領域の移動量）は、センサ１１のぶれ量から減算器３２のぶれ量の差分を減算した減算値としても良いし、その減算値とセンサ２１のぶれ量との平均値として良い。そして、算出されたぶれの補正量（対象領域４１の移動量）を出力画像生成部３４に出力する。

【0042】

出力画像生成部３４は、図５（ｂ）、（ｃ）に示すように、これを補償するように、受信したぶれの補正量（対象領域４１の移動量）だけ、ぶれ方向と反対の方向に対象領域４１を移動させ、移動後の対象領域４１をトリミングする。すると、図５（ｄ）に示すように、パン動作が正しく反映され、かつ、ぶれない補正画像が得られる。尚、この場合の対象領域４１の移動量（補正量）は、従来の技術と同様に、算出されたぶれ量（画素数）と同じ値としてもよいし、画像フレーム４０と対象領域４１との面積または画素数の比に従って、ぶれ量の値から求めた値としてもよい。

【0043】

尚、上記の補正量であるが、対象領域４１が画像フレーム４０の領域よりもはみ出すような場合は、対象領域４１が画像フレーム４０の領域内に収まるようにクリッピング処理を行うようにしても良い。また、減算器３２の出力（ぶれ量の差分）が異常な値を示した場合（例えば、予め定めた閾値よりも大きな値）、対象領域４１が画像フレーム４０の領域内に収まるようにクリッピング処理を行うようにしても良い。

【0044】

このように、本実施の形態によれば、パン動作やチルト動作等の意図的なカメラ操作によるぶれを検出し、意図的なカメラ操作を反映しつつ、カメラのぶれのない画像を生成することができる。

【0045】

尚、上記実施の形態では、カメラ１の動きを検出するため、ジャイロセンサを備えたセンサ部１１、２１により角速度を検出する構成としたが、本発明はこれに限定されるものではなく、カメラ１の単位時間あたりの移動量を検出可能なものであれば、例えば加速度センサを用いることも可能である。

【0046】

また、上記実施の形態では、カメラ１の動きの検出及びぶれの補正として、ピッチング、ヨーイングを中心に説明したが、これに限られない。例えば、図７（ａ）に示す如く、加速度センサを用いて光軸回りの回転量θを検出するようにすれば、光軸の回転により生じるローリングぶれを検出することができる。そして、図７（ｂ）に示す如く、検出した回転量θに基づいて、対象領域４１を回転することにより、ローリングぶれの補正を行うことができる。

【0047】

また、上記実施の形態では、ビデオカメラ１と画像処理装置３とを別々の構成としたが、図８に示すように、ビデオカメラ１内に画像処理装置３を含んでも良い。

【0048】

また、画像フレーム４０と対象領域４１との関係は、画像フレーム４０の解像度が対象領域４１の解像度よりも大きければ良く、例えば、画像フレーム４０の画像を４Ｋ画像とし、対象領域４１を２Ｋ画像とし、４Ｋ画像から２Ｋ画像を切り出すような画像処理にも適用することができる。

【0049】

また、本発明は、上記実施の形態で説明したビデオカメラ１以外の動画撮影機能を有する撮影機器にも適用することが可能であり、具体例を挙げると、動画撮影機能付きデジタルスチルカメラ、および、このようなデジタルスチルカメラを具備したスマートフォン、ノート型パソコン等の各種電子機器においても適用可能である。

【0050】

また、上述した実施の形態では、各部をハードウェアで構成したが、上述した動作の処理を情報処理装置（ＣＰＵ）に行わせるプログラムによっても構成できる。

【0051】

また、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

【0052】

（付記１）
所定の解像度を持つカメラで撮影された画像フレーム中の所定位置に配置された対象領域の画像を切り出して、出力画像を生成する画像生成手段と、
前記カメラに設けられ、前記画像フレームにおける前記カメラの動きを検出する第１の動き検出手段と、
前記カメラが積載される積載部に設けられ、前記画像フレームにおける前記積載部の動きを検出する第２の動き検出手段と、
前記第１の動き検出手段が検出した動きと前記第２の動き検出手段が検出した動きとに基づいて、前記画像フレームにおける前記対象領域を配置する位置を決定する対象領域配置位置制御手段と
を有する画像処理システム。

【0053】

（付記２）
前記対象領域配置位置制御手段は、
前記第１の動き検出手段が検出した動きと前記第２の動き検出手段が検出した動きとの第１の差分を計算し、前記第１の差分に基づいて、前記画像フレームにおけるパン撮影またはチルト撮影を判定する
付記１に記載の画像処理システム。

【0054】

（付記３）
前記対象領域配置位置制御手段は、
前記第１の動き検出手段が検出した動きと前記第２の動き検出手段が検出した動きとの第１の差分を計算し、
前記第１の差分と、前記第１の動き検出手段が検出した動きとの第２の差分を計算し、
前記第２の差分に基づいて、前記対象領域を配置する位置を決定する
付記１又は付記２に記載の画像処理システム。

【0055】

（付記４）
前記第１の差分が、前記画像フレームにおけるパン撮影またはチルト撮影の移動量であり、
前記第２の差分が、前記画像フレームにおけるカメラの振れである
付記３に記載の画像処理システム。

【0056】

（付記５）
前記積載部は、車、又は、カメラ固定台のいずれかである
付記１から付記４のいずれかに記載の画像処理システム。

【0057】

（付記６）
所定の解像度を持つカメラで撮影された画像フレーム中の所定位置に配置された対象領域の画像を切り出して、出力画像を生成する画像生成手段と、
前記カメラに設けられ、前記画像フレームにおける前記カメラの動きを検出する第１の動き検出手段が検出した動きと、前記カメラが積載される積載部に設けられ、前記画像フレームにおける前記積載部の動きを検出する第２の動き検出手段が検出した動きとに基づいて、前記画像フレームにおける前記対象領域を配置する位置を決定する対象領域配置位置制御手段と
を有する画像処理装置。

【0058】

（付記７）
前記対象領域配置位置制御手段は、
前記第１の動き検出手段が検出した動きと前記第２の動き検出手段が検出した動きとの第１の差分を計算し、前記第１の差分に基づいて、前記画像フレームにおけるパン撮影またはチルト撮影を判定する
付記６に記載の画像処理装置。

【0059】

（付記８）
前記対象領域配置位置制御手段は、
前記第１の動き検出手段が検出した動きと前記第２の動き検出手段が検出した動きとの第１の差分を計算し、
前記第１の差分と、前記第１の動き検出手段が検出した動きとの第２の差分を計算し、
前記第２の差分に基づいて、前記対象領域を配置する位置を決定する
付記６又は付記７に記載の画像処理装置。

【0060】

（付記９）
前記第１の差分が、前記画像フレームにおけるパン撮影またはチルト撮影の移動量であり、
前記第２の差分が、前記画像フレームにおけるカメラの振れである
付記８に記載の画像処理装置。

【0061】

（付記１０）
所定の解像度を持つカメラに設けられた第１の動き検出手段により、画像フレームにおける前記カメラの動きを検出し、
前記カメラが積載される積載部に設けられた第２の動き検出手段により、画像フレームにおける前記積載部の動きを検出し、
前記第１の動き検出手段が検出した動きと、前記第２の動き検出手段が検出した動きとに基づいて、前記画像フレームにおける対象領域を配置する位置を決定し、
画像フレーム中の配置された対象領域の画像を切り出して、出力画像を生成する
画像処理方法。

【0062】

（付記１１）
前記第１の動き検出手段が検出した動きと前記第２の動き検出手段が検出した動きとの第１の差分を計算し、前記第１の差分に基づいて、前記画像フレームにおけるパン撮影またはチルト撮影を判定する
付記１０に記載の画像処理方法。

【0063】

（付記１２）
前記第１の動き検出手段が検出した動きと前記第２の動き検出手段が検出した動きとの第１の差分を計算し、
前記第１の差分と、前記第１の動き検出手段が検出した動きとの第２の差分を計算し、
前記第２の差分に基づいて、前記対象領域を配置する位置を決定する
付記１０又は付記１１に記載の画像処理方法。

【0064】

（付記１３）
前記第１の差分が、前記画像フレームにおけるパン撮影またはチルト撮影の移動量であり、
前記第２の差分が、前記画像フレームにおけるカメラの振れである
付記１２に記載の画像処理方法。

【0065】

（付記１４）
所定の解像度を持つカメラに設けられた第１の動き検出手段により、画像フレームにおける前記カメラの動き検出する処理と、
前記カメラが積載される積載部に設けられた第２の動き検出手段により、画像フレームにおける前記積載部の動きを検出する処理と、
前記第１の動き検出手段が検出した動きと、前記第２の動き検出手段が検出した動きとに基づいて、前記画像フレームにおける対象領域を配置する位置を決定する処理と、
画像フレーム中の配置された対象領域の画像を切り出して、出力画像を生成する処理と
をコンピュータに実行させるプログラム。

【0066】

以上好ましい実施の形態をあげて本発明を説明したが、本発明は必ずしも上記実施の形態に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することができる。

【符号の説明】

【0067】

１ ビデオカメラ
２ 積載部
３ 画像処理装置
１０ 撮影部
１１ センサ
２１ センサ
３０ ぶれ量算出部
３１ ぶれ量算出部
３２ 減算器
３３ ぶれ補正量算出部
３４ 出力画像生成部
４０ 画像フレーム
４１ 対象領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】