特許 6980493 情報処理装置、情報処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6980493

(24)【登録日】2021年11月19日

(45)【発行日】2021年12月15日

(54)【発明の名称】情報処理装置、情報処理方法及びプログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20211202BHJP

   G06T 5/50 20060101ALI20211202BHJP

   G06T 7/20 20170101ALI20211202BHJP

【ＦＩ】

   H04N5/232 480

   G06T5/50

   G06T7/20 100

【請求項の数】8

【全頁数】17

(21)【出願番号】特願2017-218362(P2017-218362)

(22)【出願日】2017年11月13日

(65)【公開番号】特開2019-92001(P2019-92001A)

(43)【公開日】2019年6月13日

【審査請求日】2020年10月12日

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100090273

【弁理士】

【氏名又は名称】國分 孝悦

(72)【発明者】

【氏名】村上 尚之

【審査官】 ▲徳▼田 賢二

(56)【参考文献】

【文献】 特開２００９−０７１７５９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３２

Ｇ０６Ｔ ５／５０

Ｇ０６Ｔ ７／２０

(57)【特許請求の範囲】

【請求項1】

撮像装置を介して撮影される映像から検出された前記映像内の動きを示す情報である動き情報に基づいて、前記映像を複数の領域に分割する分割手段と、
前記分割手段により前記映像が分割された前記複数の領域に含まれる領域に対して、前記領域に対応する前記動き情報に基づいて、ゆれを補正する処理を行う補正手段と、
を有し、
前記分割手段は、前記撮像装置のセンサを介して取得されたゆれ情報と、前記動き情報と、に基づいて、前記映像を、前記複数の領域である前記撮像装置が設置されているオブジェクトが撮影されている領域とその他の領域とに分割する情報処理装置。

【請求項2】

前記分割手段は、前記動き情報である動きベクトルに基づいて、前記映像を複数の領域に分割し、
前記補正手段は、前記分割手段により前記映像が分割された前記複数の領域に含まれる領域に対して、前記領域に対応する前記動きベクトルに基づいて、ゆれを補正する処理を行う請求項１記載の情報処理装置。

【請求項3】

前記分割手段は、前記動きベクトルの方向と大きさとに基づいて、前記映像を複数の領域に分割し、
前記補正手段は、前記分割手段により前記映像が分割された前記複数の領域に含まれる領域に対して、前記領域に対応する前記動きベクトルの方向と大きさとに基づいて、ゆれを補正する処理を行う請求項２記載の情報処理装置。

【請求項4】

前記分割手段は、予め定められた種類のゆれに関する情報である前記ゆれ情報と、前記動き情報と、に基づいて、前記映像を、前記複数の領域である前記撮像装置が設置されているオブジェクトが撮影されている領域とその他の領域とに分割する請求項１乃至３何れか１項記載の情報処理装置。

【請求項5】

前記補正手段は、前記分割手段により前記映像が分割された前記複数の領域に含まれる指定された領域に対して、前記領域に対応する前記動き情報に基づいて、ゆれを補正する処理を行う請求項１乃至４何れか１項記載の情報処理装置。

【請求項6】

前記分割手段は、前記映像と前記映像よりも過去に前記撮像装置を介して撮影された複数の映像とに基づいて取得された複数の前記動き情報に基づいて、前記映像を前記複数の領域に分割する請求項１乃至５何れか１項記載の情報処理装置。

【請求項7】

情報処理装置が実行する情報処理方法であって、
撮像装置を介して撮影される映像から検出された前記映像内の動きを示す情報である動き情報に基づいて、前記映像を複数の領域に分割する分割ステップと、
前記分割ステップで前記映像が分割された前記複数の領域に含まれる領域に対して、前記領域に対応する前記動き情報に基づいて、ゆれを補正する処理を行う補正ステップと、
を含み、
前記分割ステップにおいて、前記撮像装置のセンサを介して取得されたゆれ情報と、前記動き情報と、に基づいて、前記映像が、前記複数の領域である前記撮像装置が設置されているオブジェクトが撮影されている領域とその他の領域とに分割される情報処理方法。

【請求項8】

コンピュータを、請求項１乃至６何れか１項記載の情報処理装置の各手段として、機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

【背景技術】

【0002】

近年、デジタル化されたカメラが登場し、フラッシュメモリカード（ＳＤカード、ＣＦカード等）等の記録媒体に、静止画像をＪＰＥＧ方式、動画像をＭＰＥＧ２やＨ．２６４方式等で符号化して記録再生する製品が登場している。
また、歩行等の移動や、ズーム時の手ぶれ等による撮影の際のゆれが映像を見にくくするために、映像のゆれを補正する方法が提案されている。
例えば、特許文献１では、以下のような技術が開示されている。即ち、レンズ及び撮像センサからなる撮像系で、レンズから入った光を映像信号に変換し、映像信号をモニター装置に表示すると共に、画像ゆれ検知回路へも入力し、一定時間隔てた２枚の画像の相関をとることで画像のゆれの方向と大きさを検知する。そして、画像のゆれを打ち消す方向にレンズ系を駆動することで、ゆれ補正を行う技術である。
また、被写体を追尾して撮影する際にも同様に、撮影映像内の被写体にゆれが発生し、画像を見にくくしてしまうことがある。
このような場合のゆれを補正する技術には、例えば、特許文献２がある。特許文献２には、以下のような技術が開示されている。即ち、被写体を追尾して撮影するときに、画像のゆれを検知する際、画像のゆれの方向と大きさを動きベクトルとして検出する。そして、一定時間の画像の動きベクトルを加算し、加算した動きベクトルを用いて、ゆれを補正する領域を判定して、その領域のゆれを打ち消すようにゆれ補正を行う技術である。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開昭６１−２４８６８１号公報

【特許文献2】特許第３１９９８３４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

一方、近年、カメラ等の撮像装置の小型化が進み、カメラを人体や、自動車の車内、バイク、自転車等の乗り物等に取り付けて撮影することが行われている。
このような撮影を行った場合、撮像装置で撮影される映像の中に撮像装置を持っている人物自身や、撮像装置が設置された自動車の車内が写り込むことがある。
例えば、自動車に撮像装置を設置した場合、撮影映像の中に車内の一部と、自動車のガラス越しの風景が含まれ、ガラス越しの風景部分は自動車のゆれによってゆれ、車内部分の映像は撮像装置が設置された自動車に対してカメラが振動することでゆれる。したがって、撮影された映像内のこの２つの領域ではそれぞれ別のゆれが生じることとなる。このように、撮像装置により撮影された映像内の複数の領域でそれぞれ異なるゆれが生じる場合がある。
しかし、従来技術では、映像内の複数の領域でそれぞれ異なるゆれが生じる場合、映像を適切に補正することができなかった。

【課題を解決するための手段】

【0005】

本発明の情報処理装置は、撮像装置を介して撮影される映像から検出された前記映像内の動きを示す情報である動き情報に基づいて、前記映像を複数の領域に分割する分割手段と、前記分割手段により前記映像が分割された前記複数の領域に含まれる領域に対して、前記領域に対応する前記動き情報に基づいて、ゆれを補正する処理を行う補正手段と、を有し、前記分割手段は、前記撮像装置のセンサを介して取得されたゆれ情報と、前記動き情報と、に基づいて、前記映像を、前記複数の領域である前記撮像装置が設置されているオブジェクトが撮影されている領域とその他の領域とに分割する。

【発明の効果】

【0006】

本発明によれば、映像内の複数の領域でそれぞれ異なるゆれが生じる場合に映像を適切に補正することができる。

【図面の簡単な説明】

【0007】

【図1】情報処理装置のハードウェア構成等の一例を示す図である。

【図2】ゆれ補正処理の一例を説明する図である。

【図3】撮像装置の設置状況等の一例を示す図である。

【図4】ゆれ補正処理の一例を示すフローチャートである。

【図5】動きベクトルの検出処理の一例を説明する図である。

【図6】検出された動きベクトル等の一例を示す図である。

【図7】検出されたゆれの波形の一例を示す図である。

【図8】撮影された映像等の一例を示す図である。

【図9】動きベクトルの補間処理の一例を説明する図である。

【図10】撮影された映像等の一例を示す図である。

【発明を実施するための形態】

【0008】

以下に、本発明の好ましい実施の形態を、図面に基づいて詳細に説明する。

【0009】

＜実施形態１＞
図１（ａ）は、本実施形態の撮像装置１００のハードウェア構成の一例を示す図である。撮像装置１００は、広角レンズを有する撮影部を含み、撮影部を介した撮影を制御する撮像装置である。撮像装置１００は、情報処理装置の一例である。
撮像装置１００は、制御部１０１、メモリ１０２、記録媒体１０３、撮影部１０４、入力Ｉ／Ｆ１０５、センサ部１０６を含む。各要素は、システムバス１０７を介して、相互に通信可能に接続されている。
制御部１０１は、撮像装置１００を制御するＣｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）、マイクロコンピュータ等の演算装置である。メモリ１０２は、各種プログラム、各種設定情報等を記憶するＲｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）等の記憶装置を含む記憶装置である。また、メモリ１０２は、制御部１０１のワークエリアやデータの一時的な記憶場所として機能するＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）等の記憶装置を含む。以下では、メモリ１０２中で、映像信号を一時的に記憶する部分をフレームメモリとする。

【0010】

記録媒体１０３は、各種プログラム、各種設定情報、撮像装置１００が撮影した映像データ等を記憶する記録媒体である。記録媒体１０３は、ＳＤメモリカード等のフラッシュメモリ、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）等である。また、本実施形態では、制御部１０１は、ＡＴＡ、ＳＤＣＡＲＤ Ｉ／Ｆ等の公知のインターフェイス（ＩＦ）を介して、記録媒体１０３に対して、データや各種のコマンドを通信する。また、記録媒体１０３は、記録媒体装着、排出機構により、撮像装置１００に対して装着、排出することができるような構成であってもよいし、撮像装置１００に内蔵される構成であってもよい。
また、制御部１０１は、記録媒体１０３に対してデータ（ファイル）の書き込み、読み込みを行う場合、記録媒体１０３から、ファイルシステムデータを再生してメモリ１０２に記憶する。このファイルシステムデータは、記録媒体１０３に記録されたデータのファイル名やファイルのサイズ、データの記録アドレス等を示すデータであり、ファイルを管理するための管理情報である。そして、制御部１０１は、読み出したファイルシステムデータに従ってファイルの書き込み、読み読みを制御する。制御部１０１は、記録媒体１０３へのファイルの書き込みに応じて、メモリ１０２に記憶されたファイルシステムデータを更新する。そして、制御部１０１は、更新したファイルシステムデータを、記録媒体１０３に記録する。

【0011】

撮影部１０４は、レンズ、撮像素子等を含み、周囲の環境を撮影する撮影部である。撮影部１０４は、撮像素子を介して、レンズから入った光を変換することで映像信号を取得する。本実施形態では、撮影部１０４は、マイクロフォンを含み、マイクロフォンを介して、周囲の音声信号も取得する。入力Ｉ／Ｆ１０５は、電源のオン・オフや映像の記録・再生等を指示するためのハードスイッチ、ハードボタン、タッチパネルの操作部等の入力部との接続に利用されるインターフェースである。本実施形態では、入力部は、撮像装置１００に内蔵されていることとするが、外部の装置であることとしてもよい。ユーザは、入力Ｉ／Ｆ１０５を介して接続されている入力部を操作することで、撮像装置１００の静止画像、動画像の記録及び再生の開始、停止、記録画像の一覧表示等を、撮像装置１００に指示することができる。制御部１０１は、入力Ｉ／Ｆ１０５を介して、ユーザによる入力部の操作に基づく入力を受付ける。センサ部１０６は、ジャイロセンサ、加速度センサ等のセンサを含むセンサ部である。制御部１０１は、センサ部１０６により検知された情報に基づいて、撮像装置１００の振動を検出する。
制御部１０１が、メモリ１０２、記録媒体１０３等に記憶されたプログラムにしたがって処理を実行することで、図１（ｂ）で後述する撮像装置１００の機能、図４で後述するフローチャートの処理等が実現される。

【0012】

図１（ｂ）は、撮像装置１００の機能構成の一例を示す図である。
撮像装置１００は、符号化部１１０、記録媒体制御部１１１、ゆれ検出部１１２、領域判定部１１３、ゆれ補正部１１４を含む。
符号化部１１０は、映像及び音声の符号化・復号化を行う。符号化部１１０は、映像の記録の際には、撮影部１０４を介して取得された映像信号や音声信号を、動画像であればＨ．２６４、静止画像であればＪＰＥＧ等の符号化形式に従って符号化して、そのデータ量を軽減させる。
記録媒体制御部１１１は、記録媒体１０３に対し、映像信号、音声信号等の各種の情報の書き込み、読み込みを行う。記録媒体制御部１１１は、映像の記録の際には、メモリ１０２のフレームメモリに蓄積された映像データや音声データを記録媒体１０３に記録する。また、記録媒体制御部１１１は、映像の再生の際には、記録媒体１０３から映像データや音声データを読み込み、メモリ１０２に記憶する。また、記録媒体制御部１１１は、記録媒体１０３に記録する映像データ、音声データ、各種の情報を、ＦＡＴ（Ｆｉｌｅ Ａｌｌｏｃａｔｉｏｎ Ｔａｂｌｅ）等のファイルシステムに従い、ファイルとして管理する。

【0013】

ゆれ検出部１１２は、センサ部１０６を介して、撮像装置１００のゆれを検出する。ゆれ検出部１１２は、センサ部１０６に含まれるセンサの種類に応じて、撮像装置１００のゆれを検出することができ、また、ゆれの方向だけでなく、ゆれの大きさも検出できる。
領域判定部１１３は、メモリ１０２のフレームメモリに一時的に記憶された複数の映像から動きベクトルを検出し、検出した動きベクトルと、ゆれ検出部１１２により検出されたゆれ情報と、に基づいて、映像内の領域を分割する。映像から検出された動きベクトルは、映像内の動きを示す動き情報の一例である。
ゆれ補正部１１４は、領域判定部１１３により求められた動きベクトルと、ゆれ検出部１１２により検出されたゆれ情報と、に基づいて映像のゆれを補正する。記録媒体制御部１１１は、ゆれ補正部１１４によりゆれ補正された映像信号を、再びメモリ１０２に記憶する。
ゆれ検出部１１２、領域判定部１１３、ゆれ補正部１１４は、撮像装置１００が映像を記録している際には常に動作しており、撮影部１０４により取得されメモリ１０２へ記憶された映像をもとに動作する。符号化部１１０は、ゆれ補正部１１４によりゆれ補正されメモリ１０２に記憶された映像を、符号化する。そして、記録媒体制御部１１１は、符号化された映像を、記録媒体１０３に記録する。

【0014】

図２は、ゆれ補正処理の一例を説明する図である。
図２（ａ）の映像２００〜２０２は、撮影部１０４を介して撮影された映像を示す。映像２００〜２０２は、予め定められた間隔で、時系列上で連続して植木鉢が撮影された映像である。制御部１０１は、撮影部１０４を介して、実際に表示部に表示したり記録したりする映像よりも、大きなサイズの映像を撮影できる。以下では、実際に表示部に表示されたり記録されたりする映像よりも、大きなサイズの映像を、未加工映像とする。また、以下では、実際に表示部に表示されたり記録されたりする映像を、加工映像とする。
映像２００〜２０２中の外側の枠（実線）は、撮影部１０４を介して撮影された未加工映像の範囲を示す。映像２００〜２０２には、映像中で、植木鉢が上下にゆれている様子が示されている。この映像２００〜２０２を、動画として連続して再生すると植木鉢が上下にゆれて、非常に見にくい映像となってしまう。

【0015】

図２（ｂ）の映像２１０〜２１２は、それぞれ、映像２００〜２０２から一部が切り出された加工映像である。映像２００〜２０２の点線の枠線は、切り出し位置を示す。
映像２００〜２０２の点線の枠線の位置を見ると、切り出し位置が、植木鉢のゆれ合せて、ゆれを打ち消すように位置を変えている様子が分かる。
制御部１０１は、このようにゆれを打ち消すように、未加工映像から映像を切り出すことで、映像２１０〜２１２に示されるように、ゆれのない映像を生成できる。
以上が、ゆれ補正処理の一例の概要である。

【0016】

図３は、撮像装置１００の設置状況等の一例を示す図である。
図３（ａ）は、自動車のダッシュボードの中央に撮像装置１００が設置された状況を示す。図３（ａ）の例では、ダッシュボードの向こう側のガラス越しに車外の風景が広がっている。本実施形態では、撮像装置１００は、自動車に設置されることとする。以下では、撮像装置１００が設置された自動車を、設置自動車とする。
図３（ｂ）は、図３（ａ）の状況で撮像装置１００が撮影する映像の一例である。撮像装置１００は、撮影部１０４に広角レンズを含み、撮像装置１００が設置されたダッシュボードが映り込んだ映像を撮影することとなる。

【0017】

以下では、図４を用いて、本実施形態の撮像装置１００の処理について説明する。
図４は、ゆれ補正処理の一例を示すフローチャートである。
撮像装置１００の電源がオンになると、図４の処理が開始される。
Ｓ４０１において、制御部１０１は、撮影部１０４、符号化部１１０を介して、映像を撮影し、撮影した映像のデータである未加工映像の映像データを取得し、取得した映像データをフレームメモリに記憶する。また、制御部１０１は、加工映像のサイズの映像（例えば、全ピクセルのピクセル値が０の映像）を生成する。制御部１０１は、この生成した映像内のピクセル値を変更することで、加工映像を生成する。以下では、この生成された映像を、原映像とする。また、制御部１０１は、予め定められた間隔Δｔで周期的に映像データを撮影し、撮影した未加工映像の映像データをフレームメモリに記憶し続けている。Ｓ４０１でフレームメモリに記憶された映像データは、時刻ｔにおける映像のデータである映像データ（ｔ）であるとする。

【0018】

Ｓ４０２において、制御部１０１は、Ｓ４０１でメモリ１０２に記憶された映像のデータに基づいて、動きベクトルを検出する。図５（ａ）は、Ｓ４０２での制御部１０１による動きベクトル検出処理の一例を説明する図である。また、映像データ（ｔ）よりもｎフレーム前の映像（時刻（ｔ−ｎΔｔ）における映像データ）を、映像データ（ｔ−ｎΔｔ）とする。図５（ａ）に示すように、制御部１０１は、映像データ（ｔ）と、フレームメモリに記録された時刻（ｔ−Δｔ）の映像データ（時刻ｔの映像データの１フレーム前の映像データ）と、を比較することで、動きベクトルを検出する。制御部１０１は、例えば、映像を予め定められた複数のブロックに分割し、分割したブロックごとにマッチングをとって、各ブロックが動いた方向と大きさを求める方法等の公知の技術を用いて、動きベクトルを検出する。制御部１０１は、例えば、映像データ（ｔ）と、映像データ（ｔ−Δｔ）と、における各ブロックのマッチングをとることで、動きベクトルを検出する。
図６（ａ）に、Ｓ４０２で検出された動きベクトルの一例を示す。図６（ａ）中の矢印それぞれが、動きベクトルである。矢印の向きと大きさは、それぞれは、ゆれの向きと大きさを示す。

【0019】

Ｓ４０３において、制御部１０１は、センサ部１０６、ゆれ検出部１１２を介して、設置自動車に対する撮像装置１００のゆれを検出する。本実施形態では、制御部１０１は、撮像装置１００の設置自動車の底面に対して垂直方向のゆれを検出する。制御部１０１は、検出したゆれの情報をゆれ情報としてメモリ１０２に記憶する。
図７（ａ）に、Ｓ４０３で検出されたゆれを示すグラフを示す。図７（ａ）のグラフの縦軸は、ゆれの大きさを示し、横軸は、時間を示す。
Ｓ４０４において、制御部１０１は、Ｓ４０２で検出した動きベクトルと、Ｓ４０３で検出した設置自動車に対する撮像装置のゆれを示すゆれ情報と、に基づいて、領域判定部１１３を介して、映像内の領域を複数の領域に分割する。
Ｓ４０２で検出された動きベクトルは、図６（ａ）に示される動きベクトルであるとする。Ｓ４０４で検出されたゆれを示すゆれ情報は、図７（ａ）のグラフが示すゆれの情報であるとする。本実施形態では、制御部１０１は、Ｓ４０３で設置自動車の底面に対して垂直方向のゆれのみを検出することとしたが、設置自動車の底面に対して水平方向等、他の方向のゆれを検出することとしてもよい。

【0020】

Ｓ４０２では、動きベクトルの検出に、図５（ａ）で示したように時刻ｔ−Δｔと時刻ｔとにおける映像データが用いられる。そのため、制御部１０１は、Ｓ４０３で検出されたゆれのうち、時刻ｔ−Δｔと時刻ｔとにおけるゆれと、映像データ（ｔ）と映像データ（ｔ−Δｔ）とから求められた動きベクトルと、を比較することとなる。制御部１０１は、図７（ａ）のグラフにおける時刻ｔ−Δｔ〜ｔまでの期間内におけるゆれの変化から設置自動車の底面に対して垂直方向のゆれの向きと大きさとを検出する。
また、撮像装置１００は、設置自動車に設置されている。そのため、撮像装置１００が撮影した映像上における設置自動車の部分における動きベクトルの大きさ及び向きは、設置自動車に対する撮像装置１００のゆれの大きさ及び向きと対応関係にあると仮定できる。即ち、撮像装置１００がある方向にゆれると、撮像装置１００が撮影する映像内での設置自動車の領域は、その逆方向にゆれる。また、撮像装置１００がある距離だけゆれると、撮像装置１００が撮影する映像内での設置自動車の領域は、その距離に応じた距離ゆれることとなる。
そこで、本実施形態では、制御部１０１は、映像中で、撮像装置１００と対応するゆれが生じている部分を、設置自動車が撮影されている部分として決定し、その他の部分を、車外の風景が撮影されている部分として決定する。

【0021】

制御部１０１は、例えば、撮像装置１００により撮影された映像を、予め定められた複数のブロックに分割して、分割したブロックごとに、そのブロック内の動きベクトルが、撮像装置１００のゆれと、対応するか否かを判定する。
この複数のブロックそれぞれの形状、サイズは任意の形状、サイズでよいが、領域を分割するのに十分なサイズであることが望ましい。この複数のブロックとしては、例えば、映像の全領域を、ｎ×ｎ（ｎ：任意の自然数）の矩形領域に分割した各ブロック等がある。
制御部１０１は、例えば、ブロックごとに、領域判定部１１３を介して、以下のような処理を行う。即ち、制御部１０１は、ブロック内の動きベクトルの向きと、撮像装置１００のゆれの向きと、が反対であるか否かを判定し、反対でないと判定した場合、ブロック内の動きベクトルと、撮像装置１００のゆれと、が対応しないと判定する。

【0022】

また、制御部１０１は、ブロック内の動きベクトルの向きと、撮像装置１００のゆれの向きと、が反対であると判定した場合、以下の処理を行う。即ち、制御部１０１は、ブロック内の動きベクトルの大きさと、設置自動車に対する撮像装置１００のゆれの大きさに予め定められた値を乗じた値と、の差分が予め定められた閾値以下であるか否かを判定する処理を行う。この予め定められた値は、実際の設置自動車に対する撮像装置１００の単位距離のゆれに対する、撮像装置１００により撮影された映像内でのゆれの距離の割合を示す値である。制御部１０１は、この差分が予め定められた閾値より大きいと判定した場合、ブロック内の動きベクトルと、設置自動車に対する撮像装置１００のゆれと、が対応しないと判定する。また、制御部１０１は、この差分が予め定められた閾値以下であると判定した場合、ブロック内の動きベクトルと、設置自動車に対する撮像装置１００のゆれと、が対応すると判定する。
そして、制御部１０１は、ブロック内の動きベクトルと、設置自動車に対する撮像装置１００のゆれと、が対応すると判定したブロックそれぞれが示す領域を、設置自動車が撮影された領域である領域Ｂとして決定する。また、制御部１０１は、ブロック内の動きベクトルと、設置自動車に対する撮像装置１００のゆれと、が対応しないと判定したブロックそれぞれが示す領域を、車外の風景が撮影された領域である領域Ａとして決定する。
Ｓ４０４の処理により、制御部１０１は、撮像装置１００により撮影された映像内の領域を、領域Ａと領域Ｂとに分割する。図６（ｂ）に、映像が領域Ａと領域Ｂとに分割された様子の一例を示す。

【0023】

Ｓ４０５において、制御部１０１は、ゆれ補正部１１４を介して、領域Ａに対するゆれの補正処理を行う。本実施形態では、未加工映像である映像データ内の領域には、予め加工映像とするための部分（図２（ａ）の映像２００における点線の矩形領域）が定められているとする。制御部１０１は、例えば、以下のような処理を行うことで、領域Ａに対するゆれの補正処理を行う。即ち、制御部１０１は、Ｓ４０１でフレームメモリに記憶した未加工映像である映像データ（ｔ）内の領域Ａにおいて、加工映像となる領域として予め定められた領域に含まれる領域を特定する。制御部１０１は、映像データ（ｔ）内の特定した領域を、映像データ（ｔ）内で、Ｓ４０２で領域Ａについて検出した動きベクトルが示す方向にその動きベクトルが示す距離だけ移動させた領域を、ゆれが補正された加工映像内の領域Ａとなる領域として特定する。そして、制御部１０１は、Ｓ４０１で生成した原映像中の領域Ａに対応する領域について、各ピクセルのピクセル値を、特定した領域の画像と同様の値とする。
Ｓ４０６において、制御部１０１は、ゆれ補正部１１４を介して、領域Ｂに対するゆれの補正処理を行う。制御部１０１は、例えば、以下のような処理を行うことで、領域Ｂに対するゆれの補正処理を行う。即ち、制御部１０１は、Ｓ４０１でフレームメモリに記憶した未加工映像である映像データ（ｔ）内の領域Ｂにおいて、加工映像となる領域として予め定められた領域に含まれる領域を特定する。制御部１０１は、映像データ（ｔ）内の特定した領域を映像データ（ｔ）内で、Ｓ４０２で領域Ｂについて検出した動きベクトルが示す方向にその動きベクトルが示す距離だけ移動させた領域を、ゆれが補正された加工映像内の領域Ｂとなる領域として特定する。そして、制御部１０１は、Ｓ４０１で生成した原映像中の領域Ｂに対応する領域について、角ピクセル値を、特定した領域の画像と同様の値とする。

【0024】

Ｓ４０５〜Ｓ４０６の処理により、Ｓ４０１で生成された原映像は、ゆれが補正された加工映像となっている。制御部１０１は、このゆれが補正された加工映像を、メモリ１０２、記録媒体１０３に記憶する。
本実施形態では、制御部１０１は、Ｓ４０５の処理の後に、Ｓ４０６の処理を実行した。しかし、制御部１０１は、Ｓ４０６の処理の後に、Ｓ４０５の処理を実行してもよいし、Ｓ４０５の処理とＳ４０６の処理とを並行して実行することとしてもよい。
また、制御部１０１は、領域Ａと領域Ｂとのうち、指定された方のみに対して、ゆれを補正する処理を行うこととしてもよい。例えば、制御部１０１は、領域Ｂのゆれ補正の量を０とする（ゆれ補正を行わないことと等価）ことで、撮像装置１００により撮影された設置自動車の部分（ダッシュボード部分）がゆれており、車外の風景がゆれていない映像を生成できる。これにより、撮像装置１００は、臨場感のある映像を生成できるといった効果を奏することができる。
Ｓ４０７において、制御部１０１は、撮像装置１００の電源がＯＦＦにされたか否かを判定する。制御部１０１は、撮像装置１００の電源がＯＦＦにされたと判定した場合、図４の処理を終了し、撮像装置１００の電源がＯＦＦにされていないと判定した場合、Ｓ４０１の処理に進む。

【0025】

以上、本実施形態では、撮像装置１００は、撮像装置１００により撮影された映像から動きベクトルを検出し、センサ部１０６を介して撮像装置１００の設置自動車に対するゆれ情報を検出した。撮像装置１００は、検出した動きベクトルとゆれ情報とに基づいて、撮像装置１００により撮影された映像内の各ブロックの領域を領域Ａ、Ｂの何れであるかを判定した。そして、撮像装置１００は、領域Ａ、Ｂそれぞれに対して、その領域に対応する補正処理を行った。これにより、撮像装置１００は、映像内の複数の領域でそれぞれ異なるゆれが生じる場合、映像を適切に補正することができる。

【0026】

＜実施形態２＞
実施形態１では、撮像装置１００は、撮像装置１００の設置自動車に対するゆれを検出した。本実施形態では、撮像装置１００は、センサ部１０６、ゆれ検出部１１２を介して、撮像装置１００の設置自動車に対するゆれと、設置自動車のゆれと、を検出する。
本実施形態の撮像装置１００のハードウェア構成と機能構成とは、実施形態１と同様である。また、撮像装置１００の処理は、図４に示す処理と同様であるが、Ｓ４０３〜Ｓ４０４の処理が実施形態１と異なる。

【0027】

本実施形態では、撮像装置１００は、Ｓ４０３で、撮像装置１００の設置自動車に対するゆれと、このゆれよりもより低周波なゆれである設置自動車自体のゆれを検出する。設置自動車自体のゆれは、撮像装置１００により撮影された映像内では、ガラス越しの車外の風景部分のゆれとして見えることとなる。
本実施形態では、このように撮像装置１００が複数のゆれを検出した場合の処理について実施形態１と異なる点について説明する。
制御部１０１は、Ｓ４０３で、センサ部１０６、ゆれ検出部１１２を介して、設置自動車に対する撮像装置１００のゆれ、設置自動車自体のゆれを検出する。本実施形態では、制御部１０１は、設置自動車の底面に対して垂直方向の撮像装置１００のゆれ、設置自動車の底面に対して垂直方向の設置自動車のゆれを検出する。制御部１０１は、検出した撮像装置１００、設置自動車のゆれの情報をゆれ情報としてメモリ１０２に記憶する。
図７（ｂ）に、本実施形態のＳ４０３で検出されたゆれの一例を示すグラフを示す。図７（ｂ）のグラフの縦軸は、ゆれの大きさを示し、横軸は、時間を示す。図７（ｂ）には、比較的低周波のゆれと、比較的高周波のゆれと、が重畳された波形が示されている。ここで、比較的低周波のゆれは、設置自動車自体のゆれであり、比較的高周波のゆれは、撮像装置１００の設置自動車に対するゆれであると仮定する。

【0028】

制御部１０１は、例えば、検出したゆれの波形データを、フーリエ変換することで、周波数領域のデータに変換する。そして、制御部１０１は、変換したデータのうち、予め定められた閾値以上の周波数のデータを、フーリエ逆変換することで、設置自動車に対する撮像装置１００のゆれを示すゆれのデータを取得する。また、制御部１０１は、変換したデータのうち、予め定められた閾値未満の周波数のデータを、フーリエ逆変換することで、設置自動車自体のゆれを示すゆれのデータを取得する。これにより、制御部１０１は、図７（ｂ）のゆれのデータを、設置自動車に対する撮像装置１００のゆれのデータと、設置自動車自体のゆれのデータと、に分離できる。
図７（ｃ）に、分離された設置自動車に対する撮像装置１００のゆれの一例を示すグラフを示す。図７（ｃ）のゆれは、図７（ａ）と同様のゆれである。また、図７（ｄ）に、分離された設置自動車自体のゆれの一例を示すグラフを示す。図７（ｄ）のゆれは、図６の領域Ａのゆれに対応するゆれと仮定できる。

【0029】

また、本実施形態では、制御部１０１は、Ｓ４０４で、Ｓ４０２で検出した動きベクトルと、Ｓ４０３で検出したゆれを示すゆれ情報と、に基づいて、領域判定部１１３を介して、映像内の領域を複数の領域に分割する。
より具体的には、制御部１０１は、例えば、撮像装置１００により撮影された映像を、予め定められた複数のブロックに分割する。そして、制御部１０１は、分割したブロックごとに、そのブロック内の動きベクトルが、設置自動車に対する撮像装置１００のゆれ又は設置自動車自体のゆれと、対応するか否かを判定する。
制御部１０１は、例えば、ブロックごとに、領域判定部１１３を介して、以下のような処理を行う。即ち、制御部１０１は、ブロック内の動きベクトルの向きと、設置自動車に対する撮像装置１００のゆれの向きと、が反対であるか否かを判定する。そして、制御部１０１は、反対でないと判定した場合、ブロック内の動きベクトルと、設置自動車に対する撮像装置１００のゆれと、が対応しないと判定する。
また、制御部１０１は、ブロック内の動きベクトルの向きと、設置自動車に対する撮像装置１００のゆれの向きと、が反対であると判定した場合、以下の処理を行う。即ち、制御部１０１は、ブロック内の動きベクトルの大きさと、設置自動車に対する撮像装置１００のゆれの大きさに予め定められた値を乗じた値と、の差分が予め定められた閾値以下であるか否かを判定する処理を行う。制御部１０１は、この差分が予め定められた閾値より大きいと判定した場合、ブロック内の動きベクトルと、設置自動車に対する撮像装置１００のゆれと、が対応しないと判定する。また、制御部１０１は、この差分が予め定められた閾値以下であると判定した場合、ブロック内の動きベクトルと、設置自動車に対する撮像装置１００のゆれと、が対応すると判定する。

【0030】

また、制御部１０１は、例えば、ブロックごとに、領域判定部１１３を介して、以下のような処理を行う。即ち、制御部１０１は、ブロック内の動きベクトルの向きと、設置自動車自体のゆれの向きと、が反対であるか否かを判定し、反対でないと判定した場合、ブロック内の動きベクトルと、設置自動車自体のゆれと、が対応しないと判定する。
また、制御部１０１は、ブロック内の動きベクトルの向きと、設置自動車自体のゆれの向きと、が反対であると判定した場合、以下の処理を行う。即ち、制御部１０１は、ブロック内の動きベクトルの大きさと、設置自動車自体のゆれの大きさに予め定められた値を乗じた値と、の差分が予め定められた閾値以下であるか否かを判定する処理を行う。制御部１０１は、この差分が予め定められた閾値より大きいと判定した場合、ブロック内の動きベクトルと、設置自動車自体のゆれと、が対応しないと判定する。また、制御部１０１は、この差分が予め定められた閾値以下であると判定した場合、ブロック内の動きベクトルと、設置自動車自体のゆれと、が対応すると判定する。
そして、制御部１０１は、ブロック内の動きベクトルと、設置自動車に対する撮像装置１００のゆれと、が対応すると判定したブロックそれぞれが示す領域を、設置自動車が撮影された領域である領域Ｂとして決定する。また、制御部１０１は、ブロック内の動きベクトルと、設置自動車自体のゆれと、が対応すると判定したブロックそれぞれが示す領域を、車外の風景が撮影された領域である領域Ａとして決定する。

【0031】

以上、本実施形態の処理により、撮像装置１００は、撮像装置１００により撮影された映像内の領域を、より適切に、分割できる。これにより、撮像装置１００は、より適切にゆれの補正を行うことができる。

【0032】

＜実施形態３＞
本実施形態では、撮像装置１００が時系列上で予め定められた間隔（Δｔ）で撮影された３以上の複数の映像の比較により検出される複数の動きベクトルに基づいて、撮影された映像の領域を分割し、分割した領域ごとにゆれを補正する処理について説明する。
本実施形態の撮像装置１００のハードウェア構成と機能構成とは、実施形態１と同様である。また、撮像装置１００の処理は、図４に示す処理と同様であるが、Ｓ４０２、Ｓ４０４の処理が実施形態１と異なる。

【0033】

図８（ａ）には、設置自動車内に乗車している人が動いて、手等が映像に映り込んだ状況が示されている。例えば、図８（ａ）で手が上に動いたときに検出される動きベクトルは、図８（ｂ）に示されるようになる。図８（ｂ）の矢印８０１は、設置自動車に乗車している人の手の動きによって検出された上向きの動きベクトルである。矢印８０１の動きベクトルは、映像中で設置自動車が撮影されている領域における他の動きベクトルとは向きが異なっていることが分かる。この際、実施形態１と同様にＳ４０４の領域判定処理が行われると、矢印８０１の動きベクトルに対応する領域は、ゆれ情報と動きベクトルが異なるため、領域Ｂと見なされなくなり、領域Ａと判定されてしまう。
この状態でゆれの補正処理が行われると、矢印８０１の動きベクトルに対応する領域は、領域Ａとしてゆれが補正されてしまうため、正しく補正されず、違和感のある映像となってしまう。また、矢印８０１の動きベクトルに対応する領域は、設置自動車内にいる人の領域であり、ダッシュボード等の車内の一部が映り込んでいるものと同等の領域として、領域Ｂと判別してゆれ補正する方が望ましい。
矢印８０１の動きベクトルが他の領域Ｂにおける動きベクトルと一致しない期間は、手が動いている期間という一時的な期間となる。一方、手が動いていないときはダッシュボードと同様に他の領域Ｂと同じようなゆれが発生する。そのため、その際の領域Ｂに対応する動きベクトルは、図６（ａ）に示すように全て同じ動きベクトルとなる。
そこで、本実施形態では、撮像装置１００は、一時的に動きベクトルが変動した領域があった際に、その領域を、変動前の動きベクトルに対応する領域として判定する処理を行う。

【0034】

図５（ｂ）は、本実施形態におけるＳ４０２での制御部１０１による動きベクトル検出処理の一例を説明する図である。
Ｓ４０１の処理において映像データ（ｔ）が取得されたとする。また、Ｓ４０２の処理の時点でフレームメモリ内に、映像データ（ｔ）、映像データ（ｔ―Δｔ）、・・・、〜、映像データ（ｔ―（ｎ−１）Δｔ）、映像データ（ｔ―ｎΔｔ）のｎ＋１個の映像データが記憶されているとする。ｎは、予め定められた２以上の整数であるとする
制御部１０１は、Ｓ４０２で、フレームメモリに記憶されている映像データ（ｔ−ｋΔｔ）と映像データ（ｔ−（ｋ＋１）Δｔ）と（０＜＝ｋ＜＝ｎ−１ ｋ∈Ｚ）から、映像データ（ｔ−ｋΔｔ）における動きベクトルを検出する。以下では、映像データ（ｔ−ｋΔｔ）と映像データ（ｔ−（ｋ＋１）Δｔ）とから検出された動きベクトルを、動きベクトル（ｔ−ｋΔｔ）とする。制御部１０１は、この処理を、ｋの値が｛０、１、２、・・・、ｎ−２、ｎ−１｝のそれぞれである場合について、行うことで、ｎ個の動きベクトル（動きベクトル（ｔ）〜動きベクトル（ｔ−（ｎ−１）Δｔ）を検出する。これにより、制御部１０１は、時刻ｔにおける動きベクトルだけでなく、過去ｎ−１個の動きベクトルを取得したこととなる。即ち、制御部１０１は、時刻ｔ以前のｎ個の動きベクトルを取得したこととなる。

【0035】

制御部１０１は、Ｓ４０４で映像内に予め設定された複数のブロックそれぞれについて、Ｓ４０２で取得された複数の動きベクトルに基づいて、そのブロックの領域を判定する。
制御部１０１は、例えば、ある時点におけるあるブロックに対応する動きベクトルが、予め定められた期間の間、同じ方向を向き、予め定められた閾値以下の大きさの変動しか起こしていない場合、以下の処理を行う。即ち、制御部１０１は、その動きベクトルを、その時点に置けるそのブロックに対応する最終的な動きベクトルとして決定する。また、制御部１０１は、その動きベクトルが、予め定められた期間の間、同じ方向を向き、予め定められた閾値以下の大きさの変動しか起こしていないわけではない場合、その動きベクトルを、最終的な動きベクトルとして決定しない。
この予め定められた期間を、ｔｈ１とする。本実施形態では、ｔｈ１を、３Δｔとする。この場合、制御部１０１は、あるブロックに対応する動きベクトル（ｔ）、動きベクトル（ｔ−Δｔ）、動きベクトル（ｔ−２Δｔ）、動きベクトル（ｔ−３Δｔ）をフレームメから取得する。動きベクトル（ｔ−Δｔ）、動きベクトル（ｔ−２Δｔ）、動きベクトル（ｔ−３Δｔ）は、それぞれ、向き、大きさが同じ動きベクトルであるとする。そして、制御部１０１は、動きベクトル（ｔ）と、動きベクトル（ｔ−Δｔ）〜（ｔ−３Δｔ）と、の向きが一致するか否かを判定する。

【0036】

制御部１０１は、動きベクトル（ｔ）と、動きベクトル（ｔ−Δｔ）〜（ｔ−３Δｔ）と、の向きが一致しないと判定した場合、動きベクトル（ｔ）を最終的な動きベクトルとして決定せずに、以下の処理を行う。即ち、制御部１０１は、例えば、動きベクトル（ｔ−Δｔ）〜（ｔ−３Δｔ）の平均の動きベクトルを取得し、取得した動きベクトルを、時刻ｔにおけるそのブロックの最終的な動きベクトルとして決定する。
制御部１０１は、動きベクトル（ｔ）と、動きベクトル（ｔ−Δｔ）〜（ｔ−３Δｔ）と、の向きが一致すると判定した場合、以下の処理を行う。即ち、制御部１０１は、動きベクトル（ｔ）の大きさと、動きベクトル（ｔ−Δｔ）〜（ｔ−３Δｔ）の大きさの平均値と、の差分が、予め定められた閾値以下であるか否かを判定する。制御部１０１は、この差分が、予め定められた閾値以下であると判定した場合、動きベクトル（ｔ）を、時刻ｔにおけるそのブロックの最終的な動きベクトルとして決定する。制御部１０１は、この差分が、予め定められた閾値よりも大きいと判定した場合、動きベクトル（ｔ）を最終的な動きベクトルとして決定せずに、以下の処理を行う。即ち、制御部１０１は、例えば、動きベクトル（ｔ−Δｔ）〜（ｔ−３Δｔ）の平均の動きベクトルを取得し、取得した動きベクトルを、時刻ｔにおけるそのブロックの最終的な動きベクトルとして決定する。

【0037】

図９は、本実施形態のＳ４０４の処理の一例を説明する図である。上段には、あるブロックに対応するＳ４０２で検出された動きベクトルの時系列上の遷移が示される。図９の上段には、時刻ｔで、動きベクトルの向きが、それまでの時刻における動きベクトルの向きから変動した様子が示される。図９の矢印９０１は、時刻ｔにおける動きベクトルを示す。例えば、図８で説明したように、人物の手の動き等が起こったと仮定できる。
図９の下段には、本実施形態のＳ４０４の処理により、矢印９０１が示す動きベクトルの代わりに、例えば、動きベクトル（ｔ−Δｔ）〜（ｔ−３Δｔ）の平均の動きベクトルが、最終的な動きベクトルとして決定された様子が示される。

【0038】

また、制御部１０１は、例えば、複数のブロックそれぞれについて、Ｓ４０２で取得されたｎ個の動きベクトルの平均を、最終的なそのブロックにおける動きベクトルとして決定してもよい。
また、制御部１０１は、例えば、複数のブロックそれぞれについて、Ｓ４０２で取得されたｎ個の動きベクトルの中間値を、最終的なそのブロックにおける動きベクトルとして決定してもよい。
また、制御部１０１は、例えば、複数のブロックそれぞれについて、Ｓ４０２で取得されたｎ個の動きベクトルそれぞれの向きを特定し、最も多くの動きベクトルの向きとなった方向を特定する。そして、制御部１０１は、Ｓ４０２で取得されたｎ個の動きベクトルのうち、特定した向きを向いている動きベクトルを特定し、特定した動きベクトルの平均の動きベクトルを、最終的なそのブロックにおける動きベクトルとして決定してもよい。
そして、制御部１０１は、決定した最終的な動きベクトルに基づいて、実施形態１と同様の処理で、各ブロックの領域の判定を行う。

【0039】

以上、本実施形態の処理により、撮像装置１００は、映像内に一時的なゆれが発生した場合でも、より安定して映像内のゆれを補正することができる。

【0040】

＜実施形態４＞
本実施形態では、撮像装置１００が、バイク、自転車等に設置された場合の撮像装置１００の処理について説明する。
本実施形態の撮像装置１００のハードウェア構成と機能構成とは、実施形態１と同様である。また、撮像装置１００の処理は、図４に示す処理と同様であるが、Ｓ４０３の処理が実施形態１〜３と異なる。
バイク、自転車等の特徴として、カーブを曲がる際に、車体が傾くことがあげられる。
図１０（ａ）はバイク、自転車等のタイヤの側面に撮像装置１００が設置された場合に、撮像装置１００により撮影された撮影映像の一例を示す図である。図１０（ａ）の例では、タイヤ１０００の一部を含んで背景が撮影される。この場合、実施形態１と同様のＳ４０４の処理が行われると、タイヤの部分が領域Ｂと判定され、それ以外の部分が領域Ａと判定されることとなる。本実施形態では、制御部１０１は、Ｓ４０３で、バイク、自転車等の底面に対して垂直方向のバイク、自転車等に対する撮像装置１００のゆれを検出する。また、制御部１０１は、Ｓ４０３で、バイク、自転車等の底面に対して垂直方向のバイク、自転車等自体のゆれも検出してもよい。

【0041】

図１０（ｂ）は、バイク、自転車等がカーブを曲がる際に、車体が傾いた場合に撮像装置１００により撮影された映像の一例を示す図である。撮像装置１００は、車両に設置されているため、映像内でのタイヤ１０００の位置は変わらない。また、車両と併せて撮像装置１００も傾くため、背景部分の映像は傾いた映像となる。この場合にＳ４０２の処理で、撮像装置１００により撮影された映像から検出される動きベクトルは、図１０（ｃ）のようになる。一方、センサ部１０６に含まれるセンサの種類によっては、Ｓ４０３で取得されるゆれ情報には、回転方向のゆれ情報が含まれる場合がある。その場合、撮像装置１００と撮像装置１００が設置されているバイクや自転車の車両とは固定されているため、回転方向のゆれ情報は領域Ｂを判定する上では不要な情報である。また、この不要な情報を用いて、領域Ｂを判定すると誤った判定を行う原因となる可能性がある。
そこで、制御部１０１は、Ｓ４０３で、回転方向を除く方向その他の方向という予め定められた種類のゆれ情報は検出し、検出したゆれ情報に基づいて、撮像装置１００により撮影された映像内の各ブロックの領域を判定することとする。

【0042】

以上、本実施形態では、撮像装置１００は、回転方向を除く方向のように、予め定められた種類のゆれのみを検出し、検出したゆれ情報を撮像装置１００により撮影された映像内の領域の分割に利用することとした。これにより、撮像装置１００は、領域を、誤って判定する可能性を低減できる。

【0043】

＜その他の実施形態＞
実施形態１〜４では、撮像装置１００は、自動車やバイクに設置されることとした。しかし、撮像装置１００は、電車、船、ドローン、エレベータ、ビル、人、動物等の他のオブジェクトに設置されることとしてもよい。
実施形態１〜４では、撮像装置１００が、撮像装置１００により撮影された映像内のゆれを補正する処理を実行することとした。しかし、撮像装置１００により撮影された映像を取得した撮像装置１００と異なる情報処理装置が、撮像装置１００により撮影された映像内のゆれを補正する処理を実行することとしてもよい。例えば、撮像装置１００と接続する情報処理装置（例えば、パーソナルコンピュータ、自動車搭載型のコンピュータ、サーバ装置等）が、撮像装置１００により撮影された映像内のゆれを補正する処理を実行することとしてもよい。その場合、その情報処理装置は、撮像装置１００から撮像装置１００により撮影された映像を取得し、取得した映像に基づいて、図４の処理を実行することとなる。即ち、その情報処理装置の制御部が、その情報処理装置の記録媒体に記憶されたプログラムにしたがって処理を実行することで、図１（ｂ）の機能、図４の処理等が実現されることとなる。

【0044】

実施形態１〜４では、撮像装置１００は、センサ部１０６、ゆれ検出部１１２を介して検出されたゆれに基づいて、撮像装置１００により撮影された映像内の領域を複数の領域に分割した。しかし、制御部１０１は、例えば、センサ部１０６、ゆれ検出部１１２を介して検出されたゆれを用いずに、以下のようにして、撮像装置１００により撮影された映像内の領域を複数の領域に分割してもよい。即ち、制御部１０１は、例えば、Ｓ４０２で、予め定められた複数のブロックごとに検出された複数の動きベクトルを、ベクトルの向きと大きさとに基づいて、ｋ−ｍｅａｎｓ法、最短距離法、最長距離法、ウォード法等の手法を用いて、クラスタリングする。そして、制御部１０１は、同一のクラスタに属する動きベクトルに対応するブロックが示す領域を、同一のゆれが生じている領域として特定することで、撮像装置１００により撮影された映像内の領域を複数の領域に分割してもよい。その場合、制御部１０１は、Ｓ４０５〜４０６で、各領域に対応する動きベクトルに基づいて、ゆれを補正する処理を実行する。
この場合、制御部１０１は、この複数の動きベクトルを、３以上の複数のクラスタにクラスタリングしてもよい。それにより、制御部１０１は、撮像装置１００により撮影された映像内の領域を３以上の領域に分割することができる。これにより、撮像装置１００により撮影された映像内に３以上の異なるゆれが生じる場合であっても、撮像装置１００は、適切にゆれを補正することができる。

【0045】

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
例えば、上述した撮像装置１００の機能構成の一部又は全てをハードウェアとして撮像装置１００に実装してもよい。
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではない。上述した各実施形態を任意に組み合わせてもよい。

【符号の説明】

【0046】

１００ 撮像装置
１０１ 制御部
１０４ 撮影部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】