特許 6738906 画像処理装置、画像表示装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6738906

(24)【登録日】2020年7月22日

(45)【発行日】2020年8月12日

(54)【発明の名称】画像処理装置、画像表示装置及びプログラム

(51)【国際特許分類】

   H04N 5/66 20060101AFI20200730BHJP

   H04N 5/232 20060101ALI20200730BHJP

   G06T 7/223 20170101ALI20200730BHJP

【ＦＩ】

   H04N5/66 Z

   H04N5/232 290

   H04N5/232 480

   G06T7/223

【請求項の数】9

【全頁数】20

(21)【出願番号】特願2018-547092(P2018-547092)

(86)(22)【出願日】2016年10月31日

(86)【国際出願番号】JP2016082317

(87)【国際公開番号】WO2018078872

(87)【国際公開日】20180503

【審査請求日】2019年4月24日

(73)【特許権者】

【識別番号】391010116

【氏名又は名称】ＥＩＺＯ株式会社

(74)【代理人】

【識別番号】110001139

【氏名又は名称】ＳＫ特許業務法人

(74)【代理人】

【識別番号】100130328

【弁理士】

【氏名又は名称】奥野 彰彦

(74)【代理人】

【識別番号】100130672

【弁理士】

【氏名又は名称】伊藤 寛之

(72)【発明者】

【氏名】陳 海峰

(72)【発明者】

【氏名】青木 玲央

(72)【発明者】

【氏名】東 正史

【審査官】 益戸 宏

(56)【参考文献】

【文献】 特開平１１−１８７３０３（ＪＰ，Ａ）

【文献】 特公平０８−００２０９０（ＪＰ，Ｂ２）

【文献】 特開平０７−１６２８６４（ＪＰ，Ａ）

【文献】 特開２０１２−０４９６０３（ＪＰ，Ａ）

【文献】 特開２００７−００６１１１（ＪＰ，Ａ）

【文献】 特許第３３９５１８６（ＪＰ，Ｂ２）

【文献】 米国特許出願公開第２００５／０２８０７０７（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１５／０１７８９４３（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１４／０１３３７０３（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／００ − ２１／００

Ｇ０９Ｇ ３／００ − ５／００

Ｇ０６Ｔ ７／２０

(57)【特許請求の範囲】

【請求項1】

第１画像とこれより後の第２画像間でのオブジェクトの動き量を推定する動き推定部と、
前記オブジェクトの動き量に基づいて、前記第１及び第２画像間での前記オブジェクトの振動を抑制するように前記第２画像に対して変換処理を施す動き補償部と、
を備え、
前記動き推定部は、予め定められた探索領域内において前記オブジェクトの動き量を推定する第１推定モードと、前記第１推定モードにおける前記探索領域より大きな領域に基づいて前記オブジェクトの動き量を推定する第２推定モードとを備え、
前記第２推定モードは、前記探索領域より大きな領域を前記第１及び第２画像の全体に対応させているグローバル動き推定モードであり、
前記第２推定モードでは、前記探索領域より大きな領域が複数の分割領域に分割され、各前記分割領域に対して移動方向が推定され、推定された前記移動方向に基づいて前記オブジェクトの動き量が推定され、
前記動き補償部は、所定の条件が充足されたときに前記第２推定モードで推定された動き量に基づいて前記変換処理を行い、前記所定の条件が充足されないときに前記第１推定モードで推定された動き量に基づいて前記変換処理を行う、
画像処理装置。

【請求項2】

前記動き推定部は、前記第１推定モードにおいて、前記第１画像に含まれるオブジェクトと前記第２画像に含まれる所定範囲との輝度の差分に基づいて算出される値を推定誤差とし、
前記所定の条件は、前記推定誤差が予め定められた値を上回る場合、又は、前記推定誤差が平均値の所定倍を上回る場合、のいずれか一方又は双方を満たす場合である、請求項１に記載の画像処理装置。

【請求項3】

前記動き推定部は、パターンマッチング又は特徴ベクトルにより前記オブジェクトの動き量を推定する、請求項１又は請求項２のいずれか１項に記載の画像処理装置。

【請求項4】

前記第１推定モードにおいて、前記オブジェクトに対応する領域を設定する領域設定部を有する、請求項１〜請求項３のいずれか１項に記載の画像処理装置。

【請求項5】

前記動き補償部は、前記領域設定部により設定された領域が、前記第２画像が表示される表示面の略中央に位置するように、前記第２画像に対して前記変換処理を施す、請求項４に記載の画像処理装置。

【請求項6】

前記第１推定モードと前記第２推定モードを切り替えるモード切替部を備える、請求項１〜請求項５のいずれか１項に記載の画像処理装置。

【請求項7】

前記モード切替部は、前記所定の条件が充足されないときに、前記第２推定モードから前記第１推定モードに切り替える、請求項６に記載の画像処理装置。

【請求項8】

請求項１〜請求項７のいずれか１項に記載の画像処理装置を備える画像表示装置。

【請求項9】

コンピュータを、
第１画像とこれより後の第２画像間でのオブジェクトの動き量を推定する動き推定部、
前記オブジェクトの動き量に基づいて、前記第１及び第２画像間での前記オブジェクトの振動を抑制するように前記第２画像に対して変換処理を施す動き補償部、
として機能させ、
前記動き推定部は、予め定められた探索領域内において前記オブジェクトの動き量を推定する第１推定モードと、前記第１推定モードにおける前記探索領域より大きな領域に基づいて前記オブジェクトの動き量を推定する第２推定モードとを備え、
前記第２推定モードは、前記探索領域より大きな領域を前記第１及び第２画像の全体に対応させているグローバル動き推定モードであり、
前記第２推定モードでは、前記探索領域より大きな領域が複数の分割領域に分割され、各前記分割領域に対して移動方向が推定され、推定された前記移動方向に基づいて前記オブジェクトの動き量が推定され、
前記動き補償部は、所定の条件が充足されたときに前記第２推定モードで推定された動き量に基づいて前記変換処理を行い、前記所定の条件が充足されないときに前記第１推定モードで推定された動き量に基づいて前記変換処理を行う、
画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像の振動を抑制する画像処理装置、画像表示装置及びプログラムに関する。

【背景技術】

【0002】

画像の振動を抑制するために、種々の画像処理方法が提案されている。

【0003】

特許文献１には、ブレ補正機構の性能低下を防止し、かつ、被写体が画角外へ移動しても被写体を容易に追尾することが可能な撮像装置を提供すべく、撮像光学系により導かれた被写体光を撮像して撮影画像を出力する撮像素子と、装置に加わる振れにより生じる像ブレを補正するための光学補正系（例えば、補正レンズ）を備え、所定の条件の成否に応じて、前記撮影画像内での被写体の追尾に用いる追尾方式として、前記光学補正系の駆動により前記被写体を追尾する光学式追尾方式と、前記撮影画像から前記被写体の領域を切り出すことで前記被写体を追尾する電子式追尾方式のうちのいずれかを選択して前記被写体を追尾する撮像装置が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１６−４６５８０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１の撮像装置によれば、補正レンズのズーム位置調整を行うことで画像の振動（ブレ）を抑制することが可能であるが、かかる機能を備えた撮像装置以外で撮像された画像を表示装置に表示する場合には、画像の振動を抑制することができない。また、画像抑制機能を備えた撮像装置であっても、画像の振動を完全には除去できないことがあり、かかる画像を表示装置に表示する場合にも、これ以上画像の振動を抑制することができない。

【0006】

本発明はこのような事情に鑑みてなされたものであり、振動抑制機能を有さない撮像装置により撮像された画像、又は、画像の振動抑制が不完全な場合であっても、表示装置に表示される画像の振動を抑制することが可能な画像処理装置、画像表示装置及びプログラムを提供するものである。

【課題を解決するための手段】

【0007】

本発明によれば、第１画像とこれより後の第２画像間でのオブジェクトの動き量を推定する動き推定部と、前記オブジェクトの動き量に基づいて、第１及び第２画像間での前記オブジェクトの振動を抑制するように第２画像に対して変換処理を施す動き補償部と、を備え、前記動き推定部は、予め定められた探索領域内において前記オブジェクトの動き量を推定する第１推定モードと、第１推定モードにおける前記探索領域より大きな領域に基づいて前記オブジェクトの動き量を推定する第２推定モードとを備える、画像処理装置が提供される。

【0008】

本発明によれば、第１画像とこれより後の第２画像間でのオブジェクトの動き量を推定する動き推定部が、予め定められた探索領域内においてオブジェクトの動き量を推定する第１推定モードと、第１推定モードにおける前記探索領域より大きな領域に基づいて前記オブジェクトの動き量を推定する第２推定モードとを備え、前記動き補償部は、所定の条件が充足されたときに前記第２推定モードで推定された動き量に基づいて前記変換処理を行い、前記所定の条件が充足されないときに前記第１推定モードで推定された動き量に基づいて前記変換処理を行う。このため、計算量の少ない第１推定モードで画像を表示しつつ、第１推定モードでは対応できない場合には第２推定モードに切り替えることで、計算資源を大きく消費することなく、表示装置側で効率的に画像の振動を抑制することが可能となる。これにより、振動抑制機能を有さない撮像装置により撮像された画像、又は、振動抑制が不完全な画像であっても、振動を抑制して表示装置に表示させることができる。

【0009】

以下、本発明の種々の実施形態を例示する。以下に示す実施形態は互いに組み合わせ可能である。
好ましくは、前記動き推定部は、前記第１推定モードにおいて、前記第１画像に含まれるオブジェクトと前記第２画像に含まれる所定範囲との輝度の差分に基づいて算出される値を推定誤差とし、前記所定の条件は、前記推定誤差が予め定められた値を上回る場合、又は、前記推定誤差が平均値の所定倍を上回る場合、のいずれか一方又は双方を満たす場合である。
好ましくは、前記第２推定モードは、前記第１及び第２画像の全体から前記オブジェクトの動き量を推定するグローバル動き推定モードである。
好ましくは、前記第２推定モードは、前記第１推定モードにおける前記探索領域の大きさを拡大した新たな探索領域内において前記オブジェクトの動き量を推定する。
好ましくは、前記動き推定部は、パターンマッチング又は特徴ベクトルにより前記オブジェクトの動き量を推定する。
好ましくは、前記第１推定モードにおいて、前記オブジェクトに対応する領域を設定する領域設定部を有する。
好ましくは、前記動き補償部は、前記領域設定部により設定された領域が、前記画像が表示される表示面の略中央に位置するように、前記第２画像に対して前記変換処理を施す。
好ましくは、前記第１推定モードと前記第２推定モードを切り替えるモード切替部を備える。
好ましくは、前記モード切替部は、前記所定の条件が充足されないときに、前記第２推定モードから前記第１推定モードに切り替える。
好ましくは、上記のいずれかに記載の画像処理装置を備える画像表示装置を提供する。
好ましくは、コンピュータを、第１画像とこれより後の第２画像間でのオブジェクトの動き量を推定する動き推定部、前記オブジェクトの動き量に基づいて、第１及び第２画像間での前記オブジェクトの振動を抑制するように第２画像に対して変換処理を施す動き補償部、として機能させ、前記動き推定部は、予め定められた探索領域内において前記オブジェクトの動き量を推定する第１推定モードと、第１推定モードにおける前記探索領域より大きな領域に基づいて前記オブジェクトの動き量を推定する第２推定モードとを備える、画像処理プログラムを提供する。

【図面の簡単な説明】

【0010】

【図1】画像の振動について説明する概念図である。図１においては、図１Ａ，１Ｂ，１Ｃの順で画像が入力されるものとする。なお、図中における矢印は、時刻ｔを表す。以下の図についても同様である。

【図2】本発明の第１実施形態に係る画像処理装置１の機能構成と、画像処理装置１に入力される画像を時系列で表した図である。

【図3】本発明の第１実施形態に係る画像処理装置１の処理の一例を説明するためのフロー図である。

【図4】局所領域追跡部４による局所領域ＬＡの追跡の様子を表す概念図である。図４Ａは入力画像１を、図４Ｂは探索領域ＳＡ内における探索領域ＬＡの追跡の様子を、図４Ｃは入力画像２を表す。

【図5】所定の条件を説明するための図である。

【図6】本発明の一実施形態に係る局所動き推定モード（第１推定モードの一例）の基本概念図である。

【図7】局所動き推定モードにおいて、動き補償部８が、表示面の略中央に局所領域ＬＡが表示されるように、画像の位置を補償する様子を表す概念図である。図７中のハッチング部分は、画像が表示されない領域を表す。

【図8】本発明の一実施形態に係るグローバル動き推定モード（第２推定モードの一例）の基本概念図である。

【図9】グローバル動き推定モードについて説明するための概念図である。図中の矢印は、画像が分割された分割領域毎の移動方向を表す。なお、図９では、９個の分割領域のうち６個の分割領域の移動方向が右上であるため、画像全体として右上に移動しているものと推定される。

【図10】グローバル動き推定モードにおいて、動き補償部８が、表示面の略中央にオブジェクトが表示されるように、画像の位置を補償する様子を表す概念図である。図１０中のハッチング部分は、画像が表示されない領域を表す。

【図11】本発明の第２実施形態に係る画像処理装置１の処理の一例を説明するためのフロー図である。

【図12】本発明の第２実施形態に係る画像処理装置１が、局所動き推定モードにおける探索領域ＳＡの大きさを拡大する様子を表す概念図である。これにより、第１推定モードから第２推定モードに切り替わる。なお、かかる処理は、図１１のＳ７に相当する。

【図13】本発明の第３実施形態に係る画像処理装置１の処理の一例を説明するためのフロー図である。

【発明を実施するための形態】

【0011】

以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。

【0012】

＜第１実施形態＞
以下、図１〜図１０を用いて、本発明の第１実施形態に係る画像処理装置１について説明する。

【0013】

＜画像中のオブジェクトの振動について＞
図１に示されるように、撮像者の手ブレ等により、撮像された画像が振動する場合がある。その結果、画像内の物体が上下左右への位置ずれが生じてしまう。ここで、画像とは、時系列順に並んだ複数の画像のことであり、特に動画である。

【0014】

例えば、図１Ａに示される画像の次フレームの画像は、図１Ｂに示されるように、下側への位置ずれが生じている。また、図１Ｂに示される画像の次フレームの画像は、図１Ｃに示されるように、右上への位置ずれが生じている。これにより、第１画像とこれより後の第２画像間でのオブジェクト（図１における破線領域）が振動する。

【0015】

かかる振動を抑制するために、第１実施形態に係る画像処理装置１を用い、画像が表示される表示装置側で画像の振動を抑制する。

【0016】

＜画像処理装置１＞
図２〜図１０を用いて、画像処理装置１の構成及び処理について説明する。図２に示されるように、第１実施形態に係る画像処理装置１は、第１画像とこれより後の第２画像間でのオブジェクトの動き量を推定する動き推定部２と、オブジェクトの動き量に基づいて、第１及び第２画像間でのオブジェクトの振動を抑制するように第２画像に対して変換処理を施す動き補償部８とを備える。動き推定部２は、予め定められた探索領域ＳＡ内においてオブジェクトの動き量を推定する第１推定モードと、第１推定モードにおける探索領域ＳＡより大きな領域に基づいてオブジェクトの動き量を推定する第２推定モードとを備える。動き補償部８は、所定の条件が充足されたときに第１推定モードで推定された動き量に基づいて変換処理を行い、所定の条件が充足されないときに第２推定モードで推定された動き量に基づいて変換処理を行う。

【0017】

なお、第１実施形態では、第１画像とこれより後の第２画像の一例として、連続する２つの画像である画像１及び画像２を用いて説明する。

【0018】

画像処理装置１は、動き推定部２、領域設定部３、追跡外れ検出部５、モード切替部７及び動き補償部８を備える。動き推定部２は、局所領域追跡部４及びグローバル動き推定部６を備える。局所領域追跡部４は、第１動き推定部４１及び画像切り出し部４２を備える。グローバル動き推定部６は、第２動き推定部６１及び動き補正部６２を備える。これらは、ソフトウェアによって実現してもよく、ハードウェアによって実現してもよい。ソフトウェアによって実現する場合、ＣＰＵがプログラムを実行することによって各種機能を実現することができる。プログラムは、内蔵の記憶部に格納しているものであってもよく、コンピュータ読み取り可能な非一時的な記録媒体に格納しているものであってもよい。また、外部の記憶部に格納されたプログラムを読み出し、いわゆるクラウドコンピューティングにより実現してもよい。ハードウェアによって実現する場合、ＡＳＩＣ、ＦＰＧＡ、又はＤＲＰなどによって実現することができる。

【0019】

領域設定部３は、第１推定モードの一例である局所動き推定モードにおいて、オブジェクトに対応する領域を設定するものである。ここで、第１実施形態では、オブジェクトに対応する領域を局所領域ＬＡ（図４を用いて後述）という。第１実施形態では、局所動き推定モードにおいて、第１画像とこれより後の第２画像間でのオブジェクトの動き量を推定することにより、局所領域ＬＡを追跡する。

【0020】

動き推定部２は、第１画像とこれより後の第２画像間でのオブジェクトの動き量を推定するものである。ここで、第１及び第２画像は、複数の画像に含まれる連続画像であってもよく、非連続な２つの画像であってもよい。また、第１実施形態では、動き推定部２は、局所領域追跡部４及びグローバル動き推定部６により構成される。

【0021】

局所領域追跡部４は、局所動き推定モードにおける局所領域ＬＡを追跡するものである。局所動き推定モードは、予め定められた探索領域ＳＡ内においてオブジェクトの動き量を推定するものであり、第１及び第２画像全体を用いてオブジェクトの動き量を推定する場合と比べて、計算資源を節約することができる。また、探索領域ＳＡ内においてオブジェクトを追跡可能なモードであるので、第１及び第２画像全体を用いてオブジェクトの動き量を推定する場合と比べてオブジェクトの動きを正確に推定することが可能となる。

【0022】

画像切り出し部４２は、第１及び第２画像から画像の一部を切り出し、第１動き推定部４１に出力するものである。ここで、画像１から切り出す範囲は、領域設定部３から入力された座標に基づいて決定される。

【0023】

第1動き推定部４１は、画像切り出し部４２から入力された画像を用い、第１及び第２画像の探索領域ＳＡ内において、オブジェクトの動きを推定するものである。第１実施形態では、第１動き推定部４１によって推定されたオブジェクトの動き量を追跡動き量という。そして、第１動き推定部４１は、追跡動き量を動き補償部８に出力する。さらに、第１画像に含まれるオブジェクトと第２画像に含まれる所定範囲との輝度の差分に基づいて算出される値を表す推定誤差（図４を用いて後述）を追跡外れ検出部５に出力する。

【0024】

グローバル動き推定部６は、第２推定モードの一例であるグローバル動き推定モードにおいて、オブジェクトの動きを推定するものである。グローバル動き推定モードは、第１及び第２画像の全体からオブジェクトの動き量を推定するものである。このため、局所動き推定モードと比べて計算量が多い一方、局所動き推定モードでは対応できないオブジェクトの動きを推定することができる。ここで、第１実施形態では、グローバル動き推定モードにおけるオブジェクトとは、画像全体を１つのオブジェクトとみなしたものである。

【0025】

第２動き推定部６１は、第１画像とこれより後の第２画像全体を用いて、オブジェクトの動き量を推定するものである。第１実施形態では、第２動き推定部６１によって推定されたオブジェクトの動き量をグローバル動き量という。そして、第２動き推定部６１は、グローバル動き量を動き補正部６２に出力する。

【0026】

動き補正部６２は、第２動き推定部６１から入力されたグローバル動き量に基づいて、第２画像に対する変換処理を実行する際における補正量を計算するものである。かかる補正については、図１０を用いて後述する。そして、補正後グローバル動き量を動き補償部８に出力する。

【0027】

追跡外れ検出部５は、第１動き推定部４１による局所領域ＬＡの追跡ができなくなったことを検出するものである。

【0028】

モード切替部７は、局所動き推定モードと、第２推定モードの一例であるグローバル動き推定モードとを切り替えるものである。そして、モード切替部７は、局所動き推定モードとグローバル動き推定モードとを切り替える場合には、局所領域追跡部４及びグローバル動き推定部６にモード切替シグナルを出力する。これにより、画像処理装置１のモードが切り替わる。

【0029】

動き補償部８は、オブジェクトの動き量に基づいて、第１及び第２画像間でのオブジェクトの振動を抑制するように第２画像に対して変換処理を施すものである。また、動き補償部８は、所定の条件が充足されたときに第１推定モードで推定された動き量に基づいて変換処理を行い、所定の条件が充足されないときに第２推定モードで推定された動き量に基づいて変換処理を行う。これにより、入力された画像２が画像２'に変換され、かかる画像２'が出力画像として出力される。これにより、第１及び第２画像間でのオブジェクトの振動が抑制される。

【0030】

＜フローチャート＞
次に、図３を用いて、画像処理装置１の処理フローについて説明する。

【0031】

＜Ｓ１：局所領域設定＞
まず、Ｓ１において、領域設定部３により局所領域ＬＡが設定される。このとき、画像処理装置１は局所動き推定モードに設定されている。

【0032】

ここで、領域設定部３による局所領域ＬＡの設定について、図４を用いて説明する。第１実施形態では、図４Ａに示されるように、画像中のオブジェクト（車）の周囲を囲む領域を局所領域ＬＡという。局所領域ＬＡを設定する際には、領域設定部３に、オブジェクトの位置を特定する座標（ｘ，ｙ）が入力される。そして、入力された座標を中心に、予め定められた大きさの領域を表す座標を生成し、局所領域ＬＡを設定する。領域設定部３は任意の構成を採用することができ、例えば、キーボード、タッチパネル、音声入力装置、ジェスチャー認識装置等の入力装置により実現してもよい。なお、領域設定部３による局所領域ＬＡの設定はこれに限定されず、例えば、画像を予め複数の領域に分割しておき、入力された座標が含まれる領域を中心に、所定数の領域を合わせたものを局所領域ＬＡとしてもよい。例えば、入力された座標が含まれる領域を中心に、上下左右の２領域拡張し、合計９領域を局所領域ＬＡとしてもよい。また、任意のオブジェクト検出技術を用い、検出されたオブジェクトの座標が自動的に領域設定部３に入力される構成としてもよい。

【0033】

そして、領域設定部３は、局所領域ＬＡを表す座標を、図２に示される画像切り出し部４２に出力する。

【0034】

＜Ｓ２：局所領域追跡＞
次に、Ｓ２において、局所領域追跡部４により、探索領域ＳＡ内において局所領域ＬＡが追跡される。

【0035】

ここで、局所領域追跡部４による局所領域ＬＡの追跡手法について、図４を用いて説明する。図４Ａに示される入力画像１が、次フレームにおいて図４Ｃに示される入力画像２に変化したとする。また、入力画像１及び入力画像２では、局所領域ＬＡは探索領域ＳＡ内に位置する。ここで、探索領域ＳＡは、局所領域ＬＡを追跡する範囲を定めるものである。換言すると、局所動き推定モードでは、探索領域ＳＡ内において局所領域ＬＡが追跡される。なお、探索領域ＳＡの位置及び大きさは任意に設定することができ、例えば、局所領域ＬＡを中心とした所定の領域を探索領域ＳＡとするように、事前に設定することもできる。

【0036】

局所領域追跡部４は、探索領域ＳＡ内において、図４Ｂに示されるように、フィッティング領域ＦＡを移動させることで、画像２中から局所領域ＬＡを推定する。

【0037】

具体的には、図２に示される画像切り出し部４２により、入力された座標に基づいて、入力画像１から局所領域ＬＡを切り出し、入力画像２から探索領域ＳＡを切り出す。そして、画像切り出し部４２は、切り出した画像を第１動き推定部４１に出力する。

【0038】

第１動き推定部４１は、図４Ｂに示されるように、探索領域ＳＡ内において局所領域ＬＡと同じ大きさのフィッティング領域ＦＡを生成する。そして、フィッティング領域ＦＡと、入力画像１に含まれる局所領域ＬＡの輝度の差分を比較する。具体的には、フィッティング領域ＦＡに含まれるピクセルのフィッティング領域ＦＡ内における相対位置と、局所領域ＬＡに含まれるピクセルの局所領域ＬＡ内における相対位置とを取得する。そして、フィッティング領域ＦＡ及び局所領域ＬＡに含まれる全てのピクセルについて、相対位置が対応するピクセル同士の輝度の差分を算出し、これらを足し合わせる。例えば、局所領域ＬＡに含まれるピクセルの輝度をＹ０、フィッティング領域ＦＡに含まれるピクセルの輝度をＹ１とすると、かかる計算は、「Σ｜Ｙ_０−Ｙ_１｜」（Σ：各領域内における全ピクセルの総和）」によりなされる。第１実施形態では、かかる差分が推定誤差に相当する。ここで、かかる差分そのものを推定誤差にする代わりに、かかる差分を所定倍した値を推定誤差としてもよい。つまり、第１実施形態では、第１推定モードにおいて、第１画像に含まれるオブジェクト（局所領域ＬＡ）と第２画像に含まれる所定範囲（探索領域ＳＡ内のフィッティング領域ＦＡ）との輝度の差分に基づいて算出される値を推定誤差とすることができる。

【0039】

第１動き推定部４１は、かかる計算を、フィッティング領域ＦＡを探索領域ＳＡ内で１ピクセルずつずらしながら順次実行する。ここで、第１実施形態では、初めにフィッティング領域ＦＡを探索領域ＳＡの左上端にセットし、図中の右方向に１ピクセルずつずらしながらΣ｜Ｙ_０−Ｙ_１｜を計算していく。次に、フィッティング領域ＦＡが探索領域ＳＡの右上端まで到達すると、フィッティング領域ＦＡを初期位置に戻した後、図中の下方向に１ピクセルずらした位置、つまり、１ライン下の位置にセットする。以下、フィッティング領域ＦＡが探索領域ＳＡの右下端に到達するまで、かかる計算を繰り返し実行する。

【0040】

次に、第１動き推定部４１は、全ての位置におけるΣ｜Ｙ_０−Ｙ_１｜を比較し、最も値の小さくなったフィッティング領域ＦＡの座標を特定する。そして、かかる座標で表される領域を、入力画像１に含まれる局所領域ＬＡに相当する領域であると推定する。これは、輝度の差分が最も小さい領域が、入力画像１に含まれる局所領域ＬＡに相当する可能性が最も高いためである。なお、入力画像１及び入力画像２において、局所領域ＬＡが全く変化しない場合には、推定誤差は０となる。

【0041】

このように、局所領域追跡部４により局所領域ＬＡの移動が追跡されることになる。

【0042】

＜Ｓ３：外れフラッグ検出＞
次に、Ｓ３において、追跡外れ検出部５により外れフラッグが検出されるか否かを判定する。ここで、外れフラッグの検出は所定の条件に基づいてなされる。

【0043】

例えば、２つの画像間において、局所領域ＬＡが大きく移動した場合や、局所領域ＬＡの輝度が大きく変化した場合等には、第１動き推定部４１による局所領域ＬＡの追跡が困難になる場合がある。このため、第１実施形態では、追跡困難な条件として所定の条件を設定しておき、かかる条件が満たされた場合（つまり、第１動き推定部４１による局所領域ＬＡの追跡が困難になった場合）に、追跡外れ検出部５は外れフラッグを検出し、追跡困難である旨を表す外れフラッグシグナルを生成する。

【0044】

ここで、所定の条件について、図５を用いて説明する。図５Ａは、縦軸に局所領域ＬＡの推定誤差（Σ｜Ｙ_０−Ｙ_１｜）を、横軸に画像のフレーム数をプロットしたグラフである。なお、図５では、フレーム数が３００まで、つまり、入力画像として画像１〜画像３００まで入力された場合の例を示している。

【0045】

第１実施形態では、所定の条件を、「推定誤差が予め定められた値を上回る場合、又は、推定誤差が平均値の所定倍を上回る場合である」としている。より詳細には、「推定誤差が予め定められた値を上回り且つ平均値の所定倍を上回る場合」である。ここで、予め定められた値とは、この値を推定誤差が上回ると局所領域ＬＡの追跡が困難になると考えられる閾値（絶対値）のことであり、任意の値を採用することができる。なお、第１実施形態では、一例として閾値を２５，０００としている。また、平均値とは、時系列順に並んだ複数の画像毎の動き量の平均値のことである。図５Ａでは、グラフ中の太線が平均動き量を表しており、その値は約５，０００である。そして、平均動き量の所定倍とは、ユーザーにより任意に設定される係数であり、第１実施形態では、一例として３としている。

【0046】

つまり、第１実施形態では、推定誤差が２５，０００を上回り、且つ、推定誤差が１５，０００を上回る場合に、局所領域ＬＡの追跡が困難であると判断される。図５の例では、フレーム数が２２０のときにかかる条件が充足される。そして、図５Ｂに示されるように、フレーム数が２２０のときに、追跡外れ検出部５により外れフラッグシグナルが生成される。そして、図２に示されるように、追跡外れ検出部５は、外れフラッグシグナルをモード切替部７及び動き補償部８に出力する。

【0047】

Ｓ３における判定結果が「Ｎｏ」、つまり、外れフラッグが検出されない場合にはＳ４に進む。

【0048】

＜Ｓ４：動き量を出力＞
次に、Ｓ４において、図２に示されるように、局所領域追跡部４は、後続のＳ５における動き補償を実行するための動き量（追跡動き量）を動き補償部８に出力する。

【0049】

＜Ｓ５：動き補償＞
そして、Ｓ５において、動き補償部８により補償処理が実行される。

【0050】

以下、図６及び図７を用いて、Ｓ４及びＳ５における処理、つまり、局所動き推定モードについて説明する。

【0051】

＜局所動き推定モード＞
図６は、局所動き推定モードにおける各種データの処理について説明するための図である。あわせて、領域設定部３、局所領域追跡部４及び動き補償部８に入出力される画像データを時系列順に並べたものである。

【0052】

まず、図３のＳ１における処理により、領域設定部３によって局所領域ＬＡの座標が生成される。

【0053】

入力画像１については、画像が１つしかないために局所領域ＬＡの追跡ができないため、そのまま出力画像として画像１が出力される。

【0054】

次に、次フレームの入力画像である画像２が入力されると、画像１を表すデータとともに、画像２を表すデータが局所領域追跡部４に出力される。そして、局所領域追跡部４で推定された画像１と画像２間の動き量（動き量１）と、画像２を表すデータが動き補償部８に出力される。動き補償部８は、動き量１に基づいて、画像２に対して変換処理を施して画像２'を生成し、これを画像１の次の出力画像とする。

【0055】

ここで、図７を用いて動き量に基づいた変換処理について説明する。図７は、画像表示装置９に画像が表示されている状態を表し、図７Ａ，７Ｃ，７Ｅは入力画像を、図７Ｂ，７Ｄ，７Ｆは出力画像を表す。ここで、図中のＤ１〜Ｄ３は画像１〜画像３の表示範囲を、Ｄ２'及びＤ３'は画像２'及び画像３'の表示範囲を表す。

【0056】

第１実施形態では、動き補償部８は、画像が表示される表示面の略中央に局所領域ＬＡが表示されるように、画像の位置を補償する。具体的には、領域設定部３により設定された座標と、表示面の略中央の座標に基づいて、画像１を移動させる。ここで、第１実施形態では、説明の簡略化のため、表示面の略中央の座標を領域設定部３に入力した場合について説明する。つまり、図７Ａでは、予め局所領域ＬＡが表示面の略中央に設定されている。

【0057】

図７Ａ及び図７Ｂに示されるように、画像１が入力された場合、そのまま画像１を出力する。ここで、局所領域ＬＡの左上の位置Ｐ０（ｘ０，ｙ０）は、画像１に含まれる局所領域ＬＡの位置を特定するものであり、位置Ｐ０を基準として補償処理を行うものである。

【0058】

次に、図７Ｃに示されるように、画像１に含まれる局所領域ＬＡが、画像２において（Δｘ１，Δｙ１）移動したとする。かかる移動量が、局所領域追跡部４により局所領域ＬＡが追跡されることで計算される追跡動き量に相当する。また、局所領域追跡部４は、このときの局所領域ＬＡの左上の位置Ｐ１（ｘ１，ｙ１）を記憶しておく。また、図６に示されるように、局所領域追跡部４は、動き量１（Δｘ１，Δｙ１）を動き補償部８に出力する。

【0059】

動き補償部８は、局所領域ＬＡの振動を抑制するために、画像２をＤ２ごと、動き量１（Δｘ１，Δｙ１）だけ移動させる。ここで、第１実施形態では、図７中の右向きをｘ軸（＋）、縦向きをｙ軸（＋）とする。かかる処理は、Ｐ０（ｘ０，ｙ０）及びＰ１（ｘ１，ｙ１）を用いて実行される。具体的には、Ｐ１（ｘ１，ｙ１）の座標がＰ０（ｘ０，ｙ０）の座標に一致するように、画像２全体をレンダリングすることによりなされる。換言すると、動き補償部８は、画像２に対し、追跡動き量の逆位相だけ画像２を移動させることにより、局所領域ＬＡの振動を抑制する。かかる処理が変換処理である。そして、変換処理により画像２'が生成され、画像２'を出力画像とする。ここで、第１実施形態では、Ｄ２ごと移動させているため、移動後における画像全体のうち画像表示装置９に表示される範囲であるＤ２'は、Ｄ２より小さくなる。なお、図７Ｄにおけるハッチング部分は、画像が表示されない領域を表す。また、ハッチング部分は、黒色表示、モザイク表示、任意のイメージ表示又は任意の画像の縮小表示等とすることができる。

【0060】

なお、図７Ｄのように、画像が表示されない領域を生成したくない場合には、画像を拡大し、ハッチング部分がなくなるように局所領域ＬＡを表示面の略中央に移動させる構成としてもよい。

【0061】

図６に戻り、局所動き推定モードにおける各種データの処理の説明を続ける。画像３が入力されると、画像３を表すデータが局所領域追跡部４に出力される。なお、図６においては、説明の都合上、画像２を表すデータ及び動き量１が局所領域追跡部４に出力されるように図示されているが、実際にはこれらのデータはすでに局所領域追跡部４が保持しているものである。

【0062】

局所領域追跡部４は、画像２と画像３間の動き量２を計算する。第１実施形態では、図７Ｅに示されるように、画像３に含まれる局所領域ＬＡの左上の位置Ｐ２（ｘ２，ｙ２）と、画像２におけるＰ１（ｘ１，ｙ１）より、動き量２は（Δｘ２，Δｙ２）である。ここで、図７の例では、Δｙ２は負の値である。Ｐ２（ｘ２，ｙ２）の座標は、Ｐ０（ｘ０，ｙ０）及びＰ１（ｘ１，ｙ１）を用いて一意に特定される。そして、図６に示されるように、局所領域追跡部４は、動き量２（Δｘ２，Δｙ２）を動き補償部８に出力する。

【0063】

動き補償部８は、図７Ｆに示されるように、画像３をＤ３ごと、動き量１＋動き量２（Δｘ２＋Δｘ１，Δｙ２＋Δｙ１）だけ移動させる。かかる処理は、Ｐ０（ｘ０，ｙ０）及びＰ２（ｘ２，ｙ２）を用いて実行される。具体的には、Ｐ２（ｘ２，ｙ２）の座標がＰ０（ｘ０，ｙ０）の座標に一致するように、画像３全体をレンダリングすることによりなされる。これにより画像３'が生成され、動き補償部８は、画像３'を画像２'の次の出力画像とする。

【0064】

次に、画像４が入力されると、画像２及び画像３と同様の処理を繰り返す。以降、画像が１つ入力される度に、かかる処理が最終フレームの入力画像が入力されるまで実行される。

【0065】

ここで、局所動き推定モードでは、Ｐ０（ｘ０，ｙ０）に合わせて後続の画像を変換しているため、画像２と画像３間の動き量２を計算する代わりに、画像１と画像３を比較することにより局所領域ＬＡを追跡し、画像１と画像３間の動き量を直接求めることも可能である。しかし、局所領域ＬＡの追跡は、画像１と画像３を比較する場合と比べ、画像２と画像３を比較する方が追跡精度が高くなる。これは、実際の画像では画像１，２，３・・・中に含まれる局所領域ＬＡ内の輝度は時々刻々と変化しており、なるべく直前の画像と比較する方が推定誤差（Σ｜Ｙ_０−Ｙ_１｜）が小さくなるためである。

【0066】

このように、局所動き推定モードでは、パターンマッチングを用いて、探索領域ＳＡ内において局所領域ＬＡを追跡することが可能となる。

【0067】

図３に戻り、フローの説明を続ける。

【0068】

Ｓ３における判定結果が「Ｙｅｓ」、つまり、外れフラッグが検出された場合には、追跡外れ検出部５は、モード切替部７及び動き補償部８に外れフラッグシグナルを出力し、Ｓ６に進む。

【0069】

そして、Ｓ６において、モード切替部７は、局所領域追跡部４及びグローバル動き推定部６にモード切替シグナルを出力し、画像処理装置１を局所動き推定モードからグローバル動き推定モードに切り替える。その後、グローバル動き推定モードにおいて算出された動き量を動き補償部８に出力し、局所動き推定モードと同様、Ｓ４及びＳ５に進む。

【0070】

以下、図８〜図１０を用いて、Ｓ４〜Ｓ６における処理、つまり、グローバル動き推定モードについて説明する。

【0071】

＜Ｓ６：グローバル動き推定モード＞
グローバル動き推定モードは、第１及び第２画像の全体からオブジェクトの動き量を推定するものである。また、グローバル動き推定モードは、局所動き推定モードと異なり、局所領域ＬＡの座標が設定されない。

【0072】

図９に示されるように、グローバル動き推定モードでは、局所領域ＬＡという概念がないため、画像全体を複数の領域（図９では９個）に分割し、画像全体としていずれの方向に移動しているかを推定する。つまり、グローバル動き推定モードでは、画像全体を動き推定の対象オブジェクトとみなし、かかるオブジェクトの動き量を推定するものである。なお、第１実施形態では、画像を９個の分割領域に分割した例を用いて説明する。

【0073】

第２動き推定部６１は、パターンマッチングや特徴ベクトルを用い、分割領域毎の移動方向を推定する。ここで、分割領域毎の移動方向とは、分割領域に含まれる物体（オブジェクト）が移動する方向のことである。かかる推定手法は任意であるが、例えば、局所領域ＬＡと同様の処理を分割領域毎に実行してもよい。具体的には、分割領域の中心を局所領域ＬＡに設定し、分割領域の外周を探索領域ＳＡに設定し、局所領域ＬＡの追跡と同様の処理を９個の分割領域毎に実行することにより、分割領域毎の移動方向を推定することができる。そして、図２に示される第２動き推定部６１は、分割領域毎の移動方向が最も多い方向を、画像全体の移動方向として推定する。なお、図９の例では、９個の分割領域のうち、６個の分割領域の移動方向が右上であるので、画像全体として右上に移動していると推定される。そして、分割領域毎の動き量の移動方向を考慮した平均を、画像全体の動き量として推定する。かかる動き量が、グローバル動き量に相当する。なお、動き推定が困難な分割領域があった場合でも、かかる領域を除いた他の領域の平均を計算することで、画像全体の動き量を推定することが可能となる。

【0074】

ここで、図１０を用いて、動き補正部６２の意義について説明する。グローバル動き推定モードでは、局所動き推定モードと異なり局所領域ＬＡの座標が設定されないので、動き補正部６２による補正処理により、動き補償部８の変換処理を適切に実行するものである。

【0075】

図１０Ａ，１０Ｃ，１０Ｅ，１０Ｇは入力画像を、図１０Ｂ，１０Ｄ，１０Ｆ，１０Ｈは出力画像を表す。また、図１０では、説明の都合上、図７における局所領域ＬＡに対応する領域をオブジェクトＯＪＴということにする。

【0076】

図１０Ａ及び図１０Ｂ示されるように、グローバル動き推定モードでも、画像１に対する処理は局所動き推定モードと同様である。

【0077】

図１０Ｃに示されるように、画像１に対する画像２の動き量１が（Δｘ１，Δｙ１）であったとする。図８に示されるように、第２動き推定部６１は、動き量１（Δｘ１，Δｙ１）を動き補償部８及び動き補正部６２に出力する。動き補償部８は、局所動き推定モードと同様に、画像２をＤ２ごと、動き量１（Δｘ１，Δｙ１）だけ移動させる

【0078】

続いて、図１０Ｅに示されるように、画像２に対する画像３の動き量２が（Δｘ２，Δｙ２）であったとする。ここで、図１０Ｅ中のＯＪＴ（１０Ｃ）は、図１０ＣにおけるオブジェクトＯＪＴの位置を表す。

【0079】

ここで、動き補償部８による変換処理を実行するにあたり、グローバル動き推定モードでは局所領域ＬＡの座標が設定されていないので、画像２と画像３間のグローバル動き量の分だけ画像３を移動させたとしても、図１０Ｃに示される画像２の状態に戻ることになる。したがって、グローバル動き推定モードでは、１つ前のグローバル動き量、すなわち画像１と画像２間のグローバル動き量を用いることにより、画像３中のオブジェクトＯＪＴの表示位置を画像１中のオブジェクトＯＪＴの表示位置と略一致させることが可能となる。すなわち、動き補正部６２は、動き量１（Δｘ１，Δｙ１）を補正量として用い、動き量２（Δｘ２，Δｙ２）に加えることにより、補正後動き量２'（Δｘ１'（＝Δｘ２＋Δｘ１），Δｙ１'（＝Δｙ２＋Δｙ１））を生成する。そして、図８に示されるように、かかる補正後動き量２'（Δｘ１'，Δｙ１'）を動き補償部８に出力する。

【0080】

動き補償部８は、画像３をＤ３ごと、補正後動き量２'（Δｘ１'，Δｙ１'）だけ移動させる。ここで、図１０では、Δｙ２は負の値である。かかる処理は、画像３全体の座標にそれぞれ補正後動き量２'を加え、画像３全体をレンダリングすることによりなされる。これにより画像３'が生成され、動き補償部８は、画像３'を画像２'の次の出力画像とする。ここで、（Δｘ２'，Δｙ２'）が図２における補正後グローバル動き量に相当する

【0081】

次に、図１０Ｇに示されるように、画像３に対する画像４の動き量３が（Δｘ３，Δｙ３）であったとする。ここで、図１０Ｇ中のＯＪＴ（１０Ｅ）は、図１０ＥにおけるオブジェクトＯＪＴの位置を表す。画像４に対する変換処理を実行するにあたり、１つ前の補正後動き量２'を用いることにより、画像４中のオブジェクトＯＪＴの表示位置を画像１中のオブジェクトＯＪＴの表示位置と略一致させることが可能となる。すなわち、動き補正部６２は、補正後動き量２'（Δｘ２'，Δｙ２'）を補正量として用い、動き量３（Δｘ３，Δｙ３）に加えることにより、補正後動き量３'を生成する。そして、図８に示されるように、かかる補正後動き量３'（Δｘ３'（＝Δｘ３＋Δｘ２'），Δｙ３'（＝Δｙ３＋Δｙ２'））を動き補償部８に出力する。

【0082】

動き補償部８は、画像４をＤ４ごと、補正後動き量３'（Δｘ３'，Δｙ３'）だけ移動させる。かかる処理は、画像４全体の座標にそれぞれ補正後動き量３'を加え、画像４全体をレンダリングすることによりなされる。これにより画像４'が生成され、動き補償部８は、画像４'を画像３'の次の出力画像とする。ここで、（Δｘ３'，Δｙ３'）が図２における補正後グローバル動き量に相当する

【0083】

以降、画像が１つ入力される度に、かかる処理が最終フレームの入力画像が入力されるまで実行される。

【0084】

このように、グローバル動き推定モードでは、パターンマッチングを用いて、画像全体からオブジェクトの動き量を推定する。

【0085】

図３に戻り、フローの説明を続ける。

【0086】

＜Ｓ７：最終フレームか否かの判定＞
動き補償部８による補償処理が終了した後、Ｓ７において、現在の画像が最終フレームの画像であるかが判定される。Ｓ７における判定結果が「Ｎｏ」、つまり、現在の画像が最終フレームの画像でない場合、Ｓ２に戻り、再びＳ５までの処理を繰り返し実行する。ここで、Ｓ６においてグローバル動き推定モードに切り替えられた場合でもＳ２に戻るのは、上述したとおり、局所領域ＬＡの追跡が再び可能になったか否かを判定するためである。この場合、局所動き推定モードがグローバル動き推定モードに切り替えられているといえども、バックグラウンドで局所動き推定モードの処理を実行しているといえる。これにより、所定の条件が充足されないときに、第２推定モードから第１推定モードに切り替えることが可能になる。

【0087】

一方、Ｓ７における判定結果が「Ｙｅｓ」、つまり、現在の画像が最終フレームの画像である場合、画像処理装置１による振動抑制処理を終了する。

【0088】

以上説明したように、第１実施形態に係る画像処理装置１は、所定の条件に基づいて、動き補償部８による変換処理が局所動き推定モードに基づいてなされるかグローバル動き推定モードに基づいてなされるかが決定される。したがって、局所領域ＬＡの追跡が可能な場合には、計算量の少ない局所動き推定モードで画像処理を実行し、局所領域ＬＡの追跡が困難な場合には、画像全体を利用するグローバル動き推定モードに切り替えられることにより、計算資源を節約しつつ、効率よく画像の振動を抑制することが可能となる。

【0089】

＜第２実施形態＞
次に、図１１及び図１２を用いて、本発明の第２実施形態に係る画像処理装置１について説明する。第２実施形態と第１実施形態の主な違いは、第２実施形態ではグローバル動き推定モードを利用しない点である。

【0090】

第２実施形態に係る画像処理装置１は、予め定められた探索領域ＳＡ内において、局所領域ＬＡの動き量を推定する第１動き推定部４１と、局所領域ＬＡの動き量に基づいて、第１及び第２画像間での局所領域ＬＡの振動を抑制するように第２画像に対して変換処理を施す動き補償部８と、を備える。第１動き推定部４１は、探索領域ＳＡ内において局所領域ＬＡを追跡することにより画像の動き量を推定する第１推定モードと、第１推定モードにおける探索領域ＳＡより大きな領域に基づいて局所領域ＬＡを追跡する第２推定モードと、を備える。

【0091】

図１１に示されるように、第２実施形態における処理フローは、Ｓ１〜Ｓ５までは第１実施形態と同様であるので、その説明を省略する。以下、図１１のＳ６及びＳ７（探索領域ＳＡの拡大）について、図１２を用いて説明する。なお、図１２において、探索領域ＳＡに添えられた数字は、探索領域ＳＡの拡大回数を表す。例えば、図１２Ａ及び図１２Ｂに示される探索領域ＳＡ０は、拡大される前の探索領域ＳＡ（第１実施形態の探索領域ＳＡに相当）を表す。また、図１２Ｃに示される探索領域ＳＡ１は、１回拡大された探索領域ＳＡを表す。

【0092】

図１２Ａに示される入力画像と、次フレームの入力画像である図１２Ｂを比較すると、図１２Ｂに示される入力画像では、局所領域ＬＡが探索領域ＳＡ１の外部に位置している。この場合、探索領域ＳＡ０内における推定誤差（Σ｜Ｙ_０−Ｙ_１｜）の最小値が大きくなり、図５に示される所定の条件を充足しなくなる。換言すると、局所領域ＬＡの追跡が困難となる。

【0093】

そこで、局所領域追跡部４は、図示しない領域拡大部により探索領域ＳＡ０を拡大し、新たに探索領域ＳＡ１を設定する。かかる状態を表したものが図１２Ｃである。つまり、第２実施形態では、探索領域ＳＡ拡大後の局所動き推定モードが、第２推定モードに相当する。

【0094】

そして、再び図４に示される処理を実行することで、局所領域ＬＡを追跡する。なお、探索領域ＳＡ１の大きさ及び位置は任意であり、画像の特性に応じて探索領域ＳＡ０を包含するように適宜設定してもよい。

【0095】

第２実施形態では、探索領域ＳＡ０を拡大し、第１推定モードから第２推定モードに切り替えることで、拡大前には追跡が困難であった局所領域ＬＡを追跡することが可能となる。なお、必要に応じて、探索領域ＳＡの拡大を所定回数繰り返してもよい。また、拡大された探索領域ＳＡの大きさが画像全体の大きさと等しくなった場合には、計算量は多いものの、局所領域ＬＡが画像内に位置している限り、精度よく局所領域ＬＡの追跡を行うことが可能となる。

【0096】

次に、図１１を用いて、第２実施形態に係る処理フローについて説明する。図１１に示されるように、第２実施形態における処理フローは、Ｓ１〜Ｓ５までは第１実施形態と同様であるので、その説明を省略する。

【0097】

次に、Ｓ３において、追跡外れ検出部５により、外れフラッグが検出されるか否かを判定する。そして、Ｓ３における判定結果が「Ｎｏ」、つまり、外れフラッグが検出されない場合にはＳ５に進む。

【0098】

そして、Ｓ５において、動き量が局所領域追跡部４から動き補償部８に出力される。その後、Ｓ６において、動き補償部８により変換処理が実行される。一方、Ｓ３における判定結果が「Ｙｅｓ」、つまり、外れフラッグが検出された場合には、Ｓ６に進み、探索領域ＳＡの拡大回数が上限に達したか否かを判定する。なお、かかる上限回数は任意の回数とすることができる。第２実施形態では、上限回数が３回である例について説明する。

【0099】

Ｓ６において、初期状態では拡大回数が０回である。このため、拡大回数の上限を上回らず、判定結果は「Ｎｏ」となる。そして、Ｓ７に進み、局所領域追跡部４により探索領域ＳＡ０が拡大され、探索領域ＳＡ１が設定される。その後、Ｓ２を経て再びＳ３に進む。そして、探索領域ＳＡ１が設定されたことにより局所領域ＬＡの追跡が可能となった場合には、Ｓ４に進む。一方、探索領域ＳＡ１が設定されてもなお局所領域ＬＡの追跡が困難となった場合、つまり、図５に示される所定の条件を充足する場合には、再びＳ６に進む。かかる処理を、探索領域ＳＡの拡大回数の上限を上回るまで繰り返し実行する。

【0100】

そして、Ｓ６において拡大回数が上限を上回った場合、具体的には、すでに探索領域ＳＡ３が設定された状態でも局所領域ＬＡの追跡が困難な場合には、Ｓ６における判定結果が「Ｙｅｓ」となり、Ｓ８に進む。つまり、探索領域ＳＡを上限まで拡大しても局所領域ＬＡを追跡できない場合には、補償処理を実行せず、そのまま画像を表示する。ここで、本実施形態では、探索領域ＳＡの拡大回数上限を３回としたが、３回拡大された探索領域ＳＡ３の大きさを画像全体の大きさと等しく設定した場合には、Ｓ６における上限回数を上回った後にＳ４に進み、補償処理を実行することができる。

【0101】

その後、Ｓ８に進み、第１実施形態に関する図３のＳ７と同様の処理を実行する。

【0102】

Ｓ８における判定結果が「Ｙｅｓ」、つまり、現在の画像が最終フレームの画像である場合、画像処理装置１による振動抑制処理を終了する。

【0103】

以上説明したように、かかる構成及び処理により、探索領域ＳＡを拡大することで局所領域ＬＡを精度よく追跡することが可能となる。これにより、計算資源を節約しつつ、効率よく画像の振動を抑制することが可能となる。

【0104】

ここで、第２推定モードに切り替えられた後において、予め定められた条件を満たさなくなった場合、例えば、探索領域ＳＡ２から外れた局所領域ＬＡが直前の探索領域ＳＡ１内に位置することとなった場合には、探索領域ＳＡ１内において局所領域ＬＡの追跡が可能になる場合がある。このような場合には、モード切替部７は、探索領域ＳＡの大きさを１段階縮小し、局所領域ＬＡの追跡を実行してもよい。また、局所領域ＬＡが最初の探索領域ＳＡ内に位置することとなった場合には、第２推定モードから第１推定モードに切り替えるようにしてもよい。

【0105】

＜第３実施形態＞
次に、図１３を用いて、本発明の第３実施形態に係る画像処理装置１について説明する。第３実施形態に係る画像処理装置１は、第１実施形態及び第２実施形態の処理を組み合わせた処理を実行するものである。ここで、図１３におけるＳ１〜Ｓ７は、第２実施形態と同様であるので、その説明を省略する。

【0106】

第３実施形態では、Ｓ６における上限回数を上回った場合、具体的には、すでに探索領域ＳＡ３が設定された状態でも局所領域ＬＡの追跡が困難な場合には、Ｓ６における判定結果が「Ｙｅｓ」となり、Ｓ８に進む。そして、Ｓ８において、第１実施形態に関する図３のＳ６と同様に、グローバル動き推定モードに切り替える。

【0107】

そして、Ｓ４を経てＳ５、Ｓ９に進み、第１実施形態に関する図３のＳ７と同様の処理を実行する。

【0108】

Ｓ９における判定結果が「Ｙｅｓ」、つまり、現在の画像が最終フレームの画像である場合、画像処理装置１による振動抑制処理を終了する。

【0109】

以上説明したように、第３実施形態に係る画像処理装置１では、探索領域ＳＡを拡大することで局所領域ＬＡを精度よく追跡することが可能となる。さらに、探索領域ＳＡの拡大回数が上限を上回った場合でも、グローバル動き推定モードに切り替えることにより、動き補償部８による変換処理を継続することができる。

【0110】

＜その他＞
以上、種々の実施形態について説明したが、本発明に係る画像処理装置１はこれらに限定されない。例えば、第１推定モードと第２推定モードを切り替える条件として、「推定誤差が予め定められた値を上回る場合」のみを用いてもよい。あるいは、かかる条件として、「推定誤差が平均値の所定倍を上回る場合」のみを用いてもよい。さらに、画像の動き量の変動に応じて、図５に示される閾値を動的に変更するようにしてもよい。例えば、画像の動き量が所定値以上となる回数が複数回連続した場合には、かかる閾値を大きくしてもよい。この場合、所定の条件として平均値を用いなくとも、局所領域ＬＡの追跡精度が向上する。

【0111】

また、モード切替部７を省略することもできる。この場合、局所動き推定モードとグローバル動き推定モードを同時に実行し、動き補償部８においていずれのモードで推定された動き量に基づいて変換処理を実行するかを選択してもよい。

【0112】

また、局所動き推定モード及びグローバル動き推定モードにおける動き量の推定をパターンマッチングにより行うことに代えて、特徴ベクトルを用いてもよい。

【0113】

また、画像処理装置１は、ＰＣ、サーバ又はコンピュータもしくは表示装置に接続するセットトップボックスとして提供することができる。また、画像処理装置１を表示装置の内部に組み込むことも可能である。さらに、画像処理装置１の機能を実装したコンピュータ読み取り可能な非一時的な記録媒体として提供することもできる。また、制御装置１の機能を実現するプログラムを、インターネット等を介して配信することもできる。

【0114】

さらに、画像処理装置１を構成する各部は、同じ筐体に含まれてもよく、複数の筐体に分散配置されてもよい。

【符号の説明】

【0115】

１：画像処理装置
２：動き推定部
３：領域設定部
４：局所領域追跡部
４１：第１動き推定部
４２：画像切り出し部
５：追跡外れ検出部
６：グローバル動き推定部
６１：第２動き推定部
６２：動き補正部
７：モード切替部
８：動き補償部
９：画像表示装置
ＬＡ：局所領域
ＳＡ：探索領域
ＦＡ：フィッティング領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】