特許 6730423 画像処理装置、画像処理方法および画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6730423

(24)【登録日】2020年7月6日

(45)【発行日】2020年7月29日

(54)【発明の名称】画像処理装置、画像処理方法および画像処理プログラム

(51)【国際特許分類】

   H04N 9/07 20060101AFI20200716BHJP

   H04N 9/64 20060101ALI20200716BHJP

   H04N 5/232 20060101ALI20200716BHJP

   A61B 1/045 20060101ALI20200716BHJP

【ＦＩ】

   H04N9/07 C

   H04N9/64 R

   H04N5/232 480

   H04N5/232 290

   A61B1/045 610

【請求項の数】6

【全頁数】18

(21)【出願番号】特願2018-507850(P2018-507850)

(86)(22)【出願日】2016年3月28日

(86)【国際出願番号】JP2016059971

(87)【国際公開番号】WO2017168528

(87)【国際公開日】20171005

【審査請求日】2019年3月20日

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】100118913

【弁理士】

【氏名又は名称】上田 邦生

(74)【代理人】

【識別番号】100142789

【弁理士】

【氏名又は名称】柳 順一郎

(74)【代理人】

【識別番号】100163050

【弁理士】

【氏名又は名称】小栗 眞由美

(74)【代理人】

【識別番号】100201466

【弁理士】

【氏名又は名称】竹内 邦彦

(72)【発明者】

【氏名】猪瀬 健二

(72)【発明者】

【氏名】穐山 直之

【審査官】 松永 隆志

(56)【参考文献】

【文献】 特開2012-55498（ＪＰ，Ａ）

【文献】 特開2012-217579（ＪＰ，Ａ）

【文献】 特表2008-541662（ＪＰ，Ａ）

【文献】 特開2006-149483（ＪＰ，Ａ）

【文献】 特開2013-258468（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２５−５／３７８

Ｈ０４Ｎ ９／００−９／７８

Ａ６１Ｂ １／０４５

(57)【特許請求の範囲】

【請求項1】

複数の色チャネルのフレームを順番に受信し、複数の色チャネルのフレームを合成してカラーの動画フレームを生成する面順次方式の動画用の画像処理装置であって、
同一の色チャネルの最新のフレームと過去のフレームとから、前記最新のフレームと前記過去のフレームとの間の被写体像の動き量を算出する動き量算出部と、
該動き量算出部によって算出された動き量に基づいて、前記最新のフレーム用のブレ補正量を算出するブレ補正量算出部と、
該ブレ補正量算出部によって算出されたブレ補正量に基づいて、前記最新のフレーム用の安定ブレ補正量を算出する安定ブレ補正量算出部と、
該安定ブレ補正量算出部によって算出された安定ブレ補正量に基づいて、前記最新のフレームに対しブレ補正処理を行うブレ補正部と、
前記安定ブレ補正量算出部によって算出された前記安定ブレ補正量を記憶する記憶部とを備え、
前記安定ブレ補正量算出部が、前記最新のフレーム用のブレ補正量と、前記記憶部に記憶されている前記最新のフレームとは異なる色チャネルのフレーム用の安定ブレ補正量とに基づいて、前記最新のフレーム用の安定ブレ補正量を算出する画像処理装置。

【請求項2】

前記安定ブレ補正量算出部が、前記最新のフレーム用のブレ補正量および前記最新のフレームとは異なる色チャネルのフレーム用の安定ブレ補正量の各々に重み付けし、重み付けされた前記ブレ補正量と前記安定ブレ補正量とを加算して前記最新のフレーム用の安定ブレ補正量を算出する請求項１に記載の画像処理装置。

【請求項3】

前記動き量算出部が、前記最新のフレームの動き量の信頼度をさらに算出し、
前記安定ブレ補正量算出部が、前記動き量算出部によって算出された動き量の信頼度に基づいて、前記最新のフレーム用のブレ補正量および前記最新のフレームとは異なる色チャネルのフレーム用の安定ブレ補正量の各々に付す重みを決定する請求項２に記載の画像処理装置。

【請求項4】

前記複数の色チャネルが、赤チャネル、緑チャネルおよび青チャネルである請求項１から請求項３のいずれかに記載の画像処理装置。

【請求項5】

複数の色チャネルのフレームを順番に受信し、複数の色チャネルのフレームを合成してカラーの動画フレームを生成する面順次方式の動画用の画像処理方法であって、
同一の色チャネルの最新のフレームと過去のフレームとから、前記最新のフレームと前記過去のフレームとの間の被写体像の動き量を算出する動き量算出ステップと、
該動き量算出ステップにおいて算出された動き量に基づいて、前記最新のフレーム用のブレ補正量を算出するブレ補正量算出ステップと、
該ブレ補正量算出ステップにおいて算出されたブレ補正量に基づいて、前記最新のフレーム用の安定ブレ補正量を算出する安定ブレ補正量算出ステップと、
該安定ブレ補正量算出ステップにおいて算出された安定ブレ補正量に基づいて、前記最新のフレームに対しブレ補正処理を行うブレ補正ステップと、
前記安定ブレ補正量算出ステップにおいて算出された前記安定ブレ補正量を記憶する記憶ステップとを含み、
前記安定ブレ補正量算出ステップにおいて、前記最新のフレーム用のブレ補正量と、前記記憶ステップに記憶されている前記最新のフレームとは異なる色チャネルのフレーム用の安定ブレ補正量とに基づいて、前記最新のフレーム用の安定ブレ補正量を算出する画像処理方法。

【請求項6】

複数の色チャネルのフレームを順番に受信し、複数の色チャネルのフレームを合成してカラーの動画フレームを生成する面順次方式の動画用の画像処理プログラムであって、
同一の色チャネルの最新のフレームと過去のフレームとから、前記最新のフレームと前記過去のフレームとの間の被写体像の動き量を算出する動き量算出ステップと、
該動き量算出ステップにおいて算出された動き量に基づいて、前記最新のフレーム用のブレ補正量を算出するブレ補正量算出ステップと、
該ブレ補正量算出ステップにおいて算出されたブレ補正量に基づいて、前記最新のフレーム用の安定ブレ補正量を算出する安定ブレ補正量算出ステップと、
該安定ブレ補正量算出ステップにおいて算出された安定ブレ補正量に基づいて、前記最新のフレームに対しブレ補正処理を行うブレ補正ステップと、
前記安定ブレ補正量算出ステップにおいて算出された前記安定ブレ補正量を記憶する記憶ステップとをコンピュータに実行させ、
前記安定ブレ補正量算出ステップにおいて、前記最新のフレーム用のブレ補正量と、前記記憶ステップに記憶されている前記最新のフレームとは異なる色チャネルのフレーム用の安定ブレ補正量とに基づいて、前記最新のフレーム用の安定ブレ補正量を算出する画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法および画像処理プログラムに関するものである。

【背景技術】

【0002】

従来、面順次方式で取得される動画のブレ補正方法が知られている（例えば、特許文献１および２参照。）。面順次方式においては、赤チャネル、緑チャネルおよび青チャネルのフレーム（Ｒフレーム、ＧフレームおよびＢフレーム）が順番に撮像され、時間軸方向に連続するＲ、ＧおよびＢフレームを同時化することによって、１つのＲＧＢ形式の動画フレームが生成される。特許文献１では、動画フレームから該動画フレームのブレの大きさを表す動き量を算出し、算出された動き量に基づいて動画フレームに対してブレ補正処理を行っている。特許文献２では、Ｒ、ＧおよびＢフレームの各々の動き量を算出し、同時化前にＲ、ＧおよびＢフレームに対して各々の動き量に基づいてブレ補正処理を行っている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第５５６２８０８号公報

【特許文献2】特開２０１２−２１７５７９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、面順次方式で撮像されたＲフレーム、ＧフレームよびＢフレームの動き量は、互いに異なり得る。したがって、特許文献１のように、同時化後の１フレームのＲＧＢ画像から算出した単一の動き量に基づくブレ補正処理では、Ｒ、ＧおよびＢフレーム全てのブレを精度良く補正することが難しいという問題がある。

【0005】

特許文献２のように、同時化前のＲ、ＧおよびＢフレームの各々の動き量を算出する場合、動き量の算出誤差が色チャネル毎に独立に生じ、動き量の算出誤差が色チャネル毎に独立に蓄積されていく。このような動き量をＲ、ＧおよびＢフレームのブレ補正処理に用いると、Ｒ、ＧおよびＢフレーム間のブレ補正量に差異が生じ、その結果、動画フレームに色ズレが生じるという問題がある。動き量の算出誤差以外にも、例えば、ブレ補正量を算出する際の量子化誤差や、被写体の移動とブレとを分離する際の計算誤差のように、色チャネル毎に独立に生じる誤差が存在する。これらの誤差も、色チャネル間のブレ補正量の差異の発生および拡大に寄与し、動画フレームの色ズレの要因となる。

【0006】

本発明は、上述した事情に鑑みてなされたものであって、色チャネル間のブレ補正量の誤差に起因する色ズレを低減することができる面順次方式の動画用の画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

上記目的を達成するため、本発明は以下の手段を提供する。
本発明の第１の態様は、複数の色チャネルのフレームを順番に受信し、複数のフレームを合成してカラーの動画フレームを生成する面順次方式の動画用の画像処理装置であって、同一の色チャネルの最新のフレームと過去のフレームとから、前記最新のフレームと前記過去のフレームとの間の被写体像の動き量を算出する動き量算出部と、該動き量算出部によって算出された動き量に基づいて、前記最新のフレーム用のブレ補正量を算出するブレ補正量算出部と、該ブレ補正量算出部によって算出されたブレ補正量に基づいて前記最新のフレーム用の安定ブレ補正量を算出する安定ブレ補正量算出部と、該安定ブレ補正量算出部によって算出された安定ブレ補正量に基づいて前記最新のフレームに対しブレ補正処理を行うブレ補正部と、前記ブレ補正量算出部によって算出された前記ブレ補正量を記憶する記憶部とを備え、前記安定ブレ補正量算出部が、前記最新のフレーム用のブレ補正量と、前記記憶部に記憶されている前記最新のフレームとは異なる色チャネルのフレーム用の安定ブレ補正量とに基づいて、前記最新のフレーム用の安定ブレ補正量を算出する画像処理装置である。

【0008】

本態様によれば、最新のフレームを受信すると、該最新のフレームと同一の色チャネルの過去のフレームとから被写体の動き量が動き量算出部によって算出され、動き量に基づいて最新のフレーム用のブレ補正量がブレ補正量算出部によって算出される。さらに、ブレ補正量に基づいて最新のフレーム用の安定ブレ補正量が安定ブレ補正量算出部によって算出され、安定ブレ補正量が記憶部に記憶されるとともに、安定ブレ補正量に基づいて最新のフレームのブレ補正処理がブレ補正部によって行われる。したがって、ブレ補正処理された複数の色チャネルのフレーム同士を合成することによって、ブレ補正されたカラーの動画フレームを生成することができる。

【0009】

この場合に、安定ブレ補正量は、最新のフレーム用のブレ補正量のみならず、最新フレームとは異なる色チャネルの過去のフレーム用の安定ブレ補正量に基づいて算出される。このように、複数の色チャネルのフレーム用の安定ブレ補正量を相互に依存させることによって、ブレ補正量に生じていた色チャネル間の誤差が、安定ブレ補正量においては低減される。したがって、安定ブレ補正量を各色チャネルのフレームのブレ補正処理に用いることによって、動画フレームにおける色ズレを低減することができる。

【0010】

上記第１の態様においては、前記安定ブレ補正量算出部が、前記最新のフレーム用のブレ補正量および前記最新のフレームとは異なる色チャネルのフレーム用の安定ブレ補正量の各々に重み付けし、重み付けされた前記ブレ補正量と前記安定ブレ補正量とを加算して前記最新のフレーム用の安定ブレ補正量を算出してもよい。
このようにすることで、最新のフレーム用のブレ補正量および最新のフレームとは異なる色チャネルのフレーム用の安定ブレ補正量の、最新のフレーム用の安定ブレ補正量における寄与の度合いを、重みによって容易に調整することができる。

【0011】

上記第１の態様においては、前記動き量算出部が、前記動き量の信頼度をさらに算出し、前記安定ブレ補正量算出部が、最新のフレームから算出された動き量の信頼度に基づいて、前記最新のフレーム用のブレ補正量および前記最新のフレームとは異なる色チャネルのフレーム用の安定ブレ補正量の各々に付す重みを決定してもよい。
このようにすることで、算出精度の低い動き量の影響が抑制された安定ブレ補正量を算出することができる。

【0012】

上記第１の態様においては、前記複数の色チャネルが、赤チャネル、緑チャネルおよび青チャネルであってもよい。
このようにすることで、ＲＧＢ形式の動画フレームを生成することができる。

【0013】

本発明の第２の態様は、複数の色チャネルのフレームを順番に受信し、複数の色チャネルのフレームを合成してカラーの動画フレームを生成する面順次方式の動画用の画像処理方法であって、同一の色チャネルの最新のフレームと過去のフレームとから、前記最新のフレームと前記過去のフレームとの間の被写体像の動き量を算出する動き量算出ステップと、該動き量算出ステップにおいて算出された動き量に基づいて、前記最新のフレーム用のブレ補正量を算出するブレ補正量算出ステップと、該ブレ補正量算出ステップにおいて算出されたブレ補正量に基づいて、前記最新のフレーム用の安定ブレ補正量を算出する安定ブレ補正量算出ステップと、該安定ブレ補正量算出ステップにおいて算出された安定ブレ補正量に基づいて、前記最新のフレームに対しブレ補正処理を行うブレ補正ステップと、前記安定ブレ補正量算出ステップにおいて算出された前記安定ブレ補正量を記憶する記憶ステップとを含み、前記安定ブレ補正量算出ステップにおいて、前記最新のフレーム用のブレ補正量と、前記記憶ステップに記憶されている前記最新のフレームとは異なる色チャネルのフレーム用の安定ブレ補正量とに基づいて、前記最新のフレーム用の安定ブレ補正量を算出する画像処理方法である。

【0014】

本発明の第３の態様は、複数の色チャネルのフレームを順番に受信し、複数の色チャネルのフレームを合成してカラーの動画フレームを生成する面順次方式の動画用の画像処理プログラムであって、同一の色チャネルの最新のフレームと過去のフレームとから、前記最新のフレームと前記過去のフレームとの間の被写体像の動き量を算出する動き量算出ステップと、該動き量算出ステップにおいて算出された動き量に基づいて、前記最新のフレーム用のブレ補正量を算出するブレ補正量算出ステップと、該ブレ補正量算出ステップにおいて算出されたブレ補正量に基づいて、前記最新のフレーム用の安定ブレ補正量を算出する安定ブレ補正量算出ステップと、該安定ブレ補正量算出ステップにおいて算出された安定ブレ補正量に基づいて、前記最新のフレームに対しブレ補正処理を行うブレ補正ステップと、前記安定ブレ補正量算出ステップにおいて算出された前記安定ブレ補正量を記憶する記憶ステップとをコンピュータに実行させ、前記安定ブレ補正量算出ステップにおいて、前記最新のフレーム用のブレ補正量と、前記記憶ステップに記憶されている前記最新のフレームとは異なる色チャネルのフレーム用の安定ブレ補正量とに基づいて、前記最新のフレーム用の安定ブレ補正量を算出する画像処理プログラムである。

【発明の効果】

【0015】

本発明によれば、チャネル間のブレ補正量の誤差に起因する色ズレを低減することができるという効果を奏する。

【図面の簡単な説明】

【0016】

【図1】本発明の第１の実施形態に係る画像処理装置の全体構成図である。

【図2】図１の画像処理装置に入力されるフレームと画像処理装置から出力される動画フレームとの関係を説明する図である。

【図3】動き量算出部によって算出される動き量を説明する図である。

【図4】ブレ補正部によるブレ補正処理を説明する図である。

【図5】図１の画像処理装置による画像処理方法を示すフローチャートである。

【図6A】ブレ補正量を用いてブレ補正処理を行ったときのＲ、ＧおよびＢフレームのトリミング領域の一例を示す図である。

【図6B】図６ＡのＲ、ＧおよびＢフレームのトリミング領域から生成された動画フレームを示す図である。

【図7A】安定ブレ補正量を用いてブレ補正処理を行ったときのＲ、ＧおよびＢフレームのトリミング領域の一例を示す図である。

【図7B】図７ＡのＲ、ＧおよびＢフレームのトリミング領域から生成された動画フレームを示す図である。

【図8】ブレ補正量を用いてブレ補正処理を行ったときの、Ｒ、ＧおよびＢフレームのトリミング領域の位置ズレ量の時間変化の一例を示す図である。

【図9】安定ブレ補正量を用いてブレ補正処理を行ったときの、Ｒ、ＧおよびＢフレームのトリミング領域の位置ズレ量の時間変化の一例を示す図である。

【図10】式（２．１）および（２．２）のＩＲＲフィルタ特性の好適な例を示す図である。

【図11】図１０のシミュレーションに用いた手ブレ量および動き量の時間変化を示すグラフである。

【図12】本発明の第２の実施形態に係る画像処理装置による画像処理方法を示すフローチャートである。

【発明を実施するための形態】

【0017】

（第１の実施形態）
以下に、本発明の第１の実施形態に係る画像処理装置１について図１から図１１を参照して説明する。
本実施形態に係る画像処理装置１は、図１に示されるように、面順次方式の動画撮影装置と表示装置とに接続して使用される。
動画撮影装置は、例えば、内視鏡装置である。カラー動画を構成する動画フレームの各々は、複数の色チャネルのフレームから構成される。面順次方式の動画撮影装置は、色の異なる複数の光を順番に被写体に照射し、各色の光で照明されている被写体を撮影することによって、複数の色チャネルのフレームを順番に取得する。

【0018】

画像処理装置１は、動画撮影装置から複数の色チャネルのフレームを順番に受信し、時間軸方向に連続する複数の色チャネルのフレームを同時化処理することによって１枚のカラーの動画フレームを生成し、生成された動画フレームを一定のフレームレートで表示装置に送信する。これにより、表示装置にはカラー動画が表示される。

【0019】

本実施形態においては、一例として、ＲＧＢ形式の動画について説明する。したがって、動画撮影装置は、赤（Ｒ）、緑（Ｇ）および青（Ｂ）の光を順番に被写体に照射し、Ｒ、ＧおよびＢチャネルのフレーム（以下、Ｒフレーム、ＧフレームおよびＢフレームと言う。）を順番に繰り返し取得し、取得されたフレームを順番に画像処理装置１へ送信する。画像処理装置１は、図２に示されるように、時間軸方向に連続する３枚のＲ、ＧおよびＢフレームからＲＧＢ形式の１つの動画フレームを生成する。

【0020】

次に、画像処理装置１の詳細について説明する。
画像処理装置１は、図１に示されるように、動画撮影装置からＲ、ＧおよびＢフレームを受信する入力部２と、Ｒ、ＧおよびＢフレームの各々における被写体像Ａの動き量を算出する動き量算出部３と、算出された動き量を少なくとも一定期間記憶する動き量記憶部４と、動き量に基づいてＲ、ＧおよびＢフレームの各々用のブレ補正量を算出するブレ補正量算出部５と、ブレ補正量に基づいてＲ、ＧおよびＢフレームの各々用の安定ブレ補正量を算出する安定ブレ補正量算出部６と、安定ブレ補正量を少なくとも一定期間記憶する安定ブレ補正量記憶部７と、安定ブレ補正量に基づいてＲ、ＧおよびＢフレームの各々に対してブレ補正処理を実行するブレ補正部８と、ブレ補正処理されたＲ、ＧおよびＢフレームを同時化処理してＲＧＢ形式の動画フレームを生成する同時化処理部９と、動画フレームを表示装置に出力する出力部１０とを備えている。

【0021】

入力部２は、Ｒフレーム、ＧフレームおよびＢフレームを順番に繰り返し動画撮影装置から受信する。入力部２は、受信した最新のフレームを順次、動き量算出部３およびブレ補正部８に送信する。

【0022】

動き量算出部３は、入力部２から受信したフレームを一定期間保持する。動き量算出部３は、新たにフレームを受信すると、最新のフレーム（以下、「現在フレーム」という。）における被写体像Ａの動き量ｐ［０］，ｑ［０］を算出する。具体的には、動き量算出部３は、現在フレームと、該現在フレームと同一の色チャネルの直前のフレーム（すなわち、現在フレームよりも３つ前のフレーム。以下、「直前フレーム」と言う。）とを比較し、図３に示されるように、現在フレームにおける被写体像Ａの直前フレームからの動き量ｐ［０］，ｑ［０］を算出する。ここで、ｐ［０］およびｑ［０］はそれぞれ、現在フレームの水平方向（横方向）および垂直方向（縦方向）における動き量である。

【0023】

動き量算出部３は、算出された動き量ｐ［０］，ｑ［０］を、動き量記憶部４およびブレ補正量算出部５に送信する。動き量記憶部４は、最新の所定の数の動き量ｐ［ｔ］，ｑ［ｔ］（ｔ＝１，２，…）を記憶する。ｐ［ｔ］およびｑ［ｔ］は、現在フレームよりもｔフレーム前のフレームにおける被写体像Ａの動き量である。

【0024】

動き量ｐ［０］，ｑ［０］は、現在フレームを所定のサイズを有する複数のブロック領域に分割し、各ブロック領域の直前フレームに対するローカル動きベクトルを算出し、全てのブロック領域のローカル動きベクトルを加重平均することによって、算出される。

【0025】

ローカル動きベクトルの算出には、公知のテンプレートマッチング処理が用いられる。すなわち、直前フレームを現在フレームと同様に複数のブロック領域に分割する。次に、現在フレームの各ブロック領域について、直前フレームの各ブロック領域との相関値を算出し、相関値に基づいて直前フレーム内の対応するブロック領域を特定し、対応するブロック領域との位置の差をローカル動きベクトルとして算出する。テンプレートマッチング処理に使用される相関値としては、例えば、フレームの輝度値のＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅ Ｄｉｆｆｅｒｅｎｃｅ）、またはＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ）に基づく値が使用される。

【0026】

ローカル動きベクトルの算出方法は、上記のテンプレートマッチングに限定されるものではなく、他の公知の方法であってもよい。例えば、フレーム内の輝度の勾配に基づく勾配法またはフレーム内の輝度のエッジを特徴点として用いるマッチング手法を用いてもよい。
動き量算出部３は、入力部２から受信した未処理のフレームに代えて、エッジ強調フィルタやローパスフィルタ等の各種画像フィルタを適用したフレームを、動き量の算出に用いてもよい。

【0027】

ここで、動いている被写体を撮影しているときには、現在フレームと直前フレームとの間の被写体像Ａの動き量には、被写体の動きに起因する動き量と動画撮影装置のブレに起因する動き量（ブレ量）とが含まれる。動き量算出部３は、現在フレームと直前フレームとの間の被写体像Ａの動き量を、被写体の動きに起因する動き量とブレ量とに分解し、ブレ量を最終的な動き量ｐ［０］，ｑ［０］として算出する。

【0028】

被写体の動きに起因する動き量は、ブレ量に比べて緩やかに変化する。したがって、例えば、現在フレームと直前フレームとの間の被写体像Ａの動き量の時間平均を、被写体の動きに起因する動き量として算出し、現在フレームと直前フレームとの間の被写体像Ａの動き量と、被写体の動きに起因する動き量との差分を、ブレ量として算出する。

【0029】

ブレ補正量算出部５は、動き量算出部３から現在フレームの動き量ｐ［０］，ｑ［０］を受信すると、現在フレームよりも１からＮフレーム前のフレームの動き量ｐ［ｔ］，ｑ［ｔ］（ｔ＝１，２，…，Ｎ）を動き量記憶部４から読み出し、現在フレームと同一の色チャネルの直前のフレーム（直前フレーム）用の安定ブレ補正量Ｕ_ｏｌｄ，Ｖ_ｏｌｄを安定ブレ補正量記憶部７から読み出す。次に、ブレ補正量算出部５は、動き量ｐ［０］，ｑ［０］およびｐ［ｔ］，ｑ［ｔ］ならびに安定ブレ補正量Ｕ_ｏｌｄ，Ｖ_ｏｌｄに基づき、下式（１．１）および（１．２）から現在フレーム用のブレ補正量ｕ_ｎｅｗ，ｖ_ｎｅｗを算出する。ブレ補正量算出部５は、算出されたブレ補正量ｕ_ｎｅｗ，ｖ_ｎｅｗを安定ブレ補正量算出部６に送信する。

【0030】

【数1】

【0031】

式（１．１）および（１．２）において、ｕ_ｎｅｗおよびｖ_ｎｅｗはそれぞれ、現在フレーム用の水平方向および垂直方向のブレ補正量であり、Ｕ_ｏｌｄおよびＶ_ｏｌｄはそれぞれ、直前フレームの水平方向および垂直方向の安定ブレ補正量である。ｐ_ａｖｅおよびｑ_ａｖｅはそれぞれ、現在フレームよりもｔ（ｔ＝１，２，…，Ｎ）フレーム前のフレームの動き量ｐ［ｔ］，ｑ［ｔ］を積分加算することによって算出される水平方向および垂直方向の積算平均動き量である。Ｎは、積分加算するフレームの数である。動画フレームのブレ補正処理では、ブレ補正処理の開始時から時間方向に連続的にブレ補正処理が実行される。式（１．１）および（１．２）は、直前フレーム用の安定ブレ補正量Ｕ_ｏｌｄ，Ｖ_ｏｌｄに対して、現在フレームにおける被写体像Ａのブレを補正するための補正量が蓄積されることを表している。

【0032】

安定ブレ補正量算出部６は、ブレ補正量算出部５からブレ補正量ｕ_ｎｅｗ，ｖ_ｎｅｗを受信すると、安定ブレ補正量記憶部７から、現在フレームの色チャネル以外の色チャネルの直前のフレーム用の安定ブレ補正量Ｕ［ｔ］，Ｖ［ｔ］を読み出す。次に、安定ブレ補正量算出部６は、ブレ補正量ｕ_ｎｅｗ，ｖ_ｎｅｗと安定ブレ補正量Ｕ［ｔ］，Ｖ［ｔ］とを重み付け合成することによって、現在フレーム用の安定ブレ補正量Ｕ［０］，Ｖ［０］を算出する。すなわち、安定ブレ補正量算出部６は、下式（２．１）および（２．２）に示されるように、ブレ補正量ｕ_ｎｅｗ，ｖ_ｎｅｗに重み係数ｗ［０］を乗算し、安定ブレ補正量Ｕ［ｔ］，Ｖ［ｔ］に重み係数ｗ［ｔ］を乗算し、得られた積同士を加算する。

【0033】

【数2】

【0034】

式（２．１）および（２．２）において、Ｕ［ｔ］およびＶ［ｔ］はそれぞれ、現在フレームよりもｔ（ｔ＝１，２，…，Ｃ）フレーム前のフレーム用の水平方向および垂直方向の安定ブレ補正量である。Ｃ−１は、重み付け合成に用いる安定ブレ補正量の数である。本例においては、Ｃは、色チャネルの数（すなわち、３）を想定しているが、他の数であってもよい。ｗ［０］およびｗ［ｔ］は重み係数であり、重み係数の要素数はＣと等しい。

【0035】

式（２．１）および（２．２）の右式の第１項は、現在フレームに対するブレ補正の程度を表わしている。ｗ［０］が大きい程、現在フレームにおける被写体像Ａのブレが正確に補正される。一方、式（２．１）および（２．２）の右式の第２項は、色チャネル間のブレ補正量を近付ける作用を有する。ｗ［ｔ］が大きい程、Ｒ、ＧおよびＢフレーム間のブレ補正量の差異（トリミング領域の位置の差異）を低減し、動画フレーム内の色ズレの発生を抑制する効果が強くなる。

【0036】

安定ブレ補正量算出部６は、算出された安定ブレ補正量Ｕ［０］，Ｖ［０］を、安定ブレ補正量記憶部７およびブレ補正部８に送信する。
安定ブレ補正量記憶部７は、最新の所定の数のフレーム用の安定ブレ補正量Ｕ［ｔ］，Ｖ［ｔ］を記憶する。

【0037】

ブレ補正部８は、安定ブレ補正量算出部６から安定ブレ補正量Ｕ［０］，Ｖ［０］を受信すると、安定ブレ補正量Ｕ［０］，Ｖ［０］に基づいて現在フレームに対してブレ補正処理を実行する。ブレ補正処理は、トリミング領域の位置調整による電子式手ブレ補正処理である。電子式手ブレ補正処理には、公知の任意の方法が用いられる。例えば、ブレ補正部８は、図４に示されるように、現在フレームＩ内にトリミング領域Ｉ’を設定し、安定ブレ補正量Ｕ［０］，Ｖ［０］だけトリミング領域Ｉ’を基準のトリミング領域の位置（例えば、ブレ補正開始時のトリミング領域の位置）から水平方向および垂直方向に移動させ、移動後のトリミング領域Ｉ’を現在フレームＩから切り出す。ブレ補正部８は、切り出されたトリミング領域Ｉ’をブレ補正フレームとして同時化処理部９に送信する。

【0038】

ブレ補正フレームＩ’［ｃ］（ｘ，ｙ）は、現在フレームＩ［ｃ］（ｘ，ｙ）を用いて下式（３）で表わされる。式（３）において、ｘは水平方向の座標であり、ｙは垂直方向の座標であり、ｃ（＝Ｒ，Ｇ，Ｂ）は現在フレームの色チャネルである。Ｉ［ｃ］（ｘ，ｙ）およびＩ’［ｃ］（ｘ，ｙ）は、座標（ｘ，ｙ）における画素の輝度値をそれぞれ表している。

【0039】

【数3】

【0040】

上記のブレ補正処理においては、トリミング領域がフレーム毎に移動する。式（３）においては、ブレ補正開始時から現在フレームに至るまで全てのフレームのトリミング領域の移動量を積算した量として、ブレ補正量が表されている。

【0041】

同時化処理部９は、ブレ補正部８から受信したブレ補正フレームを一時的に保持する。同時化処理部９は、時間軸方向に連続するＲ、ＧおよびＢフレームから生成された３枚のブレ補正フレームを合成してＲＧＢ形式の動画フレームを生成し、生成された動画フレームを出力部１０に送信する。
出力部１０は、一定の時間間隔を空けて動画フレームを表示装置に送信する。これにより、表示装置には、一定のフレームレートのＲＧＢ形式の動画が表示される。

【0042】

次に、このように構成された画像処理装置１の作用について説明する。
本実施形態に係る画像処理装置１によれば、図５に示されるように、動画撮影装置からＲフレーム、ＧフレームおよびＢフレームを順番に繰り返し受信する（ステップＳ１）。現在フレームが受信されると、現在フレーム内の被写体像Ａの直前フレームからの動き量ｐ［０］，ｑ［０］が算出される（動き量算出ステップＳ２）。
算出された現在フレームの動き量ｐ［０］，ｑ［０］は、動き量記憶部４に記憶され（ステップＳ３）、この後に画像処理装置１に入力されるフレームのブレ補正量の算出に使用される。

【0043】

次に、ステップＳ２において算出された動き量ｐ［０］，ｑ［０］に基づいて、現在フレーム用のブレ補正量ｕ_ｎｅｗ，ｖ_ｎｅｗが算出される（ブレ補正量算出ステップＳ６）。このときに、直前の数フレームの動き量ｐ［ｔ］，ｑ［ｔ］が動き量記憶部４から読み出され（ステップＳ４）、現在フレームと同一の色チャネルの直前のフレームに対して既に算出されて記憶されている安定ブレ補正量Ｕ_ｏｌｄ，Ｖ_ｏｌｄが安定ブレ補正量記憶部７から読み出される（ステップＳ５）。そして、現在フレームの動き量ｐ［０］，ｑ［０］に加えて、ステップＳ４，Ｓ５において読み出された動き量ｐ［ｔ］，ｑ［ｔ］および安定ブレ補正量Ｕ_ｏｌｄ，Ｖ_ｏｌｄに基づいて、ブレ補正量ｕ_ｎｅｗ，ｖ_ｎｅｗが算出される（ステップＳ６）。

【0044】

次に、ステップＳ６において算出されたブレ補正量ｕ_ｎｅｗ，ｖ_ｎｅｗに基づいて、現在フレーム用の安定ブレ補正量Ｕ［０］，Ｖ［０］が算出される（安定ブレ補正量算出ステップＳ８）。このときに、現在フレームとは異なる色チャネルの直前のフレームに対して既に算出されて記憶されている安定ブレ補正量Ｕ［ｔ］，Ｖ［ｔ］が安定ブレ補正量記憶部７から読み出される（ステップＳ７）。そして、ブレ補正量（ｕ，ｖ）に加えて、ステップＳ７において読み出された安定ブレ補正量Ｕ［ｔ］，Ｖ［ｔ］に基づいて、安定ブレ補正量Ｕ［０］，Ｖ［０］が算出される（ステップＳ８）。

【0045】

算出された現在フレーム用の安定ブレ補正量Ｕ［０］，Ｖ［０］は、安定ブレ補正量記憶部７に記憶され（記憶ステップＳ９）、この後に画像処理装置１に入力されるフレームのブレ補正量および安定ブレ補正量の算出に使用される。

【0046】

次に、ステップＳ８において算出された安定ブレ補正量Ｕ［０］，Ｖ［０］に基づいて、現在フレームに対してブレ補正処理が実行される（ブレ補正ステップＳ１０）。次に、ステップＳ１０において生成されたブレ補正フレームと直前に生成された２枚のブレ補正フレームとが同時化処理されることによって動画フレームが生成される（ステップＳ１１）。生成された動画フレームは、表示装置に出力される（ステップＳ１２）。

【0047】

なお、必要な数の動き量ｐ［ｔ］，ｑ［ｔ］が動き量記憶部４に蓄積されるまでの間は、ブレ補正量算出部５は、過去のフレームの動き量ｐ［ｔ］，ｑ［ｔ］に代えて、初期設定された値または現在フレームの動き量ｐ［０］，ｑ［０］を用いる。同様に、必要な数の安定ブレ補正量Ｕ［ｔ］，Ｖ［ｔ］が安定ブレ補正量記憶部７に蓄積されるまでの間は、ブレ補正量算出部５および安定ブレ補正量算出部６は、過去のフレーム用の安定ブレ補正量Ｕ_ｏｌｄ，Ｖ_ｏｌｄまたはＵ［ｔ］，Ｖ［ｔ］に代えて、初期設定された値またはブレ補正量を用いる。

【0048】

ここで、動き量ｐ［０］，ｑ［０］は、同一の色チャネルの２枚のフレームから算出される。これは、面順次方式の動画撮影装置によって取得されるＲ、ＧおよびＢフレーム間では、被写体像Ａに差異が存在するからである。例えば、赤色の物体の像は、ＧおよびＢフレーム内では明りょうであるが、Ｒフレーム内では不明りょうとなる。したがって、被写体像Ａの正確な動き量を算出するためには、同一の色チャネルのフレームを使用する必要がある。

【0049】

このように、動き量ｐ［０］，ｑ［０］は色チャネル毎に独立に算出されるため、各色チャネルの動き量には互いに独立した誤差が生じる。したがって、１つの色チャネルの動き量のみに基づくブレ補正量を用いてブレ補正処理を実行すると、図６Ａに示されるように、Ｒフレームのトリミング領域Ｉｒ’と、Ｇフレームのトリミング領域Ｉｇ’と、Ｂフレームのトリミング領域Ｉｂ’との間に位置の差異が生じる。その結果、図６Ｂに示されるように、動画フレームにおいて、Ｒフレーム内の被写体像Ａｒと、Ｇフレーム内の被写体像Ａｇと、Ｂフレーム内の被写体像Ａｂとの間に位置の差異、すなわち色ズレが生じる。

【0050】

本実施形態によれば、現在フレームのブレ補正処理に、現在フレームとは異なる色チャネルのフレーム用の安定ブレ補正量Ｕ［ｔ］，Ｖ［ｔ］に依存する安定ブレ補正量Ｕ［０］，Ｖ［０］が用いられる。このように、Ｒフレーム、ＧフレームおよびＢフレーム用の安定ブレ補正量を相互に依存させることによって、図７Ａに示されるように、トリミング領域Ｉｒ’，Ｉｇ’，Ｉｂ’間の位置の差異が低減される。その結果、図７Ｂに示されるように、動画フレームにおける色ズレを低減することができるという利点がある。

【0051】

図８および図９はそれぞれ、ブレ補正量および安定ブレ補正量を用いてブレ補正処理を行ったときの、Ｒ、ＧおよびＢフレームの各々の理想のトリミング位置に対する実際のトリミング位置のズレ量の時間変化の一例を表している。理想のトリミング位置とは、動き量算出部３によって算出される動き量に誤差が無い場合のトリミング位置である。図８および図９において、同一時刻でのＲ、ＧおよびＢフレーム間のトリミング位置のズレ量の差異は、動画フレームにおける色ズレの発生を意味する。

【0052】

図８に示されるように、ブレ補正量を用いてブレ補正処理を行った場合には、Ｒ、ＧおよびＢフレーム間のトリミング位置のズレ量の差異が時間の経過に伴って増大しており、動画フレームにおいて色ズレが漸次増大する。これは、算出される動き量の誤差がチャネル毎に独立して累積し、その結果、ブレ補正量の色チャネル間の差異が次第に増大するからである。これに対し、図９に示されるように、安定ブレ補正量を用いてブレ補正処理を行った場合には、Ｒ、ＧおよびＢフレームのトリミング位置のズレ量は略一致しており、動画フレームにおいて色ズレが解消されることが分かる。

【0053】

式（２．１）および（２．２）における重みｗ［ｔ］に関して、フレーム毎に算出されるブレ補正量の時系列データを考えたときに、式（２．１）および（２．２）は、ＩＩＲ（無限インパルス応答）フィルタと見なすことができる。色ズレの抑制効果を得るためには、ＩＩＲフィルタが高周波成分を減衰させる特性を有するような重み係数ｗ［０］，ｗ［１］，ｗ［２］を設定すればよい。図１０は、好ましいＩＩＲフィルタの特性の一例を示している。図１０に示されるように、Ｃ＝３であるときには、ｗ［０］：ｗ［１］：ｗ［２］を６：１：１または３：３：２に設定することが、色ズレの低減に有効である。

【0054】

図１０のデータは、以下のシミュレーション実験から得た。
完全に静止している被写体を、ビデオカメラを用いて手持ちで撮影するシーンを想定し、フレームに、動き量として手ブレが発生するシーンを設定した。具体的には、シーンは、平均がゼロであり、標準偏差が６である正規分布に従って発生する乱数に基づいて振動するシーンに設定した。さらに、動き量には、平均がゼロであり、標準偏差が２である正規分布に従って発生する乱数に基づく誤差が含まれると設定した。このような条件設定の下で、図１１に示される動き量が得られた。図１１において、実線はシーンの振動を示し、破線は動き量を示している。

【0055】

（第２の実施形態）
次に、本発明の第２の実施形態に係る画像処理装置について図１２を参照して説明する。
第１の実施形態においては、安定ブレ補正量算出部６が、安定ブレ補正量の算出に所定の重み係数ｗ［ｔ］（ｔ＝０，１，２，…，Ｃ）を使用することとした。これに対し、本実施形態に係る画像処理装置は、動き量算出部３が、動き量ｐ［０］，ｑ［０］に加えて該動き量ｐ［０］，ｑ［０］の信頼度ｗ_ｒｅｌをさらに算出し、安定ブレ補正量算出部６が、ブレ補正量ｕ_ｎｅｗ，ｖ_ｎｅｗおよび安定ブレ補正量Ｕ［ｔ］，Ｖ［ｔ］に付す重みを信頼度ｗ_ｒｅｌに基づいて決定する点において、第１の実施形態と異なっている。

【0056】

動き量算出部３は、図１２に示されるように、ステップＳ２において動き量ｐ［０］，ｑ［０］を算出した後に、続いて動き量ｐ［０］，ｑ［０］の信頼度ｗ_ｒｅｌを算出する（ステップＳ３）。Ｒ、ＧおよびＢフレームにノイズが含まれている場合や、Ｒ、ＧおよびＢフレーム中に動き量の算出に有効な輝度のエッジやテクスチャが少ない場合、動き量ｐ［０］，ｑ［０］の算出精度が低下し得る。また、面順次方式においては、Ｒ、ＧおよびＢフレーム間で輝度値が異なるため、動き量の算出精度が色チャネル毎に異なり得る。

【0057】

信頼度ｗ_ｒｅｌは、動き量ｐ［０］，ｑ［０］の算出精度を表す値であり、０以上１以下の値を有する。信頼度ｗ_ｒｅｌは、動き量ｐ［０］，ｑ［０］の算出精度が高いほど１に近い値となり、動き量ｐ［０］，ｑ［０］の算出精度が低いほどゼロに近い値となる。信頼度ｗ_ｒｅｌの算出には、例えば、各ローカル動きベクトルの信頼度を算出し、信頼度が所定の閾値以上であるローカル動きベクトルの数の割合を信頼度ｗ_ｒｅｌとして算出する方法が用いられる。ローカル動きベクトルの信頼度の算出方法としては、公知の任意の方法（例えば、特開２０１０−４１４１６号公報に記載の方法）が用いられる。

【0058】

あるいは、各色チャネルのフレームの動き量ｐ［０］，ｑ［０］の算出精度について事前に情報が存在する場合には、その情報に基づいて色チャネル毎に信頼度ｗ_ｒｅｌを設定してもよい。例えば、テンプレートマッチング処理において被写体像Ａの有用な特徴を検出し易い色チャネルの信頼度ｗ_ｒｅｌを、他の色チャネルの信頼度よりも大きく設定することが有効である。

【0059】

本実施形態のステップＳ８において、安定ブレ補正量算出部６は、式（２．１）および（２．２）に代えて、下式（４．１）および（４．２）に基づいて安定ブレ補正量Ｕ［ｔ］，Ｖ［ｔ］を算出する。すなわち、安定ブレ補正量算出部６は、動き量ｐ［０］，ｑ［０］の信頼度ｗ_ｒｅｌが大きい程、ブレ補正量ｕ_ｎｅｗ，ｖ_ｎｅｗに付される重みが大きくなり、安定ブレ補正量Ｕ［ｔ］，Ｖ［ｔ］に付される重みが小さくなるように、ブレ補正量ｕ_ｎｅｗ，ｖ_ｎｅｗおよび安定ブレ補正量Ｕ［ｔ］，Ｖ［ｔ］に対する重みを信頼度ｗ_ｒｅｌに基づいて調整する。

【0060】

【数4】

【0061】

このように、本実施形態によれば、動き量ｐ［０］，ｑ［０］の信頼度ｗ_ｒｅｌに基づいて安定ブレ補正量Ｕ［０］，Ｖ［０］の算出に使用される重み係数が調整される。これにより、算出精度の低い動き量ｐ［０］，ｑ［０］が安定ブレ補正量Ｕ［０］，Ｖ［０］に与える影響を抑制してより正確な安定ブレ補正量Ｕ［０］，Ｖ［０］を算出することができ、動画フレーム内の色ズレをさらに低減することができるという利点がある。

【0062】

上記の第１および第２の実施形態においては、説明および理解を容易にするため、動き量算出部３による動き量ｐ［０］，ｑ［０］の算出方法として、フレーム間の動きベクトルに基づく方法を説明したが、動き量の算出方法はこれに限定されるものではない。例えば、加速度センサを用いて動き量を算出してもよい。

【0063】

上記の第１および第２の実施形態においては、動き量算出部３によって算出される動き量ｐ［０］，ｑ［０］として、水平方向および垂直方向の動きベクトルを算出することとしたが、これに代えて、またはこれに加えて、被写体像Ａの倍率、回転および歪みを動き量として算出してもよい。これらの動き量は、行列して表現することができる（例えば、文献「Full-frame video sｔabilizaｔion ｗiｔh moｔion inpainｔing、PAMI2006、IEEE Transacｔions、Volume 28、Issue 7、pp. 1150-1163、Maｔsushiｔa eｔ al」参照。）。

【0064】

上記の第１および第２の実施形態においては、ブレ補正処理として電子式手ブレ補正処理を用いることとしたが、これに代えて、他のブレ補正処理を用いてもよい。例えば、光学式手ブレ補正処理を用いてもよい。具体的には、手ぶれ補正レンズ、撮像素子および駆動制御部を搭載した動画撮影装置に本実施形態の画像処理装置１を組み合わせ、駆動制御部が、ブレ補正量算出部５によって算出された安定ブレ補正量に基づいて手ブレ補正レンズおよび撮像素子を光軸に交差する方向に相対移動させるように構成してもよい。

【0065】

上述した画像処理装置１は、例えば、専用または汎用のプロセッサから構成される。具体的には、プロセッサは、中央演算処理装置（ＣＰＵ）と、ＲＡＭのような主記憶装置と、補助記憶装置とを備える。補助記憶装置は、ＨＤＤまたは各種メモリのようなコンピュータ読み取り可能な非一時的な記憶媒体であり、上述した各部３，５，６，８，９による処理（ステップＳ２〜Ｓ１３）をＣＰＵに実行させるための画像処理プログラムを格納している。この画像処理プログラムが、補助記憶装置から主記憶装置に読み出され実行されることによって、上述した画像処理が実現されるようになっている。
あるいは、画像処理装置１の各部３，５，６，８，９は、各部３，５，６，８，９の機能を実行する専用の回路によって実現されてもよい。

【符号の説明】

【0066】

１ 画像処理装置
２ 入力部
３ 動き量算出部
４ 動き量記憶部
５ ブレ補正量算出部
６ 安定ブレ補正量算出部
７ 安定ブレ補正量記憶部（記憶部）
８ ブレ補正部
９ 同時化処理部
１０ 出力部
Ｓ２ 動き量算出ステップ
Ｓ６ ブレ補正量算出ステップ
Ｓ８ 安定ブレ補正量算出ステップ
Ｓ９ 記憶ステップ
Ｓ１０ ブレ補正ステップ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7A】

【図7B】

【図8】

【図9】

【図10】

【図11】

【図12】