(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-03-15
(45)【発行日】2023-03-24
(54)【発明の名称】画像処理装置、画像処理プログラム及び画像処理方法
(51)【国際特許分類】
H04N 23/60 20230101AFI20230316BHJP
H04N 23/68 20230101ALI20230316BHJP
G06T 7/20 20170101ALI20230316BHJP
【ＦＩ】
H04N23/60 500
H04N23/68
G06T7/20
【請求項の数】
9
(21)【出願番号】P 2019518857
(86)(22)【出願日】2018-05-17
(86)【国際出願番号】 JP2018019085
(87)【国際公開番号】W WO2018212272
(87)【国際公開日】2018-11-22
【審査請求日】2021-04-20
(31)【優先権主張番号】P 2017098476
(32)【優先日】2017-05-17
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】593107926
【氏名又は名称】株式会社クリプトン
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【弁理士】
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【弁理士】
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【弁理士】
【氏名又は名称】内藤 和彦
(74)【代理人】
【識別番号】100108213
【弁理士】
【氏名又は名称】阿部 豊隆
(72)【発明者】
【氏名】濱田 正久
(72)【発明者】
【氏名】緒方 正人
【審査官】大西 宏
(56)【参考文献】
【文献】特開２００６－３５０３３４（ＪＰ，Ａ）
【文献】特開２０１０－１８３３８６（ＪＰ，Ａ）
【文献】特開２０１１－１９９７１６（ＪＰ，Ａ）
【文献】特開２０１１－２３４８４４（ＪＰ，Ａ）
【文献】特開２０１２－２２１０２２（ＪＰ，Ａ）
【文献】特開２０１３－０４８４６５（ＪＰ，Ａ）
【文献】特開２０１５－０９０４７１（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１３／０１００３０３（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１５／００２９３０６（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１７／００９４１８４（ＵＳ，Ａ１）
【文献】国際公開第２０１０／１３１６２０（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２３／４０ －２３／７６
Ｇ０６Ｔ ７／００ － ７／９０
(57)【特許請求の範囲】
【請求項1】
動画における、特定の被写体を含む特定領域の動きを示すグローバル運動を、前記動画に含まれる複数のフレーム画像から推定するグローバル運動推定手段と、前記動画における、前記特定の被写体の動きを示すローカル運動を、前記複数のフレーム画像から推定するローカル運動推定手段と、
推定されたグローバル運動及びローカル運動に基づいて、前記動画における前記特定の被写体又は前記特定領域の動きを補正する画像補正手段と、
を備え、
前記画像補正手段は、推定された前記グローバル運動に対応する射影変換行列を作成し、
推定された前記ローカル運動に基づいて前記射影変換行列を補正し、
前記補正された射影変換行列に基づいて、前記動画における前記特定の被写体又は前記特定領域の動きを補正する、画像処理装置。
【請求項2】
前記ローカル運動推定手段は、前記特定の被写体が含まれる領域における特定点の移動量を用いてローカル運動を推定する、請求項１記載の画像処理装置。
【請求項3】
前記特定点は、前記被写体の重心である、請求項２記載の画像処理装置。
【請求項4】
前記グローバル運動推定手段及び前記ローカル運動推定手段は、入力画像を縮小した画像を用いてグローバル運動及びローカル運動を推定する、請求項１乃至３記載の画像処理装置。
【請求項5】
動画における、特定の被写体を含む特定領域の動きを示すグローバル運動を、前記動画に含まれる複数のフレーム画像から推定するグローバル運動推定を実行するステップと、前記動画における、前記特定の被写体の動きを示すローカル運動を、前記複数のフレーム画像から推定するローカル運動推定を実行するステップと、
推定されたグローバル運動及びローカル運動に基づいて、前記動画における前記特定の被写体又は前記特定領域の動きを補正する画像補正を実行するステップと、
をコンピュータに実行させる画像処理プログラムであって、
前記画像補正を実行するステップは、推定された前記グローバル運動に対応する射影変換行列を作成することと、推定された前記ローカル運動に基づいて前記射影変換行列を補正することと、前記補正された射影変換行列に基づいて、前記動画における前記特定の被写体又は前記特定領域の動きを補正することと、を含む、画像処理プログラム。
【請求項6】
動画における、特定の被写体を含む特定領域の動きを示すグローバル運動を、前記動画に含まれる複数のフレーム画像から推定するグローバル運動推定を実行するステップと、前記動画における、前記特定の被写体の動きを示すローカル運動を、前記複数のフレーム画像から推定するローカル運動推定を実行するステップと、
推定されたグローバル運動及びローカル運動に基づいて、前記動画における前記特定の被写体又は前記特定領域の動きを補正する画像補正を実行するステップと、
を有し、
前記画像補正を実行するステップは、推定された前記グローバル運動に対応する射影変換行列を作成することと、推定された前記ローカル運動に基づいて前記射影変換行列を補正することと、前記補正された射影変換行列に基づいて、前記動画における前記特定の被写体又は前記特定領域の動きを補正することと、を含む、画像処理方法。
【請求項7】
動画を撮影する撮影用カメラと、前記動画の画像を処理する画像処理装置と、画像処理された前記動画の画像を表示する表示装置を有する画像処理システムであって、前記画像処理装置は、前記動画における、特定の被写体を含む特定領域の動きを示すグローバル運動を、前記動画に含まれる複数のフレーム画像から推定するグローバル運動推定手段と、
前記動画における、前記特定の被写体の動きを示すローカル運動を、前記複数のフレーム画像から推定するローカル運動推定手段と、
推定されたグローバル運動及びローカル運動に基づいて、前記動画における前記特定の被写体又は前記特定領域の動きを補正する画像補正手段と、を備え、
前記画像補正手段は、推定された前記グローバル運動に対応する射影変換行列を作成し、
推定された前記ローカル運動に基づいて前記射影変換行列を補正し、
前記補正された射影変換行列に基づいて、前記動画における前記特定の被写体又は前記特定領域の動きを補正する、画像処理装置である、
画像処理システム。
【請求項8】
推定されたグローバル運動若しくはローカル運動又はその両方に基づいて、前記撮影用カメラの動作を調整するカメラ動作調整装置を有する請求項７記載の画像処理システム。
【請求項9】
推定されたグローバル運動若しくはローカル運動又はその両方に基づいて、前記特定の被写体の位置を調整する被写体位置調整装置を有する請求項７又は８記載の画像処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理プログラム及び画像処理方法に関する。
【背景技術】
【0002】
一般に、動画においては、カメラ等の動きに起因した画像の特定領域（画像全体でもよい）の動きを示すグローバル運動と、特定の被写体の動きを示すローカル運動とが存在することが知られている。
【0003】
従来、グローバル運動を推定する方法として、ブロック毎に得られた動きベクトルの平均値やメジアン値、最頻値を取る処理が簡易方法として用いられてきた。また、画面全体をひとつの大きなブロックとして画面全体の動きベクトルを推定する画像処理装置が知られている。
【0004】
下記特許文献１には、映像処理による歪み補正を行う方法が開示されているが、画像特徴点を用いる方法であり、映像の揺れによる平行移動成分と歪み成分の両者を別々に推定する技術思想が開示されている。
【先行技術文献】
【特許文献】
【0005】
【文献】特開２０１３－０１７１５５号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、上記の従来技術では、グローバル運動やローカル運動のうち、所望の運動を指定して補正することができないという問題が生じていた。
【0007】
本発明はこのような事情に鑑みてなされたものであり、所望の運動を指定して補正することのできる画像処理装置、画像処理プログラム及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の一側面に係る画像処理装置は、動画における、特定の被写体を含む特定領域（画像全体でもよい）の動きを示すグローバル運動を、動画に含まれる複数のフレーム画像から推定するグローバル運動推定手段と、動画における、特定の被写体の動きを示すローカル運動を、複数のフレーム画像から推定するローカル運動推定手段と、推定されたグローバル運動及びローカル運動に基づいて、動画における特定の被写体又は特定領域の動きを補正する画像補正手段と、を備える。
【0009】
また、本発明の一側面に係る画像処理プログラムは、動画における、特定の被写体を含む特定領域（画像全体でもよい）の動きを示すグローバル運動を、動画に含まれる複数のフレーム画像から推定するグローバル運動推定を実行するステップと、動画における、特定の被写体の動きを示すローカル運動を、複数のフレーム画像から推定するローカル運動推定を実行するステップと、推定されたグローバル運動及びローカル運動に基づいて、動画における特定の被写体又は前記特定領域の動きを補正する画像補正を実行するステップと、を備える。
【0010】
また、本発明の一側面に係る画像処理方法は、動画における、特定の被写体を含む特定領域（画像全体でもよい）の動きを示すグローバル運動を、動画に含まれる複数のフレーム画像から推定するグローバル運動推定を実行するステップと、動画における、特定の被写体の動きを示すローカル運動を、複数のフレーム画像から推定するローカル運動推定を実行するステップと、推定されたグローバル運動及びローカル運動に基づいて、動画における特定の被写体又は前記特定領域の動きを補正する画像補正を実行するステップと、を備える。
【発明の効果】
【0011】
本発明によれば、指定した運動を補正することにより、所望の画像処理を行うことが可能となる。
【図面の簡単な説明】
【0012】
【図1】本発明の一実施形態による画像処理システム１の概略図
【図2】本発明の一実施形態による画像処理装置１０の概念図
【図3】空間上の点とカメラ運動に対応する画像内画素点の対応関係
【図4】空間中の３次元の運動に起因する２次元画像運動の概要図
【図5】本発明の一実施形態によるグローバル運動推定部２００の概念図
【図6】対応点列メモリの概要図
【図7】本発明の一実施形態による対応点選択部２３０の処理の概要図
【図8】特定の被写体の輪郭及び重心点の抽出の概要図
【図9】本発明の一実施形態によるローカル運動推定部３００の概念図
【図10】本発明の一実施形態による画像補正部４００の概念図
【図11】カメラ運動によるカメラ軸変化の模式図
【図12】並列処理を可能とした画像処理装置１０の概念図
【図13】画像処理装置１０による画像処理に起因してブラックエリアが発生する場合の概念図
【図14】カメラ動作調整装置を組み合わせた画像処理システム１の概念図
【図15】被写体位置調整装置を組み合わせた画像処理システム１の概念図
【図16】画像処理装置１０を適用した医療用映像処理システム２の概念図
【発明を実施するための形態】
【0013】
以下、本発明の実施形態について図面を参照して説明する。
【0014】
図１は、本発明の一実施形態による画像処理システム１の概略図である。画像処理システム１は、画像処理装置１０、撮影用カメラ２０及び表示装置３０を備える。撮影用カメラ２０は、所定の撮影対象を撮影した画像を示す入力画像データを生成し、画像処理装置１０に送信する。画像処理装置１０は、撮影用カメラ２０から受信した入力画像データに所定の処理を行い、出力画像データを表示装置３０に送信する。表示装置３０は、画像処理装置１０から受信した出力画像データに基づいて、所定の画像を表示する。
【0015】
図２は、本発明の一実施形態による画像処理装置１０の概念図である。画像処理装置１０は、画像縮小部１００、グローバル運動推定部２００、ローカル運動推定部３００及び画像補正部４００を備える。
【0016】
画像縮小部１００は、入力画像データを所望の処理画像データに縮小して、後段のグローバル運動推定処理及びローカル運動推定処理の高速化を図るものである。分解能の高い画像データによる画像処理は、所定のビデオレートに対応する処理時間内での処理を困難とすることがある。そのため、入力画像データを直接用いず、射影変換行列などを算出するための計算処理用の画像データとして所定サイズに分離縮小することにより、処理の効率化を図ることができる。画像サイズを縮小するとともに、入力画像データを所定の画像形式に変換してもよい。なお、後述のとおり、画像補正部４００による画像補正の対象とする画像としては、入力画像データそのものを利用する。
【0017】
グローバル運動推定部２００は、対象とするフレームの画像データと対象フレームよりも前のフレーム（例えば１フレーム前の画像データ）とに基づいてグローバル運動を推定する。グローバル運動推定部２００に含まれる各構成の詳細については後述する。
【0018】
ローカル運動推定部３００は、対象とするフレームの画像データと対象フレームよりも前のフレーム（例えば１フレーム前の画像データ）とに基づいてローカル運動を推定する。ローカル運動推定部３００に含まれる各構成の詳細については後述する。なお、ローカル運動の補償を要しない場合には、ローカル運動推定部３００の機能をオフにしてもよい。
【0019】
画像補正部４００は、推定されたグローバル運動及びローカル運動に基づいて、射影変換行列を作成し、動画における特定の被写体又は特定領域（画像全体でもよい）の動きを補正する。画像補正部４００に含まれる各構成の詳細については後述する。
【0020】
画像処理装置１０による画像処理の概要を説明する前提として、まず、動画像中における運動について以下説明する。
【0021】
図３に、３次元空間上の点Ｐｉと対応するカメラ位置ｂ（第ｂフレームにおけるカメラ位置としてもよい。）における画像の画素点ｐｉ
ｂ、カメラ位置ｎ（第ｎフレームにおけるカメラ位置としてもよい。）における画像の画素点ｐｉ
ｎ及びカメラ位置ｒ（第ｒフレームにおけるカメラ位置としてもよい。）の画像の画素点ｐｉ
ｒの関係を示す。ここで、ｉは画素点の番号を示す。
【0022】
空間上の点Ｐｉとスクリーン上の点ｐｉ
ｎの間の関係を、同次座標を用いてベクトル式で記述すると以下のとおりである。
【0023】
【数1】
【0024】
ただし、ＭＩ及びＭＥはそれぞれカメラの内部パラメータ及び外部パラメータを示す。内部パラメータはカメラのレンズ系に依存した情報であり、外部パラメータは、空間内におけるカメラの位置及び撮像方向を示す情報である。式（１）を要素に展開すると、以下のとおりとなる。
【0025】
【数2】
【0026】
ただし、Ｘｉ、Ｙｉ及びＺｉは被写体の特定点の三次元座標を、ｘｉ
ｎ及びｙｉ
ｎはカメラ位置ｎにおける前記被写体の特定点に対応する画素点を示す。また、ｆｘ及びｆｙは焦点距離を、ｃｘ及びｃｙは中心からの光軸のずれを、Ｒｎ及びｔｎはそれぞれカメラ位置番号ｎにおけるカメラ座標系への回転及び平行移動を示す。また、画素位置が（ｘｉ
ｎ，ｙｉ
ｎ，１）と正規化されるよう予めスケール情報であるλｉ
ｎ倍している。
【0027】
内部パラメータ及び外部パラメータを射影変換行列Ｈｎにまとめると、式（３）を得る。
【0028】
【数3】
【0029】
カメラ位置ｒに関しても、以上と同様に式（４）及び式（５）が得られる。
【0030】
【数4】
【数5】
【0031】
Ｈｎは３行４列の行列であり、この一般化逆行列（Ｈｎ）－は、式（６）のとおりである。なお、一般化逆行列（Ｈｎ）－は、４行３列の行列である。
【数6】
【0032】
これにより、カメラ位置ｎの画素点とカメラ位置ｒの画素点の間の対応は、式（７）のとおり表すことができる。
【数7】
【0033】
カメラ位置ｎの画像の画素位置を、運動後のカメラ位置ｒの画像の対応する画素位置へ変換する射影変換行列をＨｎ２ｒとして式（７）を変換すると、以下の式（８）が得られる。
【数8】
【0034】
なお、カメラ位置ｒ及びｎで用いられるカメラが同一カメラの場合には、内部パラメータＭＩは相殺され射影変換行列Ｈｎ２ｒに含まれない。
【0035】
次に、画像の運動（画像中の物体の運動）について説明する。３次元空間中で輪郭を持つ実体は、２次元投影された画像中においても、２次元物体としての輪郭を有する。画像中のこれらの２次元物体がフレーム毎に画像上で占める位置を変えることを画像の運動（正確には画像中の物体の運動）という。画像の運動は、その発生要因に応じて表１のとおりに分類することができる。なお、「運動の周波数」とは、厳密には運動軌跡の空間周波数を指す。
【0036】
【表1】
【0037】
まず、カメラ等の動きに起因した画像の特定領域（画像全体でもよい）の動きを示すグローバル運動が存在する。カメラの運動を要因とする画像の運動は全被写体が同じ方向（消失点）に一律に運動する。グローバル運動の要因であるカメラの運動はカメラの方向を選択するパン／チルト等の意図的な運動と、振動等の意図しない運動要因に分かれる。一方、空間中の物体の個別の運動は画像中の特定の部分のみが運動するローカル運動である。通常、画像中の運動はグローバル運動にローカル運動が重ね合わされたものとなる。
【0038】
図４は、空間中の３次元の運動に起因する２次元画像運動を、対応する画素の動きを用いて示すものである。図４（ａ）はカメラ等の運動に起因する画像のグローバル運動を示した模式図である。ある時刻（例えば第ｎフレーム）の特定の画素ｉ及びｓに対応する画素点ｐｉ
ｎ及びｐｓ
ｎが、それぞれ次のある時刻で対応する画素位置ｐｉ
ｎ＋１及びｐｓ
ｎ＋１に移動したことを示している。運動は矢印の移動量ベクトルで示される。
【0039】
図４（ｂ）はより多くの画素点についての移動量ベクトルを図示したものである。グローバル運動の特徴は、ベクトルの方向が均一に射影変換されて消失点の方向を向くということである。また、図４（ｂ）は空間中の物体の自立的な運動とカメラの運動が同時に起こった場合の様子を示している。つまり、グローバル運動以外に、一部の特定の画像部分でローカル運動が存在する。図中、消失点と異なる方向を向く破線で示された矢印が、ローカル運動の移動量ベクトルである。
【0040】
次に、画像処理装置１０による画像処理の概要を説明する。
【0041】
画像縮小部１００は、入力画像データを所望のサイズに縮小した画像データを得る。
【0042】
グローバル運動推定部２００によるグローバル運動の推定について、以下説明する。
【0043】
図５は、グローバル運動推定部２００の構成例を示している。グローバル運動推定部２００は、例えば輝度画像生成部２１０、対応点検出部２２０及び対応点選択部２３０を備える。
【0044】
輝度画像生成部２１０は、入力された画像データ（縮小されたサイズの画像でもよい。）をグレースケール画像（モノクロの輝度画像で例えば８ビット）に変換する。
【0045】
対応点検出部２２０は、２つのフレームにおける画像データ（例えば対象となるフレームにおける画像データ及びその１つ前のフレームの画像データ）において、対応点がどのように動いたかを検出する。対応点の特定は、適宜の方法で行うことができるが、例えば注目する画像の輝度と周囲の輝度勾配が類似している点を対応点として認識することで行う。対応点検出部は、検出した対応点に関する情報を、対応点列メモリ情報として出力する。図６に、対応点列メモリの概要を示す。
【0046】
対応点選択部２３０は、対応点検出部２２０が検出した対応点の中から、適宜の対応点を選択する。後述するように、射影変換行列を解くためには４点以上の対応点が必要となる。図７に、対応点選択部２３０の処理の概要を示す。選択された対応点の情報は、画像補正部４００へ出力される。
【0047】
ローカル運動推定部３００によるローカル運動の推定について、以下説明する。なお、ローカル運動の推定は、適宜の方法により行うことができるが、以下では、特定の被写体の重心の移動量に基づくローカル運動の推定について説明する。図８に、特定の被写体の輪郭及び重心点の抽出の概要を示す。
【0048】
図９は、ローカル運動推定部３００の構成例を示している。ローカル運動推定部３００は、領域抽出部３１０、重心計算部３２０及び移動量計算部３３０を備える。
【0049】
領域抽出部３１０は、ローカル運動をする特定の被写体が占める領域を抽出する。領域の抽出は適宜の方法によって行うことができるが、例えば、特定の色相を持つ領域を抽出することで行う。
【0050】
重心計算部３２０は、領域抽出部３１０で抽出された領域について、適宜の方法で輪郭線を構成する点列の座標（（ｘ１
ｎ，ｙ１
ｎ），…，（ｘｉ
ｎ，ｙｉ
ｎ），…，（ｘＮ
ｎ，ｙＮ
ｎ））を作成し、以下の式（９）に従い、特定の被写体の重心位置を求める。なお、二値化画像として処理してもよい。
【0051】
【数9】
【0052】
１つ前のフレームとの間の移動量ベクトルは、以下の式（１０）で求められる。移動量ベクトルの値は、画像補正部４００へ出力される。
【数10】
【0053】
次に、画像補正部４００による画像の補正について説明する。
【0054】
図１０は、画像補正部４００の構成例を示している。画像補正部４００は、読出部４１０、射影変換行列計算部４２０及び画像処理部４３０を備える。
【0055】
読出部４１０は、グローバル運動の対応点情報及びローカル運動の移動量ベクトル情報を読み出し、射影変換行列計算部４２０に送る。
【0056】
射影変換行計算部４２０は、まず、グローバル運動の対応点情報に基づいて、グローバル運動に関連する射影変換行列を作成する。前述のとおり、カメラ位置ｎ（すなわち第ｎフレーム）の画像の画素位置を、運動後のカメラ位置ｒ（すなわち第ｒフレーム）の画像の対応する画素位置へ変換する射影変換行列は、式（８）のとおりである。
【0057】
Ｈｎ２ｒは３行３列であるので高々９個の未知数を持つ。ｐ～
ｉ
ｎ及びｐ～
ｉ
ｒは既知であるので、対となる複数の対応点列を用いて連立方程式を解けば、未知のＨｎ２ｒを求めることができる。同次座標系を用いた関係式であり、射影変換行列は３行３列の行列でスケールが未定であるため、自由度は８となる。したがって、Ｈｎ２ｒは以下のように表現することができ、行列形式の未知数は８要素となる。
【0058】
【数11】
【0059】
Ｈｎ２ｒは、追跡点数が４点以上あれば解くことができる。以下、追跡点が４点である場合について説明する。まず、各追跡点の第ｎフレームと第ｒフレームの位置関係は、以下のように示すことができる。
【0060】
【数12】
【0061】
式（１２）を要素で書き換えると、以下のとおりとなる。
【0062】
【数13】
【0063】
式（１３）を通常の連立方程式に整理すると、以下のとおりとなる。
【0064】
【数14】
【0065】
式（１４）に示された方程式を解けば、Ｈｎ２ｒの未知の各要素を算出することができる。
【0066】
次に、射影変換行列計算部４２０は、ローカル運動推定部３００から受け取った移動量ベクトルの値に基づいて、Ｈｎ２ｒを以下のように補正する。ここで、Ｗｉｄｔｈは画像の横方向の画素数を、Ｈｅｉｇｈｔは縦方向の画素数を示す。
【0067】
【数15】
【0068】
射影変換行列計算部は、以下のとおり、第ｎフレームから第ｒフレームへの射影変換行列Ｈｎ２ｒと、第ｂフレームから第ｎフレームへの射影変換行列Ｈｂ２ｎから、第ｂフレームから第ｒフレームへの射影変換行列Ｈｂ２ｒを算出する。
【0069】
【数16】
【0070】
射影変換行列Ｈｂ２ｒは、一フレームごとに累積的に計算することとしてもよい。すなわち、式（１６）において、ｎを（ｎ－１）に、ｒをｎに置き換えれば、第ｎ－１フレームから第ｎフレームへの射影変換行列Ｈ（ｎ－１）２ｎと、第ｂフレームから第ｎ－１フレームへの射影変換行列Ｈｂ２（ｎ－１）から、第ｂフレームから第ｎフレームへの射影変換行列Ｈｂ２ｎを算出することができる。同様に、第ｂフレームから第ｎ－１フレームへの射影変換行列Ｈｂ２（ｎ－１）についても、第ｎ－２フレームから第ｎ－１フレームへの射影変換行列Ｈ（ｎ－２）２（ｎ－１）と、第ｂフレームから第ｎ－２フレームへの射影変換行列Ｈｂ２（ｎ－２）から算出される。このように、射影変換行列計算部４２０は、第ｂフレームから１フレーム毎に１つ前のフレームからの射影変換行列を累積的に乗算することにより、累積的に射影変換行列を作成するものとすることができる。
【0071】
なお、射影変換行列計算部は、基準となるフレームを所定の周期毎に更新する基準画像周期を設定してもよい。基準画像周期を設定することにより、運動の周波数が低い意図的グローバル運動と、運動の周波数が高い非意図的グローバル運動とを区別して検出することが可能となる。カメラ運動によるカメラ軸変化の模式図を図１１に示す。カメラのパンやチルトのような意図的グローバル運動の長周期波形に、手ぶれや振動等のような非意図的グローバル運動の短周期波形が重畳される。短い基準画像周期を設定することにより、意図的グローバル運動を補償しないようにすることができる。
【0072】
画像処理部４３０は、第ｂフレームから第ｎフレームへの（累積）射影変換行列Ｈｂ２ｎを用いて、第ｎフレームの入力画像データに対し、以下のとおり補償を行う。ただし、入力画像データの画素をｐｉ
ｒ、変換後の画素をｐｉ
ｂ’とする。なお、ここでの補償に用いる入力画像データは、縮小された画像データではなく、元のサイズの入力画像データを用いることができる。
【0073】
【数17】
【0074】
以上、画像処理装置１０の例示的な実施形態について説明した。画像処理装置１０の基本的な実施形態では、動画における、特定の被写体を含む特定領域の動きを示すグローバル運動を、動画に含まれる複数のフレーム画像から推定するグローバル運動推定部２００と、動画における、特定の被写体の動きを示すローカル運動を、複数のフレーム画像から推定する推定部３００と、推定されたグローバル運動及びローカル運動に基づいて、動画における特定の被写体又は前定領域の動きを補正する画像補正部４００と、を備える。これにより、所望の運動を指定して画像を補正することができる。
【0075】
ローカル運動推定部３００は、特定の被写体が含まれる領域における特定点の移動量を用いてローカル運動を推定することとしてもよい。また、ローカル運動推定部３００が用いる特定点は、被写体の重心としてもよい。これにより、特定の被写体の重心点が停止し、他の部分が相対的に運動する画像を生成することができる。
【0076】
画像補正部４００は、推定されたグローバル運動に対応する射影変換行列を作成し、推定されたローカル運動に基づいて射影変換行列を補正し、補正された射影変換行列に基づいて、動画における特定の被写体又は特定領域の動きを補正することとしてもよい。これにより、グローバル運動とローカル運動とを同時に補償することができる。
【0077】
グローバル運動推定部２００及び前記ローカル運動推定部３００は、入力画像を縮小した画像を用いてグローバル運動及びローカル運動を推定することとしてもよい。これにより、射影変換行列を算出するための処理を効率化することができる。
【0078】
画像処理装置１０は、並列的処理を行うこととしてもよい。図１２に一例を示す。メモリ部５００は、入力画像データを例えば第ｎフレームの入力画像データＩｍａｇｅｎ及び１つ前の第ｎ－１フレームの入力画像データＩｍａｇｅｎ－１を保持する。メモリ部５００は、Ｉｍａｇｅｎをグローバル運動推定部２００及びローカル運動推定部３００へ出力する。グローバル運動推定部２００及びローカル運動推定部３００は、第ｎフレームの入力画像データＩｍａｇｅｎについて所定の推定処理を行い、メモリ部６００に対し、それぞれ第ｎフレームの入力画像データＩｍａｇｅｎに関するグローバル運動の対応点情報及びローカル運動の移動量ベクトル情報を出力する。なお、メモリ部６００は、１つ前の第ｎ－１フレームの入力画像データＩｍａｇｅｎ－１に関するグローバル運動の対応点情報及びローカル運動の移動量ベクトル情報も保持する。
【0079】
以上の処理を実行するのと並列的に、画像補正部４００は、第ｎ－１フレームの入力画像データＩｍａｇｅｎ－１について、画像補正を実行する。具体的には、読出部４１０は、メモリ部６００が保持している第ｎ－１フレームの入力画像データＩｍａｇｅｎ－１に関するグローバル運動の対応点情報及びローカル運動の移動量ベクトル情報を読み出し、射影変換行列計算部４２０へ出力する。射影変換行列計算部４２０は、第ｂフレームから第ｎ－１フレームへの射影変換行列Ｈｂ２（ｎ－１）を算出し、画像処理部４３０へ出力する。画像処理部４３０は、メモリ部５００から出力される第ｎ－１フレームの入力画像データＩｍａｇｅｎ－１と、第ｂフレームから第ｎ－１フレームへの射影変換行列Ｈｂ２（ｎ－１）を用いて、第ｎ－１フレームの入力画像データＩｍａｇｅｎ－１に対し、画像補正を実行する。
【0080】
上述のような構成により、複数フレーム分の入力画像データを並列的に処理することができ、画像処理装置１０の処理を効率化することができる。
【0081】
ところで、画像処理装置１０による画像処理を行う場合、補償対象のグローバル運動やローカル運動が大きいと、画像処理後の出力画像データの一部に、未定義の領域すなわちブラックエリアが発生することがある。図１３に、画像処理装置１０による画像処理に起因してブラックエリアが発生する場合の概念図を示す。図１３（ａ）は、ある基準フレーム（第ｂフレーム）における特定の被写体１０００、撮像範囲１１００及び出力画像データの出力範囲１２００の関係を示している。図１３（ｂ）は、当該基準フレームより後のフレーム（第ｎフレーム）における特定の被写体１０００、撮像範囲１１００、出力画像データの出力範囲１２００及びブラックエリア１３００の関係を示している。第ｎフレームでは、第ｂフレームからグローバル運動若しくはローカル運動又はその両方が発生したことに起因して、特定の被写体１０００の画面上の位置が移動している。この場合、画像処理装置１０による画像処理を行うと、例えば特定の被写体１０００が出力画像データの中心部に位置するように補正されるところ、出力画像データの出力範囲１２００には、ブラックエリア１３００が含まれることとなる。
【0082】
そこで、このような問題を解消するため、画像処理システムにおいては、画像処理装置１０とともに、物理的な動作調整装置と組み合わせて利用してもよい。例えば、グローバル運動やローカル運動に基づいてカメラの動作を調整するカメラ動作調整装置を用いてもよいし、グローバル運動やローカル運動に基づいて被写体の位置を調整する被写体位置調整装置を用いることとしてもよい。
【0083】
図１４は、カメラ動作調整装置を組み合わせた画像処理システム１の概念図である。撮影用カメラ２０には、カメラ動作調整用のアクチュエーター４１が取り付けられる。画像処理装置１０は、特定の被写体１０００を撮影する撮影用カメラ２０から受信した入力画像データを基にグローバル運動若しくはローカル運動又はその両方を推定するとともに、推定されたグローバル運動若しくはローカル運動又はその両方に基づき算定される制御情報をアクチュエーター４１に送信する。アクチュエーター４１は、受信した前記制御情報に基づいて、撮影用カメラの動作（例えば、向きや傾きの変更、及び水平移動や垂直移動が含まれるが、これらに限られない。）を調整する。
【0084】
また、図１５は、被写体位置調整装置を組み合わせた画像処理システム１の概念図である。特定の被写体１０００は、撮影用ステージ２０００に置かれており、撮影用ステージ２０００には、被写体位置調整用のアクチュエーター４２が取り付けられる。画像処理装置１０は、特定の被写体１０００を撮影する撮影用カメラ２０から受信した入力画像データを基にグローバル運動若しくはローカル運動又はその両方を推定するとともに、推定されたグローバル運動若しくはローカル運動又はその両方に基づき算定される制御情報を被写体位置調整用のアクチュエーター４２に送信する。アクチュエーター４２は、受信した前記制御情報に基づいて、撮影用ステージ２０００の位置を調整する。
【0085】
図１５において、撮影用カメラ２０は、例えば顕微鏡であり、特定の被写体１０００は例えば微生物等の動く物体である。特定の被写体１０００が動いた場合であっても、特定の被写体１０００を含む所望の領域が顕微鏡の視野内に位置するように、アクチュエーター４２が撮影用ステージ２０００の位置を調整する。
【0086】
次に、上記実施形態における画像処理システム１の適用例について説明する。
【0087】
図１６は、画像処理装置１０を適用した医療用映像処理システム２の概念図である。医療用映像処理システム２は、画像処理装置１０、医療用カメラ２１及び画像表示モニター３１を備える。ここで、医療用カメラ２１は、例えば内視鏡カメラ、天井に設置される手術用記録カメラ、医療用顕微鏡等である。画像処理装置１３は、医療用カメラ２１から入力された入力画像データを処理し、画像表示モニター３１に出力する。画像表示モニター３１は、手術等の医療行為の実施にあたり医師らが必要とする映像等を出力する。
【0088】
なお、以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更／改良され得るととともに、本発明にはその等価物も含まれる。すなわち、各実施形態に当業者が適宜設計変更を加えたものも、本発明の特徴を備えている限り、本発明の範囲に包含される。例えば、各実施形態が備える各要素およびその配置、材料、条件、形状、サイズなどは、例示したものに限定されるわけではなく適宜変更することができる。また、各実施形態は例示であり、異なる実施形態で示した構成の部分的な置換または組み合わせが可能であることは言うまでもなく、これらも本発明の特徴を含む限り本発明の範囲に包含される。
【符号の説明】
【0089】
１ 画像処理システム
２ 医療用画像処理システム
１０ 画像処理装置
２０ 撮影用カメラ
２１ 医療用カメラ
３０ 表示装置
３１ 画像表示モニター
４１ カメラ動作調整用のアクチュエーター
４２ 被写体位置調整用のアクチュエーター
１００ 画像縮小部
２００ グローバル運動推定部
２１０ 輝度画像生成部
２２０ 対応点検出部
２３０ 対応点選択部
３００ ローカル運動推定部
３１０ 領域抽出部
３２０ 重心計算部
３３０ 移動量計算部
４００ 画像補正部
４１０ 読出部
４２０ 射影変換行列計算部
４３０ 画像処理部
５００，６００ メモリ部
１０００ 特定の被写体
１１００ 撮像範囲
１２００ 出力画像データの出力範囲
１３００ ブラックエリア
２０００ 撮影用ステージ
２ 医療用画像処理システム
１０ 画像処理装置
２０ 撮影用カメラ
２１ 医療用カメラ
３０ 表示装置
３１ 画像表示モニター
４１ カメラ動作調整用のアクチュエーター
４２ 被写体位置調整用のアクチュエーター
１００ 画像縮小部
２００ グローバル運動推定部
２１０ 輝度画像生成部
２２０ 対応点検出部
２３０ 対応点選択部
３００ ローカル運動推定部
３１０ 領域抽出部
３２０ 重心計算部
３３０ 移動量計算部
４００ 画像補正部
４１０ 読出部
４２０ 射影変換行列計算部
４３０ 画像処理部
５００，６００ メモリ部
１０００ 特定の被写体
１１００ 撮像範囲
１２００ 出力画像データの出力範囲
１３００ ブラックエリア
２０００ 撮影用ステージ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】