特開 2023-120001 画像処理装置、方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023120001

(43)【公開日】2023-08-29

(54)【発明の名称】画像処理装置、方法およびプログラム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20230822BHJP

【ＦＩ】

G06T7/20

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022023159

(22)【出願日】2022-02-17

(71)【出願人】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(71)【出願人】

【識別番号】504179255

【氏名又は名称】国立大学法人 東京医科歯科大学

(71)【出願人】

【識別番号】501241645

【氏名又は名称】学校法人 工学院大学

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(72)【発明者】

【氏名】武田 翔一郎

(72)【発明者】

【氏名】松村 誠明

(72)【発明者】

【氏名】青野 裕司

(72)【発明者】

【氏名】藤田 浩二

(72)【発明者】

【氏名】三上 弾

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096CA04

5L096DA01

5L096GA26

5L096GA55

(57)【要約】

【課題】画質を維持しながらＶＭ処理の計算コストの低減を可能にする。
【解決手段】第１の解像度を有する第１の映像データを取得し、前記第１の映像データに対しダウンサンプリング処理を行って、前記第１の解像度より低い第２の解像度を有する第２の映像データを生成し、前記第２の映像データから画素の微小変化を検出して、検出された前記微小変化を強調処理した画像成分を前記第２の映像データに含めた第３の映像データを生成し、前記第３の映像データに対し超解像処理を行って前記第２の解像度より高い第３の解像度を有する第４の映像データを生成する。
【選択図】図２

【特許請求の範囲】

【請求項1】

第１の解像度を有する第１の映像データを取得する第１の処理部と、
前記第１の映像データに対しダウンサンプリング処理を行って、前記第１の解像度より低い第２の解像度を有する第２の映像データを生成する第２の処理部と、
前記第２の映像データから画素の微小変化を検出し、検出された前記微小変化を強調処理した画像成分を前記第２の映像データに含めた第３の映像データを生成する第３の処理部と、
前記第３の映像データに対し超解像処理を行って、前記第２の解像度より高い第３の解像度を有する第４の映像データを生成する第４の処理部と、
生成された前記第４の映像データを出力する第５の処理部と
を具備する画像処理装置。

【請求項2】

前記第３の処理部は、前記第２の映像データからＹ色信号成分を選択的に抽出し、抽出された前記Ｙ色信号成分を複数の周波数帯域および方向に分割された解析信号表現に変換し、前記解析信号表現に含まれる第１の位相信号表現に対し時系列フィルタリングを適用して時間周波数における前記微小変化を示す第２の位相信号表現を生成し、生成された前記第２の位相信号表現を予め設定された強調率を用いて強調した後、前記第１の位相信号表現に加算して第３の位相信号表現を生成し、前記第３の位相信号表現を前記Ｙ色信号成分に反映した映像を前記第３の映像データとして出力する、請求項１に記載の画像処理装置。

【請求項3】

前記第４の処理部は、前記第３の映像データに対しアップサンプリング処理を行って、前記第３の映像データを前記第１の解像度と同等の解像度を有する前記第４の映像データに変換する、請求項１に記載の画像処理装置。

【請求項4】

情報処理装置が実行する画像処理方法であって、
第１の解像度を有する第１の映像データを取得する第１の処理過程と、
前記第１の映像データに対しダウンサンプリング処理を行って、前記第１の解像度より低い第２の解像度を有する第２の映像データを生成する第２の処理過程と、
前記第２の映像データから画素の微小変化を検出し、検出された前記微小変化を強調処理した画像成分を前記第２の映像データに含めた第３の映像データを生成する第３の処理過程と、
前記第３の映像データに対し超解像処理を行って、前記第２の解像度より高い第３の解像度を有する第４の映像データを生成する第４の処理過程と、
生成された前記第４の映像データを出力する第５の処理過程と
を具備する画像処理方法。

【請求項5】

請求項１乃至３のいずれかに記載の画像処理装置が具備する前記第１乃至第５の処理部の少なくとも１つが行う処理を、前記画像処理装置が備えるプロセッサに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明の一態様は、ビデオ・マグニフィケーション（Video Magnification：ＶＭ）処理機能を備えた画像処理装置、方法およびプログラムに関する。

【背景技術】

【0002】

実世界において被写体が撮影された画像における微小変化には、重要なメッセージが込められている場合がある。例えば、被写体であるスポーツ選手の筋や関節の使い方の違い等は、被写体が撮影された画像において微小変化として記録され、この微小変化はスポーツ選手の運動パフォーマンスを判定する一つの要素として使用することができる。また、心臓の鼓動、呼吸による胸の動き、体表面の色の明るさの変化、クレーンやエンジンの振動等の微小変化は、画像に基づいて異常状態を検知する際の１つの判断材料となる場合がある。しかしながら、人の視覚は画像における微小変化を捉えることが難しい。

【0003】

そこで、ＶＭ処理技術が注目されている。ＶＭは、画像における微小変化を検出および強調することによって、画像における微小変化を可視化する技術である。例えば、非特許文献１、２または３には、オプティカルフロー、オイラー法または位相変化等を用いて、画像における被写体の色や運動の変化を検出し、時系列フィルタを適用することによって、画像における被写体の微小変化を検出する技術が記載されている。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】Ce Liu, Antonio Torralba, William T. Freeman, Fredo Durand, Edward H. Adelson. “Motion Magnification”. ACM Transactions on Graphics (2005).

【非特許文献2】Yichao Zhang, Silvia L. Pintea, and Jan C. van Gemert. “Video Acceleration Magnification”. IEEE International Conference on Computer Vision and Pattern Recognition (2017).

【非特許文献3】Shoichiro Takeda, Kazuki Okami, Dan Mikami, Megumi Isogai, Hideaki Kimata. “Jerk-Aware Video Acceleration Magnification”. IEEE International Conference on Computer Vision and Pattern Recognition (2018).

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところが、非特許文献１、２または３に記載された技術は、入力画像について直接ＶＭ処理を行うものとなっている。このため、例えば高解像度カメラにより撮影された入力画像に対しＶＭ処理を行う場合には、ＶＭ処理の計算コストが増大し、画像処理装置の処理負荷の増大と処理遅延を招くという課題がある。

【0006】

この発明は上記事情に着目してなされたもので、画質を維持しながらＶＭ処理の計算コストの低減を可能にする技術を提供しようとするものである。

【課題を解決するための手段】

【0007】

上記課題を解決するためにこの発明に係る画像処理装置または方法の一態様は、第１の解像度を有する第１の映像データを取得し、前記第１の映像データに対しダウンサンプリング処理を行って、前記第１の解像度より低い第２の解像度を有する第２の映像データを生成し、前記第２の映像データから画素の微小変化を検出して、検出された前記微小変化を強調処理した画像成分を前記第２の映像データに含めた第３の映像データを生成し、前記第３の映像データに対し超解像処理を行って前記第２の解像度より高い第３の解像度を有する第４の映像データを生成し出力するようにしたものである。

【0008】

この発明の一態様によれば、入力された映像データが高解像度の映像データであっても、ダウンサンプリングにより低解像度に変換された入力映像データに対し、画像の微小変化を検出して強調するＶＭ処理が行われる。このため、前記ＶＭ処理に対する画像処理装置の計算コストは低く抑えられる。また、上記ＶＭ処理がなされた低解像度映像データは、超解像処理により入力映像データと同等の解像度を有する映像データに変換される。このため、例えば、管理者は対象ユーザの運動を高解像度の映像データにより確認することが可能となる。

【発明の効果】

【0009】

すなわち、この発明の一態様によれば、画質を維持しながらＶＭ処理の計算コストの低減を可能にする技術を提供することができる。

【図面の簡単な説明】

【0010】

【図1】図１は、この発明の一実施形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。

【図2】図２は、この発明の一実施形態に係る画像処理装置のソフトウェア構成の一例を示すブロック図である。

【図3】図３は、図２に示した画像処理装置により実行される一連の画像処理の処理手順と処理内容の一例を示すフローチャートである。

【図4】図４は、図３に示した画像処理手順のうちＶＭ処理の処理手順と処理内容の一例を示すフローチャートである。

【発明を実施するための形態】

【0011】

以下、図面を参照してこの発明に係わる実施形態を説明する。

【0012】

［一実施形態］
（構成例）
図１はこの発明の一実施形態に係る画像処理装置のハードウェア構成の一例を示すブロック図、図２は上記画像処理装置のソフトウェア構成の一例を示すブロック図である。

【0013】

画像処理装置ＶＤは、例えば、サーバコンピュータまたはパーソナルコンピュータ等の情報処理装置に、処理機能の１つとして設けられる。画像処理装置ＶＤには、例えば、信号ケーブルまたはネットワークを介して、図示しないカメラおよび入出力デバイスが接続される。

【0014】

カメラは、例えば高解像度カメラからなり、運動中の人の身体や、心臓や胸等の生体の動き、動作中のクレーンやエンジン等の機械等を被写体として撮影し、上記被写体像を含む映像データを出力する。なお、画像処理装置ＶＤには、上記カメラ以外に、被写体を撮影した映像データが記憶された外部記憶装置が接続されてもよい。また、撮影対象の被写体としては種々の自然物や動物、芸術作品、景色等であってもよい。

【0015】

入出力デバイスは、例えばモニタ装置からなり、画像処理装置ＶＤから出力される、ＶＭ処理された元解像度の映像データ等を表示するために使用される。なお、画像処理装置ＶＤには、入出力デバイス以外に、外部記憶装置や、管理用または解析用の情報処理装置等が接続されてもよい。

【0016】

画像処理装置ＶＤは、中央処理ユニット（Central Processing Unit：ＣＰＵ）等のハードウェアプロセッサを使用した制御部１を備え、この制御部１に対し、バス５を介して、プログラム記憶部２およびデータ記憶部３を有する記憶ユニットと、入出力インタフェース（以後インタフェースをＩ／Ｆと略称する）部４を接続したものとなっている。

【0017】

入出力Ｉ／Ｆ部４は、通信インタフェース機能を有し、信号ケーブルまたはネットワークを介して、上記カメラおよび入出力デバイス等との間で、入力映像データおよびＶＭ処理された元解像度の出力映像データの送受信を行う。

【0018】

プログラム記憶部２は、例えば、記憶媒体としてＳＳＤ（Solid State Drive）等の随時書込みおよび読出しが可能な不揮発性メモリと、ＲＯＭ（Read Only Memory）等の不揮発性メモリとを組み合わせて構成したもので、ＯＳ（Operating System）等のミドルウェアに加えて、一実施形態に係る各種制御処理を実行するために必要なアプリケーション・プログラムを格納する。なお、以後ＯＳと各アプリケーション・プログラムとをまとめてプログラムと称する。

【0019】

データ記憶部３は、例えば、記憶媒体として、ＳＳＤ等の随時書込みおよび読出しが可能な不揮発性メモリと、ＲＡＭ（Random Access Memory）等の揮発性メモリと組み合わせたもので、一実施形態を実施するために必要な主たる記憶部として、入力映像記憶部３１と、低解像度映像記憶部３２と、ＶＭ処理映像記憶部３３と、元解像度映像記憶部３４とを備えている。

【0020】

入力映像記憶部３１は、カメラまたは外部記憶装置から取得した高解像度の入力映像データを記憶するために使用される。

【0021】

低解像度映像記憶部３２は、上記入力映像データをダウンサンプリングした低解像度の映像データを保存するために使用される。

【0022】

ＶＭ処理映像記憶部３３は、ＶＭ処理された低解像度の映像データを記憶するために使用される。

【0023】

元解像度映像記憶部３４は、ＶＭ処理されかつ超解像処理された元解像度の映像データを記憶するために使用される。超解像処理された元解像度の映像データは、上記入力映像データと同等の解像度を有する。

【0024】

制御部１は、一実施形態を実施するために必要な処理機能として、入力映像取得処理部１１と、ダウンサンプリング処理部１２と、ＶＭ処理部１３と、超解像処理部１４と、元解像度映像出力処理部１５とを備える。これらの処理部１１～１５は、何れもプログラム記憶部２に格納されたアプリケーション・プログラムを制御部１のハードウェアプロセッサに実行させることにより実現される。

【0025】

なお、上記処理部１１～１５の一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアを用いて実現されてもよい。

【0026】

入力映像取得処理部１１は、カメラまたは外部記憶装置等の映像ソースから入力映像データを入出力Ｉ／Ｆ部４を介して取得し、取得された入力映像データを入力映像記憶部３１に記憶させる処理を行う。

【0027】

ダウンサンプリング処理部１２は、上記入力映像記憶部３１から入力映像データをフレームごとに読み込み、読み込んだ各フレームの画像に対しそれぞれ空間的なダウンサンプリング処理を行って、解像度が上記入力映像データより低い低解像度の映像データを生成する。そして、ダウンサンプリング処理部１２は、生成された上記低解像度の映像データをフレームごとに低解像度映像記憶部３２に保存させる処理を行う。

【0028】

ＶＭ処理部１３は、上記低解像度映像記憶部３２から上記低解像度の映像データをフレームごとに読み込み、読み込んだ各フレームの画像に対しそれぞれＶＭ処理を行う。そして、ＶＭ処理部１３は、ＶＭ処理された後の低解像度の映像データをフレームごとにＶＭ処理映像記憶部３３に保存させる処理を行う。ＶＭ処理の一例については、動作例において述べる。

【0029】

超解像処理部１４は、上記ＶＭ処理映像記憶部３３から上記ＶＭ処理後の低解像度の映像データをフレームごとに読み込み、読み込んだ各フレーム画像に対しそれぞれアップサンプリングによる超解像処理を行って、上記入力映像データと同等の解像度を有するＶＭ処理後の元解像度映像データを生成する。そして、超解像処理部１４は、生成された上記ＶＭ処理後の元解像度映像データを元解像度映像記憶部３４に記憶させる処理を行う。

【0030】

元解像度映像出力処理部１５は、上記元解像度映像記憶部３４から上記ＶＭ処理後の元解像度映像データを読み出し、読み出された上記ＶＭ処理後の元解像度映像データを入出力Ｉ／Ｆ部４から図示しない入出力デバイスまたは情報処理装置へ出力する処理を行う。

【0031】

（動作例）
次に、以上のように構成された画像処理装置ＶＤの動作例を説明する。
図３は、画像処理装置ＶＤの制御部１が実行する画像処理動作の処理手順と処理内容の一例を示すフローチャートである。

【0032】

（１）入力映像データの取得
例えば、対象ユーザが運動を開始すると、この運動中の対象ユーザの全身または特定部位がカメラにより撮影され、その映像データが出力される。映像データは、例えば高解像度のカラー動画像からなり、各フレームの画像は画素毎に輝度情報と色情報とを含む。なお、上記映像データはカメラ以外に、外部記憶装置に事前に記憶された映像データであってもよい。

【0033】

これに対し、画像処理装置ＶＤの制御部１は、入力映像取得処理部１１の制御の下、ステップＳ１において、上記カメラまたは外部記憶装置から出力された映像データを入出力Ｉ／Ｆ部４を介して入力映像データとして受信する。そして、受信された上記入力映像データを入力映像記憶部３１にフレームごとに時系列で記憶させる。

【0034】

（２）ダウンサンプリング処理
上記入力映像データが取得されると画像処理装置ＶＤの制御部１は、ダウンサンプリング処理部１２の制御の下、ステップＳ２において、上記入力映像記憶部３１から入力映像データをフレームごとに読み込む。そして、各フレームの画像に対しそれぞれ空間的なダウンサンプリング処理を行う。

【0035】

ダウンサンプリング処理とは、予め設定されたダウンサンプリング量に基づいて、フレーム画像の解像度を低くする処理である。例えば、いま入力映像データのフレーム画像が、画素（ピクセル）の座標位置を(x,y) 、フレームの時間位置をt=1,…,T 、色空間をc∈C として、I^c ₀ (x,y,t) として与えられたとする。この場合、ダウンサンプリング処理部１２は、所定の解像度になるまでフレーム画像に対し空間的なダウンサンプリングを行い、低解像度の映像データI^c _K (x,y,t) を生成する。

【0036】

但し、上記ピクセルの座標位置(x,y) は、
{ x∈Z｜1≦x≦W₀ } かつ{ y∈Z｜1≦y≦H₀ }
であり、W₀ および H₀ はそれぞれ水平方向（x座標）と垂直方向（y座標）の元の解像度を示す。また、生成される低解像度映像データI^c _K (x,y,t) は、
{ x∈Z｜1≦x≦W_K ≦W₀ } ，{ y∈Z｜1≦y≦H_K ≦H₀ }
であり、W_K および H_K はそれぞれダウンサンプリング後の水平方向（x座標）および垂直方向（y座標）の解像度を示す。
なお、ダウンサンプリング処理の手法としては如何なる手法を用いてもよい。

【0037】

ダウンサンプリング処理部１２は、生成された上記低解像度映像データI^c _K (x,y,t) を、次の過程に行われるＶＭ処理のため、低解像度映像記憶部３２に一旦保存させる。

【0038】

（３）ＶＭ処理
次に、画像処理装置ＶＤの制御部１は、ＶＭ処理部１３の制御の下、ステップＳ３において、上記低解像度映像記憶部３２から低解像度映像データをフレームごとに読み込み、読み込んだ各フレームの画像に対しそれぞれＶＭ処理を行う。

【0039】

ＶＭ処理の一例として、ここでは非特許文献２に記載された、微細な運動変化に関するＶＭ処理を例にとってその動作の概要を説明する。図４は、その処理手順と処理内容の一例を示すフローチャートである。

【0040】

すなわち、ＶＭ処理部１３は、まずステップＳ３１において、上記低解像度映像データI^c _K (x,y,t) のフレームごとに、そのフレーム画像から低解像度のＹ色信号成分I^y _K (x,y,t) を選択的に抽出する。なお、この低解像度のＹ色信号成分の抽出処理の結果、Iⁱ _K (x,y,t) ，I^q _K (x,y,t) が残る。

【0041】

ＶＭ処理部１３は、次にステップＳ３２において、Complex Steerable Filter（以下ＣＦＳと略称する）と呼ばれ、フィルタ特性としてψ_ω,θ (x,y) を有するフィルタ群を用いて、上記低解像度映像のＹ色信号成分I^y _K (x,y,t) を、複数の帯域周波数ω∈Ωと複数の方向θ∈Θに分割された解析信号表現に、以下のように変換する。

【数1】

【0042】

ここで、R^y _K, _ω,θ (x,y,t) は解析信号表現を、またA^y _K, _ω,θ (x,y,t) は振幅信号表現を、φ^y _K, _ω,θ (x,y,t) は位相信号表現をそれぞれ表している。このうち位相信号表現は、映像データ中の座標(x,y) を中心とした局所的な運動変化を表現していることが知られている。この点は、例えば以下の文献に詳しく記載されている。
Neal Wadhwa, Michael Rubinstein, Fredo Durand, William T. Freeman. “Phase-based Video Motion Processing”. ACM Transactions on Graphics，2013。

【0043】

ＶＭ処理部１３は、次にステップＳ３３において、上記位相信号表現φ^y _K, _ω,θ (x,y,t) に対しユーザが選択した任意の時間周波数ｆ_t を用いて、時系列フィルタリングh(t;f_t) を適用し、これにより時間周波数ｆ_t における微小な位相信号表現C^^y _K, _ω,θ (x,y,t) を以下のように生成する。なお、* は畳み込み演算を表す。

【数2】

【0044】

ＶＭ処理部１３は、続いてステップＳ３４において、生成された上記微小な位相信号表現C^^y _K, _ω,θ (x,y,t) を、任意の強調率αを用いて増幅した後、上記位相信号表現φ^y _K, _ω,θ (x,y,t) に、

【数3】

のように加算する。これにより、微小な位相信号表現のみが強調された位相信号表現φ^^y _K, _ω,θ (x,y,t) が得られる。

【0045】

ＶＭ処理部１３は、最後にステップＳ３５において、上記微小な位相信号表現のみが強調された位相信号表現φ^^y _K, _ω,θ (x,y,t) を用いて、ＶＭ処理が適用された解析信号表現を以下のように構築する。

【数4】

【0046】

そして、ＶＭ処理部１３は、ステップＳ３６において、ＣＳＦを用いて、上記(5) 式をＶＭ処理が適用された低解像度映像のＹ色信号成分I^^y _K (x,y,t) に逆変換する。そして、逆変換された上記低解像度映像のＹ色信号成分I^^y _K (x,y,t) を、上記ステップＳ３１における抽出処理により残ったIⁱ _K (x,y,t) ，I^q _K (x,y,t) と組み合わせ、これによりＶＭ処理が適用された低解像度映像データI^^C _K (x,y,t) を生成する。

【0047】

ＶＭ処理部１３は、生成された上記ＶＭ処理が適用された低解像度映像データI^^C _K (x,y,t) を、ＶＭ処理映像記憶部３３に記憶させる。

【0048】

（４）超解像処理
画像処理装置ＶＤの制御部１は、次に超解像処理部１４の制御の下、ステップＳ４において、上記ＶＭ処理後の低解像度映像データに対し、解像度を上記入力映像データと同等の解像度に復元する超解像処理を行う。

【0049】

すなわち、超解像処理部１４は、先ずＶＭ処理映像記憶部３３からＶＭ処理後の低解像度映像データをフレームごとに読み込む。そして、読み込まれた上記ＶＭ処理後の低解像度映像データI^^C _K (x,y,t) に対しフレームごとにアップサンプリングによる超解像処理を適用し、

【数5】

で表されるＶＭ処理後の元解像度映像データを得る。ここで、U_k→0[・]は超解像を行う関数を示している。

【0050】

すなわち、超解像処理部１４は、この関数を用いて、ＶＭ処理後の低解像度映像データI^^g _K (x,y,t) をアップサンプリングし、これによりＶＭ処理が適用された元解像度映像データI^^C ₀ (x,y,t) を得る。

【0051】

超解像処理としては、例えば深層学習モデルを用いた非線形関数による超解像処理を用いることができる。この深層学習モデルを用いた非線形関数による超解像処理は、例えば以下の文献に詳しく記載されている。
Yiqun Mei, Yuchen Fan, Yuqian Zhou.“Image Super-Resolution With Non-Local Sparse Attention”. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition，2021。
その他、超解像処理の手法としては、上記手法に限らずその他の周知の手法を適用することが可能である。

【0052】

超解像処理部１４は、上記処理により得られたＶＭ処理された元解像度映像データI^^C ₀ (x,y,t) を、元解像度映像記憶部３４に記憶させる。

【0053】

（５）元解像度映像データの出力
画像処理装置の制御部１は、最後に元解像度映像出力処理部１５の制御の下、ステップＳ５において、元解像度映像記憶部３４から上記ＶＭ処理された元解像度映像データI^^C ₀ (x,y,t) を読み出し、読み出された上記ＶＭ処理された元解像度映像データI^^C ₀ (x,y,t) を入出力Ｉ／Ｆ部４から図示しない入出力デバイスへ出力する。

【0054】

従って、入出力デバイスでは、上記ＶＭ処理された元解像度映像データI^^C ₀ (x,y,t) が例えばモニタ表示される。このため、例えば管理者は、表示された上記ＶＭ処理された元解像度映像データI^^C ₀ (x,y,t) を見ることで、例えば運動中の対象ユーザの全身または特定部位の動きを、高解像度の映像データ上で微小変化まで明確に確認することが可能となる。

【0055】

なお、上記ＶＭ処理された元解像度映像データI^^C ₀ (x,y,t) は、外部の情報処理装置へ送信されるようにしてもよい。外部の情報処理装置では、例えば、上記ＶＭ処理された元解像度映像データI^^C ₀ (x,y,t) に対し例えば画像解析処理を行うことで被写体の微小変化の特徴量を抽出し、抽出された上記微小変化の特徴量を学習モデルに入力して、被写体の動きの特徴の解析結果を表す情報を得る、といった解析処理が可能となる。

【0056】

（効果）
以上述べたように一実施形態では、画像処理装置ＶＤにおいて、例えばカメラから出力された高解像度の入力映像データに対し、先ずダウンサンプリングを行って上記入力映像データを一旦低解像度映像データに変換し、変換された上記低解像度映像データに対しＶＭ処理を適用して微小変化を顕在化させる。そして、当該ＶＭ処理された低解像度映像データを、超解像処理によりアップサンプリングしてＶＭ処理された元解像度映像データに変換し、このＶＭ処理された元解像度映像データを出力するようにしている。

【0057】

従って、例えばカメラから画像処理装置ＶＤに入力された映像データが高解像度の映像データであっても、ダウンサンプリングにより低解像度に変換された入力映像データに対しＶＭ処理が行われる。このため、ＶＭ処理に対する画像処理装置ＶＤの計算コストは低く抑えられる。また、ＶＭ処理された低解像度映像データは、超解像処理により入力映像データと同等の解像度を有する元解像度映像データに変換されて出力される。このため、管理者は対象ユーザの運動を高解像度の映像データのまま確認することが可能となる。

【0058】

すなわち、一実施形態によれば、画質を損なうことなくＶＭ処理された映像データを生成することができ、しかも処理負荷および処理遅延が少なく計算コストが低く抑えられた画像処理を実現することができる。

【0059】

［その他の実施形態］
（１）一実施形態では、入力映像データのフレーム画像の全域に対し、ダウンサンプリング処理からＶＭ処理、超解像処理までの一連の処理を行う場合を例にとって説明した。しかしながら、この発明はこれに限るものではなく、例えばフレーム画像中から被写体が写っている対象領域を先ず抽出し、抽出された上記対象領域に対してのみダウンサンプリングからＶＭ処理、超解像処理までの一連の処理を行うようにしてもよい。このようにすると、常にフレーム画像の全域を処理対象とする場合に比べ、画像処理装置ＶＤの処理負荷を軽減することが可能となる。

【0060】

（２）一実施形態では、入力映像データの取得処理からダウンサンプリング処理、ＶＭ処理、超解像処理および映像データの出力処理を１個の画像処理装置ＶＤにおいて行う場合を例にとって説明した。しかし、それに限らず、上記ダウンサンプリング処理から、ＶＭ処理、超解像処理および映像データの出力処理までの一連の処理の一部を、複数の情報処理装置で分散処理するようにしてもよい。

【0061】

また、画像処理装置は、入力映像データの取得処理からＶＭ処理後の元解像度映像データの出力処理までの一連の処理を専用に行うように構成する必要はなく、被写体領域の解析処理機能等の他の処理機能を併せて実行するように構成されてもよい。

【0062】

（３）一実施形態では、入力映像データの取得処理からダウンサンプリング処理、ＶＭ処理、超解像処理、映像データの出力処理までの一連の処理をリアルタイムに実行する場合を例にとって説明した。しかしそれに限らず、例えば運動中の全期間または一部期間の映像データを入力映像記憶部３１に一旦蓄積し、この蓄積された映像データに対し一括してダウンサンプリング処理、ＶＭ処理および超解像処理を実行するようにしてもよい。

【0063】

また、超解像処理により得られたＶＭ処理後の元解像度映像データのすべてまたは一部を元解像度映像記憶部３４に一旦蓄積し、この状態で例えば管理者の端末装置から元解像度映像データの取得要求が送られた場合に、上記元解像度映像記憶部３４から上記ＶＭ処理後の元解像度映像データを読み出して上記管理者の端末装置へ一括送信するようにしてもよい。

【0064】

（４）一実施形態では、動画像からなる映像データを対象としてＶＭ処理された映像データを生成する場合を例にとって説明したが、静止画像からなる画像データを対象としてＶＭ処理された映像データを生成するようにしてもよい。

【0065】

（５）その他、画像処理装置の機能構成、処理手順と処理内容、ダウンサンプリング後の解像度、ＶＭ処理の手法および超解像処理の手法等については、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。

【0066】

以上、この発明の実施形態を詳細に説明してきたが、前述までの説明はあらゆる点においてこの発明の例示に過ぎない。この発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、この発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。

【0067】

要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

【符号の説明】

【0068】

ＶＤ…画像処理装置
１…制御部
２…プログラム記憶部
３…データ記憶部
４…入出力Ｉ／Ｆ部
５…バス
１１…入力映像取得処理部
１２…ダウンサンプリング処理部
１３…ＶＭ処理部
１４…超解像処理部
１５…元解像度映像出力処理部
３１…入力映像記憶部
３２…低解像度映像記憶部
３３…ＶＭ処理映像記憶部
３４…元解像度映像記憶部

【図1】

【図2】

【図3】

【図4】