特開 2023-120003 画像処理装置、方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023120003

(43)【公開日】2023-08-29

(54)【発明の名称】画像処理装置、方法およびプログラム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20230822BHJP

【ＦＩ】

G06T7/20

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022023162

(22)【出願日】2022-02-17

(71)【出願人】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(71)【出願人】

【識別番号】504179255

【氏名又は名称】国立大学法人 東京医科歯科大学

(71)【出願人】

【識別番号】501241645

【氏名又は名称】学校法人 工学院大学

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(72)【発明者】

【氏名】武田 翔一郎

(72)【発明者】

【氏名】松村 誠明

(72)【発明者】

【氏名】青野 裕司

(72)【発明者】

【氏名】藤田 浩二

(72)【発明者】

【氏名】三上 弾

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096CA02

5L096DA01

5L096EA35

5L096GA55

(57)【要約】

【課題】全体のデータ量を制限した上で被写体領域については微小変化が強調された高品質の映像データを得ることを可能にする。
【解決手段】画像フレーム中に被写体の画像を含む第１の映像データを取得し、取得された前記第１の映像データから画素の微小変化を検出し、検出された前記画素の微小変化を強調処理した画像成分を前記第１の映像データに含めた第２の映像データを生成する微小変化強調処理を行う。また、前記微小変化強調処理と並行して、前記第１の映像データから前記被写体の画像を含む限定された領域を被写体領域として検出する処理を行う。そして、前記第２の映像データから、検出された前記被写体領域に対応する第３の映像データを抽出し、抽出された前記第３の映像データを前記第１の映像データに時間位置および座標位置を合わせて合成することで第４の映像データを生成し出力する。
【選択図】図２

【特許請求の範囲】

【請求項1】

画像フレーム中に被写体の画像を含む第１の映像データを取得する第１の処理部と、
取得された前記第１の映像データから画素の微小変化を検出し、検出された前記画素の微小変化を強調処理した画像成分を前記第１の映像データに含めた第２の映像データを生成する微小変化強調処理を行う第２の処理部と、
前記微小変化強調処理と並行して、前記第１の映像データから前記被写体の画像を含む限定された領域を被写体領域として検出する処理を行う第３の処理部と、
前記第２の映像データから、検出された前記被写体領域に対応する第３の映像データを抽出し、抽出された前記第３の映像データを前記第１の映像データに時間位置および座標位置を合わせて合成して第４の映像データを生成する第４の処理部と、
生成された前記第４の映像データを出力する第５の処理部と
を具備する画像処理装置。

【請求項2】

前記第３の処理部は、前記第１の映像データから、前記被写体の可動範囲を含むように予め設定された画像領域を、前記被写体領域として検出する、請求項１に記載の画像処理装置。

【請求項3】

前記第３の処理部は、前記第１の映像データから前記被写体の複数の可動基点間の長さを画素単位で算出し、算出された前記可動基点間の長さをもとに前記被写体の可動範囲を含む画像領域を設定し、前記第１の映像データから前記設定された画像領域を前記被写体領域として検出する、請求項１に記載の画像処理装置。

【請求項4】

前記第４の処理部は、前記第３の映像データを前記第１の映像データに合成する際に、前記第３の映像データと前記第１の映像データとの境界部位を平滑化する処理を、さらに行う、請求項１に記載の画像処理装置。

【請求項5】

情報処理装置が実行する画像処理方法であって、
画像フレーム中に被写体の画像を含む第１の映像データを取得する第１の処理過程と、
取得された前記第１の映像データから画素の微小変化を検出し、検出された前記画素の微小変化を強調処理した画像成分を前記第１の映像データに含めた第２の映像データを生成する微小変化強調処理を行う第２の処理過程と、
前記微小変化強調処理と並行して、前記第１の映像データから前記被写体の画像を含む限定された領域を被写体領域として検出する処理を行う第３の処理過程と、
前記第２の映像データから、検出された前記被写体領域に対応する第３の映像データを抽出し、抽出された前記第３の映像データを前記第１の映像データに時間位置および座標位置を合わせて合成して第４の映像データを生成する第４の処理過程と、
生成された前記第４の映像データを出力する第５の処理過程と
を具備する画像処理方法。

【請求項6】

請求項１乃至４のいずれかに記載の画像処理装置が具備する前記第１乃至第５の処理部の少なくとも１つが行う処理を、前記画像処理装置が備えるプロセッサに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明の一態様は、ビデオ・マグニフィケーション（Video Magnification：ＶＭ）処理機能を備えた画像処理装置、方法およびプログラムに関する。

【背景技術】

【0002】

実世界において被写体が撮影された画像における微小変化には、重要なメッセージが込められている場合がある。例えば、被写体であるスポーツ選手の筋や関節の使い方の違い等は、被写体が撮影された画像において微小変化として記録され、この微小変化はスポーツ選手の運動パフォーマンスを判定する一つの要素として使用することができる。また、心臓の鼓動、呼吸による胸の動き、体表面の色の明るさの変化、クレーンやエンジンの振動等の微小変化は、画像に基づいて異常状態を検知する際の１つの判断材料となる場合がある。しかしながら、人の視覚は画像における微小変化を捉えることが難しい。

【0003】

そこで、ＶＭ処理技術が注目されている。ＶＭは、画像における微小変化を検出および強調することによって、画像における微小変化を可視化する技術である。例えば、非特許文献１、２または３には、オプティカルフロー、オイラー法または位相変化等を用いて、画像における被写体の色や運動の変化を検出し、時系列フィルタを適用することによって、画像における被写体の微小変化を検出する技術が記載されている。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】Ce Liu, Antonio Torralba, William T. Freeman, Fredo Durand, Edward H. Adelson. “Motion Magnification”. ACM Transactions on Graphics (2005).

【非特許文献2】Yichao Zhang, Silvia L. Pintea, and Jan C. van Gemert. “Video Acceleration Magnification”. IEEE International Conference on Computer Vision and Pattern Recognition (2017).

【非特許文献3】Shoichiro Takeda, Kazuki Okami, Dan Mikami, Megumi Isogai, Hideaki Kimata. “Jerk-Aware Video Acceleration Magnification”. IEEE International Conference on Computer Vision and Pattern Recognition (2018).

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、ＶＭ処理された映像に基づいて被写体の微少な状態を解析しようとする場合、通常では被写体領域のみを解析対象とすればよい。ところが、非特許文献１、２または３に記載された技術は、入力画像のフレーム画像の全領域に対しＶＭ処理を行うものとなっている。このため、ＶＭ処理後の映像のデータ量が大きくなり、当該映像データから被写体の状態を解析する際に、大容量のメモリ領域を必要とし、かつ解析処理の処理負荷が増大するという課題がある。

【0006】

この発明は上記事情に着目してなされたもので、全体のデータ量を制限した上で被写体領域については微小変化が強調された高品質の映像データを得ることを可能にする技術を提供しようとするものである。

【課題を解決するための手段】

【0007】

上記課題を解決するためにこの発明に係る画像処理装置または方法の一態様は、画像フレーム中に被写体の画像を含む第１の映像データを取得し、取得された前記第１の映像データから画素の微小変化を検出し、検出された前記画素の微小変化を強調処理した画像成分を前記第１の映像データに含めた第２の映像データを生成する微小変化強調処理を行う。また、前記微小変化強調処理と並行して、前記第１の映像データから前記被写体の画像を含む限定された領域を被写体領域として検出する処理を行う。そして、前記第２の映像データから、検出された前記被写体領域に対応する第３の映像データを抽出し、抽出された前記第３の映像データを前記第１の映像データに時間位置および座標位置を合わせて合成することで第４の映像データを生成し、生成された前記第４の映像データを出力するものである。

【0008】

この発明の一態様によれば、入力映像データの被写体領域のみが画素の微小変化を強調処理したＶＭ処理映像に置換された合成映像データを生成することができる。このため、フレーム画像の全領域をＶＭ処理した映像データを用いる場合に比べ、データ容量が小さくかつ被写体領域については画像の微小変化が強調された合成映像データを用いて、被写体の動きの解析処理を行うことが可能となる。従って、被写体の状態を解析する際に、大容量のメモリ領域を不要とし、かつ解析処理の処理負荷を小さく抑えることができる。

【0009】

しかも、入力映像データのフレーム画像の全領域または被写体領域を含む局所領域に対しＶＭ処理を適用し、このＶＭ処理と別に上記入力映像データから被写体領域を検出し、検出された上記被写体領域の情報をもとに上記ＶＭ処理後の映像データから上記被写体領域のＶＭ処理映像データを抽出し、抽出された上記被写体領域のＶＭ処理映像データを上記入力映像データに合成するようにしている。従って、例えば被写体の追跡処理により被写体の領域を検出してこの被写体領域のみにＶＭ処理を適用すると、ＶＭ処理後の映像データに被写体の追跡処理によるノイズが残留する場合があるが、一実施形態によれば被写体領域の追跡処理によるノイズを含まない合成映像データを得ることができる。

【発明の効果】

【0010】

すなわち、この発明の一態様によれば、全体のデータ量を制限した上で被写体領域については微小変化が強調された高品質の映像データを得ることを可能にする技術を提供することができる。

【図面の簡単な説明】

【0011】

【図1】図１は、この発明の一実施形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。

【図2】図２は、この発明の一実施形態に係る画像処理装置のソフトウェア構成の一例を示すブロック図である。

【図3】図３は、図２に示した画像処理装置により実行される一連の画像処理の処理手順と処理内容の一例を示すフローチャートである。

【図4】図４は、図３に示した画像処理手順のうちＶＭ処理の処理手順と処理内容の一例を示すフローチャートである。

【図5】図５は、図３に示した画像処理手順のうち被写体追跡処理の処理手順と処理内容の一例を示すフローチャートである。

【発明を実施するための形態】

【0012】

以下、図面を参照してこの発明に係わる実施形態を説明する。

【0013】

［一実施形態］
（構成例）
図１はこの発明の一実施形態に係る画像処理装置のハードウェア構成の一例を示すブロック図、図２は上記画像処理装置のソフトウェア構成の一例を示すブロック図である。

【0014】

画像処理装置ＶＤは、例えば、サーバコンピュータまたはパーソナルコンピュータ等の情報処理装置に、処理機能の１つとして設けられる。画像処理装置ＶＤには、例えば、信号ケーブルまたはネットワークを介して、図示しないカメラおよび入出力デバイスが接続される。

【0015】

カメラは、例えば高解像度カメラからなり、運動中の人の身体や、心臓や胸等の生体の動き、動作中のクレーンやエンジン等の機械等を被写体として撮影し、上記被写体像を含む映像データを出力する。なお、画像処理装置ＶＤには、上記カメラ以外に、被写体を撮影した映像データが記憶された外部記憶装置が接続されてもよい。また、撮影対象の被写体としては種々の自然物や動物、芸術作品、景色等であってもよい。

【0016】

入出力デバイスは、例えばモニタ装置からなり、画像処理装置ＶＤから出力される、ＶＭ処理された映像データ等を表示するために使用される。なお、画像処理装置ＶＤには、入出力デバイス以外に、外部記憶装置や、管理用または解析用の情報処理装置等が接続されてもよい。

【0017】

画像処理装置ＶＤは、中央処理ユニット（Central Processing Unit：ＣＰＵ）等のハードウェアプロセッサを使用した制御部１を備え、この制御部１に対し、バス５を介して、プログラム記憶部２およびデータ記憶部３を有する記憶ユニットと、入出力インタフェース（以後インタフェースをＩ／Ｆと略称する）部４を接続したものとなっている。

【0018】

入出力Ｉ／Ｆ部４は、通信インタフェース機能を有し、信号ケーブルまたはネットワークを介して、上記カメラおよび入出力デバイス等との間で、入力映像データおよびＶＭ処理された映像データの送受信を行う。

【0019】

プログラム記憶部２は、例えば、記憶媒体としてＳＳＤ（Solid State Drive）等の随時書込みおよび読出しが可能な不揮発性メモリと、ＲＯＭ（Read Only Memory）等の不揮発性メモリとを組み合わせて構成したもので、ＯＳ（Operating System）等のミドルウェアに加えて、一実施形態に係る各種制御処理を実行するために必要なアプリケーション・プログラムを格納する。なお、以後ＯＳと各アプリケーション・プログラムとをまとめてプログラムと称する。

【0020】

データ記憶部３は、例えば、記憶媒体として、ＳＳＤ等の随時書込みおよび読出しが可能な不揮発性メモリと、ＲＡＭ（Random Access Memory）等の揮発性メモリと組み合わせたもので、一実施形態を実施するために必要な主たる記憶部として、入力映像記憶部３１と、ＶＭ処理映像記憶部３２と、被写体領域検出情報記憶部３３と、合成映像記憶部３４とを備えている。

【0021】

入力映像記憶部３１は、カメラまたは外部記憶装置から取得した高解像度の入力映像データを記憶するために使用される。

【0022】

ＶＭ処理映像記憶部３２は、ＶＭ処理された入力映像データを記憶するために使用される。

【0023】

被写体領域検出情報記憶部３３は、ＶＭ処理される前の上記入力映像データから検出される被写体領域を表す情報を記憶するために使用される。

【0024】

合成映像記憶部３４は、上記入力映像データの上記被写体領域のみをＶＭ処理された映像データに置換した合成映像データを記憶するために使用される。

【0025】

制御部１は、一実施形態を実施するために必要な処理機能として、入力映像取得処理部１１と、ＶＭ処理部１２と、被写体追跡処理部１３と、映像合成処理部１４と、合成映像出力処理部１５とを備える。これらの処理部１１～１５は、何れもプログラム記憶部２に格納されたアプリケーション・プログラムを制御部１のハードウェアプロセッサに実行させることにより実現される。

【0026】

なお、上記処理部１１～１５の一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアを用いて実現されてもよい。

【0027】

入力映像取得処理部１１は、カメラまたは外部記憶装置等の映像ソースから入力映像データを入出力Ｉ／Ｆ部４を介して取得し、取得された入力映像データを入力映像記憶部３１に記憶させる処理を行う。

【0028】

ＶＭ処理部１２は、上記入力映像記憶部３１から入力映像データをフレームごとに読み込み、読み込んだ各フレームの画像に対しそれぞれＶＭ処理を行う。そして、ＶＭ処理部１２は、ＶＭ処理された入力映像データをフレームごとにＶＭ処理映像記憶部３２保存させる処理を行う。ＶＭ処理の一例については、動作例において述べる。

【0029】

被写体追跡処理部１３は、上記ＶＭ処理部１２によるＶＭ処理と並行して被写体の追跡処理を行うもので、上記入力映像記憶部３１から入力映像データをフレームごとに読み込み、読み込んだ各フレームの画像からそれぞれ被写体の領域を検出する。そして、被写体追跡処理部１３は、上記各フレーム画像から検出された被写体の領域を表す情報を、フレーム順に被写体領域検出情報記憶部３３に記憶させる処理を行う。被写体領域の検出処理の一例は動作例において述べる。

【0030】

映像合成処理部１４は、上記被写体領域検出情報記憶部３３に記憶された被写体領域を表す情報をもとに、上記ＶＭ処理映像記憶部３２に記憶されたＶＭ処理後の映像データから被写体領域のＶＭ処理映像データを抽出し、抽出された被写体領域のＶＭ処理映像データを、上記入力映像記憶部３１に記憶された入力映像データに時間位置および座標位置を合わせて合成する処理を行う。そして、映像合成処理部１４は、上記合成処理により生成された合成映像データを合成映像記憶部３４に記憶させる。

【0031】

合成映像出力処理部１５は、上記合成映像記憶部３４から合成映像データを読み出し、読み出された合成映像データを入出力Ｉ／Ｆ部４から図示しない入出力デバイスまたは情報処理装置へ出力する処理を行う。

【0032】

（動作例）
次に、以上のように構成された画像処理装置ＶＤの動作例を説明する。
図３は、画像処理装置ＶＤの制御部１が実行する画像処理動作の処理手順と処理内容の一例を示すフローチャートである。

【0033】

（１）入力映像データの取得
例えば、対象ユーザが運動を開始すると、この運動中の対象ユーザの全身または特定部位がカメラにより撮影され、その映像データが出力される。映像データは、例えば高解像度のカラー動画像からなり、各フレームの画像は画素毎に輝度情報と色情報とを含む。なお、上記映像データは、必ずしも高解像度のカラー映像でなくてもよく、通常の解像度を有するモノクロ映像であってもよい。また、上記映像データはカメラ以外に、外部記憶装置に事前に記憶された映像データであってもよい。

【0034】

これに対し、画像処理装置ＶＤの制御部１は、入力映像取得処理部１１の制御の下、ステップＳ１において、上記カメラまたは外部記憶装置から出力された映像データを入出力Ｉ／Ｆ部４を介して入力映像データとして受信する。そして、受信された上記入力映像データを入力映像記憶部３１にフレームごとに時系列で記憶させる。

【0035】

（２）ＶＭ処理
次に、画像処理装置ＶＤの制御部１は、ＶＭ処理部１２の制御の下、ステップＳ２において、上記入力映像記憶部３１から入力映像データをフレームごとに読み込み、読み込んだ各フレームの画像に対しそれぞれＶＭ処理を行う。

【0036】

ＶＭ処理の一例として、ここでは非特許文献２に記載された、微細な運動変化に関するＶＭ処理を例にとってその動作の概要を説明する。図４は、その処理手順と処理内容の一例を示すフローチャートである。

【0037】

例えば、いま入力映像データの各フレーム画像が、画素（ピクセル）の座標位置を(x,y) 、フレームの時間位置をt=1,…,T 、色空間をc∈C として、I^c (x,y,t) として与えられたとする。この場合、ＶＭ処理部１２は、上記各フレーム画像の全画像領域または被写体像を含む局所領域(x,y) ∈(X,Y) に対しそれぞれ以下のようにＶＭ処理を行い、ＶＭ処理された映像データI^^c (x,y,t) を得る。

【0038】

すなわち、ＶＭ処理部１２は、先ずステップＳ２１において、上記入力映像データI^c (x,y,t) のフレームごとに、そのフレーム画像からＹ色信号成分I^y (x,y,t) を抽出する。なお、このＹ色信号成分I^y (x,y,t) の抽出処理の結果、Iⁱ (x,y,t) ，I^q (x,y,t) が残る。

【0039】

ＶＭ処理部１２は、次にステップＳ３２において、Complex Steerable Filter（以下ＣＦＳと略称する）と呼ばれ、フィルタ特性としてψ_ω,θ (x,y) を有するフィルタ群を用いて、上記低解像度映像のＹ色信号成分I^y _K (x,y,t) を、複数の帯域周波数ω∈Ωと複数の方向θ∈Θに分割された解析信号表現に、以下のように変換する。

【数1】

【0040】

ここで、R^y _ω,θ (x,y,t) は解析信号表現を、またA^y _ω,θ (x,y,t) は振幅信号表現を、φ^y _ω,θ (x,y,t) は位相信号表現をそれぞれ表している。このうち位相信号表現は、映像データ中の座標(x,y) を中心とした局所的な運動変化を表現していることが知られている。これは、例えば、Neal Wadhwa, Michael Rubinstein, Fredo Durand, William T. Freeman. “Phase-based Video Motion Processing”. ACM Transactions on Graphics (2013).に詳しく記載されている。

【0041】

ＶＭ処理部１２は、続いてステップＳ２３において、上記位相信号表現φ^y _ω,θ (x,y,t) に対し予め指定された任意の時間周波数ｆ_t を用いて、時系列フィルタリングh(t;f_t) を適用し、これにより時間周波数ｆ_t における微小な位相信号表現C^^y _ω,θ (x,y,t) を以下のように生成する。なお、* は畳み込み演算を表す。

【数2】

【0042】

ＶＭ処理部１２は、続いてステップＳ２４において、生成された上記微小な位相信号表現C^^y _ω,θ (x,y,t) を、任意の強調率αを用いて増幅した後、上記位相信号表現φ^y _ω,θ (x,y,t) に、

【数3】

のように加算する。これにより、微小な位相信号表現のみが強調された位相信号表現φ^^y _ω,θ (x,y,t) が得られる。

【0043】

ＶＭ処理部１２は、次にステップＳ２５において、上記微小な位相信号表現のみが強調された位相信号表現φ^^y _ω,θ (x,y,t) を用いて、ＶＭ処理が適用された解析信号表現を、以下のように構築する。

【数4】

【0044】

ＶＭ処理部１２は、続いてステップＳ２６において、ＣＳＦを用いて上記(5) 式を、ＶＭ処理が適用されたＹ色信号映像I^^y (x,y,t) に逆変換する。そしてＶＭ処理部１２は、逆変換された上記Ｙ色信号映像I^^y (x,y,t) を、上記ステップＳ２１における抽出処理により残ったIⁱ (x,y,t) ，I^q (x,y,t) と組み合わせ、これによりＶＭ処理された映像データI^^C (x,y,t) を生成する。

【0045】

最後にＶＭ処理部１２は、生成された上記ＶＭ処理後の映像データI^^C (x,y,t) を、ＶＭ処理映像記憶部３２に記憶させる。なお、ＶＭ処理の処理手順と処理内容は以上述べたものに限定されるものではなく、如何なる手法でも適用可能である。

【0046】

（３）被写体の追跡処理
画像処理装置ＶＤの制御部１は、上記ＶＭ処理部１２によるＶＭ処理と並行して、被写体追跡処理部１３の制御の下、ステップＳ３において、入力映像データに含まれる被写体の画像を時系列上で追跡する処理を以下のように実行する。

【0047】

すなわち、被写体追跡処理部１３は、入力映像記憶部３１から入力映像データを読み込む。そして、予め設定されたタイミングt ごとに、上記入力映像データの対応するフレーム画像から被写体領域(x,y,t) ∈(X_obj,Y_obj,t) を検出する。

【0048】

図５は、被写体追跡処理部１３による上記被写体の検出処理の処理手順と処理内容の一例を示すフローチャートである。

【0049】

図５に示すように、被写体追跡処理部１３は先ずステップＳ３１において、タイミングt ごとに、そのフレーム画像から被写体、例えば人の複数（Ｎ）個の関節点{(x_joint,y_joint,t)}^N _i=1 を検出する。

【0050】

被写体追跡処理部１３は、次にステップＳ３２において、検出された上記Ｎ個の関節点{(x_joint,y_joint,t)}^N _i=1 を中心に、それぞれ事前に設定されたサイズおよび形状を有する範囲の画像領域を上記フレーム画像から抽出する。例えば、人の関節を中心とする可動範囲に相当する半径Ｍピクセルの範囲(x,y,t) ∈{N(x_joint,y_joint,t)}^N _i=1 を、上記フレーム画像から抽出する。そして、抽出された画像領域を被写体領域(X_obj,Y_obj,t) ∈{N(x_joint,y_joint,t)}^N _i=1 とする。

【0051】

以上述べた被写体領域の検出処理は、例えば以下の文献に詳しく記載されている。
Z. Cao, G. Hidalgo, T. Simon, S. Wei and Y. Sheikh, "OpenPose: Realtime Multi-Person 2D Pose Estimation Using Part Affinity Fields". IEEE Transactions on Pattern Analysis & Machine Intelligence，2021。

【0052】

なお、以上の説明では、被写体領域を抽出する範囲を半径Ｍピクセルの範囲に予め設定した場合を例示した。しかし、それに限らず、例えば被写体となる人の関節長を入力映像データからピクセル単位で算出し、算出された上記関節長をもとに上記Ｍの値を設定するようにしてもよい。このようにすると、被写体ごとの個体差が考慮された最適な半径Ｍの範囲を設定することが可能となる。

【0053】

上記入力映像データから被写体領域を設定する手法としては、イメージセグメンテーション法等を適用することができる。イメージセグメンテーション法については、例えば以下の文献に詳しく記載されている。
Chuong Huynh, Anh Tuan Tran, Khoa Luu, and Minh Hoai. “Progressive Semantic Segmentation”, IEEE Transactions on Pattern Analysis & Machine Intelligence，2021。

【0054】

その他、被写体領域の追跡手法については、上記した手法に限定されるものではなく、被写体の種類や形状に応じて任意の手法を用いることができる。例えば、被写体が人体以外の物体の場合には、この物体の可動基点間の長さを算出する。また、上記被写体領域を抽出する範囲は、円形以外に楕円形や矩形等の他の形状であってもよい。

【0055】

最後に被写体追跡処理部１３は、上記のように検出された被写体領域を表す情報を、ステップＳ３３により被写体領域検出情報記憶部３３に記憶させる。

【0056】

（４）映像合成処理
画像処理装置ＶＤの制御部１は、次に映像合成処理部１４の制御の下、ステップＳ４において、合成映像データを生成する処理を以下のように実行する。

【0057】

すなわち、映像合成処理部１４は、先ず検出された上記被写体領域を表す情報を被写体領域検出情報記憶部３３から読み込み、この被写体領域を表す情報をもとに、上記ＶＭ処理映像記憶部３２に記憶されたＶＭ処理後の映像データから、上記被写体領域に対応するＶＭ処理映像データを抽出する。そして映像合成処理部１４は、抽出された上記被写体領域のＶＭ処理映像データを、入力映像記憶部３１に記憶された入力映像データに時間位置および座標位置を合わせて合成する。

【0058】

映像合成処理部１４は、上記合成処理により得られた映像データを合成映像記憶部３４に記憶させる。かくして、上記映像合成処理により、入力映像データの被写体領域のみがＶＭ処理映像データに置換された合成映像データが得られる。

【0059】

なお、入力映像データに上記被写体領域のＶＭ処理映像データを合成する際に、被写体領域のＶＭ処理映像データと入力映像データとの境界部位に対し、画素の平滑化処理を行うようにしてもよい。例えば、アルファブレンディング等の画像処理技術を用いて、被写体領域のＶＭ処理映像データと入力映像データとの境界部位が滑らかに合成されるように画像処理を行う。このようにすると、ＶＭ処理により強調された被写体領域の輪郭部位が損なわれないようにして、より自然なＶＭ合成映像データを生成することが可能となる。

【0060】

（５）合成映像データの出力
画像処理装置ＶＤの制御部１は、最後に合成映像出力処理部１５の制御の下、ステップＳ５において、入力映像データの被写体領域のみがＶＭ処理映像データに置換された合成映像データを合成映像記憶部３４から読み出し、読み出された上記合成映像データを入出力Ｉ／Ｆ部４から図示しない入出力デバイスへ出力する。

【0061】

従って、入出力デバイスでは、上記合成映像データが例えばモニタ表示される。このため、例えば管理者は、表示された上記ＶＭ処理された合成映像を見ることで、被写体である例えば運動中の対象ユーザの全身または特定部位の動きを、微小変化まで明確に確認することが可能となる。

【0062】

なお、上記合成映像データは外部の情報処理装置へ送信されるようにしてもよい。この場合、外部の情報処理装置では、例えば、上記合成映像データに対し例えば画像処理を行うことで被写体の微小変化の特徴量を抽出し、抽出された上記微小変化の特徴量を学習モデルに入力して、被写体の動きの特徴の解析結果を表す情報を得る、といった解析処理が可能となる。

【0063】

（効果）
以上述べたように一実施形態では、画像処理装置ＶＤにおいて、例えばカメラまたは外部記憶装置から取得された映像データに対しＶＭ処理を行うと共に、それと並行して上記入力映像データから被写体領域を検出する処理を行う。そして、上記ＶＭ処理された映像データから、上記被写体領域に対応する映像データを抽出し、抽出された上記被写体領域のＶＭ処理映像データを、上記入力映像データに時間位置および座標位置を合わせて合成するようにしている。

【0064】

従って、一実施形態によれば、入力映像データの被写体領域のみがＶＭ処理映像データに置換された合成映像データを生成することができる。このため解析者は、例えばフレーム画像の全領域をＶＭ処理した映像データを用いて解析処理を行うる場合に比べ、データ容量が小さくかつ被写体領域については画像の微小変化が強調された合成映像データを用いて被写体の動きの解析処理を行うことが可能となる。従って、被写体の状態を解析する際に、大容量のメモリ領域を不要とし、かつ解析処理の処理負荷を小さく抑えることができる。

【0065】

また、被写体の追跡処理により被写体の領域を検出して、検出された上記被写体領域のみにＶＭ処理を適用すると、ＶＭ処理後の映像データに被写体の追跡処理によるノイズが残留する場合がある。これに対し一実施形態では、入力映像データのフレーム画像の全領域または被写体領域を含む局所領域に対しＶＭ処理を適用し、このＶＭ処理と別に上記入力映像データから被写体領域を検出し、検出された上記被写体領域の情報をもとに上記ＶＭ処理後の映像データから上記被写体領域のＶＭ処理映像データを抽出し、抽出された上記被写体領域のＶＭ処理映像データを上記入力映像データに合成するようにしている。従って、被写体領域の追跡処理によるノイズを含まない高品質の合成映像データを得ることができる。

【0066】

さらに一実施形態では、被写体領域の追跡手法として、入力映像データから人の複数の関節位置を検出し、検出された上記各関節位置を中心にそれぞれ所定の半径Ｍを有する範囲を設定することで、当該範囲に囲まれた領域を被写体領域とするようにしている。この結果、被写体の輪郭を検出する場合に比べ、簡単な処理で被写体領域を検出することが可能となる。

【0067】

しかも、上記被写体領域を設定する際に、入力映像データから人の関節長を検出して、この関節長をもとに上記半径Ｍを設定することで、被写体ごとの個体差が考慮された最適な半径Ｍを設定することが可能となる。

【0068】

さらに、入力映像データに被写体領域のＶＭ処理映像データを合成する際に、例えばアルファブレンディング等の画像処理技術を適用して、被写体領域と入力映像データとの境界部位が滑らかに合成することで、ＶＭ処理により強調された被写体領域の輪郭部位が損なわれないようにして、自然なＶＭ合成映像データを生成することが可能となる。

【0069】

［その他の実施形態］
（１）一実施形態では、入力映像データの取得処理からＶＭ処理、被写体領域追跡処理、映像合成処理および合成映像出力処理を、１個の画像処理装置ＶＤにおいて行う場合を例にとって説明した。しかし、それに限らず、上記ＶＭ処理から、被写体領域追跡処理、映像合成処理超解像処理および映像出力処理までの一連の処理の一部を、複数の情報処理装置で分散処理するようにしてもよい。

【0070】

また、画像処理装置は、入力映像データの取得処理から合成映像データの出力処理までの一連の処理を専用に行うように構成する必要はなく、被写体領域の解析処理機能等、他の処理機能を併せて実行するように構成されてもよい。

【0071】

（２）一実施形態では、入力映像データの取得処理から合成映像データの出力処理までの一連の処理をリアルタイムに実行する場合を例にとって説明した。しかしそれに限らず、例えば人の運動中の全期間または一部期間の映像データを入力映像記憶部３１に一旦蓄積し、この蓄積された映像データに対し一括してＶＭ処理、被写体領域追跡処理および映像合成処理を実行するようにしてもよい。

【0072】

また、合成映像データのすべてまたは一部を合成映像記憶部３４に一旦蓄積し、この状態で例えば管理者の端末装置から合成映像データの取得要求が送られた場合に、上記合成映像記憶部３４から合成映像データを読み出して、入出力デバイスまたは外部の情報処理装置等へ一括送信するようにしてもよい。

【0073】

（３）一実施形態では、動画像からなる映像データを対象として、被写体領域のみＶＭ処理された映像データを生成する場合を例にとって説明したが、静止画像からなる画像データを対象として被写体領域のみＶＭ処理された映像データを生成するようにしてもよい。

【0074】

（４）その他、画像処理装置の機能構成、処理手順と処理内容、ＶＭ処理、被写体領域の追跡処理および映像合成処理の処理手順と処理内容等については、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。

【0075】

以上、この発明の実施形態を詳細に説明してきたが、前述までの説明はあらゆる点においてこの発明の例示に過ぎない。この発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、この発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。

【0076】

要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

【符号の説明】

【0077】

ＶＤ…画像処理装置
１…制御部
２…プログラム記憶部
３…データ記憶部
４…入出力Ｉ／Ｆ部
５…バス
１１…入力映像取得処理部
１２…ＶＭ処理部
１３…被写体追跡処理部
１４…映像合成処理部
１５…合成映像出力処理部
３１…入力映像記憶部
３２…ＶＭ処理映像記憶部
３３…被写体領域検出情報記憶部
３４…合成映像記憶部

【図1】

【図2】

【図3】

【図4】

【図5】