特許 7192259 画像処理装置、画像処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-12

(45)【発行日】2022-12-20

(54)【発明の名称】画像処理装置、画像処理方法及びプログラム

(51)【国際特許分類】

   G06T 7/194 20170101AFI20221213BHJP

   H04N 5/232 20060101ALI20221213BHJP

【ＦＩ】

G06T7/194

H04N5/232 290

【請求項の数】 19

(21)【出願番号】P 2018117154

(22)【出願日】2018-06-20

(65)【公開番号】P2019219940

(43)【公開日】2019-12-26

【審査請求日】2021-06-04

(73)【特許権者】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】100108855

【弁理士】

【氏名又は名称】蔵田 昌俊

(74)【代理人】

【識別番号】100103034

【弁理士】

【氏名又は名称】野河 信久

(74)【代理人】

【識別番号】100153051

【弁理士】

【氏名又は名称】河野 直樹

(74)【代理人】

【識別番号】100179062

【弁理士】

【氏名又は名称】井上 正

(74)【代理人】

【識別番号】100189913

【氏名又は名称】鵜飼 健

(74)【代理人】

【識別番号】100199565

【弁理士】

【氏名又は名称】飯野 茂

(72)【発明者】

【氏名】加藤 寛之

【審査官】▲広▼島 明芳

(56)【参考文献】

【文献】特開２００９－１８１２５９（ＪＰ，Ａ）

【文献】特開２０００－２６１８２８（ＪＰ，Ａ）

【文献】特開２０１０－００３１７７（ＪＰ，Ａ）

【文献】特開２０１０－０６７１２５（ＪＰ，Ａ）

【文献】小塚 亨，外３名，背景の適応的選択に基づく複数画像系列の統合による移動物体除去に関する検討，電子情報通信学会技術研究報告 Ｖｏｌ．１１４ Ｎｏ．５２０，日本，一般社団法人電子情報通信学会，2015年03月12日，第114巻

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

動画を構成する対象画像を基準となる画像と予め設定した画像位置範囲で比較し、上記対象画像の背景画像としての信頼性を判断する判断手段と、
上記判断手段で信頼性があると判断した対象画像を複数用いて背景画像の情報を作成する背景画像作成手段と、
を備え、
上記背景画像作成手段は、対象画像中の主要被写体の位置を認識し、認識した主要被写体の位置に基づいて、対象画像を複数のエリアに分割してエリア毎に背景画像としての重み付けを設定し、
上記複数のエリアの分割は、予め用意された複数の分割パターンから１つを任意に選択可能である、
画像処理装置。

【請求項2】

上記画像位置範囲は、上記動画を構成する対象画像及び上記基準となる画像の一部分の範囲である、請求項１記載の画像処理装置。

【請求項3】

上記判断手段は、動画を構成する対象画像を基準となる画像と予め設定した画像位置範囲で比較し、予め設定した閾値以下の相違の場合、上記対象画像は背景画像としての信頼性があると判断する、請求項１または２に記載の画像処理装置。

【請求項4】

動画を構成する対象画像を基準となる画像と予め設定した画像位置範囲で比較し、上記対象画像の背景画像としての信頼性を判断する判断手段と、
上記判断手段で信頼性があると判断した対象画像を複数用いて背景画像の情報を作成する背景画像作成手段と、
を備え、
上記背景画像作成手段は、事前に撮影された教師データとなる動画から教師の位置を認識し、事前に作成した、前記教師の位置に応じた重み付けのテンプレートデータに基づいて、背景画像としての重み付けを設定する、
画像処理装置。

【請求項5】

上記背景画像作成手段は、重み付け背景画像生成法により背景画像の情報を作成する、
請求項１乃至４の何れか一項記載の画像処理装置。

【請求項6】

上記基準となる画像は、上記動画の一のフレームである、請求項１乃至５の何れか一項記載の画像処理装置。

【請求項7】

上記基準となる画像は、「ピンぼけ」状態となっていない画像である、請求項１乃至６の何れか一項記載の画像処理装置。

【請求項8】

上記予め設定した画像位置範囲は、画像の周辺領域である、請求項１乃至７の何れか一項記載の画像処理装置。

【請求項9】

上記予め設定した画像位置範囲は、画像の四隅の領域である、請求項８記載の画像処理装置。

【請求項10】

動画を構成する複数のフレーム画像の何れかを基準画像に設定するとともに、前記複数のフレーム画像のそれぞれを前記基準画像と予め定められた画像領域で比較することにより、前記複数のフレーム画像のそれぞれに対して背景画像としての信頼性があるか否かを判断する判断手段と、
前記判断手段により信頼性があると判断されたフレーム画像が複数あった場合に、当該信頼性があると判断された複数のフレーム画像を用いて背景画像を作成する背景画像作成手段と、
を備え、
上記背景画像作成手段は、対象画像中の主要被写体の位置を認識し、認識した主要被写体の位置に基づいて、対象画像を複数のエリアに分割してエリア毎に背景画像としての重み付けを設定し、
上記複数のエリアの分割は、予め用意された複数の分割パターンから１つを任意に選択可能である、
画像処理装置。

【請求項11】

動画を構成する複数のフレーム画像の何れかを基準画像に設定するとともに、前記複数のフレーム画像のそれぞれを前記基準画像と予め定められた画像領域で比較することにより、前記複数のフレーム画像のそれぞれに対して背景画像としての信頼性があるか否かを判断する判断手段と、
前記判断手段により信頼性があると判断されたフレーム画像が複数あった場合に、当該信頼性があると判断された複数のフレーム画像を用いて背景画像を作成する背景画像作成手段と、
を備え、
上記背景画像作成手段は、事前に撮影された教師データとなる動画から教師の位置を認識し、事前に作成した、前記教師の位置に応じた重み付けのテンプレートデータに基づいて、背景画像としての重み付けを設定する、
画像処理装置。

【請求項12】

動画を構成する対象画像の予め設定した画像位置範囲と基準となる画像の予め設定した画像位置範囲とが一致する場合は背景画像としての信頼性があると判断する判断工程と、
上記判断工程で信頼性があると判断した対象画像を複数用いて背景画像の情報を作成する背景画像作成工程と、
を有し、
上記背景画像作成工程は、対象画像中の主要被写体の位置を認識し、認識した主要被写体の位置に基づいて、対象画像を複数のエリアに分割してエリア毎に背景画像としての重み付けを設定し、
上記複数のエリアの分割は、予め用意された複数の分割パターンから１つを任意に選択可能である、
画像処理方法。

【請求項13】

動画を構成する対象画像の予め設定した画像位置範囲と基準となる画像の予め設定した画像位置範囲とが一致する場合は背景画像としての信頼性があると判断する判断工程と、
上記判断工程で信頼性があると判断した対象画像を複数用いて背景画像の情報を作成する背景画像作成工程と、
を有し、
上記背景画像作成工程は、事前に撮影された教師データとなる動画から教師の位置を認識し、事前に作成した、前記教師の位置に応じた重み付けのテンプレートデータに基づいて、背景画像としての重み付けを設定する、
画像処理方法。

【請求項14】

動画を構成する複数のフレーム画像の何れかを基準画像に設定するとともに、前記複数のフレーム画像のそれぞれを前記基準画像と予め定められた画像領域で比較することにより、前記複数のフレーム画像のそれぞれに対して背景画像としての信頼性があるか否かを判断する判断工程と、
前記判断工程により信頼性があると判断されたフレーム画像が複数あった場合に、当該信頼性があると判断された複数のフレーム画像を用いて背景画像を作成する背景画像作成工程と、
を有し、
上記背景画像作成工程は、対象画像中の主要被写体の位置を認識し、認識した主要被写体の位置に基づいて、対象画像を複数のエリアに分割してエリア毎に背景画像としての重み付けを設定し、
上記複数のエリアの分割は、予め用意された複数の分割パターンから１つを任意に選択可能である、
画像処理方法。

【請求項15】

動画を構成する複数のフレーム画像の何れかを基準画像に設定するとともに、前記複数のフレーム画像のそれぞれを前記基準画像と予め定められた画像領域で比較することにより、前記複数のフレーム画像のそれぞれに対して背景画像としての信頼性があるか否かを判断する判断工程と、
前記判断工程により信頼性があると判断されたフレーム画像が複数あった場合に、当該信頼性があると判断された複数のフレーム画像を用いて背景画像を作成する背景画像作成工程と、
を有し、
上記背景画像作成工程は、事前に撮影された教師データとなる動画から教師の位置を認識し、事前に作成した、前記教師の位置に応じた重み付けのテンプレートデータに基づいて、背景画像としての重み付けを設定する、
画像処理方法。

【請求項16】

動画を取扱う装置が内蔵したコンピュータが実行するプログラムであって、上記コンピュータを、
動画を構成する対象画像を基準となる画像と予め設定した画像位置範囲で比較し、上記対象画像の背景画像としての信頼性を判断する判断手段、及び
上記判断手段で信頼性があると判断した対象画像を複数用いて背景画像の情報を作成する背景画像作成手段、
として機能させ、
上記背景画像作成手段は、対象画像中の主要被写体の位置を認識し、認識した主要被写体の位置に基づいて、対象画像を複数のエリアに分割してエリア毎に背景画像としての重み付けを設定し、
上記複数のエリアの分割は、予め用意された複数の分割パターンから１つを任意に選択可能である、
プログラム。

【請求項17】

動画を取扱う装置が内蔵したコンピュータが実行するプログラムであって、上記コンピュータを、
動画を構成する対象画像を基準となる画像と予め設定した画像位置範囲で比較し、上記対象画像の背景画像としての信頼性を判断する判断手段、及び
上記判断手段で信頼性があると判断した対象画像を複数用いて背景画像の情報を作成する背景画像作成手段、
として機能させ、
上記背景画像作成手段は、事前に撮影された教師データとなる動画から教師の位置を認識し、事前に作成した、前記教師の位置に応じた重み付けのテンプレートデータに基づいて、背景画像としての重み付けを設定する、
プログラム。

【請求項18】

動画を取扱う装置が内蔵したコンピュータが実行するプログラムであって、上記コンピュータを、
動画を構成する複数のフレーム画像の何れかを基準画像に設定するとともに、前記複数のフレーム画像のそれぞれを前記基準画像と予め定められた画像領域で比較することにより、前記複数のフレーム画像のそれぞれに対して背景画像としての信頼性があるか否かを判断する判断手段、
前記判断手段により信頼性があると判断されたフレーム画像が複数あった場合に、当該信頼性があると判断された複数のフレーム画像を用いて背景画像を作成する背景画像作成手段、
として機能させ、
上記背景画像作成手段は、対象画像中の主要被写体の位置を認識し、認識した主要被写体の位置に基づいて、対象画像を複数のエリアに分割してエリア毎に背景画像としての重み付けを設定し、
上記複数のエリアの分割は、予め用意された複数の分割パターンから１つを任意に選択可能である、
プログラム。

【請求項19】

動画を取扱う装置が内蔵したコンピュータが実行するプログラムであって、上記コンピュータを、
動画を構成する複数のフレーム画像の何れかを基準画像に設定するとともに、前記複数のフレーム画像のそれぞれを前記基準画像と予め定められた画像領域で比較することにより、前記複数のフレーム画像のそれぞれに対して背景画像としての信頼性があるか否かを判断する判断手段、
前記判断手段により信頼性があると判断されたフレーム画像が複数あった場合に、当該信頼性があると判断された複数のフレーム画像を用いて背景画像を作成する背景画像作成手段、
として機能させ、
上記背景画像作成手段は、事前に撮影された教師データとなる動画から教師の位置を認識し、事前に作成した、前記教師の位置に応じた重み付けのテンプレートデータに基づいて、背景画像としての重み付けを設定する、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

【背景技術】

【0002】

画面全体からゆらぎ領域を確実に検出でき、監視対象とする物体を精度良く検知するための技術が提案されている。（例えば、特許文献１）

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１１－１２３５６２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

例えば、室内でカメラを固定して人物がダンスする情景を動画撮影する場合で、且つカメラが備えるオートフォーカス機能により、撮影範囲内を移動する、主要な被写体であるダンスを行なう人物を追尾しながら合焦し続けるケースを想定する。

【0005】

そのような状況においては、上記合焦位置が移動することに伴って、背景となる画像部分においても、著しく合焦から外れた、所謂「ピンぼけ」と称される不鮮明な状態で撮影されることがある。

【0006】

そして、上述したように背景側の画像が不鮮明な状態で撮影されると、その後に撮影画像中を移動する主要被写体の画像と背景を切り分けるような画像処理が必要となった場合に、背景と主要被写体との区分を判断する際の精度が低下する、という不具合を生じることになる。

【0007】

このようなオートフォーカス機能の働きによって生じる背景画像の不鮮明化等については、上記特許文献に記載された技術でも考慮されていない。

【0008】

本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、画像中を移動する動体と背景を精度良く切り分けることが可能な画像処理装置、画像処理方法及びプログラムを提供することにある。

【課題を解決するための手段】

【0009】

本発明の一態様は、
動画を構成する対象画像を基準となる画像と予め設定した画像位置範囲で比較し、上記対象画像の背景画像としての信頼性を判断する判断手段と、
上記判断手段で信頼性があると判断した対象画像を複数用いて背景画像の情報を作成する背景画像作成手段と、
を備え、
上記背景画像作成手段は、対象画像中の主要被写体の位置を認識し、認識した主要被写体の位置に基づいて、対象画像を複数のエリアに分割してエリア毎に背景画像としての重み付けを設定し、
上記複数のエリアの分割は、予め用意された複数の分割パターンから１つを任意に選択可能である。

【発明の効果】

【0010】

本発明によれば、画像中を移動する動体と背景を精度良く切り分けることが可能となる。

【図面の簡単な説明】

【0011】

【図1】本発明の一実施形態に係るスマートフォンの電子回路の機能構成を示すブロック図。

【図2】同実施形態に係るダンスを撮影してから、その撮影結果を基に採点を行なうまでの一連の処理の流れを示すフローチャート。

【図3】同実施形態に係る図２の背景テンプレート画像作成に関するサブルーチンの処理内容を示すフローチャート。

【図4】同実施形態に係る画像中の主要被写体の位置に応じた重み付け設定の例を示す図。

【発明を実施するための形態】

【0012】

以下、本発明を、ダンス解析用のアプリケーションプログラムをインストールしたスマートフォンに適用した場合の一実施形態について、図面を参照して詳細に説明する。

【0013】

図１は、スマートフォン１０の電子回路の機能構成を説明するブロック図である。このスマートフォン１０において、１１は音声を出力するスピーカ、１２は音声を入力するマイクロホンであり、共に音声処理部１３に接続される。

【0014】

この音声処理部１３は、スマートフォン１０により音声の入出力を行なうに当たり、上記マイクロホン１２から入力される音声をデジタル化、コードデータ化及び所定のデータ圧縮を施してシステムバスＳＢへ出力する一方で、デジタル音楽データをシステムバスＳＢを介して受取り、伸長処理した後にアナログ化した音声信号を生成して上記スピーカ１１へ出力し、放音させる。

【0015】

プロセッサ１４は、このスマートフォン１０全体の動作制御を、上記システムバスＳＢを介して接続されたメインメモリ１５及びＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）１６を使用して実行する。

【0016】

メインメモリ１５は、例えばＳＤＲＡＭで構成され、プロセッサ１４がプログラムを実行する際にＳＳＤ１６から読み出したアプリケーションプログラムを展開して保持するワークメモリである。ＳＳＤ１６は、不揮発性メモリで構成され、ＯＳ（オペレーティングシステム）と、後述するダンス解析プログラム１６Ａを含む各種アプリケーションプログラム、その他各種固定データやコンテンツ等を格納、記憶するもので、それらの記憶内容は必要により適宜プロセッサ１４によってメインメモリ１５等へ読出される。

【0017】

なおプロセッサ１４は、映像の記録時に、撮影により得られる一連の画像データに対するデータ圧縮を含む動画像ファイル化を行なう一方で、映像の再生時には、記録媒体から読み出されてきた動画像ファイルを上記記録時と逆の手順で順次デコードして伸長して再生表示させる。

【0018】

また上記システムバスＳＢにはさらに、表示部１７、タッチ入力部１８、撮像部１９、ＧＰＳ受信部２０、加速度センサ２１、ジャイロセンサ２２、地磁気センサ２３、操作部２４、バイブレータ２５、無線通信部２６、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）部２７、及び外部デバイスインタフェイス（Ｉ／Ｆ）２８と接続される。

【0019】

表示部１７は、バックライト付きの例えば対角６インチ程のサイズのカラー液晶パネルとそれらの駆動回路とで構成される。この表示部１７に対して、透明電極膜を用いたタッチ入力部１８が一体に構成される。このタッチ入力部１８は、マルチタッチ操作を含めてユーザのタッチ操作に応じた時系列の座標信号をデジタル化し、タッチ操作信号として上記プロセッサ１４へ送出する。

【0020】

撮像部１９は、スマートフォン１０の筐体の表裏の少なくとも何れかに設けられた撮像部と、それらの撮像部の撮像で得られた画像データを圧縮してファイル化する画像処理部等を有する。

【0021】

ＧＰＳ受信部２０は、ＧＰＳアンテナ２９で受信する、図示しない複数のＧＰＳ衛星からの到来電波に基づき、現在位置の３次元座標（緯度、経度、高度）と、現在時刻とを算出し、システムバスＳＢを介して上記プロセッサ１４へ送出する。

【0022】

加速度センサ２１は、互いに直交する３軸方向それぞれの加速度を検出するもので、重力加速度の方向により、このスマートフォン１０の姿勢を検出できる。

【0023】

ジャイロセンサ２２は、互いに直交する３軸方向に配置された振動型ジャイロスコープで構成され、上記加速度センサ２１、地磁気センサ２３の出力と組み合わせて、このスマートフォン１０を所持、装着しているユーザの動作を解析して、上記ＧＰＳアンテナ２９、ＧＰＳ受信部２０からの出力による絶対的な現在位置の認識ができない状態でも、加速度センサ２１、地磁気センサ２３との協働により自律航法による現在位置の更新動作を実行することができる。

【0024】

地磁気センサ２３は、互いに直交する３軸方向それぞれの地磁気を検出するもので、磁北の方向に基づいてその時点でこのスマートフォン１０を向けている方位が検出できる。

【0025】

操作部２４は、このスマートフォン１０の筐体側面等に設けられる、電源キーを含むいくつかの操作キーからなり、それらのキー操作に応じたキー操作信号をシステムバスＳＢを介してプロセッサ１４へ送出する。

【0026】

バイブレータ２５は、小型のモータとそのモータの回転軸に偏心して取付けられたウェイトとからなり、モータの回転駆動によりスマートフォン１０全体に及ぶ振動を発生させる。

【0027】

無線通信部２６は、アンテナ３０～３２を用いて、例えば第４世代携帯電話、ＩＥＥＥ８０２．１１ａ／１１ｂ／１１ｇ／１１ｎに則った無線ＬＡＮシステム、及びブルートゥース（登録商標）等による近距離無線通信線にそれぞれ対応して外部の機器と無線通信によるデータの送受を行なう。

【0028】

ＮＦＣ部２７は、例えばＦｅｌｉＣａ（登録商標）規格及びＭＩＦＡＲＥ（登録商標）規格を用いて、近距離にある外部機器と非接触でデータの送受及び給電動作を行なう。

【0029】

外部デバイスインタフェイス２８は、ヘッドホンジャック３３、マイクロＵＳＢ端子３４、及びメモリカードスロット３５を介して、例えばヘッドホンやイヤホン、ＵＳＢ機器、及びメモリカードをそれぞれ接続または装着可能とする。

【0030】

メモリカードスロット３５に装着するメモリカードには、後述するダンス解析プログラムで使用する動画像データファイル等を記録し、また記録したデータファイルを読み出すことができる。

【0031】

次に本実施形態の動作について説明する。
図２は、ダンスを行なう人物の動画を撮影してから、その撮影により得られた動画ファイルにおける上記人物のダンスの採点を行なうまでの一連の処理の流れを示す。

【0032】

その当初に、ユーザはスマートフォン１０を設置、できれば三脚等を用いて固定設置した上で、ダンスを行なう人物の動画による撮影を実行する（ステップＳ１０１）。

【0033】

この撮影に先駆けて、例えば表示部１７の画面下部において、
「背景画像の四隅がはっきりと写るように画角を設定して下さい」
のような文字ガイドメッセージを併せて重畳表示させるものとして、ユーザに適切な動画を撮影するように促してもよい。

【0034】

この動画撮影に関しては、スマートフォン１０にインストールしているアプリケーションプログラムであるダンス解析プログラム１６Ａを使用することなく、通常のカメラモードでの動画撮影であっても良いし、あるいはスマートフォン１０外の機器から、既に撮影済みの動画ファイルを取込んで、メモリカードスロット３５に装着したメモリカード、あるいはＳＳＤ１６に記録させるものとしても良い。

【0035】

その後、ダンス解析プログラム１６Ａを起動していない場合は当該プログラムをあらためて起動した上で、解析を行なう動画ファイルを選択する。

【0036】

選択した動画ファイルに対して、プロセッサ１４ではまず、ダンスを行なう人物を画像中から切り出して抽出するための背景テンプレート画像を作成する処理を実行する（ステップＳ１０２）。

【0037】

図３は、この背景テンプレート画像の作成に関するサブルーチンの処理内容を示すフローチャートである。

【0038】

その当初にプロセッサ１４は、今回撮影する動画の一のフレーム（例えば、先頭フレーム）を、基準となる初期の背景画像として設定する。なお、その際、当該一のフレームが「ピンぼけ」状態となっていないか画像認識処理により判別し、「ピンぼけ」状態となっていないフレームを、基準となる初期の背景画像として設定する（ステップＳ２０１）。

【0039】

こうして初期の背景画像が選択されたことを受けて、以後、動画ファイルを構成する個々のフレーム画像を用いた背景テンプレート画像の作成に移行する。

【0040】

その処理当初にプロセッサ１４は、全てのフレーム画像に対する処理を終了したか否かにより、上記背景テンプレート画像の作成を終了したか否かを判断する（ステップＳ２０２）。

【0041】

ここでまだ終了していないと判断すると（ステップＳ２０２のＮｏ）、プロセッサ１４は、背景テンプレート画像の作成で参照していないフレーム画像中、時系列で最も先頭側に位置しているものを選択し、デコード対象の画像（以下「対象画像」と称する）として設定する（ステップＳ２０３）。

【0042】

次にプロセッサ１４は、それまでの時点で背景テンプレート画像として積算処理された画像を平均化した画像（以下「前回対象画像」と称する）と、今回設定した対象画像の周辺画像範囲、例えばそれぞれ四隅の縦６４画素×横６４画素の画像ブロックの一致を検証する（ステップＳ２０４）。

【0043】

上記前回対象画像は、上記ステップＳ２０１で最初に選択した初期の背景画像からの蓄積に基づく画像であるものとする。

【0044】

プロセッサ１４は上記検証の結果に基づき、予め設定した閾値以下の相違であるか否かにより、一致するか否かを判断する（ステップＳ２０５）。

【0045】

ここで、前回対象画像と今回設定した対象画像の四隅の画像範囲の一致を検証するのは、ダンスの場合、ダンサーが画像の四隅の位置に移動して踊ることはなく、２つの対象画像の四隅が一致しないと判断した場合は（ステップＳ２０５のＮｏ）、例えば画像中の主要被写体に対するオートフォーカス機能による追尾処理等でフレーム画像の背景側の合焦状態が大きく外れて「ピンぼけ」状態となっている場合や、当該フレーム画像の撮影範囲が、そもそも上記初期の背景画像の撮影範囲と異なっている場合などが考えられる。

【0046】

したがってプロセッサ１４は、その時点で設定している対象画像を背景テンプレート画像の作成に用いることはないものとして、次のフレーム画像を設定するべく、再び上記ステップＳ２０２からの処理に戻る。

【0047】

また上記ステップＳ２０５において、２つの対象画像の四隅の相違が予め設定した閾値以下であり、一致したと判断した場合（ステップＳ２０５のＹｅｓ）、次にプロセッサ１４は、その対象画像中の主要被写体の位置に応じた画面の背景領域の重み付け設定を行なう（ステップＳ２０６）。

【0048】

ここで、対象画像中の主要被写体の位置に応じた画面の背景領域の重み付け設定を行なうのは、ダンスの場合、それぞれのダンスに応じてダンサーの移動や振り付けが決まっており、一連のダンスの中で、ある時は、ダンスフロアの中央付近にある程度の時間留まって踊り、またある時は、ダンスフロアの左や右端付近に留まって踊ることがある。

【0049】

このようなダンス動画から背景テンプレートを作成する場合、特定の場所にある程度の時間留まっているダンサーも背景として含まれてしまうのを防ぐことを目的とする。

【0050】

図４は、画像中の主要被写体ＭＯの位置に応じた重み付け設定の例を示す図である。ここでは、横長の矩形の画像を横方向に４つのエリアに分割するものとして、背景領域を等分に分割し、画面全体における総計値を「２００」として、各領域毎に重み付けを行った例を示す。

【0051】

図４（Ａ）－１は、主要被写体ＭＯが画像中のほぼ中央に留まって踊っている場合を示す。この場合、図４（Ａ）－２に示すように、４つに分割した背景領域中、左右の両端の２つのエリアにそれぞれ重み付け「７０」を設定する一方で、中央寄りの２つのエリアにはそれぞれ重み付け「３０」を設定している。

【0052】

図４（Ｂ）－１は、主要被写体ＭＯが画像中のほぼ左端側に留まって踊っている場合を示す。この場合、図４（Ｂ）－２に示すように、４つに分割した背景領域中、左端側から順次重み付けを「３０」「４０」「６０」「７０」と、右側に位置するほど高くなるように設定している。

【0053】

さらに図４（Ｃ）－１は、反対に画像中のほぼ右端側に主要被写体ＭＯが位置している場合を示す。この場合、図４（Ｃ）－２に示すように、４つに分割した背景領域中、右端側から順次重み付けを「３０」「４０」「６０」「７０」と、左側に位置するほど高くなるように設定している。

【0054】

なお、上記図４は、横長の矩形の画像を横方向に４つのエリアに分割するものとして、背景領域を等分に分割した場合について説明したが、このような分割パターンに限らず、予め用意される複数の分割パターンから、スマートフォン１０のユーザ自身が、ダンスにおける主要被写体ＭＯの動きに応じた１つの分割パターンを任意に選択できるものとしても良い。

【0055】

その場合、ユーザ自身が画像中の主要被写体ＭＯの動き方を考慮して分割パターンを適切に選択することで、後に画像中から主要被写体ＭＯを切り出して抽出する場合の精度をより高めることができる。

【0056】

こうして上記図４に示した如く主要被写体の位置に応じた画面の背景領域の重み付け設定を行なった後、プロセッサ１４は重み付けした結果に基づいて現在の対象画像を前回対象画像にさらに加算させる積算処理を実行した後（ステップＳ２０７）、次のフレーム画像を設定するべく、再び上記ステップＳ２０２からの処理に戻る。

【0057】

こうして上記ステップＳ２０２～Ｓ２０７の処理を、動画ファイルを構成するフレーム画像分だけ繰返し実行することで、画像の背景側が鮮明な状態となっているフレーム画像のみを用いて背景テンプレート画像を作成する。
なお、この重み付け背景画像生成法は公知な技術であるため詳細な説明は省略する。

【0058】

そして、動画ファイルを構成する最後のフレーム画像に対する処理を実行した後、上記ステップＳ２０２において、背景テンプレート画像の作成を終了したと判断すると（ステップＳ２０２のＹｅｓ）、プロセッサ１４は以上で図３のサブルーチンの処理を終了して、上記図２のメインルーチンに復帰する。

【0059】

図２において、上記作成した背景のテンプレート画像に基づいて、あらためてダンサーの主要被写体ＭＯを切り出して抽出する処理を、全フレーム画像に対して実行する（ステップＳ１０３）。

【0060】

その後にプロセッサ１４は、抽出したダンサーの主要被写体ＭＯに基づき、予め設定されている採点処理方法に基づいた採点を実行し、採点結果を表示部１７にて表示させた上で（ステップＳ１０４）、以上でダンス解析プログラム１６Ａに基づいた上記図２の処理を終了する。

【0061】

以上詳述した如く本実施形態によれば、画像中を移動する動体と背景を精度良く切り分けることが可能となる。

【0062】

また上記実施形態においては、上記図４でも示したように、対象となる画像中での主要被写体ＭＯの位置を認識し、認識した主要被写体の位置に基づいて、対象画像を複数の背景領域に分割して、分割した背景領域毎に重み付けを設定するものとしたので、明らかに主要被写体ＭＯが存在しない背景領域が、より重み付けされるものとして背景のテンプレート画像を作成するものとしたので、後に画像中から主要被写体ＭＯを切り出して抽出する場合の精度をより高めることができる。

【0063】

なお上記実施形態は、ダンス解析用のアプリケーションプログラムをインストールしたスマートフォンに適用した場合について説明したものであるが、本発明はそのように限定を行なうものではなく、画像中を移動する物体を主要被写体ＭＯとして、背景画像から切り出して抽出するような他の画像処理装置においても、同様に適用することが可能である。

【0064】

また上記実施形態においては、動画を構成するフレームにおいて「ピンぼけ」状態となっているフレームは、背景テンプレート画像の作成に使わない処理（図３のステップＳ２０３～Ｓ２０５）と、対象画像中の主要被写体の位置に応じた画面の背景領域の重み付け設定を行なう処理（図３のステップＳ２０６）の両方を行なったが、どちらか一方の処理だけを行なってもよい。

【0065】

さらに上記実施形態においては、基準となる初期の背景画像の設定（図３のステップＳ２０１）は、今回撮影する動画の「ピンぼけ」状態となっていない一のフレーム（例えば、先頭フレーム）を基準となる初期の背景画像としたが、記録されている複数の静止画及び又は動画の中に、今回ダンスを行なうダンスフロアを撮影したファイルが既に存在する場合は、その画像を基準となる初期の背景画像としてもよい。

【0066】

また上記実施形態において、図３のステップＳ２０６の、主要被写体位置に応じた画面の背景領域の重み付け設定は、今回のダンスの教師データとなる動画を事前に撮影し、その動画におけるダンサー（教師）の位置に応じた重み付けのテンプレートデータを事前に作成し、このテンプレートデータに基づいて重み付け設定を行なってもよい。

【0067】

さらに上記実施形態においては、ダンスを例に説明したが、ダンスに限らず、フィギュアスケート、体操競技の床運動、チアリーディング等の演技、パフォーマンスなどであってもよい。

【0068】

また、そのような処理を実行するプログラムを実装する装置に関しても、スマートフォンに限らず、モバイルタイプのパーソナルコンピュータや、動画撮影を行なうムービーカメラ等においても適用することが可能となる。

【0069】

その他、本願発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

【0070】

以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［請求項１］
動画を構成する対象画像を基準となる画像と予め設定した画像位置範囲で比較し、上記対象画像の背景画像としての信頼性を判断する判断手段と、
上記判断手段で信頼性があると判断した対象画像を複数用いて背景画像の情報を作成する背景画像作成手段と、
を備える画像処理装置。
［請求項２］
上記背景画像作成手段は、対象画像中の主要被写体の位置を認識し、認識した主要被写体の位置に基づいて、対象画像を複数のエリアに分割してエリア毎に背景画像としての重み付けを設定する、請求項１記載の画像処理装置。
［請求項３］
上記複数のエリアの分割は、予め用意された複数の分割パターンから１つを任意に選択可能とする、請求項２記載の画像処理装置。
［請求項４］
上記判断手段は、動画を構成する対象画像を基準となる画像と予め設定した画像位置範囲で比較し、予め設定した閾値以下の相違の場合、上記対象画像は背景画像としての信頼性があると判断する、請求項１乃至３の何れか一項記載の画像処理装置。
［請求項５］
上記背景画像作成手段は、事前に撮影された教師データとなる動画から教師の位置を認識し、事前に作成した、前記教師の位置に応じた重み付けのテンプレートデータに基づいて、背景画像としての重み付けを設定する、請求項１乃至４の何れか一項記載の画像処理装置。
［請求項６］
上記背景画像作成手段は、重み付け背景画像生成法により背景画像の情報を作成する、請求項１乃至５の何れか一項記載の画像処理装置。
［請求項７］
上記基準となる画像は、上記動画の一のフレームである、請求項１乃至６の何れか一項記載の画像処理装置。
［請求項８］
上記基準となる画像は、「ピンぼけ」状態となっていない画像である、請求項１乃至７の何れか一項記載の画像処理装置。
［請求項９］
上記予め設定した画像位置範囲は、画像の周辺領域である、請求項１乃至８の何れか一項記載の画像処理装置。
［請求項１０］
上記予め設定した画像位置範囲は、画像の四隅の領域である、請求項９記載の画像処理装置。
［請求項１１］
動画を構成する対象画像を基準となる画像と予め設定した画像位置範囲で比較し、上記対象画像の背景画像としての信頼性を判断する判断工程と、
上記判断工程で信頼性があると判断した対象画像を複数用いて背景画像の情報を作成する背景画像作成工程と、
を有する画像処理方法。
［請求項１２］
動画を取扱う装置が内蔵したコンピュータが実行するプログラムであって、上記コンピュータを、
動画を構成する対象画像を基準となる画像と予め設定した画像位置範囲で比較し、上記対象画像の背景画像としての信頼性を判断する判断手段、及び
上記判断手段で信頼性があると判断した対象画像を複数用いて背景画像の情報を作成する背景画像作成手段、
として機能させるプログラム。

【符号の説明】

【0071】

１０…スマートフォン、
１１…スピーカ、
１２…マイクロホン、
１３…音声処理部、
１４…プロセッサ、
１５…メインメモリ、
１６…ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、
１６Ａ…ダンス解析プログラム、
１７…表示部、
１８…タッチ入力部、
１９…撮像部、
２０…ＧＰＳ受信部、
２１…加速度センサ、
２２…ジャイロセンサ、
２３…地磁気センサ、
２４…操作部、
２５…バイブレータ、
２６…無線通信部、
２７…ＮＦＣ部、
２８…外部デバイスインタフェイス（Ｉ／Ｆ）、
２９…ＧＰＳアンテナ、
３０～３２…アンテナ、
３３…ヘッドホンジャック、
３４…マイクロＵＳＢ端子、
３５…メモリカードスロット、
ＭＯ…（画像中の）主要被写体、
ＳＢ…システムバス

【図1】

【図2】

【図3】

【図4】