特許 6860254 画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6860254

(24)【登録日】2021年3月30日

(45)【発行日】2021年4月14日

(54)【発明の名称】画像処理装置

(51)【国際特許分類】

   G06T 7/254 20170101AFI20210405BHJP

   G06T 7/62 20170101ALI20210405BHJP

【ＦＩ】

   G06T7/254 A

   G06T7/62

【請求項の数】5

【全頁数】14

(21)【出願番号】特願2020-129514(P2020-129514)

(22)【出願日】2020年7月30日

【審査請求日】2020年7月30日

【早期審査対象出願】

(73)【特許権者】

【識別番号】511109401

【氏名又は名称】株式会社Ｐｈｏｔｏｎｉｃ Ｓｙｓｔｅｍ Ｓｏｌｕｔｉｏｎｓ

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100175824

【弁理士】

【氏名又は名称】小林 淳一

(74)【代理人】

【識別番号】100114937

【弁理士】

【氏名又は名称】松本 裕幸

(74)【代理人】

【識別番号】100140718

【弁理士】

【氏名又は名称】仁内 宏紀

(72)【発明者】

【氏名】北 研二

(72)【発明者】

【氏名】増川 佐知子

【審査官】 ▲広▼島 明芳

(56)【参考文献】

【文献】 特開２０１０−２０４８６０（ＪＰ，Ａ）

【文献】 特開２００７−００６２１６（ＪＰ，Ａ）

【文献】 特開２０１５−０４１３６７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００ − ７／９０

(57)【特許請求の範囲】

【請求項1】

第１動画と第２動画とが組み合わされた動画である組み合わせ動画のフレーム差分情報に基づきフレーム間の画像の相違を検出する相違検出部と、
前記相違検出部が相違を検出した結果に基づいて、前記組み合わせ動画のフレームを構成する画素のうち、前記画像の相違のある画素が連続する領域を連結領域として、前記フレーム内において１つ又は複数の前記連結領域を抽出する連結領域抽出部と、
前記連結領域抽出部が抽出する前記連結領域を含む所定形状の領域の面積を、前記連結領域ごとに算出する面積算出部と、
前記面積算出部が算出する前記面積の大きさに基づいて、前記連結領域ごとに対応づけられた前記所定形状の領域のうちから、対象領域を選択する領域選択部と、
前記領域選択部が選択する前記対象領域の前記フレーム内の位置を、前記組み合わせ動画の複数のフレームについて統計演算することにより、前記フレーム内の領域のうちの前記第１動画が表示される領域を判定する判定部と、
を備え、
前記領域選択部は、前記面積算出部が前記連結領域ごとに算出する前記面積の前記連結領域間の相対順位に基づいて、前記対象領域を選択し、
前記領域選択部は、前記相対順位がより低い前記連結領域を、前記対象領域の候補から除外することにより、前記対象領域を選択する、
画像処理装置。

【請求項2】

前記領域選択部は、前記相対順位が最下位の前記連結領域から所定の順位の前記連結領域までを、前記対象領域の候補から除外することにより、前記対象領域を選択する、
請求項１に記載の画像処理装置。

【請求項3】

前記統計演算とは、前記フレームの座標軸を基準方向として、前記領域選択部が選択する前記対象領域の前記フレーム内の存在範囲の前記組み合わせ動画の複数のフレームにおける出現頻度を算出することであり、
前記判定部は、算出された前記出現頻度に基づいて、前記フレーム内の領域のうちの前記第１動画が表示される領域を判定する、
請求項１又は２に記載の画像処理装置。

【請求項4】

前記所定形状とは、矩形である、
請求項１から３の何れか一項に記載の画像処理装置。

【請求項5】

前記領域選択部は、複数の前記連結領域ごとに前記面積算出部が算出する前記面積のうち最大の面積を有する前記所定形状の領域を、前記対象領域として選択する、
請求項１から４の何れか一項に記載の画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置に関する。

【背景技術】

【0002】

近年、動画サイトの普及に伴い、インターネット上で違法にアップロードされた違法動画が増えると共に、違法動画を検出する技術の開発が進み、検出された違法動画等は削除されている。ところが、検出対象の違法動画（抽出対象の領域）に例えば枠状の背景や装飾を追加することによって検出対象の動画が検出されにくくなるように加工された加工済み違法動画が作成される場合がある。背景や装飾に静止画が用いられている場合は、例えばフレーム差分法等に基づく公知の背景差分アルゴリズムを適用して動画を抽出し、抽出した動画が検出対象の動画と一致するか否かを確認できる。このような背景差分の技術は、違法動画の検出以外に、交通監視装置における走行車両の画像の検出等を含む広い用途で活用されている。

【0003】

上述の背景や装飾の一例として、テロップ等が挿入される場合がある。例えば、特許文献１には、フレーム画像（以下、単にフレームという場合がある）においてテロップが追加された位置を検出するために、２つの画像間における特徴量の部分領域ごとの差分に基づいて相違領域を検出する方法が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】再公表ＷＯ２０１２／１０８０８８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、最近では、背景や装飾に検出対象の違法動画とは異なる任意の動画が用いられ、同じフレーム内で本来検出されるべき動画とは別に動画が再生される場合が増えている。上述の特許文献１に開示されている検出方法や従来の動画検出技術では、フレーム内で複数の動画が存在する場合に検出すべき動画の領域を特定することは難しい。そのため、背景や装飾に動画が用いられても加工済み違法動画において検出対象の動画を検出可能とする画像処理装置が求められていた。

【0006】

本発明は、検出対象の動画がフレーム内の一部分にあり、フレーム内のその他の部分に検出対象の動画以外の動画やテロップ等があった場合に、検出対象となる動画のみを動画領域として検出可能とする画像処理装置を提供する。なお、フレーム内に検出対象となる動画のみががあった場合には、フレーム全体を動画領域として検出する。

【課題を解決するための手段】

【0007】

本発明に係る画像処理装置は、第１動画と第２動画とが組み合わされた動画である組み合わせ動画のフレーム差分情報に基づきフレーム間の画像の相違を検出する相違検出部と、前記相違検出部が相違を検出した結果に基づいて、前記組み合わせ動画のフレームを構成する画素のうち、前記画像の相違のある画素が連続する領域を連結領域として、前記フレーム内において１つ又は複数の前記連結領域を抽出する連結領域抽出部と、前記連結領域抽出部が抽出する前記連結領域を含む所定形状の領域の面積を、前記連結領域ごとに算出する面積算出部と、前記面積算出部が算出する前記面積の大きさに基づいて、前記連結領域ごとに対応づけられた前記所定形状の領域のうちから、対象領域を選択する領域選択部と、前記領域選択部が選択する前記対象領域の前記フレーム内の位置を、前記組み合わせ動画の複数のフレームについて統計演算することにより、前記フレーム内の領域のうちの前記第１動画が表示される領域を判定する判定部と、を備え、前記領域選択部は、前記面積算出部が前記連結領域ごとに算出する前記面積の前記連結領域間の相対順位に基づいて、前記対象領域を選択し、前記領域選択部は、前記相対順位がより低い前記連結領域を、前記対象領域の候補から除外することにより、前記対象領域を選択する。

【0010】

本発明に係る画像処理装置において、前記領域選択部は、前記相対順位が最下位の前記連結領域から所定の順位の前記連結領域までを、前記対象領域の候補から除外することにより、前記対象領域を選択してもよい。

【0011】

本発明に係る画像処理装置において、前記統計演算とは、前記フレームの座標軸を基準方向とする、前記領域選択部が選択する前記対象領域の前記フレーム内の存在範囲の、前記動画の複数のフレームにおける出現頻度を算出することであり、前記判定部は、算出された前記出現頻度に基づいて、前記フレーム内の領域のうちの抽出対象の領域を判定してもよい。

【0012】

本発明に係る画像処理装置において、前記所定形状とは、矩形であってもよい。

【0013】

本発明に係る画像処理装置において、前記領域選択部は、複数の前記連結領域ごとに前記面積算出部が算出する前記面積のうち最大の面積を有する前記所定形状の領域を、前記対象領域として選択してもよい。

【発明の効果】

【0014】

本発明によれば、検出対象の動画とそれ以外の動画とが存在するフレーム内の検出対象の動画を検出可能とする画像処理装置を提供できる。

【図面の簡単な説明】

【0015】

【図1】本発明に係る一実施形態の画像処理装置のブロック図である。

【図2】図１に示す画像処理装置における処理を説明するための模式図である。

【図3】図１に示す画像処理装置における処理を説明するための模式図である。

【図4】図１に示す画像処理装置における処理を説明するための模式図であり、図３に示す領域４０の拡大図である。

【図5】図１に示す画像処理装置における処理を説明するための模式図である。

【図6】図１に示す画像処理装置における処理を説明するための模式図である。

【図7】図１に示す画像処理装置における処理を説明するための模式図である。

【図8】図１に示す画像処理装置における処理を示すフローチャートである。

【発明を実施するための形態】

【0016】

以下、本発明に係る画像処理装置の好ましい実施形態について、図面を参照して説明する。

【0017】

図１に示すように、本発明に係る一実施形態の画像処理装置１０１は、相違検出部１１０と、連結領域抽出部１２０と、面積算出部１３０と、領域選択部１４０と、判定部１５０と、を備える。

【0018】

相違検出部１１０は、動画のフレーム差分からフレーム間の画像の相違を検出する。詳しく説明すると、図２に示すように、動画は、複数のフレーム１０を有する。各々のフレーム１０は静止画である。ここで、動画が有するフレーム１０の総数を２以上の任意の自然数ｎとし、ｍ番目のフレーム１０をフレーム１０−ｍと記載する。ｍは、２以上ｎ以下の自然数である。ｎ枚のフレーム１０−１、・・・、１０−ｎに共通する内容について説明する際には、これらのフレームをまとめてフレーム１０と記載する。

【0019】

本実施形態のフレーム１０の各々は、第１の動画領域２０と、第２の動画領域３０と、を備え、例えば加工済み動画である。第１の動画領域２０は、検出対象の動画を再生する領域であり、複数の画素で構成されている。第２の動画領域３０は、第１の動画領域２０の向かって上方及び右方に隣接し、少なくとも一部で検出対象の動画とは異なる動画を再生する領域であって、複数の画素で構成されている。

【0020】

相違検出部１１０は、動画の複数のフレーム１０間の画像の相違を検出するために、時間軸上で隣り合うフレーム１０−（ｍ−１）、１０−ｍ間のフレーム差分をとり、フレーム１０−（ｍ−１）、１０−ｍ間で相違する画素ＰＸを抽出する。フレーム１０−（ｍ−１）、１０−ｍ間のフレーム差分をとる方法及び使用するアルゴリズムは、例えば背景差分法に基づくＭＯＧ（Mixture of Gaussian Distribution；混合正規分布）、ＭＯＧ２、ＧＭＧ（即ち、Godbehere，Matsukawa，Goldbergによるアルゴリズム）、ＫＮＮ（k-nearest neighbor algorithm；ｋ近傍法）、ＣＮＴ（CouNT）、ＬＳＢＰ（Local SVG Binary Pattern）、ＧＳＯＣ（Government Security Operation Coordination team）等であり、動画に応じて適宜選定され、特に限定されない。

【0021】

図３に示すように、例えば１枚目のフレーム１０−１と２枚目のフレーム１０−２とのフレーム差分によって相違検出部１１０で抽出された画素ＰＸは、第１の動画領域２０及び第２の動画領域３０の両方で抽出される。

【0022】

連結領域抽出部１２０は、相違検出部１１０から複数のフレーム１０の各々の画素ＰＸの横方向Ｘの座標値ｘ及び縦方向Ｙの座標値ｙ等の情報（相違検出部が相違を検出した結果）を受け取る。連結領域抽出部１２０は、画素ＰＸに関する情報に基づいて、フレーム１０を構成する画素のうち、画像の相違のある画素ＰＸが連続する領域を連結領域ＣＲとして抽出する。

【0023】

図４では、フレーム１０−１とのフレーム差分をとったフレーム１０−２の領域４０において、差分情報として検出された画素ＰＸを網掛けで表し、差分情報として検出されなかった画素ＰＺを白色（即ち、無色）で表している。連結領域抽出部１２０は、複数の画素ＰＸを、例えば８連結（或いは、８近傍ともいう）でラベリングする。８連結では、縦・横方向（即ち、Ｙ方向・Ｘ方向）、或いは斜め方向に連結している画素同士は全て同じラベルの連結領域ＣＲとして抽出される。

【0024】

ここで、抽出される連結領域ＣＲの番号をｊと記載し、ｉ番目の連結領域ＣＲ［ｊ］と記載する。番号ｉは、フレーム１０内で所定のルールに基づいて決められ、例えばフレーム１０に向かって左上側でラベリングされたものから右方向にカウントされ、最初の左上端よりも下側のものがカウントされ、以降同様にカウントされる。以下では、抽出された複数の連結領域ＣＲ［１］、・・・、ＣＲ［ｉ］（即ち、１≦ｊ≦ｉ）の少なくとも一部に共通する内容について説明する際には、これらの画素をまとめて連結領域ＣＲと記載する。

【0025】

なお、動画の内容によっては、連結領域ＣＲが抽出されないフレーム１０−ｍが存在する可能性がある。また、動画の内容によって、複数のフレーム１０で抽出される連結領域ＣＲの数は１つ又は複数というように適宜変化し得る。連結領域抽出部１２０は複数のフレーム１０の少なくとも１つのフレーム１０内において、１つ又は複数の連結領域ＣＲを抽出する。例えば、フレーム１０内に検出対象となる動画のみががある場合には、１つの連結領域ＣＲがフレーム１０の全体と略重なるので、結果としてフレーム１０の略全体にわたり連結領域ＣＲとして抽出される。

【0026】

面積算出部１３０は、連結領域抽出部１２０から連結領域ＣＲに含まれる画素ＰＸの各々の座標値ｘ、ｙの情報を受け取る。面積算出部１３０は、連結領域ＣＲを含む所定形状の領域ＤＲの面積Ｓを、連結領域ＣＲごとに算出する。面積Ｓを計算する際の所定形状は、典型的には矩形（正方形或いは長方形）であるが、矩形以外の形状、例えば平行四辺形、真円形、楕円形、角の数が４以上の多角形状、星形状、前述の形状以外のフリーフォーム等であり、面積を算出可能であれば特に限定されない。なお、複数の領域ＤＲは、部分的に互いに重なってもよい。

【0027】

本実施形態では、説明をわかりやすくするために、所定形状を長方形とする。面積算出部１３０は、連結領域ＣＲごとに含まれる全ての画素ＰＸの各々の座標値ｘの最大値ｘ_ＭＡＸ及び最小値ｘ_ＭＩＮと、座標値ｙの最大値ｙ_ＭＡＸ及び最小値ｙ_ＭＩＮと、を算出する。図５に示すように、面積算出部１３０は、｜ｘ_ＭＡＸ−ｘ_ＭＩＮ｜×｜ｙ_ＭＡＸ−ｙ_ＭＩＮ｜を算出することによって、連結領域ＣＲのフレーム１０における面積を算出できる。面積算出部１３０は、フレーム１０−（ｍ−１）とのフレーム差分をとったフレーム１０−ｍからフレーム１０−ｎまでのフレーム１０ごとに、連結領域ＣＲを含む所定形状の領域ＤＲの面積Ｓを算出する。以下では、フレーム１０ごとに面積算出部１３０で算出された連結領域ＣＲ［ｊ］を含む領域ＤＲを領域ＤＲ−ｊと記載し、領域ＤＲ−ｊの面積を面積Ｓ［ｊ］と記載する。複数の領域ＤＲ−１、・・・、ＤＲ−ｉに共通する内容について説明する場合は、これらの領域をまとめて単に領域ＤＲと記載する。複数の面積Ｓ［１］、・・・、Ｓ［ｉ］に共通する内容について説明する場合は、これらの面積を総称して単に面積Ｓと記載する。

【0028】

領域選択部１４０は、面積算出部１３０からフレーム１０ごとの所定形状の領域ＤＲの面積Ｓの情報を受け取る。図６に示すように、領域選択部１４０は、面積Ｓの大きさに基づいて、連結領域ＣＲごとに存在する領域（所定形状の領域）ＤＲのうちから、対象領域ＯＲを選択する。領域選択部１４０は、例えば面積算出部１３０が連結領域ＣＲごとに算出する面積Ｓの連結領域ＣＲ間の相対順位に基づいて対象領域ＯＲを選択する。以下では、フレーム１０−ｍにおいて選択された対象領域を対象領域ＯＲ［ｍ］と記載し、対象領域ＯＲ［ｍ］の面積をＳ_ＭＡＸ［ｍ］と記載する。

【0029】

領域選択部１４０は、例えば複数の連結領域ＣＲごとに面積算出部１３０が算出する面積Ｓのうち、最大の面積Ｓ_ＭＡＸを有する領域ＤＲを、対象領域ＯＲとしてフレーム１０ごとに選択する。但し、領域選択部１４０が対象領域ＯＲ［ｍ］を選択する基準は、前述のように「面積Ｓのうち、最大の面積Ｓ_ＭＡＸを有する」ことに限定されず、動画に応じて所定基準であればよい。領域選択部１４０は、フレーム１０−（ｍ−１）とのフレーム差分をとったフレーム１０−ｍからフレーム１０−ｎまでのフレーム１０−ｍごとに、対象領域ＯＲ［ｍ］を選択する。

【0030】

領域選択部１４０は、面積Ｓの連結領域ＣＲ間の相対順位が最下位の連結領域ＣＲから所定の順位の連結領域ＣＲまでを非対象領域ＵＲとし、対象領域ＯＲの候補から除外することにより、対象領域ＯＲを選択する。この場合、非対象領域ＵＲには、差分情報として検出された画素ＰＸ、即ち相違があると検出された画素ＰＸの比較的面積Ｓの小さい連結領域ＣＲが含まれている。連結領域ＣＲを含む非対象領域ＵＲは、前述の従来の画像処理装置では「検出対象の動画」の候補として抽出される。領域選択部１４０は、連結領域ＣＲや相違のある画素ＰＸであっても、対象領域ＯＲとして選択される条件を満たさない場合は、それらを処理対象の候補から除外する。領域選択部１４０は、上述のように最大（即ち、面積Ｓの連結領域ＣＲ間の相対順位の最上位）の面積Ｓ_ＭＡＸを有する領域ＤＲのみを対象領域ＯＲとして選択すると共に、面積Ｓの連結領域ＣＲ間の相対順位の上位２番目（所定の順位）から最下位までの面積Ｓを有する連結領域ＣＲを非対象領域ＵＲとし、これらの連結領域ＣＲを対象領域ＯＲの候補から除外する。

【0031】

判定部１５０は、領域選択部１４０からフレーム１０−ｍごとの対象領域ＯＲ［ｍ］の情報を受け取る。図７に示すように、判定部１５０は、対象領域ＯＲ［ｍ］のフレーム１０−ｍ内での位置を、動画の複数のフレーム１０について統計演算することによって求める。判定部１５０における統計演算は、例えばフレーム１０−ｍの座標軸Ｘ、Ｙを基準方向としたときに、対象領域ＯＲ［ｍ］のフレーム１０−ｍ内の存在範囲において動画の複数のフレーム１０における出現頻度を算出することであるが、後述する抽出対象の領域ＡＲを判定できれば特に限定されない。詳しく説明すると、図７に示すように、Ｘ方向について、横軸にＸ方向の座標値ｘをとり、縦軸に複数のフレーム１０の全てを互いに重ねたときの対象領域ＯＲ［２］から対象領域ＯＲ［ｎ］までの出現頻度ＦＸをとる。出現頻度ＦＸの最大値ＦＸ_ＭＡＸの所定の割合の出現頻度を閾値頻度ＦＸ_ＴＨとする。所定の割合は、例えば７０％や５０％であるが、特定値に限定されず、動画に応じて適宜設定される。閾値頻度ＦＸ_ＴＨ以上の出現頻度ＦＸを発現するＸ方向の範囲ＡＲＸを算出する。同様に、Ｙ方向について、横軸にＹ方向の座標値ｙをとり、縦軸に複数のフレーム１０の全てを互いに重ねたときの対象領域ＯＲ［２］から対象領域ＯＲ［ｎ］までの出現頻度ＦＹをとる。出現頻度ＦＹの最大値ＦＸ_ＭＡＸの所定の割合の頻度を閾値頻度ＦＹ_ＴＨとする。Ｙ方向での所定の割合は、Ｘ方向での所定の割合と同一でもよく、Ｘ方向での所定の割合と異なってもよい。閾値頻度ＦＹ_ＴＨ以上の出現頻度ＦＹを発現するＹ方向の範囲ＡＲＹを算出する。

【0032】

判定部１５０は、前述の統計演算によって、フレーム１０内の領域ＤＲのうちの抽出対象の領域ＡＲを判定する。詳細に説明した統計演算を用いると、判定部１５０は、算出された出現頻度ＦＸ、ＦＹに基づいて、フレーム１０内の領域のうちの抽出対象の領域ＡＲを判定する。本実施形態では、フレーム１０において抽出対象の領域ＡＲの形状は、Ｘ方向又はＹ方向に沿った四辺を有する長方形（矩形）とする。領域ＡＲは、Ｘ方向の範囲ＡＲＸ及びＹ方向の範囲ＡＲＹを有する領域である。つまり、抽出対象の領域ＡＲは、動画において閾値頻度ＦＸ_ＴＨ、ＦＹ_ＴＨ以上でフレーム１０内の広範囲に変化している領域を表している。

【0033】

画像処理装置１０１は、不図示のコンピュータ等に収納されている。相違検出部１１０と、連結領域抽出部１２０と、面積算出部１３０と、領域選択部１４０と、判定部１５０は、各々について上述した動作を実行するプログラムである。これらのプログラムは、サーバに格納されている。

【0034】

次に、画像処理装置１０１における各プログラムの実行内容について、図８を参照しながら説明する。始めに、相違検出部１１０に対して複数のフレーム１０−１、・・・、１０−ｎごとの画素ＰＸの値が入力される（ステップＳ２５１）。次に、相違検出部１１０によって、２枚のフレーム１０−（ｍ−１）、１０−ｍ間のフレーム差分情報に基づいて相違する、即ち値が異なる画素ＰＸを抽出する（ステップＳ２５２）。続いて、連結領域抽出部１２０によって、フレーム１０を構成する画素のうち、画素ＰＸが連続する領域を連結領域ＣＲとして抽出する。つまり、フレーム１０−（ｍ−１）、１０−ｍ間の差分領域から連結領域ＣＲを抽出する。

【0035】

次に、面積算出部１３０によって、所定形状の領域ＤＲの面積Ｓを個々に、即ち連結領域ＣＲごとに算出する（ステップＳ２５３）。続いて、領域選択部１４０によって、複数のフレーム１０の各々において、連結領域ＣＲごとに存在する領域ＤＲのうちから、対象領域ＯＲを選択する（ステップＳ２５４）。さらに、判定部１５０によって、複数のフレーム１０の各々に関して、対象領域ＯＲ［ｍ］のフレーム１０−ｍ内での位置を統計演算で求める（ステップＳ２５５）。また、判定部１５０によって、統計演算の結果に基づき、複数のフレーム１０の重ね合わせの画素領域内において領域ＤＲのうちの抽出対象の領域ＡＲを判定する（ステップＳ２５６）。判定部１５０によって、複数のフレーム１０において抽出対象の領域ＡＲの情報が出力される（ステップＳ２５７）。フレーム１０において領域ＤＲのうちの抽出対象の領域ＡＲを判定できない場合は、ステップＳ２５４に戻り、連結領域ＣＲごとに存在する領域ＤＲのうちから、上述の対象領域とは異なる対象領域ＯＲを選択する。その後、ステップＳ２５５、Ｓ２５６の各々を実行する。

【0036】

ステップＳ２５６で判定された抽出対象の領域ＡＲは、画像処理装置１０１から出力
され、フレーム１０内に違法動画等が含まれているか否かを検出する画像検出装置（図示略）に送られる。画像検出装置では、例えば複数のフレーム１０における抽出対象の領域ＡＲの画素ＰＸの値を抽出し、違法動画等の検出すべき動画のフレームの画素の値を参照データとして、抽出した画素ＰＸの値と検出すべき画素の値とを照合する。抽出した画素ＰＸの値と検出すべき画素の値との照合には、公知の画像認証技術や画像照合のためのアルゴリズム等を適用できる。このような画像検出装置は、画像処理装置１０１と同じコンピュータや当該コンピュータと接続されている別のコンピュータ等に収納され、前述の称号を行うプログラムで構成されている。

【0037】

以上説明した本実施形態の画像処理装置１０１は、少なくとも相違検出部１１０と、連結領域抽出部１２０と、面積算出部１３０と、領域選択部１４０と、判定部１５０と、を備える。相違検出部１１０は、動画のフレーム差分からフレーム１０間の画像の相違を画素ＰＸの情報から検出する。連結領域抽出部１２０は、相違検出部１１０が相違を検出した画素ＰＸの横方向Ｘの座標値ｘ及び縦方向Ｙの座標値ｙ等の情報に基づいて、フレーム１０を構成する画素のうち、画像の相違のある画素ＰＸが連続する領域を連結領域ＣＲとして抽出する。面積算出部１３０は、連結領域ＣＲを含む所定形状の領域ＤＲの面積Ｓを、連結領域ＣＲごとに算出する。領域選択部１４０は、面積Ｓの大きさに基づいて、連結領域ＣＲごとに存在する領域（所定形状の領域）ＤＲのうちから、対象領域ＯＲを選択する。領域選択部１４０は、複数の連結領域ＣＲごとに面積算出部１３０が算出する面積Ｓのうち、最大の面積Ｓ_ＭＡＸを有する領域ＤＲを、対象領域ＯＲとしてフレーム１０ごとに選択する。判定部１５０は、対象領域ＯＲ［ｍ］のフレーム１０−ｍ内での位置を、動画の複数のフレーム１０について統計演算することによって求め、前述の統計演算によって、フレーム１０内の領域ＤＲのうちの抽出対象の領域ＡＲを判定する。

【0038】

本実施形態の画像処理装置１０１の相違検出部１１０及び連結領域抽出部１２０では、フレーム１０間で差分が生じた画素ＰＸの検出によって動画における画像の相違が検出されることに加え、８近傍等の所定のルールに基づいて画素ＰＸの群ＧＰの連結領域ＣＲが抽出される。このことによって、複数のフレーム１０の各々において差分が生じた領域を連結領域ＣＲで捉えるので、従来の装置のように差分が生じた領域を単に検出する場合とは異なり、フレーム１０の各々内の主要な且つ動画の作成者又はアップロードする者が視聴者に見せようとする動画（即ち、検出対象の動画）の領域をあぶり出すことができる。また、面積算出部１３０では、連結領域ＣＲを含む所定形状の領域ＤＲの面積Ｓを連結領域ＣＲごとに算出するので、連結領域ＣＲで捉えた領域同士のつながりや時間的な拡がり及び移動を適度に考慮し、複数のフレーム１０の各々において検出対象の動画が再生される領域の候補を領域ＤＲで捉えて抽出できる。また、領域選択部１４０では、動画の作成者等の意図を推測又は考慮した所定条件に基づき、領域ＤＲのうちから対象領域ＯＲを選択できる。さらに、判定部１５０では、統計演算に基づき、複数枚に亘るフレーム１０において検出対象の動画の領域の位置を、抽出対象の領域ＡＲとして時間軸上で絞り込むことができる。したがって、本実施形態の画像処理装置１０１によれば、検出対象の動画とそれ以外の動画とが存在する動画が有する複数のフレーム１０内で検出対象の動画と照合すべき動画が存在する領域を領域ＡＲとして抽出でき、領域ＡＲに関する情報に基づいて検出対象の動画を検出可能とすることができる。

【0039】

本実施形態の画像処理装置１０１では、領域選択部１４０は、面積算出部１３０が連結領域ＣＲごとに算出する面積Ｓの連結領域ＣＲ間の相対順位に基づいて対象領域ＯＲを選択する。本実施形態の画像処理装置１０１によれば、第１の動画領域２０内での検出対象の動画の再生領域の面積と第２の動画領域３０内での検出対象外の動画の再生領域との面積との違いを、面積Ｓの連結領域ＣＲ間の相対順位で識別し、面積Ｓの違いに応じて適切に対象領域ＯＲを選択できる。

【0040】

本実施形態の画像処理装置１０１では、領域選択部１４０は、面積Ｓの連結領域ＣＲ間の相対順位が最下位の連結領域ＣＲから所定の順位の連結領域ＣＲまでを、対象領域ＯＲの候補から除外することにより、対象領域ＯＲを選択する。このことによって、例えば第２の動画領域３０内で検出対象外の動画（所謂、ダミー動画）が第１の動画領域２０内の検出対象の動画よりも時間平均的に小さい面積Ｓで再生されていても、従来の画像処理装置のように検出対象の動画と誤って抽出することなく、検出対象外の動画を処理対象の候補から外すことができる。結果として、本実施形態の画像処理装置１０１によれば、検出対象の動画を精度良く検出できる。

【0041】

本実施形態の画像処理装置１０１において、統計演算とは、例えばフレーム１０−ｍの座標軸Ｘ、Ｙを基準方向としたときに、対象領域ＯＲ［ｍ］のフレーム１０−ｍ内の存在範囲において動画の複数のフレーム１０における出現頻度を算出することである。判定部１５０は、前述の統計演算によって、フレーム１０内の領域ＤＲのうちの抽出対象の領域ＡＲを判定する。このような統計演算では、Ｘ方向及びＹ方向の各々での対象領域ＯＲの出現頻度が高い程、時間軸上で画素ＰＸの値が変化し、画像が動いていることを示す。判定部１５０によって、前述の統計演算を行ってＸ方向及びＹ方向の各々での対象領域ＯＲの出現頻度を算出し、適当な閾値以上の出現頻度の領域を抽出対象の領域ＡＲとして抽出できる。画像処理装置１０１によれば、各フレーム１０において抽出した対象領域ＯＲのうち、時間軸上で高頻度に動く動画の範囲、即ち第１の動画領域２０と略同じ領域を抽出対象の領域ＡＲとして捉えることができる。

【0042】

本実施形態の画像処理装置１０１では、連結領域ＣＲごとに存在する領域ＤＲの所定形状とは、例えば矩形である。このことによって、複数のフレーム１０の各々において所定形状の領域ＤＲを、典型的な矩形状のフレーム１０や第１の動画領域２０に応じた形で、領域同士のつながりや時間的な拡がり及び移動を適度に考慮しつつ、抽出できる。したがって、所定形状が矩形以外の形状である場合に比べて、フレーム１０において検出対象の動画が再生される領域の候補を精度良く抽出できる。

【0043】

本実施形態の画像処理装置１０１において、領域選択部１４０は、複数の連結領域ＣＲごとに面積算出部１３０が算出する面積Ｓのうち例えば最大の面積Ｓ_ＭＡＸを有する、所定形状の領域ＤＲを、対象領域ＯＲとして選択する。このことによって、フレーム１０内で第１の動画領域２０（即ち、検出対象の動画）の面積Ｓが第２の動画領域３０（即ち、背景や装飾の動画の面積）よりも大きい加工済み動画について、第１の動画領域２０を対象領域ＯＲとして良好に選択できる。

【0044】

以上、本発明の好ましい実施形態について詳述したが、本発明は特定の態様に限定されない。本発明は、特許請求の範囲内に記載された本発明の要旨の範囲内において、種々変形及び変更可能である。

【0045】

例えば、上述の実施形態で例示した動画の第２の動画領域３０は、第１の動画領域２０の上方及び右方に配置されているが、第２の動画領域３０は、第１の動画領域２０に対して任意の位置に配置されればよい。また、動画は、複数の第２の動画領域３０を有してもよい。一例として、動画において、第１の動画領域２０の横方向（即ち、Ｘ方向）の両側に第２の動画領域３０が配置されてもよい。

【0046】

上述の実施形態では、相違検出部１１０が複数のフレーム１０のうち時間軸上で隣り合う２枚のフレーム１０−（ｍ−１）、１０−ｍ間の差分から画像の相違を検出する例を説明したが、相違検出部１１０は、例えば時間軸上で比較的近い２枚のフレーム１０−（ｍ−２）、１０−ｍ間の差分（３≦ｍ≦ｎ）、或いは１０−（ｍ−３）、１０−ｍ間の差分（４≦ｍ≦ｎ）から画像の相違を検出してもよい。つまり、相違検出部１１０がフレーム差分から画像の相違を検出する対象のフレーム１０の時間軸上の間隔は、特に限定されない。また、上述の実施形態では、２枚のフレーム１０間の差分を検出する例について記載したが、互いの差分情報を検出するためのフレーム１０の枚数は２枚に限定されず、３枚でも４枚でもよく、１０枚程度でもよく、特定数に限定されない。

【0047】

上述の実施形態では、連結領域抽出部１２０が複数の画素ＰＸを、例えば８連結でラベリングする例を説明したが、４連結（或いは４近傍ともいう）でラベリングしてもよい。４連結では、対象の画素連結領域抽出部１２０は、複数の画素ＰＸを、８連結及び４連結以外の所定のルールに基づいてラベリングしてもよい。

【0048】

上述の実施形態で説明したように、面積算出部１３０が算出する領域ＤＲの所定形状は、例示した長方形以外に正方形、平行四辺形、真円形、楕円形、角の数が４以上の多角形状、星形状、雲形、前述の形状以外のフリーフォーム等であってもよい。動画の内容や種類によっては、所定形状は、個々の連結領域ＣＲの周縁に沿った形状であってもよい。

【0049】

上述の実施形態の領域選択部１４０は、面積Ｓのうち、最大の面積Ｓ_ＭＡＸを有する領域ＤＲ及びその領域ＤＲの連結領域ＣＲを対象領域ＯＲとして選択し、面積Ｓの連結領域ＣＲ間の相対順位が上位２番目から最下位までの連結領域ＣＲを実質的に選択領域ＯＲの候補から外す。しかしながら、本発明では、面積Ｓの連結領域ＣＲ間の相対順位がより低い連結領域ＣＲを非対象領域ＵＲとし、対象領域ＯＲの候補から除外することにより、対象領域ＯＲを選択してもよい。「連結領域ＣＲ間の相対順位がより低い」とは、一例として連結領域ＣＲ間の相対順位の中央よりも下位であってもよく、別の例として相対順位の最下位から上位に向けて１／３の順位等であってもよく、少なくとも静止画であるかか動画であるかによって検出対象の動画を抽出する従来の画像処理装置によって検出対象の動画の候補として抽出され得る範囲の下位を意味する。

【0050】

また、領域選択部１４０は、連結領域ＣＲごとに算出する面積Ｓの連結領域ＣＲ間の相対順位に基づいて対象領域ＯＲを選択し、例えば相対順位のうちの所定範囲の順位の連結領域ＣＲ及び対応する領域ＤＲを対象領域ＯＲの候補とし、所定範囲外の順位の連結領域ＣＲ及び対応する領域ＤＲを非対象領域ＵＲとして対象領域ＯＲの候補から除外してもよい。予め、或いは学習装置等によってフレーム１０内での検出対象の動画の連結領域ＣＲと検出対象外の動画の連結領域ＣＲとの時間平均的な相対面積比がある程度絞り込める場合は、その相対面積比に応じて前述の所定範囲の順位を設定できる。例えば、フレーム１０内での検出対象の動画の連結領域ＣＲの面積に対して検出対象外の動画の連結領域ＣＲの面積の時間平均的な相対面積比が１５０％から２００％となる傾向が強くみられる場合、面積Ｓの連結領域ＣＲ間の相対順位の上位２５％以下から中央の順位までを前述の所定範囲の順位として設定できる。前述の所定範囲の順位は、必ずしも固定されていなくてもよく、複数のフレーム１０において調整されてもよい。

【0051】

上述の実施形態では、領域選択部１４０が面積Ｓのうち、最大の面積Ｓ_ＭＡＸを有する領域ＤＲを、対象領域ＯＲとして選択する例を説明した。しかしながら、領域選択部１４０は、面積Ｓのうち、２番目或いは３番目に大きい面積を有する領域ＤＲを、対象領域ＯＲとして選択してもよい。予め、或いは学習装置等によって加工済み動画内で検出すべき動画領域に対する面積Ｓの傾向、即ち対象領域ＯＲの選択条件を把握していれば、その傾向及び選択条件に合わせて領域ＤＲのうちから対象領域ＯＲを選択できる。

【0052】

上述の実施形態では、判定部１５０は、対象領域ＯＲ［ｍ］のフレーム１０−ｍ内の存在範囲において動画の複数のフレーム１０における出現頻度ＦＸ、ＦＹを算出し、対象領域ＯＲ［ｍ］のフレーム１０−ｍ内での位置を、閾値頻度ＦＸ_ＴＨ、ＦＹ_ＴＨ以上の出現頻度の範囲ＡＲＸ、ＡＲＹの領域ＡＲとして選択する。しかしながら、判定部１５０は、例えば複数のフレーム１０のＸ方向及びＹ方向の各々において対象領域ＯＲ［ｍ］の面積Ｓ_ＭＡＸの大きさに応じた相対値で含まれる画素ＰＸにラベリングし、複数のフレーム１０を重ねて画素ＰＸのラベル値の和又は積を算出してもよい。判定部１５０は、前述のように算出した画素ＰＸのラベル値の和又は積が閾値以上の領域を抽出対象の領域ＡＲとして選択できる。また、判定部１５０は、上述した演算以外の、例えば標準偏差等に基づく演算やその他の統計演算によって、対象領域ＯＲのフレーム１０内での位置を、領域ＡＲとして選択してもよい。

【符号の説明】

【0053】

１０１ 画像処理装置
１１０ 相違検出部
１２０ 連結領域抽出部
１３０ 面積算出部
１４０ 領域選択部
１５０ 判定部

【要約】

【課題】検出対象の動画とそれ以外の動画とが存在するフレーム内の検出対象の動画を検出可能とする画像処理装置を提供する。
【解決手段】本発明に係る画像処理装置では、動画のフレーム差分からフレーム間の画像の相違が検出される。相違を検出した画素の情報に基づいて、フレームを構成する画素のうち、画像の相違のある画素が連続する領域が連結領域として抽出される。連結領域を含む所定形状の領域の面積は、連結領域ごとに算出される。所定形状の領域の面積の大きさに基づいて、連結領域ごとに存在する所定形状の領域のうちから、対象領域が選択される。複数の連結領域ごとに所定形状の領域の面積のうち、最大の面積を有する領域が対象領域として選択される。画像処理装置では、対象領域のフレーム内での位置を、動画の複数のフレームについて統計演算することによって求め、フレーム内の領域のうちの抽出対象の領域として判定する。
【選択図】図３

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】