特許 7058147 画像合成装置、画像合成方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-04-13

(45)【発行日】2022-04-21

(54)【発明の名称】画像合成装置、画像合成方法及びプログラム

(51)【国際特許分類】

   H04N 5/265 20060101AFI20220414BHJP

   H04N 5/232 20060101ALI20220414BHJP

【ＦＩ】

H04N5/265

H04N5/232 190

H04N5/232 290

【請求項の数】 9

(21)【出願番号】P 2018038520

(22)【出願日】2018-03-05

(65)【公開番号】P2019153956

(43)【公開日】2019-09-12

【審査請求日】2020-11-12

(73)【特許権者】

【識別番号】313000601

【氏名又は名称】日本テレビ放送網株式会社

(74)【代理人】

【識別番号】100079005

【弁理士】

【氏名又は名称】宇高 克己

(74)【代理人】

【識別番号】100154405

【弁理士】

【氏名又は名称】前島 大吾

(74)【代理人】

【識別番号】100201341

【弁理士】

【氏名又は名称】畠山 順一

(72)【発明者】

【氏名】篠田 貴之

(72)【発明者】

【氏名】佐藤 誠

(72)【発明者】

【氏名】神崎 正斗

(72)【発明者】

【氏名】鈴木 寿晃

【審査官】大室 秀明

(56)【参考文献】

【文献】特開２０１６－０３６０８１（ＪＰ，Ａ）

【文献】特開２０１３－０７０２７４（ＪＰ，Ａ）

【文献】特開２００９－２９０７８２（ＪＰ，Ａ）

【文献】特開平０７－２１２６５３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００

Ｇ０６Ｔ１１／６０－１３／８０

Ｇ０６Ｔ１７／０５

Ｇ０６Ｔ１９／００－１９／２０

Ｈ０４Ｎ ５／２２２－５／２８

Ｈ０４Ｎ ５／３８－５／４６

(57)【特許請求の範囲】

【請求項1】

複数の識別対象が存在する映像から前記複数の識別対象を識別する画像識別部と、
前記画像識別部により識別された識別対象毎に、前記識別対象が前記映像で占める識別対象領域を検出する識別対象領域検出部と、
前記映像における前記複数の識別対象の位置関係を識別する位置関係識別部と、
前記映像上の前記識別対象の各々に対応する重畳画像であって、対応する前記識別対象の所定位置に重畳する重畳画像を含むフィル信号を生成するフィル信号生成部と、
前記識別対象領域と、前記複数の識別対象の位置関係と、前記識別対象に重畳する重畳画像の映像上の位置と、を用いて、キー信号を生成するキー信号生成部と、
前記映像と前記フィル信号と前記キー信号とを合成し、合成映像信号を生成する画像合成部と、
を有し、
前記キー信号生成部は、第１の識別対象に対応する前記重畳画像と、前記第１の識別対象よりも映像上において前方に位置する第２の識別対象の識別対象領域と、が重なる領域に、前記第１の識別対象に対応する重畳画像を重畳させないキー信号を生成する、
する画像合成装置。

【請求項2】

前記位置関係識別部は、前記画像識別部により識別された識別対象の所定部位の大きさに基づいて、前記映像における前記複数の識別対象の位置関係を識別する
請求項１に記載の画像合成装置。

【請求項3】

前記画像識別部は、前記識別対象の属性情報を識別し、
前記フィル信号生成部は、前記識別対象の属性情報を用いて、前記識別対象に対応する重畳画像を生成する、
請求項１又は請求項２に記載の画像合成装置。

【請求項4】

複数の識別対象が存在する映像から前記複数の識別対象を識別し、
前記識別された識別対象毎に、前記識別対象が前記映像で占める識別対象領域を検出し、
前記映像における前記複数の識別対象の位置関係を識別し、
前記映像上の前記識別対象の各々に対応する重畳画像であって、対応する前記識別対象の所定位置に重畳する重畳画像を含むフィル信号を生成し、
前記識別対象領域と、前記複数の識別対象の位置関係と、前記識別対象に重畳する重畳画像の映像上の位置と、を用いて、キー信号を生成し、
前記映像と前記フィル信号と前記キー信号とを合成し、合成映像信号を生成し、
前記キー信号の生成は、第１の識別対象に対応する前記重畳画像と、前記第１の識別対象よりも映像上において前方に位置する第２の識別対象の識別対象領域と、が重なる領域に、前記第１の識別対象に対応する重畳画像を重畳させないキー信号を生成する、
画像合成方法。

【請求項5】

前記識別された識別対象の所定部位の大きさに基づいて、前記映像における前記複数の識別対象の位置関係を識別する
請求項４に記載の画像合成方法。

【請求項6】

前記識別対象の属性情報を識別し、
前記識別対象の属性情報を用いて、前記識別対象に対応する重畳画像を生成する、
請求項４又は請求項５に記載の画像合成方法。

【請求項7】

複数の識別対象が存在する映像から前記複数の識別対象を識別する処理と、
前記識別された識別対象毎に、前記識別対象が前記映像で占める識別対象領域を検出する処理と、
前記映像における前記複数の識別対象の位置関係を識別する処理と、
前記映像上の前記識別対象の各々に対応する重畳画像であって、対応する前記識別対象の所定位置に重畳する重畳画像を含むフィル信号を生成する処理と、
前記識別対象領域と、前記複数の識別対象の位置関係と、前記識別対象に重畳する重畳画像の映像上の位置と、を用いて、キー信号を生成する処理と、
前記映像と前記フィル信号と前記キー信号とを合成し、合成映像信号を生成する処理と、
をコンピュータに実行させ、
前記キー信号を生成する処理は、第１の識別対象に対応する前記重畳画像と、前記第１の識別対象よりも映像上において前方に位置する第２の識別対象の識別対象領域と、が重なる領域に、前記第１の識別対象に対応する重畳画像を重畳させないキー信号を生成する、
プログラム。

【請求項8】

前記複数の識別対象の位置関係を識別する処理は、前記識別された識別対象の所定部位の大きさに基づいて、前記映像における前記複数の識別対象の位置関係を識別する
請求項７に記載のプログラム。

【請求項9】

前記識別対象を識別する処理は、前記識別対象の属性情報を識別し、
前記フィル信号を生成する処理は、前記識別対象の属性情報を用いて、前記識別対象に対応する重畳画像を生成する、
請求項７又は請求項８に記載のプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は画像合成装置、画像合成方法及びプログラムに関し、特に、映像に他の画像を重畳する画像合成装置、画像合成方法及びプログラムに関する。

【背景技術】

【0002】

従来から、実写映像とＣＧ(computer graphics)画像とを合成し、ひとつの映像とする合成技術が行われている（例えば、特許文献１）。

【0003】

このような合成処理を行う装置には、本映像信号、キー信号及びフィル(Fill)信号（以下、ＣＧ画像と記載する場合がある）の３種類の映像信号が必要となる。

【0004】

図１８は従来の合成処理を説明するための図である。合成処理は、本映像信号（図１８（Ａ））の全領域のうち、キー信号（図１８（Ｂ））に基づいて指定される領域（図１８（Ｄ））に、フィル信号のＣＧ画像（図１８（Ｃ））をはめ込むことによって、合成映像信号（図１８（Ｅ））を生成する。

【0005】

ここでは、理解を容易にするために、キー信号の透過率を０パーセント（不透明）又は１００パーセント（透明）とした場合を説明する。図１８から明らかなように、合成処理によって得られる合成映像の全領域のうち、キー信号の透過率が１００パーセント（透明）の領域（図１８（Ｂ）の黒領域）には本映像が用いられ、キー信号の透過率が０パーセント（透明）の領域（図１８（Ｂ）の白領域）にはＣＧ画像が用いられる。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２００２－１８５８５１号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかし、上述した合成処理は、人物や、物の前面にＣＧ画像を重畳することを前提に構成されており、自然な形で人物や物の間にＣＧ画像を重畳することを前提としていない。

【0008】

そこで、本発明は、映像上に複数の人物や物が存在する場合、その人物や物の間に、自然な形でＣＧ画像を重畳することができる画像合成装置、画像合成方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0009】

本発明の一態様は、映像から複数の識別対象を識別する画像識別部と、前記画像識別部により識別された識別対象が前記映像で占める識別対象領域を検出する識別対象領域検出部と、前記映像における前記複数の識別対象の位置関係を識別する位置関係識別部と、前記映像上の前記識別対象の所定位置に重畳する画像を含むフィル信号を生成するフィル信号生成部と、前記識別対象領域と、前記複数の識別対象の位置関係と、前記識別対象に重畳する重畳画像の映像上の位置と、を用いて、キー信号を生成するキー信号生成部と、前記映像と前記フィル信号と前記キー信号とを合成し、合成映像信号を生成する画像合成部とを有する画像合成装置である。

【0010】

本発明の一態様は、映像から複数の識別対象を識別し、前記識別された識別対象が前記映像で占める識別対象領域を検出し、前記映像における前記複数の識別対象の位置関係を識別し、前記映像上の前記識別対象の所定位置に重畳する画像を含むフィル信号を生成し、前記識別対象領域と、前記複数の識別対象の位置関係と、前記識別対象に重畳する重畳画像の映像上の位置と、を用いて、キー信号を生成し、前記映像と前記フィル信号と前記キー信号とを合成し、合成映像信号を生成する画像合成方法である。

【0011】

本発明の一態様は、映像から複数の識別対象を識別する処理と、前記識別された識別対象が前記映像で占める識別対象領域を検出する処理と、前記映像における前記複数の識別対象の位置関係を識別する処理と、前記映像上の前記識別対象の所定位置に重畳する画像を含むフィル信号を生成する処理と、前記識別対象領域と、前記複数の識別対象の位置関係と、前記識別対象に重畳する重畳画像の映像上の位置と、を用いて、キー信号を生成する処理と、前記映像と前記フィル信号と前記キー信号とを合成し、合成映像信号を生成する処理とをコンピュータに実行させるプログラムである。

【発明の効果】

【0012】

本発明は、映像上に複数の人物や物が存在する場合、その人物や物の間に、自然な形でＣＧ画像を重畳することができる。

【図面の簡単な説明】

【0013】

【図1】図１は従来の合成技術を説明するための図である。

【図2】図２は本発明の概要を説明するための図である。

【図3】図３は実施の形態における画像合成装置のブロック図である。

【図4】図４は時刻ｔにおける画像フレームの画像内に存在する人物を検出した場合の概念図である。

【図5】図５は注目領域を説明するための図である。

【図6】図６は算出された識別対象（クラス）毎の尤度を、一例を示した図である。

【図7】図７は実施の形態を説明するための図である。

【図8】図８は実施の形態を説明するための図である。

【図9】図９は実施の形態を説明するための図である。

【図10】図１０は実施の形態を説明するための図である。

【図11】図１１は本実施の形態における画像合成装置の動作を説明するための図である。

【図12】図１２は本実施の形態における画像合成装置の動作を説明するための図である。

【図13】図１３は本実施の形態における画像合成装置の動作を説明するための図である。

【図14】図１４は本実施の形態における画像合成装置の動作を説明するための図である。

【図15】図１５は本実施の形態における画像合成装置の他の動作を説明するための図である。

【図16】図１６は本実施の形態における画像合成装置の他の動作を説明するための図である。

【図17】図１７は本実施の形態における画像合成装置の他の動作を説明するための図である。

【図18】図１８は従来の合成技術を説明するための図である。

【発明を実施するための形態】

【0014】

以下、図面を参照して、本発明の実施の形態における画像合成装置及びプログラムを説明する。

【0015】

まず、具体的な画像合成装置の説明を始める前に、本発明の実施の形態の概要を説明する。尚、以下の説明では、識別対象を、特定の特定人物とする例を説明するが、識別対象は人物に限らず、置物、建物等のオブジェトでも良い。

【0016】

図１は従来の合成技術を説明する図である。尚、以下の説明では、理解を容易にするために、キー信号の透過率を０パーセント（不透明）又は１００パーセント（透明）とした場合を説明する。

【0017】

図１中の本映像には選手Ａと選手Ｂとが存在している（図１の（Ａ））。ここで、映像中の選手Ａに「○○大学選手Ａ」というＣＧ画像（フィル信号：図１の（Ｃ））を重畳する場合、「○○大学選手Ａ」というＣＧ画像を埋め込む領域のキー信号が生成される（図１の（Ｂ））。すなわち、図１の（Ｂ）では、合成処理によって得られる合成映像の全領域のうち、キー信号の透過率が１００パーセント（透明）の領域（図１の（Ｂ）の黒で占められた領域）に相当する領域には、本映像が用いられ、キー信号の透過率が０パーセント（透明）の領域（図１の（Ｂ）の白で占められた領域）にはＣＧ画像が用いられる。これらの概念を示したのが、図１の（Ｄ）である。そして、本映像信号とキー信号とフィル信号とを合成することにより、ＣＧ画像が重畳された合成画像信号が生成される（図１の（Ｅ））。

【0018】

しかし、図１の（Ｅ）に示す如く、選手Ａの前のみに重畳されるべき「○○大学選手Ａ」のＣＧ画像が、選手Ａと選手Ｂとの前面に重畳されており、不自然である。更に、視聴者によっては、選手ＢのためのＣＧ画像とみなされる可能性もある。このような弊害は、映像上に複数の人物が存在する場合、その人物間に、自然な形でＣＧ画像を重畳することができないことに起因する。

【0019】

そこで、本発明の実施の形態は、映像上に複数の人物が存在する場合、その人物間に、自然な形でＣＧ画像を重畳するものである。

【0020】

具体的に説明すると、図２中の本映像には選手Ａと選手Ｂとが存在している（図２の（Ａ））。実施の形態では、選手Ａと選手Ｂとの間に自然な形でＣＧ画像を重畳するために、選手Ａと選手Ｂとの位置関係を考慮する。図２の（Ａ）本映像信号では、選手Ａが後方に位置し、選手Ｂが前方に位置している。ここで、選手Ａのための「○○大学選手Ａ」のＣＧ画像を本映像信号に重畳する場合を考える。「○○大学選手Ａ」のＣＧ画像が選手ＡのためのＣＧ画像であるように表示させるには、図２の（Ｅ）の合成映像信号のように、「○○大学選手Ａ」のＣＧ画像のうち、選手Ｂと重なる領域のＣＧ画像が選手Ｂによって見えないように表示することが自然である。

【0021】

そこで、図２の（Ｂ）に示すように、重畳するＣＧ画像のうち、選手Ｂの人物領域と重なる部分は選手Ｂの映像を用いられるようなキー信号を生成すれば良い。そして、このキー信号（図２の（Ｂ））と、「○○大学選手Ａ」のＣＧ画像のフィル信号（図２の（Ｃ））と、本映像信号（図２の（Ａ））とを合成処理することにより、図２の（Ｅ）の合成映像信号を生成することができる。

【0022】

次に、本発明の実施の形態における画像合成装置を具体的に説明する。図３は実施の形態における画像合成装置のブロック図である。尚、本発明の実施の形態では、映像から特定の特定人物を識別する例として、多くの観客（人物）が存在する映像から駅伝の競技中の選手（特定人物）を識別する例を説明する。但し、あくまでも例であり、本発明は本例に限定されるものではない。

【0023】

実施の形態における画像合成装置は、画像識別部１と、人物領域検出部２と、位置関係識別部３と、フィル信号生成部４と、キー信号生成部５と、画像合成部６とを備える。

【0024】

画像識別部１は、入力された映像から人物を認識し、認識された人物から選手（特定人物）を識別する。映像上の人物の認識であるが、人物であることが認識できればよく、個々の人物の属性等まで認識できる必要はない。すなわち、映像中の木や車等の存在物と人物とが区別できるような認識ができれば良い。そして、認識した人物の個人を特定するような属性（氏名や、属するチーム等）まで、識別する必要はない。

【0025】

次に、画像識別部１は、識別された人物から選手（特定人物）を識別する。識別する識別対象は、例えば、映像中の選手（特定人物）及びその選手の属性である。選手の属性とは、選手個々の氏名や年齢のみならず、例えば、選手の属するチームや大学、役割（野球の場合には投手や野手等、サッカーの場合には、オフェンスやディフェンス）等である。尚、以下の説明では、便宜的に、識別対象をクラスと記載する場合がある。また、カテゴリーとは、選手及びその選手の属性を識別するために用いられる特徴量の種類である。代表的なカテゴリーとしては、例えば、選手の顔、選手が着ているユニフォーム、背番号、タスキ及びゼッケンに記載されている文字等である。

【0026】

多数の人物が存在する映像から正しく選手及びその選手の属性を識別するためには、どのカテゴリーに着目して識別するかが重要である。例えば、映像中の選手の位置や選手の属するチームを識別するには、ユニフォームの色や模様、タスキ及びゼッケンに記載されている文字等が重要なカテゴリーとなる。一方、個々の選手（氏名等）まで特定したいのならば、各選手の顔のカテゴリーは重要である。更に、どのようなカテゴリーを用い、そのカテゴリーにどのような重みをかけるかは、競技毎に異なる。例えば、競技がマラソン、駅伝である場合、映像中に選手以外の観客等の人物が多数存在しており、選手が履いているシューズ等の特徴量に重点を置いて用いても、類似するシューズを履いている観客がおり、精度よく識別することはできない。一方、競技が野球やサッカー等の場合、映像中に存在する観客等の位置がほぼ決まっているので、観客等を識別前に識別対象から除くことは比較的容易であり、識別自体は主に選手が着ているユニフォームに着目すれば良い。

【0027】

このような画像識別部１の画像識別方法としては、パターンマッチングや、ディープラーニング等の手法を用いた機械学習などがある。

【0028】

上記の理由から、画像識別部１は、競技毎又は識別する選手毎に各カテゴリーに対して異なる重みのパラメータを記憶するように構成しても良い。

【0029】

画像識別部１による識別の一例を以下に説明する。

【0030】

画像識別部１は、入力された映像の時刻ｔにおける画像フレームに関して、画像内に存在する人物が、予め学習した識別対象（クラス）に属するかどうかを推定する。

【0031】

まず、画像識別部１は、フレームの画像中から人物を検出する。人物を検出する方法は限定するものではない。図４は、時刻ｔにおける画像フレームの画像内に存在する人物を検出した場合の概念図である。図４では、四角で囲んだものが人物であると検出されたものであり、選手、観客にかかわらず、人物であると識別できるものを検出している。

【0032】

次に、画像識別部１は、検出した人物に関して、図５に示す如く、頭頂部から首中点を結ぶ直線の距離をＬとし、人物の首中心から下方向の位置にＬ×２Ｌの大きさの注目領域を設定する。そして、検出された人物が予め学習した識別対象（クラス）に属する尤度（信頼度）を算出する。画像識別部１は、算出された尤度が予め定められた閾値より越え、最も尤度が高い人物をそのクラスに属する人物と判定する。

【0033】

図６は、算出された識別対象（クラス）毎の尤度を、一例を示した図である。尚、図６の例では、識別対象の大学名以外にも精度を高めるために、白バイと観客のクラスを設けている。図６の例では、人物Ａは観客である確からしさが最も高く、人物Ｂは大学Ｙの選手である確からしさが最も高く、人物Ｃは大学Ｘの選手である確からしさが最も高く、人物Ｄは大学Ｚの選手である確からしさが最も高い。ここで、閾値を０．７とすると、画像識別部１は、人物Ａは観客のクラスに属し、人物Ｂは大学Ｙのクラスに属し、人物Ｃは大学Ｘのクラスに属し、人物Ｄは大学Ｚのクラスに属すると判定する。そして、人物Ｂの映像上の位置情報（例えば、注目領域を特定する座標情報）と大学名Ｙとを出力する。同様に、人物Ｃの映像上の位置情報（例えば、注目領域を特定する座標情報）と大学名Ｘとを出力する。同様に、人物Ｄの映像上の位置情報（例えば、注目領域を特定する座標情報）と大学名Ｚとを出力する。尚、人物Ａについては、選手ではないので、出力対象から除外するが、出力することを妨げるものではない。

【0034】

尚、前処理として、多くの人物（例えば、観客）と選手（特定人物）とを区別し、選手と思われる人物に対して、より細かな選手の属性を識別した方が、高精度に選手（特定人物）の属性等を識別できる可能性が高い。

【0035】

例えば、マラソンや駅伝等のスポーツでは、選手を一定の大きさで映るように、カメラは選手と一定の距離を保ちながら移動するケースが多い。この場合、選手はカメラと共に移動するが、観客はその場に留まる傾向が高い。例えば、時刻ｔの画像フレームの映像が図７に示すような場合、時刻ｔ＋１の画像フレームの映像では、観客はその場に留まり、図８に示すような映像になる。つまり、選手とカメラとの位置は時刻が進んでも維持されるが、各観客とカメラとの距離は離れるため、異なる時刻で得られるフレーム画像中の人物に関して同一人物を対応付ける追跡処理を行うことにより、各人物のカメラとの相対的な移動量を推定することができる。この移動量を用いることで、選手と観客とを判別できる。移動量は、対応付けられた異なる時刻に得られた画像内の人物の座標位置の差分ベクトルで表す。

【0036】

このような差分ベクトルの移動量と、各フレーム単位で算出された識別対象（クラス）毎の尤度とを関連付けて記憶していく。そして、差分ベクトルの移動量が予め定めた値以上である人物を観客とし、その人物を識別対象の選手の候補から除外する。そして、除外された人物の中から選手として尤度が高いものを選択していくようにする。そして、選手として識別された人物について、上述の方法で選手の属性を識別する。

【0037】

このようにすれば、選手と顧客とを精度よく識別可能であり、結果として識別対象の選手を高精度で識別することができる。

【0038】

人物領域検出部２は、画像識別部１により選手として識別された人物が映像上で占める領域（人物領域）を検出するものである。映像上の人物領域の検出は、既知のエッジ部の検出方法等を用いることができる。

【0039】

位置関係識別部３は、画像識別部１により識別された選手の映像上の位置関係を識別するものである。位置関係を識別する一つの方法としては、映像上の人物の大きさを用いる。２次元の映像では、手前にあるものが大きく映り、遠方にあるものほど小さく映る。これは競技を撮影している場合も同様である。例えば、マラソンや駅伝では、選手を正面から撮影した場合、手前を走る選手ほど映像上で大きく映り、後方の選手ほど映像上で小さく映る。選手を背面から撮影した場合も、同様である。位置関係識別部３は、このような性質を利用し、画像識別部１により識別した選手（特定人物）の映像上の大きさから各識別対象の位置関係を識別する。

【0040】

具体的には、位置関係識別部３は、上述した画像識別部１と同様に、画像識別部１が識別した選手（特定人物）に関して、図５に示す如く、頭頂部から首中点を結ぶ直線の距離をＬとし、人物の首中心から下方向の位置にＬ×２Ｌの大きさの注目領域を設定する。そして、位置関係識別部３は、識別した選手（特定人物）の映像上の大きさの指標として、この注目領域の大きさ（例えば、面積）に着目する。

【0041】

例えば、図９は選手を正面から撮影した映像の場合であり、図９の例では、人物Ｄの注目領域が最も大きく、人物Ｃの注目領域が最も小さい。従って、選手の位置関係は、映像手前から、人物Ｄ（大学Ｚの選手）、人物Ｂ（大学Ｙの選手）、人物Ｃ（大学Ｘの選手）の順であることが識別できる。同様に、図１０は選手を背面から撮影した映像の場合であり、図１０の例でも、人物Ｄの注目領域が最も大きく、人物Ｃの注目領域が最も小さい。従って、選手の位置関係は、図９と同様に、映像手前から、人物Ｄ（大学Ｚの選手）、人物Ｂ（大学Ｙの選手）、人物Ｃ（大学Ｘの選手）の順であることが識別できる。

【0042】

このように、識別された選手の映像上の大きさに着目することにより、位置関係識別部３は、画像識別部１により識別された選手の映像上の位置関係を識別することができる。

【0043】

尚、上述した例では、識別した選手の注目領域に着目して位置関係を識別したが、これに限られない。注目領域の大きさを決定したＬ等の長さに着目するようにしても良い。更に、例えば、選手自体の映像内での選手の大きさでも良い。また、他の方法として、各選手が共通して装着している装着具に着目する方法がある。例えば、ゼッケン等は、選手間で共通の大きさなので、好適である。更に、位置関係を識別する一つの方法としては、映像上にある基準点を利用する方法がある。基準点の例としては、映像上の消失点等がある。位置関係の特定は、まず、画像識別部１により、識別された選手の映像上の位置情報を取得する。映像上にある消失点と各選手の映像上の位置情報との距離を計算し、この距離が長い程、映像上手前にあると推定する。

【0044】

更に、本例の応用例として、位置関係を識別するに用いた大きさから、相対的な距離も求めることが可能である。競技の撮影に用いられるカメラは、撮影した映像とともに、画角などの撮影情報を取得する機能を有する。従って、画角などと、位置関係を識別するに用いた大きさと距離との関係とを、予め学習しておけば、選手（識別対象）間の距離も算出することが可能である。

【0045】

フィル信号生成部４は、本映像信号と合成するフィル信号を生成する。フィル信号生成部４は、画像識別部１により識別された選手の本映像上の位置情報（例えば、注目領域を特定する座標情報）、及び、選手の属性情報を受信する。そして、選手の属性情報から、その選手に対応するＣＧ画像を生成する。また、ＣＧ画像と選手の本映像上の位置情報とから、フィル信号を生成する。

【0046】

キー信号生成部５は、人物領域検出部２で検出された選手の映像上の人物領域と、位置関係識別部３で識別された選手の映像上の位置関係と、フィル信号生成部４から得られるＣＧ画像の領域の位置及びサイズとから、キー信号を生成する。尚、以下の説明では、理解を容易にするために、図面上、キー信号の透過率が１００パーセント（透明）の領域を黒で示し、キー信号の透過率が０パーセント（不透明）の領域を白で示す。しかし、これに限られず、例えば、映像の演出上、ＣＧ画像を重畳する領域の透過率を５０パーセントとし、ＣＧ画像から本映像の部分が透けて見えるようにすることも可能である。

【0047】

画像合成部６は、本映像信号と、フィル信号生成部４が生成したフィル信号と、キー信号生成部５が生成したキー信号とを合成し、合成映像信号を生成する。

【0048】

上述した画像合成装置は、例えば、ＣＰＵ（Central Processing Unit）等のプロセッサと、一時記憶としてのメモリと、不揮発性の記憶装置（ＥＥＰＲＯＭやハードディスク）とを含み構成される。記憶装置に記憶されたプログラムをメモリに読み出して実行することにより、ＣＰＵ等のプロセッサが、画像識別部１と、人物領域検出部２と、位置関係識別部３と、フィル信号生成部４と、キー信号生成部５と、画像合成部６として機能する。

【0049】

次に、上述した画像合成装置の動作について説明する。尚、本動作では、映像上で識別した各選手にＣＧ画像を重畳する例を説明する。図１１から図１４は、本実施の形態における画像合成装置の動作を説明するための図である。

【0050】

まず、本映像信号が画像識別部１に入力される（図１１（Ａ））。画像識別部１は、本映像信号から、選手を識別する。本例では、本映像信号から、選手Ａ、選手Ｂ及び観客が識別されている（図１１（Ｂ））。

【0051】

続いて、位置関係識別部３は、選手Ａの注目領域の大きさと選手Ｂの注目領域の大きさとを比較する。本例では、選手Ｂの注目領域の大きさが、選手Ａの注目領域の大きさよりも大きいので、映像上、選手Ａよりも選手Ｂが手前に位置していることが識別できる（図１１（Ｃ））。

【0052】

フィル信号生成部４は、画像識別部１により識別された選手のＣＧ画像を重畳する映像の位置を決定する。本例では、まず、選手ＡのＣＧ画像を重畳する映像の位置及びサイズを決定する（図１１（Ｄ））。

【0053】

人物領域検出部２は、画像識別部１により識別された選手Ａ及び選手Ｂの人物領域を検出する（図１１（Ｅ））。

【0054】

キー信号生成部５は、人物領域検出部２で検出された選手Ａ及び選手Ｂの映像上の人物領域と、位置関係識別部３で得られた選手Ａと選手Ｂとの映像上の位置関係と、フィル信号生成部４から得られるＣＧ画像の領域の位置及びサイズとから、キー信号を生成する（図１１（Ｆ））。

【0055】

画像合成部６は、図１２に示す如く、本映像信号と、選手Ａのキー信号と、選手Ａのフィル信号（「選手Ａ○○大学」のＣＧ画像）とを合成し、選手Ａのための「選手Ａ○○大学」のＣＧ画像が重畳された第１合成映像信号を生成する。

【0056】

次に、選手ＢにＣＧ画像を重畳する動作に移る。

【0057】

本映像信号が画像識別部１に入力される（図１３（Ａ））。画像識別部１は、本映像信号から、選手を識別する。本例では、本映像信号から、選手Ａ、選手Ｂ及び観客が識別されている（図１３（Ｂ））。

【0058】

位置関係識別部３は、選手Ａの注目領域の大きさと選手Ｂの注目領域の大きさとを比較する。本例では、選手Ｂの注目領域の大きさが、選手Ａの注目領域の大きさよりも大きいので、映像上、選手Ａよりも選手Ｂが手前に位置していることが識別できる（図１３（Ｃ））。

【0059】

人物領域検出部２は、画像識別部１により識別された選手Ａ及び選手Ｂの人物領域を検出する（図１３（Ｅ））。

【0060】

以上の動作は、選手ＡにＣＧ画像を重畳する際に行っているので、再度行わなくても良く、それらの情報を再利用すれば良い。

【0061】

続いて、フィル信号生成部４は、画像識別部１により識別された選手のＣＧ画像を重畳する映像の位置を決定する。本例では、選手ＢのＣＧ画像を重畳する映像の位置及びサイズを決定する（図１３（Ｄ））。

【0062】

キー信号生成部５は、人物領域検出部２で検出された選手Ａ及び選手Ｂの映像上の人物領域と、位置関係識別部３で得られた選手Ａと選手Ｂとの映像上の位置関係と、フィル信号生成部４から得られるＣＧ画像の領域の位置及びサイズとから、キー信号を生成する（図１３（Ｆ））。

【0063】

画像合成部６は、図１４に示す如く、第１合成映像信号と、選手Ｂのキー信号と、選手Ｂのフィル信号（「選手ＢＸＸ大学」のＣＧ画像）とを合成し、選手Ａのための「選手Ａ○○大学」のＣＧ画像と選手Ｂのための「選手ＢＸＸ大学」のＣＧ画像とが重畳された第２合成映像信号を生成する。

【0064】

第２合成映像信号が示す如く、選手Ａのための「選手Ａ○○大学」のＣＧ画像のうち、選手Ｂと重なる領域のＣＧ画像は選手Ｂによって見えないように重畳されていることがわかる。一方、選手Ｂのための「選手ＢＸＸ大学」のＣＧ画像は、選手Ｂの前に人物が存在しないので、全てのＣＧ画像が見える形で重畳されている。

【0065】

このように、本実施の形態は、映像上に複数の人物が存在する場合、その人物間に、自然な形でＣＧ画像を重畳することができる。

【0066】

尚、上述した動作例では、選手Ａのための「選手Ａ○○大学」のＣＧ画像と、選手Ｂのための「選手ＢＸＸ大学」のＣＧ画像とを、別々に、本映像信号に重畳する例を説明したが、これに限られない。例えば、図１５に示すように、上述した手法と同様に、選手Ａ及び選手Ｂのキー信号を生成し、選手Ａ及び選手Ｂのフィル信号を生成し、これらのキー信号とフィル信号と本映像信号とを合成し、一度に、「選手Ａ○○大学」のＣＧ画像と「選手ＢＸＸ大学」のＣＧ画像とが本映像に重畳された合成信号を生成しても良い。

【0067】

また、上述した説明では、人物領域検出部２は、画像識別部１により選手として識別された人物が映像上で占める領域（人物領域）を検出する構成を説明した。この手法は、映像の美しさの点から好ましい方法である。しかし、人物のエッジを細かく検出すると、エッジ検出の処理に時間がかかる場合がある。そこで、人物の細かなエッジを検出することなく、例えば、図１６に示すように、識別した選手を囲む矩形領域を、人物領域として検出するようにしても良い。この場合のキー信号は、例えば、選手Ａのキー信号の例は、図１７に示すようになる。

【0068】

以上好ましい実施の形態をあげて本発明を説明したが、全ての実施の形態の構成を備える必要はなく、適時組合せて実施することができるばかりでなく、本発明は必ずしも上記実施の形態に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。

【符号の説明】

【0069】

１ 画像識別部
２ 人物領域検出部
３ 位置関係識別部
４ フィル信号生成部
５ キー信号生成部
６ 画像合成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】