特許 7653746 合成映像生成システム、合成映像生成方法及び合成映像生成プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2025-03-21

(45)【発行日】2025-03-31

(54)【発明の名称】合成映像生成システム、合成映像生成方法及び合成映像生成プログラム

(51)【国際特許分類】

   G06T 13/40 20110101AFI20250324BHJP

   G06T 19/00 20110101ALI20250324BHJP

   H04L 67/131 20220101ALI20250324BHJP

【ＦＩ】

G06T13/40

G06T19/00 300A

H04L67/131

【請求項の数】 6

(21)【出願番号】P 2024232686

(22)【出願日】2024-12-27

【審査請求日】2024-12-27

【早期審査対象出願】

(73)【特許権者】

【識別番号】519344969

【氏名又は名称】株式会社ＰｏｃｋｅｔＲＤ

(74)【代理人】

【識別番号】230112911

【弁護士】

【氏名又は名称】三和 圭二郎

(72)【発明者】

【氏名】内田 茂樹

(72)【発明者】

【氏名】吉川 太

(72)【発明者】

【氏名】籾倉 宏哉

【審査官】鈴木 明

(56)【参考文献】

【文献】特開２０２３－１５６１１２（ＪＰ，Ａ）

【文献】特開２０２３－１２３３９８（ＪＰ，Ａ）

【文献】国際公開第２０２４／０４８７３４（ＷＯ，Ａ１）

【文献】国際公開第２０１７／１５５１２６（ＷＯ，Ａ１）

【文献】特開２０２３－０５８４７２（ＪＰ，Ａ）

【文献】特開２０１９－１２５０９（ＪＰ，Ａ）

【文献】特開２０１９－１３９６７３（ＪＰ，Ａ）

【文献】特許第７６０７３８４（ＪＰ，Ｂ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １３／４０

Ｇ０６Ｔ １９／００

Ｈ０４Ｌ ６７／１３１

(57)【特許請求の範囲】

【請求項1】

所定の人物映像に基づき生成したアバターを挿入対象映像の一部領域に挿入して合成映像の生成を行う合成映像生成システムであって、
前記挿入対象映像の背景に関する映像素材である背景映像を選択する背景映像選択手段と、
前記挿入対象映像中に背景映像と共に配置される映像素材であるコンテンツ映像を選択するコンテンツ映像選択手段と、
前記コンテンツ映像選択手段によって選択されたコンテンツ映像に対し、前記挿入対象映像中における配置態様に応じて必要な加工処理を行うコンテンツ映像加工手段と、
前記背景映像選択手段によって選択された背景映像と前記コンテンツ映像選択手段によって選択されたコンテンツ映像に基づき前記挿入対象映像を生成する挿入対象映像生成手段と、
前記人物映像に基づき前記アバターを生成するアバター生成手段と、
前記アバター生成手段によって生成された前記アバターを、前記挿入対象映像中のコンテンツ映像の全部若しくは一部領域又は／及び前記挿入対象映像中の背景映像の一部領域に挿入するアバター挿入手段と、
前記アバター挿入手段によって前記挿入対象映像に前記アバターが挿入されたことにより生成された合成映像を出力する合成映像出力手段と、
を備えたことを特徴とする合成映像生成システム。

【請求項2】

前記背景映像選択手段は、
生成される前記合成映像の使用態様及び／又は前記合成映像中における前記背景映像の使用態様に関する情報である第１の使用態様情報を生成する第１の使用態様情報生成手段と、
前記第１の使用態様情報にて示される前記背景映像の使用態様が、前記背景映像につき事前に定められた使用条件を満たすか否かを判定する第１の使用可否判定手段と、
を備え、
前記コンテンツ映像選択手段は、
前記挿入対象映像中における前記コンテンツ映像の使用態様に関する情報である第２の使用態様情報を生成する第２の使用態様情報生成手段と、
前記第２の使用態様情報にて示される前記コンテンツ映像の使用態様が、前記コンテンツ映像につき事前に定められた使用条件を満たすか否かを判定する第２の使用可否判定手段と、
を備え、
前記挿入対象映像生成手段は、前記第１の使用可否判定手段が使用条件を満たすと判定した背景映像と前記第２の使用可否判定手段が使用条件を満たすと判定したコンテンツ映像を用いて前記挿入対象映像を生成することを特徴とする請求項１記載の合成映像生成システム。

【請求項3】

前記背景映像選択手段は、
前記背景映像を含む前記合成映像の使用態様及び／又は前記合成映像中における前記背景映像の使用態様に関する情報である第１の使用態様情報を生成する第１の使用態様情報生成手段と、
１以上の前記背景映像の中から、前記第１の使用態様情報にて示される使用態様での使用を許容する使用条件が設定された１以上の前記背景映像の候補を抽出する第１の候補映像抽出手段と、
前記第１の候補映像抽出手段によって抽出された１以上の前記背景映像の候補の中から前記合成映像に使用する前記背景映像を決定する第１の映像決定手段と、
を備え、
前記コンテンツ映像選択手段は、
前記コンテンツ映像を含む前記合成映像の使用態様及び／又は前記合成映像中における前記コンテンツ映像の使用態様に関する情報である第２の使用態様情報を生成する第２の使用態様情報生成手段と、
１以上の前記コンテンツ映像の中から、前記第２の使用態様情報にて示される使用態様での使用を許容する使用条件が設定された１以上の前記コンテンツ映像の候補を抽出する第２の候補映像抽出手段と、
前記第２の候補映像抽出手段によって抽出された１以上の前記コンテンツ映像の候補の中から前記合成映像に使用する前記コンテンツ映像を決定する第２の映像決定手段と、
を備え、
前記挿入対象映像生成手段は、前記第１の映像決定手段によって決定された前記背景映像と前記第２の映像決定手段によって決定された前記コンテンツ映像を用いて前記挿入対象映像を生成することを特徴とする請求項１記載の合成映像生成システム。

【請求項4】

所定の人物映像に基づき生成したアバターを挿入対象映像の一部領域に挿入して合成映像の生成を行う合成映像生成方法であって、
前記挿入対象映像を形成する１以上の映像素材を選択する映像素材選択ステップと、
前記映像素材選択ステップにおいて選択された前記映像素材に対し、前記挿入対象映像中における配置態様に応じて必要な加工処理を行う映像素材処理ステップと、
前記映像素材選択ステップにおいて選択された前記映像素材に基づき前記挿入対象映像を生成する挿入対象映像生成ステップと、
前記人物映像に基づき前記アバターを生成するアバター生成ステップと、
前記アバター生成ステップにおいて生成された前記アバターを、前記挿入対象映像中の映像素材の全部又は一部領域に挿入するアバター挿入ステップと、
前記アバター挿入ステップにおいて前記挿入対象映像に前記アバターが挿入されたことにより生成された合成映像を出力する合成映像出力ステップと、
を含むことを特徴とする合成映像生成方法。

【請求項5】

前記映像素材選択ステップは、
生成される前記合成映像の使用態様及び／又は前記合成映像中における前記映像素材の使用態様に関する情報である使用態様情報を生成する使用態様情報生成ステップと、
前記使用態様情報にて示される前記映像素材の使用態様が、前記映像素材につき事前に定められた使用条件を満たすか否かを判定する使用可否判定ステップと、
をさらに含み、
前記挿入対象映像生成ステップは、前記使用可否判定ステップが使用条件を満たすと判定した映像素材を用いて前記挿入対象映像を生成することを特徴とする請求項４記載の合成映像生成方法。

【請求項6】

コンピュータに対し所定の人物映像に基づき生成したアバターを挿入対象映像の一部領域に挿入して合成映像の生成を行わせる合成映像生成プログラムであって、
前記コンピュータに対し、
前記挿入対象映像を形成する１以上の映像素材の決定に際し、前記映像素材を含む前記合成映像の使用態様及び／又は前記合成映像中における前記映像素材の使用態様を許容する使用条件が設定された前記映像素材を選択する映像素材選択機能と、
前記映像素材選択機能によって選択された１以上の前記映像素材に対し、前記挿入対象映像中における配置態様に応じて必要な加工処理を行う映像素材処理機能と、
前記映像素材選択機能によって選択された前記映像素材に基づき前記挿入対象映像を生成する挿入対象映像生成機能と、
前記人物映像に基づき前記アバターを生成するアバター生成機能と、
前記アバター生成機能によって生成された前記アバターを、前記挿入対象映像中の映像素材の全部又は一部領域に挿入するアバター挿入機能と、
前記アバター挿入機能によって前記挿入対象映像に前記アバターが挿入されたことにより生成された合成映像を出力する合成映像出力機能と、
を実行させることを特徴とする合成映像生成システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、１以上の映像素材によって構成される挿入対象映像に対し、人物映像に基づき生成されたアバターを挿入して合成映像を生成する技術に関するものである。

【背景技術】

【0002】

近年、コンピュータ等の電子計算機における処理能力向上等に伴い、実在する人物の特徴を反映した人物像のコンピュータグラフィックス、いわゆるアバターが多数活用されている。たとえば、SNS（Social Networking Service）にて使用する自己のアイコンとしてアバターを使用したり、オンラインゲーム等における主人公のキャラクターに自己のアバターを使用する他、静止画・動画等のコンテンツにおいて、一部の登場人物を自己のアバターに置き換えて鑑賞等するサービスが提案されている。

【0003】

このように自己の特徴を反映したアバターを使用することにより、たとえばゲームにて利用者の特徴を表現したアバターからなる主人公が敵キャラクターと対戦することで利用者のゲーム世界への没入感が向上する効果が発生し、SNSにおいて利用者を示すアイコンとして利用者本人を抽象的に表現したアバターを使用することで、仮想空間でありながら現実の世界と同じような感覚にて利用者間の交流が促進されるといった効果が発生することが期待されている。

【0004】

特許文献１、２は、いずれもヘッドマウントディスプレイを使用して仮想空間を表現するコンピュータゲームにおいて、プレイヤー自身、あるいは共同プレイヤーの実際の姿をそれぞれ模したアバターを使用する技術について開示したものである。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１９－０１２５０９号公報

【文献】特開２０１９－１３９６７３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、実在の人物の容貌が千差万別である以上、実在の人物の特徴を踏まえたアバターを使用するためには個別にアバターを作成する必要があり、アバター生成の煩雑さが問題となる。また、自身のアバターを挿入する対象である挿入対象映像として既存の静止画・動画等では不十分な場合には独自の静止画・動画等を用意する必要が生ずる一方、映像生成に関する専門的技能を有さない一般的なユーザーにとって、アバターの挿入対象となる静止画・動画等を生成することは容易ではない。さらに、仮に既存映像を利用して独自の静止画・動画等を生成する技術を有していたとしても、既存映像の使用条件によっては法的な問題が生ずる可能性があり得るところ、これらの問題があるが、特許文献１、２のいずれにおいてもかかる問題を解決する技術については何ら開示されていない。

【0007】

本発明は、上記の課題に鑑みてなされたものであって、複数の映像素材を用いて生成した挿入対象映像に人物映像に基づくアバターを挿入することにより生成される合成映像について、当該合成映像の生成を簡易に行う技術を提供することを目的とする。

【課題を解決するための手段】

【0008】

上記目的を達成するため、請求項１にかかる合成映像生成システムは、所定の人物映像に基づき生成したアバターを挿入対象映像の一部領域に挿入して合成映像の生成を行う合成映像生成システムであって、前記挿入対象映像の背景に関する映像素材である背景映像を選択する背景映像選択手段と、前記挿入対象映像中に背景映像とは別に配置される映像素材であるコンテンツ映像を選択するコンテンツ映像選択手段と、前記コンテンツ映像選択手段によって選択されたコンテンツ映像に対し、前記挿入対象映像中における配置態様に応じて必要な加工処理を行うコンテンツ映像加工手段と、前記背景映像選択手段によって選択された背景映像と前記コンテンツ映像選択手段によって選択されたコンテンツ映像に基づき前記挿入対象映像を生成する挿入対象映像生成手段と、前記人物映像に基づき前記アバターを生成するアバター生成手段と、前記アバター生成手段によって生成された前記アバターを、前記挿入対象映像中のコンテンツ映像の全部若しくは一部領域又は／及び前記挿入対象映像中の背景映像の一部領域に挿入するアバター挿入手段と、前記アバター挿入手段によって前記挿入対象映像に前記アバターが挿入されたことにより生成された合成映像を出力する合成映像出力手段と、を備えたことを特徴とする。

【0009】

また、上記目的を達成するため、請求項２にかかる合成映像生成システムは、上記の発明において、前記背景映像選択手段は、生成される前記合成映像の使用態様及び／又は前記合成映像中における前記背景映像の使用態様に関する情報である第１の使用態様情報を生成する第１の使用態様情報生成手段と、前記第１の使用態様情報にて示される前記背景映像の使用態様が、前記背景映像につき事前に定められた使用条件を満たすか否かを判定する第１の使用可否判定手段とを備え、前記コンテンツ映像選択手段は、前記挿入対象映像中における前記コンテンツ映像の使用態様に関する情報である第２の使用態様情報を生成する第２の使用態様情報生成手段と、前記第２の使用態様情報にて示される前記コンテンツ映像の使用態様が、前記コンテンツ映像につき事前に定められた使用条件を満たすか否かを判定する第２の使用可否判定手段とを備え、前記挿入対象映像生成手段は、前記第１の使用可否判定手段が使用条件を満たすと判定した背景映像と前記第２の使用可否判定手段が使用条件を満たすと判定したコンテンツ映像を用いて前記挿入対象映像を生成することを特徴とする。

【0010】

また、上記目的を達成するため、請求項３にかかる合成映像生成システムは、上記の発明において、前記背景映像選択手段は、前記背景映像を含む前記合成映像の使用態様及び／又は前記合成映像中における前記背景映像の使用態様に関する情報である第１の使用態様情報を生成する第１の使用態様情報生成手段と、１以上の前記背景映像の中から、前記第１の使用態様情報にて示される使用態様での使用を許容する使用条件が設定された１以上の前記背景映像の候補を抽出する第１の候補映像抽出手段と、前記第１の候補映像抽出手段によって抽出された１以上の前記背景映像の候補の中から前記合成映像に使用する前記背景映像を決定する第１の映像決定手段とを備え、前記コンテンツ映像選択手段は、前記コンテンツ映像を含む前記合成映像の使用態様及び／又は前記合成映像中における前記コンテンツ映像の使用態様に関する情報である第２の使用態様情報を生成する第２の使用態様情報生成手段と、１以上の前記コンテンツ映像の中から、前記第２の使用態様情報にて示される使用態様での使用を許容する使用条件が設定された１以上の前記コンテンツ映像の候補を抽出する第２の候補映像抽出手段と、前記第２の候補映像抽出手段によって抽出された１以上の前記コンテンツ映像の候補の中から前記合成映像に使用する前記コンテンツ映像を決定する第２の映像決定手段とを備え、前記挿入対象映像生成手段は、前記第１の映像決定手段によって決定された前記背景映像と前記第２の映像決定手段によって決定された前記コンテンツ映像を用いて前記挿入対象映像を生成することを特徴とする。

【0011】

また、上記目的を達成するため、請求項４にかかる合成映像生成方法は、所定の人物映像に基づき生成したアバターを挿入対象映像の一部領域に挿入して合成映像の生成を行う合成映像生成方法であって、前記挿入対象映像を形成する１以上の映像素材を選択する映像素材選択ステップと、前記映像素材選択ステップにおいて選択された前記映像素材に対し、前記挿入対象映像中における配置態様に応じて必要な加工処理を行う映像素材処理ステップと、前記映像素材選択ステップにおいて選択された前記映像素材に基づき前記挿入対象映像を生成する挿入対象映像生成ステップと、前記人物映像に基づき前記アバターを生成するアバター生成ステップと、前記アバター生成ステップにおいて生成された前記アバターを、前記挿入対象映像中の映像素材の全部又は一部領域に挿入するアバター挿入ステップと、前記アバター挿入ステップにおいて前記挿入対象映像に前記アバターが挿入されたことにより生成された合成映像を出力する合成映像出力ステップとを含むことを特徴とする。

【0012】

また、上記目的を達成するため、請求項５にかかる合成映像生成方法は、上記の発明において、前記映像素材選択ステップは、生成される前記合成映像の使用態様及び／又は前記合成映像中における前記映像素材の使用態様に関する情報である使用態様情報を生成する使用態様情報生成ステップと、前記使用態様情報にて示される前記映像素材の使用態様が、前記映像素材につき事前に定められた使用条件を満たすか否かを判定する使用可否判定ステップとをさらに含み、前記挿入対象映像生成ステップは、前記使用可否判定ステップが使用条件を満たすと判定した映像素材を用いて前記挿入対象映像を生成することを特徴とする。

【0013】

また、上記目的を達成するため、請求項６にかかる合成映像生成プログラムは、コンピュータに対し所定の人物映像に基づき生成したアバターを挿入対象映像の一部領域に挿入して合成映像の生成を行わせる合成映像生成プログラムであって、前記コンピュータに対し、前記挿入対象映像を形成する１以上の映像素材の決定に際し、前記映像素材を含む前記合成映像の使用態様及び／又は前記合成映像中における前記映像素材の使用態様を許容する使用条件を備える前記映像素材を選択する映像素材選択機能と、前記映像素材選択機能によって選択された１以上の前記映像素材に対し、前記挿入対象映像中における配置態様に応じて必要な加工処理を行う映像素材処理機能と、前記映像素材選択機能によって選択された前記映像素材に基づき前記挿入対象映像を生成する挿入対象映像生成機能と、前記人物映像に基づき前記アバターを生成するアバター生成機能と、前記アバター生成機能によって生成された前記アバターを、前記挿入対象映像中の映像素材の全部又は一部領域に挿入するアバター挿入機能と、前記アバター挿入機能によって前記挿入対象映像に前記アバターが挿入されたことにより生成された合成映像を出力する合成映像出力機能とを実行させることを特徴とする。

【発明の効果】

【0014】

本発明によれば、複数の映像素材を用いて生成した挿入対象映像に人物映像に基づくアバターを挿入することにより生成される合成映像について、当該合成映像の生成を簡易に行うことを可能にするという効果を奏する。

【図面の簡単な説明】

【0015】

【図1】実施の形態１にかかる合成映像生成システムの構成を示す模式図である。

【図2】実施の形態２にかかる合成映像生成システムの構成を示す模式図である。

【発明を実施するための形態】

【0016】

以下、本発明の実施の形態を図面に基づいて詳細に説明する。以下の実施の形態においては、本発明の実施の形態として最も適切と考えられる例について記載するものであり、当然のことながら、本発明の内容を本実施の形態にて示された具体例に限定して解すべきではない。同様の作用・効果を奏する構成であれば、実施の形態にて示す具体的構成以外のものであっても、本発明の技術的範囲に含まれることは勿論である。

【0017】

（実施の形態１）
まず、実施の形態１にかかる合成映像生成システムについて説明する。図１に示すとおり、本実施の形態１にかかる合成映像生成システムは、合成映像を構成する挿入対象映像中で背景映像として使用される映像素材である背景映像を記憶する背景映像データベース１と、同じく合成映像を構成する挿入対象映像中で背景映像と共に配置される映像素材であるコンテンツ映像を記憶するコンテンツ映像データベース２と、合成映像中に挿入するアバターの元となる人物映像を入力する人物映像入力部３と、背景映像データベース１に記憶された映像のうち合成映像の生成に使用する背景映像を選択するための背景映像選択部４と、コンテンツ映像データベース２に記憶された映像のうち合成映像の生成に使用するコンテンツ映像を選択するためのコンテンツ映像選択部５と、選択したコンテンツ映像に対し合成映像を構成する挿入対象映像中における配置態様に応じて拡大・縮小等の必要な加工処理を行うコンテンツ映像加工部６と、選択・加工された背景映像及びコンテンツ映像からなる挿入対象映像を生成する挿入対象映像生成部７と、人物映像入力部３を介して入力された人物映像に基づき当該人物に関するアバターを生成するアバター生成部８と、生成したアバターを挿入対象映像中に挿入して合成映像を生成するアバター挿入部９と、生成された合成映像を出力する合成映像出力部１０と、個々の背景映像と１対１の対応関係にある非代替性トークンである背景トークンを生成する背景トークン生成部１１と、個々のコンテンツ映像と１対１の対応関係にある非代替性トークンであるコンテンツトークンを生成するコンテンツトークン生成部１２と、アバターと１対１の対応関係にある非代替性トークンであるアバタートークンを生成するアバタートークン生成部１３と、生成された合成映像と１対１の対応関係にある非代替性トークンである映像トークン生成部１４と、個々の背景トークンと１対１の対応関係にある分散型台帳（後述）内のブロックに格納される情報である背景トランザクションを生成する背景トランザクション生成部１５と、個々のコンテンツトークンと１対１の対応関係にある分散型台帳内のブロックに格納される情報であるコンテンツトランザクションを生成するコンテンツトランザクション生成部１６と、個々のアバタートークンと１対１の対応関係にある分散型台帳内のブロックに格納される情報であるアバタートランザクションを生成するアバタートランザクション生成部１７と、個々の合成映像と１対１の対応関係にある分散型台帳内のブロックに格納される情報である映像トランザクションを生成する映像トランザクション生成部１８と、各トランザクションに含まれる情報の生成・出力がアバタートークンの保有者の意向に従ったものであることを証明するデータである電子署名を生成する電子署名生成部１９と、各トランザクション及び各トランザクションに対応した電子署名を対応関係にある分散型台帳に向けて出力する出力部２０と、を備える。

【0018】

背景映像データベース１は、合成映像の生成に使用する映像素材の一つであって、合成映像を構成する挿入対象映像中で背景映像として使用される背景映像を記憶するためのものである。具体的には、背景データベースは、背景映像と当該背景映像を識別するための情報である識別情報を互いに関連付けた態様にて、複数の背景映像に関するデータを記憶する機能を有する。本実施の形態１においては、個々の背景映像、背景トークン及び背景トランザクション（さらには背景トランザクションが格納される分散型台帳）は、それぞれ背景映像の識別情報を用いて相互の対応関係が規定される構成を有する。また、個々の背景映像の使用条件、使用実績等に関しては、後述する背景トランザクション生成部１５にて情報が生成され、背景映像に対応する分散型台帳内にて当該情報が記録される構成を有する。

【0019】

コンテンツ映像データベース２は、合成映像の生成に使用する映像素材の一つであって、合成映像を構成する挿入対象映像中で背景映像と共に配置される各構成要素、たとえば風景を構成する個々の建物等の人工物、岩石・植物等の自然物や動物・人物等の生物等の映像であるコンテンツ映像を記憶するためのものである。具体的には、コンテンツ映像データベース２は、コンテンツ映像と当該コンテンツ映像を識別するための情報である識別情報を互いに関連付けた態様にて、複数のコンテンツ映像に関するデータを記憶する機能を有する。本実施の形態１においては、個々のコンテンツ映像、コンテンツトークン及びコンテンツトランザクション（さらにはコンテンツトランザクションが格納される分散型台帳）は、それぞれコンテンツ映像の識別情報を用いて相互の対応関係が規定される構成を有する。また、個々のコンテンツ映像の使用条件、使用実績等に関しては、後述するコンテンツトランザクション生成部１６にて情報が生成され、コンテンツ映像に対応する分散型台帳にて当該情報が記録される構成を有する。

【0020】

なお、背景映像とコンテンツ映像は、いずれも合成映像を構成する映像素材として機能するものである。前者は合成映像の全体にバックグラウンド的に表示されるものである一方、後者は合成映像の一部領域上に前者に重ね合わせるように表示されるものであるという相違はあるものの、本質的には、合成映像を構成する映像素材として同一性を有するものである。したがって、本実施の形態１においては、アバター挿入前の挿入対象映像（後述のとおり、挿入対象映像にアバターを挿入することで合成映像が生成される。）を背景映像のみで構成することも、コンテンツ映像のみで構成することも可能であるし、背景映像とコンテンツ映像を区別することなく一括的に映像素材として扱い、背景映像データベース１とコンテンツ映像データベース２を合わせた映像データベースを用いることとしてもよい（このことは、背景トークン生成部１１とコンテンツトークン生成部１２等の他の構成要素についても同じである。）。また、背景映像とコンテンツ映像の具体的構成としては２次元映像、３次元映像のいずれでもよく、かつ、静止画・動画のいずれであっても問題ない。さらに、コンテンツ映像においては後述する人物映像のケースと同様に、アバターの態様にて構成されることとしてもよい。

【0021】

人物映像入力部３は、合成映像を構成するアバターの生成に用いられる素材である人物映像を入力するためのものである。具体的には、人物映像入力部３は、挿入対象映像に対する挿入対象となる人物の全体又は一部に関する映像である人物映像を入力する機能を有し、外部から映像を入力する構成としてもよいし、映像を取得するための撮像機構を具備する構成としてもよい。人物映像の具体的構成としては、対象となる人物の全身映像でもよいし、顔画像のような一部の映像としてもよい。また、静止画・動画のいずれでもよいし、２次元・３次元のいずれでもよい。本実施の形態１においては、人物映像として対象人物の顔面に関する２次元かつ静止画からなる映像を用いた説明を行うが、かかる構成以外の人物映像についても本実施の形態１にかかる合成映像生成システムにて使用可能であることはもちろんである。

【0022】

背景映像選択部４は、合成映像の生成に使用する背景映像を選択するためのものである。具体的には、背景映像選択部４は、使用する背景映像を特定するための映像特定部２１と、特定した背景映像の合成映像中における使用態様に関する情報である使用態様情報を生成する使用態様情報生成部２２と、映像特定部２１によって特定された背景映像の使用条件の内容に関する情報である使用条件情報を取得する使用条件情報取得部２３と、使用態様情報生成部２２によって生成された使用態様情報に含まれる背景映像の使用態様が、使用条件情報取得部２３によって取得された使用条件情報に含まれる使用条件を満たすか否かを判定する使用可否判定部２４と、使用可否判定部２４によって使用条件を満たすと判定された場合に背景映像データベース１から対象となる背景映像を抽出する映像抽出部２５とを備える。

【0023】

映像特定部２１は、背景映像選択部４における選択対象となる背景映像を特定するためのものである。具体的には、映像特定部２１は、選択しようとする背景映像について背景映像データベースを検索し、検索した当該背景映像の識別情報を取得する機能を有する。映像特定部２１によって取得された背景映像の識別情報を用いて、使用条件情報取得部２３による情報取得処理等が行われる。

【0024】

使用態様情報生成部２２は、選択対象となる背景映像について、生成する合成映像との関係における使用態様に関する情報である使用態様情報（特許請求の範囲における第１の使用態様情報に相当）を生成するためのものであり、特許請求の範囲における第１の使用態様情報生成手段に相当するものである。使用態様情報の内容としては、たとえば、当該背景映像を映像素材として生成する合成映像の使用態様（合成映像の公開の有無・公開範囲、用途（動画配信、静止画像の光沢紙やポストカード等の紙媒体への出力、等）、使用時における商業用途の有無、使用する合成映像のサイズ等）、合成映像における背景映像の使用態様（合成映像に使用する際に加工処理を行う場合は当該加工処理の内容、合成映像にコンテンツ映像も使用される場合は使用されるコンテンツ映像との関係性、等）、合成映像を生成又は／及び使用する者の属性情報（性別、年齢、国籍、信条、識別情報、本システムの利用資格（たとえば有償ユーザーか、無償ユーザーか）等）及び背景映像の使用に関して負担可能な費用等のうち１以上の情報が含まれるが、これらに限定されない。使用態様情報生成部２２による使用態様情報の生成態様としては、各情報に相当する文字情報を入力する態様としてもよいし、生成する合成映像の具体的データについて画像分析処理等を行うことによって直接的に情報生成する態様としてもよい。使用態様情報生成部２２によって生成
された使用態様情報は使用可否判定部２４に向けて出力され、使用可否判定部２４における背景映像の使用可否に関する判定材料として使用される。

【0025】

使用条件情報取得部２３は、映像特定部２１によって特定された背景映像の使用条件に関する情報である使用条件情報を取得するためのものである。具体的には、使用条件情報取得部２３は、背景映像に１対１で対応する分散型台帳にアクセスし、当該分散型台帳のブロックに格納された情報である背景トランザクションの中から、背景映像の使用条件に関する情報である使用条件情報を取得する機能を有する。使用条件情報の内容としては、たとえば、背景映像を映像素材として使用する合成映像の使用条件（合成映像の公開範囲をどこまで許容するか、合成映像の用途（動画配信、静止画像の光沢紙やポストカード等の紙媒体への出力、等）をどこまで許容するか、商業用途についてどの程度許容するか、等）、合成映像における背景映像の使用条件（加工処理を行う場合に加工処理についてどの程度許容するか、同じ合成映像に配置するコンテンツ映像のうち、どのコンテンツ映像の使用を許容するか、等）、背景映像を使用して合成映像を生成又は／及び使用する者として許容しうる属性の範囲（性別、年齢、国籍、信条、識別情報、本システムの利用資格（たとえば有償ユーザーか、無償ユーザーか）等）、背景映像の利用料金等のうち１以上の情報が含まれるが、これらに限定されない。使用条件情報取得部２３によって取得された使用条件情報は使用可否判定部２４に向けて出力され、使用可否判定部２４における背景映像の使用可否に関する判定材料として使用される。

【0026】

使用可否判定部２４は、映像特定部２１によって特定された背景映像に関する使用態様情報と使用条件情報を比較対照することを通じて、当該背景映像の使用の可否について判定するためのものであり、特許請求の範囲における第１の使用可否判定手段に相当するものである。具体的には、使用可否判定部２４は、使用条件情報に含まれる使用条件に関する各項目（たとえば生成する合成映像の使用条件）に対応する使用態様情報の項目（たとえば生成する合成映像の使用態様）の情報を抽出し、使用態様情報の項目の情報が、使用条件情報の項目にて定める条件を満たすか否かを判定する。全ての項目について、使用態様情報の内容が使用条件情報の許容範囲内である場合、使用可否判定部２４は背景映像の使用が可能であると判定し、それ以外の場合は背景映像の使用は不可能であると判定する。

【0027】

映像抽出部２５は、使用可否判定部２４によって使用可能と判定された背景映像の画像データを抽出するためのものである。具体的には、映像抽出部２５は、使用可否判定部２４によって使用可能と判定された場合に、映像特定部２１にて取得した識別情報に対応する背景映像を、背景映像データベース１中から抽出して挿入対象映像生成部７に向けて出力する機能を有する。

【0028】

コンテンツ映像選択部５は、合成映像の生成に使用するコンテンツ映像を選択するためのものである。具体的には、コンテンツ映像選択部５は、使用するコンテンツ映像を特定するための映像特定部２６と、特定したコンテンツ映像の合成映像中における使用態様に関する情報である使用態様情報を生成する使用態様情報生成部２７と、映像特定部２６によって特定されたコンテンツ映像の使用条件の内容に関する情報である使用条件情報を取得する使用条件情報取得部２８と、使用態様情報生成部２７によって生成された使用態様情報に含まれるコンテンツ映像の使用態様が、使用条件情報取得部２８によって取得された使用条件情報に含まれる使用条件を満たすか否かを判定する使用可否判定部２９と、使用可否判定部２９によって使用条件を満たすと判定された場合にコンテンツ映像データベース２から対象となるコンテンツ映像を抽出する映像抽出部３０とを備える。

【0029】

映像特定部２６は、コンテンツ映像選択部５における選択対象となるコンテンツ映像を特定するためのものである。具体的には、映像特定部２６は、選択しようとするコンテンツ映像についてコンテンツ映像データベース２内を検索し、検索した当該コンテンツ映像の識別情報を取得する機能を有する。映像特定部２６によって取得されたコンテンツ映像の識別情報を用いて、使用条件情報取得部２８による情報取得処理等が行われる。なお映像特定部２６の機能は基本的に映像特定部２１の機能と同様であり、両者を単一の構成要素によって形成して背景映像、コンテンツ映像の双方に関する処理を行う構成としてもよい。

【0030】

使用態様情報生成部２７は、選択対象となるコンテンツ映像について、生成する合成映像との関係における使用態様に関する情報である使用態様情報（特許請求の範囲における第２の使用態様情報に相当）を生成するためのものであり、特許請求の範囲における第２の使用態様情報生成手段に相当するものである。使用態様情報の内容としては、たとえば、当該コンテンツ映像を使用して生成する合成画像の使用態様（合成映像の公開の有無・公開範囲、用途（動画配信、静止画像の光沢紙やポストカード等の紙媒体への出力、等）、使用時における商業用途の有無、使用する合成映像のサイズ等）、合成映像におけるコンテンツ映像の使用態様（合成映像におけるコンテンツ映像の位置・大きさ、他のコンテンツ映像・背景映像との関係性、コンテンツ映像を加工する場合は加工内容、等）、合成映像を生成又は／及び使用する者の属性情報（性別、年齢、国籍、信条、識別情報、本システムの利用資格（たとえば有償ユーザーか、無償ユーザーか）等）及びコンテンツ映像の使用に関して負担可能な費用等のうち１以上の情報が含まれるが、これらに限定されない。使用態様情報生成部２７による使用態様情報の生成態様としては、各情報に相当する文字情報を入力する態様としてもよいし、生成する合成映像の具体的データについて画像分析処理等を行うことによって直接的に情報取得する態様としてもよい。使用態様情報生成部２７によって生成された使用態様情報は、使用可否判定部２９に向けて出力され、使用可否判定部２９におけるコンテンツ映像の使用可否に関する判定材料として使用される。なお使用態様情報生成部２７の機能は基本的に使用態様情報生成部２２と同様であり、両者を単一の構成要素によって形成して背景映像、コンテンツ映像の双方の使用態様情報を生成する構成としてもよい。

【0031】

使用条件情報取得部２８は、映像特定部２６によって特定されたコンテンツ映像の使用条件に関する情報である使用条件情報を取得するためのものである。具体的には、使用条件情報取得部２８は、対象となるコンテンツ映像と１対１で対応する分散型台帳にアクセスし、当該分散型台帳のブロックに格納された情報であるコンテンツトランザクションの中から、コンテンツ映像の使用条件に関する情報である使用条件情報を取得する機能を有する。使用条件情報の内容としては、たとえば、コンテンツ映像を映像素材として使用する合成映像の使用条件（合成映像の公開範囲をどこまで許容するか、合成映像の用途（動画配信、静止画像の光沢紙やポストカード等の紙媒体への出力、等）をどこまで許容するか、商業用途についてどの程度許容するか、等）、合成映像におけるコンテンツ映像の使用条件（加工処理を行う場合に加工処理についてどの程度許容するか、同じ合成映像に配置する背景映像・コンテンツ映像がどの映像であれば当該コンテンツ映像の使用を許容するか、等）、コンテンツ映像を使用した合成映像を生成又は／及び使用する者として許容しうる属性の範囲（性別、年齢、国籍、信条、識別情報、本システムの利用資格（たとえば有償ユーザーか、無償ユーザーか）等）、コンテンツ映像の利用料金等のうち１以上の情報が含まれるが、これらに限定されない。使用条件情報取得部２８によって取得された使用条件情報は使用可否判定部２９に向けて出力され、使用可否判定部２９におけるコンテンツ映像の使用可否に関する判定材料として使用される。なお使用条件情報取得部２８の機能は基本的に使用条件情報取得部２３と同様であり、両者を単一の構成要素によって形成して背景映像、コンテンツ映像のそれぞれと対応関係にある分散型台帳にアクセスして情報を取得する構成としてもよい。

【0032】

使用可否判定部２９は、映像特定部２６によって特定されたコンテンツ映像に関する使用態様情報と使用条件情報を比較対照することを通じて、当該コンテンツ映像の使用の可否について判定するためのものであり、特許請求の範囲における第２の使用可否判定手段に相当するものである。具体的には、使用可否判定部２９は、使用条件情報に含まれる各項目（たとえば生成する合成映像の使用条件）に対応する使用態様情報の項目（たとえば生成する合成映像の使用態様）の情報を抽出し、使用態様情報の項目の情報が、使用条件情報の項目にて定める条件を満たすか否かを判定する。全ての項目について、使用態様情報の内容が使用条件情報の許容範囲内である場合、使用可否判定部２９は当該コンテンツ映像の使用が可能であると判定し、それ以外の場合はコンテンツ映像の使用が不可能であると判定する。なお使用可否判定部２９の機能は基本的に使用可否判定部２４と同様であり、両者を単一の構成要素によって形成して合成映像への使用を想定する背景映像、コンテンツ映像のそれぞれについて使用可否を判定する構成としてもよい。

【0033】

映像抽出部３０は、使用可否判定部２９によって使用可能と判定されたコンテンツ映像の画像データを抽出するためのものである。具体的には、映像抽出部３０は、使用可否判定部２９によって使用可能と判定された場合に、映像特定部２６にて取得した識別情報に対応する背景映像を、コンテンツ映像データベース２中から抽出して挿入対象映像生成部７に向けて出力する機能を有する。

【0034】

コンテンツ映像加工部６は、合成映像を生成するための映像素材として使用されるコンテンツ映像について、挿入対象映像（アバター挿入前の合成映像）を生成する際に必要となる加工処理を行うためのものである。コンテンツ映像に関しては、コンテンツ映像データベース２に記憶されたデータのまま挿入対象映像（さらには合成映像）に組み込む構成としてもよいが、通常は合成映像中における位置や、他のコンテンツ映像との関係性、さらには合成映像のコンセプト等に基づき定まる挿入対象映像中のコンテンツ映像の配置態様（位置、姿勢、方向、具体的形状等）に応じてコンテンツ映像を拡大・縮小、向きの変換、形状の微調整や動作内容の変化等の加工処理を行う必要がある。コンテンツ映像加工部６はそのような場合にコンテンツ映像を加工処理するためのものであり、たとえばコンテンツ映像が所定の人物の映像であった場合に、他の人物とのバランスをとるために拡大・縮小したり、直立不動の映像であったものを合成映像のコンセプトにあわせて両手を広げた態様に変化させたりする機能を有する。なお、コンテンツ映像加工部６による加工処理は従前知られた技術を用いて行うことが可能であり、たとえばコンテンツ映像がアバターによって形成される場合は、骨格情報にもとづきボーンの位置関係を変化させることによって姿勢等を変化させる等の加工処理を行うものとする。なお、本実施の形態１におけるコンテンツ映像加工部６はコンテンツ映像に対する加工処理を行うことを前提とするものの、背景映像についても必要な加工処理を行う機能を設けてもよいし、コンテンツ映像加工部６とは別に、背景映像を加工処理するための背景映像加工部を新たに設けることとしてもよい。また、本実施の形態１におけるコンテンツ映像加工部６は、コンテンツ映像選択部５によって選択処理が完了したコンテンツ映像、すなわち使用可否判定部２９にて使用可能と判定された後のコンテンツ映像に対し加工処理を行うものであるが、判定前に加工処理を行う構成としてもよい。判定前にコンテンツ映像に対する加工処理を行った上で、実際の加工処理内容を使用態様情報生成部２７が生成する使用態様情報の一部として取り込み、当該加工処理内容を含めて使用可否判定部２９における判定処理を行うこととしてもよい。

【0035】

挿入対象映像生成部７は、背景映像選択部４によって選択された背景映像と、コンテンツ映像選択部５によって選択されたコンテンツ映像に基づき、これらを組み合わせた挿入対象映像を生成するためのものである。挿入対象映像とは合成映像の元となる映像であり、より具体的には、挿入対象映像に対するアバター挿入処理を施したものが合成映像である、という関係性を有する。挿入対象映像生成部７は、背景映像及びコンテンツ映像加工部６によって必要な加工処理がなされたコンテンツ映像のそれぞれを所定の位置に配置することによって、挿入対象映像を生成する。なお挿入対象映像生成部７の具体的例としては従来技術を利用した画像処理機能を有する構成とすることが可能であり、生成される挿入対象映像の構成も、完成映像の態様にあわせて動画・静止画、カラー映像・白黒映像、２次元映像・３次元映像等、特に制限はないものとする。

【0036】

アバター生成部８は、挿入対象映像中のコンテンツ映像の全部又は一部と置き換えるためのアバターを、人物映像入力部３を介して入力された人物映像に基づき生成するためのものである。具体的には、アバター生成部８は、アバターの構成としては骨格情報（ボーン）、表面情報（スキン）及び両者の関係性について規定するウェイト情報から構成することとしてもよいが、３次元的な形状及び表面における色調に関する情報を含む表面情報のみからなる構成とすることも好ましく、さらに簡易な構成としては画像データそのものによって構成することとしてもよい。また、アバター生成部８にて生成するアバターとして、人物の全身像に対応したアバターを生成することとしてもよいが、人物の一部、たとえば顔面の一部のみからなるアバターを生成してもよい。本実施の形態１では首から上の頭部のみからなるアバターを生成することとする。アバター生成部４は、人物映像入力部３を介して入力された人物映像に基づき、当該人物映像の表面上の特徴（目、眉毛、鼻、口、耳、髪型等）、内部的な特徴（関節等）の位置・形状等に応じて設定される特徴点を抽出し、抽出された特徴点同士の位置関係をアバターに反映させることにより、モデルの身体的特徴を反映させた写実的なアバターを生成する。もっとも、より簡易な構成を採用する場合は、たとえば人物映像そのまま、あるいは人物映像に対し大きさ、向き等の調整のみの必要最小限の修正を施すのみの構成からなるものをアバターとして生成することとしてもよい。

【0037】

アバター挿入部９は、生成したアバターを挿入対象映像中に挿入して合成映像を生成するためのものである。具体的には、アバター挿入部９は、アバター生成部８によって生成されたアバターを挿入対象映像中のコンテンツ映像の全部若しくは一部領域及び挿入対象映像中の背景映像の一部領域の少なくとも一方に挿入する処理を通じて、アバターを挿入対象映像中に挿入し合成映像を完成させる機能を有する。挿入対象映像が静止画像の場合、アバター挿入部９は、挿入対象映像中の置換対象の大きさ・方向に関する情報を取得すると共にアバターの大きさ・方向を当該情報に基づき適宜変更した上で、当該アバターを置換対象と置き換える態様にて挿入対象映像に挿入する。挿入対象映像が動画の場合、アバター挿入部９は、たとえば特徴点の位置変動を検出することにより挿入対象映像中における置換対象の動作内容に関する情報を取得しアバターの大きさ・方向及び動作を当該情報に基づき適宜変更した上で、置換対象と置き換える態様にて挿入対象映像に挿入する。アバターの置換対象としては、通常は挿入対象映像中に配置されたコンテンツ映像のうち人物に関する映像とすることが望ましいがこれに限定する必要はなく、たとえば機関車のコンテンツ映像が配置されている場合に当該機関車の前面に顔画像の一部からなるアバターを挿入する構成としてもよい。さらに置換対象をコンテンツ映像に限定して解釈する必要もなく、たとえば背景映像の一部をアバターによって置き換えることによって合成映像を生成することとしてもよい。

【0038】

合成映像出力部１０は、アバター挿入部９によって挿入対象映像中にアバターが挿入されることによって生成された合成映像を出力するためのものである。合成映像出力部１０による合成映像の出力態様としては、生成された合成映像をそのまま映像データとして出力することとしてもよいし、データ形式を変換した上で出力することとしてもよいし、たとえば光沢紙に印刷して写真状にした上で出力してもよいし、郵便はがきに印刷した状態で出力してもよい。

【0039】

背景トークン生成部１１は、個々の背景映像とそれぞれ１対１の対応関係にある非代替性トークンを生成するためのものである。「非代替性トークン」とはいわゆるＮＦＴ（Non-Fungible Token）、すなわち固有のデータを備えることで他のトークンと代替不能な性質を有するトークンを意味し、たとえばEthereum（登録商標）の規格であるＥＲＣ７２１に基づいて発行されるものである。本実施の形態１にける非代替性トークンは、ＥＲＣ７２１またはその他の所定の規格に基づき発行されるものであり、対象物の取引履歴、所有者に関する情報及び対象物の利用権等の権利の設定・移転・変更等の情報等が当該非代替性トークンと対応関係にあるブロックチェーン上の分散型台帳に記録される構成となっている。背景トークンに関して記録される情報は後述する背景トランザクション生成部１５によって生成され、電子署名生成部１９にて生成された電子署名とともに出力部２０によって分散型台帳に向けて出力される。

【0040】

「ブロックチェーン」とは、分散型ネットワークを構成する複数のコンピュータ間において暗号技術を活用しつつデータ同期を行う技術である。具体的には、合意された取引記録等のトークンに関する情報の集合体と、他のブロックと接続させるための情報（前のブロックの情報）により各ブロックが構成され、当該各ブロックが複数連結されることによってブロックチェーンが構成される。複数のコンピュータの一部でデータ改ざんが行われても他のコンピュータとの間で多数決によって正しいデータが選択されるため、データの破壊・改ざんが極めて難しいという特徴を有している。ブロックチェーンの分類として多数決に参加する者に制限を設けない、すなわち不特定人が分散型台帳への記録処理に関与可能なパブリックブロックチェーンと、複数あるいは単数の特定人のみが多数決に参加できる、すなわちあらかじめ定めた特定人のみが分散型台帳への記録処理に関与可能なコンソーシアムブロックチェーン、プライベートブロックチェーンが存在するところ、前者は本発明における開放系分散型台帳に含まれる概念であり、後者は本発明における閉鎖系分散型台帳に含まれる概念である。

【0041】

背景トークンと背景映像を紐づける具体的態様としては、背景トークンの識別子と背景映像の識別情報とを関連付ける形式とする。より端的に、背景トークンの識別子を背景映像の識別情報と一致させる態様としてもよい。また、非代替性トークンの生成については、背景トークン生成部１１が自ら行う態様でもよいし、背景トークン生成部１１と直接的または間接的に接続された外部システムに対し所定の指令を行うことによって、外部システムが生成する態様としてもよい。また、非代替性トークンの具体的形式についても、Ethereum（登録商標）の規格であるERC721に準拠したものに限定されず、非代替性の性質を有し、取引履歴等の情報が開放系分散型台帳・閉鎖系分散型台帳に保存可能なものであれば任意の形式のものとしてよい。

【0042】

コンテンツトークン生成部１２は、個々のコンテンツ映像とそれぞれ１対１の対応関係にある非代替性トークンであるコンテンツトークンを生成するためのものである。コンテンツトークン生成部１２にて生成されるコンテンツトークンは、対応関係が構築される対象が背景映像ではなくコンテンツ映像である点が相違する以外は、トークンがいわゆるＮＦＴによって生成される点等に関し背景トークン生成部１１にて生成される背景トークンと同様のものである。そのため、コンテンツトークン生成部１２を背景トークン生成部１１と一体的に形成し、単一の構成要素にて背景トークン及びコンテンツトークンの双方を生成することとしてもよい。コンテンツトークンとコンテンツ映像の対応関係の設定については、コンテンツトークンの識別子とコンテンツ映像の識別情報を相互に関連付ける形式にて設定することとする。

【0043】

アバタートークン生成部１３は、アバターとそれぞれ１対１の対応関係にある非代替性トークンであるアバタートークンを生成するためのものである。アバタートークン生成部１３にて生成されるアバタートークンは、対応関係が構築される対象が背景映像・コンテンツ映像ではなくアバターである点が相違する以外は、トークンがいわゆるＮＦＴによって生成される点等に関し背景トークン生成部１１にて生成される背景トークン及びコンテンツトークン生成部１２にて生成されるコンテンツトークンと同様のものである。そのため、アバタートークン生成部１３を背景トークン生成部１１及びコンテンツトークン生成部１２と一体的に形成し、単一の構成要素にて背景トークン、コンテンツトークン及びアバタートークンを生成することとしてもよい。アバタートークンとアバターの対応関係の設定については、アバターに識別情報を設定した上で、当該識別情報とアバタートークンの識別子とを相互に関連付ける形式にて設定することが好ましい。

【0044】

映像トークン生成部１４は、生成された合成映像と１対１の対応関係にある非代替性トークンである映像トークンを生成するためのものである。映像トークン生成部１４によって生成される映像トークンは、対応関係が構築される対象が合成映像である点以外は、トークンがいわゆるＮＦＴによって生成される点等に関し他のトークンと同様のものである。そのため、映像トークン生成部１４を背景トークン生成部１１等と一体的に形成し、単一の構成要素によって映像トークンを含む各トークンを生成することとしてもよい。映像トークンと合成映像の対応関係の設定については、合成映像に識別情報を設定した上で、当該識別情報と映像トークンの識別子とを相互に関連付ける形式にて設定することが好ましい。

【0045】

背景トランザクション生成部１５は、背景トークンと対応関係にある分散型台帳に格納される情報である背景トランザクションを生成するためのものである。背景トランザクション生成部１５は、背景映像の保有者に関する情報の他、対応関係にある背景映像に関する使用条件情報と、当該背景映像が合成映像に使用された際（すなわち、使用可否判定部２４によって使用が認められた際）の使用態様情報を含む内容からなる背景トランザクションを生成し、電子署名生成部１９及び出力部２０に対し出力する機能を有する。使用条件情報の生成については、法令等により予め定められた規制（たとえば、刺激的な映像について未成年者が閲覧可能な環境下での使用を禁止する、等）に基づき生成することに加え、背景映像の作成者あるいは保有者が設定した使用条件に基づき生成することが好ましい。また、背景トランザクション生成部１５は、保有者が変更された場合、使用条件が変更される等により使用条件情報の内容が更新された場合及び新たに当該背景映像を用いた合成映像が生成された場合における使用態様情報が生成された場合に、これらの情報を含む新たな背景トランザクションを生成し、電子署名生成部１９及び出力部２０に対し出力する機能を有する。

【0046】

コンテンツトランザクション生成部１６は、コンテンツトークンと対応関係にある分散型台帳に格納される情報であるコンテンツトランザクションを生成するためのものである。コンテンツトランザクション生成部１６は、コンテンツ映像の保有者に関する情報の他、対応関係にあるコンテンツ映像に関する使用条件情報と、当該コンテンツ映像が合成映像に使用された際（すなわち、使用可否判定部２９によって使用が認められた際）の使用態様情報を含む内容からなるコンテンツトランザクションを生成し、電子署名生成部１９及び出力部２０に対し出力する機能を有する。使用条件情報の生成については、法令等により予め定められた規制（たとえば、刺激的な映像について未成年者が閲覧可能な環境下での使用を禁止する、等）に基づき生成することに加え、コンテンツ映像の作成者あるいは保有者が設定した使用条件に基づき生成することが好ましい。また、コンテンツトランザクション生成部１６は、保有者が変更された場合、使用条件が変更される等により使用条件情報の内容が更新された場合、及び新たに当該コンテンツ映像を用いた合成映像が生成された場合における使用態様情報が生成された場合に、これらの情報を含む新たなコンテンツトランザクションを生成し、電子署名生成部１９及び出力部２０に対し出力する機能を有する。

【0047】

アバタートランザクション生成部１７は、アバタートークンと対応関係にある分散型台帳に格納される情報であるアバタートランザクションを生成するためのものである。アバタートランザクション生成部１７は、アバターの保有者に関する情報の他、対応関係にあるアバターの使用条件情報と、アバターが合成映像に使用された際に挿入対象となったコンテンツ映像又は／及び背景映像に関する情報とを含む内容からなるアバタートランザクションを生成し、電子署名生成部１９及び出力部２０に対し出力する機能を有する。使用条件情報の生成については、法令等により予め定められた規制に基づき生成することに加え、アバター保有者が設定した使用条件に基づき生成することが好ましい。また、アバタートランザクション生成部１７は、アバターの保有者が変更された場合、使用条件が変更される等により使用条件情報の内容が更新された場合、及び新たにアバターを用いた合成映像が生成され新たな挿入対象が設定された場合に、これらの情報を含む新たなコンテンツトランザクションを生成し、電子署名生成部１９及び出力部２０に対し出力する機能を有する。

【0048】

映像トランザクション生成部１８は、映像トークンと対応関係にある分散型台帳に格納される情報である映像トランザクションを生成するためのものである。映像トランザクション生成部１８は、対応関係にある合成映像の保有者に関する情報の他、合成映像を構成する背景映像、コンテンツ映像及びアバターの識別情報及び背景映像及びコンテンツ映像に関する使用態様情報を含む内容からなる映像トランザクションを生成し、電子署名生成部１９及び出力部２０に対し出力する機能を有する。

【0049】

電子署名生成部１９は、背景トランザクション、コンテンツトランザクション、アバタートランザクション及び映像トランザクションのそれぞれに含まれる情報が正規のものであることを証明するデータである電子署名を生成するためのものである。具体的には、電子署名生成部１９は、背景トランザクション、コンテンツトランザクション、アバタートランザクション及び映像トランザクションのそれぞれについて、トランザクションのハッシュ値を生成し、秘密鍵にて当該ハッシュ値を暗号化することにより電子署名を生成する機能を有する。なお、「ハッシュ値」とは元データに対し一定計算手順を施すことにより得られた固定長の値である。当該計算手順が不可逆なものであるため、ハッシュ値から元データを復元することは不可能とされている。また、「秘密鍵」とは暗号化処理に用いられる数列であって、対応関係にある「公開鍵」により復号することが可能な構成となっている。なお、通常は「秘密鍵」を管理するのは背景トークン、コンテンツトークン、アバタートークン及び映像トークンそれぞれの保有者であることから、電子署名生成部１９について、各トークンに対応して別個の電子署名生成部を設けることとしてもよい。

【0050】

出力部２０は、背景トランザクション生成部１５、コンテンツトランザクション生成部１６及びアバタートランザクション生成部１７にて生成された背景トランザクション、コンテンツトランザクション、アバタートランザクション及び映像トランザクションについて、対応する電子署名とともに、背景トークン、コンテンツトークン、アバタートークン及び映像トークンのそれぞれと対応づけられた分散型台帳に向けて出力するためのものである。出力部２０は特許請求の範囲における出力手段の一態様として機能するものであり、本実施の形態では直接的に各トランザクション及び対応する電子署名を出力する構成としているが、他の構成要素（システム外部に設けられたものを含む。）に対し出力するよう指示するのみの構成としてもよい。なお本実施の形態１において出力部２０は分散型台帳が設置されたネットワークに対し直接的または間接的に接続されており、分散型台帳に向けて所定のデータを出力可能な態様にて構成されている。出力部２０から出力されたデータに関しては、各トランザクションについてハッシュ値が生成されるとともに、当該ハッシュ値と各トランザクションと対応する電子署名を公開鍵にて復号したデータが対比され、両者が異なる値となる場合は正規のトランザクションではないと判定され分散型台帳への登録が拒否され、両者が一致する場合は正規のトランザクションと判定され、トランザクションにより構成される情報が、分散型台帳を構成するブロックに格納される。なお各トランザクションと分散型台帳の対応関係については、たとえば分散型台帳の識別情報と各トランザクションの識別情報を紐づけることにより構成することとし、より端的には、各トランザクションの識別情報と同一の情報を分散型台帳の識別情報として使用することとしてもよい。分散型台帳の識別情報は、出力部２０による情報出力の際に利用される他、使用条件情報取得部２３、２８における情報取得処理の際にも利用される。

【0051】

次に、本実施の形態１にかかる合成映像生成システムの利点について説明する。まず、本実施の形態１にかかる合成映像生成システムは、合成映像の元となる挿入対象映像を生成するにあたって、使用する映像素材である背景映像・コンテンツ映像について都度作成するのではなく、あらかじめデータベースに記憶したものの中から適宜選択する扱いとしたことにより、迅速かつ簡易に挿入対象映像を生成することが可能である。また、本実施の形態１にかかる合成映像生成システムは、データベース中に記憶した映像素材についてあらかじめ設定した使用条件に関する情報である使用条件情報を記憶しておく構成を採用したことにより、映像素材が使用される合成映像の具体的な使用態様・合成映像中における映像素材の具体的な使用態様に関する問題の有無を、合成映像の生成前に、簡易かつ迅速に判定することが可能であるという利点を有する。さらに、本実施の形態１にかかる合成映像生成システムは、映像素材に関する使用態様情報及び使用条件情報を対応する分散型台帳に記憶する構成を有する。かかる構成を有することにより、使用態様情報・使用条件情報の双方について、第三者による改ざんのおそれがない正確かつ真正な情報を使用できるという利点を有する。

【0052】

（実施の形態２）
次に、実施の形態２にかかる合成映像生成システムについて説明する。実施の形態２において、実施の形態１と同一名称かつ同一符号を付した構成要素に関しては、特に言及しない限り、実施の形態１における構成要素と同一の機能を発揮するものとする。

【0053】

図２は、実施の形態２にかかる合成映像生成システムの構成について示す模式図である。図２に示すとおり、本実施の形態２にかかる合成映像生成システムは、使用態様情報生成部２２によって生成された背景映像に関する使用態様情報の内容に基づき、当該使用態様を許容する使用条件が設定された１以上の背景映像の候補を抽出する映像候補抽出部３１と、映像候補抽出部３１によって抽出された背景映像の候補の中から実際に使用する背景映像を決定する映像決定部３２と、使用態様情報生成部２７によって生成されたコンテンツ映像に関する使用態様情報の内容に基づき、当該使用態様を許容する使用条件が設定された１以上のコンテンツ映像の候補を抽出する映像候補抽出部３３と、
映像候補抽出部３３によって抽出されたコンテンツ映像の候補の中から実際に使用するコンテンツ映像を決定する映像決定部３４とを新たに備える。

【0054】

映像候補抽出部３１（特許請求の範囲における第１の映像候補抽出手段に相当）は、合成映像生成の際における背景映像の使用態様情報の内容に基づき、合成映像生成に使用する背景映像の候補を抽出するためのものである。具体的には、映像候補抽出部３１は、提示された使用態様情報にて示される使用態様に基づく使用を許容する使用条件が設定された１以上の背景映像を抽出する機能を有する。映像候補抽出部３１は、背景映像データベース１に記憶された背景映像のそれぞれ対応する分散型台帳にアクセスし、分散型台帳中に記憶された使用条件情報の内容を確認することによって、使用態様情報生成部２２によって新たに生成された使用態様情報に示される使用態様を許容する使用条件が設定された背景映像を抽出する機能を有する。

【0055】

映像決定部３２（特許請求の範囲における第１の映像決定手段に相当）は、映像候補抽出部３１によって抽出された１以上の背景映像の候補の中から、実際に合成映像に使用する背景映像として使用するものを決定するためのものである。具体的には、映像決定部３２は、映像候補抽出部３１によって抽出された１以上の候補に対し、合成映像生成を指示した者、合成映像を保有する予定の者、使用する予定の者等の嗜好傾向、他の構成要素、たとえばアバターやコンテンツ映像との関係性（たとえば形状、色調における共通性等）に基づき所定のアルゴリズムに従って決定することとしてもよいし、候補となる背景映像を視覚的に表示して合成映像生成を指示した者に選択させる構成としてもよい。

【0056】

映像候補抽出部３３は、（特許請求の範囲における第２の映像候補抽出手段に相当）は、合成映像生成の際におけるコンテンツ映像の使用態様情報の内容に基づき、合成映像生成に使用するコンテンツ映像の候補を抽出するためのものである。具体的には、映像候補抽出部３３は、提示された使用態様情報にて示される使用態様に基づく使用を許容する使用条件が設定された１以上のコンテンツ映像を抽出する機能を有する。映像候補抽出部３１は、コンテンツ映像データベース２に記憶されたコンテンツ映像のそれぞれ対応する分散型台帳にアクセスし、分散型台帳中に記憶された使用条件情報の内容を確認することによって、使用態様情報生成部２７によって新たに生成された使用態様情報に示される使用態様を許容する使用条件が設定されたコンテンツ映像を抽出する機能を有する。

【0057】

映像決定部３４（特許請求の範囲における第２の映像決定手段に相当）は、映像候補抽出部３３によって抽出された１以上のコンテンツ映像の候補の中から、実際に合成映像に使用するコンテンツ映像として使用するものを決定するためのものである。具体的には、映像決定部３４は、映像候補抽出部３３によって抽出された１以上の候補に対し、合成映像生成を指示した者、合成映像を保有する予定の者、使用する予定の者等の嗜好傾向、他の構成要素、たとえばアバターや背景映像、他のコンテンツ映像との関係性（たとえば形状、色調における共通性等）に基づき所定のアルゴリズムに従って決定することとしてもよいし、候補となるコンテンツ映像を視覚的に表示して合成映像生成を指示した者に選択させる構成としてもよい。

【0058】

次に、本実施の形態２にかかる合成映像生成システムの利点について説明する。本実施の形態２にかかる合成映像生成システムは、実施の形態１で示した利点に加え、合成映像の元となる挿入対象映像を生成する際に、映像素材である背景映像・コンテンツ映像について具体的な使用候補が設定されていない場合でも、背景映像・コンテンツ映像の使用態様情報に基づき、当該使用態様情報にて示される使用態様を許容する映像候補を自動的に取得することで、映像素材の内容を一から考える必要がなく、使用する映像素材の選択肢を容易に取得できるという利点を有する。また、本実施の形態２では映像候補抽出部が使用態様を許容する使用条件が設定された映像素材を映像候補として抽出する機能を有することから、デザイン策定後に使用条件の問題で映像素材の選択をやり直すといった問題が生ずることなく、簡易かつ迅速に挿入対象映像を生成できるという利点を有する。なお、映像候補抽出部３１、３３が、合成映像生成に使用する際における具体的な使用態様を満たす使用条件の設定された映像素材を抽出するのではなく、当該使用態様にて過去に使用された事実がある映像素材（背景映像・コンテンツ映像）を抽出することとしてもよい。この場合は、過去の使用例を参照しつつ新たな合成映像の具体的構成を検討できる等の利点が新たに生ずる。

【産業上の利用可能性】

【0059】

本発明は、１以上の映像素材によって構成される挿入対象映像に対し、人物映像に基づき生成されたアバターを挿入して合成映像を生成する技術として利用可能である。

【符号の説明】

【0060】

１ 背景映像データベース
２ コンテンツ映像データベース
３ 人物映像入力部
４、３５ 背景映像選択部
５、３６ コンテンツ映像選択部
６ コンテンツ映像加工部
７ 挿入対象映像生成部
８ アバター生成部
９ アバター挿入部
１０ 合成映像出力部
１１ 背景トークン生成部
１２ コンテンツトークン生成部
１３ アバタートークン生成部
１４ 映像トークン生成部
１５ 背景トランザクション生成部
１６ コンテンツトランザクション生成部
１７ アバタートランザクション生成部
１８ 映像トランザクション生成部
１９ 電子署名生成部
２０ 出力部
２１、２６ 映像特定部
２２、２７ 使用態様情報生成部
２３、２８ 使用条件情報取得部
２４、２９ 使用可否判定部
２５、３０ 映像抽出部
３１、３３ 映像候補抽出部
３２、３４ 映像決定部

【要約】

【課題】背景映像として使用される映像素材である背景映像を記憶する背景映像データベース１と、同じく映像素材として使用されるコンテンツ映像を記憶するコンテンツ映像データベース２と、人物映像を入力する人物映像入力部３と、背景映像データベース１に記憶された映像のうち合成映像の生成に使用する背景映像を選択するための背景映像選択部４と、コンテンツ映像データベース２に記憶された映像のうち合成映像の生成に使用するコンテンツ映像を選択するためのコンテンツ映像選択部５と、背景映像及びコンテンツ映像からなる挿入対象映像を生成する挿入対象映像生成部７と、人物映像に基づき当該人物に関するアバターを生成するアバター生成部８と、生成したアバターを挿入対象映像中に挿入して合成映像を生成するアバター挿入部９と、合成映像を出力する合成映像出力部１０とを備える。
【選択図】図１

【図1】

【図2】