特開 2022-14819 合成映像生成システム、合成映像生成方法及びコンピュータープログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022014819

(43)【公開日】2022-01-20

(54)【発明の名称】合成映像生成システム、合成映像生成方法及びコンピュータープログラム

(51)【国際特許分類】

   H04N 21/266 20110101AFI20220113BHJP

   H04N 21/258 20110101ALI20220113BHJP

   H04N 5/272 20060101ALI20220113BHJP

【ＦＩ】

H04N21/266

H04N21/258

H04N5/272

【審査請求】有

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2020117381

(22)【出願日】2020-07-07

(71)【出願人】

【識別番号】399035766

【氏名又は名称】エヌ・ティ・ティ・コミュニケーションズ株式会社

(71)【出願人】

【識別番号】504126835

【氏名又は名称】エヌ・ティ・ティ レゾナント株式会社

(74)【代理人】

【識別番号】110001634

【氏名又は名称】特許業務法人 志賀国際特許事務所

(72)【発明者】

【氏名】岩田 裕平

(72)【発明者】

【氏名】増田 知彰

(72)【発明者】

【氏名】原 佑輔

【テーマコード（参考）】

5C023

5C164

【Ｆターム（参考）】

5C023AA16

5C023BA11

5C023CA01

5C023CA05

5C164MC04S

5C164SA25S

5C164SB01P

5C164SC11P

5C164YA11

(57)【要約】

【課題】イベントにおいてユーザーにより高い満足感を提供すること。
【解決手段】ユーザーによって予め設定された仮想的な存在である仮想存在の外観に関する情報に基づいて、視聴の対象となるイベントの会場の映像に対し、前記仮想存在の画像である仮想画像を前記仮想存在が参加する位置に応じて合成することによって合成映像を生成する映像合成部、を備える合成映像生成システムである。
【選択図】図１

【特許請求の範囲】

【請求項1】

ユーザーによって予め設定された仮想的な存在である仮想存在の外観に関する情報に基づいて、視聴の対象となるイベントの会場の映像に対し、前記仮想存在の画像である仮想画像を前記仮想存在が配置される位置に応じて合成することによって合成映像を生成する映像合成部、
を備える合成映像生成システム。

【請求項2】

前記仮想画像を、仮想存在の外観に関する情報に基づいて生成する仮想画像生成部をさらに備える、請求項１に記載の合成映像生成システム。

【請求項3】

前記仮想画像生成部は、前記ユーザーによって入力された行動情報に基づいて、前記行動情報に応じた仮想画像を生成する、請求項２に記載の合成映像生成システム。

【請求項4】

ユーザーによって予め設定された仮想的な存在である仮想存在の外観に関する情報に基づいて、視聴の対象となるイベントの会場の映像に対し、前記仮想存在の画像である仮想画像を生成するステップと、
前記仮想存在が参加する位置に応じて前記仮想画像を合成することによって合成映像を生成するステップと、
を有する合成映像生成方法。

【請求項5】

請求項１から３のいずれか一項に記載の合成映像生成システムとしてコンピュータを機能させるためのコンピュータープログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、イベントの映像生成の技術に関する。

【背景技術】

【0002】

従来から、スポーツや音楽などのイベントをファンが楽しむための手段として、現地で参加する手段とネットワークを介して映像を視聴する手段とがあった。ネットワークを介して映像を視聴する手段を用いた場合、ファンにとっては移動に要する時間や費用を省くことができる。それにもかかわらず、一定数のファンは現地で参加する手段を選択している。スポーツのファンが現地で観戦したり、音楽のファンが音楽ライブに現地で参加したりする目的の一つに、一体感や参加感の享受がある。ファンは、このような一体感や参加感を享受できることで、より高い満足度を得ることができた。そこで、このようなファンに対しより高い満足度を得て貰うために、様々な技術が提案されている。例えば、特許文献１には、イベント会場にて観客の要求に応じた情報を提供することができる技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００３－０８７７６０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、病気等によって現地参加ができなかったり、政治的理由や衛生的理由によって無観客開催となることで参加できなかったりする場合がある。このような場合、ファンにとっては一体感や参加感を十分に享受することが難しい。そのため、イベントに関するファンの満足度が低下してしまうおそれがあった。

【0005】

また、無観客開催となった場合、興行を行うスポーツリーグや音楽レーベル等の主催者は、チケット収入を得ることができず、場合によっては放映権のみの収入となってしまうおそれがある。すなわち、無観客開催となった場合には、チケット収入分の収益が純減となるおそれがある。そのような収益の純減をカバーするために、従来から投げ銭や募金といった手段が取られてきた。しかしながら、ファンはチケットに対して「一体感や参加感」を求めているため、チケット収入と比較すると僅かな収益しか上げられないという問題があった。

【0006】

上記事情に鑑み、本発明は、イベントにおいてユーザーにより高い満足感を提供することが可能となる技術の提供を目的としている。

【課題を解決するための手段】

【0007】

本発明の一態様は、ユーザーによって予め設定された仮想的な存在である仮想存在の外観に関する情報に基づいて、視聴の対象となるイベントの会場の映像に対し、前記仮想存在の画像である仮想画像を前記仮想存在が配置される位置に応じて合成することによって合成映像を生成する映像合成部、を備える合成映像生成システムである。

【0008】

本発明の一態様は、上記の合成映像生成システムであって、前記仮想画像を、仮想存在の外観に関する情報に基づいて生成する仮想画像生成部をさらに備える。

【0009】

本発明の一態様は、上記の合成映像生成システムであって、前記仮想画像生成部は、前記ユーザーによって入力された行動情報に基づいて、前記行動情報に応じた仮想画像を生成する。

【0010】

本発明の一態様は、ユーザーによって予め設定された仮想的な存在である仮想存在の外観に関する情報に基づいて、視聴の対象となるイベントの会場の映像に対し、前記仮想存在の画像である仮想画像を生成するステップと、前記仮想存在が配置される位置に応じて前記仮想画像を合成することによって合成映像を生成するステップと、を有する合成映像生成方法である。

【0011】

本発明の一態様は、上記の合成映像生成システムとしてコンピューターを機能させるためのコンピュータープログラムである。

【発明の効果】

【0012】

本発明により、イベントにおいてユーザーにより高い満足感を提供することが可能となる。

【図面の簡単な説明】

【0013】

【図1】本発明の映像提供システム１のシステム構成を示す概略ブロック図である。

【図2】ユーザー端末１０の機能構成の具体例を示す概略ブロック図である。

【図3】設定サーバー４０の機能構成の具体例を示す概略ブロック図である。

【図4】映像合成装置５０の機能構成の具体例を示す概略ブロック図である。

【図5】座席情報記憶部５２が記憶する情報の具体例を示す図である。

【図6】購入者情報記憶部５３が記憶する情報の具体例を示す図である。

【図7】仮想画像の具体例を示す図である。

【図8】合成対象映像の具体例を示す図である。

【図9】画像合成位置の具体例の詳細を示す図である。

【図10】合成映像の具体例を示す図である。

【発明を実施するための形態】

【0014】

以下、本発明の具体的な構成例について、図面を参照しながら説明する。
図１は、本発明の映像提供システム１のシステム構成を示す概略ブロック図である。映像提供システム１は、ユーザー端末１０、視聴端末２０、撮像装置３０、設定サーバー４０、映像合成装置５０及び映像配信装置６０を備える。各装置は、ネットワーク７０を介してデータ通信することが可能である。ただし、セキュリティ等の制約により、一部の装置間でデータ通信ができないように構成されてもよい。ネットワーク７０は、無線通信を用いたネットワークであってもよいし、有線通信を用いたネットワークであってもよい。ネットワーク７０は、複数のネットワークが組み合わされて構成されてもよい。ネットワーク７０は、例えばインターネットを用いて構成されてもよい。

【0015】

映像提供システム１が備える各装置の概略について説明する。ユーザー端末１０は、イベントへの仮想参加を行うユーザーによって操作される情報処理装置である。仮想参加とは、ユーザーによって設定された仮想的な存在（以下「仮想存在」という。）を、イベント会場に仮想的に配置することである。仮想存在には、仮想的な生体（アバター：仮想参加者）や、仮想的な物体（仮想物体）などがある。仮想参加を行うことによって、ユーザーによって配置された仮想存在（アバターや仮想物体）がイベント会場の映像に合成されて配信される。仮想参加者には、例えば人の形をした仮想的な生物や、動物や昆虫などの形をした仮想的な生物や、現実には存在しえない仮想的な生物などが用いられてもよい。仮想物体には、旗や横断幕などの物体が用いられてもよい。ユーザー端末１０は、例えばパーソナルコンピュータ、スマートフォン、タブレット端末、ゲーム機器等の情報機器を用いて構成される。ユーザーは、ユーザー端末１０を操作することによって仮想存在の設定や仮想参加の設定を行う。ユーザーは、ユーザー端末１０を操作することによって、アバターの行動や仮想物体の操作に関する指示を入力することができる。ユーザー端末１０に入力されたこれらの情報（以下「行動情報」という。）は、ユーザー端末１０から映像合成装置５０に送信される。

【0016】

視聴端末２０は、イベント会場の映像を視聴する際に使用される端末装置である。イベントの視聴は、映像及び音声によって行われてもよいし、映像のみで行われてもよいし、音声のみ、のように種々の態様で行われてもよい。視聴端末２０は、例えばテレビ受像器、パーソナルコンピュータ、スマートフォン、タブレット端末、ゲーム機器等の情報機器を用いて構成される。視聴端末２０は、ディスプレイ装置やプロジェクターのような映像出力装置にセットトップボックスを接続することによって構成されてもよい。

【0017】

撮像装置３０は、ユーザーが視聴する対象となるイベントを撮像するカメラ及びマイクである。撮像装置３０として、スマートフォンやタブレット装置等の情報処理装置が用いられてもよい。イベントは、例えばスポーツの試合、囲碁や将棋の試合、コンピューターゲームの試合、音楽やダンスのライブ、マジックやサーカス等のショー、歌舞伎や能等の芸能を含む。イベントは、ユーザーが現地で参加や観戦することができる種別のものであることが好ましい。撮像装置３０は、必ずしも１台である必要は無い。図１では、複数台の撮像装置３０が配置されている。複数台の撮像装置３０が用いられる場合には、例えばイベント会場の全体が複数台の撮像装置３０の撮像範囲でカバーされるように各撮像装置３０が配置されることが望ましい。撮像装置３０は、撮像によって生成される動画像データを、ネットワーク７０を介して他の装置に送信する。撮像装置３０は、例えば動画像データを、映像合成装置５０に送信する。なお、撮像装置３０は、設定サーバー４０、映像合成装置５０及び映像配信装置６０等の装置とは異なる主体によって運営される装置であってもよい。

【0018】

設定サーバー４０は、撮像装置３０によって撮像されるイベントに関する運用者又はその運用者から委託された者等によって運用される情報処理装置である。設定サーバー４０は、例えばサーバー装置等の情報処理装置を用いて構成される。設定サーバー４０は、イベントに対してユーザーが仮想参加するために必要となる設定を行う。設定サーバー４０は、例えば仮想参加するための権利（仮想チケット）をユーザーに対して有償で提供（販売）してもよいし、無償で提供してもよい。設定サーバー４０は、例えば仮想参加で使用されるアバターや仮想物体に関する設定を行っても良い。設定サーバー４０は、仮想参加におけるオプションをユーザーに対して有償又は無償で提供してもよい。オプションの具体例として、会場で仮想的に振る旗や、会場で仮想的に音を出すための道具（メガホン、ラッパ、太鼓など）や、ユニフォームやＴシャツ等の仮想的な衣類や、フェイスペイント等の装飾のための道具や、うちわやペンライトや紙吹雪や花火等の仮想的な道具がある。仮想物体もオプションとして提供されてもよい。すなわち、会場に配置されるような大きな旗や横断幕がオプションとして提供されてもよい。この場合、ユーザーはオプションとして旗や横断幕などの仮想物体を購入し、さらにこれらの仮想物体を会場に配置させることによって、仮想物体を用いた仮想参加を行うことができる。オプションには、複数のユーザーによって共同で購入されるものがあってもよい。設定サーバー４０によってユーザーに有償で提供が行われる事によって得られた収益の一部又は全部は、イベントの主催者に付与されてもよい。以下、仮想参加の際にアバターが用いられる場合の構成及び動作を具体例として説明する。

【0019】

映像合成装置５０は、撮像装置３０によって得られた映像に対し、設定サーバー４０によって設定された仮想参加に関する情報や行動情報に基づいてアバターの映像や音声を合成することによって合成映像を生成する。映像合成装置５０は、例えばサーバー装置等の情報処理装置を用いて構成される。

【0020】

映像配信装置６０は、映像合成装置５０によって生成された合成映像を配信する。映像配信装置６０は、例えばネットワーク７０を介して複数の視聴端末２０に対して合成映像のデータを配信してもよい。

【0021】

図２は、ユーザー端末１０の機能構成の具体例を示す概略ブロック図である。ユーザー端末１０の詳細について説明する。ユーザー端末１０は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備える。ユーザー端末１０は、所定のプログラムを実行することによって、入力部１１、出力部１２、通信部１３、ユーザー情報記憶部１４及び制御部１５を備える装置として機能する。なお、ユーザー端末１０の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。ユーザー端末１０によって実行されるプログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ、半導体記憶装置（例えばＳＳＤ：Solid State Drive）等の可搬媒体、コンピュータシステムに内蔵されるハードディスクや半導体記憶装置等の記憶装置である。ユーザー端末１０によって実行されるプログラムは、電気通信回線を介して送信されてもよい。

【0022】

入力部１１は、キーボード、ポインティングデバイス（マウス、タブレット等）、ボタン、タッチパネル、カメラ等の既存の入力装置を用いて構成される。入力部１１は、ユーザーの指示をユーザー端末１０に入力する際にユーザーによって操作される。入力部１１は、入力装置をユーザー端末１０に接続するためのインタフェースであっても良い。この場合、入力部１１は、入力装置においてユーザーの入力に応じ生成された入力信号をユーザー端末１０に入力する。入力部１１は、マイクを用いて構成されてもよい。この場合、入力部１１はユーザーが発した発話の音声を音声信号として取得する。入力部１１がカメラを用いて構成された場合、ユーザーの表情やジェスチャー等の映像を入力してもよい。この場合、入力された映像は、制御部１５によって所定の形式のデータ（例えば文字列や、ユーザーの動きを示す数値やベクトルなど）に変換されて用いられてもよい。

【0023】

出力部１２は、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等の画像表示装置である。出力部１２は、例えば設定サーバー４０から提供されるテキストデータや静止画像データや動画像データを表示する。出力部１２は、画像表示装置をユーザー端末１０に接続するためのインタフェースであっても良い。この場合、出力部１２は、テキストデータや画像データを表示するための映像信号を生成し、自身に接続されている画像表示装置に映像信号を出力する。出力部１２は、スピーカーとして構成されてもよい。この場合、出力部１２は、テキストデータを表す音声信号を生成して出力する。

【0024】

通信部１３は、ネットワークインタフェースを用いて構成される。通信部１３は、ネットワーク７０を介して他の装置とデータ通信する。

【0025】

ユーザー情報記憶部１４は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。ユーザー情報記憶部１４は、ユーザー端末１０のユーザーに関する情報（以下「ユーザー識別情報」という。）を記憶する。ユーザー識別情報は、例えばユーザーに予め付与されている情報であってもよいし、ユーザーの氏名やニックネームであってもよい。ユーザー識別情報には、ユーザーが操作する対象となっているユーザー端末１０に関する情報が用いられてもよい。例えば、ユーザー端末１０のＭＡＣアドレスやユーザー端末１０の識別情報がユーザー識別情報として用いられてもよい。

【0026】

制御部１５は、ユーザー端末１０に設けられる各機能部を制御する。制御部１５は、例えばユーザーが入力部１１を操作することによって指示を入力した場合、入力された指示に応じて動作する。制御部１５は、例えばユーザーが入力部１１を操作することによってユーザーの行動情報を入力した場合、入力された行動情報を映像合成装置５０に送信する。

【0027】

行動情報は、どのような形で取得されてもよい。例えば、出力部１２の画面に表示されている複数の種別の行動を示すボタンがユーザーによって操作されることに応じて、その操作された回数や種別を示す情報として行動情報が生成されてもよい。行動の種別としては、例えば、両手を挙げる行動、立ち上がる行動、踊る行動、飛び跳ねる行動、所定のフォーメーションに従った行動などがあってもよい。所定のフォーメーションに従った行動には、複数のフォーメーションが予め準備されてもよい。行動情報は、ユーザーが発した音声を示す情報であってもよい。この場合、行動情報はユーザー端末１０に接続されたマイクを介して取得されても良い。行動情報は、ユーザー自身の体の動きを示す情報であってもよい。この場合、行動情報はユーザー端末１０に接続されたカメラや加速度センサー等の装置を介して取得されても良い。行動情報には、ユーザーによって行動情報が入力されたタイミングを示す情報（例えばイベントの開始からの経過時間を示す情報や、日時を示す情報など）が含まれてもよい。

【0028】

図３は、設定サーバー４０の機能構成の具体例を示す概略ブロック図である。設定サーバー４０の詳細について説明する。設定サーバー４０は、バスで接続されたＣＰＵやメモリや補助記憶装置などを備える。設定サーバー４０は、所定のプログラムを実行することによって、通信部４１、ユーザー情報記憶部４２、イベント情報記憶部４３、設定履歴情報記憶部４４及び制御部４５を備える装置として機能する。なお、設定サーバー４０の各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されてもよい。設定サーバー４０によって実行されるプログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ、半導体記憶装置（例えばＳＳＤ）等の可搬媒体、コンピュータシステムに内蔵されるハードディスクや半導体記憶装置等の記憶装置である。設定サーバー４０によって実行されるプログラムは、電気通信回線を介して送信されてもよい。

【0029】

通信部４１は、ネットワークインタフェースを用いて構成される。通信部４１は、ネットワーク７０を介して他の装置とデータ通信する。

【0030】

ユーザー情報記憶部４２は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。ユーザー情報記憶部４２は、アバターを有しているユーザーに関する情報（以下「ユーザー情報」という。）を記憶する。ユーザー情報は、例えばユーザー識別情報、ユーザーの氏名、ユーザーの住所、ユーザーの属性情報（性別、年齢など）を含む。ユーザー情報は、ユーザーが支払を行う際に使用する支払手段に関する情報（例えばクレジットカードの情報）をさらに含んでもよい。ユーザー情報記憶部４２は、ユーザーによって登録されているアバターに関する情報をさらに記憶してもよい。例えば、アバターに関する情報は、アバターの顔画像の候補として登録されている画像（静止画像又は動画像）の情報や、アバターの顔の特徴（髪の色、髪型、目の形、瞳の色、肌の色、輪郭、鼻の形、口の形など）を示す情報や、アバターの外観的特徴（身長、体格）を示す情報や、購入されたアイテムの情報（服、装飾品など）であってもよい。また、ユーザー情報記憶部４２は、現在表示対象として登録されているアバターの設定内容を示す情報（以下「アバター設定情報」という。）を記憶してもよい。アバター設定情報は、複数の候補を有する設定に関しては、いずれか一つが選択されている状態の情報である。そのため、アバター設定情報に基づいて、アバターの合成用の画像を生成することができる。ユーザーは、自身が登録している様々な候補の中からアバター設定情報として登録する情報を選択することで、自身のアバターの外観などを任意に変更することができる。

【0031】

イベント情報記憶部４３は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。イベント情報記憶部４３は、ユーザーが仮想参加することが可能なイベントに関する情報（以下「イベント情報」という。）を記憶する。イベント情報は、例えばイベントの開催日時、イベントの仮想参加可能な枠に関する情報、イベントの内容に関する情報を含んでもよい。イベントの仮想参加可能な枠に関する情報は、例えばイベントの会場に設置されている座席の種別、座席の位置を示す情報、座席の値段、座席が既にユーザーに提供されているか否か（例えば予約済みか否か）等の情報を含んでもよい。

【0032】

設定履歴情報記憶部４４は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。設定履歴情報記憶部４４は、ユーザーがユーザー端末１０を操作することによって行った仮想参加又はアバターに関する設定の履歴を記憶する。例えば、設定履歴情報記憶部４４は、ユーザーが仮想参加したイベントに関する情報や、ユーザーが取得したオプションに関する情報や、ユーザーが行ったアバターの設定に関する情報を記憶してもよい。

【0033】

制御部４５は、ＣＰＵ等のプロセッサがプログラムを実行することによって設定制御部４５１として機能する。設定制御部４５１は、ユーザー端末１０と通信することによって、仮想参加に関する設定やアバターに関する設定を行う。例えば、ユーザー端末１０からイベントの仮想チケットの購入の要求を受信した場合、設定制御部４５１は、イベント情報記憶部４３に記憶されている情報に基づいて、ユーザー端末１０に対しイベントの候補を示す情報を送信する。イベントの候補を示す情報には、イベントの内容、イベントの会場、イベントの開催日時を示す情報が含まれてもよい。ユーザー端末１０からイベントの選択を示す情報を受信すると、設定制御部４５１は、そのイベントにおいて提供可能な座席を示す情報をユーザー端末１０に送信する。このとき、設定制御部４５１は、例えば各座席の位置を示す情報と、各座席の値段を示す情報とを対応付けて送信しても良い。ユーザー端末１０から、座席を指定する情報及びユーザー識別情報と供に購入することを示す情報が送信されると、設定制御部４５１は、このユーザー識別情報が示すユーザーに対して指定された座席の仮想チケットを販売する。設定制御部４５１は、仮想チケットが販売されると、販売されたイベント、会場、仮想チケット、ユーザーそれぞれを示す情報を対応付けて映像合成装置５０に出力する。なお、出力のタイミングは、仮想チケットの販売直後であってもよいし、イベントが開始される前の所定のタイミングであってもよい。

【0034】

設定制御部４５１は、ユーザー端末１０からアバターに関する設定の変更要求を受信した場合、変更要求に応じてアバターの設定に関する情報を変更する。例えば、設定制御部４５１は、アバターの顔として設定されている画像の変更要求を受信した場合、それまで登録されていた画像を、新たに受信された画像に置き換える。このような画像は、例えばユーザー端末１０によって撮影された画像（例えばユーザー本人の顔画像）であってもよい。

【0035】

例えば、ユーザー端末１０からアバターの服の購入の要求を受信した場合、設定制御部４５１は、イベント情報記憶部４３に記憶されている情報に基づいて、ユーザー端末１０に対し服の候補を示す情報を送信する。服の候補を示す情報には、服の画像、服の特徴の説明文、服の値段等の情報が含まれてもよい。ユーザー端末１０から服の選択を示す情報を受信すると、設定制御部４５１は、服を指定する情報及びユーザー識別情報と供に購入することを示す情報が送信されると、このユーザー識別情報が示すユーザーに対して指定された服を販売する。設定制御部４５１は、服が販売されると、販売された服を、購入者であるユーザーのアバターが着用可能な服の候補としてユーザー情報記憶部４２に登録する。

【0036】

図４は、映像合成装置５０の機能構成の具体例を示す概略ブロック図である。映像合成装置５０の詳細について説明する。映像合成装置５０は、バスで接続されたＣＰＵやメモリや補助記憶装置などを備える。映像合成装置５０は、所定のプログラムを実行することによって、通信部５１、座席情報記憶部５２、購入者情報記憶部５３及び制御部５４を備える装置として機能する。なお、映像合成装置５０の各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されてもよい。設定サーバー４０によって実行されるプログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ、半導体記憶装置（例えばＳＳＤ）等の可搬媒体、コンピュータシステムに内蔵されるハードディスクや半導体記憶装置等の記憶装置である。映像合成装置５０によって実行されるプログラムは、電気通信回線を介して送信されてもよい。

【0037】

通信部５１は、ネットワークインタフェースを用いて構成される。通信部５１は、ネットワーク７０を介して他の装置とデータ通信する。

【0038】

座席情報記憶部５２は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。図５は、座席情報記憶部５２が記憶する情報の具体例を示す図である。座席情報記憶部５２は、映像合成の対象となる会場における座席の情報を記憶する。座席情報記憶部５２は、例えば会場に設置された各座席を一意に示す識別情報（以下「座席識別情報」という。）と、各座席の物理的な位置（座標など）を示す情報（以下「物理的位置情報」という。）と、を対応付けて記憶する。物理的位置情報は、例えば会場内のある点を原点とした座標軸における座標で表されてもよいし、緯度、経度及び高さで表されてもよいし、他の値を用いて表されてもよい。

【0039】

購入者情報記憶部５３は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。図６は、購入者情報記憶部５３が記憶する情報の具体例を示す図である。購入者情報記憶部５３は、映像合成の対象となる会場における座席を購入したユーザーに関する情報を記憶する。購入者情報記憶部５３は、例えば購入された座席を示す座席識別情報と、その座席を購入したユーザーのユーザー識別情報と、そのユーザーのアバターの設定内容を示す情報（アバター設定情報）と、そのユーザーによって設定されたオプションを示す情報（オプション情報）と、を対応付けて記憶する。

【0040】

制御部５４は、ＣＰＵ等のプロセッサがプログラムを実行することによって仮想画像生成部５４１、映像合成部５４２及び映像出力部５４３として機能する。

【0041】

仮想画像生成部５４１は、購入者情報記憶部５３に登録されているアバター設定情報に基づいて、仮想画像を生成する。仮想画像とは、イベント会場の映像（以下「合成対象映像」という。）に対して合成される映像である。仮想画像には、アバターの映像や、ユーザーによって取得されたオプションに関する映像が含まれる。

【0042】

例えば、仮想画像生成部５４１は、アバター設定情報に基づいて、各アバターの映像を生成する。図７は、仮想画像の具体例を示す図である。図７に示される仮想画像は、アバターの正面を示す画像である。例えば、顔の部分はユーザーによって予め指定された画像（ユーザーの顔写真の画像）であり、首から下の体の部分はユーザーによって予め指定された体格でユーザーが取得したユニフォーム（服）の画像が合成されることで仮想画像が生成されてもよい。

【0043】

アバターに関する仮想画像は、必ずしも正面の画像である必要は無い。例えば、合成対象映像におけるカメラパラメーターと座席の物理的位置とアバターの三次元モデルとに基づいて、そのカメラの位置から見えるようなアバターの姿が仮想画像として生成されてもよい。このような仮想画像は、例えばアバターの三次元モデルに対しカメラの視点位置から三次元レンダリングを行うことで生成されてもよいし、予め用意されている二次元画像に対してアフィン変換等の画像処理を行うことによって生成されてもよい。また、仮想画像として、他のコンテンツであるゲームやＳＮＳ（Social Networking Service）において作成されたキャラクターの三次元モデルに基づいた画像（二次元画像又は三次元画像）が用いられてもよい。

【0044】

アバターに関する仮想画像は、ユーザー端末１０に入力された行動情報に応じて変形されてもよい。例えば、行動情報に応じた行動をとっているように見える仮想画像が生成されてもよい。また、所定の条件を満たした場合にのみ有効化される行動情報については、仮想画像生成部５４１は、各行動情報について所定の条件が満たされたか否か判定し、条件が満たされた行動情報についてのみ各アバターの仮想画像に反映させてもよい。

【0045】

例えば、所定数（例えば１００名）以上のユーザーによって入力された場合にのみ有効化される特定のフォーメーションの行動情報が設けられてもよい。このような行動情報は、有効化された場合に、その行動情報が入力されていないアバターも含めて所定の領域（例えばゴール裏の所定の領域）に位置する全てのアバターに対して行動情報が反映されてもよい。

【0046】

映像合成部５４２は、合成対象映像に対して、仮想画像生成部５４１によって生成された仮想画像を合成することで合成映像を生成する。以下、映像合成部５４２の処理の具体例について、図８～図１０を用いて説明する。

【0047】

図８は、合成対象映像の具体例を示す図である。図８において、合成対象映像はサッカー競技場の一部を撮影した映像である。合成対象映像には観客席が映り込んでいる。サッカー競技場の映像においては、観客席が仮想画像の合成位置となる。映像合成部５４２は、合成対象映像のカメラパラメーターや座席情報等に基づいて、合成対象映像に映り込んでいる座席を判定する。映像合成部５４２は、合成対象映像に映り込んでいる各座席について、購入者情報記憶部５３の情報を参照することによって、アバターを合成する対象となる座席を判定する。アバターを合成する対象となる座席とは、例えば仮想チケットが購入されている座席である。

【0048】

図８において、イメージ座標（Ｉｘ１，ｉｙ１）で示される位置は、アバターを合成する対象となる座席における画像合成位置を示す。画像合成位置は、カメラパラメーター（カメラの傾きやズーム等を示す値）によって大きさや傾きが変化する。図９は、画像合成位置の具体例の詳細を示す図である。映像合成部５４２は、例えば仮想画像が四角形である場合には、仮想画像が合成される位置として四角形の四つの角のイメージ座標を算出してもよい。

【0049】

図１０は、合成映像の具体例を示す図である。映像合成部５４２は、画像合成位置に対し、その座席のアバターの仮想画像を合成する。このような合成処理によって、合成映像が生成される。映像合成部５４２は、合成対象映像におけるアバターを合成する対象となる座席全てにおいてこのような処理を行う。

【0050】

映像合成部５４２が合成する仮想画像は、アバターの画像だけではない。例えば、オプションとして取得された旗、紙吹雪、花火等の仮想的な道具の仮想画像が合成されてもよい。この場合、仮想画像の合成位置は必ずしも座席の位置とは限らない。例えば、会場の上空であってもよいし、座席及び試合会場（フィールド）を含む領域であってもよい。

【0051】

映像合成部５４２は、各アバターのユーザーから入力された音声を合成対象映像の音声に重ね合わせることによって音声を合成してもよい。この場合、各音声について、所定のフィルタや振幅の加工が行われても良い。映像合成部５４２は、行動情報が合唱やかけ声や拍手（手拍子）を示す情報である場合、予め登録されている合唱の音声やかけ声の音声や拍手（手拍子）の音声を合成対象映像の音声に重ね合わせることによって音声を合成してもよい。

【0052】

映像出力部５４３は、映像合成部５４２によって生成された合成映像を他の装置に出力する。例えば、映像出力部５４３は、映像配信装置６０に合成映像を出力してもよい。たとえば、映像出力部５４３は、イベントの会場に設けられた表示装置（例えばサッカー場のメインディスプレイ）に合成映像を出力してもよい。

【0053】

このように構成された映像提供システム１によれば、各ユーザーのアバターの姿が合成された合成映像が配信される。ユーザーは、自身が設定したアバターの姿が映り込んでいる映像を見ることができる。そのため、ユーザーは他のユーザーと供にイベント会場を盛り上げている実感をえることができ、従来よりも一体感や参加感を味わうことが可能となる。そのため、イベントにおいてユーザーにより高い満足感を提供することが可能となる。

【0054】

また、ユーザーは行動情報を入力することによって、合成映像中の自身のアバターに動きを与えることができる。そのため、所望の行動をアバターにとらせることによって、あたかも自身がイベント会場に参加しているような実感をより強く得ることができる。

【0055】

また、行動情報の一つとして、所定の条件が満たされた場合にのみ有効化されるものがある。このような行動情報は、ユーザー個人で入力したとしてもアバターの行動として反映されないが、アバターとして参加している複数のユーザーが同じ行動情報を入力するなどの条件が揃うことでアバターがその行動を行った合成映像が配信される。そのため、実際には同じ空間にいるわけではない他のユーザーとの一体感をより強く感じることが可能となる。

【0056】

また、行動情報の一つとして所定の条件が満たされた場合にのみ有効化するものが反映される際に、その行動情報を入力していないユーザーのアバターにも行動情報が反映されてもよい。このように構成されることによって、その行動情報を入力していなかったアバターのみが他のユーザーと異なる行動をとってしまい疎外感を味わってしまう、ということを防止することが可能となり、より強い一体感や参加感を提供することが可能となる。

【0057】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【0058】

例えば、映像提供システム１が備える各装置に実装された各機能は、必ずしも図１～図４に示された装置に実装される必要は無い。例えば、設定サーバー４０が備える構成と、映像合成装置５０が備える構成とは、同一の装置に実装されてもよいし、２台以上の複数の装置に分散して実装されてもよい。また、設定サーバー４０の制御部４５が備える機能と、映像合成装置５０の制御部５４が備える機能とは、同一の制御部に実装されてもよいし、２台以上の複数の装置の機能部に分散して実装されてもよい。

【0059】

映像合成装置５０の仮想画像生成部５４１によって生成された各仮想画像は、プロジェクションマッピングによって会場の所定の領域に映し出されても良い。この場合、例えば複数の仮想画像を席の配置に応じて配置した１枚の大きな画像を生成し、その画像がプロジェクションマッピングによって映し出されても良い。

【0060】

本発明の実施形態は、例えば設定サーバー４０の一部又は全部と映像合成装置５０とを備える合成映像生成システムとして構成されてもよい。

【符号の説明】

【0061】

１…映像提供システム， １０…ユーザー端末， ２０…視聴端末， ３０…撮像装置， ４０…設定サーバー， ５０…映像合成装置， ６０…映像配信装置， １１…入力部， １２…出力部， １３…通信部， １４…ユーザー情報記憶部， １５…制御部， ４１…通信部， ４２…ユーザー情報記憶部， ４３…イベント情報記憶部， ４４…設定履歴情報記憶部， ４５…制御部， ４５１…設定制御部， ５１…通信部， ５２…座席情報記憶部， ５３…購入者情報記憶部， ５４…制御部， ５４１…仮想画像生成部， ５４２…映像合成部， ５４３…映像出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【手続補正書】

【提出日】2021-11-29

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

ユーザーによって予め設定された仮想的な存在である仮想存在の外観に関する情報に基づいて、視聴の対象となるイベントの会場を撮像装置によって撮像することによって得られた合成対象の映像である合成対象映像に対し、前記仮想存在の画像である仮想画像を前記仮想存在が配置される位置に応じて合成することによって合成映像を生成する映像合成部、
を備え、
前記位置は、前記撮像装置によって撮像される前記イベントの会場における実際の席の位置であり、
前記映像合成部は、前記撮像装置によって撮像されている合成対象映像に映り込んでいる前記席を判定し、映り込んでいると判定された席について、前記仮想存在を合成する対象となる席を判定して合成する合成映像生成システム。

【請求項2】

前記仮想画像を、仮想存在の外観に関する情報に基づいて生成する仮想画像生成部をさらに備える、請求項１に記載の合成映像生成システム。

【請求項3】

前記仮想画像生成部は、前記ユーザーによって入力された行動情報に基づいて、前記行動情報に応じた仮想画像を生成する、請求項２に記載の合成映像生成システム。

【請求項4】

コンピュータが、ユーザーによって予め設定された仮想的な存在である仮想存在の外観に関する情報に基づいて、視聴の対象となるイベントの会場を撮像装置によって撮像することによって得られた合成対象の映像である合成対象映像に対し、前記仮想存在の画像である仮想画像を生成する仮想画像生成ステップと、
コンピュータが、前記仮想存在が参加する位置に応じて前記仮想画像を合成することによって合成映像を生成する合成映像生成ステップと、
を有し、
前記位置は、前記撮像装置によって撮像される前記イベントの会場における実際の席の位置であり、
前記合成映像生成ステップにおいて、前記コンピュータは、前記撮像装置によって撮像されている合成対象映像に映り込んでいる前記席を判定し、映り込んでいると判定された席について、前記仮想存在を合成する対象となる席を判定して合成する合成映像生成方法。

【請求項5】

請求項１から３のいずれか一項に記載の合成映像生成システムとしてコンピュータを機能させるためのコンピュータープログラム。