特開 2024-76140 画像配信装置、画像配信方法及び画像再生システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024076140

(43)【公開日】2024-06-05

(54)【発明の名称】画像配信装置、画像配信方法及び画像再生システム

(51)【国際特許分類】

   H04N 21/2668 20110101AFI20240529BHJP

   H04N 21/24 20110101ALI20240529BHJP

   G06T 19/00 20110101ALI20240529BHJP

【ＦＩ】

H04N21/2668

H04N21/24

G06T19/00 300B

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022187550

(22)【出願日】2022-11-24

(71)【出願人】

【識別番号】000002897

【氏名又は名称】大日本印刷株式会社

(74)【代理人】

【識別番号】100086911

【弁理士】

【氏名又は名称】重野 剛

(74)【代理人】

【識別番号】100144967

【弁理士】

【氏名又は名称】重野 隆之

(72)【発明者】

【氏名】北村 千夏

【テーマコード（参考）】

5B050

5C164

【Ｆターム（参考）】

5B050AA08

5B050BA08

5B050BA09

5B050BA11

5B050CA08

5B050EA07

5B050EA09

5B050EA24

5B050FA02

5B050FA05

5C164FA08

5C164GA07

5C164SB41P

5C164SC05P

5C164UD44S

5C164YA30

(57)【要約】

【課題】身近な場所で実際にイベントを体験しているような画像をユーザへ配信する。
【解決手段】画像配信装置は、再生装置３の位置情報を取得する位置取得部１２と、イベント開催地の位置情報及びイベントのバーチャル画像を作成するための映像プログラムを格納する記憶部１０と、前記映像プログラムを用いて、再生装置３の位置から前記イベント開催地の位置を見た状態のバーチャル画像を生成する画像生成部１３と、画像生成部１３により生成された前記バーチャル画像を再生装置３へ配信する配信部１４と、を備える。再生装置３は、イベント開催地の景色にバーチャル画像を重ねて再生する。
【選択図】図１

【特許請求の範囲】

【請求項1】

再生装置の位置情報を取得する位置取得部と、
イベント開催地の位置情報及びイベントのバーチャル画像を作成するための映像プログラムを格納する記憶部と、
前記映像プログラムを用いて、前記再生装置の位置から前記イベント開催地の位置を見た状態のバーチャル画像を生成する画像生成部と、
前記画像生成部により生成された前記バーチャル画像を前記再生装置へ配信する配信部と、
を備える画像配信装置。

【請求項2】

前記イベントは花火大会であり、前記映像プログラムには複数の打ち上げ花火の各々についての、色、形状、大きさ、打ち上げ位置、打ち上がる高さ、及び打ち上げ順が定義されている、請求項１に記載の画像配信装置。

【請求項3】

前記位置取得部は、複数の再生装置の位置情報を取得し、
前記画像生成部は、前記複数の再生装置の各々の位置から前記イベント開催地の位置を見た状態のバーチャル画像を生成し、
前記配信部は、前記複数の再生装置へ、対応するバーチャル画像を配信する、請求項１又は２に記載の画像配信装置。

【請求項4】

前記配信部は、前記再生装置へクーポン情報を配信する、請求項１又は２に記載の画像配信装置。

【請求項5】

再生装置の位置情報を取得する工程と、
記憶部に格納されたイベントのバーチャル画像を作成するための映像プログラムを用いて、取得した前記再生装置の位置からイベント開催地の位置を見た状態のバーチャル画像を生成する工程と、
生成した前記バーチャル画像を前記再生装置へ配信する工程と、
を備える画像配信方法。

【請求項6】

請求項１に記載の画像配信装置と、
前記画像配信装置から受信した前記バーチャル画像をイベント開催地の景色に重ねて再生する再生装置と、
を備える画像再生システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像配信装置、画像配信方法及び画像再生システムに関する。

【背景技術】

【0002】

昨今のコロナ禍により、多くの観客を集める前提でスポンサーを募り、現地で観覧するという従来のタイプの花火大会の開催が難しい状況にある。同様に、店舗に多数の人を集めるイベントも開催が困難になっており、ソーシャルディスタンスを考慮した人数制限を行うと収益が減少し、また、感染状況によっては急に中止になるという問題がある。そのため、新しいイベントの在り方が求められている。

【0003】

花火大会の中継映像を放送するテレビ番組等はあるが、花火大会を実際に観覧することとは全く異なるものであり、自分事として価値あるイベントにはならない。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００１－３２５６１２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明は、身近な場所で実際にイベントを体験しているような画像をユーザへ配信する画像配信装置、画像配信方法及び画像再生システムを提供することを課題とする。

【課題を解決するための手段】

【0006】

本発明の画像配信装置は、再生装置の位置情報を取得する位置取得部と、イベント開催地の位置情報及びイベントのバーチャル画像を作成するための映像プログラムを格納する記憶部と、前記映像プログラムを用いて、前記再生装置の位置から前記イベント開催地の位置を見た状態のバーチャル画像を生成する画像生成部と、前記画像生成部により生成された前記バーチャル画像を前記再生装置へ配信する配信部と、を備えるものである。

【0007】

本発明の画像配信方法は、再生装置の位置情報を取得する工程と、記憶部に格納されたイベントのバーチャル画像を作成するための映像プログラムを用いて、取得した前記再生装置の位置からイベント開催地の位置を見た状態のバーチャル画像を生成する工程と、生成した前記バーチャル画像を前記再生装置へ配信する工程と、を備えるものである。

【0008】

本発明の画像再生システムは、本発明の画像配信装置と、前記画像配信装置から受信した前記バーチャル画像をイベント開催地の景色に重ねて再生する再生装置と、を備えるものである。

【発明の効果】

【0009】

本発明によれば、身近な場所で実際にイベントを体験しているような臨場感のある画像をユーザへ配信することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施形態に係る画像再生システムの概略構成図である。

【図2】図２Ａ、図２Ｂはユーザ端末で再生される画像の例を示す図である。

【図3】サーバ装置の機能ブロック図である。

【図4】画像配信方法を説明するフローチャートである。

【図5】再生される画像の例を示す図である。

【発明を実施するための形態】

【0011】

以下、本発明の実施の形態を、図面を参照しながら説明する。

【0012】

図１に示すように、本実施形態に係る画像再生システムは、サーバ装置１及び再生装置３を備える。再生装置３は、例えば、スマートフォン３Ａやスマートグラス３Ｂ等である。再生装置３でイベントが開催される開催地２を所定の日時に見ると、サーバ装置１により生成され、再生装置３に配信されたイベントの画像が、実際の景色に重ねて表示・再生される。スマートグラス３Ｂは、スマートグラス３Ｂ自身がサーバ装置１と通信可能なものでもよいし、スマートフォンやＰＣ等を介してサーバ装置１からイベント画像を受信してもよい。

【0013】

例えば、イベントが花火大会である場合、再生装置３には花火の映像が再生される。具体的には、ユーザＵ１がスマートフォン３Ａで専用アプリを起動し、イベントを選択してスマートフォン３Ａのカメラを用いて開催地２を見ると、図２Ａに示すように、スマートフォン３Ａのディスプレイ（タッチパネル）には、花火画像Ｆ１が開催地２の景色（建物等）に重ねて表示される。

【0014】

また、ユーザＵ２がスマートグラス３Ｂをかけて開催地２を見ると、図２Ｂに示すように、スマートグラス３Ｂのディスプレイには、花火画像Ｆ２が開催地２の景色に重ねて表示される。

【0015】

イベント開催中、何時にどのような花火画像（花火の形状パターン）になるかは予めプログラムされている。サーバ装置１は、開催地２の位置、ユーザＵ１，Ｕ２の現在位置、再生時刻等に基づいて、花火画像Ｆ１，Ｆ２をリアルタイムに生成する。そのため、ユーザＵ１とユーザＵ２とが異なる位置にいる場合、スマートフォン３Ａに表示される花火画像Ｆ１と、スマートグラス３Ｂに表示される花火画像Ｆ２とは見え方の異なるものとなる。

【0016】

例えば、ユーザＵ１，Ｕ２が開催地２を挟んで反対の位置にいる場合、ユーザＵ１のスマートフォン３Ａで手前に赤色の花火、奥に青色の花火が表示される時、ユーザＵ２のスマートグラス３Ｂには手前に青色の花火、奥に赤色の花火が表示される。また、ユーザＵ１のスマートフォン３Ａで右側に黄色の花火、左側に緑色の花火が表示される時、ユーザＵ２のスマートグラス３Ｂには右側に緑色の花火、左側に黄色の花火が表示される。

【0017】

ユーザＵ１，Ｕ２は、実際に開催地２で花火大会が開催されているかのような臨場感のあるユーザ視点の映像を楽しむことができる。実際に花火を打ち上げることはないため、市街地など所望の場所を開催地に設定でき、ユーザの身近な場所でイベントを提供できる。

【0018】

イベント開催地が商業施設である場合、イベント画像の配信のため接続されたユーザに、商業施設のクーポンや商品の詳細・イベントなどの広告情報等を再生装置３へ配信してもよい。花火打ち上げ箇所となることで、商業施設の場所をユーザに強く印象付けることができ、さらにクーポンや広告情報を配信することで来店を促すことができる。また、それらの情報は、あらかじめイベント参加のために収集したユーザの属性情報やイベント参加時の位置情報に応じて内容を変更し、より効果の高い広告内容としてもよい。例えば、複数店舗を持つスーパーでは、ユーザの位置情報から、イベント開催店舗の情報だけでなく、ユーザの生活圏内にあるほかの店舗についての情報を送ることもできる。

【0019】

次に、図３を用いて、サーバ装置１の構成について説明する。サーバ装置１は、ＣＰＵ、記憶部１０、通信部等を有するコンピュータであり、ＣＰＵが記憶部１０に格納されている制御プログラムを実行することで、イベント情報登録部１１、位置取得部１２、画像生成部１３及び配信部１４を有する画像配信装置として機能する。

【0020】

記憶部１０には、地図情報が格納されている。この地図情報は、標高や地形の起伏、河川や海岸線、道路や建物、土地利用の状態などの情報も含む。

【0021】

イベント情報登録部１１は、イベント開催者が利用するＰＣ等の端末から、イベント情報の登録を受け付け、イベント情報を記憶部１０に格納する。イベント情報は、イベント開催地の位置情報、イベント開催日時、及びイベントで配信する映像プログラムを含む。イベント情報は、ユーザに配信するクーポン等のオプション情報を含んでいてもよい。

【0022】

映像プログラムは、イベントのバーチャル画像を作成するためのデザインプログラムである。例えば、イベントが花火の場合、デザインプログラムには、バーチャルに打ち上げる花火の各々について、色、形状、大きさ、打ち上げ位置、打ち上がる高さ、打ち上げ順（イベント開始からの経過時間）等が定義されている。このデザインプログラムに、花火を見る位置を設定することで、その位置から見た打ち上げ花火のバーチャル画像が生成可能となる。

【0023】

位置取得部１２は、イベントに参加する（イベントを視聴する）ユーザが使用する再生装置の位置情報を（連続的に）取得する。例えば、位置取得部１２は、ユーザが所有するスマートフォン等の再生装置３と通信を行い、再生装置３が有するＧＰＳ機能で求められた位置情報を取得する。また、位置取得部１２は、再生装置３から、再生装置３に内蔵されている電子コンパスで計測された方位情報（再生装置３が向いている方向）を取得する。

【0024】

画像生成部１３は、デザインプログラムと、イベント開催地の位置情報と、再生装置３の位置情報及び方位情報と、地図情報とを用いて、ユーザ視点のイベント画像（バーチャル画像）を生成する。例えば、画像生成部１３は、イベント開催地の位置情報、再生装置３の位置情報、方位情報及び地図情報を用いて、ユーザを基準にした打ち上げ場所までの距離、高低差、方角のずれ等を計算し、この計算結果を用いて、デザインプログラムで定義された花火のバーチャル画像（映像）をユーザ視点となるように生成する。

【0025】

画像生成部１３は、ユーザを基準にした打ち上げ場所までの距離を連続的に計算しており、ユーザが打ち上げ場所（イベント開催地）に近付くと、花火サイズが大きくなるように画像を生成する。

【0026】

配信部１４は、画像生成部１３が生成した画像を再生装置３へ配信する。画像は再生装置３で再生される。また、配信部１４は、再生装置３へオプション情報を配信する。

【0027】

位置取得部１２による位置情報及び方位情報の取得、画像生成部１３によるユーザ視点の画像生成、及び配信部１４による画像配信は、イベント参加者が複数いる場合、各参加者の再生装置３に対して並行して（同時に）行われる。

【0028】

次に、本実施形態による画像配信方法を図４に示すフローチャートに沿って説明する。

【0029】

イベント開催者がサーバ装置１にイベント情報を登録する（ステップＳ１）。イベント情報は、イベント開催地の位置情報、イベント開催日時、及びイベントで配信する映像プログラムを含む。イベントは花火大会とする。

【0030】

イベントの参加（視聴）を希望するユーザは、再生装置３を用いて専用アプリを起動し、サーバ装置１にアクセスし、イベント参加処理を行う。サーバ装置１は、再生装置３から位置情報及び方位情報を取得する（ステップＳ２）。

【0031】

サーバ装置１は、ユーザを基準にした打ち上げ場所までの距離、高低差、方角のずれ等を計算し、この計算結果を用いて、映像プログラムで定義された花火のユーザ視点での画像をリアルタイムに生成する（ステップＳ３）。

【0032】

サーバ装置１は、生成した画像を再生装置３へ配信する（ステップＳ４）。これにより、イベント開催地の方向を向いた再生装置３では、図２Ａ、図２Ｂに示すような、現実の景色に花火の映像が重ね合わされた映像が再生される。

【0033】

イベント終了後、サーバ装置１は再生装置３へオプション情報を配信する（ステップＳ５）。オプション情報の配信はイベント開始前や、イベントの途中でもよい。

【0034】

このように、本実施形態によれば、ユーザに対し、身近な場所で実際にイベントを体験しているような臨場感のある画像を配信することができる。

【0035】

また、イベント開催者は、自身の店舗をイベント開催地に設定することで、店舗の位置を多くのユーザに知らせることができる。実際に花火を打ち上げるのではなく、バーチャルな花火大会であるため、打ち上げ場所を自由に設定できる。

【0036】

イベントは花火大会に限定されず、例えば、アニメや映画のキャラクター画像がイベント開催地に表示されるものであってもよい。図５は、イベント開催地であるタワーの隣に巨人の映像が再生される例を示す。ユーザが移動すると、再生装置３を介して、巨人を異なる角度から見ることができる。

【0037】

再生装置３は、展望フロアの窓に取り付けた透明ディスプレイや、壁に取り付けた窓ディスプレイでもよい。窓ディスプレイの場合は、別途ライブカメラ画像を取得し、ライブカメラ画像とイベント画像とを合成した合成画像を生成し、窓ディスプレイで表示する。

【0038】

サーバ装置１は、イベント開催位置とユーザ現在位置との間の距離や、地図情報に含まれる建物情報等を参照し、ユーザに移動を促すメッセージを通知してもよい。例えば、ユーザの現在位置とイベント開催位置との間にビル等の高い建物がある場合、イベント開催地が見えないため、イベント画像生成不可と判定し、移動を促すメッセージを通知する。

【0039】

サーバ装置１は、イベント開催位置とユーザ現在位置との間の距離や、地図情報に含まれる建物情報等に基づいて、デザインプログラムに定義されたバーチャルに打ち上げる花火の形状や打ち上がる高さ等のパラメータを調整してもよい。例えば、ユーザの現在位置とイベント開催位置との間にビル等の障害物があり、初期設定パラメータでは花火を見ることができない場合、自動的に高さやサイズ等のパラメータを調整し、現在のユーザの視点から見えるようにして、打ち上げ花火のバーチャル画像を生成してもよい。

【0040】

本発明を特定の態様を用いて詳細に説明したが、本発明の意図と範囲を離れることなく様々な変更が可能であることは当業者に明らかである。

【符号の説明】

【0041】

１ サーバ装置
３ 再生装置

【図1】

【図2】

【図3】

【図4】

【図5】