(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023032203
(43)【公開日】2023-03-09
(54)【発明の名称】表示システム、表示方法及び表示プログラム
(51)【国際特許分類】
G06Q 50/10 20120101AFI20230302BHJP
【FI】
G06Q50/10
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2021138187
(22)【出願日】2021-08-26
【新規性喪失の例外の表示】特許法第30条第2項適用申請有り (1)令和2年9月9日~令和2年9月11日 第1回 [関西]広告宣伝EXPO (2)令和2年10月5日掲載 https://www.toppan.co.jp/news/2020/10/newsrelease_201005_1.html (3)令和3年2月24日~令和3年2月26日 第4回スポーツビジネス産業展
(71)【出願人】
【識別番号】000003193
【氏名又は名称】凸版印刷株式会社
(71)【出願人】
【識別番号】518112505
【氏名又は名称】株式会社グミ
(74)【代理人】
【識別番号】100105854
【弁理士】
【氏名又は名称】廣瀬 一
(74)【代理人】
【識別番号】100116012
【弁理士】
【氏名又は名称】宮坂 徹
(72)【発明者】
【氏名】川田 景子
(72)【発明者】
【氏名】岡田 亮
(72)【発明者】
【氏名】玉手 浩司
(72)【発明者】
【氏名】平島 圭太
【テーマコード(参考)】
5L049
【Fターム(参考)】
5L049CC12
(57)【要約】 (修正有)
【課題】被撮影者と人物やキャラクター等とがあたかも一緒の空間で撮影されているかのようなリアリティのある撮影体験を被撮影者に与える表示システム、表示方法及び表示プログラムを提供する。
【解決手段】表示システム1において、処理装置40は、被撮影者の周りに合成される素材が予め被撮影者の表示位置を避けて被撮影者の周りに入り込むように生成された素材動画像を記憶する記憶部43と、表示装置20の入力部22から入力された指示で、選択された素材動画像を記憶部41から抽出し、選択した素材動画像を撮像装置から入力された撮像動画像に対して合成して、被撮影者の周りに素材が入り込む合成動画像を生成して表示装置20の表示部21に出力する演算部42と、を備える。
【選択図】
図2
【特許請求の範囲】
【請求項1】
表示装置と、
被撮影者を撮影した撮像動画像を生成する撮像装置と、
指示が入力される入力装置と、
前記撮像動画像に、前記被撮影者の周りに合成される素材の動画像である素材動画像を合成して合成動画像を生成する処理装置と、
を備え、
前記処理装置は、
前記被撮影者の周りに合成される素材が予め前記被撮影者の表示位置を避けて前記被撮影者の周りに入り込むように生成された前記素材動画像を記憶する記憶部と、
前記入力装置から入力された前記指示で選択された前記素材動画像を前記記憶部から抽出し、選択された前記素材動画像を前記撮像装置から入力された前記撮像動画像に対して合成して、前記被撮影者の周りに前記素材が入り込む前記合成動画像を生成して前記表示装置に出力する演算部と、
を有し、
前記表示装置は、前記合成動画像を表示する
表示システム。
【請求項2】
前記記憶部は、複数の前記素材の前記素材動画像を記憶しており、前記素材ごとに選択順に応じた複数の前記素材動画像を記憶している
請求項1に記載の表示システム。
【請求項3】
前記記憶部は、選択順が遅くなるほど前記素材の画面への映り込みが遅くなる前記素材動画像を記憶している
請求項1又は2のいずれか1項に記載の表示システム。
【請求項4】
前記演算部は、前記入力装置から入力された前記指示に応じて、前記撮像動画像中の前記被撮影者と、前記素材動画像との重ね順を決定し、前記重ね順となるように前記撮像動画像と前記素材動画像とを合成する
請求項1から3のいずれか1項に記載の表示システム。
【請求項5】
前記記憶部は、前記素材動画像に対応する音声を記憶しており、
前記演算部は、前記撮像動画像に対して前記音声を合成する
請求項1から4のいずれか1項に記載の表示システム。
【請求項6】
前記記憶部には、前記素材動画像の予め定められた所定の選択順が記憶されており、
前記演算部は、前記入力装置から入力された複数の前記素材動画像の前記選択順が前記予め定められた所定の選択順であった場合に、前記表示装置に表示されない他の素材動画像を抽出して前記撮像動画像に合成して前記合成動画像を生成する
請求項1から5のいずれか1項に記載の表示システム。
【請求項7】
前記記憶部は、前記被撮影者に対して静止画像作成タイミングを通知するタイミング通知動画像又はタイミング通知音声を記憶しており、
前記演算部は、前記合成動画像及び前記タイミング通知動画像又は前記タイミング通知音声により前記被撮影者に通知される所定のタイミングにおいて前記合成動画像から抽出された静止画像の少なくとも一方を前記記憶部に保存する
請求項1から6のいずれか1項に記載の表示システム。
【請求項8】
前記演算部は、前記記憶部にアクセスするための接続先を含む接続先情報を生成して前記表示装置に出力し、
前記処理装置は、前記記憶部にアクセスした端末に対して前記合成動画像及び前記静止画像の少なくとも一方を送信させる
請求項7に記載の表示システム。
【請求項9】
被撮影者の周りに合成される素材が予め前記被撮影者の位置を避けて前記被撮影者の周りに入り込むように撮像された複数の素材動画像を生成し、
前記被撮影者を撮影した撮像動画像を生成し、
前記被撮影者の周りに合成する前記素材を選択する操作指示に応じて、選択された前記素材動画像を抽出し、
抽出された前記素材動画像を前記撮像動画像に対して合成して、前記被撮影者の周りに前記素材が入り込む合成動画像を生成し、
前記合成動画像を表示装置に出力し、
前記合成動画像及び所定のタイミングにおいて前記合成動画像から抽出した静止画像の少なくとも一方を保存する
表示方法。
【請求項10】
被撮影者の周りに合成される素材が予め前記被撮影者の位置を避けて前記被撮影者の周りに入り込むように撮像された複数の素材動画像を生成することと、
前記被撮影者を撮影した撮像動画像を生成することと、
前記被撮影者の周りに合成する前記素材を選択する操作指示に応じて、選択された前記素材動画像を抽出することと、
抽出された前記素材動画像を前記撮像動画像に対して合成して、前記被撮影者の周りに前記素材が入り込む合成動画像を生成することと、
前記合成動画像を表示装置に出力することと、
前記合成動画像及び所定のタイミングにおいて前記合成動画像から抽出した静止画像の少なくとも一方を保存することと
をコンピュータに実行させる表示プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、表示システム、表示方法及び表示プログラムに関する。
【背景技術】
【0002】
従来、デジタルカメラやカメラ付きスマートフォン等の撮像装置で撮影した画像に、人物・キャラクター及び背景等の画像を合成した合成画像を生成することが行われていた(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
近年、被撮影者と人物やキャラクター等とがあたかも一緒の空間で撮影されているかのようなリアリティのある撮影体験を被撮影者に与えるようなサービスが求められている。しかしながら、上述したような合成画像ではこのような撮影体験が十分ではなかった。
本開示は、このような問題に鑑みてなされたもので、その目的とするところは、被撮影者と人物やキャラクター等とがあたかも一緒の空間で撮影されているかのようなリアリティのある撮影体験を被撮影者が得られる表示システム、表示方法及び表示プログラムを提供することにある。
【課題を解決するための手段】
【0005】
上記課題を解決するために、本開示の一態様に係る表示システムは、表示装置と、被撮影者を撮影した撮像動画像を生成する撮像装置と、指示が入力される入力装置と、撮像動画像に、被撮影者の周りに合成される素材の動画像である素材動画像を合成して合成動画像を生成する処理装置と、を備えている。本開示の一態様に係る表示システムでは、処理装置が、被撮影者の周りに合成される素材が予め被撮影者の表示位置を避けて被撮影者の周りに入り込むように生成された素材動画像を記憶する記憶部と、入力装置から入力された指示で選択された素材動画像を記憶部から抽出し、選択された素材動画像を撮像装置から入力された撮像動画像に対して合成して、被撮影者の周りに素材が入り込む合成動画像を生成して表示装置に出力する演算部と、を有し、表示装置が、合成動画像を表示する。
【0006】
本開示の一態様に係る表示システムの表示方法は、被撮影者の周りに合成される素材が予め被撮影者の位置を避けて被撮影者の周りに入り込むように撮像された複数の素材動画像を生成し、被撮影者を撮影した撮像動画像を生成し、被撮影者の周りに合成する素材を選択する操作指示に応じて、選択された素材動画像を抽出し、抽出された素材動画像を撮像動画像に対して合成して、被撮影者の周りに素材が入り込む合成動画像を生成し、合成動画像を表示装置に出力し、合成動画像及び所定のタイミングにおいて合成動画像から抽出した静止画像の少なくとも一方を保存する。
【0007】
本開示の一態様に係る表示システムの表示プログラムは、被撮影者の周りに合成される素材が予め被撮影者の位置を避けて被撮影者の周りに入り込むように撮像された複数の素材動画像を生成することと、被撮影者を撮影した撮像動画像を生成することと、被撮影者の周りに合成する素材を選択する操作指示に応じて、選択された素材動画像を抽出することと、抽出された素材動画像を撮像動画像に対して合成して、被撮影者の周りに素材が入り込む合成動画像を生成することと、合成動画像を表示装置に出力することと、合成動画像及び所定のタイミングにおいて合成動画像から抽出した静止画像の少なくとも一方を保存することをコンピュータに実行させる。
【発明の効果】
【0008】
本開示の態様によれば、被撮影者と合成用素材とがあたかも一緒の空間で撮影されているかのようなリアリティのある撮影体験を、被撮影者に与える表示システム、表示方法及び表示プログラムを提供することにある。
【図面の簡単な説明】
【0009】
【
図1】本開示の第一実施形態に係る表示システムの一構成例を示す模式図である。
【
図2】本開示の第一実施形態に係る表示システムの一構成例を示すブロック図である。
【
図3】本開示の第一実施形態に係る表示システムにおいて予め記憶される合成用素材動画を示す模式図である。
【
図4】本開示の第一実施形態に係る表示システムにおいて予め記憶される合成用素材動画の内容を示す模式図である。
【
図5】本開示の第一実施形態に係る表示システムにおいて予め記憶される合成用素材動画の内容を示す模式図である。
【
図6】本開示の第一実施形態に係る表示システムにおいて予め記憶される合成用素材動画の内容を示す模式図である。
【
図7A】本開示の第一実施形態に係る表示システムで撮影された静止画の一例を示す模式図である。
【
図7B】本開示の第一実施形態に係る表示システムで撮影された静止画の一例を示す模式図である。
【
図7C】本開示の第一実施形態に係る表示システムで撮影された静止画の一例を示す模式図である。
【
図8A】本開示の第一実施形態に係る表示システムにおける表示方法の流れを示す模式図である。
【
図8B】本開示の第一実施形態に係る表示システムにおける表示方法の流れを示す模式図である。
【
図8C】本開示の第一実施形態に係る表示システムにおける表示方法の流れを示す模式図である。
【
図8D】本開示の第一実施形態に係る表示システムにおける表示方法の流れを示す模式図である。
【
図8E】本開示の第一実施形態に係る表示システムにおける表示方法の流れを示す模式図である。
【
図8F】本開示の第一実施形態に係る表示システムにおける表示方法の流れを示す模式図である。
【
図8G】本開示の第一実施形態に係る表示システムにおける表示方法の流れを示す模式図である。
【
図8H】本開示の第一実施形態に係る表示システムにおける表示方法の流れを示す模式図である。
【
図9】本開示の第一実施形態に係る表示システムの一構成例を示すフローチャートである。
【
図10】本開示の第二実施形態に係る表示システムの一構成例を示すブロック図である。
【
図11】本開示の第三実施形態に係る表示システムの一構成例を示すブロック図である。
【発明を実施するための形態】
【0010】
以下、実施形態を通じて本開示を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。また、図面は特許請求の範囲にかかる発明を模式的に示すものであり、各部の構成は現実のものとは異なる。
【0011】
1.第一実施形態
(1.1)表示システムの基本構成
以下、第一実施形態に係る表示システム1の構造を、
図1から
図9を参照して説明する。まず、
図1及び
図2を参照して、表示システム1の基本構成及び各部の機能について説明する。
図1は、表示システム1の一構成例を示す外観図である。
図2は、表示システム1の一構成を示すブロック図である。
【0012】
本実施形態において、表示システム1は、一例として、被撮影者と、被撮影者が選択した3人の人物とが一緒に映る静止画像の撮影を行い、撮影の際に被撮影者の周りに3人の人物が入り込む合成動画像を生成して表示することで、被撮影者と3人の人物とがあたかも一緒の空間にいるようなリアリティのある撮影体験を被撮影者に与えることができるシステムについて説明する。
なお、表示システム1の構成はこの限りではなく、被撮影者の周りに合成される素材の動画像である素材動画像として、キャラクターや、ビールで乾杯したり花火があがる等のイベントに関連するエフェクト動画像を用いてもよく、合成される素材数も3人(3つ)に限られない。
【0013】
図2に示すように、表示システム1は、被撮影者の動画像を撮像可能な撮像装置10と、撮像装置10で撮影した撮像動画像に素材動画像を合成した合成動画像を表示する表示装置20と、音声出力部30と、合成動画像の生成処理を行う処理装置40とを備えている。
ここで、表示システム1は、
図2に示すように、画像記憶部43を備える構成であってもよく、例えば画像記憶部を備える外部のサーバと接続された構成であってもよい(不図示)。
以下、撮像装置10、表示装置20、音声出力部30及び処理装置40について説明する。
【0014】
<撮像装置>
撮像装置10は、撮像により2次元画像を撮像面(CCDアレイ面上)で検出する機能を持つ受光デバイスであり、例えばCCD等の撮像素子を有するカメラである。撮像装置10は、表示装置20の表示面と同じ方向を向くように配置され、表示装置20の正面に立つ被撮影者を撮影した動画像(以下、撮像動画像という場合がある)及び静止画像を生成する。撮像装置10は、表示装置20の正面に立つ被撮影者を撮像可能であればどの位置に設けられていてもよく、表示装置20と一体に設けられていても良い。
撮像装置10によって撮像された動画像は、処理装置40を介してリアルタイムで表示装置20に送信され、表示される。また、撮像装置10によって撮像された静止画像は、処理装置40を介して表示装置20に送信されて表示されたり、外部のサーバに送信されて保存される。
【0015】
<表示装置>
表示装置20は、撮像装置10で撮像された動画像及び静止画像を表示する。表示装置20は、表示機能を有していればよく、表示機能と入力機能との双方を備えたタッチパネルであっても良い。また、表示装置20は、音声出力機能をさらに備えていても良い。
本実施形態では、表示装置20が表示機能、入力機能及び音声出力機能を備えたタッチパネルである場合について説明するが、本開示の表示システム1はこのような構成に限られない。すなわち、表示システム1は、表示装置20と別に設けられた入力部(キーボードやマウス等)及び音声出力部(スピーカ等)の少なくとも一方を備えていても良い。
表示装置20の表示部21は、撮像装置10で撮像された動画像をリアルタイムで表示してもよく、人物及びキャラクター等の合成素材となる素材動画像を撮像された動画像に合成した合成動画像を表示しても良い。また、表示装置20は、被撮影者への指示や注意事項等を示す文字、図形、模様等の指示情報を動画像に合成した合成動画像を表示しても良い。
【0016】
(入力部)
表示装置20の入力部22は、例えばタッチパネルの入力機能部であり、表示装置20に表示された画像や文字等の位置と、ユーザの押圧位置とに応じた操作の指示が入力される。入力部22は、入力された操作指示を処理装置40に送信する。
入力部22が表示装置20とは別に設けられる場合、入力部22は、キーボード、マウス、ボタン、十字キー又はリモコン等により構成される。
【0017】
<音声出力部>
音声出力部30は、合成動画像に応じた音声を出力しても良い。音声出力部30から出力される音声は、例えば、撮像動画像に合成される素材動画像中の話し声や音(人物の話し声、キャラクターのセリフ、花火の音等)や素材の動きを示す音声(キャラクターの登場音や動作音)等である。また、音声出力部30から出力される音声は、例えば操作の指示や、静止画の撮影タイミングを知らせるカウントダウンの音声(「3、2、1」)等であっても良い。
【0018】
<処理装置>
処理装置40は、撮像動画像に、被撮影者の周りに合成される素材の動画像である素材動画像を合成して合成動画像を生成する機能を有している。
処理装置40は、例えば撮像動画像に合成することが可能な複数の素材の候補を表示装置20に表示させて、表示システム1の操作者(例えば被撮影者や表示システム1の管理者等)に、一緒に静止画像の撮影を行いたい素材を所定数選択させる。例えば、処理装置40は、撮像動画像に合成することが可能な5人の人物(人物A~E)の写真を表示装置20に表示させる。例えば、表示システム1の操作者が、入力部22を介して人物A~Eの写真から一緒に撮影したい順に3人の人物(人物A、人物B、人物C)の写真を選択入力する。これにより、入力部22が人物A、人物B、人物Cをこの順で選択入力した操作指示を受け付け、操作指示を処理装置40に送信する。
【0019】
[記憶部]
記憶部41は、撮像動画像に合成する素材の素材動画像を記憶している。素材動画像は、例えば人物、キャラクターや、設置環境に応じたエフェクト(花火大会会場での花火エフェクト)等である。記憶部41には、被撮影者の周りに合成される素材が予め被撮影者の表示位置を避けて被撮影者の周りに入り込むように生成された素材動画像が記憶されている。これにより、被撮影者の周りに合成された人物やキャラクターが、あたかも被撮影者と同じ空間に存在し、被撮影者の邪魔をしないように画面に入ってきたようなリアリティのある合成動画像を生成することができる。
【0020】
また、記憶部41は、少なくとも1つの素材動画像を記憶しており、素材が複数である場合には、素材ごとに、選択順に応じた複数の素材動画像を記憶している。例えば、素材が人物A、人物B及び人物Cである場合、記憶部41は、人物A~Cの選択順に応じた複数の素材動画像を記憶している。
記憶部41は、素材が複数である場合、複数の素材動画像として、少なくとも第一素材が1番目に選択された場合に抽出される第一素材動画像と、第一素材が2番目に選択された場合に抽出される第二素材動画像と、第二素材が1番目に選択された場合に抽出される第三素材動画像と、第二素材が2番目に選択された場合に抽出される第四素材動画像と、を記憶している。第一素材が1番目、第2素材が2番目に選択された場合には、第一素材動画像と第四素材動画像とが記憶部41から抽出される。
【0021】
具体的に、記憶部41は、
図3に示すように、人物Aが1番目に選択された場合の素材動画像1Aと、人物Aが2番目に選択された場合の素材動画像2Aと、人物Aが3番目に選択された場合の素材動画像3Aと、を備えている。また、記憶部41は、人物Bが1~3番目に選択された場合の素材動画像1B、2B、3Bと、人物Cが1~3番目に選択された場合の素材動画像1C、2C、3Cをそれぞれを記憶している。例えば、撮像動画像に合成する素材として、人物A、人物B、人物Cの順に選択された場合、記憶部41に記憶された素材動画像1A、素材動画像2B、素材動画像3Cの素材動画像が選択されて、記憶部41から抽出される。
なお、上述した例は、3人の人物A~Cの素材動画像が記憶される場合の例であり、素材の数によって、記憶される素材動画像の数も変動する。例えば、x人の人物から1~y番目(y≦x)が選択される場合、記憶部41は、少なくともxPy個の素材動画像を記憶していても良い。
【0022】
ここで、記憶部41が記憶している素材動画像は、選択順が遅くなるほど素材の画面への映り込みが遅くなるように撮像されている。
例えば、1番目に選択された素材(例えば人物A)の素材動画像は、素材動画像の開始直後(0秒)に人物Aが画面に映り込むように撮像されている。
図4(A)に示すように、人物Aは、画面の一方(例えば左側)から入り込み、破線で示す被撮影者の表示位置(映り込み位置と予想される領域)を避けて被撮影者前方の下部に入り込むように生成されている。
画面に写り込んだ人物Aは、
図4(B)に示すように、所定の位置まで移動した後、例えば手を振る等の待機動作を行う。
最後に、
図4(C)に示すように、所定の静止画像作成タイミングに合わせて人物Aが所定のポーズを行う等の静止画像撮影時の撮影動作を行う。
素材が一番目に選択された場合の素材動画像は、
図4(A)~
図4(C)が連続的に撮像された一例の動画像となっている。
【0023】
一方、2番目に選択された素材(例えば人物B)の素材動画像は、素材動画像の開始から所定時間後(例えば10秒後)に人物Bが画面に映り込むように撮像されている。人物Bは、少なくとも1番目に選択された人物Aが画面に映り込む間の数秒(例えば0~10秒)が経過したあとに、画面に映り込むように撮像されている。
図5(A)に示すように、人物Bは、画面の一方(例えば右側)から入り込み、破線で示す被撮影者の表示位置を避けて被撮影者の側方に入り込むように生成されている。
画面に写り込んだ人物Bは、
図5(B)に示すように、所定の位置まで移動した後、例えば手を振る等の待機動作を行う。
最後に、
図5(C)に示すように、所定の静止画像作成タイミングに合わせて人物Bが撮影動作を行う。
図5(C)に示す撮影動作は、
図4(C)に示す人物Aの撮影動作と同じタイミングで行なわれるように素材動画像が撮像されている。
素材が二番目に選択された場合の素材動画像は、
図5(A)~
図5(C)が連続的に撮像された一例の動画像となっている。
【0024】
さらに、3番目に選択された素材の素材動画像(例えば人物C)は、素材動画像の開始から所定時間後(例えば20秒後)に人物Cが画面に映り込むように撮像されている。人物Cは、少なくとも1番目及び2番目に選択された人物A,Bが画面に映り込む間の数秒(例えば0~20秒)が経過したあとに、画面に映り込むように撮像されている。
図6(A)に示すように、人物Cは、画面の一方(例えば左側)から入り込み、破線で示す被撮影者の表示位置を避けて被撮影者の側方に入り込むように生成されている。
画面に写り込んだ人物Cは、
図6(B)に示すように、所定の位置まで移動した後、例えば手を振る等の待機動作を行う。
最後に、
図6(C)に示すように、所定の静止画像作成タイミングに合わせて人物Bが撮影動作を行う。
図6(C)に示す撮影動作は、
図4(C)に示す人物Aの撮影動作と同じタイミングで行なわれるように素材動画像が撮像されている。
素材が三番目に選択された場合の素材動画像は、
図6(A)~
図6(C)が連続的に撮像された一例の動画像となっている。
【0025】
このように、選択順が遅くなるほど素材の画面への映り込みが遅くなるように生成された素材動画像が、被撮影者を撮像した撮像動画像にリアルタイムで合成されることにより、選択した素材(人物A~C)が順に被撮影者と同じ空間に入り込んでくるようなリアリティのある合成動画を形成することができる。また、素材動画像中の素材(人物)が、被撮影者の表示位置を避けて動画像内に入り込むことにより、撮像動画像と素材動画像との合成後の不自然さが低減し、よりリアリティのある合成動画を形成することができる。
なお、素材動画像は、必ずしも上述したような選択順が遅くなるほど素材の画面への映り込みが遅くなるように生成された動画像でなくても良い。例えば、1番目に選択した素材が2番目以降(例えば最後)に登場する演出が行なわれても良い。このため、素材動画像中への素材の映り込みの早さは演出に応じて決められていればよく、素材の選択順が早くても素材動画像中への素材の映り込みが他の素材動画像より遅くなっていても良い。
【0026】
記憶部41は、素材動画像に対応する音声を記憶していてもよい。音声としては、例えば素材動画像中の素材の話し声や音(人物の話し声、キャラクターのセリフ、花火の音等)や素材の動きを示す音声(キャラクターの登場音や動作音等)等が挙げられる。また、音声としては、素材が表示装置20の画面に入り込む際のエフェクト音やBGM、素材がアーティストの場合は新曲等であっても良い。
これにより、合成動画像に適切な音声が関連付けられ、さらにリアリティのある合成動画を形成することができる。
【0027】
記憶部41は、被撮影者に対して静止画像作成タイミングを通知するタイミング通知動画像又はタイミング通知音声を記憶していてもよい。タイミング通知動画像は、例えば数字が撮影タイミングを示す「0」までカウントダウンされていく動画像である。また、タイミング通知音声は、例えば数字が撮影タイミングを示す「0」までカウントダウンされていく音声である。タイミング通知動画像とタイミング通知音声とがともに撮像動画像に合成される場合には、それぞれのカウントダウンのタイミングが一致するように調整されていることが好ましい。
【0028】
また、記憶部41は、被撮影者への指示や注意事項等を示す文字、図形、模様等の指示情報を示す指示用画像を記憶していてもよい。指示用画像は、所定のタイミングで撮像動画像に合成される。例えば、合成される素材(人物)を選択後、合成動画像が表示されるまでの間に、被撮影者に対して「画面から少し下がること」を指示する文字情報が合成される。
【0029】
[演算部]
演算部42は、指示処理部421、素材取得部422、撮像動画像処理部423、動画像合成部424、静止画像合成部425及びリンク生成部426を備えている。
演算部42は、入力部22から入力された操作指示に基づいて、表示装置20に表示するための合成動画像の生成、サーバに保存するための静止画像の生成、静止画像をダウンロードさせるための接続先情報の生成等を行う。
以下、演算部42の各部について詳細に説明する。
【0030】
(指示処理部)
指示処理部421は、入力部22から送信される操作指示を受信する。指示処理部421は、受信した操作指示に応じて、演算部42の各部に操作指示を送信する。
【0031】
(素材取得部)
素材取得部422は、指示処理部421から受信した操作指示に応じて、記憶部41から撮像動画像に合成する素材動画像を抽出して取得する。また、素材取得部422は、記憶部41から撮像動画像に合成する素材動画像を抽出する際に、抽出する素材動画像に対応する音声が別途記憶されている場合には、対応する音声も抽出して取得する。
【0032】
(撮像動画像処理部)
撮像動画像処理部423は、撮像装置10から入力される撮像動画像を取得する。撮像動画像処理部423は、操作者の操作に応じて被撮影者への指示及び注意事項等を示す指示情報を撮像動画像に合成するとともに、素材取得部422が取得した素材動画像を撮像動画像に合成する。
【0033】
(動画像合成部)
動画像合成部424は、動画像合成部424は、操作者の操作に応じて被撮影者への指示及び注意事項等を示す指示情報を撮像動画像に合成するとともに、素材取得部422が取得した素材動画像を撮像動画像に合成する。
このとき、動画像合成部424は、入力部22から入力された指示に応じて、撮像動画像中の被撮影者と、素材動画像との重ね順を決定し、決定した重ね順となるように撮像動画像と素材動画像とを合成する。例えば、合成する素材として人物A~Cをこの順に選択した場合、人物Aが1番目に選択された場合に抽出される素材合成動画像(
図4(A)~
図4(C)参照)は、最も上のレイヤーとして撮像動画像に合成される。また、人物Bが2番目に選択された場合に抽出される素材合成動画像(
図5(A)~
図5(C)参照)と、人物Cが3番目に選択された場合に抽出される素材合成動画像(
図6(A)~
図6(C)参照)とは、上から2番目及び3番目のレイヤーとして撮像動画像に合成される。なお、撮像動画像は、最も下のレイヤー(上から4番めのレイヤー)として各動画が合成される。
【0034】
なお、素材動画像と撮像動画像との重ね合わせ順は上述した態様に限られず、選択した素材のデザイン等に応じて異なる重ね順としても良い。例えば、被撮影者が素材動画像の少なくとも1つの手前に表示されるようにしても良い。この場合、撮像動画像の各フレームにおいて、被撮影者の領域を切り抜き、素材が被撮影者よりも下のレイヤーとなるように合成する。
合成動画像から静止画像を生成するタイミングを通知するタイミング通知動画像等の被撮影者への指示及び注意事項等を示す指示情報は、各動画よりも上の最上位のレイヤーとして撮像動画像に合成される。また、指示情報として、タイミング通知音声が合成動画像に合成されても良い。
【0035】
表示システム1が被撮影者に、被撮影者と選択された素材とが一緒に撮影された合成動画像をダウンロードさせる場合、動画像合成部424は、生成された合成動画像をダウンロード用画像として画像記憶部43に記憶させる。動画像合成部424は、上述した指示情報(例えばカウントダウンの数字等)が含まれない合成動画像を画像記憶部43に記憶させてもよく、指示情報が含まれたままの合成動画像を画像記憶部43に記憶させてもよい。
また、動画像合成部424は、合成動画像の全部(撮像動画像と素材との合成開始時から合成終了時までの全て)を画像記憶部43に記憶させてもよく、合成動画像の一部のみを切り取った部分合成動画像を画像記憶部43に記憶させてもよい。
また、動画像合成部424は、素材動画像に対応する音声が別途記憶部41に記憶されていた場合には、対応する音声も合わせて合成動画像を生成してもよい。
【0036】
(静止画像合成部)
静止画像合成部425は、所定のタイミングにおいて、合成動画像から静止画を抽出して、被撮影者と選択された素材とが一緒に撮影された静止画像を生成する。静止画像合成部425は、合成動画像のタイミング通知動画像又はタイミング通知音声により被撮影者に通知される所定のタイミングにおいて、合成動画像から静止画像を生成する。静止画像合成部425は、生成された静止画像を表示装置20に送信して、表示装置20に静止画像を表示させる。
【0037】
このように重ね合わせを行うことにより、例えば
図7Aに示すような、被撮影者(ドットで表示した領域)の周囲を素材となる人物(実線で表示した領域)が取り囲んだ複数人での記念撮影のような静止画像が生成される。また、
図7Bに示すように、被撮影者の手前に素材となる人物が整列した複数人での記念撮影のような静止画像が生成されても良い。さらに、
図7Cに示すように、被撮影者が複数であっても良い。
表示システム1が被撮影者に、被撮影者と選択された素材とが一緒に撮影された静止画像をダウンロードさせる場合、静止画像合成部425は、生成された静止画像をダウンロード用画像として画像記憶部43に記憶させる。
【0038】
(リンク生成部)
リンク生成部426は、ダウンロード用画像が画像記憶部43に記憶された後、被撮影者等が画像記憶部43に記憶されたダウンロード用画像にアクセスするための接続先を含む接続先情報を生成する。リンク生成部426は、接続先情報を表示装置20に出力する。表示装置20に出力された接続先情報は、表示装置20に表示されている画像よりも上のレイヤーとなるように重ね合わせて表示される。また、リンク生成部426から動画像合成部424又は静止画像合成部425に接続先情報を送信し、動画像合成部424又は静止画像合成部425において合成動画像又は静止画像に接続先情報を合成して表示装置20に出力しても良い。
また、接続先情報は、合成動画像又は静止画像と並んで(重ならずに)表示されてもよく、合成動画像又は静止画像が表示されることなく、接続先情報のみが表示されてもよい。
【0039】
リンク生成部426は、ダウンロード用画像を特定するためのIDを含む接続先情報を生成し、接続先情報に、ダウンロード用画像にアクセスするための接続先とともにダウンロード用画像を特定するためのIDも含むようにしてもよい。
このような接続先情報としては、例えばQRコード(登録商標)等の二次元コードや、CODE128等のバーコードが用いられる。
【0040】
(1.2)表示方法
以下、本実施形態に係る表示方法を説明する。本実施形態に係る表示システム1は、予め記憶された表示方法をコンピュータに実行させる表示プログラムに従って、静止画像撮影時にリアリティのある合成動画像を生成して表示装置に表示させることができる。
【0041】
本実施形態に係る表示方法は、少なくとも以下の方法により実行される。
(a)被撮影者の周りに合成される素材が予め被撮影者の位置を避けて被撮影者の周りに入り込むように撮像された複数の素材動画像を生成する
(b)被撮影者を撮影した撮像動画像を生成する
(c)被撮影者の周りに合成する素材を選択する操作指示に応じて、選択された素材動画像を抽出する
(d)抽出された素材動画像を撮像動画像に対して合成して、被撮影者の周りに素材が入り込む合成動画像を生成する
(e)合成動画像を表示装置に出力する
(f)所定のタイミングにおいて、合成動画像及び合成動画像から抽出した静止画像の少なくとも一方を保存する
【0042】
以下、表示方法を、
図1とともに
図8A~
図8H及び
図9を参照してより詳細に説明する。
図8及び
図9は、本実施形態に係る表示方法を説明する模式図及びフローチャートである。なお、以下、静止画像を保存して被撮影者にダウンロードさせる場合の動作について説明する。
【0043】
まず、表示システム1において、
図4~
図6に示すように、被撮影者の周りに合成される素材が予め被撮影者の位置を避けて被撮影者の周りに入り込むように撮像された複数の素材動画像を生成する(ステップS11)。生成された素材動画像は、記憶部41に記憶される。
続いて、
図8Aに示すように、表示システム1は、表示装置20の表示部21に、被撮影者が一緒に写真を取ることができる素材(人物)の候補を表示する。
図8Bに示すように、被撮影者等の操作者は、表示された複数の人物から、例えば3人の人物を順に選択する。
図8Bでは、選択した順に人物写真上に「1」「2」「3」の順番が表示されている。
人物の選択が完了すると、
図8Cに示すように、撮像装置10で撮像された被撮影者の撮像動画像を生成し(ステップS12)、表示装置20に表示する。なお、
図8Cでは、被撮影者に対する指示が文字情報で表示されている。
【0044】
この後、動画像合成部424は、被撮影者の周りに合成する素材を選択する操作指示に応じて、1人目、2人目及び3人目に選択された素材動画像を抽出する(ステップS13)。
図8D~
図8Fに示すように、動画像合成部424は、抽出された素材動画像を撮像動画像に対して合成して、被撮影者の周りに1人目に選択した素材が入り込んだ合成動画像(
図8D)、被撮影者の周りに2人目に選択した素材が入り込んだ合成動画像(
図8E)、被撮影者の周りに3人目に選択した素材が入り込んだ合成動画像(
図8F)を生成する(ステップS14)。生成された合成動画像は、表示装置20に出力される(ステップS15)。
最後に、
図8Gに示すように、合成動画像から静止画像を抽出する際に、所定のタイミングに合わせて静止画像作成タイミングを通知するタイミング通知動画像(カウントダウン)が表示される。
図8Hに示すように、所定のタイミングにおいて合成動画像から静止画像を抽出し、ダウンロード用画像として静止画像を保存する。また、リンク生成部426は、静止画像の保存先の接続先情報を生成し、静止画像とともに表示装置20に表示する(ステップS16)。
以上により、リアリティのある撮影体験を通して静止画像が撮影される。
【0045】
(1.3)表示プログラム
本実施形態に係る表示システム1により実行される表示プログラムについて説明する。表示システム1は、少なくとも以下の(A)~(F)の各動作をコンピュータに実行させるプログラムに従って、静止画像撮影時にリアリティのある合成動画像を生成して表示装置に表示させることができる。以下のプログラムは、例えばハードディスクドライブ、メモリ等の記録媒体やDVDディスク又はBlu-ray(登録商標)等の光ディスクに非一時的に記録される。以下のプログラムは、インターネットを介して配布されても良い。さらに、以下のプログラムは、クラウドサーバに記録され、インターネットを介して実行されても良い。
【0046】
(A)被撮影者の周りに合成される素材が予め被撮影者の位置を避けて被撮影者の周りに入り込むように撮像された複数の素材動画像を生成することと、
(B)被撮影者を撮影した撮像動画像を生成すること
(C) 被撮影者の周りに合成する素材を選択する操作指示に応じて、選択された素材動画像を抽出すること
(D) 抽出された素材動画像を撮像動画像に対して合成して、被撮影者の周りに素材が入り込む合成動画像を生成すること
(E)合成動画像を表示装置に出力すること
(F)所定のタイミングにおいて、合成動画像及び合成動画像から抽出した静止画像の少なくとも一方を保存すること
をコンピュータに実行させる表示プログラム。
【0047】
(1.4)変形例
(1.4.1)変形例1
表示システム1は、所定の順序で素材(人物等)を選択した場合に、それまで選択肢として表示されていなかった新たな素材の画像を表示して選択可能にするか、又は自動で選択しても良い。このような新たな素材は、いわゆる隠れキャラや、ボーナスキャラとして用いることができる。
【0048】
例えば、記憶部41には、素材動画像の予め定められた所定の選択順が記憶されており、指示処理部421は、入力部22から入力された素材の選択順と、記憶部41に記憶された所定の選択順とを比較する。入力部から入力された素材の選択順が、予め定められた所定の選択順であった場合、図示しない制御部によってそれまで表示装置20に表示されていなかった新たな素材の画像を表示装置20に表示する。指示処理部421が入力部22から新たな素材が選択されたことを示す操作指示を受け取った場合に、素材取得部422、撮像動画像処理部423、動画像合成部424のそれぞれにより、新たな素材の素材動画像が合成された合成動画像を生成することができる。
【0049】
(1.4.2)変形例2
表示システム1は、処理の途中で広告動画を表示するようにしても良い。
例えば、静止画像合成部425によってダウンロード可能な静止画像が生成された後、図示しない制御部は、表示装置20に接続先情報や静止画像を表示させる前に、広告動画を表示させてもよい。
【0050】
(1.4.3)変形例3
表示システム1は、素材の選択順に応じた投票機能を更に備えていても良い。このような表示システム1は、例えば、選択順が早いほど高い点数がつけられるようにすることで、投票を行いつつ、記念撮影を行うことができる。
【0051】
(1.4.4)変形例4
表示システム1は、演算装置40内に静止画像が記憶される画像記憶部43が備えられているが、このような構成に限られない。
例えば、表示システム1は、
図10に示すように、処理装置40がネットワーク50を介してサーバ60と接続されており、サーバ60内に画像記憶部61が備えられていても良い。
【0052】
(1.4.5)変形例5
表示システム1は、処理装置40に対して撮像装置10、表示装置20及び音声出力部30が直接接続された構成となっているが、このような構成に限られない。
例えば、表示システム1は、処理装置40がネットワーク50を介して撮像装置10、表示装置20及び音声出力部30と接続されていても良い。
【0053】
以上、本開示を実施の形態を用いて説明したが、本開示の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本開示の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【符号の説明】
【0054】
1 表示システム
1A~2C 素材動画像
10 撮像装置
20 表示装置
21 表示部
22 入力部
30 音声出力部
40 処理装置
41 記憶部
42 演算部
421 指示処理部
422 素材取得部
423 撮像動画像処理部
424 動画像合成部
425 静止画像合成部
426 リンク生成部
43 画像記憶部
60 サーバ
61 画像記憶部