(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022123987
(43)【公開日】2022-08-25
(54)【発明の名称】情報処理装置、情報処理方法、およびプログラム
(51)【国際特許分類】
H04N 5/232 20060101AFI20220818BHJP
H04N 5/77 20060101ALI20220818BHJP
H04N 5/93 20060101ALI20220818BHJP
【FI】
H04N5/232 290
H04N5/77
H04N5/93
H04N5/232 030
H04N5/232 935
【審査請求】未請求
【請求項の数】19
【出願形態】OL
(21)【出願番号】P 2021021490
(22)【出願日】2021-02-15
(71)【出願人】
【識別番号】307010096
【氏名又は名称】フリュー株式会社
(74)【代理人】
【識別番号】100121131
【弁理士】
【氏名又は名称】西川 孝
(74)【代理人】
【識別番号】100082131
【弁理士】
【氏名又は名称】稲本 義雄
(74)【代理人】
【識別番号】100168686
【弁理士】
【氏名又は名称】三浦 勇介
(72)【発明者】
【氏名】盛岡 尚記
(72)【発明者】
【氏名】中西 利彰
(72)【発明者】
【氏名】前川 浩二
【テーマコード(参考)】
5C053
5C122
【Fターム(参考)】
5C053FA07
5C053GB06
5C053JA21
5C053LA11
5C053LA14
5C122DA09
5C122EA61
5C122FA18
5C122FH09
5C122FH18
5C122FK12
5C122FK24
5C122FK34
5C122FK40
5C122FK41
5C122FK42
5C122FL03
5C122FL08
5C122GC14
5C122GC19
5C122GC38
5C122GC53
5C122GC77
5C122GC79
5C122HB01
5C122HB05
(57)【要約】
【課題】遠隔にいる複数のユーザが、自分達が写る画像をリアルタイムで容易に撮影することができるようにする。
【解決手段】本技術の一側面のプログラムは、携帯端末を使用するユーザが映る動画像を撮影し、ユーザが映る動画像と、他のユーザが使用する他の携帯端末においてリアルタイムで撮影された他のユーザが映る動画像とに基づいて生成されたライブビュー画像を表示する。また、ライブビュー画像の表示開始後の、他の携帯端末における撮影のタイミングと同じタイミングで静止画像を撮影し、ユーザが少なくとも写る静止画像と他のユーザが少なくとも写る静止画像とを1枚の画像に合成することによって生成された合成画像を表示する。本技術は、カメラを搭載した携帯端末のアプリケーションに適用することができる。
【選択図】
図2
【特許請求の範囲】
【請求項1】
複数の携帯端末のそれぞれにおいてリアルタイムで撮影された、前記携帯端末を使用するユーザが映る複数の動画像に基づいて生成されたライブビュー画像をそれぞれの前記携帯端末に表示させる画像処理部と、
前記ライブビュー画像の表示開始後の同じタイミングで、複数の前記携帯端末のそれぞれにおいて静止画像の撮影を行わせる撮影制御部と
を備え、
前記画像処理部は、複数の前記携帯端末のそれぞれにおいて撮影された前記ユーザが少なくとも写る静止画像を1枚の画像に合成し、合成画像をそれぞれの前記携帯端末において出力させる
情報処理装置。
【請求項2】
前記撮影制御部は、複数の前記携帯端末の動作を同期させる
請求項1に記載の情報処理装置。
【請求項3】
前記画像処理部は、前記合成画像を複数の前記携帯端末のそれぞれに送信し、撮影結果として表示させる
請求項1または2に記載の情報処理装置。
【請求項4】
撮影を一緒に行う複数の前記ユーザを特定するユーザ管理部をさらに備える
請求項1乃至3のいずれかに記載の情報処理装置。
【請求項5】
前記ユーザ管理部は、いずれかの前記ユーザによる入力に応じて、または、前記携帯端末により撮影された動画像の解析結果に応じて、撮影を一緒に行う複数の前記ユーザの人数を特定する
請求項4に記載の情報処理装置。
【請求項6】
前記画像処理部は、前記携帯端末の数に応じた数のそれぞれの領域に、それぞれの前記携帯端末により撮影された動画像に映る前記ユーザが配置された前記ライブビュー画像を表示させる
請求項1乃至5のいずれかに記載の情報処理装置。
【請求項7】
前記画像処理部は、前記領域の広さを、それぞれの前記領域に配置された人数に応じて、または、いずれかの前記ユーザによる操作に応じて調整する
請求項6に記載の情報処理装置。
【請求項8】
前記画像処理部は、被写体の位置のガイドとなる情報をそれぞれの前記領域に表示させる
請求項6または7に記載の情報処理装置。
【請求項9】
前記画像処理部は、前記領域に配置された人数に応じた数の前記ガイドとなる情報を表示させる
請求項8に記載の情報処理装置。
【請求項10】
前記画像処理部は、画像の向きのガイドとなる情報を、基準の向きとは異なる向きで前記ユーザが映っている前記領域に表示させる
請求項6乃至8のいずれかに記載の情報処理装置。
【請求項11】
情報処理装置が、
複数の携帯端末のそれぞれにおいてリアルタイムで撮影された、前記携帯端末を使用するユーザが映る複数の動画像に基づいて生成されたライブビュー画像をそれぞれの前記携帯端末に表示させ、
前記ライブビュー画像の表示開始後の同じタイミングで、複数の前記携帯端末のそれぞれにおいて静止画像の撮影を行わせ、
複数の前記携帯端末のそれぞれにおいて撮影された前記ユーザが少なくとも写る静止画像を1枚の画像に合成し、合成画像をそれぞれの前記携帯端末において出力させる
情報処理方法。
【請求項12】
携帯端末を制御するコンピュータに、
前記携帯端末を使用するユーザが映る動画像を撮影し、
前記ユーザが映る動画像と、他のユーザが使用する他の携帯端末においてリアルタイムで撮影された前記他のユーザが映る動画像とに基づいて生成されたライブビュー画像を表示し、
前記ライブビュー画像の表示開始後の、前記他の携帯端末における撮影のタイミングと同じタイミングで静止画像を撮影し、
前記ユーザが少なくとも写る静止画像と前記他のユーザが少なくとも写る静止画像とを1枚の画像に合成することによって生成された合成画像を表示する
処理を実行させるためのプログラム。
【請求項13】
前記ユーザと前記他のユーザは、それぞれ1人または複数人であり、
前記携帯端末と前記他の携帯端末の数に応じた数のそれぞれの領域に前記ユーザと前記他のユーザが配置された前記ライブビュー画像を表示する
請求項12に記載のプログラム。
【請求項14】
それぞれの前記領域の広さを、それぞれの前記領域に配置された人数に応じて、または、前記ユーザによる操作に応じて調整する
請求項13に記載のプログラム。
【請求項15】
被写体の位置のガイドとなるガイド情報をそれぞれの前記領域に表示させる
請求項13または14に記載のプログラム。
【請求項16】
前記領域に配置された人数に応じた数の前記ガイド情報を表示させる
請求項15に記載のプログラム。
【請求項17】
画像の向きのガイドとなる情報を前記ライブビュー画像に表示させ、
前記ユーザによる操作に応じて、前記領域に配置された人物を回転させて表示する
請求項12乃至16のいずれかに記載のプログラム。
【請求項18】
前記ライブビュー画像は、前記ユーザが映る動画像の送信先となる情報処理装置から送信されてきた画像であり、
前記合成画像は、前記ユーザが写る静止画像の送信先となる前記情報処理装置において生成され、前記情報処理装置から送信されてきた画像である
請求項12乃至17のいずれかに記載のプログラム。
【請求項19】
携帯端末が、
前記携帯端末を使用するユーザが映る動画像を撮影し、
前記ユーザが映る動画像と、他のユーザが使用する他の携帯端末においてリアルタイムで撮影された前記他のユーザが映る動画像とに基づいて生成されたライブビュー画像を表示し、
前記ライブビュー画像の表示開始後の、前記他の携帯端末における撮影のタイミングと同じタイミングで静止画像を撮影し、
前記ユーザが少なくとも写る静止画像と前記他のユーザが少なくとも写る静止画像とを1枚の画像に合成することによって生成された合成画像を表示する
情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、情報処理装置、情報処理方法、およびプログラムに関し、特に、遠隔にいる複数のユーザが、自分達が写る画像をリアルタイムで容易に撮影することができるようにした情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【0002】
複数の撮影画像を組み合わせることによって1枚の画像を生成するコラージュ撮影がある。コラージュ撮影によれば、複数枚の撮影画像を組み合わせることによってデザイン性の高い画像を得ることが可能となる。
【0003】
特許文献1には、選択された基準画像とともに、基準画像との関連性が高い画像をテンプレートのレイアウト枠に配置することによってコラージュ画像を生成する技術が開示されている。関連性が高い画像を撮影日時に基づいて抽出し、優先順位に従って配置することによってコラージュ画像を生成するようになっている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1に記載の技術によれば、それぞれの人物が写る撮影画像を組み合わせることによって複数人が写るコラージュ画像を生成することができるものの、コラージュ画像の生成が過去に撮影された画像に基づいて行われるため、コラージュ撮影を楽しむことができない。
【0006】
仮に、それぞれのユーザがリアルタイムで撮影した画像に基づいてコラージュ画像を生成するとした場合、それぞれのユーザが離れた場所にいるときには、互いに相手の様子が分からないため、撮影自体が難しくなる。それぞれのユーザは、自分がどのような画角で写る画像を撮影すればいいのか、どのようなポーズで写る画像を撮影すればいいのかなどが分からない。
【0007】
本技術はこのような状況に鑑みてなされたものであり、遠隔にいる複数のユーザが、自分達が写る画像をリアルタイムで容易に撮影することができるようにするものである。
【課題を解決するための手段】
【0008】
本技術の一側面の情報処理装置は、複数の携帯端末のそれぞれにおいてリアルタイムで撮影された、前記携帯端末を使用するユーザが映る複数の動画像に基づいて生成されたライブビュー画像をそれぞれの前記携帯端末に表示させる画像処理部と、前記ライブビュー画像の表示開始後の同じタイミングで、複数の前記携帯端末のそれぞれにおいて静止画像の撮影を行わせる撮影制御部とを備え、前記画像処理部は、複数の前記携帯端末のそれぞれにおいて撮影された前記ユーザが少なくとも写る静止画像を1枚の画像に合成し、合成画像をそれぞれの前記携帯端末において出力させる。
【0009】
本技術の他の側面のプログラムは、携帯端末を使用するユーザが映る動画像を撮影し、前記ユーザが映る動画像と、他のユーザが使用する他の携帯端末においてリアルタイムで撮影された前記他のユーザが映る動画像とに基づいて生成されたライブビュー画像を表示し、前記ライブビュー画像の表示開始後の、前記他の携帯端末における撮影のタイミングと同じタイミングで静止画像を撮影し、前記ユーザが少なくとも写る静止画像と前記他のユーザが少なくとも写る静止画像とを1枚の画像に合成することによって生成された合成画像を表示する処理を実行させる。
【0010】
本技術の一側面においては、複数の携帯端末のそれぞれにおいてリアルタイムで撮影された、携帯端末を使用するユーザが映る複数の動画像に基づいて生成されたライブビュー画像がそれぞれの携帯端末に表示され、ライブビュー画像の表示開始後の同じタイミングで、複数の携帯端末のそれぞれにおいて静止画像の撮影が行われ、複数の携帯端末のそれぞれにおいて撮影されたユーザが少なくとも写る静止画像が1枚の画像に合成され、合成画像がそれぞれの前記携帯端末において出力される。
【0011】
本技術の他の側面においては、携帯端末を使用するユーザが映る動画像が撮影され、前記ユーザが映る動画像と、他のユーザが使用する他の携帯端末においてリアルタイムで撮影された前記他のユーザが映る動画像とに基づいて生成されたライブビュー画像が表示され、前記ライブビュー画像の表示開始後の、前記他の携帯端末における撮影のタイミングと同じタイミングで静止画像が撮影され、前記ユーザが少なくとも写る静止画像と前記他のユーザが少なくとも写る静止画像とを1枚の画像に合成することによって生成された合成画像が表示される。
【発明の効果】
【0012】
本技術によれば、遠隔にいる複数のユーザが、自分達が写る画像をリアルタイムで容易に撮影することができる。
【図面の簡単な説明】
【0013】
【
図1】本技術の一実施形態に係るリモート撮影システムの構成例を示す図である。
【
図3】リモート撮影における撮影画像の送信の様子を示す図である。
【
図5】リモート撮影における合成画像の送信の様子を示す図である。
【
図6】リモート撮影を一緒に行うユーザの例を示す図である。
【
図7】リモート撮影を一緒に行うユーザの他の例を示す図である。
【
図9】リモート撮影管理サーバのハードウェア構成例を示すブロック図である。
【
図10】リモート撮影管理サーバの機能構成例を示すブロック図である。
【
図12】スマートフォンの構成例を示すブロック図である。
【
図13】スマートフォンの機能構成例を示すブロック図である。
【
図14】リモート撮影の一連の処理について説明するフローチャートである。
【
図15】リモート撮影の一連の処理について説明する、
図14に続くフローチャートである。
【
図16】ライブビュー画像の表示例を示す図である。
【
図17】ライブビュー画像の表示例を示す図である。
【
図18】ライブビュー画像の表示例を示す図である。
【
図19】ライブビュー画像の表示例を示す図である。
【
図20】ライブビュー画像の表示例を示す図である。
【
図21】ライブビュー画像の表示例を示す図である。
【
図22】ライブビュー画像の表示例を示す図である。
【
図26】1対多のリモート撮影を行う場合の合成画像の例を示す図である。
【発明を実施するための形態】
【0014】
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
1.リモート撮影システム
2.ユーザの招待の例
3.各装置の構成
4.リモート撮影の一連の処理
5.ライブビュー画像の表示
6.提供画像
7.画像の調整
8.その他
【0015】
<リモート撮影システム>
図1は、本技術の一実施形態に係るリモート撮影システムの構成例を示す図である。
【0016】
図1のリモート撮影システムは、リモート撮影管理サーバ1に対して、複数台のスマートフォン2がインターネット11を介して接続されることによって構成される。
図1の例においては、ユーザAが使用するスマートフォン2AとユーザBが使用するスマートフォン2Bが示されている。ユーザAとユーザBは、例えば、離れたところにいる友達である。
【0017】
タブレット端末やPCなどの、通信モジュールとカメラを搭載した他のデバイスがスマートフォン2に代えて用いられるようにしてもよい。カメラは内蔵のカメラであってもよいし、外付けのカメラであってもよい。
【0018】
スマートフォン2には、リモート撮影アプリがインストールされている。リモート撮影アプリは、スマートフォン2に搭載されたOS(Operating System)上で動作するアプリケーションプログラムである。
【0019】
リモート撮影アプリは、離れた場所にいる複数のユーザが一緒に写る画像を撮影するためのアプリケーションである。リモート撮影アプリを利用した撮影を、リモート撮影という。
【0020】
リモート撮影の開始前、
図1の白抜き矢印で示すように、リモート撮影の主催者となるユーザは、リモート撮影アプリ上でリモート撮影についての設定を行い、撮影を一緒に行うユーザを招待する。
図1の例においてはユーザAが主催者のユーザである。ユーザAの招待に応じることにより、ユーザAとユーザBはリモート撮影を一緒に行う。
【0021】
リモート撮影は、例えば、リモート撮影アプリによるガイダンスに従って、あらかじめ決められた流れで進められる。それぞれのユーザは、リモート撮影をゲームのように楽しむことができる。
【0022】
それぞれのユーザは、
図2に示すように、スマートフォン2のカメラを自分に向け、リモート撮影アプリの画面を見ながら自撮りを行うことになる。スマートフォン2の筐体の正面には、カメラと、LCDなどよりなるディスプレイが設けられる。
【0023】
リモート撮影アプリの画面には、リモート撮影を一緒に行っているユーザAとユーザBが映る動画像であるライブビュー画像が表示される。ユーザAとユーザBは、それぞれのスマートフォン2に表示されるライブビュー画像を見て、表情を確認したり、ポーズを決めたりすることができる。リモート撮影の間、それぞれのユーザは相手と会話を行うこともできる。
【0024】
スマートフォン2AにおけるユーザAの撮影とスマートフォン2BにおけるユーザBの撮影は、例えばリモート撮影管理サーバ1による制御に従って、同じタイミング(リアルタイム)で行われる。リモート撮影は、それぞれのスマートフォン2が同期して行われる。
【0025】
スマートフォン2Aにおいて撮影されたユーザAが被写体として写る静止画像である撮影画像P1と、スマートフォン2Bにおいて撮影されたユーザBが被写体として写る静止画像である撮影画像P2は、それぞれ、
図3の白抜き矢印で示すようにリモート撮影管理サーバ1に送信される。
【0026】
リモート撮影管理サーバ1は、
図4に示すように、撮影画像P1と撮影画像P2を1枚の画像に合成し、合成画像P11を生成する。
図4の例においては、ユーザAが左側に配置され、ユーザBが右側に配置されることによって合成画像P11が生成されている。
【0027】
撮影画像P1と撮影画像P2の合成は、例えば、撮影画像P1と撮影画像P2からクロマキー処理などによって抽出した少なくとも人物領域の画像を合成することによって行われる。人物領域の下のレイヤには、適宜、背景画像が合成される。
【0028】
このように、撮影画像P1と撮影画像P2は、合成画像P11の生成に用いられる静止画像である。以下、適宜、それぞれのスマートフォン2において撮影され、合成画像の生成に用いられる撮影画像を合成用撮影画像という。
【0029】
なお、
図4の例においては、それぞれのユーザに割り当てられた領域の境界を表す破線が合成画像P11の中心に示されているが、合成画像P11上に実際に表示されるものではない。
【0030】
リモート撮影管理サーバ1により生成された合成画像P11は、
図5の白抜き矢印で示すように、スマートフォン2Aとスマートフォン2Bにそれぞれ送信される。ユーザAとユーザBは、離れたところにいながらも、自分たちが一緒に写る静止画像を得ることができる。
【0031】
1回のリモート撮影においては、以上のような撮影が例えば複数回行われる。ユーザAとユーザBは、会話を行いながら撮影を一緒に楽しみ、複数枚の合成画像を得ることができる。
【0032】
このように、リモート撮影管理サーバ1は、同じタイミングで撮影された静止画像を合成することによって得られた合成画像を、リモート撮影を一緒に行ったユーザに提供する情報処理装置である。
【0033】
<ユーザの招待の例>
図6は、リモート撮影を一緒に行うユーザの例を示す図である。
【0034】
図6の例においては、ユーザAが主催者となり、リモート撮影の招待がユーザBとユーザCのそれぞれに対して行われている。
【0035】
リモート撮影が開始された後、スマートフォン2AにおいてはユーザAを被写体とした撮影が行われ、スマートフォン2BにおいてはユーザBを被写体とした撮影が行われる。また、スマートフォン2CにおいてはユーザCを被写体とした撮影が行われる。スマートフォン2A乃至2Cにおいては、それぞれ同じタイミングで撮影が行われる。
【0036】
スマートフォン2A乃至2Cのそれぞれにおいて撮影された3枚の合成用撮影画像は、リモート撮影管理サーバ1に送信され、合成画像の生成に用いられる。
【0037】
ユーザA乃至Cの3人が写る合成画像は、スマートフォン2A乃至2Cに対してそれぞれ送信される。ユーザA乃至Cは、リモート撮影を一緒に行うことにより、3人が一緒に写る合成画像を得ることができる。
【0038】
このように、リモート撮影が3人で行われることもある。4人以上といったように、リモート撮影を一緒に行うユーザの人数は任意である。
【0039】
図7は、リモート撮影を一緒に行うユーザの他の例を示す図である。
【0040】
図7の例においては、ユーザAとユーザBは同じ場所にいて、ユーザAのスマートフォンであるスマートフォン2Aを使用して撮影を一緒に行う。ユーザCは、ユーザA、ユーザBとは離れた場所にいるユーザである。
【0041】
このように、1人のユーザは、リモート撮影において、自分だけでなく、友達を画角に含めて撮影することもできる。
図7の例においては、ユーザBと一緒にいるユーザAが主催者となり、リモート撮影の招待がユーザCに対して行われている。
【0042】
リモート撮影が開始された後、スマートフォン2AにおいてはユーザAとユーザBを被写体とした撮影が行われる。また、スマートフォン2CにおいてはユーザCを被写体とした撮影が行われる。スマートフォン2Aとスマートフォン2Cにおいては、それぞれ同じタイミングで撮影が行われる。
【0043】
スマートフォン2Aとスマートフォン2Cのそれぞれにおいて撮影された2枚の合成用撮影画像は、リモート撮影管理サーバ1に送信され、合成画像の生成に用いられる。
【0044】
ユーザA乃至Cの3人が写る合成画像は、スマートフォン2Aとスマートフォン2Cに対してそれぞれ送信される。例えばユーザAが、SNSなどを利用してユーザBに合成画像を送ることにより、ユーザA乃至Cは、3人が一緒に写る合成画像を得ることができる。
【0045】
このように、1台のスマートフォン2を使用して、複数人のユーザが写る1枚の合成用撮影画像の撮影が行われることもある。スマートフォン2を使用してリモート撮影を行うユーザは、スマートフォン2の所有者のユーザ1人であることもあるし、所有者のユーザと、所有者のユーザの近くにいて同じ画像の画角に含まれるユーザとの複数人であることもある。
【0046】
【0047】
図8Aに示す合成画像は、
図6を参照して説明したようにして、スマートフォン2A乃至2Cのそれぞれにおいてリモート撮影が行われた場合に生成される合成画像である。
【0048】
例えば、スマートフォン2Aにおいて撮影されたユーザAが写る合成用撮影画像、スマートフォン2Bにおいて撮影されたユーザBが写る合成用撮影画像、スマートフォン2Cにおいて撮影されたユーザCが写る合成用撮影画像のそれぞれの合成用撮影画像が1枚の画像として合成されることにより、
図8Aに示すようなユーザA乃至Cの3人が写る合成画像が生成される。
【0049】
図8Bに示す合成画像は、
図7を参照して説明したようにして、スマートフォン2Aとスマートフォン2Cのそれぞれにおいてリモート撮影が行われた場合に生成される合成画像である。
【0050】
スマートフォン2Aにおいて撮影されたユーザAとユーザBが写る合成用撮影画像と、スマートフォン2Cにおいて撮影されたユーザCが写る合成用撮影画像のそれぞれの合成用撮影画像が1枚の画像として合成されることにより、
図8Bに示すようなユーザA乃至Cの3人が写る合成画像が生成される。
図8Bの例においては、ユーザAとユーザBが写る、スマートフォン2Aにより撮影された合成用撮影画像に対して、ユーザCが写る、スマートフォン2Cにより撮影された合成用撮影画像よりも広い領域が割り当てられ、合成が行われている。
【0051】
<各装置の構成>
・リモート撮影管理サーバ1の構成
図9は、リモート撮影管理サーバ1のハードウェア構成例を示すブロック図である。
【0052】
図9に示すように、リモート撮影管理サーバ1はコンピュータにより構成される。複数台のコンピュータによりリモート撮影管理サーバ1が構成されるようにしてもよい。リモート撮影管理サーバ1が複数台のコンピュータにより構成される場合、それぞれのコンピュータが協働することにより、合成画像を提供するための各種の処理が実現される。
【0053】
CPU(Central Processing Unit)101、ROM(Read Only Memory)102、RAM(Random Access Memory)103は、バス104により相互に接続される。
【0054】
バス104には、さらに、入出力インタフェース105が接続される。入出力インタフェース105には、入力部106、出力部107、記憶部108、通信部109、およびドライブ110が接続される。
【0055】
入力部106は、キーボード、マウスなどより構成される。出力部107は、ディスプレイなどより構成される。
【0056】
記憶部108は、ハードディスクや不揮発性のメモリなどより構成される。記憶部108は、CPU101が実行するプログラムやリモート撮影の設定情報などの、合成画像を提供するために用いられる各種の情報を記憶する。
【0057】
通信部109は、インターネット11に対するインタフェースである。例えば、通信部109は、スマートフォン2と通信を行い、スマートフォン2から送信されてきた合成用撮影画像を受信する。また、通信部109は、合成用撮影画像に基づいて生成した合成画像をそれぞれのスマートフォン2に送信する。
【0058】
ドライブ110は、リムーバブルメディア111に対するデータの書き込み、リムーバブルメディア111からのデータの読み出しを制御する。
【0059】
図10は、リモート撮影管理サーバ1の機能構成例を示すブロック図である。
【0060】
図10に示すように、リモート撮影管理サーバ1においては情報処理部121が実現される。情報処理部121は、ゲーム制御部131、設定情報DB132、画像取得部133、および画像処理部134により構成される。
【0061】
ゲーム制御部131は、通信部109を制御することによって、リモート撮影の主催者となるユーザが使用するスマートフォン2との間で通信を行い、リモート撮影に関する設定を受け付ける。リモート撮影に関する各種の設定が、リモート撮影アプリを用いて行われる。ゲーム制御部131は、リモート撮影に関する設定の内容を表す設定情報を設定情報DB132に記憶させ、管理する。
【0062】
【0063】
図11に示すように、設定情報には、撮影日時、主催者ユーザ、招待ユーザ、人数、写り設定、ゲーム時間、URLのそれぞれの情報が含まれる。各情報を含む設定情報が、1回のリモート撮影毎に生成され、管理される。
図11に示す全ての情報が設定情報に含まれるのではなく、少なくともいずれかの情報が含まれるようにしてもよい。
【0064】
撮影日時は、リモート撮影の開始時刻を表す。撮影日時により表される開始時刻になったとき、リモート撮影を一緒に行うそれぞれのユーザはリモート撮影アプリを起動させ、リモート撮影を開始する。撮影日時により表される開始時刻前にリモート撮影アプリを起動させた場合、開始時刻になったときに撮影が許可される。
【0065】
主催者ユーザは、リモート撮影の主催者となるユーザを表す。ゲーム制御部131は、主催者のユーザを特定し、例えば主催者のユーザのIDを主催者ユーザの情報として記録する。
【0066】
招待ユーザは、主催者のユーザにより招待されたユーザを表す。ユーザの招待は、例えば、主催者のユーザの友達としてあらかじめ登録されたユーザの中から選択することによって行われる。主催者のユーザによって招待されたユーザが、さらに他のユーザを招待することができるようにしてもよい。例えば、招待ユーザは、主催者のユーザの承諾を得ることによって、他のユーザを招待することが可能となる。
【0067】
ゲーム制御部131は、主催者のユーザによって招待されたユーザを特定し、例えば招待されたユーザのIDを招待ユーザの情報として記録する。複数のユーザが招待された場合、それぞれのユーザのユーザIDが記録される。ゲーム制御部131は、リモート撮影を一緒に行うユーザを特定し、管理するユーザ管理部として機能する。
【0068】
人数は、リモート撮影を行うユーザの人数を表す。例えば、
図7を参照して説明したようにして招待が行われた場合、人数の情報として、スマートフォン2Aを用いて2人のユーザが撮影を行うとともに、スマートフォン2Cを用いて1人のユーザが撮影を行うことを表す情報が記録される。このように、スマートフォン2を使用してリモート撮影を行うユーザの人数の情報がスマートフォン2毎に記録される。
【0069】
写り設定は、色味、明るさなどの、画像の画質に関する設定を表す。写りの設定として、スマートフォン2毎に異なる設定が用いられるようにしてもよいし、同じ設定が用いられるようにしてもよい。
【0070】
カメラアプリなどの他のアプリと連携し、他のアプリで選択された写りの設定がリモート撮影において用いられるようにしてもよい。他のアプリを用いて事前に選択された写りの設定が用いられるようにしてもよいし、他のアプリの写りの設定を用いるか否かを、ライブビュー画像を見ながら選択することができるようにしてもよい。
【0071】
他のアプリの写りの設定が、リモート撮影に参加しているユーザ全員に適用されるようにしてもよいし、ユーザ毎に適用されるようにしてもよい。ユーザ毎に適用される場合、例えば、ユーザAの写りに対しては、カメラアプリの写りの設定αを用い、ユーザBの写りに対しては、カメラアプリの写りの設定βを用いるといったことが可能となる。
【0072】
どのアプリの写りの設定を適用させるかを、ユーザ毎に選択することができるようにしてもよい。例えば、複数のカメラアプリが用意されている場合、ユーザAの写りに対しては、あるカメラアプリの写りの設定を用い、ユーザBの写りに対しては、他のカメラアプリの写りの設定を用いるといったことが可能となる。
【0073】
ゲーム時間は、1回のリモート撮影を行う時間を表す。ゲーム時間の間に、例えば複数回の撮影(合成画像の生成)が行われる。
【0074】
URLは、リモート撮影に対して割り当てられた識別情報である。主催者のユーザがリモート撮影に関する設定を行った場合、URLが発行される。主催者のユーザは、リモート撮影管理サーバ1により発行されたURLを、リモート撮影のゲームで一緒に遊ぶユーザに通知することで、リモート撮影の招待を行う。招待するユーザに対するURLの通知が、リモート撮影管理サーバ1により行われるようにしてもよい。
【0075】
URLがリモート撮影毎に発行されるようにしてもよいし、URLが共通のまま、リモート撮影毎に異なるIDやパスワードが発行されるようにしてもよい。IDやパスワードを、ユーザが設定するようにしてもよい。IDについてはユーザが設定し、パスワードについては自動生成されるようにしてもよい。IDとパスワードが自動生成されるようにしてもよい。
【0076】
リモート撮影の識別情報として、URLに代えて2次元コードが発行されるようにしてもよい。リモート撮影の識別情報として、所定の桁数の数字やアルファベットなどよりなる招待コードが発行されるようにしてもよい。主催者のユーザがリモート撮影アプリを起動、リモート撮影に関する設定を行ったときに招待コードが発行される。
【0077】
招待することができるユーザが特定のユーザに制限されるようにしてもよい(フレンド機能)。例えば、友達として設定されているユーザだけを招待することが可能とされる。所定のサービス上で主催者のユーザがフォローしているユーザ、または、主催者のユーザをフォローしているユーザが、招待可能な友達として設定される。また、主催者のユーザが利用しているSNSサービスで友達として設定しているユーザが、招待可能な友達として設定される。これにより、意図しないユーザがリモート撮影に参加してしまうことを排除し、セキュリティを向上させることができる。
【0078】
設定情報の内容を含むURLや2次元コードが生成されるようにしてもよい。
【0079】
このように、任意のユーザ同士でリモート撮影を行うための設定が、リモート撮影の準備として行われる。ゲーム制御部131が管理する設定情報は、リモート撮影の開始時に設定情報DB132から読み出され、画像処理部134に供給される。
【0080】
また、ゲーム制御部131は、リモート撮影を一緒に行うユーザが使用する複数台のスマートフォン2との間で通信を行い、それぞれのスマートフォン2におけるリモート撮影の一連の処理を制御する。
【0081】
すなわち、ゲーム制御部131は、リモート撮影を一緒に行うそれぞれのスマートフォン2のリモート撮影アプリと連携し、それぞれのスマートフォン2における撮影等の動作を同期させる。ゲーム制御部131は、動画像と静止画像の撮影を制御する撮影制御部としても機能する。
【0082】
動画像の撮影と静止画像の撮影の両方がゲーム制御部131による制御に応じて行われるのではなく、少なくともいずれかの撮影が、ゲーム制御部131による制御なしに、リモート撮影アプリにより行われるようにしてもよい。
【0083】
画像取得部133は、リモート撮影を一緒に行うユーザが使用する複数台のスマートフォン2のそれぞれにおいて撮影され、それぞれのスマートフォン2から送信されてきた画像を、通信部109を制御して取得する。
【0084】
静止画像の撮影前、それぞれのスマートフォン2からは、ライブビュー画像の生成に用いるための動画像であるライブビュー用動画像が送信されてくる。また、静止画像の撮影が行われた場合、それぞれのスマートフォン2からは、合成画像の生成に用いるための静止画像である合成用撮影画像が送信されてくる。画像取得部133により取得された画像は、画像処理部134に供給される。
【0085】
画像処理部134は、画像取得部133から供給されたライブビュー用動画像に基づいてライブビュー画像を生成する。
【0086】
ライブビュー画像の生成は、ゲーム制御部131から供給された設定情報の内容に従って行われる。例えば、設定情報に含まれる人数の情報に基づいて、ライブビュー画像における、それぞれのライブビュー用動画像に映るユーザの配置パターンが決定される。また、設定情報に含まれる写りの情報に基づいて、ライブビュー用動画像に対して画像処理が施される。
【0087】
また、画像処理部134は、画像取得部133から供給された合成用撮影画像に基づいて合成画像を生成する。合成画像の生成も、ライブビュー画像の生成と同様に、ゲーム制御部131から供給された設定情報の内容に従って行われる。ライブビュー画像における配置と同じ配置でそれぞれのユーザが写る合成画像が生成される。
【0088】
画像処理部134は、通信部109を制御することによって、ライブビュー画像と合成画像をスマートフォン2に送信し、それぞれのスマートフォン2において出力させる。画像処理部134は、リモート撮影を一緒に行っているそれぞれのユーザが使用するスマートフォン2においてライブビュー画像や合成画像を表示させたり、合成画像をメモリに記憶させたりするなどの、スマートフォン2における画像の出力を制御する。
【0089】
・スマートフォン2の構成
図12は、スマートフォン2の構成例を示すブロック図である。
【0090】
図12に示すように、スマートフォン2は、制御部301、メモリ302、通信部303、ディスプレイ304、操作部305、カメラ306、スピーカ307、およびマイク308により構成される。
【0091】
制御部301は、CPU,ROM,RAMなどにより構成される。制御部301は、所定のプログラムを実行することによって、スマートフォン2の全体の動作を制御する。
【0092】
制御部301においては、アプリケーション実行部301Aが実現される。リモート撮影アプリがアプリケーション実行部301Aにより実行されることにより、リモート撮影の一連の処理が実現される。
【0093】
メモリ302は、フラッシュメモリなどにより構成される。メモリ302は、リモート撮影管理サーバ1から送信されてきた合成画像、制御部301が実行するアプリケーションなどの各種の情報を記憶する。
【0094】
通信部303は、インターネット11を介して、リモート撮影管理サーバ1との間で通信を行う。通信部303は、リモート撮影管理サーバ1から送信されてきた情報を受信し、制御部301に出力する。
【0095】
ディスプレイ304は、有機ELディスプレイ、LCDなどにより構成される。ディスプレイ304は、リモート撮影アプリの画面などの各種の画面を表示する。
【0096】
操作部305は、各種のボタンや、ディスプレイ304に重ねて設けられたタッチパネルにより構成される。操作部305は、ユーザの操作の内容を表す信号を制御部301に出力する。
【0097】
カメラ306は、制御部301による制御に従って動画像や静止画像の撮影を行う。カメラ306により撮影された画像は制御部301に供給される。
【0098】
スピーカ307は、制御部301から供給された音声データに基づいて、リモート撮影を一緒に行っている相手の音声を出力する。
【0099】
マイク308は、ユーザの音声を検出し、音声データを制御部301に出力する。ユーザの音声は、リモート撮影を一緒に行っている相手のスマートフォン2に対して、リモート撮影管理サーバ1を介して送信される。
【0100】
図13は、スマートフォン2の機能構成例を示すブロック図である。
【0101】
図13に示すように、スマートフォン2においては、アプリケーション実行部301Aによりリモート撮影アプリが実行されることによって、撮影制御部311、出力制御部312、およびリモート撮影設定部313が実現される。
【0102】
撮影制御部311は、カメラ306を制御し、動画像や静止画像を撮影する。撮影制御部311は、撮影した動画像を、ライブビュー用動画像としてリモート撮影管理サーバ1に送信する。また、撮影制御部311は、撮影した静止画像を、合成用撮影画像としてリモート撮影管理サーバ1に送信する。
【0103】
出力制御部312は、リモート撮影管理サーバ1から送信されてきた情報に基づいて、リモート撮影アプリの画面をディスプレイ304に表示させる。例えば、出力制御部312は、リモート撮影管理サーバ1から送信されてきたライブビュー画像をディスプレイ304に表示させる。また、出力制御部312は、リモート撮影管理サーバ1から送信されてきた合成画像を撮影結果の画像としてディスプレイ304に表示させる。
【0104】
出力制御部312は、リモート撮影管理サーバ1から送信されてきた合成画像をメモリ302に出力し、記憶させる。
【0105】
リモート撮影設定部313は、リモート撮影に関する設定についてのユーザの操作を受け付け、設定の内容を表す情報をリモート撮影管理サーバ1に送信する。リモート撮影管理サーバ1においては、リモート撮影設定部313により受け付けられた内容に基づいて、上述したような設定情報が生成される。
【0106】
<リモート撮影の一連の処理>
図14および
図15のフローチャートを参照して、リモート撮影の一連の処理について説明する。
【0107】
ここでは、
図1を参照して説明したように、ユーザAが主催者となってユーザBを招待し、ユーザAとユーザBがリモート撮影を一緒に行うものとする。一連の処理は、ユーザAが使用するスマートフォン2A、ユーザBが使用するスマートフォン2B、およびリモート撮影管理サーバ1の間で行われる。
【0108】
あらかじめ発行されたURLを指定するなどしてリモート撮影の開始がユーザAにより指示された場合、ステップS1において、スマートフォン2Aのリモート撮影アプリは、インターネット11を介してリモート撮影管理サーバ1にアクセスする。
【0109】
同様に、リモート撮影の開始がユーザBにより指示された場合、ステップS21において、スマートフォン2Bのリモート撮影アプリは、インターネット11を介してリモート撮影管理サーバ1にアクセスする。
【0110】
ステップS41,S42において、リモート撮影管理サーバ1のゲーム制御部131は、スマートフォン2A,2Bによるアクセスをそれぞれ受け付ける。
【0111】
ステップS2において、スマートフォン2Aの撮影制御部311は、ライブビュー用動画像の撮影を開始する。
【0112】
ステップS3において、スマートフォン2Aの撮影制御部311は、ライブビュー用動画像をリモート撮影管理サーバ1に送信する。
【0113】
ステップS22において、スマートフォン2Bの撮影制御部311は、ライブビュー用動画像の撮影を開始する。
【0114】
ステップS23において、スマートフォン2Bの撮影制御部311は、ライブビュー用動画像をリモート撮影管理サーバ1に送信する。
【0115】
ステップS43,S44において、リモート撮影管理サーバ1の画像取得部133は、スマートフォン2A,2Bから送信されてきたライブビュー用動画像を取得する。
【0116】
ステップS45において、画像処理部134は、取得したライブビュー用動画像に基づいてライブビュー画像を生成する。
【0117】
ステップS46において、画像処理部134は、ライブビュー画像をスマートフォン2A,2Bのそれぞれに送信する。
【0118】
ステップS4において、スマートフォン2Aの出力制御部312は、リモート撮影管理サーバ1から送信されてきたライブビュー画像を受信する。
【0119】
ステップS5において、スマートフォン2Aの出力制御部312は、ライブビュー画像をディスプレイ304に表示させる。
【0120】
ステップS24において、スマートフォン2Bの出力制御部312は、リモート撮影管理サーバ1から送信されてきたライブビュー画像を受信する。
【0121】
ステップS25において、スマートフォン2Bの出力制御部312は、ライブビュー画像をディスプレイ304に表示させる。
【0122】
図16は、ライブビュー画像の表示例を示す図である。
【0123】
図16に示すように、スマートフォン2Aにおいて撮影されたライブビュー用動画像とスマートフォン2Bにおいて撮影されたライブビュー用動画像に基づいて生成された、ユーザAとユーザBが映るライブビュー画像が画面の略全体に表示される。左側に映る人物はユーザAであり、右側に映る人物はユーザBである。人物の配置をライブビュー画像の表示時にユーザが変更できるようにしてもよい。
【0124】
ライブビュー画像は、例えば、スマートフォン2Aにおいて撮影されたライブビュー用動画像とスマートフォン2Bにおいて撮影されたライブビュー用動画像をそれぞれの表示領域に配置し、合成することによって構成される。それぞれの表示領域には、少なくとも、それぞれのライブビュー用動画像から抽出された人物領域の画像が配置される。
【0125】
ライブビュー画像に重ねて撮影ボタン401が表示される。撮影ボタン401の隣には、撮影の準備ができたときに撮影ボタン401を押すことを案内するガイダンスが表示される。ガイダンスは、適宜、音声を用いて出力される。
【0126】
このようなライブビュー画像が、スマートフォン2Aとスマートフォン2Bのそれぞれにおいて同期して表示される。ユーザAとユーザBは、会話などをしながら、ライブビュー画像の表示を見てポーズをとる。
【0127】
例えば、ユーザAにより撮影ボタン401が押された場合、
図15のステップS6において、スマートフォン2Aの撮影制御部311は、撮影ボタン401が押されたことを表す情報をリモート撮影管理サーバ1に送信する。
【0128】
ステップS47において、リモート撮影管理サーバ1のゲーム制御部131は、スマートフォン2Aから送信されてきた情報を受信する。
【0129】
ステップS48において、ゲーム制御部131は、スマートフォン2A,2Bに対して1回目の静止画像の撮影を指示する。
【0130】
ステップS7において、スマートフォン2Aの撮影制御部311は、リモート撮影管理サーバ1から送信されてきた情報を受信し、ステップS8において、カメラ306を制御して静止画像を撮影する。
【0131】
リモート撮影アプリの画面においては、例えばカウントダウンの表示が開始され、カウントダウンが終了したタイミングで静止画像の撮影が行われる。撮影ボタン401を押したときにすぐに撮影が行われるのではなく、撮影ボタン401を押してから所定の時間が経過した後に、スマートフォン2Aとスマートフォン2Bとで同期して、ライブビュー画像の表示開始後の同じタイミングで静止画像の撮影が行われる。
【0132】
ステップS9において、スマートフォン2Aの撮影制御部311は、撮影によって得られた静止画像を合成用撮影画像としてリモート撮影管理サーバ1に送信する。
【0133】
スマートフォン2Bにおいても、スマートフォン2Aにおける撮影と同期して、合成用撮影画像の撮影が行われる。すなわち、ステップS26において、スマートフォン2Bの撮影制御部311は、リモート撮影管理サーバ1から送信されてきた情報を受信し、ステップS27において、カメラ306を制御して静止画像を撮影する。
【0134】
ステップS28において、スマートフォン2Bの撮影制御部311は、撮影によって得られた静止画像を合成用撮影画像としてリモート撮影管理サーバ1に送信する。
【0135】
ステップS49,S50において、リモート撮影管理サーバ1の画像取得部133は、スマートフォン2A,2Bから送信されてきた合成用撮影画像を受信する。
【0136】
ステップS51において、画像処理部134は、合成用撮影画像に基づいて合成画像を生成する。
【0137】
ステップS52において、画像処理部134は、生成した合成画像をスマートフォン2A,2Bのそれぞれに送信する。
【0138】
ステップS10において、スマートフォン2Aの出力制御部312は、リモート撮影管理サーバ1から送信されてきた合成画像を受信する。
【0139】
ステップS11において、スマートフォン2Aの出力制御部312は、合成画像を撮影結果の画像としてディスプレイ304に表示させる。ディスプレイ304には、ライブビュー画像に代えて合成画像が表示される。
【0140】
ステップS29において、スマートフォン2Bの出力制御部312は、リモート撮影管理サーバ1から送信されてきた合成画像を受信する。
【0141】
ステップS30において、スマートフォン2Aの出力制御部312は、合成画像を撮影結果の画像としてディスプレイ304に表示させる。ディスプレイ304には、ライブビュー画像に代えて合成画像が表示される。
【0142】
このように、スマートフォン2Aとスマートフォン2Bのそれぞれにおいて、撮影結果の合成画像が同期して表示される。ユーザAとユーザBは、同じ合成画像を見て会話をして楽しむことができる。
【0143】
リモート撮影管理サーバ1から送信されてきた合成画像は、ディスプレイ304に表示されるとともに、例えばメモリ302に記憶され、リモート撮影アプリを操作してユーザがいつでも閲覧することができる状態になる。
【0144】
以上のような撮影が、例えばリモート撮影に関する設定として設定された回数だけ繰り返し行われる。複数回の撮影が行われ、複数枚の合成画像がユーザに提供された後、処理は終了となる。
【0145】
以上の処理により、それぞれのユーザは、離れたところにいながらも、自分たちが一緒に写る静止画像を得ることができる。
【0146】
静止画像の撮影毎にユーザが撮影ボタン401を押すものとしたが、撮影ボタン401を1回押した後に、連続して撮影が行われるようにしてもよい。連続での撮影は例えば所定の時間間隔で行われる。
【0147】
連続での撮影が開始された後、撮影を一時中断することができるようにしてもよい。これにより、ユーザはポーズを決めたり、身だしなみを整えたりすることが可能となる。
【0148】
撮影を一緒に行っているユーザのだれもが撮影を開始させることができるのではなく、主催者のユーザだけが開始させることができるようにしてもよい。この場合、主催者のユーザが使用するスマートフォン2の画面にだけ、撮影ボタン401が表示される。
【0149】
撮影ボタン401をそれぞれのユーザが押すことができるようにしてもよい。タイムラグがあった場合の救済措置となる。
【0150】
<ライブビュー画像の表示>
ここで、ライブビュー画像の表示の詳細について説明する。以下のようなライブビュー画像の表示が、例えば、リモート撮影管理サーバ1のゲーム制御部131(
図10)と、スマートフォン2のリモート撮影アプリ(
図13の出力制御部312)が連携して実現される。
【0151】
・分割数の設定
図17は、ライブビュー画像の表示例を示す図である。
【0152】
図17においては、撮影ボタン401等の表示の図示が省略されている。後述する
図18等においても同様である。
【0153】
撮影を一緒に行っているユーザが2人である場合、
図17に示すように、左右2つの表示領域A1,A2に分割されたライブビュー画像が表示される。それぞれの表示領域には、スマートフォン2Aとスマートフォン2Bのそれぞれにおいて撮影されたライブビュー用動画像に映るユーザが表示される。
【0154】
図17に示すように、ユーザAが表示領域A1に表示され、ユーザBが表示領域A2に表示されている場合、静止画像の撮影が行われた後に得られる合成画像も、ユーザAが左側に写り、ユーザBが左側に写る画像となる。このようなライブビュー画像が表示されることにより、ユーザは出来上がりをイメージしながら撮影を行うことができる。ライブビュー画像上における配置と異なる配置となるように、合成画像上におけるユーザの配置の変更が受け付けられるようにしてもよい。
【0155】
ライブビュー画像と合成画像のそれぞれの写りの左右反転あり・なしを選択することができるようにしてもよい。鏡に映っている自分を見ているかのように表示させることにより、ユーザは自分の映りに対する違和感を軽減させることが可能となる。
【0156】
図18は、ライブビュー画像の他の表示例を示す図である。
【0157】
撮影を一緒に行っているユーザが3人である場合、
図18に示すように、3つの表示領域A1,A2,A3に分割されたライブビュー画像が表示される。それぞれの表示領域には、スマートフォン2A乃至2Cのそれぞれにおいて撮影されたライブビュー用動画像に映るユーザが表示される。
【0158】
図18に示すように、ユーザA、ユーザB、ユーザCがそれぞれ表示領域A1乃至A3に表示されている場合、静止画像の撮影が行われた後に得られる合成画像も、ユーザAが左側に写り、ユーザBが中央に写り、ユーザCが右側に写る画像となる。
【0159】
ライブビュー画像の分割数は、撮影を一緒に行うユーザの人数に応じて決定される。
【0160】
撮影を一緒に行うユーザの人数は、例えば、同時にアクセスしているスマートフォン2の台数と同じ数であるとしてリモート撮影管理サーバ1において判断される。この場合、リモート撮影に使用されている携帯端末の台数と同じ数の表示領域にライブビュー画像が分割され、それぞれの表示領域に、それぞれのスマートフォン2において撮影されたライブビュー用動画像に映るユーザが表示される。
【0161】
撮影を一緒に行うユーザの人数が、主催者のユーザによる事前の設定の内容に基づいて判断されるようにしてもよい。
【0162】
それぞれのスマートフォン2から送信されてきたライブビュー用動画像に映るユーザの顔がリモート撮影管理サーバ1により認識され、認識された顔の数に基づいて、撮影を一緒に行うユーザの人数が判断されるようにしてもよい。この場合、例えば、ユーザ管理部として機能するゲーム制御部131により、ライブビュー用動画像が解析され、顔の認識が行われる。
【0163】
図19は、ライブビュー画像の表示例を示す図である。
【0164】
図7等を参照して説明したように、1台のスマートフォン2を使用しているユーザが複数人であることもある。この場合、より多い人数が映る表示領域として、少ない人数が映る表示領域よりも広い領域が設定される。
【0165】
図19の例においては、一方のスマートフォン2により撮影されたライブビュー用動画像に映るユーザAとユーザBが左側の表示領域A1に表示され、他方のスマートフォン2により撮影されたライブビュー用動画像に映るユーザCが右側の表示領域A2に表示されている。表示領域A1に対して、例えば画面全体の2/3の領域が割り当てられ、表示領域A2に対して残りの1/3の領域が割り当てられる。
【0166】
このように、ライブビュー画像を分割するそれぞれの表示領域の広さは、それぞれの表示領域に映るユーザの人数に応じて決定される。
【0167】
図20に示すように、表示領域の境界をユーザが動かし、それぞれの表示領域の広さを調整することができるようにしてもよい。
図20の例においては、ライブビュー画像に表示された境界線を指で左右に動かすことにより、それぞれの表示領域の広さを調整することができるようになっている。
【0168】
分割数や表示領域の広さが異なる、ライブビュー画像のレイアウトが複数種類用意されており、用意されているレイアウトの中からユーザが選択することができるようにしてもよい。
【0169】
・境界線の表示
表示領域の境界を表す境界線が、ライブビュー画像の表示開始から一定の時間だけ表示され、一定の時間が経過したときに消えるようにしてもよい。画面が大きく表示されることにより、見やすく、ポーズの自由度が上がる。
【0170】
表示領域の境界を表す境界線のオン/オフ(表示させるか/表示させないか)、境界線の色、境界線の太さ、境界線の濃度をユーザが選択することができるようにしてもよい。線ではなく、背景の色の違いによってそれぞれの表示領域が表現されるようにしてもよい。
【0171】
・ライブビュー用動画像の向き
図21は、ライブビュー画像の他の表示例を示す図である。
【0172】
図21の表示領域A1に示すように、画像の向き(ライブビュー用動画像に映るユーザの向き)のガイドとなる情報が表示されるようにしてもよい。
図21の例においては、画像の上方向を案内するメッセージが表示領域A1の上縁に沿って表示されている。メッセージや記号などの視覚的な情報だけでなく、音声案内によって画像の向きのガイドが提示されるようにしてもよい。
【0173】
リモート撮影に使うスマートフォン2は、筐体の向きを容易に変えることができるデバイスである。そのため、
図22の上方に示すように、ユーザAが使用するスマートフォン2の筐体の向きによっては、ユーザAの向きが、ユーザBの向きと異なる向きになることがある。
【0174】
画像の向きのガイドとなる情報が提示されることにより、ユーザは、筐体の向きを変えたり、画像を回転させたりして、画像の向きを調整することができる。例えば、画像を回転する操作がユーザAにより行われた場合、
図22の矢印の先に示すように、ユーザAが映る画像が回転して表示される。
【0175】
画像に映る顔の向きを認識し、顔の向きが揃っていない場合に、画像の向きのガイドとなる情報が提示されるようにしてもよい。他のユーザの顔の向きと揃っていないユーザに対してだけ、画像の向きのガイドとなる情報が提示されるようにしてもよい。
【0176】
画像の回転のための操作については、主催者のユーザだけが行うことができるようにしてもよいし、それぞれのユーザが行うことができるようにしてもよい。画像の回転のための操作をそれぞれのユーザが行うことができるとした場合、1人が調整中のときは、他のユーザは調整できない。これにより、1人が調整しているときに、調整しなくていい画像の向きを誤って調整してしまうといったことを防ぐことが可能となる。
【0177】
・画像の拡大表示
表示領域が選択された場合、その表示領域に表示されている画像が拡大して表示されるようにしてもよい。これにより、ユーザは自分の写りを撮影前に詳しく確認することができる。
【0178】
・付加情報の表示
ポーズの見本となるポーズ画像がライブビュー画像とともに表示されるようにしてもよい。
【0179】
撮影の前にポーズ画像を表示するか否かをユーザに選択させるようにしてもよい。ポーズ画像を表示する場合、どのポーズで撮影したいかをユーザに選択させるようにしてもよい。ポーズ画像として、ユーザのスマートフォン2に保存されている画像が使用されるようにしてもよい。
【0180】
他のアプリの機能によって保存されている画像がポーズ画像として用いられるようにしてもよい。例えば、コミュニティサイトに投稿されている画像をポーズ画像として用いることが可能とされる。コミュニティサイトとして、後述する写真シール作成装置により撮影された画像の投稿サイトが用いられる。例えば、画像の撮影に用いた写真シール作成装置の機種別やポーズ別での画像検索の機能、ワードを用いた画像検索の機能がコミュニティサイトに用意される。コミュニティサイトには、画像のランキング表示、ピックアップ表示、お気に入り登録などの機能も用意される。
【0181】
顔の位置や大きさを合わせるためのガイドとなる情報が表示されるようにしてもよい。
【0182】
【0183】
図23Aの例においては、表示領域A1と表示領域A2のそれぞれに、顔の位置や大きさを合わせるため基準となる情報である縦長楕円形のガイド画像G1,G2が表示されている。
図23Aに示すライブビュー画像は、例えば、
図17を参照して説明したようにユーザAとユーザBが2人で撮影を行っている場合に表示される画像である。
【0184】
表示領域A1の表示を見ながら撮影の準備をしているユーザAは、ガイド画像G1に自分の顔を合わせるように、スマートフォン2との距離やスマートフォン2と自分の位置関係を調整する。また、表示領域A2の表示を見ながら撮影の準備をしているユーザBは、ガイド画像G2に自分の顔を合わせるように、スマートフォン2との距離やスマートフォン2と自分の位置関係を調整する。
【0185】
図23Bの例においては、表示領域A1にガイド画像G1-1,G1-2が表示され、表示領域A2にガイド画像G2が表示されている。
図23Bに示すライブビュー画像は、例えば、
図19を参照して説明したように、ユーザAとユーザBが1台のスマートフォン2を使用し、ユーザCが1台のスマートフォン2を使用して3人で撮影を行っている場合に表示される画像である。
【0186】
表示領域A1の表示を見ながら撮影の準備をしているユーザAとユーザBは、それぞれ、ガイド画像G1-1,G1-2に自分の顔を合わせるように、スマートフォン2との距離やスマートフォン2と自分の位置関係を調整する。また、表示領域A2の表示を見ながら撮影の準備をしているユーザCは、ガイド画像G2に自分の顔を合わせるように、スマートフォン2との距離やスマートフォン2と自分の位置関係を調整する。
【0187】
このように、それぞれの表示領域に映る人数に応じた数のガイド画像が表示される。
【0188】
ガイド画像が、楕円形の画像ではなく、矩形の画像、直線の画像などで構成されるようにしてもよい。
【0189】
それぞれの表示領域に表示されるガイド画像が同じ大きさであってもよいし、異なる大きさであってもよい。それぞれのガイド画像の大きさをユーザが選択することができるようにしてもよい。
【0190】
<提供画像>
リモート撮影を行ったそれぞれのユーザに静止画像である合成画像が提供されるものとしたが、他の画像が提供されるようにしてもよい。
【0191】
【0192】
図24Aに示すように、合成画像P51とともに、動画像P52が提供されるようにしてもよい。動画像P52は、例えば、ライブビュー用動画像を合成することによって生成された動画像である。
【0193】
図24Bに示すように、合成画像P51とともに、個別画像P53が提供されるようにしてもよい。個別画像P53は、合成用撮影画像に基づいて生成された静止画像である。リモート撮影を一緒に行ったユーザがユーザAとユーザBである場合、例えば、ユーザAが写る個別画像P53が合成画像P51とともにユーザAに提供され、ユーザBが写る個別画像P53が合成画像P51とともにユーザBに提供される。
【0194】
このように、リモート撮影を行ったそれぞれのユーザに同じ画像が提供されるようにしてもよいし、異なる画像が提供されるようにしてもよい。
【0195】
<画像の調整>
リモート撮影によって提供された合成画像の写りを、リモート撮影後に調整することができるようにしてもよい。
【0196】
・位置の調整
図25は、配置位置の例を示す図である。
【0197】
例えば、
図18を参照して説明したような3人のユーザが横に並んで写る合成画像が撮影された場合、
図25に示すように、それぞれのユーザの位置を動かして、好みの位置に調整することができるようにしてもよい。
【0198】
図25の例においては、ユーザAとユーザCに重ねてユーザBが配置されている。このように、それぞれのユーザのレイヤを選択することによって、前後関係を調整することができるようにしてもよい。
【0199】
位置の調整だけでなく、拡大したり縮小したりといったように、サイズを調整することができるようにしてもよい。
【0200】
位置の調整の際、ガイドとなる情報が表示されるようにしてもよい。ガイドとなる情報として、例えば、グリッド線、十字などが表示される。
【0201】
・画質の調整
スマートフォン2に搭載されたカメラ306の仕様やリモート撮影の場所等によっては、撮影された画像の画質、明るさ、および色等が異なる。そのため、ユーザによる画質の調整を受け付け、キャリブレーションが手動または自動で行われるようにしてもよい。例えば、平均的な画質や明るさにしたり、明るい方に合わせたり、画質が良い方に合わせたりといった調整が行われる。
【0202】
ディスプレイ(モニタ)、プリンタ、イメージスキャナ、デジタルカメラなどに搭載される機能と同様の機能を用いて、機器毎の発色特性の違い、個体差、経時変化などを補正することができるようにしてもよい。
【0203】
・レタッチ、メイクなどの画像処理
レタッチは、目の大きさや肌の色を調整する画像処理である。メイクは、化粧をしたように見せる画像処理である。レタッチやメイクを用いた画像処理の際、画像処理前の画像と比較することができるようにしてもよい。
【0204】
・コンテンツの合成
合成画像に対して、コンテンツを用いた編集を施すことができるようにしてもよい。コンテンツには、例えば、背景画像、スタンプ画像、ペン画像がある。背景画像は、人物のレイヤの背景のレイヤに合成される画像である。スタンプ画像は、合成画像上の、指などで指定した位置に合成される所定のデザインの画像である。ペン画像は、指などの移動の軌跡に沿って合成される画像である。
【0205】
ベール、オーラ、フィルタなどの他のコンテンツを用いた画像処理が合成画像に対して施されるようにしてもよい。ベール、オーラ、フィルタは色味などを調整する画像処理である。
【0206】
画像処理に用いるコンテンツを、リモート撮影後ではなく、リモート撮影の開始前や、リモート撮影中に選択することができるようにしてもよい。リモート撮影中に選択したコンテンツは、ライブビュー画像の表示などに反映される。リモート撮影の開始前やリモート撮影中に選択したコンテンツを、リモート撮影後に変更したり、合成位置を変更したりすることができるようにしてもよい。
【0207】
<その他>
・重ね撮り
あるユーザの静止画像に重ねて、他のユーザの静止画像を合成する重ね撮りの機能を利用することができるようにしてもよい。この場合、あるユーザの静止画像と他のユーザの静止画像の撮影が同じタイミングで行われるのではなく、異なるタイミングで行われるようにしてもよい。
【0208】
重ね撮りの機能については、リモート撮影を一緒に行うユーザの人数が、閾値として設定された人数より多い場合に利用することができるようにしてもよい。
【0209】
・1対多のリモート撮影
1人のユーザが、複数の他のユーザのそれぞれと同時にリモート撮影を行うことができるようにしてもよい。1人のユーザが複数のユーザのそれぞれと撮影を行うという意味で、このようなリモート撮影は1対多のリモート撮影となる。
【0210】
図26は、1対多のリモート撮影を行う場合の合成画像の例を示す図である。
【0211】
図26の例においては、ユーザAは、ユーザBとリモート撮影を一緒に行うとともに、ユーザCとリモート撮影を一緒に行う。前者のリモート撮影はユーザA-B間のリモート撮影となり、後者のリモート撮影はユーザA-C間のリモート撮影となる。ユーザA-B間のリモート撮影と、ユーザA-C間のリモート撮影は同時に行われる。
【0212】
スマートフォン2Aにおいて撮影されたユーザAが写る画像、スマートフォン2Bにおいて撮影されたユーザBが写る画像、スマートフォン2Cにおいて撮影されたユーザCが写る画像は、それぞれリモート撮影管理サーバ1に送信され、ライブビュー画像や合成画像の生成に用いられる。
【0213】
例えば、スマートフォン2Aにおいて撮影されたライブビュー用動画像とスマートフォン2Bにおいて撮影されたライブビュー用動画像に基づいて、ユーザA-B間のリモート撮影用のライブビュー画像が、スマートフォン2A、スマートフォン2Bのそれぞれにおいて表示される。
【0214】
また、スマートフォン2Aにおいて撮影されたライブビュー用動画像とスマートフォン2Cにおいて撮影されたライブビュー用動画像に基づいて、ユーザA-C間のリモート撮影用のライブビュー画像が、スマートフォン2A、スマートフォン2Cのそれぞれにおいて表示される。
【0215】
スマートフォン2A乃至2Cのそれぞれにおいて静止画像の撮影が行われた場合、リモート撮影管理サーバ1においては、それぞれのリモート撮影用の合成画像が生成され、それぞれのリモート撮影に参加しているユーザに対して提供される。
【0216】
すなわち、
図26に示すように、スマートフォン2Aにおいて撮影された合成用撮影画像とスマートフォン2Bにおいて撮影された合成用撮影画像に基づいて生成された合成画像P61が、ユーザA-B間のリモート撮影用の合成画像として生成され、ユーザAとユーザBに対して提供される。
【0217】
また、スマートフォン2Aにおいて撮影された合成用撮影画像とスマートフォン2Cにおいて撮影された合成用撮影画像に基づいて生成された合成画像P62が、ユーザA-C間のリモート撮影用の合成画像として生成され、ユーザAとユーザCに対して提供される。
【0218】
このように、1人のユーザが複数のリモート撮影に同時に参加するようにしてもよい。例えば、著名人が1人のユーザとなって、複数の他のユーザとリモート撮影を行うことも可能となる。著名人が映る画像が、所定の時間が経過したタイミングで別のユーザが写る画像に切り替えられるようにしてもよい。
【0219】
・撮影装置の例
リモート撮影がスマートフォンを用いて行われるものとしたが、ゲームセンターに設置されている写真シール作成装置などの、カメラを有する他の撮影装置を用いて行われるようにしてもよい。写真シール作成装置は、ゲームの料金を支払った利用者を撮影し、利用者が写る画像を印刷したシール紙を提供するゲーム機である。
【0220】
リモート撮影アプリを用いて生成した合成画像を写真シール作成装置のプリンタを使って印刷することができるようにしてもよい。
【0221】
・プログラムの例
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、汎用のパーソナルコンピュータなどにインストールされる。
【0222】
インストールされるプログラムは、光ディスク(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等)や半導体メモリなどよりなるリムーバブルメディアに記録して提供される。また、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供されるようにしてもよい。プログラムは、あらかじめインストールしておくことができる。
【0223】
コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【0224】
本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
【0225】
本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
【0226】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【0227】
例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【0228】
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
【0229】
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
【符号の説明】
【0230】
1 リモート撮影管理サーバ, 2 スマートフォン, 121 情報処理部, 131 ゲーム制御部, 132 設定情報DB, 133 画像取得部, 134 画像処理部, 301 制御部, 301A アプリケーション実行部, 311 撮影制御部, 312 出制御部, 313 リモート撮影設定部