IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社ミクシィの特許一覧

特許7401736情報処理装置、情報処理システム、及び情報処理プログラム
<>
  • 特許-情報処理装置、情報処理システム、及び情報処理プログラム 図1
  • 特許-情報処理装置、情報処理システム、及び情報処理プログラム 図2
  • 特許-情報処理装置、情報処理システム、及び情報処理プログラム 図3
  • 特許-情報処理装置、情報処理システム、及び情報処理プログラム 図4
  • 特許-情報処理装置、情報処理システム、及び情報処理プログラム 図5
  • 特許-情報処理装置、情報処理システム、及び情報処理プログラム 図6
  • 特許-情報処理装置、情報処理システム、及び情報処理プログラム 図7
  • 特許-情報処理装置、情報処理システム、及び情報処理プログラム 図8
  • 特許-情報処理装置、情報処理システム、及び情報処理プログラム 図9
  • 特許-情報処理装置、情報処理システム、及び情報処理プログラム 図10
  • 特許-情報処理装置、情報処理システム、及び情報処理プログラム 図11
  • 特許-情報処理装置、情報処理システム、及び情報処理プログラム 図12
  • 特許-情報処理装置、情報処理システム、及び情報処理プログラム 図13
  • 特許-情報処理装置、情報処理システム、及び情報処理プログラム 図14
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-12
(45)【発行日】2023-12-20
(54)【発明の名称】情報処理装置、情報処理システム、及び情報処理プログラム
(51)【国際特許分類】
   H04N 7/15 20060101AFI20231213BHJP
   H04L 67/02 20220101ALI20231213BHJP
   H04N 21/431 20110101ALI20231213BHJP
【FI】
H04N7/15
H04L67/02
H04N21/431
【請求項の数】 3
(21)【出願番号】P 2019177249
(22)【出願日】2019-09-27
(65)【公開番号】P2021057686
(43)【公開日】2021-04-08
【審査請求日】2022-08-02
(73)【特許権者】
【識別番号】500033117
【氏名又は名称】株式会社MIXI
(74)【代理人】
【識別番号】110001139
【氏名又は名称】SK弁理士法人
(74)【代理人】
【識別番号】100130328
【弁理士】
【氏名又は名称】奥野 彰彦
(74)【代理人】
【識別番号】100130672
【弁理士】
【氏名又は名称】伊藤 寛之
(72)【発明者】
【氏名】小野里 浩司
【審査官】鈴木 順三
(56)【参考文献】
【文献】特開2009-017211(JP,A)
【文献】特開2003-250073(JP,A)
【文献】特開2011-205232(JP,A)
【文献】特開2014-007723(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/14 - 7/173
H04N 21/00 - 21/858
H04L 67/00 - 67/75
(57)【特許請求の範囲】
【請求項1】
送信側端末装置と受信側端末装置との間で通信可能な情報処理システムであって、
撮影画像の少なくとも一部を前記送信側端末装置のディスプレイに表示する表示制御部と、
前記撮影画像の少なくとも一部を前記受信側端末装置に送信する通信部と、
第1送信側端末装置と第2送信側端末装置とを含む複数の前記送信側端末装置及び前記受信側端末装置と通信するサーバ装置とを備え、
前記表示制御部は、前記受信側端末装置における前記撮影画像の表示領域を前記撮影画像とともに前記ディスプレイに表示させ、
前記サーバ装置は、
前記第1送信側端末装置からの第1撮影画像と、前記第2送信側端末装置からの第2撮影画像とに基づき生成される複合画像を前記受信側端末装置に送信し、
前記第1撮影画像のうち前記複合画像において表示される第1表示領域を前記第1送信側端末装置に通知するとともに、前記第2撮影画像のうち前記複合画像において表示される第2表示領域を前記第2送信側端末装置に通知し、
前記第1送信側端末装置は、前記第1表示領域を前記第1撮影画像とともに前記第1送信側端末装置のディスプレイに表示させ、
前記第2送信側端末装置は、前記第2表示領域を前記第2撮影画像とともに前記第2送信側端末装置のディスプレイに表示させる、情報処理システム。
【請求項2】
第1送信側端末装置と第2送信側端末装置とを含む複数の送信側端末装置及び受信側端末装置を備える情報処理システムにおける情報処理方法であって、
撮影画像の少なくとも一部を前記送信側端末装置のディスプレイに表示し、
前記撮影画像の少なくとも一部を前記受信側端末装置に送信し、
前記受信側端末装置における前記撮影画像の表示領域を前記撮影画像とともに前記ディスプレイに表示させ、
前記第1送信側端末装置からの第1撮影画像と、前記第2送信側端末装置からの第2撮影画像とに基づき生成される複合画像を前記受信側端末装置に送信し、
前記第1撮影画像のうち前記複合画像において表示される第1表示領域を前記第1送信側端末装置に通知するとともに、前記第2撮影画像のうち前記複合画像において表示される第2表示領域を前記第2送信側端末装置に通知し、
前記第1表示領域を前記第1撮影画像とともに前記第1送信側端末装置のディスプレイに表示させ、
前記第2表示領域を前記第2撮影画像とともに前記第2送信側端末装置のディスプレイに表示させる、情報処理方法。
【請求項3】
サーバ装置および受信側端末装置と通信可能な第1送信側端末装置のコンピュータに、
撮影画像の少なくとも一部を前記第1送信側端末装置のディスプレイに表示するステップと、
前記撮影画像の少なくとも一部を前記受信側端末装置に送信するステップと、
前記受信側端末装置における前記撮影画像の表示領域を前記撮影画像とともに前記ディスプレイに表示させるステップと、
前記第1送信側端末装置によって撮影された第1撮影画像のうち、前記第1撮影画像と第2送信側端末装置によって撮影された第2撮影画像とに基づき生成される複合画像において表示される第1表示領域の通知を前記サーバ装置から取得するステップと、
取得した前記第1表示領域を前記第1撮影画像とともに前記第1送信側端末装置のディスプレイに表示させるステップと、
を実行させる情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理システム、及び情報処理プログラムに関する。
【背景技術】
【0002】
コンピュータネットワークを介して携帯端末等の情報処理装置に配信されるウェブサイト(Webページ,Webサービス)やオンラインゲーム、アプリケーションソフトウェア(以下「アプリ」という。)等のオンラインサービスが広く普及している。
【0003】
オンラインサービスの一つに、ユーザ自身が撮影した動画を投稿し、他のユーザによる当該動画の視聴を可能とする動画投稿サイトがある。動画投稿サイトには、ユーザ自身による歌唱動画等のパフォーマンス動画の投稿も行われている。また、異なる投稿者によるパフォーマンス動画の対戦といったオンラインサービスもある。
【0004】
画像の撮影技術については、これまで種々の提案がなされている。例えば、特許文献1は、表示部に表示する構図に関する補助表示の種類を設定する設定手段を備えた表示制御装置を開示している。設定手段は、静止画モードにおける第一の補助表示と動画モードにおける第二の補助表示とを分けて設定する。
【0005】
また、特許文献2は、撮像手段により撮像される撮影画像全体の画角範囲に対して、撮影目的の被写体を撮影する画角範囲を所定の画角範囲に制限する場合の該所定の画角範囲をセーフエリアとして設定し、AF枠がセーフエリアの外側に移動するおそれがあると判断された場合に、その旨の警告を行う警告手段とを備えるセーフエリア警告装置を開示している。
【先行技術文献】
【特許文献】
【0006】
【文献】特開2016-123033号公報
【文献】特開2010-152135号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、投稿動画を受信する端末装置に表示される投稿動画は、投稿するユーザには認識できないから、投稿、すなわち画像を送信するユーザは、他のユーザに視聴される画像として、自身が望む動画を投稿できていない場合がある。特許文献1及び特許文献2の技術では、この問題は解決できない。
【0008】
そこで、本発明は、受信側端末装置に表示される画像を送信側端末装置で認識できる情報処理装置、情報処理システム、及び情報処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明の情報処理装置は、受信側端末装置と通信可能な情報処理装置であって、撮影画像の少なくとも一部をディスプレイに表示する表示制御部と、撮影画像の少なくとも一部を受信側端末装置に送信する通信部と、を備え、表示制御部は、受信側端末装置における撮影画像の表示領域を撮影画像とともにディスプレイに表示させる。
【発明の効果】
【0010】
本発明によれば、受信側端末装置に表示される画像を送信側端末装置で認識できる。
【図面の簡単な説明】
【0011】
図1】本発明の一実施形態であるカラオケシステムの概略図である。
図2】サーバの電気的構成の説明図である。
図3】携帯端末の電気的構成の説明図である。
図4】歌唱動画を撮影する場合における携帯端末の画面表示の説明図である。
図5】視聴する携帯端末における表示領域を変化させる場合の、歌唱動画を撮影する携帯端末の画面表示の説明図である。
図6】視聴する携帯端末の画面表示の説明図である。
図7】視聴する携帯端末の画面表示の説明図である。
図8】視聴に用いる携帯端末に表示される、対戦歌唱の場合の画面表示の説明図である。
図9】対戦楽曲の分割の説明図である。
図10】視聴に用いる携帯端末に表示される、対戦歌唱の場合の画面表示の説明図である。
図11】歌唱動画を送信する携帯端末の機能ブロック図である。
図12】歌唱動画を送信する携帯端末における、対戦歌唱処理のフロー図である。
図13】サーバの機能ブロック図である。
図14】サーバにおける対戦歌唱処理のフロー図である。
【発明を実施するための形態】
【0012】
本実施形態ではパフォーマーが自身のパフォーマンスを携帯端末を用いて動画として記録してサーバ装置へ送信することで動画投稿サイトにアップロードする。動画投稿サイトにアップロードされた動画(投稿動画)は、携帯端末を介して視聴可能とされる。なお、本実施形態では、パフォーマンスを歌唱とし、パフォーマーを歌唱ユーザとし、動画投稿サイトにアップロードされる動画を歌唱動画とする。また、動画投稿サイトにアップロードされた歌唱動画を視聴するユーザを視聴ユーザという。なお、本例ではサーバ装置を介して歌唱ユーザから視聴ユーザへ動画を送信するが、サーバ装置を介することなく歌唱ユーザから視聴ユーザへ動画を送信してもよい。
【0013】
図1に示すカラオケシステム1は、情報処理システムの実施形態の一例である。カラオケシステム1は、通信回線2を介して接続されることにより互いに通信可能な、携帯端末3A1,3A2,3B、及びサーバ装置の一例であるサーバ4を含んで構成される。以下の説明において、携帯端末3A1と携帯端末3A2とを区別しない場合には、総称して携帯端末3Aとし、携帯端末3Aと携帯端末3Bとを区別しない場合には総称して携帯端末3とする。
【0014】
通信回線2は、コンピュータネットワークを形成するものであり、例えば、電気事業者によって提供される広域通信回線である。
【0015】
携帯端末3は、オンラインサービスをユーザが利用するために用いる端末装置の一例であり、例えば、スマートフォンやタブレット端末、ノートパソコン等の情報処理端末である。携帯端末3は、画像を表示するタッチパネルディスプレイ3a、音を出力するスピーカー3b、音が入力されるマイクロフォン3c、被写体を撮影するカメラ3d、及びイヤホン(図示無し)が接続されるイヤホンジャック3e等を備える。なお、ここでいう撮影とは、カメラ3dが作動し、録画の有無にかかわりなく被写体がタッチパネルディスプレイ3aに表示されている状態である。タッチパネルディスプレイ3aは、例えばLCD(Liquid Crystal Display)及びタッチセンサを備える。LCDは、各種画像を表示し、タッチセンサは、指、スタイラス、又はペン等の指示体を用いて行われる各種入力操作を受け付ける。
【0016】
サーバ4は、通信回線2を介して、携帯端末3へオンラインサービスを提供する情報処理装置である。なお、図1の例では、歌唱ユーザが携帯端末3Aから自身の歌唱動画(歌唱動画データ)をサーバ4へ送信することで当該歌唱動画が動画投稿サイトにアップロードされ、視聴ユーザに向けて配信される。視聴ユーザは、携帯端末3Bを用いて動画投稿サイトへアクセスし、当該歌唱動画を取得して視聴する。このように、携帯端末3Aは、歌唱ユーザが歌唱動画の送信に使用する送信側端末装置であり、携帯端末3Bは視聴ユーザが歌唱動画の受信に使用する受信側端末装置である。ただし、歌唱ユーザは、携帯端末3Aを用いて動画投稿サイトへアクセスすることで、自身がアップロードした歌唱動画を視聴することが可能である。また、携帯端末3Bのユーザが歌唱ユーザとなり、歌唱動画を動画投稿サイトにアップロードすることも可能である。
【0017】
サーバ4の電気的構成の一例を図2を参照しながら説明する。サーバ4は、サーバ4全体を制御する主制御部であるCPU(Central Processing Unit)20、各種プログラム及び各種データ等が予め記憶されたROM(Read Only Memory)22、CPU20による各種プログラムの実行時のワークエリア等として用いられるRAM(Random Access Memory)24、各種プログラム及び各種データを記憶する記憶手段としてのHDD(Hard Disk Drive)26を備えている。
【0018】
HDD26は、携帯端末3Aから送信された歌唱動画データ、すなわち動画投稿サイトにアップロードされた歌唱動画データや、歌唱ユーザが歌唱可能な楽曲を示す楽曲データ等を記憶する。なお、記憶手段は、HDD26に限らず、例えば、フラッシュメモリ等の半導体メモリ等の他の記憶媒体であってもよい。
【0019】
さらに、サーバ4は、キーボード及びマウス等で構成されて各種操作の入力を受け付ける操作入力部28、各種画像を表示する例えば液晶ディスプレイ装置等のモニタ30、通信回線2を介して携帯端末3等の他の情報処理装置等と接続され、他の情報処理装置等との間で各種データの送受信を行う外部インタフェース32を備えている。
【0020】
これらCPU20、ROM22、RAM24、HDD26、操作入力部28、モニタ30、及び外部インタフェース32は、システムバス34を介して相互に電気的に接続されている。従って、CPU20は、ROM22、RAM24、及びHDD26へのアクセス、操作入力部28に対する操作状態の把握、モニタ30に対する画像の表示、並びに外部インタフェース32を介した他の情報処理装置等との各種データの送受信等を行なうことができる。
【0021】
携帯端末3の電気的構成を、図3を参照しながら説明する。携帯端末3は、タッチパネルディスプレイ(以下、「画面」と称する)3a、スピーカー3b、マイクロフォン3c、カメラ3d、イヤホンジャック3eに加えて、主制御部40、主記憶部42、補助記憶部44、通信部46、及び操作ボタン48を備える。
【0022】
主制御部40は、例えば、CPU、マイクロプロセッサ、DSP(Digital Signal Processor)等であり、携帯端末3の全体を制御する。
【0023】
主記憶部42は、例えば、RAMやDRAM(Dynamic Random Access Memory)等で構成されており、主制御部40による各種プログラムに基づく処理の実行時のワークエリア等として用いられる。
【0024】
補助記憶部44は、例えば、フラッシュメモリ等の不揮発性メモリであり、画像等の各種データ及び主制御部40の処理に利用されるプログラム等を保存する。補助記憶部44に記憶されるプログラムは、例えば、携帯端末3の基本的な機能を実現するためのOS(Operating System)、各種ハードウェアを制御するためのドライバ、電子メールやウェブブラウジング、その他各種機能を実現するためのプログラム等である。また、補助記憶部44には、歌唱動画の撮影や投稿及び動画投稿サイトを視聴するためのアプリケーション(以下、「動画投稿視聴アプリ」と称する)が予め記憶されている。補助記憶部44には、撮影画像(歌唱動画)の少なくとも一部をディスプレイに表示する表示制御ステップと、撮影画像の少なくとも一部を受信側端末装置(携帯端末3B)に送信する通信ステップと、を実行させる情報処理プログラムであり、表示制御ステップは、受信側端末装置における撮影画像の表示領域を撮影画像とともにディスプレイに表示させる情報処理プログラムを記憶している。
【0025】
通信部46は、例えばNIC(Network Interface Controller)であり、通信回線2に接続する機能を有する。なお、通信部46は、NICに代えて又はNICと共に、無線LAN(Local Area Network)に接続する機能、無線WAN(Wide Area Network)に接続する機能、例えばBluetooth(登録商標)等の近距離の無線通信、及び赤外線通信等を可能とする機能を有してもよい。
【0026】
操作ボタン48は、携帯端末3の側面に設けられ、携帯端末3を起動又は停止させるための電源ボタンやスピーカー3bが出力する音のボリューム調整ボタン等である。
【0027】
これら主制御部40、主記憶部42、補助記憶部44、通信部46、操作ボタン48、画面3a、スピーカー3b、マイクロフォン3c、カメラ3d、及びイヤホンジャック3eは、システムバス49を介して相互に電気的に接続されている。これにより、主制御部40は、主記憶部42及び補助記憶部44へのアクセス、画面3aに対する画像の表示、ユーザによる画面3aや操作ボタン48に対する操作状態の把握、マイクロフォン3cへの音の入力、スピーカー3b又はイヤホンジャック3eに接続されたイヤホンからの音の出力、カメラ3dに対する制御、及び通信部46を介した各種通信網や他の情報処理装置へのアクセス等を行うことができる。
【0028】
歌唱ユーザは、歌唱動画を撮影する場合、携帯端末3Aに動画投稿視聴アプリを起動させる。動画投稿視聴アプリが起動すると、携帯端末3Aは複数の楽曲データを記憶したサーバ4にアクセスする。そして、歌唱ユーザは、動画投稿視聴アプリから自身で歌唱するための楽曲を任意に選択し、サーバ4から楽曲データを携帯端末3Aへダウンロードする。そして、歌唱ユーザは、動画投稿視聴アプリを用いて任意のタイミングで楽曲を再生して歌唱を行う。動画投稿視聴アプリによって、楽曲の再生の開始と共に、カメラ3dを用いた動画の撮影が開始される。すなわち、歌唱動画は、携帯端末3Aから楽曲が再生されながら携帯端末3Aによって撮影された画像(以下、「撮影画像」と称する)である。
【0029】
なお、楽曲データには、歌詞データが関連付けられており、楽曲データがサーバ4から携帯端末3Aにダウンロードされる場合には、関連付けられている歌詞データも携帯端末3Aにダウンロードされる。なお、以下の説明において、楽曲データには歌詞データも含まれるものとする。
【0030】
図4は、歌唱動画を撮影する場合における携帯端末3Aの画面3aにおける表示(以下「画面表示」と称する)の一例である。
【0031】
図4に示すように携帯端末3Aの画面3aにおける画像には、歌詞表示領域50Aと撮影画像表示領域50Bとが設定されている。歌詞表示領域50Aは、ユーザが歌唱する楽曲の歌詞を示す歌詞画像52、楽曲の音程を示す音程画像54、及び楽曲の再生の進行度合いを示す進行バー56を含む。
【0032】
歌詞画像52及び音程画像54は、楽曲の再生の進行に応じて更新される。本実施形態では、一例として、歌詞画像52及び音程画像54は数フレーズずつ更新して歌詞表示領域50Aに表示される。なお、歌詞画像52と音程画像54の更新タイミングは同じであってもよいし、異なってもよい。
【0033】
歌詞画像52は、歌詞を、例えば複数段(図4の例では2段)で表示し、歌唱ユーザが現在歌唱すべき歌詞を目視で把握可能なように、上段の歌詞の色が楽曲の進行に合わせて左端から右端へ変化する。上段の歌詞の色の変化が右端に達すると、下段の歌詞が上昇して上段に表示されると共に新たな歌詞が下段に表示され、楽曲の進行に合わせて再び上段の歌詞の色が左端から右端へ変化する。
【0034】
音程画像54は、一例として、音の高さに対応した複数の音程バー54Aが画面3aの左右方向に階段状に表示される。そして、歌唱ユーザが現在歌唱しようとする音の高低や音程を目視で把握可能なように、楽曲の進行に合わせて音程バー54Aの色が左端から右端へ変化すると共にポインタ54Bが左端から右端へ移動する。音程バー54Aの色の変化及びポインタ54Bが右端に達すると、次の音程を示す音程画像54が更新表示される。
【0035】
進行バー56は、一例として、左端から右端までの長さが楽曲全体の時間的な長さを示す。楽曲の再生が開始すると楽曲の再生位置を示すポインタ56Aが左端から右端へ移動し、ポインタ56Aが右端に達したときが楽曲の再生の終了に対応するようになっている。なお、ポインタ56Aが通過した進行バー56は、進行前の位置に比べて太く表示されるが、この表示態様に限られない。
【0036】
楽曲の再生は、例えば画面3aに表示される再生ボタン(図示無し)がタップされることにより開始される。再生が開始すると、カメラ3d(図1図3参照)が作動し、すなわちオン(ON)状態になり、撮影が開始される。歌唱動画などの撮影画像は、撮影画像表示領域50Bに動画の画像として表示される。これにより、歌唱ユーザは、撮影画像表示領域50Bを見ながら、あるいは、任意のタイミングで見ることにより、自身と携帯端末3Aとの少なくともいずれか一方の位置、向き、姿勢等を調整して、所望の撮影画像にすることができる。その結果、携帯端末3Aには、歌唱ユーザにとって所望の撮影画像が取得される。
【0037】
撮影画像表示領域50Bにおいては、視聴ユーザが視聴に用いる携帯端末3B(図1参照)の画面3aに表示される歌唱動画の領域(以下、「表示領域」と称する)RDが視認可能となっている。撮影開始時の撮影画像表示領域50Bに表示される表示領域RDは、動画投稿視聴アプリにおいて初期値(デフォルト)が予め設定されている場合もあるし、サーバ4によって任意のタイミングで設定される場合もある。この例では、複数の歌唱ユーザが歌唱を競う対戦歌唱の場合には、撮影開始時における表示領域RDはサーバ4によって設定されるものとするが、対戦歌唱ではない非対戦型歌唱の場合の歌唱動画の撮影開始時における表示領域RDは動画投稿視聴アプリにおいて初期値が予め設定されているものとする。
【0038】
歌唱動画のうち、表示領域RDを除いた部分が、携帯端末3B(図1参照)の画面3aに表示されない部分(以下、「非表示領域」と称する)RNとして、表示領域RDと異なる画質で、携帯端末3Aの画面3aに表示されており、これにより表示領域RDが視認可能となっている。画質としては、例えば、色相、明度、彩度、コントラスト、階調、透明度などが挙げられる。この例では、表示領域RDを、歌唱動画の透明度を保持した状態とし、非表示領域RNを、表示領域RDよりも透明度を下げた半透明画像(背景の歌唱動画が視認可能な程度にマスクした画像)として表示することにより、表示領域RDが視認可能に表示されている。なお、図4には、非表示領域RNが撮影画像表示領域50Bの両側部に有る例を描いている。すなわち、図4は、表示領域RDは、縦の長さ(図4における上下方向の長さ)L1が歌唱動画の縦の長さと同じ、横の長さ(図4における水平方向の長さ)L2が歌唱動画の横の長さよりも短くなっている例を示している。
【0039】
表示領域RDの表示手法はこの例に限られない。例えば、表示領域RDと非表示領域RNとの境界を示す線分を撮影画像表示領域50Bに表示したり、あるいは、矩形の表示領域の4つの頂点を点状に表示することによって、表示領域RDを視認可能に表示してもよい。
【0040】
このように、歌唱ユーザが用いる携帯端末3Aには、視聴ユーザが用いる携帯端末3Bでの表示領域RDが表示され、歌唱ユーザが表示領域RDを認識できるから、歌唱ユーザは、表示領域RDに応じた被写体画像を撮影することができる。例えば、歌唱ユーザは自身の身体のうち、所望の部位及び範囲が表示領域RDに収まるように、自身と携帯端末3Aとの少なくともいずれか一方の位置、向き、姿勢等を調整して撮影する。その結果、携帯端末3Aには、歌唱ユーザが望む歌唱動画が確実に、しかも容易に取得される。
【0041】
表示領域RDは、撮影画像表示領域50Bにおいて、歌唱動画に重ねた状態で表示されている。これにより、歌唱ユーザは、視聴ユーザに見られる画像を、画面3aを見たときに直観的に把握できる。
【0042】
携帯端末3Aは、表示領域RDに基づくアスペクト比を保持した状態で表示領域RDを変更できるように構成されていることが好ましい。これにより、視聴ユーザが用いる携帯端末3Bに表示される歌唱動画の画像を、歌唱ユーザが用いる携帯端末3Aで調整できる。表示領域RDに基づくアスペクト比は、縦の長さL1と横の長さL2とで求められる縦横比であり、L2/L1で算出される。なお、L1/L2で算出してもよい。
【0043】
例えば、歌唱ユーザが撮影画像表示領域50B上でタップすると、図5に示すように、表示領域RDの外郭を示す線分LDが歌唱動画に重ねて表示される。この例では、両側部に非表示領域RNがあり、縦の長さL1は歌唱動画の縦の長さと同じであるから、線分LDのうちの縦線部LDvは撮影画像表示領域50Bの上端から下端までの上下方向に延びて表示されており、横線部LDsは撮影画像表示領域50Bの上端縁と下端縁とに一致して表示される。そして、撮影画像表示領域50B内で画面3aに触れている指などの指示体を、表示領域RDの4つの頂点のいずれかから中央GCに向けてスライド移動(例えばスワイプ)することにより、表示領域RDを例えば二点鎖線で示す領域に変更することができ、二点鎖線で示す領域のアスペクト比は表示領域RDに基づくアスペクト比と同じである。なお、図5においては、撮影画像表示領域50Bの中央GCを、表示領域RDの変更中心として、アスペクト比を保持するように縦線部LDvと横線部LDsとが同時に変位する例を描いてある。
【0044】
保持するアスペクト比は、表示領域RDに基づくアスペクト比に限定されず、例えば、歌唱動画に基づくアスペクト比にしてもよい。また、表示領域RDに基づくアスペクト比を保持せずに表示領域RDを変更する構成にする場合には、縦線部LDvと横線部LDsとを独立して変位するようにするとよい。この場合には、2本の縦線部LDvの各々が独立して変位し、同様に、2本の横線部LDsの各々が独立して変位してもよい。
【0045】
線分LD全体を撮影画像表示領域50B内でスライド移動することで、表示領域RDの形状と面積とを保持した状態で、表示領域RDを変位させてもよい。また、線分LD、縦線部LDv、横線部LDsの各移動範囲、表示領域RDのスライド移動の移動範囲は、制限されるように設定されていてもよい。例えば、撮影画像表示領域50Bの中央GCを含む中央領域には、線分LD、縦線部LDv、横線部LDsが位置できないよう設定しておき、当該中央領域に非表示領域RNが形成されないようにする。
【0046】
表示領域RDの変更、例えば、表示領域RDに基づくアスペクト比を保持した状態での表示領域RDの変更や表示領域RDの形状及び大きさを保持した状態での表示領域RDのスライド移動などは、歌唱動画の録画中においても行うことができる。
【0047】
また、歌唱動画における歌唱ユーザの例えば両目の位置などを自動検出し、その検出信号に基づいて表示領域RDをスライド移動させる等の機能を、動画投稿視聴アプリによって携帯端末3Aにもたせてもよい。
【0048】
表示領域RDを変更した場合(例えば、表示領域RDに基づくアスペクト比を保持した状態で表示領域RDを変更した場合や表示領域RDの形状及び大きさを保持した状態で表示領域RDをスライド移動した場合など)には、変更後の表示領域RDは携帯端末3Bに通知されることが好ましく、本例でもそのようにしてある。
【0049】
歌唱動画の録画は、歌唱ユーザが楽曲を選択した後、画面3aに表示される録画開始ボタン(図示無し)をタップしてから所定時間後(例えば10秒後)に開始される。また、動画の録画開始と終了とは、楽曲の開始と終了とに一致してもよいが、楽曲の開始所定時間前(例えば5秒前)から動画の録画が開始してもよいし、楽曲の終了所定時間後(例えば5秒後)に動画の録画が終了してもよい。録画される画像は、撮影画像表示領域50Bの全領域に表示されている歌唱動画でもよいし、歌唱動画のうちの表示領域RDのみといった歌唱動画の少なくとも一部でもよい。本例は撮影画像表示領域50Bの全領域に表示されている歌唱動画を録画しており、このように歌唱動画を録画した場合であっても、視聴ユーザの携帯端末3Bの画面3aには表示領域RD分の画像だけが表示される。
【0050】
歌唱ユーザは、イヤホンをイヤホンジャック3eに接続して再生される楽曲をイヤホンを用いて聴き、当該楽曲に合わせて歌唱する。携帯端末3Aは、カメラ3dによって歌唱ユーザを撮影すると共に、マイクロフォン3cによって歌唱ユーザの歌唱を録音する。すなわち、マイクロフォン3cは再生される楽曲の音は取得しない。そして、携帯端末3Aはマイクロフォン3cで取得した歌唱ユーザの歌声を録音し、歌唱データとする。
【0051】
なお、歌唱データは、フィルタリング処理によって人間の声の周波数帯域を抽出したものとされてもよい。このフィルタリング処理によって、歌唱ユーザの周辺環境に起因する雑音が歌唱データから取り除かれることになるので、録音される歌唱ユーザの歌声がより鮮明となる。
【0052】
そして、動画投稿視聴アプリは、楽曲データ及び歌唱データに録画データを組み合わせることで、サーバ4へ送信可能な歌唱動画データとする。なお、歌唱ユーザは、一例として、歌唱動画データをサーバ4へ送信するタイミング、すなわち、動画投稿サイトへアップロードするタイミングとして下記の2種類のうち一つを選択できる。
【0053】
一つは、歌唱ユーザが歌唱しながらリアルタイムで歌唱動画データを動画投稿サイトへアップロードするライブ配信である。ライブ配信では、視聴ユーザは歌唱ユーザによる歌唱をリアルタイムで視聴することになる。もう一つは、楽曲の歌唱が完了した後に、歌唱ユーザが任意のタイミングで動画投稿サイトへ歌唱動画データをアップロードする非ライブ配信である。
【0054】
歌唱ユーザは、ライブ配信を行う場合には録画前にライブ配信を行うための設定を行い、録画開始と共に歌唱動画データが動画投稿サイトへアップロードされるようにする。なお、ライブ配信の場合には、歌唱動画データは携帯端末3Aに記憶されることなく、動画投稿サイトへアップロードされてもよい。
【0055】
なお、ライブ配信を行う場合の設定として、視聴ユーザがライブ配信で当該歌唱動画を視聴可能とする第1ライブ配信設定、ライブ配信後でも視聴ユーザが当該歌唱動画を視聴可能とする第2ライブ配信設定の何れか歌唱ユーザが設定可能とされる。すなわち、第1ライブ配信設定では、ライブ配信が終了するとサーバ4から歌唱動画データが削除され、視聴ユーザはライブ配信の終了後にライブ配信された歌唱動画の視聴ができない。一方、第2ライブ配信では、ライブ配信が終了してもサーバ4が当該歌唱動画データを記憶し続けるので、視聴ユーザはライブ配信の終了後でも非ライブ配信として当該歌唱動画の視聴ができる。
【0056】
なお、非ライブ配信を行う場合には、歌唱動画データは携帯端末3Aに一旦記憶され、歌唱ユーザが動画投稿視聴アプリを操作することで任意のタイミングで動画投稿サイトへ歌唱動画をアップロードする。
【0057】
視聴ユーザが、携帯端末3Bを用いて歌唱動画を視聴する場合について説明する。
【0058】
視聴ユーザは、歌唱動画を視聴する場合、携帯端末3Bに動画投稿視聴アプリを起動させる。動画投稿視聴アプリが起動すると、携帯端末3Bは複数の歌唱動画データを記憶したサーバ4、すなわち動画投稿サイトにアクセスする。そして、視聴ユーザは、動画投稿視聴アプリを介して、視聴したい歌唱動画を選択して画面3aに表示させる。なお、サーバ4による携帯端末3Bへの歌唱動画の配信手法は一例として、ストリーミング配信である。
【0059】
図6は、歌唱動画を視聴する場合における携帯端末3Bの画面表示の一例であり、ライブ配信が行われている場合の画面表示を示している。
【0060】
画面3aには、歌唱動画が表示されると共に、歌唱ユーザ表示領域50C、歌詞表示領域50D、コメント入力表示領域50Eが設けられる。歌唱ユーザ表示領域50C、歌詞表示領域50D、コメント入力表示領域50Eは、図6に示すように歌唱動画に重畳して表示されてもよいし、歌唱動画が表示される動画表示領域(図示無し)と別領域に表示されてもよい。
【0061】
歌唱ユーザ表示領域50Cには、歌唱動画を投稿した歌唱ユーザのユーザ名、ライブ配信であるか否かの表示、歌唱している楽曲の名称が表示される。
【0062】
歌詞表示領域50Dには、歌唱動画の歌詞が表示される。なお、表示される歌詞は、一例として、複数フレーズずつであり、楽曲の進行に合わせて歌詞の色が左端から右端へ変化する。なお、歌詞表示領域50Dは、一例として、歌詞を複数段で表示してもよい。この場合、上段の歌詞の色の変化が右端に達すると、下段の歌詞が上昇して上段に表示されると共に新たな歌詞が下段に表示され、楽曲の進行に合わせて再び上段の歌詞の色が左端から右端へ変化する。
【0063】
コメント入力表示領域50Eには、コメントの入力欄が表示されると共に、歌唱動画を視聴している視聴ユーザのコメントがユーザ名と共に表示される。なお、一例として、視聴ユーザからのコメントが入力される毎にコメント入力表示領域50Eの最上段に当該コメントが追加表示され、それまでに表示されていたコメントは下方に繰り下がる。そして、コメントがコメント入力表示領域50Eに表示しきれなくなった場合には、コメント表示領域の右側にスクロールバー(図示無し)が表示され、当該スクロールバーを視聴ユーザが操作することで、それまで画面3aに表示されなかったコメントが表示される。
【0064】
さらに、画面3aには、視聴ユーザが各種操作を行うための操作アイコン58A~58Dが表示される。
【0065】
操作アイコン58Aは、視聴ユーザが視聴している歌唱動画に視聴ユーザが共感等した場合にタップされるアイコンであり、当該歌唱動画に対する操作アイコン58Aのタップの総数が操作アイコン58Aの上方に表示される。
【0066】
操作アイコン58Bは、画面3aに表示されている歌唱動画をライブ配信している歌唱ユーザに対して視聴ユーザが対戦(以下、「対戦歌唱」と称する)を申し込む場合にタップされるアイコンである。対戦歌唱は、異なる歌唱ユーザによる複数の歌唱動画(第1歌唱動画、第2歌唱動画)を視聴ユーザの携帯端末3Bの画面3aに同時に表示し、歌唱動画が同じ楽曲を交互に歌唱するものである。すなわち、操作アイコン58Bをタップした視聴ユーザは、対戦歌唱を行う歌唱ユーザとなり、使用している携帯端末3Bは操作アイコン58Bのタップの後は携帯端末3Aとして機能する。
【0067】
操作アイコン58Cは、動画投稿視聴アプリに対する各種設定を視聴ユーザが行う場合にタップされるアイコンである。
【0068】
操作アイコン58Dは、画面3aに表示されている歌唱動画に対して装飾画像を重畳させる場合に視聴ユーザによってタップされるアイコンである。なお、本実施形態に係る装飾画像は、その種類により金額が決められており、視聴ユーザが課金により購入可能とされている。そして、視聴ユーザは、操作アイコン58Dをタップすることで、自身が視聴している歌唱動画に対して装飾画像を重畳させる。装飾画像が重畳された歌唱動画の歌唱ユーザは、重畳された装飾画像に応じた金銭を動画投稿サイトの運営者から受け取る。すなわち、視聴ユーザによる歌唱動画への装飾画像の重畳(表示指示)は、歌唱ユーザに対する、いわゆる投げ銭に相当する。
【0069】
歌唱動画は、携帯端末3Aにおいて表示領域RD内に収められた画像である。携帯端末3Aでは歌唱ユーザが表示領域RDを把握しながら画像を撮影してあるから、視聴ユーザには歌唱ユーザが望む歌唱動画が確実に視聴される。例えば、歌唱ユーザが録画中に、自身の顔の左側半分の多くが表示領域RDよりも外側にある場合には、変位前の歌唱動画は図6に示すように、歌唱ユーザの顔の左側半分の多くが画面3aに表示されない。しかし、自分の顔を表示領域RDの中央寄りになるように携帯端末3Aを変位させた場合、歌唱動画は図7に示すように、歌唱ユーザの顔が図6に示す態様よりも画面3aの中央寄りになっている画像で表示される。
【0070】
対戦歌唱機能について説明する。本実施形態に係る動画投稿視聴アプリは、パフォーマーである複数のユーザ同士が自身のパフォーマンス動画の優劣を競い合う対戦機能を有している。本実施形態に係る対戦機能は、いわゆるカラオケバトルの一種であり、図8に例示するように、異なる歌唱ユーザによる複数の歌唱動画(第1歌唱動画60A、第2歌唱動画60B)を視聴ユーザの携帯端末3Bの画面3aに同時に表示する対戦歌唱機能である。なお、対戦歌唱機能は、サーバ4によって実行される機能である。
【0071】
図8は、対戦歌唱における視聴ユーザの携帯端末3Bの画面表示の例である。なお、図8に示される「VS」の表示は、versusの意味であり、対戦歌唱の開始時に表示され、対戦歌唱が開始されてから所定時間経過後(例えば3秒後)に当該表示が停止される。対戦歌唱が開始した後における歌唱ユーザの携帯端末3Aの画面表示は、例えば、図8と同様であってもよいし、図4に示されるような歌唱動画の画面表示に対して対戦歌唱を行う他の歌唱ユーザが縮小表示(図10参照)された画面表示であってもよい。
【0072】
対戦歌唱が行われるためには、歌唱ユーザ(以下、「第1歌唱ユーザ」と称する)から他の歌唱ユーザ(以下、「第2歌唱ユーザ」と称する)に対して歌唱動画の同時配信の要求(以下、「対戦要求」と称する)が行われる。当該対戦要求を第2歌唱ユーザが了承した場合には対戦歌唱が開始され、了承しなかった場合には対戦歌唱は開始されない。
【0073】
より具体的には、第1歌唱ユーザは自身の携帯端末3A1に動画投稿視聴アプリを起動させ、動画投稿視聴アプリを用いて歌唱動画をライブ配信している第2歌唱ユーザへ対戦要求を送信する。対戦要求の送信は、第1歌唱ユーザが操作アイコン58Bをタップすることで行われる。対戦歌唱で歌唱する楽曲は第1歌唱ユーザが選択する。選択した楽曲(以下、「対戦楽曲」と称する)を示す情報(タイトルや歌手名)は対戦要求と共に第2歌唱ユーザに送信される。
【0074】
携帯端末3A1から送信された対戦要求は、サーバ4を介して第2歌唱ユーザの携帯端末3A2に送信される。携帯端末3A2の画面3aには受信した対戦要求に応じた画像が表示され、第2歌唱ユーザは対戦要求を了承する場合には画面3aに表示される所定画像を例えばタップする。
【0075】
そして、第2歌唱ユーザが第1歌唱ユーザからの対戦要求を了承した場合、サーバ4は、第1歌唱ユーザによる第1歌唱動画60A及び第2歌唱ユーザによる第2歌唱動画60Bが携帯端末3Bの画面3aに同時に表示されるように配信することで、対戦歌唱を開始する。例えば、サーバ4は、第1歌唱動画60Aと第2歌唱動画60Bとで構成される複合画像を生成して配信することで、対戦歌唱を開始する。これにより、視聴ユーザは、リアルタイムで第1歌唱ユーザと第2歌唱ユーザによる対戦歌唱(リアルタイム対戦)を視聴可能となる。なお、以下の説明では、対戦歌唱において配信される第1歌唱動画60A及び第2歌唱動画60Bを総称して対戦歌唱動画ともいう。なお、対戦歌唱を行う歌唱ユーザの数は3以上であってもよく、複合画像を構成する歌唱動画の数、配置、大きさは、対戦歌唱を行う歌唱ユーザの数に基づいて設定すればよい。
【0076】
このように、対戦歌唱機能は、第1歌唱ユーザから第2歌唱ユーザへの歌唱動画の対戦要求を受け付け、第2歌唱ユーザが対戦要求を了承した場合に、第1歌唱動画60A及び第2歌唱動画60Bを携帯端末3Bの画面3aに同時に表示されるように配信する。従って、対戦歌唱機能は、歌唱ユーザ同士が自身の歌唱を各々の歌唱動画によって競い合うことを可能とすると共に、競い合っている複数の歌唱動画を視聴ユーザが同時に視聴することを可能とする。
【0077】
また、第2歌唱ユーザが対戦要求を了承する一方で対戦楽曲を了承しない場合も想定される。このような場合のために、対戦歌唱機能は、第2歌唱ユーザの携帯端末3A2から第1歌唱ユーザの携帯端末3A1へ対戦楽曲の変更及び第2歌唱ユーザが選択した対戦楽曲を示す情報を送信し、第1歌唱ユーザの了承を求める機能を有してもよい。
【0078】
対戦歌唱を開始する場合には、サーバ4は、複合画像を生成するために、携帯端末3Bにおける第1歌唱動画60Aと第2歌唱動画60Bとの各表示領域RDを変更してもよく、本例でもそのようにしている。サーバ4が表示領域RDを変更した場合には、変更後の表示領域RDを、当該変更の対象となった歌唱動画が撮影された携帯端末3Aに通知する。通知を取得した携帯端末3Aの撮影画像表示領域50B(図4参照)には、サーバ4から通知された表示領域RDが新たな表示領域RDとして表示される。この後、各携帯端末3Aにおいては表示領域RDをさらに変更してもよく、この場合には各携帯端末3Aはサーバ4から通知された表示領域RDよりも狭めた領域に変更することができるし、また、表示領域RDの形状と面積とを保持した状態で、表示領域RDを変位させる(スライド移動させる)ことができる。
【0079】
本実施形態に係る対戦歌唱機能では、第1歌唱ユーザと第2歌唱ユーザとが同じ楽曲を交互に歌唱(以下「交互歌唱」という。)する。
【0080】
交互歌唱は、例えば、第1歌唱ユーザが1曲を全て歌唱し終えた後に第2歌唱ユーザが同じ楽曲を全て歌唱する形態としてもよいが、本実施形態に係る対戦歌唱機能は、図9に示すように、楽曲を時間軸上で仮想的に複数領域に分割し、当該分割領域68毎に歌唱を行う歌唱ユーザの順番を設定(以下「交互パフォーマンス設定」という。)する。これにより、第1歌唱ユーザと第2歌唱ユーザは、交互パフォーマンス設定に従って同一の楽曲を交互に歌唱することになるので、視聴ユーザは、第1歌唱ユーザと第2歌唱ユーザとの歌唱力の差を明確に認識でき、より対戦歌唱を楽しむことができる。なお、以下の説明では、歌唱を行う歌唱ユーザの順番を交互歌唱順番という。
【0081】
なお、対戦歌唱機能は、一例として、歌唱ユーザ自身が歌唱する歌詞部分を強調表示させることにより、歌唱ユーザに自身が歌唱する分割領域68を認識させる。強調表示は、歌詞の色変化や太さ変化等である。
【0082】
図9の例では、第1歌唱ユーザと第2歌唱ユーザとが交互に歌唱するように分割領域68が設定されると共に、第1歌唱ユーザと第2歌唱ユーザとが一緒に歌唱する分割領域68も設定されている。分割領域68は、例えば、楽曲のフレーズ、コーラス、又は小節等に基づいて予め設定され、各分割領域68の時間長さは必ずしも同じである必要はない。
【0083】
交互歌唱順番は、対戦歌唱の実行の決定に伴い決定される。例えば、対戦要求を行った第1歌唱ユーザが先に歌唱を行い、第2歌唱ユーザが後に歌唱を行うように設定される。なお、第1歌唱ユーザと第2歌唱ユーザとが一緒に歌唱する分割領域68は、楽曲毎に予め設定されてもよい。
【0084】
交互歌唱における画面表示と音声出力について説明する。図8は、対戦歌唱における視聴ユーザの携帯端末3Bの表示画面であり、第1歌唱動画60Aと第2歌唱動画60Bとが互いに同じ形状及び大きさで表示されている。そして、歌唱を実行中の歌唱動画に対しては、それを視聴ユーザが認識可能な表示(例えば図8の「NOW PLAYING」の表示)が行われる。
【0085】
ここで、歌唱を実行中でない歌唱動画やその音声は視聴ユーザにとって興味を惹くものではなく、実行中の歌唱を視聴している視聴ユーザの注意を散漫にしかねない。
【0086】
そこで、本実施形態に係る対戦歌唱機能は、歌唱を実行中の歌唱動画の音声が出力され、歌唱を実行中でない歌唱動画の音声は出力されないように、歌唱動画を携帯端末3Bに配信する。また、サーバ4は、歌唱を実行中の歌唱動画が歌唱を実行中でない歌唱動画よりも大きく携帯端末3Bの画面3aに表示されるように、歌唱動画を携帯端末3Bに配信する。これらにより、視聴ユーザは、歌唱を実行中でない歌唱動画によって注意が散漫となることなく、対戦歌唱動画を視聴できる。
【0087】
図10は、対戦歌唱における携帯端末3Bの画面表示の一例である。図10の例では、第1歌唱動画60Aが歌唱の実行中であり、第2歌唱動画60Bが歌唱の実行中でないため、第1歌唱動画60Aが拡大表示(全画面表示)される一方、第2歌唱動画60Bは縮小表示(ウィンドウ表示)される。歌唱動画が縮小表示される場合の大きさと画面3aにおける位置は予め定められてもよいし、視聴ユーザが携帯端末3Bにおいて任意の大きさ及び位置に変更可能としてもよい。例えば、携帯端末3Bにおいて、図5に示す携帯端末3Aの画面3aと同様に、縮小対象である一方の外郭に一致する縦線部LDvや横線部LDsを表示し、これらの各々を変位させることで縮小表示の形状と大きさと配置とが変更するように構成してもよい。
【0088】
なお、本実施形態に係る対戦歌唱機能は、上述した交互歌唱順番に基づいて、第1歌唱動画60A及び第2歌唱動画60Bの音声出力、又は第1歌唱動画60A及び第2歌唱動画60Bの画面表示が行われるように歌唱動画を携帯端末3Bに配信する。
【0089】
すなわち、第1歌唱ユーザが歌唱を行う分割領域68では、第1歌唱動画60Aの音声が出力されると共に第1歌唱動画60Aが拡大表示される一方、第2歌唱動画60Bの音声は出力されずに第2歌唱動画60Bが縮小表示される。また、第2歌唱ユーザが歌唱を行う分割領域68では、第2歌唱動画60Bの音声が出力されると共に第2歌唱動画60Bが拡大表示される一方、第1歌唱動画60Aの音声は出力されずに第1歌唱動画60Aが縮小表示される。また、第1歌唱ユーザと第2歌唱ユーザとが一緒に歌唱を行う分割領域68では、図8のように第1歌唱動画60Aと第2歌唱動画60Bとが同じ形状及び大きさで画面表示され、かつ共に音声出力される。
【0090】
投票機能について説明する。動画投稿視聴アプリは、対戦歌唱において歌唱動画毎の評価(以下「投票」という。)の入力を視聴ユーザの携帯端末3Bから受け付ける投票機能を有する。
【0091】
投票は、図8,10に示されるように歌唱動画毎に設けられている操作アイコン58Aを視聴者がタップすることで入力される。すなわち、視聴ユーザは、歌唱動画に共感等した場合に当該歌唱動画に対する好評価の意思表示として操作アイコン58Aをタップする。そして、受け付けられた歌唱動画毎の評価結果を示す画像(以下、「投票結果画像」と称する)66が、歌唱動画と共に携帯端末3Bの画面3aに表示されるように配信される。
【0092】
このように本実施形態に係る投票機能は、一例として操作アイコン58Aを視聴ユーザがタップすることで対戦歌唱動画を視聴ユーザが評価できるので、対戦歌唱が行われた場合において歌唱の優劣判定を視聴ユーザが簡易に可能となる。なお、視聴ユーザは、一方の歌唱動画を評価すると共に他方の歌唱動画を評価することもできる。
【0093】
なお、投票機能は、投票として点数の入力を受け付け、歌唱動画の配信中に入力された総点数(以下「評価総得点」という。)を評価結果として導出する。評価総得点は、複数の視聴ユーザによって入力された点数の総和である。そして、投票機能は、対戦歌唱が終了するまでに入力された評価総得点によって対戦歌唱の勝者を決定する。すなわち、評価総得点が相対的に高い歌唱動画の歌唱ユーザが勝者とされる。このように、本実施形態に係る投票機能によれば、複数の視聴ユーザは自身が応援する歌唱ユーザ(歌唱動画)に対して協同して投票することで、自身が応援する歌唱ユーザを勝者とできるので、視聴ユーザは歌唱ユーザに対してより感情移入できる。
【0094】
本実施形態に係る投票機能は、操作アイコン58Aが一回タップされる毎に1点が入力される。図8,10に示される投票結果画像66の数字(「21」及び「185」)は、歌唱ユーザ(歌唱動画)毎の評価総得点であり、画面3aの左右に延伸し左右でハッチング(色)が異なるバー画像は、歌唱動画毎の評価総得点を相対的に示したものである。
【0095】
また、各視聴ユーザが操作アイコン58Aをタップ可能な回数には上限(以下、「タップ上限」という。)が設けられており、本実施形態に係るタップ上限は一回である。そして、タップ上限が満たされると、図10に示されるように操作アイコン58Aの替わりに操作アイコン58Dが画面3aに表示される。
【0096】
視聴ユーザは、操作アイコン58Dをタップすることで、タップした操作アイコン58Dに対応する歌唱動画に対して装飾画像(以下「投銭エフェクト画像」という。)を重畳させることが可能となる。このように、投票機能は、歌唱動画に対する投銭エフェクト画像の重畳を携帯端末3Bから受け付け、受け付けた投銭エフェクト画像を歌唱動画に重畳する投銭エフェクト機能を有する。なお、以下の説明では、視聴ユーザによる携帯端末3Bを介した投銭エフェクト画像の表示指示(選択)を、上述のように投銭入力という。
【0097】
すなわち、視聴ユーザは自身が共感する歌唱動画に対して投銭エフェクト画像を重畳させることで当該歌唱動画を装飾するので、投銭エフェクト機能は、歌唱動画の配信中に視聴者や歌唱動画そのものを盛り上げることができる。なお、投銭エフェクト機能は、動画投稿視聴アプリを介した視聴ユーザからの表示指示に応じてサーバ4によって実行される機能である。
【0098】
さらに、歌唱動画に対して他の視聴ユーザよりも相対的に高い評価(投票)を行った視聴ユーザ、すなわち入力した点数の多い視聴ユーザ(以下、「高評価ユーザ」と称する)を示す画像(アイコン画像64)が携帯端末3Bの画面3aに表示されてもよい。これにより、視聴ユーザは、他の視聴ユーザに対して、自身が応援している歌唱ユーザを認識させることができる。また、視聴ユーザは、歌唱ユーザに対しても自身が応援していることを認識させることができる。
【0099】
携帯端末3Aは、図11に示すように、入力部71と、端末出力部73と、第1表示制御部75と、第1通信部77等から構成されている。入力部71は、歌唱動画の撮影や録画の開始指示、楽曲の選択指示、対戦要求、対戦要求や対戦楽曲の了承、表示領域RDの変更指示、歌唱動画の撮影、歌唱音声などの各入力を行う。
【0100】
端末出力部73は、楽曲の再生、歌唱動画及び表示領域RDの表示などを行う。
【0101】
第1表示制御部75は、歌唱動画の少なくとも一部(この例では歌唱動画)を端末出力部73に表示させる。第1表示制御部75は、表示領域RDを歌唱動画とともに端末出力部73に表示させる。第1表示制御部75は、歌唱動画に重ねた状態で端末出力部73に表示させることが好ましく、本例でもそのようにしている。第1表示制御部75は、表示領域RDに基づくアスペクト比を保持した状態で表示領域RDを変更することが好ましい。
【0102】
第1通信部77は、歌唱動画の少なくとも一部(この例では歌唱動画)をサーバ4を介して携帯端末3Bに送信する。表示領域RDが変更された場合に、変更された表示領域RDを携帯端末3Bに通知することが好ましく、本例でもそのようにしている。
【0103】
入力部71は、図3に示すタッチパネルディスプレイ(画面)3a、マイクロフォン3c、カメラ3d、操作ボタン48を含んで構成される。端末出力部73は、タッチパネルディスプレイ(画面)3a、スピーカー3b、イヤホンジャック3e、を含んで構成される。第1表示制御部75は、主制御部40、主記憶部42、補助記憶部44を含んで構成される。第1通信部77は、通信部46を含んで構成される。
【0104】
携帯端末3Aにおける対戦歌唱処理について、図12を参照しながら説明する。対戦歌唱は、携帯端末3A1においては入力部71で対戦要求がなされてこの対戦要求がサーバ4に受け付けられ、さらに、携帯端末3A2においては入力部71で対戦要求の了承がなされてこの了承がサーバに肯定判定されることにより、開始する(S11)。
【0105】
対戦要求の了承がサーバ4によって肯定判定されると、サーバ4は複合画像60(図8図10参照)を生成し、携帯端末3A1は複合画像60における第1歌唱動画60Aの表示領域RD(図4図5参照)の通知を、携帯端末3A2は第2歌唱動画60Bの表示領域RDの通知を、それぞれサーバ4から取得する(S13)。
【0106】
携帯端末3Aは、表示領域RDの通知をサーバ4から取得した後に、取得した通知の表示領域RDを第1表示制御部75によって、端末出力部73の画面3aに表示する(S14)。携帯端末3Aは、入力部71への入力、例えば線分LD(図5参照)の移動操作によって表示領域RDを変更する指示の取得の有無を判定する(S15)。ステップS15において表示領域RDの変更指示を取得したと判定した場合には、第1表示制御部75は、取得した指示に基づき変更後の表示領域RDの画像を生成して、端末出力部73の画面3aに表示させる(S17)。また、変更後の表示領域RDを第1通信部77が視聴ユーザの携帯端末3Bへ通知する(S18)。なお、本例では、サーバ4を介して視聴ユーザの携帯端末3Bへ通知しているが、サーバ4を介さずに携帯端末3Bへ通知する構成にしてもよい。
【0107】
携帯端末3Aは、ステップS15において表示領域RDを変更する指示を取得していないと判定した場合には、対戦歌唱動画をサーバ4を介して携帯端末3Bへ配信する(S19)。なお、ステップS15は、例えば、ステップS14から所定時間内に入力部71に対する表示領域RDの変更の指示の入力が無い場合に、変更の指示無しと判定してもよいし、ステップS14からの経過時間に関わらず対戦楽曲の再生及び録画の開始の指示が入力部71に入力された場合に、変更の指示無しと判定してもよい。この例では、対戦楽曲の再生及び録画の開始の指示が入力部71に入力されると、対戦歌唱動画をサーバ4を介して携帯端末3Bへ配信する。携帯端末3Aは、ステップS19において、対戦歌唱動画を対戦楽曲の楽曲データ及び歌唱データと組み合わせることで対戦歌唱の歌唱動画データとし、この歌唱動画データを配信することにより歌唱動画を配信する。
【0108】
表示領域RDの変更処理は、表示領域RDの通知をサーバ4から取得した後であれば、歌唱動画の配信開始(S19)の前と後とのいずれでも行われ、両方で行ってもよい。本例でも表示領域RDの変更処理、すなわち、ステップS15と、ステップS15で変更の指示有りと判定した場合のステップS17及びステップS18とを、ステップS19の後でも行っており、図12においてはステップS21,ステップS23,ステップS24として示している。表示領域RDが変更されるたびに、本例では変更後の表示領域RDを第1通信部77がサーバ4を介して携帯端末3Bに通知している。なお、ステップS21において表示領域RDの変更の指示が入力部71に入力されない場合には、指示無しと判定して対戦楽曲の再生が継続される。
【0109】
対戦楽曲の再生が終了(S25)しない間は、ステップS21が繰り返される。対戦楽曲の再生が終了(S25)した後に、携帯端末3Aは対戦歌唱動画の配信を終了する(S27)。
【0110】
なお、携帯端末3Aは、非対戦型の歌唱動画を配信する場合には、歌唱動画の撮影の開始後に、表示領域RDの変更処理(S15,S17,S18)を行う。歌唱動画の録画又は配信開始後にも、表示領域RDの変更(S21,S23,S24)を行うことができる。
【0111】
サーバ4は、図13に示すように、対戦要求受付部80、対戦了承判定部81、対戦設定部82、動画評価部83、投銭エフェクト重畳部84、第2表示制御部87、第2通信部88を備える。サーバ4が備える各機能によって実行される処理は、HDD26に記憶されている情報処理プログラムによって実現される。
【0112】
対戦要求受付部80、対戦了承判定部81、対戦設定部82、動画評価部83、投銭エフェクト重畳部84、第2表示制御部87は、図2に示すCPU20、ROM22、RAM24、HDD26を含んで構成される。第2通信部88は、外部インタフェース32を含んで構成される。
【0113】
対戦要求受付部80は、第1歌唱ユーザから第2歌唱ユーザへの対戦要求を受け付ける。対戦了承判定部81は、第2歌唱ユーザが第1歌唱ユーザからの対戦要求を了承したか否かを判定する。
【0114】
対戦設定部82は、対戦歌唱を行うために対戦楽曲の設定や歌唱順の設定等の各種設定を行う。対戦設定部82は、楽曲を時間軸上、すなわち時系列で複数の分割領域68(図9参照)に分割し、当該分割領域68毎に歌唱を行う歌唱ユーザの順番(交互歌唱順番)を設定する。
【0115】
動画評価部83は、携帯端末3Bに配信されている歌唱動画毎の評価(点数)の入力、及び歌唱動画に対する投銭エフェクト画像(図示無し)の重畳(投銭入力)を携帯端末3Bから受け付ける。そして、動画評価部83は、歌唱動画の配信中に入力された評価総得点を導出し、対戦歌唱の勝敗判定を行う。
【0116】
投銭エフェクト重畳部84は、投銭入力を受け付けた場合に、受け付けた投銭入力に応じた投銭エフェクト画像(図示無し)を歌唱動画に重畳する。
【0117】
第2表示制御部87、第2通信部88などにより、歌唱動画を携帯端末3Bに配信する動画配信モジュール(図示無し)が構成されている。第2表示制御部87は、第2歌唱ユーザが第1歌唱ユーザからの対戦要求を了承したことを対戦了承判定部81が肯定判定した場合に、携帯端末3A1からの第1歌唱動画60Aと携帯端末3A2からの第2歌唱動画60Bとに基づき複合画像60(図8図10参照)を生成する。第2表示制御部87は、複合画像60を生成するにあたり、第1歌唱動画60Aと第2歌唱動画60Bとの各表示領域RDを設定(変更を含む)する。
【0118】
第2通信部88は、複合画像60を携帯端末3Bに送信する。これにより携帯端末3Bには複合画像60が表示される。第2通信部88は、また、複合画像60において表示される第1歌唱動画60Aの表示領域RDを携帯端末3A1に通知するとともに、複合画像60において表示される第2歌唱画像60Bの表示領域RDを携帯端末3A2に通知する。
【0119】
携帯端末3A1は、第2通信部88からの表示領域RDの通知を第1通信部77により取得し、通知された表示領域RDを第1表示制御部75によって第1歌唱動画とともに画面3aに表示させる。同様に、携帯端末3A2は、第2通信部88からの表示領域RDの通知を第1通信部77により取得し、通知された表示領域RDを第1表示制御部75によって第2歌唱動画とともに画面3aに表示させる。
【0120】
サーバ4における対戦歌唱処理について、図14を参照しながら説明する。本実施形態に係る対戦歌唱処理を実行するための情報処理プログラムはHDD26の所定領域に予め記憶されている。対戦歌唱処理を行うサーバ4のHDD26には、撮影画像(歌唱動画)の少なくとも一部をディスプレイに表示する表示制御ステップと、撮影画像の少なくとも一部を受信側端末装置(携帯端末3B)に送信する通信ステップと、を実行させる情報処理プログラムであり、表示制御ステップは、受信側端末装置における撮影画像の表示領域を撮影画像とともにディスプレイに表示させる情報処理プログラムを記憶している。
【0121】
まず、ステップS31は、第1歌唱ユーザによる第2歌唱ユーザへの対戦要求の有無を対戦要求受付部80が判定し、肯定判定の場合、すなわち第1歌唱ユーザからの対戦要求を受け付けた場合はステップS33へ移行する。一方、否定判定の場合には、対戦要求を受け付けるまで待ち状態となる。
【0122】
ステップS33は、第2歌唱ユーザが対戦要求を了承したか否かを対戦了承判定部81が判定し、肯定判定の場合はステップS37へ移行し、否定判定の場合はステップS31へ戻る。
【0123】
ステップS37は、第2表示制御部87により、第1歌唱動画60Aと第2歌唱動画60Bとの各表示領域RDを設定する。表示領域RDの設定は、例えば、対戦歌唱を行う携帯端末3Aの数に基づいて行われる。第2表示制御部87は、ステップS37の後、表示領域RDに対応した第1歌唱動画60Aと第2歌唱動画60Bとにより複合画像60を生成する(S38)。第2表示制御部87は、第1歌唱動画60Aと第2歌唱動画60Bとの各表示領域RDを設定した場合には、第1歌唱動画60Aについて設定した表示領域RDを携帯端末3A1に通知し、第2歌唱動画60Bについて設定した表示領域RDを携帯端末3A2に通知する(S39)。ステップS39の通知は、図12におけるステップS13の通知に対応する。これにより携帯端末3A1及び携帯端末3A2には、第1歌唱動画、第2歌唱動画の各々とともに表示領域RDが表示される。ステップS39の通知をした後、対戦設定部82が対戦歌唱を行うための各種設定を行う(S40)。
【0124】
ステップS42では、サーバ4の第2通信部88が携帯端末3A1又は携帯端末3A2から表示領域RDの変更の通知(図14においては単に「表示領域の通知」と記載している)を取得したか否かの判定を行う。第2通信部88が表示領域RDの変更の通知を取得した場合にはステップS42において肯定判定をし、第2表示制御部87は、取得した通知に基づき変更される表示領域RDに対応した第1歌唱動画及び第2歌唱動画に基づいて複合画像60を再生成する(S43)。第2通信部88が通知を取得しない場合にはステップS42において否定判定をし、対戦歌唱動画の配信を第2通信部88が開始する(S45)。配信する対戦歌唱動画は、第2表示制御部87によって生成(再生成も含む)された複合画像60を含む。これにより、携帯端末3Bの画面3aには、第1歌唱動画の少なくとも一部と第2歌唱動画の少なくとも一部が複合画像60を構成して表示される。なお、ステップS42は、ステップS40の前であってもよい。
【0125】
ステップS45の対戦歌唱動画の配信開始の後において、ステップS24(図12)の通知をサーバ4が第2通信部88によって取得(S48)する場合には、取得した表示領域RDに対応した第1歌唱動画及び第2歌唱動画に基づいて複合画像60を再生成し(S49)て配信し、取得しない場合には配信中の複合画像60の配信を継続して楽曲を進行させる。対戦楽曲の再生が終了(S51)しない間は、ステップS48が繰り返される。
【0126】
この例では、ステップS38において、サーバ4により複合画像60を生成し、ステップS49において、サーバ4により複合画像60を再生成しているが、複合画像60の生成と再生成との少なくともいずれか一方は視聴ユーザが用いる携帯端末3Bにより行ってもよい。複合画像60の生成と再生成とを携帯端末3Bにより行う場合には、携帯端末3Bは、サーバ4の第2表示制御部87と同様に構成された第3表示制御部(図示無し)を備えるとよい。複合画像60の生成を携帯端末3Bで行う場合、サーバ4は、ステップS37で設定した表示領域RDを、第1歌唱動画と第2歌唱動画の送信と共に、例えばステップS45において携帯端末3Bに通知し、携帯端末3Bにより、通知した表示領域RDに対応する複合画像60が生成される。複合画像60の再生成を携帯端末3Bで行う場合には、図12のステップS24の通知を取得したサーバ4は、取得した通知を、携帯端末3Aから取得した歌唱動画の送信とともに、携帯端末3Bに送るとよい。また、複合動画60の再生成を携帯端末3Bが行う場合には、図12のステップS24の通知を、携帯端末3Aから、サーバ4を介さずに、直接、携帯端末3Bへ送ってもよい。
【0127】
ステップS51は、対戦歌唱の楽曲が終了したか否かを動画配信モジュール(図示無し)が判定し、肯定判定の場合は、第2通信部88が対戦歌唱動画の配信を終了(S53)する。一方、ステップS51で否定判定の場合は、楽曲が終了するまで第2通信部88が対戦歌唱動画の配信を継続する。
【0128】
なお、非対戦型歌唱の場合には、サーバ4は、携帯端末3Aから配信された歌唱動画データを取得し、HDD26(図2参照)の所定領域に記憶する場合がある。また、非対戦型歌唱の場合には、サーバ4を介さずに、歌唱動画データが携帯端末3Bに送信される場合がある。
【0129】
対戦歌唱の勝敗は、視聴ユーザの投票によって決定する形態に限定されるものではない。例えば、対戦歌唱機能が自動採点機能を有し、この自動採点機能による判定結果によって勝敗が決定されてもよい。
【0130】
また、上記実施形態では、パフォーマンスを歌唱とし、動画投稿サイトにアップロードされる動画を歌唱動画とする形態について説明したが、本発明は、これに限定されるものではない。例えば、パフォーマンスをダンスとし、動画投稿サイトにアップロードされる動画をダンス動画とするように、パフォーマンスを歌唱以外としてもよい。
【0131】
<付記>
本発明の情報処理装置は、受信側端末装置と通信可能な情報処理装置であって、撮影画像の少なくとも一部をディスプレイに表示する表示制御部と、撮影画像の少なくとも一部を受信側端末装置に送信する通信部と、を備え、表示制御部は、受信側端末装置における撮影画像の表示領域を撮影画像とともにディスプレイに表示させる。
これにより、受信側端末装置に表示される画像を送信側端末装置で認識できる。
【0132】
表示制御部は、表示領域を示す領域表示画像を撮影画像に重ねた状態でディスプレイに表示させることが好ましい。
これにより、受信側端末装置に表示させる画像を、送信側端末装置で直観的に把握できる。
【0133】
表示制御部は、表示領域に基づくアスペクト比を保持した状態で表示領域を変更し、通信部は、変更された表示領域を受信側端末装置に通知することがさらに好ましい。
これにより、受信側端末装置に表示させる画像を、送信側端末装置で調整できる。
【0134】
本発明の情報処理システムは、送信側端末装置と受信側端末装置との間で通信可能な情報処理システムであって、撮影画像の少なくとも一部を送信側端末装置のディスプレイに表示する表示制御部と、撮影画像の少なくとも一部を受信側端末装置に送信する通信部と、を備え、表示制御部は、受信側端末装置における撮影画像の表示領域を撮影画像とともにディスプレイに表示させる。
これにより、受信側端末装置に表示される画像を送信側端末装置で認識できる。
【0135】
情報処理システムは、第1送信側端末装置と第2送信側端末装置とを含む複数の送信側端末装置及び受信側端末装置と通信するサーバ装置をさらに備え、サーバ装置は、第1送信側端末装置からの第1撮影画像と、第2送信側端末装置からの第2撮影画像とに基づき生成される複合画像を受信側端末装置に送信し、第1撮影画像のうち複合画像において表示される第1表示領域を第1送信側端末装置に通知するとともに、第2撮影画像のうち複合画像において表示される第2表示領域を第2送信側端末に通知し、第1送信側端末装置は、第1表示領域を第1撮影画像とともに第1送信側端末装置のディスプレイに表示させ、第2送信側端末装置は、第2表示領域を第2撮影画像とともに第2送信側端末装置のディスプレイに表示させることが好ましい。
これにより、送信側端末装置が複数有る場合でも、受信側端末装置に表示される画像を送信側端末装置で認識できる。
【0136】
本発明の情報処理プログラムは、受信側端末装置と通信可能な情報処理装置のコンピュータに、撮影画像の少なくとも一部をディスプレイに表示する表示制御ステップと、撮影画像の少なくとも一部を受信側端末装置に送信する通信ステップと、を実行させる情報処理プログラムであり、表示制御ステップは、受信側端末装置における撮影画像の表示領域を撮影画像とともにディスプレイに表示させる。
本発明の情報処理方法は受信側端末装置と通信する情報処理方法であって、撮影画像の少なくとも一部をディスプレイに表示する表示制御ステップと、撮影画像の少なくとも一部記受信側端末装置に送信する通信ステップと、を含み、表示制御ステップは、受信側端末装置における撮影画像の表示領域を撮影画像とともにディスプレイに表示させる。
これら情報処理プログラムと情報処理方法との各々により、受信側端末装置に表示される画像が送信側端末装置で認識される。
【符号の説明】
【0137】
1 カラオケシステム
3A,3B 携帯端末
3a 画面
4 サーバ
50B 撮影画像表示領域
60 複合画像
60A 第1歌唱動画
60B 第2歌唱動画
75 第1表示制御部
77 第1通信部
87 第2表示制御部
88 第2通信部
RD 表示領域
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14