(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0016】
(1.コメント配信システム)
以下、本発明の一実施形態によるコメント配信システムについて図面を参照して説明する。
図1は、本発明の一実施形態によるコメント配信システム1の構成を示す概略ブロック図である。コメント配信システム1では、動画配信サーバ10と、コメント配信サーバ20と、複数の端末装置30とが、ネットワーク40を介して接続されている。
【0017】
図1において、動画配信サーバ10は、端末装置30からの配信要求に応じて、動画データを要求元の端末装置30へ配信する。動画配信サーバ10による配信は、例えば、ストリーミング配信によって行われる。動画配信サーバ10は、一の端末装置30から送信された動画を他の端末装置30に配信する。コメント配信サーバ20は、動画配信サーバ10が配信する動画に対するコメントを端末装置30から受信し、その動画を閲覧する各端末装置30に配信する。端末装置30は、ネットワーク40を介して動画配信サーバ10とコメント配信サーバ20とに接続し、動画配信サーバ10から配信される動画を受信して表示するとともに、コメント配信サーバ20から配信されるコメントを受信して動画と同時に表示する。端末装置30は、ネットワーク40を介して各種サーバ等と通信可能な機能を有する端末装置である。端末装置30には、例えば、コンピュータ(PC)、モバイル端末(携帯電話、スマートフォン、情報端末装置等)、ゲーム機、テレビジョン装置等を適用することができる。
【0018】
図2は、コメント配信サーバ20の構成を示すブロック図である。
図2において、コメント情報記憶部21は、コメントの内容とコメント付与時間とを対応づけて、コメント情報として記憶する。コメント付与時間とは、コメントが付与された時点における、動画の再生開始時点(動画の冒頭)を基準とした動画再生時間のことである。
【0019】
図3は、コメント情報記憶部21に記憶されるデータの一例である。コメント情報記憶部21には、動画配信サーバ10から配信される動画に対するコメントを、スレッド毎にまとめたコメント情報が複数記憶されている。各コメント情報は、動画を識別する動画IDとスレッドを識別するスレッドIDとの情報を含む。コメント情報記憶部21は、コメント情報に、複数のコメントデータを含めて記憶することが可能である。コメントデータは、コメント付与時間とコメント内容の他に、そのコメントを付与(発言)した実際の時刻を示すコメント情報投稿実時間(実時間情報)と、コメントを付与したユーザを識別する情報であるユーザ名、コメントを動画上にどのように表示させるのかを指定する情報であるコメント表示方法が対応付けられたデータである。コメント配信サーバ20が、ある動画IDの動画を再生しており、かつ、あるスレッドIDのスレッドのコメントを閲覧している端末装置30からコメントデータを受信した場合、受信したコメントデータが、コメントデータに含まれる動画ID、スレッドIDに対応するコメント情報に追加保存される。ここでは、スレッドIDが動画IDに対応づけて記憶されていることによって、同じ動画であっても、異なるスレッドを複数設けることができる。
【0020】
コメント情報配信部22は、コメント情報記憶部21に記憶されたコメント情報を読み出して、再生している動画の動画IDとスレッドIDとが同一であるコメント情報を再生中の端末装置30に配信する。コメント情報更新管理部23は、通信部24を介して端末装置30から受信したコメントデータを、対応する動画ID及びスレッドIDに従って、コメント情報記憶部21に追加して記憶させる。
通信部24は、端末装置30と通信する。通信部24は、端末装置30から送信されたコメント情報をコメント情報更新管理部23に出力し、コメント情報記憶部21に追加して記憶させる。通信部24は、コメント情報配信部22にコメント情報の配信指示を出力する。
【0021】
(2.端末装置)
図4は、端末装置30の構成を表す概略ブロック図である。端末装置30は、制御部300と、通信部310と、記憶部320と、音声出力部330と、撮像部340と、動画生成部350と、入力部360と、動画編集部370と、表示部380と、画像生成部390と、プリンタIF(インタフェース)400とを含む。端末装置30はプリンタ35と接続されている。
制御部300は、端末装置30全般の動作を制御する。通信部310は、ネットワーク40を介して、動画配信サーバ10やコメント配信サーバ20と通信する。端末装置30は、通信部310を介して、動画配信サーバ10によって配信された動画を受信する。通信部310は、動画編集部370による編集がなされていない動画データまたは動画編集部370による編集がなされている動画データを動画配信サーバ10に送信する。端末装置30は、入力部360を介して、ユーザから動画に対するコメント情報の入力を受け付ける。端末装置30は、通信部310を介して、ユーザから入力を受け付けた動画に対するコメント情報をコメント配信サーバ20に送信する。コメント配信サーバ20は、複数の端末装置30から通知されたコメント情報を纏めて、動画を閲覧する各端末装置30に配信する。記憶部320は、動画データやコメント情報を含む各種データを記憶する。音声出力部330は、制御部300の制御に基づいて音声を出力する。
【0022】
撮像部340は、動画を撮像するカメラである。撮像部340は、例えば端末装置30のユーザを撮像する。動画生成部350は、撮像部340にて撮像された動画をデータの形式として出力する。動画のデータ形式としては、MPEG(Moving Picture Experts Group),AVI(Audio Video Interleave) ,ASF(Advanced Systems Format)等、任意のデータ形式を採用することができる。また、動画のデータ形式としては、RTMP(Real Time Messaging Protocol),RTSP(Real Time Streaming Protocol),HTTP(Hypertext Transfer Protocol)等の動画配信に適したプロトコルを採用してもよい。入力部360は、端末装置30のユーザからの指示入力をキーボードやマウスによって受け付ける。動画編集部370は、ユーザの指示に基づいて、動画生成部350から出力された動画データに編集処理を施す。表示部380は、動画生成部350から出力された未編集の動画データまたは動画編集部370にて編集された動画データを画像表示する。画像生成部390は、動画編集部370による編集がなされていない動画データまたは動画編集部370による編集がなされている動画データを基に静止画データを生成する。静止画データのデータ形式としては、JPEG(Joint Photographic Experts Group),PNG(Portable Network Graphics) ,GIF (Graphics Interchange Format)等、任意のデータ形式を採用することができる。プリンタIF400は、画像生成部390にて生成された静止画データを外部のプリンタ35に出力する。
【0023】
(3.端末装置における処理の流れ)
図5は、端末装置30における処理の流れについて示すフローチャートである。
図5を参照しながら、端末装置30の制御部300による各処理について説明する。
まず、制御部300は、撮像部340によって、ユーザを動画で撮像する(S501)。撮像部340によって撮像された動画は、動画配信サーバ10を経由して他の端末装置30に配信されるとともに、表示部380に表示される。ユーザは、表示部380に表示された動画を確認しながら、自分の立ち位置やポーズを整える。次に、制御部300は、動画編集部370の働きにより、表示部380に動画編集処理用の画面を表示する。また、制御部300は、入力部360からユーザの指示を受け付けてS501にて撮像を開始した動画を編集する(S502)。次に、制御部300は、入力された全てのコメントを表示部380に表示する(S503)。表示される全てのコメントは、端末装置30の入力部360にて入力されたコメントの他、いずれかの端末装置30にて入力されてコメント配信サーバ20を経由することにより配信されたコメントを含む。制御部300は、コメント配信サーバ20から配信されたコメントを動画編集部370による編集がなされていない動画データまたは動画編集部370による編集がなされている動画データに重ね合わせて表示する。次に、制御部300は、動画編集を終了するか否かを判定する(S504)。具体的には、制御部300は、ユーザが入力部360から編集終了指示を入力した場合や、所定の制限時間を経過した場合に、動画編集を終了するものと判定する。S504における判定の結果、動画編集を継続すべきであれば、S501に戻って各処理を繰り返す。
【0024】
S504における判定の結果、動画編集を終了すべきであれば、制御部300は、画像生成部390の働きにより、動画編集部370による編集がなされていない動画データまたは動画編集部370による編集がなされている動画データを基に静止画データを生成する(S505)。最後に、制御部300は、プリンタIF400を介して、静止画データを外部のプリンタ35に出力し、静止画を印刷させる(S506)。
以上の処理によって、端末装置30における一連の動作が終了する。
なお、上記の説明においては、S501にて撮像したユーザの動画を編集対象としたが、S502にて編集対象となる動画は、ユーザの撮像動画に限られるわけではない。動画配信サーバ10から配信される動画など任意の動画をS502の編集対象とすることができる。
【0025】
(4.編集処理の詳細)
次に、動画編集部370の実行する編集処理の詳細について説明する。動画編集部370は、表示部380上にて変化する動画に対して編集処理を施す。
図6は、表示部380に表示される編集画面の一例を示している。
図6の画面例では、画面の左領域に、編集対象となる動画、つまり撮像処理(
図5のS501参照)によって生成された動画が、編集対象画像として表示されている。この画面例においては、各端末装置30にて入力されたコメントが、編集対象画像に重ね合わせた状態で表示されている。コメントは、編集対象画像の右領域から左領域に流れるようにスクロールして表示される。
編集対象画像に対して、ユーザは、入力部360を通じた入力を用いて、各種の編集処理を施す。
図6において、編集対象画像の右側には、編集処理を行うためのツール類の選択領域が表示されている。選択領域において、ユーザが選択し得る項目は、入力の書き味を規定する仮想ペンの種類やその太さや色である。色の選択については候補色を表示したパレットが示されている。
【0026】
図7は、仮想ペンの種類を選択するためのポップアップ画面が表示された状態の編集画面の一例を示している。
図7においては、仮想ペンの選択肢として「えんぴつ」「クレヨン」「シャドー」「マーカー」「黒縁」「ネオン」の6種類が示されている。ユーザは、入力部360を通じた入力によって所望の仮想ペンの種類を選択する。ユーザは、仮想ペンの種類を選択した後は、その太さや色を選択する。この色や太さについては、デフォルトを定めておき、例えば、色のデフォルトは黒、太さのデフォルトは細い方から2番目の太さ、と決められていてもよい。
【0027】
編集画面の右上領域(
図6参照)には、落書きを行う編集モードを選択する「ペイント」タブと、スタンプ画像を付加する編集モードを選択する「スタンプ」タブとが表示されている。各タブを選択することにより、二つの編集モードを互いに切り替えることができる。
「ペイント」タブの選択中は、落書きを行う編集モードであり、入力部360を通じた入力によって編集対象画像上に自由に描画することができる。
図8は、スタンプ画像を付加する編集モードにおける編集画面の一例を示している。上述の「スタンプ」タブを選択すると、
図8に示すようなスタンプ選択の画面が表示される。この画面の右領域には、編集に使用可能なスタンプ画像が複数種類表示される。ユーザは、所望のスタンプ画像を入力部360を通じた入力によって選択することにより、編集対象画像にスタンプ画像を付加することができる。なお、スタンプ画像の選択肢を表示する際には、前回選択したスタンプ画像が画面の上側に位置するように表示してもよい。
【0028】
図9は、編集対象画像にスタンプ画像を付加した状態の編集画面の一例を示す。
図9においては、編集対象画像の右領域に2個のスタンプ画像が付加されている。ユーザがスタンプ画像を付加する際には、入力部360を通じた入力によってスタンプ画像を回転、伸縮できるようにしてもよい。また、付加するスタンプ画像は静止画に限られず、アニメーション画像としてもよい。
【0029】
図9に示す画面の右下隅には、編集処理を終了し、後述の「撮影」処理を開始するための「撮影する/らくがき終了」アイコンが表示されている。ユーザは気に入った編集対象画像ができあがった時点で、入力部360を通じた入力によって「撮影する/らくがき終了」アイコンをクリックする。ユーザが「撮影する/らくがき終了」アイコンをクリックすると、編集処理は終了する。
【0030】
編集処理中、ユーザは、表示画面の右上領域(
図9参照)に表示された「コメント」タブを選択することにより、編集対象画像上に表示されるコメントを入力部360から入力することができるようになる。
また、他の端末装置30のユーザは、動画配信サーバ10やコメント配信サーバ20を介して、編集処理中の動画やコメントを共有する。他の端末装置30のユーザは、コメントを入力することにより、編集対象画像を装飾することが可能となる。
【0031】
動画編集部370は、コメント配信サーバ20から受信したコメントの内容に応じて、編集処理の内容を変化させてもよい。
例えば、編集処理の様子を視聴していた他の端末装置30のユーザから「私も写りたい」というコメントが入力されると、動画編集部370は、そのユーザを表すアイコンやアバターの画像を編集対象画像に付加する。この場合、動画編集部370は、複数のアイコンやアバターの画像を、各端末装置30のユーザに対応付けた形で予め登録しておくことが好ましい。なお、編集対象画像に付加するのは、アイコンやアバターの画像ではなく、上記のコメントを入力したユーザの写真であってもよい。
このように構成すれば、遠隔に位置することの多い、他の端末装置30のユーザも、編集対象画像に所定の画像を付加して、編集処理やその後の「撮影」処理に参加することが可能となる。
【0032】
(5.編集処理後の処理の詳細)
次に、編集処理後の処理の詳細について説明する。
上述の「撮影する/らくがき終了」アイコン(
図9参照)をユーザがクリックすると、編集済画像の動画データを基に静止画データを生成するデータ生成処理が開始される。このデータ生成処理を、以下「撮影処理」と称する。
図10は、「撮影処理」を開始するときに表示部380上に表示される画面の一例を示している。
図10の画面には「この画像で撮影します。」との案内メッセージが表示されている。また、
図10の画面は、選択肢として「コメントありで撮影」「コメントなしで撮影」「らくがきに戻る」「撮影しないで終了」を表示し、そのいずれかを入力部360を通じた入力によってユーザに選択させる構成となっている。
図10の画面に対して、ユーザが「らくがきに戻る」を選択した場合、制御部300は編集処理に戻る。
図10の画面に対して、ユーザが「撮影しないで終了」を選択した場合、制御部300は全ての処理を終了する。
図10の画面に対して、ユーザが「コメントありで撮影」を選択した場合、制御部300は、編集対象画像上にコメントを表示したままの状態でカウントダウン処理に進む。
図10の画面に対して、ユーザが「コメントなしで撮影」を選択した場合、制御部300は、編集対象画像上からコメントを消去した状態でカウントダウン処理に進む。
【0033】
図11は、カウントダウン処理において、表示部380上に表示される画面の一例を示している。このカウントダウン処理では、画面の右領域に残り秒数を表示しながら「撮影処理」まで5秒間のカウントダウンを実行する。そして、5秒間のカウントダウンが終了する瞬間に画面を白く閃光させることにより「撮影処理」の瞬間をユーザに伝える。画像生成部390が、動画編集部370による編集がなされていない動画データまたは動画編集部370による編集がなされている動画データを基に静止画データを生成する際のデータ生成の手法やアルゴリズムは、特に限定されない。例えば、画像生成部390は、動画データを切り出してデータ変換することにより静止画データを得てもよいし、編集済画像の動画データを画面キャプチャーすることにより静止画データを得てもよい。
【0034】
図12は、「撮影処理」が終わったときに、表示部380上に表示される画面の一例である。
図12においては、「撮影しました!」というメッセージの表示によって、ユーザに「撮影処理」の終了を伝えている。
図12では、生成した静止画データの内容をユーザに確認させるために、「撮影処理」の終了後も静止画を表示させた状態を保っている。
【0035】
上記の説明では、編集処理の終了後、5秒間のカウントダウンを経て、編集対象画像の動画データを基に静止画データを生成するデータ生成処理を実行する態様を示した。しかし、画像生成部390は、上記のデータ生成処理を実行するタイミングを、他の手法によって決定してもよい。
例えば、画像生成部390は、編集対象画像の動画データを基に静止画データを生成するタイミングを、コメント配信サーバ20から受信したコメントの内容に応じて決定してもよい。
例えば、画像生成部390は、全てのコメントに含まれる特定の語(例えば「撮影」)の出現回数を数える。そして、画像生成部390は、特定の語の出現回数が所定回数(例えば100回)に達した時点で、ユーザの指示を待たず自動的に編集処理中の画像や編集済の画像の動画データを基に静止画データを生成する。このとき、画面表示の案内によって「撮影処理」が行われたことをユーザに通知してもよい。
【0036】
最後に、端末装置30は、プリンタIF400を介して、生成した静止画データを外部のプリンタ35に出力し、静止画を印刷させる。プリンタ35において印刷される媒体は、普通紙やコピー用紙の他、シール台紙等任意の媒体を用いることができる。静止画データは、データ生成処理を実行した端末装置30に限られず、他の端末装置30において共有されて印刷可能とされてもよい。
【0037】
上記の各処理の様子については、動画配信サーバ10やコメント配信サーバ20から配信される動画やコメントによって、他の端末装置30のユーザに視聴させてもよい。例えば、上記のカウントダウン処理時の画面を他の端末装置30においても表示させたり、「撮影処理」の瞬間に他の端末装置30における表示部380の画面を白く閃光させたりしてもよい。
【0038】
コメント配信システム1によれば、編集処理中または編集処理前の動画を動画配信サーバ10に送信し、編集処理中または編集処理前の動画を他の端末装置30と共有することにより、複数のユーザ間にて共に動画を編集する楽しみを提供することができる。また、コメント配信システム1によれば、各ユーザのコメントをコメント配信サーバ20に送信し、各ユーザのコメントを他の端末装置30と共有することにより、複数のユーザ間にて動画に対するコメントを共有する楽しみを提供することができる。前述のように、コメント配信サーバ20によって配信され、複数のユーザ間にて共有されたコメントの内容を動画の編集処理形態に反映させることも可能である。
【0039】
本明細書において、端末装置30は、単体の装置として、制御部300と、通信部310と、記憶部320と、音声出力部330と、撮像部340と、動画生成部350と、入力部360と、動画編集部370と、表示部380と、画像生成部390と、プリンタIF400とを含む構成としたが、本発明のコメント配信システムにおいて、上記各機能部は、複数の装置にわたって実装されてもよい。複数の装置にわたって実装される場合には、各装置が連携することによって1台の情報処理装置として実装された端末装置となる。
また、上記の説明においては、入力部360と表示部380とを別部材としたが、タッチパネル及びタッチペンの採用により、入力部360と表示部380とを共通の部材としてもよい。
【0040】
また、以上説明した実施形態において、
図4における端末装置30の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像の編集処理を行ってもよい。また、端末装置30の機能を実現するためのプログラムを、既存の端末装置にプラグインとして適用するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
【0041】
また、「コンピュータシステム」は、WWW(World Wide Web)システムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、サーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【0042】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。