特許 6522014 ビデオリモートコメンタリー同期方法及びシステム並びにターミナルデバイス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6522014

(24)【登録日】2019年5月10日

(45)【発行日】2019年5月29日

(54)【発明の名称】ビデオリモートコメンタリー同期方法及びシステム並びにターミナルデバイス

(51)【国際特許分類】

   H04N 21/44 20110101AFI20190520BHJP

【ＦＩ】

   H04N21/44

【請求項の数】17

【全頁数】24

(21)【出願番号】特願2016-572554(P2016-572554)

(86)(22)【出願日】2015年6月10日

(65)【公表番号】特表2017-521922(P2017-521922A)

(43)【公表日】2017年8月3日

(86)【国際出願番号】CN2015081192

(87)【国際公開番号】WO2015188755

(87)【国際公開日】20151217

【審査請求日】2016年12月9日

(31)【優先権主張番号】201410255532.X

(32)【優先日】2014年6月10日

(33)【優先権主張国】CN

(73)【特許権者】

【識別番号】514187420

【氏名又は名称】テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】シュウ・シャオミン

(72)【発明者】

【氏名】リー・ジュンミング

【審査官】 長谷川 素直

(56)【参考文献】

【文献】 特表２０１３−５４１８９４（ＪＰ，Ａ）

【文献】 特開平０２−０２２９９１（ＪＰ，Ａ）

【文献】 特開平０９−２１９８５１（ＪＰ，Ａ）

【文献】 特開平１１−１４４３７８（ＪＰ，Ａ）

【文献】 特開平１０−２１０４０９（ＪＰ，Ａ）

【文献】 特開２０１１−０２３８１１（ＪＰ，Ａ）

【文献】 特開２０１０−２３２７１６（ＪＰ，Ａ）

【文献】 特開２００８−２８８９３５（ＪＰ，Ａ）

【文献】 特表２０１３−５４５３５５（ＪＰ，Ａ）

【文献】 特表２０１３−５１４０３４（ＪＰ，Ａ）

【文献】 国際公開第２００５／０９８８５４（ＷＯ，Ａ１）

【文献】 米国特許出願公開第２００８／００２８０２３（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ２１／００−２１／８５８

(57)【特許請求の範囲】

【請求項1】

ビデオリモートコメンタリー同期方法であって：
コメントされるビデオデータを受信し、コメントされるビデオデータのビデオシーケンス番号を判定するステップ；
前記コメントされるビデオデータを再生し、コメンタリー音声を取得し、前記コメンタリー音声の音声シーケンス番号と前記ビデオシーケンス番号との間の対応関係を判定するステップ；及び
ビデオ再生側が、ビデオを再生しながら、前記音声シーケンス番号と前記ビデオシーケンス番号との間の前記対応関係に従って、前記コメンタリー音声を再生するように、前記音声シーケンス番号と前記ビデオシーケンス番号との間の前記対応関係を、前記ビデオ再生側に送信するステップ；
を有し、前記コメントされるビデオデータを受信し、コメントされるビデオデータのビデオシーケンス番号を判定することが：
グローバル基準シーケンス番号と前記ビデオシーケンス番号との第１相互関係の２タプルを、前記ビデオデータにより構成することであって、前記ビデオデータにおけるライブ音声のシーケンス番号が前記グローバル基準シーケンス番号であり、前記ビデオデータの前記ビデオシーケンス番号は前記グローバル基準シーケンス番号に従って判定される、こと；及び
前記第１相互関係の２タプルに従って、前記コメントされるビデオデータのビデオシーケンス番号を判定すること；
を含む、方法。

【請求項2】

前記コメンタリー音声の音声シーケンス番号と前記ビデオシーケンス番号との間の前記対応関係を判定することは：
前記第１相互関係の２タプルにおいて、前記グローバル基準シーケンス番号に従ってコメンタリー音声の音声シーケンス番号を判定すること；及び
前記グローバル基準シーケンス番号と前記音声シーケンス番号とを含む第２相互関係の２タプルを生成すること；
を含む請求項１に記載の方法。

【請求項3】

前記音声シーケンス番号と前記ビデオシーケンス番号との間の前記対応関係を、前記ビデオ再生側に送信することは：
前記第１相互関係の２タプル及び前記第２相互関係の２タプルをビデオ再生側に送信すること；
を含む請求項２に記載の方法。

【請求項4】

ビデオリモートコメンタリー同期方法であって：
コメントされるビデオデータとしてライブビデオを取得するステップ；
前記ビデオデータからライブ音声を取得し、前記ライブ音声のシーケンス番号を、グローバル基準シーケンス番号として使用し、前記グローバル基準シーケンス番号に従ってビデオデータのビデオシーケンス番号を判定するステップ；及び
前記グローバル基準シーケンス番号及び前記ビデオシーケンス番号を含む第１相互関係の２タプルを生成し、前記第１相互関係の２タプルを含むビデオデータを、ビデオコメンタリー側に送信するステップ；
を含む方法。

【請求項5】

前記ライブ音声のシーケンス番号を、グローバル基準シーケンス番号として使用することは：
取得されたライブ音声をデータスライスにセグメント化し、前記ライブ音声のシーケンス番号を、グローバル基準シーケンス番号として取得すること；
を含む請求項４に記載の方法。

【請求項6】

ビデオリモートコメンタリー同期方法であって：
ビデオデータと、前記ビデオデータに対応するコメンタリー音声とを受信するステップであって、前記ビデオデータはビデオシーケンス番号を有し、前記コメンタリー音声は音声シーケンス番号を有する、ステップ；
前記音声シーケンス番号と前記ビデオシーケンス番号との間の対応関係を受信するステップ；及び
前記ビデオデータが再生される場合に、前記音声シーケンス番号と前記ビデオシーケンス番号との間の前記対応関係に従って、前記コメンタリー音声を再生するステップ；
を有し、２つ又はそれ以上のコメンタリー音源が存在する場合に、本方法は：
所定のルールに従って、現在再生されているコメンタリー音声を選択又は切り替えるステップ；
を更に含み、前記音声シーケンス番号と前記ビデオシーケンス番号との間の対応関係を受信することは：
第１相互関係の２タプル及び第２相互関係の２タプルを受信すること；
を含み、前記第１相互関係の２タプルはグローバル基準シーケンス番号と前記ビデオシーケンス番号とを含み、前記第２相互関係の２タプルは前記グローバル基準シーケンス番号と前記音声シーケンス番号とを含み、前記ビデオデータにおけるライブ音声のシーケンス番号が前記グローバル基準シーケンス番号であり、前記ビデオデータの前記ビデオシーケンス番号は、前記グローバル基準シーケンス番号に従って判定され、前記音声シーケンス番号は前記グローバル基準シーケンス番号に従って判定される、方法。

【請求項7】

前記ビデオデータが再生される場合に、前記音声シーケンス番号と前記ビデオシーケンス番号との間の前記対応関係に従って、前記コメンタリー音声を再生することは：
前記ビデオデータが再生される場合に、現在のビデオ画像のシーケンス番号を取得し、前記第１相互関係の２タプルに従って、前記現在のビデオ画像の前記シーケンス番号に対応するグローバル基準シーケンス番号を取得し、取得したグローバル基準シーケンス番号に対応する音声シーケンス番号を、前記第２相互関係の２タプルに従って取得すること；
取得したグローバル基準シーケンス番号に対応するライブ音声を判定し、取得した音声シーケンス番号に対応するコメンタリー音声を判定すること；及び
前記現在のビデオ画像が再生される場合に、判定されたライブ音声及び判定されたコメンタリー音声を再生すること；
を含む請求項６に記載の方法。

【請求項8】

１つ又は複数のプロセッサ；
メモリ；及び
前記メモリに保存され、前記１つ又は複数のプロセッサにより実行される複数のプログラムモジュール；
を有するターミナルデバイスであって、前記複数のプログラムモジュールは：
コメントされるビデオデータを受信するように構成されるビデオ受信ユニット；
前記ビデオ受信ユニットにより受信される前記ビデオデータを再生するように構成されるビデオ再生ユニット；
コメンタリー音声を取得するように構成される音声取得ユニット；
前記ビデオ受信ユニットにより受信されるコメントされるビデオデータのビデオシーケンス番号を判定し；音声取得ユニットにより取得された前記コメンタリー音声の音声シーケンス番号と前記ビデオシーケンス番号との間の対応関係を判定するように構成されるシーケンス番号判定ユニット；及び
ビデオ再生側が、ビデオの再生中に、前記音声シーケンス番号と前記ビデオシーケンス番号との間の前記対応関係に従って前記コメンタリー音声を再生するように、前記音声シーケンス番号と前記ビデオシーケンス番号との間の前記対応関係を前記ビデオ再生側に送信するように構成されるシーケンス番号送信ユニット；
を含み、前記ビデオ受信ユニットは、グローバル基準シーケンス番号と前記ビデオシーケンス番号とを含む第１相互関係の２タプルを含む前記ビデオデータを受信するように構成され、前記ビデオデータのライブ音声のシーケンス番号がグローバル基準シーケンス番号であり、前記ビデオデータの前記ビデオシーケンス番号は前記グローバル基準シーケンス番号に従って判定され；及び
前記シーケンス番号判定ユニットは、前記第１相互関係の２タプルに従って、コメントされるビデオデータのビデオシーケンス番号を判定するように構成される、ターミナルデバイス。

【請求項9】

前記シーケンス番号判定ユニットは、前記第１相互関係の２タプルにおいて前記グローバル基準シーケンス番号に従って前記コメンタリー音声の音声シーケンス番号を判定し；及び、前記グローバル基準シーケンス番号と前記音声シーケンス番号とを含む第２相互関係の２タプルを生成するように構成される、請求項８に記載のターミナルデバイス。

【請求項10】

前記シーケンス番号判定ユニットは、前記第１相互関係の２タプルと前記第２相互関係の２タプルとをビデオ再生側に送信するように構成される；
請求項９に記載のターミナルデバイス。

【請求項11】

１つ又は複数のプロセッサ；
メモリ；及び
前記メモリに保存され、前記１つ又は複数のプロセッサにより実行される複数のプログラムモジュール；
を有するターミナルデバイスであって、前記複数のプログラムモジュールは：
コメントされるビデオデータとしてライブビデオを取得するように構成されるビデオ取得ユニット；
前記ビデオデータからライブ音声を取得し、前記ライブ音声のシーケンス番号をグローバル基準シーケンス番号として使用し、前記グローバル基準シーケンス番号に従って前記ビデオデータのビデオシーケンス番号を判定するように構成されるシーケンス番号判定ユニット；
前記グローバル基準シーケンス番号と前記ビデオシーケンス番号とを含む第１相互関係の２タプルを生成するように構成される２タプル生成ユニット；及び
前記第１相互関係の２タプルを含む前記ビデオデータをビデオコメンタリー側に送信するように構成される２タプル送信ユニット；
を含むターミナルデバイス。

【請求項12】

前記シーケンス番号判定ユニットは、取得されたライブ音声をデータスライスにセグメント化し、前記ライブ音声のシーケンス番号を、グローバル基準シーケンス番号として取得するように構成される；
請求項１１に記載のターミナルデバイス。

【請求項13】

１つ又は複数のプロセッサ；
メモリ；及び
前記メモリに保存され、前記１つ又は複数のプロセッサにより実行される複数のプログラムモジュール；
を有するターミナルデバイスであって、前記複数のプログラムモジュールは：
ビデオシーケンス番号を有するビデオデータと、前記ビデオデータに対応する、音声シーケンス番号を有するコメンタリー音声とを受信し；及び、前記音声シーケンス番号と前記ビデオシーケンス番号との間の対応関係を受信するように構成されるデータ受信ユニット；及び
前記ビデオデータが再生される場合に、前記音声シーケンス番号と前記ビデオシーケンス番号との間の前記対応関係に従って前記コメンタリー音声を再生するように構成される再生ユニット；
を有し、２つ以上のコメンタリー音源が存在する場合に、所定のルールに従って、現在再生されているコメンタリー音声を選択又は切り替えるように構成される再生制御ユニット；
を更に有し、前記データ受信ユニットは、第１相互関係の２タプル及び第２相互関係の２タプルを受信するように構成され、前記第１相互関係の２タプルはグローバル基準シーケンス番号と前記ビデオシーケンス番号とを含み、前記第２相互関係の２タプルは前記グローバル基準シーケンス番号と前記音声シーケンス番号とを含み、前記ビデオデータにおけるライブ音声のシーケンス番号は前記グローバル基準シーケンス番号であり、前記ビデオデータの前記ビデオシーケンス番号は前記グローバル基準シーケンス番号に従って判定され、前記音声シーケンス番号は前記グローバル基準シーケンス番号に従って判定される、ターミナルデバイス。

【請求項14】

前記再生ユニットは、
ビデオデータが再生される場合に、現在のビデオ画像のシーケンス番号を取得し；
前記第１相互関係の２タプルに従って前記現在のビデオ画像の前記シーケンス番号に対応するグローバル基準シーケンス番号を取得し；
取得したグローバル基準シーケンス番号に対応する音声シーケンス番号を、前記第２相互関係の２タプルに従って取得し；
取得したグローバル基準シーケンス番号に対応するライブ音声を判定し；
取得した音声シーケンス番号に対応するコメンタリー音声を判定し；及び
現在のビデオ画像が再生される場合に、判定したライブ音声及び判定したコメンタリー音声を再生する；
ように構成される、請求項１３に記載のターミナルデバイス。

【請求項15】

ビデオリモートコメンタリー同期システムであって：
ビデオ取得ターミナルとコメンタリーターミナルと再生ターミナルとを、通信可能に接続された状態で有し、
前記ビデオ取得ターミナルは請求項１１又は１２に記載のターミナルデバイスであり、前記コメンタリーターミナルは請求項８ないし１０のうちの何れか一項に記載のターミナルデバイスであり、前記再生ターミナルは、請求項１３又は１４のうちの何れか一項に記載のターミナルデバイスである、システム。

【請求項16】

前記システムはサーバを更に有し、前記サーバは：
前記ビデオ取得ターミナル及び前記コメンタリーターミナルの間で、及び、前記コメンタリーターミナル及び前記再生ターミナルの間でデータを転送するために、前記ビデオ取得ターミナル、前記コメンタリーターミナル及び前記再生ターミナルと通信コネクションを個別的に設定する；
請求項１５に記載のシステム。

【請求項17】

２つ又はそれ以上のコメンタリーターミナルが存在している請求項１５又は１６に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は通信の技術分野に関連し、特に、ビデオリモートコメンタリー(video remote-commentary)同期方法及びシステム並びにターミナルデバイスに関連する。

【背景技術】

【0002】

スポーツやエンターテーメントの分野では、コメンテーターが解説を与える状況が存在する。例えば、フットボールの試合の最中に、生放送のコメンタリーだけでなく、記録コメンタリーも存在する場合がある。

【0003】

コメンテーターは、スポーツ/出来事を解説、紹介及び分析することに長けている者であり、たいていはTV/放送マルチメディアで雇われる。エレクトロニックスポーツゲーム(e-sports games)の発展とともに、現在、eスポーツでコメンタリーを与えることに従事する者も、コメンテーターとして言及される。

【0004】

スポーツコメンテーターは、未知の世界から、コメントされる対象の場所(palace)へ我々を導くだけでなく、コメントされる対象について我々を熱中させるようにも導く。コメンタリーは、実生活の中に広く存在する。

【0005】

コメンタリーを有するビデオは、次の処理パーツを含む：1.ライブビデオを取得すること；2.コメンタリーの音声を取得すること；3.ビデオと音声とを同期させること。

【0006】

現在のビデオコメンタリーの実現方法は、次のとおりである：コメンテーターがビデオを視聴している場合に、ビデオに関するコメンタリーを与えるためにコメンテーターが一同に集められ、これは、一般に、コメンタリーを記録する際に行われる；或いは、ビデオを取得する状況で、コメンテーターがビデオを視聴してビデオに関するコメンタリーを与え、ビデオの取得とコメンタリー音声の取得とが同時に実行され、これは、概して、例えばフットボールの試合の生放送のようなライブコメンタリーで行われる。

【0007】

上記の方法によれば、コメンテーターを集めることが必要とされ、同一ビデオに対する複数のコメンテーターによるリモートコメンタリーは、実現できない。

【発明の概要】

【0008】

本発明の実施形態は、ビデオリモートコメンタリー同期方法及びシステム並びにターミナルデバイスを提供し、同一ビデオに対する複数のコメンテーターによるリモートコメンタリーを実現する。

【0009】

ビデオリモートコメンタリー同期方法は：
コメントされるビデオデータを受信し、コメントされるビデオデータのビデオシーケンス番号を判定するステップ；
前記コメントされるビデオデータを再生し、コメンタリー音声を取得し、前記コメンタリー音声の音声シーケンス番号と前記ビデオシーケンス番号との間の対応関係を判定するステップ；及び
ビデオ再生側が、ビデオを再生しながら、前記音声シーケンス番号と前記ビデオシーケンス番号との間の前記対応関係に従って、前記コメンタリー音声を再生するように、前記音声シーケンス番号と前記ビデオシーケンス番号との間の前記対応関係を、前記ビデオ再生側に送信するステップ；
を含んでもよい。

【0010】

ビデオリモートコメンタリー同期方法は：
コメントされるビデオデータとしてライブビデオを取得するステップ；
前記ビデオデータからライブ音声を取得し、前記ライブ音声のシーケンス番号を、グローバル基準シーケンス番号として使用し、前記グローバル基準シーケンス番号に従ってビデオデータのビデオシーケンス番号を判定するステップ；及び
前記グローバル基準シーケンス番号及び前記ビデオシーケンス番号を含む第1相互関係の2タプルを生成し、前記第1相互関係の2タプルを含むビデオデータを、ビデオコメンタリー側に送信するステップ；
を含んでもよい。

【0011】

ビデオリモートコメンタリー同期方法は：
ビデオデータと、前記ビデオデータに対応するコメンタリー音声とを受信するステップであって、前記ビデオデータはビデオシーケンス番号を有し、前記コメンタリー音声は音声シーケンス番号を有する、ステップ；
前記音声シーケンス番号と前記ビデオシーケンス番号との間の対応関係を受信するステップ；及び
前記ビデオデータが再生される場合に、前記音声シーケンス番号と前記ビデオシーケンス番号との間の前記対応関係に従って、前記コメンタリー音声を再生するステップ；
を含んでもよい。

【0012】

ターミナルデバイスは：
コメントされるビデオデータを受信するように構成されるビデオ受信ユニット；
前記ビデオ受信ユニットにより受信される前記ビデオデータを再生するように構成されるビデオ再生ユニット；
コメンタリー音声を取得するように構成される音声取得ユニット；
前記ビデオ受信ユニットにより受信されるコメントされるビデオデータのビデオシーケンス番号を判定し；音声取得ユニットにより取得された前記コメンタリー音声の音声シーケンス番号と前記ビデオシーケンス番号との間の対応関係を判定するように構成されるシーケンス番号判定ユニット；及び
前記ビデオ再生側が、ビデオの再生中に、前記音声シーケンス番号と前記ビデオシーケンス番号との間の前記対応関係に従って前記コメンタリー音声を再生するように、前記音声シーケンス番号と前記ビデオシーケンス番号との間の前記対応関係を前記ビデオ再生側に送信するように構成されるシーケンス番号送信ユニット；
を含んでもよい。

【0013】

ターミナルデバイスは：
コメントされるビデオデータとしてライブビデオを取得するように構成されるビデオ取得ユニット；
前記ビデオデータからライブ音声を取得し、前記ライブ音声のシーケンス番号をグローバル基準シーケンス番号として使用し、前記グローバル基準シーケンス番号に従って前記ビデオデータのビデオシーケンス番号を判定するように構成されるシーケンス番号判定ユニット；
前記グローバル基準シーケンス番号と前記ビデオシーケンス番号とを含む第1相互関係の2タプルを生成するように構成される2タプル生成ユニット；及び
前記第1相互関係の2タプルを含む前記ビデオデータをビデオコメンタリー側に送信するように構成される2タプル送信ユニット；
を含んでもよい。

【0014】

ターミナルデバイスは：
ビデオシーケンス番号を有するビデオデータと、前記ビデオデータに対応する、音声シーケンス番号を有するコメンタリー音声とを受信し；及び、前記音声シーケンス番号と前記ビデオシーケンス番号との間の対応関係を受信するように構成されるデータ受信ユニット；及び
前記ビデオデータが再生される場合に、前記音声シーケンス番号と前記ビデオシーケンス番号との間の前記対応関係に従って前記コメンタリー音声を再生するように構成される再生ユニット；
を含んでもよい。

【0015】

ビデオリモートコメンタリー同期システムは：
ビデオ取得ターミナルと、コメンタリーターミナルと、再生ターミナル903とを、通信可能に接続された状態で包含し、
前記ビデオ取得ターミナルは本発明の実施形態により提供されるビデオを取得する何れか任意のターミナルデバイスであり、前記コメンタリーターミナルは本発明の実施形態により提供される何れか任意のコメンタリー側のターミナルデバイスであり、前記再生ターミナルは、本発明の実施形態により提供されるビデオ再生側の何れか任意のターミナルデバイスであってよい。

【0016】

本発明の実施形態は以下の利点を有することが、上記の技術的手段から理解できる：なぜなら、ビデオシーケンス番号と音声シーケンス番号との間の対応関係を、ビデオの再生側(video playback end)が受信するように、ビデオシーケンス番号と音声シーケンス番号とに関連するオペレーションを、ビデオコメンタリー側(video commentary end)が実行するからである。ビデオコメンタリー側の数によらず、ビデオコメンタリー側は、互いに独立し且つ互いに邪魔し合うことなく、また、ビデオ再生側は、音声シーケンス番号とビデオシーケンス番号との間の対応関係に従って、コメンタリー音声を再生する時点を判断することができ、複数のコメンテーターによるリモートコメンタリーの同期、及び、同一ビデオに対する複数のコメンテーターによるリモートコメンタリーを実現する。

【図面の簡単な説明】

【0017】

本発明の実施形態による技術的解決手段を説明するため、以下、実施形態を説明するために必要とされる添付図面を簡単に説明する。明らかに、以下の説明において添付図面は本発明の単なる一実施形態を示しているに過ぎず、当業者は、創作的な能力を発揮することなく、添付図面の実施形態から他の実施形態を把握できる。

【0018】

【図1】本発明の実施形態による方法の概略的なフローチャート。

【0019】

【図2】本発明の実施形態による方法の概略的なフローチャート。

【0020】

【図3】本発明の実施形態による方法の概略的なフローチャート。

【0021】

【図4】本発明の実施形態によるビデオ再生同期を説明するための図。

【0022】

【図5】本発明の実施形態によるターミナルデバイスの概略的な構造を示す図。

【0023】

【図6】本発明の実施形態によるターミナルデバイスの概略的な構造を示す図。

【0024】

【図7】本発明の実施形態によるターミナルデバイスの概略的な構造を示す図。

【0025】

【図8】本発明の実施形態によるターミナルデバイスの概略的な構造を示す図。

【0026】

【図9】本発明の実施形態によるシステムの概略的な構造を示す図。

【0027】

【図10】本発明の実施形態によるシステムの概略的な構造を示す図。

【0028】

【図11】本発明の実施形態によるターミナルデバイスの概略的な構造を示す図。

【発明を実施するための形態】

【0029】

本開示の対象、技術的解決手段及び利点を更に明らかにするため、本開示は、以下、得添付図面を参照しながら詳細に説明される。明らかに、説明される実施形態は、本発明による全ての実施形態ではなくその一部に過ぎない。創作的能力を発揮することなく本発明の実施形態に基づいて当業者が把握できる他の全ての実施形態は、本開示の保護範囲内に属する。

【0030】

本発明の実施形態は、図1に示されるようなビデオコメンタリー同期方法を提供し、その方法は以下のステップ101ないし103を含む：

【0031】

101：コメントされるビデオデータを受信し、コメントされるビデオデータのビデオシーケンス番号を判定する。

【0032】

ビデオシーケンス番号は、ビデオスライスを表現するシーケンス番号である。ビデオスライスの順番は、例えば、ビデオフレームのようなビデオシーケンス番号に従って判定されてもよい。ビデオフレームのフレーム番号が、ビデオシーケンス番号として使用されてもよい。

【0033】

102：コメントされるビデオデータを再生し、コメンタリー音声を取得し、コメンタリー音声の音声シーケンス番号とビデオシーケンス番号との間の対応関係を判定する。

【0034】

この実施形態はコメンタリー側で実現されるので、コメンテーターのためにビデオデータを再生する必要がある。コメンテーターは、視聴(又は鑑賞)したビデオ画像についてコメントし、これによりコメンテーター音声を作成する。コメンタリー音声はコメンタリー側のコメンタリーターミナルにより取得される。音声シーケンス番号は、音声スライスを表現するシーケンス番号である。音声スライスの順番は、例えば、音声フレームのような音声シーケンス番号に従って判定されてもよい。音声フレームのフレーム番号が音声シーケンス番号として使用されてもよい。

【0035】

103：音声シーケンス番号とビデオシーケンス番号との間の対応関係を、ビデオ再生側に送信し、それにより、ビデオ再生側は、ビデオを再生しながら、音声シーケンス番号とビデオシーケンス番号との間の対応関係に従って、コメンタリー音声を再生する。

【0036】

ビデオ再生側が、音声シーケンス番号とビデオシーケンス番号との間の対応関係を受信するように、ビデオコメンタリーは、ビデオシーケンス番号及び音声シーケンス番号に関連するオペレーションを実行する。ビデオコメンタリー側の数によらず、ビデオコメンタリー側は互いに独立し且つ互いに邪魔することはなく、更に、ビデオ再生側は、音声シーケンス番号とビデオシーケンス番号との間の対応関係に従って、コメンタリー音声を再生する時点を判断することができ、複数のコメンテーターによるリモートコメンタリーの同期、及び、同一ビデオに対する複数のコメンテーターによるリモートコメンタリーを実現する。この解決手段は、事前録画(又は記録)するコメンタリーだけでなく、生放送のコメンタリーにも適用可能である。

【0037】

本発明の実施形態は、例えば次のように、ビデオシーケンス番号の判定法についての選択的な方法の説明を更に提供する：コメントされるビデオデータを受信し、コメントされるビデオデータのビデオシーケンス番号を判定することは：
グローバル基準シーケンス番号とビデオシーケンス番号との2個の要素から成る組(2つ一組又は2タプル)の第1相互関係を、ビデオデータにより含めることであって、前記ビデオデータにおけるライブ音声のシーケンス番号が前記グローバル基準シーケンス番号であり、前記ビデオデータの前記ビデオシーケンス番号は前記グローバル基準シーケンス番号に従って判定される、こと；及び
第1相互関係の2タプルに従って、コメントされるビデオデータのビデオシーケンス番号を判定すること；を含む。

【0038】

本発明のこの実施形態では、基準としてのシーケンス番号は、ライブ音声をセグメント化することにより取得されるシーケンス番号であるが、ビデオデータをセグメント化することにより取得されるシーケンス番号が、基準のシーケンス番号として使用されてもよく、或いは、あるシーケンス番号が基準として新たに追加されてもよく、本発明は、上記の実施形態に限定されない。

【0039】

本発明の実施形態は、例えば次のように、対応関係の表現形式及び音声シーケンス番号の決定法についての選択的な方法の説明を更に提供する：コメンタリー音声の音声シーケンス番号とビデオシーケンス番号との間の対応関係を判定することは：
第1相互関係の2タプルにおいて、前記グローバル基準シーケンス番号に従ってコメンタリー音声の音声シーケンス番号を判定すること；及び
グローバル基準シーケンス番号と前記音声シーケンス番号とを含む第2相互関係の2タプルを生成すること；を含んでもよい。

【0040】

上記の実施形態の実現手段に関し、本発明の実施形態は、次のように、音声シーケンス番号と音声シーケンス番号との間の対応関係を送信する仕方を提供してもよい：音声シーケンス番号とビデオシーケンス番号との間の対応関係を、ビデオ再生側に送信することは：
第1相互関係の2タプル及び第2相互関係の2タプルをビデオ再生側に送信すること；を含む。

【0041】

本発明の実施形態において、第1相互関係の2タプル及び第2相互関係の2タプルは、3つ組み(又はトリプレット)に統合されてもよく、トリプレットは、グローバル基準シーケンス番号と、ビデオシーケンス番号と、音声シーケンス番号とを含む。すなわち、第1相互関係の2タプルは、グローバル基準シーケンス番号と、ビデオシーケンス番号と、未指定の(unassignment)シーケンスとを含み；第2相互関係の2タプルにおける新たに決定される音声シーケンス番号は、トリプレットにおける未指定のシーケンスで満たされるようにしてもよい。すなわち、本発明の実施形態は上記の例に限定されない。音声シーケンス番号及びビデオシーケンス番号の間の対応関係を決定するために使用されることが可能な何れの実現方法も、本発明の実施形態の実現に影響を及ぼさない。

【0042】

本発明の実施形態は、図2に示されるような別のビデオリモートコメンタリー同期方法を更に提供し、本方法は、以下のステップ201ないし203を含む：

【0043】

201：コメントされるビデオデータとしてライブビデオを取得する。

【0044】

202：ビデオデータからライブ音声を取得し、ライブ音声のシーケンス番号を、グローバル基準シーケンス番号として使用し、グローバル基準シーケンス番号に従ってビデオデータのビデオシーケンス番号を判定する。

【0045】

203：グローバル基準シーケンス番号及びビデオシーケンス番号を含む第1相互関係の2タプルを生成し、第1相互関係の2タプルを含むビデオデータを、ビデオコメンタリー側に送信する。

【0046】

上記の記述に関し、本発明の一実施形態では、第1相互関係の2タプルにおけるグローバル基準シーケンス番号は、第2相互関係の2タプルを生成するために使用されている。しかしながら、第1相互関係の2タプル及び第2相互関係の2タプルは、グローバル基準シーケンス番号と、ビデオシーケンス番号と、音声シーケンス番号とを含む3つ組(トリプレット)に統合されてもよい。すなわち、第1相互関係の2タプルは、実際には、グローバル基準シーケンス番号と、ビデオシーケンス番号と、未指定のシーケンスとを含み；第2相互関係の2タプルにおける新たに判定される音声シーケンス番号は、トリプレットにおける未指定のシーケンスで満たされる。すなわち、この方法が使用される場合、トリプレットに1つの未指定シーケンスが存在する。実際には、このトリプレットは2タプルと等価であると考えてもよい。これらの相違は、コメンタリー側が未指定シーケンスに対する値を指定するか、或いは、指定するためにシーケンスが新たに追加されるかという点にある。すなわち、本発明の実施形態の実現は、上記の形態に限定されない。ライブ音声のシーケンス番号及びビデオシーケンス番号の間の対応関係を決定するために使用されることが可能な何れの実現方法も、本発明の実施形態の実現に影響を及ぼさない。

【0047】

本発明の実施形態は、ビデオ取得側を利用することによって実現されてもよい。相互関係の2タプルを利用することにより、ビデオデータの順序と、再生順序と、ビデオ及び音声の対応関係とが識別され、そのため、ビデオコメンタリー側にとっては、コメンタリー音声の順序をマークし、その順序に従ってコメンタリー音声とビデオとの間の対応関係をマークすることが有益である。ビデオコメンタリー側の数によらず、ビデオコメンタリー側は、互いに独立し且つ互いに邪魔し合うことなく、また、ビデオ再生側は、音声シーケンス番号とビデオシーケンス番号との間の対応関係に従って、コメンタリー音声を再生する時点を判断することができ、複数のコメンテーターによるリモートコメンタリーの同期、及び、同一ビデオに対する複数のコメンテーターによるリモートコメンタリーを実現する。この解決手段は、事前に記録するコメンタリーだけでなく、生放送のコメンタリーにも適用可能である。

【0048】

本発明の実施形態は、グローバル基準シーケンス番号の取得の仕方を更に提供し、それは具体的には次のようなものである：ライブ音声のシーケンス番号を、グローバル基準シーケンス番号として使用することは、取得されたライブ音声をデータスライスにセグメント化し、ライブ音声のシーケンス番号を、グローバル基準シーケンス番号として取得すること；を含む。

【0049】

本発明の実施形態に関し、基準としてのシーケンス番号は、ライブ音声をセグメント化することにより取得されるシーケンス番号であるが、ビデオデータをセグメント化することにより取得されるシーケンス番号が、基準シーケンス番号として使用されてもよく、或いは、あるシーケンス番号が基準として新たに追加されてもよく、本発明は実施形態に限定されない。

【0050】

本発明の実施形態は、図3に示されるように別のビデオリモートコメンタリー同期方法を更に提供し、本方法は、以下のようなステップ301ないし303を含む：

【0051】

301：ビデオデータと、ビデオデータに対応するコメンタリー音声とを受信する。ビデオデータはビデオシーケンス番号を有し、コメンタリー音声は音声シーケンス番号を有する。

【0052】

本発明のこの実施形態では、ビデオデータはコメンタリー側のコメンタリー端末からのものであってもよいし、ビデオ取得側からのものであってもよく、ビデオ取得側ではビデオデータはサーバを介して転送され、本発明は実施形態に限定されない。

【0053】

302：音声シーケンス番号とビデオシーケンス番号との間の対応関係を受信する。

【0054】

本発明のこの実施形態では、音声シーケンス番号とビデオシーケンス番号との間の対応関係は、コメンタリー側のコメンタリー端末によって、ビデオ再生側のビデオ再生デバイスに直接的に送信されてもよいし、また、サーバに転送されてサーバから均一に送信(又はブロードキャスト)されてもよく、本発明は実施形態に限定されない。

【0055】

303：ビデオデータが再生される場合に、音声シーケンス番号とビデオシーケンス番号との間の対応関係に従って、コメンタリー音声を再生する。

【0056】

本発明のこの実施形態では、ビデオ再生側は、音声シーケンス番号とビデオシーケンス番号との間の対応関係を受信するので、ビデオコメンタリー側の数によらず、ビデオコメンタリー側は互いに独立し且つ互いに邪魔することはなく、更に、ビデオ再生側は、音声シーケンス番号とビデオシーケンス番号との間の対応関係に従って、コメンタリー音声を再生する時点を判断することができ、複数のコメンテーターによるリモートコメンタリーの同期、及び、同一ビデオに対する複数のコメンテーターによるリモートコメンタリーを実現する。この解決手段は、事前録画(又は記録)するコメンタリーだけでなく、生放送のコメンタリーにも適用可能である。

【0057】

本発明の実施形態は、複数のコメンタリー音声が存在する場合の処理方法を更に提供し、その方法は具体的には次のようなものである：2つ又はそれ以上のコメンタリー音源が存在する場合に、本方法は：
所定のルールに従って、現在再生されているコメンタリー音声を選択又は切り替えること；
を更に含む。

【0058】

複数のコメンタリー音声が存在する場合、選択及び切替ルールの決め方は、技術者により適宜設定されてよく、例えば、各コメンタリー側の優先度が前もって設定され、その優先度に従って現在再生されるように音声が選択されてもよい。本発明の実施形態は特定のルールに限定されない。

【0059】

本発明の実施形態は、音声シーケンス番号とビデオシーケンス番号との間の対応関係に対する具体的な決定方法を更に提供し、それは例えば次のようなものである：音声シーケンス番号とビデオシーケンス番号との間の対応関係を受信することは：
第1相互関係の2タプル及び第2相互関係の2タプルを受信すること；
を含み、第1相互関係の2タプルはグローバル基準シーケンス番号とビデオシーケンス番号とを含み、第2相互関係の2タプルはグローバル基準シーケンス番号と音声シーケンス番号とを含み、ビデオデータにおけるライブ音声のシーケンス番号がグローバル基準シーケンス番号であり、ビデオデータのビデオシーケンス番号は、グローバル基準シーケンス番号に従って決定され、音声シーケンス番号はグローバル基準シーケンス番号に従って決定される。

【0060】

本発明の実施形態に関し、基準としてのシーケンス番号は、ライブ音声をセグメント化することにより取得されるシーケンス番号であるが、ビデオデータをセグメント化することにより取得されるシーケンス番号が、基準シーケンス番号として使用されてもよく、或いは、あるシーケンス番号が基準として新たに追加されてもよく、本発明は上記の実施形態に限定されない。

【0061】

本発明の実施形態において、第1相互関係の2タプル及び第2相互関係の2タプルは、3つ組み(又はトリプレット)に統合されてもよく、トリプレットは、グローバル基準シーケンス番号と、ビデオシーケンス番号と、音声シーケンス番号とを含む。すなわち、第1相互関係の2タプルは、グローバル基準シーケンス番号と、ビデオシーケンス番号と、未指定のシーケンスとを含み；第2相互関係の2タプルにおける新たに決定される音声シーケンス番号は、トリプレットにおける未指定のシーケンスで満たされるようにしてもよい。すなわち、本発明の実施形態は上記の例に限定されない。音声シーケンス番号及びビデオシーケンス番号の間の対応関係を決定するために使用されることが可能な何れの実現方法も、本発明の実施形態の実現性に影響しない。

【0062】

相互関係の2タプルを2つ使用する実現手段に基づいて、本発明の実施形態は次のように実現される特定の音声再生プロセスをさらに提供する：ビデオデータが再生される場合に、音声シーケンス番号とビデオシーケンス番号との間の対応関係に従って、コメンタリー音声を再生することは：
ビデオデータが再生される場合に、現在のビデオ画像のシーケンス番号を取得し、第1相互関係の2タプルに従って、現在のビデオ画像のシーケンス番号に対応するグローバル基準シーケンス番号を取得し、取得したグローバル基準シーケンス番号に対応する音声シーケンス番号を、第2相互関係の2タプルに従って取得すること；
取得したグローバル基準シーケンス番号に対応するライブ音声を判別し、取得した音声シーケンス番号に対応するコメンタリー音声を判別すること；及び
現在のビデオ画像が再生される場合に、判別されたライブ音声及び判別されたコメンタリー音声を再生すること；を含んでもよい。

【0063】

複数のコメンテーターが同時にコメントし、関連する同期情報を運ぶために2つの2タプルが使用される具体例を利用して、以下、実施形態が説明される。

【0064】

本発明の実施形態は、ビデオライブ放送中に複数のリモートコメンタリーを同期させることに関する方法を提供し、そのため、ユーザは、ライブ放送を視聴しているときに、遠隔的に同時に複数の者から与えられるコメンタリーを聴くことができ、遠隔した複数のコメンタリーの同期及びスイッチングを簡易化することを実現し、これにより、視聴者にとって優れた視聴体感をもたらす。

【0065】

本発明のこの実施形態の実現は、主に3つの段階に分けられる：

【0066】

第1段階：基準シーケンス番号がライブ放送に従って生成され、具体的には以下のステップを含む：

【0067】

1. ビデオ取得デバイスがライブ音声及びビデオデータをリアルタイムに取得する。

【0068】

2. ライブ音声ストリームがデータスライスにセグメント化され、グローバル基準シーケンス番号が生成される。

【0069】

3. ライブビデオストリームのビデオシーケンス(VideoSequence)番号が、「基準シーケンス(BaseSequence)」に従って生成され、この場合において、生成ルールは次のような相互関係の2タプルシーケンスであってもよい：
<VideoSequence.idx, BaseSequence.idx>…;

【0070】

4. 「BaseSequence」及び「VideoSequence」を搬送する音声及びビデオ、並びに相互関係は、バックグラウンドサーバーライブ(background server live)にアップロードされ、目前の視聴者及び遠方の視聴者を含む全てのユーザにプッシュされる。

【0071】

第2段階：リモートコメンタリーの音声シーケンス番号の生成は、具体的には以下のステップを含む：

【0072】

1. リモートコメンテーターがビデオ画像を視聴し、そのビデオ画像に対する同期コメンタリーを与え；コメンタリー端末が音声を取得する。

【0073】

2. コメンタリー端末の側において、コメンタリー音声の音声シーケンス番号とビデオのビデオシーケンス番号とが、「BaseSequence」を当てにすることによって生成され、生成ルールは、次のように、相互関係の2タプルのシーケンスであってもよい；
<CommentVoiceSequence.idx, BaseSequence.idx>…
<CommentVideoSequence.idx, BaseSequence.idx>…;

【0074】

3. コメンタリー端末は、「CommentVoiceSequence」と、「CommentVideoSequence」と、「BaseSequence」についての相互関係の2タプルとを、バックグラウンドサーバにアップロードし、バックグラウンドサーバによって、「CommentVoiceSequence」と、「CommentVideoSequence」と、「BaseSequence」についての相互関係の2タプルとが全てのユーザにプッシュされる。

【0075】

第3段階：ライブ放送ビデオを視聴するユーザに関し、コメンタリー同期方法は、具体的には以下のステップを含む：

【0076】

1. 図4を参照すると、ユーザがビデオを視聴する場合に、図4に示されるT1，T2，T3，T4，T5のような「BaseSequence」のタイムライン及び所定のバッファ期間に従って、再生は安定的にプッシュされる。

【0077】

図4には、上段ないし下段において左側に向かう4つの矢印がある。前者2つは、取得されるライブビデオに関連し、グローバル基準シーケンス番号(ライブ音声のシーケンス番号)とビデオシーケンス番号(ライブビデオのシーケンス番号)とに分割される；後者の2つはコメンタリー側のビデオデータであり、音声シーケンス番号(コメンタリー音声のシーケンス番号)とビデオシーケンス番号(コメンタリー音声に対応するビデオシーケンス番号)とを含む。

【0078】

2. 再生は、与えられた2タプル(projected 2-tuple)の関連性に依存する。
<CommentVoiceSequence.idx, BaseSequence.idx>…
<CommentVideoSequence.idx, BaseSequence.idx>…;

【0079】

例えば図中の時点T2のような「BaseSequence.idx」の時点において、コメンタリー音声及びコメンタリービデオの存在が、相互関係に従って検出された場合、コメンタリーが再生される。

【0080】

3. 複数のコメンタリーが存在し、処理ルールは一貫している。

【0081】

4. 複数のコメンタリーは切り替えられ、例えば、コメンタリーAはコメンタリーBに切り替えられ、ルールに従って処理される；切り替えるというコンセプトがない場合には、コメンタリー再生ストリームAが停止され、コメンタリー再生ストリームBが受信され、コメンタリー再生ストリームBが「BaseSequence.idx」に合致する場合、コメンタリーBが再生され始める。

【0082】

上記の実現方法によれば、複数の場所に存在するコメンテーターの同期の問題が軽減される。更に、標準化された処理方法を利用することにより、各々のアンカースイッチ(anchor switch)の間に相互関係はなく、そのため、サービスの流ちょうさや、コードの簡明化が保証され、と同時に、2回目のバッファリングや一時停止がビデオの再生中に生じなくなる。

【0083】

本発明の実施形態は図5に示されるようなターミナルデバイスを提供し、そのデバイスは：
コメントされるビデオデータを受信するように構成されるビデオ受信ユニット501；
ビデオ受信ユニット501により受信されるビデオデータを再生するように構成されるビデオ再生ユニット502；
コメンタリー音声を取得するように構成される音声取得ユニット503；
ビデオ受信ユニット501により受信されるコメントされるビデオデータのビデオシーケンス番号を判定し；音声取得ユニット503；により取得されたコメンタリー音声の音声シーケンス番号とビデオシーケンス番号との間の対応関係を判定するように構成されるシーケンス番号判定ユニット504；及び
ビデオ再生側が、ビデオの再生中に、音声シーケンス番号とビデオシーケンス番号との間の対応関係に従ってコメンタリー音声を再生するように、音声シーケンス番号とビデオシーケンス番号との間の対応関係をビデオ再生側に送信するように構成されるシーケンス番号送信ユニット505；を含むデバイスである。

【0084】

ビデオシーケンス番号はビデオスライスを表現するシーケンス番号である。ビデオスライスの順序は、例えばビデオフレームのようなビデオシーケンス番号に従って決定されてもよい。ビデオフレームのフレーム番号はビデオシーケンス番号として使用されてよい。

【0085】

この実施形態はコメンタリー側で実現されているので、コメンテーターに対してビデオデータを再生する必要がある。コメンテーターは、視聴したビデオ画像についてコメントし、これにより、コメンタリー音声を作成する。コメンタリー音声は、コメンタリー側のコメンタリー端末により取得される。音声シーケンス番号は、音声スライスを表現するシーケンス番号である。音声スライスの順序は、例えば音声フレームのような音声シーケンス番号に従って決定されてもよい。音声フレームのフレーム番号は、音声シーケンス番号として使用されてもよい。

【0086】

本発明の実施形態では、ビデオコメンタリー側が、ビデオシーケンス番号及び音声シーケンス番号に関連するオペレーションを実行し、そのため、ビデオ再生側は、音声シーケンス番号とビデオシーケンス番号との間の対応関係を受信する。ビデオコメンタリー側の数によらず、ビデオコメンタリー側は、互いに独立し且つ互いに邪魔し合うことなく、また、ビデオ再生側は、音声シーケンス番号とビデオシーケンス番号との間の対応関係に従って、コメンタリー音声を再生する時点を判断することができ、複数のコメンテーターによるリモートコメンタリーの同期、及び、同一ビデオに対する複数のコメンテーターによるリモートコメンタリーを実現する。この解決手段は、事前に記録するコメンタリーだけでなく、生放送のコメンタリーにも適用可能である。

【0087】

本発明の実施形態は、例えば次のような特徴を利用することにより、ビデオシーケンス番号の判定の仕方に対する選択的な方法をもたらし、その特徴は：
グローバル基準シーケンス番号とビデオシーケンス番号とを含む第1相互関係の2タプルを含むビデオデータを受信するように構成されるビデオ受信ユニットであって、ビデオデータのライブ音声のシーケンス番号がグローバル基準シーケンス番号であり、ビデオデータのビデオシーケンス番号はグローバル基準シーケンス番号に従って決定される、ビデオ受信ユニット；及び

【0088】

第1相互関係の2タプルに従って、コメントされるビデオデータのビデオシーケンス番号を決定するように構成されるシーケンス番号判定ユニット504；を含む。

【0089】

本発明の実施形態に関し、基準としてのシーケンス番号は、ライブ音声をセグメント化することにより取得されるシーケンス番号であるが、ビデオデータをセグメント化することにより取得されるシーケンス番号が、基準シーケンス番号として使用されてもよく、或いは、あるシーケンス番号が基準として新たに追加されてもよく、本発明は上記の実施形態に限定されない。

【0090】

本発明の実施形態は、例えば次のようにして、対応関係の表現形式と音声シーケンス番号の決定法に対する選択的な方法を提供し、その選択的な特徴は：第1相互関係の2タプルにおいてグローバル基準シーケンス番号に従ってコメンタリー音声の音声シーケンス番号を判定し；及び、グローバル基準シーケンス番号と音声シーケンス番号とを含む第2相互関係の2タプルを生成するように構成されるシーケンス番号判定ユニット504；を含む。

【0091】

上記の実施形態の実現手段に基づいて、本発明のこの実施形態は、音声シーケンス番号とビデオシーケンス番号との間の対応関係を送信することについて更なる特徴を提供し、その特徴は：第1相互関係の2タプルと第2相互関係の2タプルとをビデオ再生側に送信するように構成されるシーケンス番号送信ユニット505；を含む。

【0092】

本発明の実施形態において、第1相互関係の2タプル及び第2相互関係の2タプルは、3つ組み(又はトリプレット)に統合されてもよく、トリプレットは、グローバル基準シーケンス番号と、ビデオシーケンス番号と、ボイスシーケンス番号とを含む。すなわち、第1相互関係の2タプルは、グローバル基準シーケンス番号と、ビデオシーケンス番号と、未指定のシーケンスとを含み；第2相互関係の2タプルにおける新たに決定されるボイスシーケンス番号は、トリプレットにおける未指定のシーケンスで満たされるようにしてもよい。すなわち、本発明の実施形態は上記の例に限定されない。ボイスシーケンス番号及びビデオシーケンス番号の間の対応関係を決定するために使用されることが可能な何れの実現方法も、本発明の実施形態の実現に影響を及ぼさない。

【0093】

本発明の実施形態は図6に示されるような別のターミナルデバイスを更に提供し、そのデバイスは：
コメントされるビデオデータとしてライブビデオを取得するように構成されるビデオ取得ユニット601；
ビデオデータからライブ音声を取得し、ライブ音声のシーケンス番号をグローバル基準シーケンス番号として使用し、グローバル基準シーケンス番号に従ってビデオデータのビデオシーケンス番号を判定するように構成されるシーケンス番号判定ユニット602；
グローバル基準シーケンス番号とビデオシーケンス番号とを含む第1相互関係の2タプルを生成するように構成される2タプル生成ユニット603；及び
第1相互関係の2タプルを含むビデオデータをビデオコメンタリー側に送信するように構成される2タプル送信ユニット604；
を含むデバイスである。

【0094】

上記の実施形態の記述に基づいて、本発明のこの実施形態では、第1相互関係の2タプルのグローバル基準シーケンス番号が、第2相互関係の2タプルを生成するために使用される。しかしながら、第1相互関係の2タプル及び第2相互関係の2タプルはトリプレットに統合されてもよく、トリプレットは、グローバル基準シーケンス番号と、ビデオシーケンス番号と、ボイスシーケンス番号とを含む。すなわち、第1相互関係の2タプルは、実際に、グローバル基準シーケンス番号と、ビデオシーケンス番号と、未指定のシーケンスとを含み；第2相互関係の2タプルにおける新たに決定されるボイスシーケンス番号は、トリプレットにおける未指定のシーケンスで満たされるようにしてもよい。従って、この方法が使用される場合、トリプレットの中に1つの未指定シーケンスが存在する。実際には、このトリプレットは2タプルと等価であると考えられてよい。これらの相違は、コメンタリー側が未指定シーケンスに対する値を指定するか、或いは、指定するためにシーケンスが新たに追加されるかという点にある。すなわち、本発明の実施形態の実現は、上記の形態に限定されない。ライブ音声のシーケンス番号及びビデオシーケンス番号の間の対応関係を決定するために使用されることが可能な何れの実現方法も、本発明の実施形態の実現に影響を及ぼさない。

【0095】

本発明の実施形態は、ビデオ取得側を利用することにより実現される。相互関係の2タプルを利用することにより、ビデオデータの順序と、再生順序と、ビデオ及び音声の対応関係とが識別され、そのため、コメンタリー音声の順序と、その順序に従うビデオ及びコメンタリー音声の間の対応関係とをマークすることが、ビデオコメンタリー側にとって有益である。ビデオコメンタリー側の数によらず、ビデオコメンタリー側は、互いに独立し且つ互いに邪魔し合うことなく、また、ビデオ再生側は、音声シーケンス番号とビデオシーケンス番号との間の対応関係に従って、コメンタリー音声を再生する時点を判断することができ、複数のコメンテーターによるリモートコメンタリーの同期、及び、同一ビデオに対する複数のコメンテーターによるリモートコメンタリーを実現する。この解決手段は、事前に記録するコメンタリーだけでなく、生放送のコメンタリーにも適用可能である。

【0096】

本発明の実施形態はグローバル基準シーケンス番号を取得する特徴を更に提供し、その特徴は具体的には：取得されたライブ音声をデータスライスにセグメント化し、ライブ音声のシーケンス番号を、グローバル基準シーケンス番号として取得するように構成されるシーケンス番号判定ユニット602；である。

【0097】

本発明の実施形態に関し、基準としてのシーケンス番号は、ライブ音声をセグメント化することにより取得されるシーケンス番号であるが、ビデオデータをセグメント化することにより取得されるシーケンス番号が、基準シーケンス番号として使用されてもよく、或いは、あるシーケンス番号が基準として新たに追加されてもよく、本発明は上記の実施形態に限定されない。

【0098】

本発明の実施形態は図7に示されるような別のターミナルデバイスを更に提供し、そのデバイスは：
ビデオシーケンス番号を有するビデオデータと、ビデオデータに対応する、音声シーケンス番号を有するコメンタリー音声とを受信し；及び、音声シーケンス番号とビデオシーケンス番号との間の対応関係を受信するように構成されるデータ受信ユニット701；及び
ビデオデータが再生される場合に、音声シーケンス番号とビデオシーケンス番号との間の対応関係に従ってコメンタリー音声を再生するように構成される再生ユニット702；
を有するデバイスである。

【0099】

本発明のこの実施形態では、ビデオデータはコメンタリー側のコメンタリー端末からのものであってもよいし、ビデオ取得側からのものであってもよく、ビデオ取得側ではビデオデータはサーバを介して転送され、本発明は実施形態に限定されない。

【0100】

本発明のこの実施形態では、音声シーケンス番号とビデオシーケンス番号との間の対応関係は、コメンタリー側のコメンタリー端末によって、ビデオ再生側のビデオ再生デバイスに直接的に送信されてもよいし、また、サーバに転送されてサーバから均一に送信(又はブロードキャスト)されてもよく、本発明は実施形態に限定されない。

【0101】

本発明の実施形態では、ビデオ再生側は、音声シーケンス番号とビデオシーケンス番号との間の対応関係を受信し、ビデオコメンタリー側の数によらず、ビデオコメンタリー側は、互いに独立し且つ互いに邪魔し合うことなく、また、ビデオ再生側は、音声シーケンス番号とビデオシーケンス番号との間の対応関係に従って、コメンタリー音声を再生する時点を判断することができ、複数のコメンテーターによるリモートコメンタリーの同期、及び、同一ビデオに対する複数のコメンテーターによるリモートコメンタリーを実現する。この解決手段は、事前に記録するコメンタリーだけでなく、生放送のコメンタリーにも適用可能である。

【0102】

本発明の実施形態は、複数のコメンタリー音声が存在する場合の処理手段を更に提供し、その手段は、具体的には図8に示されるようなターミナルデバイスであり、そのデバイスは：
2つ以上のコメンタリー音源が存在する場合に、所定のルールに従って、現在再生されているコメンタリー音声を選択又は切り替えるように構成される再生制御ユニット801；を更に含むデバイスである。

【0103】

複数のコメンタリー音声が存在する場合、選択及び切替ルールの決め方は、技術者により適宜設定されてよく、例えば、各コメンタリー側の優先度が前もって設定され、その優先度に従って現在再生されるように音声が選択されてもよい。本発明の実施形態は特定のルールに限定されない。

【0104】

本発明の実施形態は、音声シーケンス番号とビデオシーケンス番号との間の対応関係の具体的に決める手段を次のように更に提供し、その手段は：
第1相互関係の2タプル及び第2相互関係の2タプルを受信するように構成されるデータ受信ユニット701；であり、第1相互関係の2タプルはグローバル基準シーケンス番号とビデオシーケンス番号とを含み、第2相互関係の2タプルはグローバル基準シーケンス番号と音声シーケンス番号とを含み、ビデオデータにおけるライブ音声のシーケンス番号はグローバル基準シーケンス番号であり、ビデオデータのビデオシーケンス番号はグローバル基準シーケンス番号に従って判定され、音声シーケンス番号はグローバル基準シーケンス番号に従って判定される。

【0105】

本発明の実施形態に関し、基準としてのシーケンス番号は、ライブ音声をセグメント化することにより取得されるシーケンス番号であるが、ビデオデータをセグメント化することにより取得されるシーケンス番号が、基準シーケンス番号として使用されてもよく、或いは、あるシーケンス番号が基準として新たに追加されてもよく、本発明は上記の実施形態に限定されない。

【0106】

本発明の実施形態において、第1相互関係の2タプル及び第2相互関係の2タプルは、トリプレットに統合されてもよく、トリプレットは、グローバル基準シーケンス番号と、ビデオシーケンス番号と、ボイスシーケンス番号とを含む。すなわち、第1相互関係の2タプルは、グローバル基準シーケンス番号と、ビデオシーケンス番号と、未指定のシーケンスとを含み；第2相互関係の2タプルにおける新たに決定されるボイスシーケンス番号は、トリプレットにおける未指定のシーケンスで満たされるようにしてもよい。すなわち、本発明の実施形態は上記の例に限定されない。ボイスシーケンス番号及びビデオシーケンス番号の間の対応関係を決定するために使用されることが可能な何れの実現方法も、本発明の実施形態の実現に影響を及ぼさない。

【0107】

相互関係の2タプルが2つ使用される実現手段に基づいて、本発明の実施形態は次のような手段により実現される具体的な音声再生プロセスを提供し、その手段は：
ビデオデータが再生される場合に、現在のビデオ画像のシーケンス番号を取得し；
第1相互関係の2タプルに従って現在のビデオ画像のシーケンス番号に対応するグローバル基準シーケンス番号を取得し；
取得したグローバル基準シーケンス番号に対応する音声シーケンス番号を、第2相互関係の2タプルに従って取得し；
取得したグローバル基準シーケンス番号に対応するライブ音声を判定し；
取得した音声シーケンス番号に対応するコメンタリー音声を判定し；及び
現在のビデオ画像が再生される場合に、判定したライブ音声及び判定したコメンタリー音声を再生するように構成される再生ユニット702である。

【0108】

本発明の実施形態は、図9に示されるようなビデオリモートコメンタリー同期システムを更に提供し、そのシステムは：
ビデオ取得ターミナル901と、コメンタリーターミナル902と、再生ターミナル903とを含み、それらは通信手段で接続されており、
ビデオ取得ターミナル901は、本発明の実施形態により提供される、ビデオを取得する何れか任意のターミナルデバイスであり、コメンタリーターミナル902は、本発明の実施形態により提供される、コメンタリー側の何れか任意のターミナルデバイスであり、再生ターミナル903は、本発明の実施形態により提供される、ビデオ再生側の何れか任意のターミナルデバイスである。

【0109】

ビデオコメンタリー側はビデオシーケンス番号及び音声シーケンス番号に関連するオペレーションを実行し、そのため、ビデオ再生側は、音声シーケンス番号とビデオシーケンス番号との間の対応関係を受信する。ビデオコメンタリー側の数によらず、ビデオコメンタリー側は、互いに独立し且つ互いに邪魔し合うことなく、また、ビデオ再生側は、音声シーケンス番号とビデオシーケンス番号との間の対応関係に従って、コメンタリー音声を再生する時点を判断することができ、複数のコメンテーターによるリモートコメンタリーの同期、及び、同一ビデオに対する複数のコメンテーターによるリモートコメンタリーを実現する。

【0110】

更に、図10に示されるようなシステムは、サーバ1001を更に含む：
サーバ1001は、ビデオ取得ターミナル901及びコメンタリーターミナル902の間で、及び、コメンタリーターミナル902及び再生ターミナル903の間でデータを転送するために、ビデオ取得ターミナル901、コメンタリーターミナル902及び再生ターミナル903と通信コネクションを個別的に設定する。

【0111】

選択的に、2つ又はそれ以上のコメンタリーターミナル902が存在してもよい。再生ターミナル903の数は、1以上の任意の数であってよいことが理解される。

【0112】

本発明の実施形態は別のターミナルデバイスを更に提供する。図11に示されるように、記述の簡明化のため、本発明の実施形態に関連する部分のみが示されている。記述されていない具体的な技術的詳細については、本開示の方法の実施形態の部分を参照されたい。ターミナルは、モバイルフォン、タブレットコンピュータ、パーソナルディジタルアシスタント(PDA)、ポイントオブセールス(POS)、車載コンピュータ等のような任意の端末装置であってよい。例えば、ターミナルデバイスは移動電話機である。

【0113】

図11は、本発明の実施形態による端末に関連するモバイルフォンの部分的な構造のブロック図である。図11を参照すると、モバイルフォンは、無線周波数(RF)回路1110、メモリ1120、入力ユニット1130、ディスプレイユニット1140、センサ1150、オーディオ回路1160、ワイヤレスフィデリティ(WiFi)モジュール1170、プロセッサ1180及び電源1190のようなコンポーネントを含んでいる。図11に示されるモバイルフォンの構造はモバイルフォンに対する限定を構成するものではないこと、モバイルフォンは図示されたものより多いコンポーネント又は少ないコンポーネントを含んでよいこと、幾つかのコンポーネントが組み合わされてもよいこと、或いは、異なるコンポーネントの配置が使用されてもよいことを、当業者は理解するであろう。

【0114】

以下、図11を参照しながらモバイルフォンのコンポーネントを具体的に説明する。

【0115】

RF回路1110は、情報の送受信プロセス又は呼び出しプロセスの最中に、信号を送受信するように構成される。特に、RF回路1110は、基地局からダウンリンク情報を受信し、ダウンリンク情報をプロセッサ1180へ処理のために供給し、関連するアップリンクデータを基地局へ送信する。一般に、RF回路1110は、アンテナ、少なくとも1つの増幅器、トランシーバ、カプラ、低雑音増幅器(LNA)及びデュプレクサ等を含んでよいが、これらに限定されない。更に、RF回路1110は、無線通信によりネットワーク及び他の装置と通信してもよい。無線通信は任意の通信規格又はプロトコルを利用してもよく、通信規格等は、限定ではないが、GSM(登録商標)(Global System for Mobile communications)、GPRS(General Packet Radio Service)、CDMA(Code Division Multiple Access)、WCDMA（登録商標）(Wideband Code Division Multiple Access)、LTE(Long Term Evolution)、電子メール(e-mail)、SMS(Short Messaging Service)等を含む。

【0116】

メモリ1120はソフトウェアプログラム及びモジュールを保存するように構成される。プロセッサ1180は、メモリ1120に保存されるモジュール及びソフトウェアプログラムを実行し、モバイルフォンの様々なデータ処理及び様々な機能アプリケーションを実現する。メモリ1120は、主に、プログラムストレージ領域吐データストレージ領域とを含む。プログラムストレージ領域は、オペレーティングシステム、少なくとも1つの機能により必要とされるアプリケーションプログラム(例えば、音声再生機能及び画像表示機能)等を保存してもよい。データ保存領域は、モバイルフォンを利用することにより作成されたデータ(例えば、オーディオデータ及びアドレスブック)等を保存してもよい。更に、メモリ1120は、高速ランダムアクセスメモリを含んでもよいし、少なくとも1つの磁気ディスクストレージデバイス等のような不揮発性メモリ、フラッシュメモリ、又は、他の揮発性ソリッドステートストレージデバイスを含んでもよい。

【0117】

入力ユニット1130は、入力される数字又はキャラクタ情報を受信し、モバイルフォンのユーザ設定及び機能制御に関連して入力されるキーボード信号を生成するように構成される。具体的には、入力ユニット1130はタッチパネル1131及び他の入力デバイス1132を含んでよい。タッチスクリーンとして言及されてもよいタッチパネル1131は、タッチパネルの場所又はその近辺のタッチ操作を収集し(例えば、指又はスタイラスのような適切な何らかのオブジェクト又はアクセサリを利用することにより、タッチパネル1131の場所又はその近辺におけるユーザの操作等のような動作を収集し)、所定のプログラムに従って、対応するコネクション装置を駆動する。選択的に、タッチパネル1131は、タッチ検出装置及びタッチコントローラのような2つの部分を含んでもよい。タッチ検出装置は、ユーザが触れた位置を検出し、タッチ操作によって生成される信号を検出し、その信号をタッチコントローラに転送する。タッチコントローラは、タッチ検出装置からタッチ情報を受信し、タッチ情報を接触点の座標に変換し、接触点の座標をプロセッサ1180に送信する。更に、タッチコントローラは、プロセッサ1180から送信されるコマンドを受信して実行する。更に、タッチパネル1131は、抵抗型、容量型、赤外線型又は表面弾性波型のタッチパネルであってもよい。タッチパネル1131に加えて、入力ユニット1130は、他の入力デバイス1132を更に含んでもよい。具体的には、他の入力デバイス1132は、限定ではないが、物理的なキーボード、ファンクションキー(例えば、ボリュームコントロールキー又はスイッチキー)、トラックボール、マウス及びジョイスティックのうちの1つ以上を含んでもよい。

【0118】

ディスプレイユニット1140は、ユーザにより入力された情報又はユーザのために提供される情報を表示するように構成される。ディスプレイユニット1140は、表示パネル1141を含んでもよい。選択的に、表示パネル1141は、液晶ディスプレイ(LCD)、有機発光ダイオード(OLED)等を利用することにより構成されてもよい。更に、タッチパネル1131は表示パネル1141をカバーしてもよい。タッチパネル1131の場所又はその近辺でタッチ操作を検出した後に、タッチパネル1131は、タッチイベントのタイプを判定するために、そのタッチ操作をプロセッサ1180に転送する。次に、プロセッサ1180は、タッチイベントのタイプに応じてディスプレイパネル1141に、対応する視覚的な出力を提供する。図11では、タッチパネル1131及び表示パネル1141は、モバイルフォンの入力及び出力機能を実現するための2つの別個のパーツとして使用されているが、一実施形態では、タッチパネル1131及び表示パネル1141は、モバイルフォンの入力及び出力機能を実現するように統合されてもよい。

【0119】

モバイルフォンは、光センサ、モーションセンサ及びその他のセンサのような少なくとも1つのセンサ1150を更に含んでもよい。具体的には、光センサは周囲光センサ及び近接センサを含んでもよい。周囲光センサは、周囲光の輝度に応じて表示パネル1141の明るさを調整するために使用されてもよい。近接センサは、モバイルフォンが耳元から動かされた場合に、表示パネル1141及び/又はバックライトをスイッチオフするために使用されてもよい。モーションセンサの一種として、加速度センサは、様々な方向の加速度の大きさを検出し(一般的には、3つの軸方向)、静止している場合には重力の向き及び大きさを検出し、モバイルフォンの姿勢を認識するアプリケーション(例えば、ランドスケープ方向とポートレート方向との間で切替を行うこと、関連するゲーム、磁力計の姿勢較正など)や、振動認識(例えば、歩数計及びノック)に関連するファンクション等に適用する。ジャイロスコープ、気圧計、湿度計、温度計及び赤外線センサ等のような、モバイルフォンに組み込まれてよい他のセンサが存在してもよいが、ここでは説明されない。

【0120】

オーディオ回路1160、拡声スピーカ1161及びマイクロフォン1162は、ユーザとモバイルフォンとの間のオーディオインターフェースを提供する。オーディオ回路1160は、受信したオーディオデータを電気信号に変換し、電気信号を拡声スピーカ1161に送信してもよい。拡声スピーカ1161は、電気信号を、出力のための音声信号に変換する。一方、マイクロフォン1162は、収集した音声信号を電気信号に変換する。オーディオ回路1160は、電気信号を受信し、電気信号をオーディオデータに変換し、オーディオデータを、処理用のプロセッサ1180に出力する。そして、プロセッサ1180は、RF回路1110を利用することにより、例えば他のモバイルフォンへオーディオデータを送信し、或いは、更なる処理のために、オーディオデータをメモリ1120へ出力する。

【0121】

WiFiは短距離無線通信技術に属する。モバイルフォンは、WiFiモジュール1170を利用することにより、ユーザが、電子メールを送受信すること、ウェブページを閲覧すること、ストリーミングメディアにアクセスすること等を支援し、WiFiモジュールは、無線ブロードバンドインターネットアクセスをユーザに提供する。図11はWiFiモジュール1170しか示していないが、WiFiモジュールはモバイルフォンの必須要素ではなく、本開示の本質的な目的が変更されない限り、必要に応じて、WiFiモジュールは省略されてもよいことが、理解されるであろう。

【0122】

プロセッサ1180は、モバイルフォンのコントロールセンタであり、様々なインターフェース及びラインを利用することにより、モバイルフォンの様々なパーツに接続される。メモリ1120に保存されるモジュール及び/又はソフトウェアプログラムを動作又は実行することにより、プロセッサ1180は、モバイルフォンの様々な機能及びデータ処理を実行し、これにより、モバイルフォンにおける全体的なモニタリングを実行する。選択的に、プロセッサ1180は1つ又は複数の処理ユニットを含んでもよい。好ましくは、プロセッサ1180はアプリケーションプロセッサ及びモデムを統合している。アプリケーションプロセッサは、主に、オペレーティングシステム、ユーザインターフェース、アプリケーションプログラム等を処理してもよい。モデムは、主に、無線通信を処理してもよい。上記のモデムはプロセッサ1180に統合されなくてもよいことが、理解される。

【0123】

モバイルフォンは、コンポーネントに電力を供給するために電源1190(例えば、バッテリ)を更に含む。好ましくは、電源は、電力管理システムを利用することによりプロセッサ1180に論理的に接続されてもよく、これにより、充電、放電、及び、電力消費管理システムを利用することによる電力消費管理などの機能を実行する。

【0124】

図示されてはいないが、モバイルフォンは、カメラ、ブルートゥース(登録商標)モジュール等を更に含んでもよく、これらについて本願で詳細には説明されない。

【0125】

本発明の一実施形態では、端末に包含されるプロセッサ1180は、方法の実施形態において、再生端末、コメンタリー端末又はビデオ取得端末に関連するステップを実行するように制御してもよい。

【0126】

ターミナルデバイスについての上記の実施形態では、ターミナルデバイスに含まれる全てのユニットは、単に機能的な論理に従って分割されているに過ぎず、対応する機能が実現可能である限り、ユニットの区分けは上記の分け方に限定されないことに、留意すべきである。更に、機能ユニットの具体的な名称は、単に互いを区別しているに過ぎず、本開示の保護範囲を限定するようには意図されていない。

【0127】

更に、上記の方法の実施形態におけるステップの全部又は一部は、関連するハードウェアを指示するプログラムによって実現されてよいことを、当業者は理解するであろう。対応するプログラムは、コンピュータ読み取り可能な記憶媒体に保存されてもよい。上記のストレージ媒体は、リードオンリメモリ、磁気ディスク、光ディスク等であってもよい。

【0128】

上記の記述は、単に、本開示による具体的な実現方法であるにすぎず、本開示による保護範囲を限定するようには意図されていない。本発明の実施形態において開示される技術的範囲に属する当業者に容易に把握される任意の変形及び置換は、本開示の保護範囲内に属する。すなわち、本開示の保護範囲は特許請求の範囲の保護範囲に委ねられる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】