特許 7004263 ビデオデータの表示方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-01-06

(45)【発行日】2022-01-21

(54)【発明の名称】ビデオデータの表示方法及び装置

(51)【国際特許分類】

   H04N 21/435 20110101AFI20220114BHJP

   H04N 21/431 20110101ALI20220114BHJP

   G06F 15/00 20060101ALI20220114BHJP

【ＦＩ】

H04N21/435

H04N21/431

G06F15/00 410B

【請求項の数】 12

(21)【出願番号】P 2019572610

(86)(22)【出願日】2018-05-23

(65)【公表番号】

(43)【公表日】2020-08-27

(86)【国際出願番号】 CN2018087997

(87)【国際公開番号】W WO2019007161

(87)【国際公開日】2019-01-10

【審査請求日】2020-01-08

(31)【優先権主張番号】201710545950.6

(32)【優先日】2017-07-06

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】519457616

【氏名又は名称】新華三云計算技術有限公司

【氏名又は名称原語表記】ＮＥＷ Ｈ３Ｃ ＣＬＯＵＤ ＴＥＣＨＮＯＬＯＧＩＥＳ ＣＯ．， ＬＴＤ．

(74)【代理人】

【識別番号】100104215

【弁理士】

【氏名又は名称】大森 純一

(74)【代理人】

【識別番号】100196575

【弁理士】

【氏名又は名称】高橋 満

(74)【代理人】

【識別番号】100168181

【弁理士】

【氏名又は名称】中村 哲平

(74)【代理人】

【識別番号】100117330

【弁理士】

【氏名又は名称】折居 章

(74)【代理人】

【識別番号】100160989

【弁理士】

【氏名又は名称】関根 正好

(74)【代理人】

【識別番号】100168745

【弁理士】

【氏名又は名称】金子 彩子

(74)【代理人】

【識別番号】100176131

【弁理士】

【氏名又は名称】金山 慎太郎

(74)【代理人】

【識別番号】100197398

【弁理士】

【氏名又は名称】千葉 絢子

(74)【代理人】

【識別番号】100197619

【弁理士】

【氏名又は名称】白鹿 智久

(72)【発明者】

【氏名】▲ハオ▼ 磊

(72)【発明者】

【氏名】曽 勇剛

【審査官】川中 龍太

(56)【参考文献】

【文献】欧州特許出願公開第２１２０１５７（ＥＰ，Ａ１）

【文献】米国特許出願公開第２０１６／０１９８２０８（ＵＳ，Ａ１）

【文献】特開２０１３－２０６４４２（ＪＰ，Ａ）

【文献】韓国公開特許第１０－２０１４－０１１７８８９（ＫＲ，Ａ）

【文献】特開２００９－２０５４９２（ＪＰ，Ａ）

【文献】特開２００２－１３３２１２（ＪＰ，Ａ）

【文献】Charles D.Cranor, et al.，，Enhanced Streaming Services in a Content Distribution Network，IEEE Internet Computing，2001年07月，pp.66-75，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=939452

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００ － ２１／８５８

Ｇ０６Ｆ １５／００

(57)【特許請求の範囲】

【請求項1】

マルチメディアリダイレクションにおいて遠隔に表示されるクライアントに適用されるビデオデータの表示方法であって、
サーバから送信された、プレイヤーのインタフェースサイズ及び座標と、再生ウィンドウ情報と、データチャンネル識別子とが載せられている再生ウィンドウの充填データを受信することと、
前記クライアントに前記プレイヤーのインタフェースサイズ及び座標に対応するプレイヤーのインタフェースを表示することと、
前記プレイヤーのインタフェースから前記再生ウィンドウ情報に対応する再生ウィンドウを確定することと、
前記再生ウィンドウに前記データチャンネル識別子に対応するビデオデータを表示することと、
ユーザが前記プレイヤーのインタフェースに対して実行する、前記プレイヤーのインタフェースサイズ及び座標を変化させた情報を含む操作情報を前記サーバに送信することと、
前記サーバが変化した前記プレイヤーのインタフェースサイズ及び座標に基づき再生成する再生ウィンドウの充填データを受信することと、
前記再生成する再生ウィンドウの充填データに基づきビデオデータを表示することと
を含む
ことを特徴とするビデオデータの表示方法。

【請求項2】

サーバから送信された、プレイヤーのインタフェースサイズ及び座標と、再生ウィンドウ情報と、データチャンネル識別子とが載せられている再生ウィンドウの充填データを受信する過程は、具体的に、
前記再生ウィンドウの充填データがプレイヤー情報、再生ウィンドウ情報及びデータチャンネル識別子を含む場合、前記再生ウィンドウの充填データを解析してプレイヤーのインタフェースサイズ及び座標と、再生ウィンドウ情報と、データチャンネル識別子とを取得し、
または、前記再生ウィンドウの充填データがプレイヤーのインタフェースサイズ及び座標と画像認識コードとを含み、前記画像認識コードがデータチャンネル識別子を含む場合、前記再生ウィンドウの充填データを解析して前記プレイヤーのインタフェースサイズ及び座標と前記画像認識コードとを取得し、前記プレイヤーのインタフェースサイズ及び座標に対応するプレイヤーのインタフェースに前記画像認識コードを表示するとともに、前記画像認識コードの表示領域に基づき再生ウィンドウ情報を確定し、前記画像認識コードを解析して前記データチャンネル識別子を取得する
ことを含むことを特徴とする請求項１に記載の方法。

【請求項3】

前記画像認識コードを解析して前記データチャンネル識別子を取得する過程は、具体的に、
画像認識技術により、前記画像認識コードの左側の位置から、１つのデータチャンネルの識別子画像で構成される画像認識コードを数字文字列に転換し、または画像認識技術により、前記画像認識コードの中心位置から、左右対称の２つのデータチャンネルの識別子画像で構成される画像認識コードを数字文字列に転換し、前記データチャンネルの識別子画像は第１認識子、データチャンネル識別子及び第２認識子からなる数字文字列に対応する画像であることと、
転換された数字文字列を解析して前記第１認識子にマッチングしている第１文字列及び前記第２認識子にマッチングしている第２文字列を取得するとともに、前記第１文字列と前記第２文字列との間の文字列をデータチャンネル識別子に確定することと、を含む
ことを特徴とする請求項２に記載の方法。

【請求項4】

マルチメディアリダイレクションにおいてサーバに適用されるビデオデータの表示方法であって、
クライアントにビデオデータのデータチャンネルを配分し、前記ビデオデータはデータチャンネル識別子によって一意に確定される前記データチャンネルを通して前記クライアントに送信されることと、
前記ビデオデータを再生するプレイヤーのインタフェースサイズ及び座標と再生ウィンドウ情報とを取得することと、
前記プレイヤーのインタフェースサイズ及び座標と、再生ウィンドウ情報と、データチャンネル識別子とに基づき再生ウィンドウの充填データを生成することと、
前記クライアントが前記プレイヤーのインタフェースサイズ及び座標と、再生ウィンドウ情報と、データチャンネル識別子とに基づいて前記ビデオデータを表示するように、前記再生ウィンドウの充填データを前記クライアントに送信することと、
ユーザが前記プレイヤーのインタフェースに対して実行する、前記プレイヤーのインタフェースサイズ及び座標を変化させた情報を含む操作情報を受信することと、
変化した前記プレイヤーのインタフェースサイズ及び座標に基づき再生ウィンドウの充填データを再生成し、再生成した再生ウィンドウの充填データを前記クライアントに送信することと、
を含む
ことを特徴とするビデオデータの表示方法。

【請求項5】

前記プレイヤーのインタフェースサイズ及び座標と、再生ウィンドウ情報と、データチャンネル識別子とに基づき再生ウィンドウの充填データを生成する過程は、具体的に、
前記データチャンネル識別子を含む画像認識コードを生成し、前記再生ウィンドウ情報に基づき前記画像認識コードを表示し、前記画像認識コードが表示されたインタフェースに基づき、前記プレイヤーのインタフェースサイズ及び座標と前記画像認識コードとを含む再生ウィンドウの充填データを生成し、または、
前記プレイヤーのインタフェースサイズ及び座標と、再生ウィンドウ情報と、データチャンネル識別子とが載せられている再生ウィンドウの充填データを生成することを含む
ことを特徴とする請求項４に記載の方法。

【請求項6】

前記データチャンネル識別子を含む画像認識コードを生成する過程は、具体的に、
前記データチャンネル識別子の前に第１認識子を追加し、前記データチャンネル識別子の後に第２認識子を追加し、前記第１認識子、前記データチャンネル識別子及び前記第２認識子を数字文字列に組合せ、画像転換技術により前記数字文字列を画像フォーマットのデータチャンネルの識別子画像に転換することと、
前記データチャンネルの識別子画像を用いて画像認識コードを生成し、前記画像認識コードは１つの前記データチャンネルの識別子画像で構成される、または左右対称の２つの前記データチャンネルの識別子画像で構成されることと、を含む
ことを特徴とする請求項５に記載の方法。

【請求項7】

前記プレイヤーのインタフェースサイズ及び座標と、再生ウィンドウ情報と、データチャンネル識別子とに基づき再生ウィンドウの充填データを生成する過程は、具体的に、
ビデオデータに対応する再生ウィンドウ情報が変化したと検出したときに、前記プレイヤーのインタフェースサイズ及び座標と、再生ウィンドウ情報と、データチャンネル識別子とに基づき、再生ウィンドウの充填データを生成することを含む
ことを特徴とする請求項４に記載の方法。

【請求項8】

前記再生ウィンドウの充填データはリモートデスクトッププロトコルのメッセージに搭載され、リモートデスクトッププロトコルにより前記クライアントに送信される
ことを特徴とする請求項４に記載の方法。

【請求項9】

マルチメディアリダイレクションにおいてサーバに適用されるビデオデータの表示装置であって、
クライアントにビデオデータのデータチャンネルを配分し、前記ビデオデータが前記データチャンネルにより前記クライアントに送信され、前記データチャンネルがデータチャンネル識別子により一意に確定されるように配置される配分モジュールと、
前記ビデオデータを再生するプレイヤーのインタフェースサイズ及び座標と再生ウィンドウ情報とを取得するように配置される取得モジュールと、
前記プレイヤーのインタフェースサイズ及び座標と、再生ウィンドウ情報と、データチャンネル識別子とに基づき、再生ウィンドウの充填データを生成するように配置される生成モジュールと、
前記再生ウィンドウの充填データを前記クライアントに送信することで、前記クライアントが前記プレイヤーのインタフェースサイズ及び座標と、再生ウィンドウ情報と、データチャンネル識別子とに基づき前記ビデオデータを表示するように配置される送信モジュールと、を備え、
前記取得モジュールが、ユーザが前記プレイヤーのインタフェースに対して実行する、前記プレイヤーのインタフェースサイズ及び座標を変化させた情報を含む操作情報を受信するようにさらに配置され、
前記生成モジュールが、変化した前記プレイヤーのインタフェースサイズ及び座標に基づき再生ウィンドウの充填データを再生成するようにさらに配置され、
前記送信モジュールが、再生成した再生ウィンドウの充填データを前記クライアントに送信するようにさらに配置される
ことを特徴とするビデオデータ表示装置。

【請求項10】

前記生成モジュールは、具体的に、前記プレイヤーのインタフェースサイズ及び座標と、再生ウィンドウ情報と、データチャンネル識別子とに基づき再生ウィンドウの充填データを生成する過程において、前記データチャンネル識別子を含む画像認識コードを生成し、前記再生ウィンドウ情報に基づき、前記画像認識コードを表示し、前記画像認識コードが表示されたインタフェースに基づき、前記プレイヤーのインタフェースサイズ及び座標と前記画像認識コードとを含む再生ウィンドウの充填データを生成し、または、
前記プレイヤーのインタフェースサイズ及び座標と、再生ウィンドウ情報と、データチャンネル識別子とが載せられている再生ウィンドウの充填データを生成することを含む
ことを特徴とする請求項９に記載の装置。

【請求項11】

前記生成モジュールは、前記データチャンネル識別子を含む画像認識コードを生成する過程において、前記データチャンネル識別子の前に第１認識子を追加し、前記データチャンネル識別子の後に第２認識子を追加し、前記第１認識子、前記データチャンネル識別子及び前記第２認識子を数字文字列に組合せ、画像転換技術により前記数字文字列を画像フォーマットのデータチャンネルの識別子画像に転換し、
前記データチャンネルの識別子画像を用いて画像認識コードを生成し、前記画像認識コードが１つの前記データチャンネルの識別子画像で構成される、または左右対称の２つの前記データチャンネルの識別子画像で構成されるように配置される
ことを特徴とする請求項１０に記載の装置。

【請求項12】

前記生成モジュールは具体的に、前記プレイヤーのインタフェースサイズ及び座標と、再生ウィンドウ情報と、データチャンネル識別子とに基づき、再生ウィンドウの充填データを生成する過程において、ビデオデータに対応する再生ウィンドウ情報が変化したと検出したとき、前記プレイヤーのインタフェースサイズ及び座標と、再生ウィンドウ情報と、データチャンネル識別子とに基づき再生ウィンドウの充填データを生成するように配置される
ことを特徴とする請求項９に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

［関連出願への相互参照］
本願は２０１７年７月６日に中国特許庁に提出された出願番号がＣＮ２０１７１０５４５９５０．６であり、発明の名称が「ビデオデータの表示方法及び装置」である中国特許出願を優先権として主張し、その内容は全てが本願に援用されている。
［技術分野］
本願は通信技術分野に関し、特にビデオデータの表示方法及び装置に関する。

【背景技術】

【0002】

コンピュータ技術及びネットワーク技術の発展とともに、リモートデスクトップ技術は企業オフィス環境に適用されることがだんだん広がっている。リモートデスクトップ技術は企業の情報管理のコストを低減するとともに、データアクセスの安全性を向上させることができる。なお、リモートデスクトップ技術の原理について、一台の機器（即ち、仮想化サービスを提供するサーバであり、本発明にてサーバと略称する）のスクリーンに表示されている内容を、ネットワークを通して他端の機器（即ち、リモートプロトコルを処理するためのシンクライアント端末であり、本発明にてクライアントと略称）で表示を行う。

【0003】

ビデオデータ再生はリモートデスクトップの典型的な適用であり、サーバは、まず、エンコードされたビデオデータを取得する。そして、ビデオデータをデコードするとともに、デコードされたビデオデータをクライアントに送信する。クライアントはプレイヤーによって、そのデコードされたビデオデータを表示する。研究によって、このようなビデオデータの表示方法に関する表示性能には向上する余地がまだあるとわかっている。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明は、ビデオデータの表示方法に関し、表示性能を向上することを目的とする。

【課題を解決するための手段】

【0005】

本発明はマルチメディアリダイレクションにおいて遠隔に表示されるクライアントに適用されるビデオデータの表示方法であって、
サーバから送信された再生ウィンドウの充填データを受信し、前記再生ウィンドウの充填データに基づき、プレイヤー情報、再生ウィンドウ情報及びデータチャンネル識別子を確定することと、
前記クライアントに前記プレイヤー情報に対応するプレイヤーのインタフェースを表示することと、
前記プレイヤーのインタフェースから前記再生ウィンドウ情報に対応する再生ウィンドウを確定することと、
前記再生ウィンドウに前記データチャンネル識別子に対応するビデオデータを表示することと、を含む表示方法を提供する。

【0006】

好ましくは、前記再生ウィンドウの充填データに基づきプレイヤー情報、再生ウィンドウ情報及びデータチャンネル識別子を確定する過程は、具体的に、
前記再生ウィンドウの充填データがプレイヤー情報、再生ウィンドウ情報及びデータチャンネル識別子を含む場合、前記再生ウィンドウの充填データを解析してプレイヤー情報、再生ウィンドウ情報及びデータチャンネル識別子を取得すること、
または、前記再生ウィンドウの充填データがプレイヤー情報及び画像認識コードを含み、前記画像認識コードがデータチャンネル識別子を含む場合、前記再生ウィンドウの充填データを解析して前記プレイヤー情報と前記画像認識コードとを取得し、前記プレイヤー情報に対応するプレイヤーのインタフェースに前記画像認識コードを表示するとともに、前記画像認識コードの表示領域に基づき再生ウィンドウ情報を確定し、前記画像認識コードを解析して前記データチャンネル識別子を取得することを含む。

【0007】

好ましくは、前記画像認識コードを解析して前記データチャンネル識別子を取得する過程は、具体的に、
前記画像認識コードの左側の位置から、画像認識技術により、１つのデータチャンネルの識別子画像で構成される画像認識コードを数字文字列に転換し、または前記画像認識コードの中心位置から、画像認識技術により、左右対称の２つのデータチャンネルの識別子画像で構成される画像認識コードを数字文字列に転換することであって、ここで、前記データチャンネルの識別子画像は第１認識子、データチャンネル識別子及び第２認識子からなる数字文字列に対応する画像である前記ことと、
転換された数字文字列を解析して前記第１認識子にマッチングしている第１文字列及び前記第２認識子にマッチングしている第２文字列を取得するとともに、前記第１文字列と前記第２文字列との間の文字列をデータチャンネル識別子に確定することとを含む。

【0008】

好ましくは、前記方法は、
ユーザが前記プレイヤーのインタフェースに対して実行する操作情報を前記サーバに送信することで、前記サーバは当該操作情報を受信した後、当該プレイヤーのインタフェースに対応する仮想再生インタフェースのインタフェースサイズ及び／または座標が変化したと検知し、前記クライアントに配分するビデオデータのデータチャンネルのデータチャンネル識別子、変化後のプレイヤー情報及び再生ウィンドウ情報に基づき、再生ウィンドウの充填データを再生成し、前記クライアントに送信することをさらに含む。

【0009】

本発明はマルチメディアリダイレクションにおいてサーバに適用されるビデオデータの表示方法であって、
クライアントにビデオデータのデータチャンネルを配分し、前記ビデオデータはデータチャンネル識別子によって一意に確定される前記データチャンネルを通して前記クライアントに送信されることと、
前記ビデオデータを再生するプレイヤーのプレイヤー情報及び再生ウィンドウ情報を取得することと、
前記プレイヤー情報、再生ウィンドウ情報及びデータチャンネル識別子に基づき再生ウィンドウの充填データを生成することと、
前記再生ウィンドウの充填データを前記クライアントに送信することで、前記クライアントは前記プレイヤー情報、再生ウィンドウ情報及びデータチャンネル識別子に基づき、前記ビデオデータを表示することと、を含む
ビデオデータの表示方法を提供する。

【0010】

好ましくは、前記プレイヤー情報、再生ウィンドウ情報及びデータチャンネル識別子に基づき再生ウィンドウの充填データを生成する過程は、具体的に、
前記データチャンネル識別子を含む画像認識コードを生成し、前記再生ウィンドウ情報に基づき前記画像認識コードを表示し、前記画像認識コードが表示されたインタフェースに基づき、前記プレイヤー情報と前記画像認識コードとを含む再生ウィンドウの充填データを生成すること、また、
前記プレイヤー情報、再生ウィンドウ情報及びデータチャンネル識別子が載せられている再生ウィンドウの充填データを生成することを含む。

【0011】

好ましくは、前記データチャンネル識別子を含む画像認識コードを生成する過程は、具体的に、
前記データチャンネル識別子の前に第１認識子を追加し、前記データチャンネル識別子の後に第２認識子を追加し、前記第１認識子、前記データチャンネル識別子及び前記第２認識子を数字文字列に組合せ、画像転換技術により前記数字文字列を画像フォーマットのデータチャンネルの識別子画像に転換することと、
前記データチャンネルの識別子画像を用いて画像認識コードを生成することであって、ここで、前記画像認識コードは１つの前記データチャンネルの識別子画像で構成される、または左右対称の２つの前記データチャンネルの識別子画像で構成されることと、を含む。

【0012】

好ましくは、前記プレイヤー情報、再生ウィンドウ情報及びデータチャンネル識別子に基づき再生ウィンドウの充填データを生成する過程は、具体的に、
ビデオデータに対応する再生ウィンドウ情報が変化したと検出したときに、前記プレイヤー情報、再生ウィンドウ情報及びデータチャンネル識別子に基づき、再生ウィンドウの充填データを生成することを含む。

【0013】

好ましくは、前記方法は、
前記クライアントから送信されてユーザが前記プレイヤーのインタフェースに対して実行する操作情報を受信し、当該操作情報を受信した後、当該プレイヤーのインタフェースに対応する仮想再生インタフェースのインタフェースサイズ及び／または座標が変化したと検知することで、前記クライアントに配分するビデオデータのデータチャンネルのデータチャンネル識別子、変化後のプレイヤー情報及び再生ウィンドウ情報に基づき再生ウィンドウの充填データを再生成し、前記クライアントに送信することをさらに含む。

【0014】

好ましくは、前記再生ウィンドウの充填データはリモートデスクトッププロトコルのメッセージに搭載され、リモートデスクトッププロトコルにより前記クライアントに送信される。

【0015】

本発明は、マルチメディアリダイレクションにおいて遠隔に表示されるクライアントに適用されるビデオデータ表示装置であって、サーバから送信された再生ウィンドウの充填データを受信するための受信モジュールと、前記再生ウィンドウの充填データに基づきプレイヤー情報、再生ウィンドウ情報及びデータチャンネル識別子を確定するための確定モジュールと、前記クライアントに前記プレイヤー情報に対応するプレイヤーのインタフェースを表示するための表示モジュールとを含み、前記確定モジュールはさらに、前記プレイヤーのインタフェースから前記再生ウィンドウ情報に対応する再生ウィンドウを確定し、前記表示モジュールはさらに、前記再生ウィンドウに前記データチャンネル識別子に対応するビデオデータを表示する。

【0016】

本発明は、マルチメディアリダイレクションにおいてサーバに適用されるビデオデータの表示装置であって、クライアントにビデオデータのデータチャンネルを配分し、前記ビデオデータが前記データチャンネルにより前記クライアントに送信され、前記データチャンネルがデータチャンネル識別子により一意に確定されるように配置される配分モジュールと、前記ビデオデータを再生するプレイヤーのプレイヤー情報及び再生ウィンドウ情報を取得するように配置される取得モジュールと、前記プレイヤー情報、再生ウィンドウ情報及びデータチャンネル識別子に基づき、再生ウィンドウの充填データを生成するように配置される生成モジュールと、前記再生ウィンドウの充填データを前記クライアントに送信することで、前記クライアントが前記プレイヤー情報、再生ウィンドウ情報及びデータチャンネル識別子に基づき前記ビデオデータを表示するように配置される送信モジュールと、を備えるビデオデータ表示装置を提供する。

【0017】

好ましくは、前記生成モジュールは、具体的に、前記プレイヤー情報、再生ウィンドウ情報及びデータチャンネル識別子に基づき再生ウィンドウの充填データを生成する過程において、前記データチャンネル識別子を含む画像認識コードを生成し、前記再生ウィンドウ情報に基づき、前記画像認識コードを表示し、前記画像認識コードが表示されたインタフェースに基づき、前記プレイヤー情報と前記画像認識コードとを含む再生ウィンドウの充填データを生成すること、また、
前記プレイヤー情報、再生ウィンドウ情報及びデータチャンネル識別子が載せられている再生ウィンドウの充填データを生成することを含む。

【0018】

好ましくは、前記生成モジュールは、前記データチャンネル識別子を含む画像認識コードを生成する過程において、前記データチャンネル識別子の前に第１認識子を追加し、前記データチャンネル識別子の後に第２認識子を追加し、前記第１認識子、前記データチャンネル識別子及び前記第２認識子を数字文字列に組合せ、画像転換技術により前記数字文字列を画像フォーマットのデータチャンネルの識別子画像に転換し、
前記データチャンネルの識別子画像を用いて画像認識コードを生成し、前記画像認識コードが１つの前記データチャンネルの識別子画像で構成される、または左右対称の２つの前記データチャンネルの識別子画像で構成されるように配置される。

【0019】

好ましくは、前記生成モジュールは具体的に、前記プレイヤー情報、再生ウィンドウ情報及びデータチャンネル識別子に基づき、再生ウィンドウの充填データを生成する過程において、ビデオデータに対応する再生ウィンドウ情報が変化したと検出したとき、前記プレイヤー情報、再生ウィンドウ情報及びデータチャンネル識別子に基づき再生ウィンドウの充填データを生成するように配置される。

【0020】

好ましくは、前記取得モジュールは、前記クライアントから送信されてユーザが前記プレイヤーのインタフェースに対して実行する操作情報を受信し、当該操作情報を受信した後、当該プレイヤーのインタフェースに対応する仮想再生インタフェースのインタフェースサイズ及び／または座標が変化したと検知するようにさらに配置され、前記生成モジュールは前記クライアントに配分するビデオデータのデータチャンネルのデータチャンネル識別子、変化後のプレイヤー情報及び再生ウィンドウ情報に基づき、再生ウィンドウの充填データを再生成するようにさらに配置され、前記送信モジュールは再生成された再生ウィンドウの充填データを前記クライアントに送信するようにさらに配置される。

【0021】

上記の技術案に基づき、本発明において、サーバからクライアントに送信されたのは再生ウィンドウの充填データであり、クライアントは再生ウィンドウの充填データに基づき、プレイヤー情報、再生ウィンドウ情報及びデータチャンネル識別子を確定し、クライアントに当該プレイヤー情報に対応するプレイヤーのインタフェースを表示し、当該プレイヤーのインタフェースから当該再生ウィンドウ情報に対応する再生ウィンドウを確定し、当該再生ウィンドウに当該データチャンネル識別子に対応するビデオデータを表示することができる。上記の形態はプレイヤーのインタフェースとビデオデータの再生ウィンドウとが同期していないとの問題を改善し、プレイヤーのインタフェースとビデオデータの再生ウィンドウとの同期を確保し、クライアントにビデオデータを正確に表示して、例えばビデオデータがプレイヤー位置の変化にリアルタイムに追跡することによって、表示性能を向上させ、ユーザの体験を向上させることができる。
本願の実施例または従来の技術の技術案をより明確に説明するために、以下、実施例または従来の技術に使用される図面を簡単に説明する。以下で記載される図面は本願の幾つかの実施例によるものに過ぎず、当業者にとって本発明のこれらの図面に基づきその他の図面を取得しうることは明らかである。

【図面の簡単な説明】

【0022】

【図1A】図１Ａは本発明の一実施形態における適用場面の概略図である。

【図1B】図１Ｂは本発明の一実施形態における適用場面の概略図である。

【図1C】図１Ｃは本発明の一実施形態における適用場面の概略図である。

【図1D】図１Ｄは本発明の一実施形態における適用場面の概略図である。

【図1E】図１Ｅは本発明の一実施形態における適用場面の概略図である。

【図1F】図１Ｆは本発明の一実施形態における適用場面の概略図である。

【図1G】図１Ｇは本発明の一実施形態における適用場面の概略図である。

【図1H】図１Ｈは本発明の一実施形態における適用場面の概略図である。

【図1I】図１Ｉは本発明の一実施形態における適用場面の概略図である。

【図1J】図１Ｊは本発明の一実施形態における適用場面の概略図である。

【図2】図２は本発明の一実施形態におけるビデオデータの表示方法のフローチャートである。

【図3A】図３Ａは本発明の一実施形態における適用場面の概略図である。

【図3B】図３Ｂは本発明の一実施形態における適用場面の概略図である。

【図3C】図３Ｃは本発明の一実施形態における適用場面の概略図である。

【図4】図４は本発明の一実施形態におけるビデオデータ表示装置の構成図である。

【図5】図５は本発明の一実施形態におけるクライアントのハードウェア構成図である。

【図6】図６は本発明のもう一つの実施形態におけるビデオデータ表示装置の構成図である。

【図7】図７は本発明の一実施形態におけるサーバのハードウェア構成図である。

【発明を実施するための形態】

【0023】

リモートデスクトップに基づきビデオデータの再生を実現することについて、通常の実現プロセスは、まず、サーバは、エンコードされたビデオデータを取得し、ビデオデータをデコードし、デコードされたビデオデータをクライアントに送信する。そして、クライアントはプレイヤーを通してそのデコードされたビデオデータを表示する。研究によって、このようなビデオデータの表示方法に関する表示性能には向上する余地がまだあるとわかっている。たとえば、上記の形態によりビデオデータを表示するには、サーバでビデオデータをデコードする必要があり、この操作はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、中央処理装置）リソースを多く占用する必要がある。そして、デコードされたビデオデータのデータ量は大きいので、このビデオデータの伝送には大量のネットワーク帯域幅が占用される必要がある。

【0024】

上記問題について、ＭＭＲ（Ｍｕｌｔｉｍｅｄｉａ Ｒｅｄｉｒｅｃｔｉｏｎ、マルチメディアリダイレクション）技術を採用してもよい。ＭＭＲ技術とは、サーバがエンコードされたビデオデータを取得した後、そのままエンコードされたビデオデータをクライアントに送信し、クライアントによりその受信されたビデオデータをデコードし、プレイヤーを通してデコードされたビデオデータを表示するものである。ＭＭＲ技術を採用すると、サーバはエンコードされたビデオデータに対してデコード操作を行う必要がないので、サーバのＣＰＵリソースを節約することができる。エンコードされたビデオデータのデータ量はデコードされたビデオデータのデータ量より遥かに少ないので、ネットワーク帯域幅を節約することができる。しかし、ＭＭＲ技術の採用によって、クライアントがプレイヤーを通してそのデコードされたビデオデータを表示する時に、ビデオデータを正確に表示できない可能性がある。たとえば、ビデオデータがプレイヤー位置の変化にリアルタイムに追跡できないことで、表示性能がよくなくなり、ユーザの体験が悪くなる。

【0025】

本発明に使われる用語は特定の実施例を記載する目的だけのためであり、本発明を限定するものではない。本発明の実施例及び特許請求の範囲に使われる単数形式の「１種類」、「前記」及び「当該」は文脈からその意味を明らかにしない限り、複数の形式をも含む。本文に使用される用語「及び／または」とは、１つまたは複数の関わる記載項目の何れかまたはすべての可能な組合せを含むと理解しうる。

【0026】

本発明に用語の第１、第２、第３などを用いて各種類の情報を記載するが、これらの情報はこれらの用語に限られるわけではないと理解しうる。これらの用語は同一類型の情報同士の区分けだけに用いられる。たとえば、本発明の範囲を逸脱しない場合、第１情報は第２情報と称してもよく、同じく、第２情報は第１情報と称してもよい。文脈によるが、また、使われる言葉の「…と」は、「…時」または「…場合」または「確定に対応して」と解釈されうる。

【0027】

一例において、サーバによるビデオデータの再生過程は以下のことを含んでもよい。サーバはローカルでプレイヤーを起動し、プレイヤーのインタフェースを表示する。図１Ａはプレイヤーのインタフェースの概略図である。さらに、サーバはエンコードされたビデオデータを取得し、ビデオデータをデコードする。デコードされたビデオデータは例えば図１Ｂに示すようなものである。その後、サーバはデコードされたビデオデータを表示し、図１Ｃに示す概略図を得る。

【0028】

リモートデスクトップ技術を用いてビデオデータの再生を実現する場合には、サーバはローカルにおけるプレイヤーのインタフェースによってそのデコードされたビデオデータを表示するのではなく、ビデオデータ（エンコードされたビデオデータまたはデコードされたビデオデータ）をクライアントに送信し、クライアントによってそのクライアントのローカルにおけるプレイヤーのインタフェースでそのデコードされたビデオデータを表示する。このような適用場面では、サーバは本物のプレイヤーのインタフェースを表示するのではなく、遠隔表示用の仮想再生インタフェースをシミュレートする。この仮想再生インタフェースは図１Ａのプレイヤーのインタフェースと同様であるが、仮想再生インタフェースはディスプレーにリアルに表示されるのではなく、メモリでシミュレートされる。また、クライアントはローカルのディスプレーにプレイヤーのインタフェースをリアルに表示し、このプレイヤーはインタフェースがサーバによりシミュレートされた仮想再生インタフェースと完全に同じであるので、リモートデスクトップ技術が実現できる。

【0029】

リモートデスクトップ技術を用いてビデオデータの再生を実現する場合には、クライアントにビデオデータ（図１Ｃに示すように）を正確に表示させることができるように、サーバはクライアントに伝送する情報が以下のものを含む。
１、プレイヤー情報であって、たとえば、プレイヤーのインタフェース情報、プレイヤーの位置情報などであり、本発明においてこのプレイヤー情報が限定されていない。このプレイヤー情報を基にすれば、当該プレイヤー情報に対応するプレイヤーのインタフェースを表示することができる。図１Ａはあるプレイヤー情報に基づき表示されるプレイヤーのインタフェースの例示を示す。

【0030】

なお、プレイヤーのインタフェース情報は、プレイヤーのインタフェースに関する情報、たとえばプレイヤーのインタフェースの様式などを含んでもよいが、それに限られない。このインタフェース情報は限定されていなく、図１Ａにおける「ｘｘｘプレイヤー」、「最小化の標識-」、「最大化標識□」、「削除標識×」などを含んでもよい。また、図１Ａに図示しない「早送りボタン、サウンドボタン、巻き戻しボタン、プログレスバー、ポーズ、停止、フルスクリーンボタン」などのうち１つまたは複数をさらに含んでもよい。

【0031】

なお、プレイヤーの位置情報はプレイヤーのインタフェースサイズ及びプレイヤーの座標などを含んでもよい。たとえば、プレイヤーのインタフェースサイズは長さｗ１及び高さｈ１などを含んでもよい。プレイヤーの座標（ｘ１，ｙ１）は左上隅の座標、左下隅の座標、右上隅の座標、右下隅の座標、中心点の座標などでもよい。

【0032】

図１Ｄに示すように、左上隅の座標（ｘ１，ｙ１）を確定した後、既知の長さｗ１及び高さｈ１を基にすれば、図１Ａに示すプレイヤーのインタフェースが得られる。左上隅の座標（ｘ１，ｙ１）は座標原点（０，０）に対する座標であるが、座標原点（０，０）はスクリーンの左下隅でもよく、限定されていない。たとえば、座標原点（０，０）はスクリーンの左上隅、スクリーンの中心、スクリーンの右上隅、スクリーンの右下隅などの位置でもよい。同じく、左下隅の座標、右上隅の座標、右下隅の座標、中心点の座標などその他の座標を確定した後、図１Ａに示すプレイヤーのインタフェースが得られて、ここでは説明を省略する。

【0033】

２、ビデオデータであって、即ち、プレイヤーに表示する必要があるビデオデータは、ビデオパターン、ビデオ画面などでもよいが、限定されていない。図１Ｂはビデオデータの一例を示す。

【0034】

３、ビデオデータの再生ウィンドウ情報であって、たとえば、再生ウィンドウのサイズ及び再生ウィンドウ座標などである。たとえば、再生ウィンドウのサイズは長さｗ２及び高さｈ２などを含んでもよく、再生ウィンドウ座標（ｘ２，ｙ２）は左上隅の座標、左下隅の座標、右上隅の座標、右下隅の座標、中心点の座標であってもよい。

【0035】

図１Ｅに示すように、再生ウィンドウ情報は左上隅の座標（ｘ２，ｙ２）、長さｗ２及び高さｈ２を含み、左上隅の座標（ｘ２，ｙ２）は座標原点（０，０）に対する座標であり、座標原点（０，０）はスクリーンの左下隅であってもよいが、限定されていない。再生ウィンドウ情報は左下隅の座標、右上隅の座標、右下隅の座標、中心点の座標などを含んでもよく、ここで説明を省略する。
なお、この再生ウィンドウ情報に基づき、プレイヤーのインタフェースの再生ウィンドウを確定し、当該再生ウィンドウにビデオデータを表示することができ。図１Ｃは再生ウィンドウに表示されるビデオデータの概略図である。

【0036】

ＭＭＲ技術（つまりマルチメディアリダイレクション技術）を使うとき、サーバは仮想再生インタフェースをシミュレートし、エンコードされたビデオデータを取得するが、当該ビデオデータをデコードせず、そのままエンコードされたビデオデータをクライアントに送信する。クライアントはエンコードされたビデオデータをデコードする。また、サーバはプレイヤー情報をクライアントに送信するとともに、ビデオデータの仮想再生インタフェースにおける再生ウィンドウ情報をクライアントに送信してもよい。また、上記エンコードされたビデオデータ、プレイヤー情報及び再生ウィンドウ情報はサーバが同一のメッセージまたは異なるメッセージ、たとえば３つの異なるメッセージでクライアントに送信される可能性がある。

【0037】

クライアントは、エンコードされたビデオデータ、プレイヤー情報及び再生ウィンドウ情報を受信した後、ビデオデータ（図１Ｃに示すように）を正確に再生するように、以下のようなクライアントの処理プロセスを行う。
クライアントはプレイヤー情報に基づき、プレイヤーのインタフェースを表示する。プレイヤー情報とビデオデータとが独立に伝送されるため、このプレイヤーのインタフェースには現在、本物のビデオデータが表示されていない。元にビデオデータが充填されるべきの領域（つまり再生ウィンドウ）において、図１Ｆに示すように、クライアントは当該領域にプリセット類型のビデオデータ（例えば黒いパターンのビデオデータ、以下でブラックスクリーンデータという）を充填してもよい。なお、プリセット類型のビデオデータは他で例えば白いパターンのビデオデータ、その他の１種類または多種類の色で構成されるパターンのビデオデータなどでもよい。

【0038】

図１Ｂに示すように、クライアントはエンコードされたビデオデータを受信した後、ビデオデータをデコードし、デコードされたビデオデータを得る。再生ウィンドウ情報を受信した後、再生ウィンドウ情報に基づき、デコードされたビデオデータをプレイヤーのインタフェースのブラックスクリーン領域に充填して、図１Ｃに示す概略図を得る。

【0039】

しかし、上記の形態において、プレイヤーのインタフェースサイズ及び／またはプレイヤーの座標が変化すると、クライアントはビデオデータを正確に表示できなくなる。なお、ユーザがプレイヤーのインタフェースに対して引伸ばしなどの操作を実行すると、プレイヤーのインタフェースサイズ（即ち、長さｗ１及び／または高さｈ１）が変化する。ユーザがプレイヤーの左、右、上、下などへのドラッグ操作を実行すると、プレイヤーの座標（ｘ１，ｙ１）が変化する。右へプレイヤーを並進させる例を挙げると、プレイヤーの座標（ｘ１，ｙ１）におけるｘ１が変化し、図１Ｇは変化後のプレイヤーのインタフェース概略図を示す。

【0040】

なお、クライアントがビデオデータを正確に表示できない原因については、プレイヤーの座標が変化した際に、サーバが変化後のプレイヤー情報（図１Ｇに示すように）をクライアントに送信し、クライアントが当該プレイヤー情報に基づき図１Ｈに示すプレイヤーのインタフェースを表示するので、図１Ｆと比べてプレイヤーのインタフェースは全体が右へ並進するようになった。さらに、クライアントは、変化前の再生ウィンドウ情報に基づき、デコードされたビデオデータを当該再生ウィンドウ情報に対応する領域に充填して、図１Ｉに示す概略図を得る。

【0041】

明らかに、ビデオデータが充填された領域が間違い、即ちブラックスクリーン領域をカバーすることができない。サーバが変化後の再生ウィンドウ情報をクライアントに送信してから、クライアントは、変化後の再生ウィンドウ情報に基づき、デコードされたビデオデータを正確な領域に充填し、図１Ｊに示す概略図を得ることができる。

【0042】

上記の形態において、クライアントは再生ウィンドウ情報をリアルタイムに取得することができないので、ビデオデータはプレイヤー位置の変化にリアルタイムに追跡できなくなり、即ち、ビデオデータには遅延現象があり、表示性能がよくなくなり、ユーザの体験が悪くなる。

【0043】

以上の方案における欠点について、いずれも発明者が実践かつ鋭意研究を経て得たものであるので、上記の問題の発見過程及び以下の本発明において上記の問題に対して提出された解決方案は発明者が本発明の過程中で本発明に対する貢献とするべきである。

【0044】

上記の発見に対して、本発明においてサーバとクライアントとを備えるシステムに適用可能なビデオデータの表示方法を提出し、サーバとクライアントの間でリモートデスクトッププロトコルにより通信を行う。なお、当該リモートデスクトッププロトコルはＳＰＩＣＥ（Ｓｉｍｐｌｅ Ｐｒｏｔｏｃｏｌ ｆｏｒ Ｉｎｄｅｐｅｎｄｅｎｔ Ｃｏｍｐｕｔｉｎｇ Ｅｎｖｉｒｏｎｍｅｎｔｓ、独立演算環境の簡易プロトコル）を含でもよいが、それに限定されていない。また、当該ビデオデータの表示方法はマルチメディアリダイレクションの過程（即ち、サーバがエンコードされたビデオデータを取得するが、当該ビデオデータをデコードせず、そのままエンコードされたビデオデータをクライアントに送信し、クライアントがエンコードされたビデオデータをデコードし、プレイヤーのインタフェースにデコードされたビデオデータを表示すること）に適用されるとともに、プレイヤーのインタフェースとビデオデータの再生ウィンドウが同期していないとの問題を解決し、プレイヤーのインタフェースとビデオデータの再生ウィンドウとの同期を確保し、ユーザの体験を向上させることができる。

【0045】

図２は当該ビデオデータの表示方法のフローチャートであり、当該方法は、以下のステップを含んでもよい。
ステップ２０１では、サーバはクライアントにビデオデータのデータチャンネルを配分する。なお、当該ビデオデータは当該データチャンネルを通して当該クライアントに送信される。当該データチャンネルはデータチャンネル識別子により一意に確定される。
なお、サーバとクライアントとの間にビデオデータを伝送するためのデータチャンネルが複数で配置され、データチャンネルごとに一意なデータ認識子で対応してもよい。データチャンネルでビデオデータが伝送されているとき、このデータチャンネルが占用されていると表示され、データチャンネルでビデオデータが伝送されていないとき、このデータチャンネルが空いていると表示される。

【0046】

サーバはエンコードされたビデオデータ（即ち、クライアントに表示される必要があるビデオデータ）を取得した後、空いているデータチャンネルから、クライアントにビデオデータのデータチャンネルを配分し、当該データチャンネルを通して当該ビデオデータをクライアントに送信し、当該データチャンネルに対応するデータチャンネル識別子を取得する。そして、クライアントはデータチャンネルを通してビデオデータを受信した後、当該データチャンネルに対応するデータチャンネル識別子、すなわち当該ビデオデータに対応するデータチャンネル識別子を取得することができる。

【0047】

ステップ２０２では、サーバは当該ビデオデータを再生するプレイヤーのプレイヤー情報及び再生ウィンドウ情報（即ち当該ビデオデータを表示するための再生ウィンドウの再生ウィンドウ情報）を取得する。

【0048】

一例において、サーバはプレイヤーのインタフェースにビデオデータを表示しないが、サーバはエンコードされたビデオデータを取得した後、当該ビデオデータがプレイヤーがどの再生ウィンドウに表示されるかとわかっている。この再生ウィンドウは当該ビデオデータに対応する再生ウィンドウである。

【0049】

たとえば、サーバはプレイヤー１及びプレイヤー２を同時に起動する場合、プレイヤー１が１つの仮想再生インタフェース１に対応し、仮想再生インタフェース１に１つの再生ウィンドウ１があり、仮に仮想再生インタフェース１の再生ウィンドウ１にビデオデータを再生する必要があるとすると、再生ウィンドウ１に対するビデオデータを取得する。これによって、仮想再生インタフェースにおける当該ビデオデータに対応する再生ウィンドウが再生ウィンドウ１であるとわかる。

【0050】

また、たとえば、サーバがプレイヤー１を起動した後、プレイヤー１が１つの仮想再生インタフェース１に対応し、仮想再生インタフェース１に再生ウィンドウ１及び再生ウィンドウ２があり、仮に仮想再生インタフェース１の再生ウィンドウ１にビデオデータを再生する必要があるとすると、再生ウィンドウ１に対するビデオデータを取得する。これによって、仮想再生インタフェースにおける当該ビデオデータに対応する再生ウィンドウが再生ウィンドウ１であるとわかる。

【0051】

一例において、サーバは、ビデオデータにデータチャンネルを配分した後、当該データチャンネルに対応するデータチャンネル識別子を取得し、仮想再生インタフェースにおける当該ビデオデータに対応する再生ウィンドウを取得する。その後、サーバは当該データチャンネル識別子と当該再生ウィンドウとの対応関係を作る。

【0052】

ステップ２０３では、サーバは当該プレイヤー情報、当該再生ウィンドウ情報及び当該データチャンネル識別子に基づき再生ウィンドウの充填データを生成し、当該再生ウィンドウの充填データをクライアントに送信する。

【0053】

一例において、「サーバは当該プレイヤー情報、当該再生ウィンドウ情報及び当該データチャンネル識別子に基づき再生ウィンドウの充填データを生成する」の処理タイミングについては、ビデオデータに対応する再生ウィンドウ情報が変化した検出されると、サーバは当該プレイヤー情報、当該再生ウィンドウ情報及び当該データチャンネル識別子に基づき再生ウィンドウの充填データを生成し、後続するステップを実行することを含んでもよいが、それに限られていない。再生ウィンドウの充填データにはプレイヤー情報、再生ウィンドウ情報及びデータチャンネル識別子が載せられているので、クライアントは再生ウィンドウの充填データだけに基づきプレイヤー情報、再生ウィンドウ情報及びデータチャンネル識別子を精確に確定できる。これにより、クライアントにプレイヤー情報に対応するプレイヤーのインタフェースをローカルで表示し、相応する再生ウィンドウにデータチャンネル識別子に対応するビデオデータを表示するので、プレイヤーのインタフェースとビデオデータの再生ウィンドウとの同期を確保し、ビデオデータを正確に表示し、ユーザの体験を向上させることができる。

【0054】

なお、クライアントにプレイヤーのインタフェースが表示された後、ユーザがこのプレイヤーのインタフェースを操作することができる。たとえば、ユーザはプレイヤーのインタフェースに対して引伸ばしや、ドラッグなどの操作をすると、クライアントはリモートデスクトッププロトコルを通してユーザが前記プレイヤーのインタフェースに対して実行する操作情報をサーバに送信し、サーバはクライアントから送信されてユーザが前記プレイヤーのインタフェースに対して実行する操作情報を受信した後、当該プレイヤーのインタフェースに対応する仮想再生インタフェースのインタフェースサイズ及び／または座標が変化したことを検知し、すなわち、仮想再生インタフェースに表示された再生ウィンドウ情報もそれに従って変化するので、当該再生ウィンドウ情報が変化したことを検出するができ、上記の再生ウィンドウの充填データの生成過程を実行する。これによって、クライアントに配分するビデオデータのデータチャンネルのデータチャンネル識別子、変化後のプレイヤー情報及び再生ウィンドウ情報に基づき再生ウィンドウの充填データを再生成し、前記クライアントに送信することができる。
なお、再生ウィンドウの充填データを搭載するためのメッセージはリモートデスクトッププロトコルのメッセージでもよい。

【0055】

ステップ２０４では、クライアントはサーバから送信された再生ウィンドウの充填データを受信した後、前記再生ウィンドウの充填データに基づきプレイヤー情報、再生ウィンドウ情報及びデータチャンネル識別子を確定する。

【0056】

一例において、サーバはプレイヤー情報、再生ウィンドウ情報及びデータチャンネル識別子に基づき、再生ウィンドウの充填データを生成する過程において、当該プレイヤー情報、当該再生ウィンドウ情報及び当該データチャンネル識別子が載せられている再生ウィンドウの充填データを生成することができる。これに基づき、クライアントは前記再生ウィンドウの充填データを直接に解析して当該プレイヤー情報、当該再生ウィンドウ情報及び当該データチャンネル識別子を取得することができる。

【0057】

別の例において、サーバはプレイヤー情報、再生ウィンドウ情報及びデータチャンネル識別子に基づき再生ウィンドウの充填データを生成する過程において、データチャンネル識別子を含む画像認識コードを生成し、当該再生ウィンドウ情報に基づき、当該画像認識コードを表示し（即ち、当該再生ウィンドウ情報に対応する再生ウィンドウに当該画像認識コードを表示し）、当該画像認識コードが表示されたインタフェースに基づき、再生ウィンドウの充填データを生成することができ、即ち、当該再生ウィンドウの充填データは当該プレイヤー情報及び当該画像認識コードを含む。これに基づき、クライアントは再生ウィンドウの充填データを解析してプレイヤー情報及び画像認識コードを取得し、当該プレイヤー情報に対応するプレイヤーのインタフェースに当該画像認識コードを表示し、当該画像認識コードの表示領域に基づき、再生ウィンドウ情報を確定し、画像認識コードを解析してデータチャンネル識別子を取得することができる。

【0058】

なお、クライアントは複数の再生ウィンドウを表示し、異なる再生ウィンドウが異なるビデオデータの表示に用いられるため、クライアントは再生ウィンドウとビデオデータとの対応関係をわかってから、プレイヤーのインタフェースに正確なビデオデータを表示することができる。さらに、クライアントに再生ウィンドウとビデオデータとの対応関係を分からせるために、データチャンネル識別子を使い、再生ウィンドウとビデオデータとを関連付ける。

【0059】

上記の過程において述べたように、クライアントはデータチャンネルを通してビデオデータを受信した後、このデータチャンネルに対応するデータチャンネル識別子、すなわち、当該ビデオデータに対応するデータチャンネル識別子を確定することができる。従って、当該データチャンネル識別子を再生ウィンドウに与えれば、クライアントは再生ウィンドウとビデオデータとを関連付け、当該再生ウィンドウに当該ビデオデータを表示することができる。そのため、本発明において、サーバは当該データチャンネル識別子に基づき、画像認識コードを生成し、当該再生ウィンドウに当該画像認識コードを表示することで、当該再生ウィンドウと当該データチャンネル識別子に対応するビデオデータとを関連付けることができる。

【0060】

なお、「サーバがデータチャンネル識別子を含む画像認識コードを生成し、クライアントが画像認識コードを解析してデータチャンネル識別子を取得する」の過程について、以下のような形態を含んでもよいが、それに限られていない。
形態１として、サーバはデータチャンネル識別子の前に第１認識子を追加し、データチャンネル識別子の後に第２認識子を追加し、第１認識子、データチャンネル識別子及び第２認識子を数字文字列に組成するとともに、画像転換技術により当該数字文字列を画像フォーマットのデータチャンネルの識別子画像に転換し、当該データチャンネルの識別子画像を用いて画像認識コードを生成し、当該画像認識コードは１つのデータチャンネルの識別子画像で構成される。クライアントは画像認識コードの左側の位置から、画像認識技術により画像認識コード（一つのデータチャンネルの識別子画像で構成され、且つデータチャンネルの識別子画像が第１認識子、データチャンネル識別子及び第２認識子からなる数字文字列に対応する画像である）を数字文字列に転換し、転換された数字文字列を解析して第１認識子にマッチングしている第１文字列及び第２認識子にマッチングしている第２文字列を取得し、第１文字列と第２文字列との間の文字列をデータチャンネル識別子に確定する。
形態２として、サーバはデータチャンネル識別子の前に第１認識子を追加し、データチャンネル識別子の後に第２認識子を追加し、第１認識子、データチャンネル識別子及び第２認識子を数字文字列に組成するとともに、画像転換技術により当該数字文字列を画像フォーマットのデータチャンネルの識別子画像に転換し、当該データチャンネルの識別子画像を用いて画像認識コードを生成し、当該画像認識コードは左右対称の２つのデータチャンネルの識別子画像で構成される。クライアントは画像認識コードの中心位置から、画像認識技術により画像認識コード（左右対称の２つのデータチャンネルの識別子画像で構成され、且つ各データチャンネルの識別子画像が第１認識子、データチャンネル識別子及び第２認識子からなる数字文字列に対応する画像である）を数字文字列に転換し、転換された数字文字列を解析して第１認識子にマッチングしている第１文字列及び与第２認識子にマッチングしている第２文字列を取得し、第１文字列と第２文字列との間の文字列をデータチャンネル識別子に確定する。

【0061】

形態１について、サーバとクライアントとは同じ第１認識子を配置する必要があり、例えば、第１認識子を０１０１とする。サーバとクライアントとは同じ第２認識子を配置する必要があり、例えば第２認識子を１０１０とする。

【0062】

サーバはデータチャンネル識別子（例えば、０００１００００）を取得した後、当該データチャンネル識別子の前に第１認識子０１０１を追加し、当該データチャンネル識別子の後に第２認識子１０１０を追加する。その後、第１認識子、データチャンネル識別子及び第２認識子を数字文字列に組み合わせる。この数字文字列は０１０１０００１００００１０１０でもよい。その後、画像転換技術により当該数字文字列を画像フォーマットのデータチャンネルの識別子画像に転換する。このデータチャンネルの識別子画像は上記の画像認識コードであり、この画像転換技術に限定されなく、数字文字列を画像に転換可能とするすべての形態はいずれも本発明の保護範囲内にある。図３Ａを参照し、画像認識コードの一例を示し、当該画像認識コードにおいて、０は白いパターンであり、１は黒いパターンである。この過程を実現するために、数字０のピクセルについて、当該ピクセルの階調値を２５５に設置し、数字１のピクセルについて、当該ピクセルの階調値を０に設置してもよい。たとえば、図３Ａにおいて、仮に再生ウィンドウが３２０ピクセルを占用するとすると、数字文字列０１０１０００１００００１０１０は１６ビットであるので、各ビットが２０ピクセルを占用する。すなわち、ピクセル１～ピクセル２０が数字文字列における第１ビットの０に対応する階調値２５５であり、ピクセル２１～ピクセル４０が数字文字列において第２ビット１に対応する階調値０である。このように、当該数字文字列を画像フォーマットのデータチャンネルの識別子画像に転換する。

【0063】

クライアントは画像認識コードを取得した後、第１認識子０１０１に基づき、画像認識コードの左側の位置から、第１認識子の第１の０に対応する連続するピクセル、即ち階調値が２５５である連続するピクセルを見つかる。ピクセル１～ピクセル２０の階調値が２５５であるため、ピクセル１～ピクセル２０が第１認識子の第１の０に対応するピクセルであると確定する。その後、第１認識子の第１の１に対応する連続するピクセル、即ち階調値が０である連続するピクセルを見つかる。ピクセル２１～ピクセル４０の階調値が０であるため、ピクセル２１～ピクセル４０が第１認識子の第１の１に対応するピクセルであると確定する。このように、第１認識子に対応する各ピクセルを確定する。

【0064】

上記により、クライアントは２０ピクセルごとが数字文字列の１ビットの数字に対応することを分かる。その後、画像認識コードの左側の位置から、クライアントは画像認識技術により画像認識コードを数字文字列に転換することができる。たとえば、階調値が２５５である連続する２０ピクセルを数字０に転換し、階調値が０である連続する２０ピクセルを数字１に転換する。例えば、図３Ａの画像認識コードについて、それを数字文字列０１０１０００１００００１０１０に転換し、当該数字文字列を解析してから第１認識子０１０にマッチングしている第１文字列と、第２認識子１０１０にマッチングしている第２文字列とを確定し、第１文字列と第２文字列との間の文字列０００１００００をデータチャンネル識別子に確定する。

【0065】

一例において、サーバはプレイヤー情報、再生ウィンドウ情報及びデータチャンネル識別子に基づき、再生ウィンドウの充填データを生成する過程において、図３Ｂに示すように、サーバは図３Ａに示す画像認識コードを生成した後、この画像認識コードを対応する再生ウィンドウに追加し、即ち当該再生ウィンドウに当該画像認識コードを表示する。その後、サーバは図３Ｂに示すインタフェースに基づき、再生ウィンドウの充填データを生成することができ、当該再生ウィンドウの充填データはプレイヤー情報及び当該画像認識コードを含んでもよい。

【0066】

図３Ｂに示すように、クライアントは当該再生ウィンドウの充填データを受信した後、再生ウィンドウの充填データを解析してプレイヤー情報及び画像認識コードを取得し、クライアントはプレイヤーのインタフェース（即ち、当該プレイヤー情報に対応するプレイヤーのインタフェース）に当該画像認識コードを表示することができる。クライアントは当該画像認識コードの表示領域に基づき、再生ウィンドウ情報を確定する。即ち、当該画像認識コードの表示領域は再生ウィンドウ情報に対応する再生ウィンドウである。その後、クライアントはデータチャンネル識別子が０００１００００であると確定する。ここまで、クライアントはプレイヤー情報、再生ウィンドウ情報及びデータチャンネル識別子を取得した。

【0067】

形態２について、処理過程は形態１に類似し、以下、両者の相違点について説明する。
形態１において、画像認識コードは１つのデータチャンネルの識別子画像で構成されるのに対して、形態２において、画像認識コードは左右対称の２つのデータチャンネルの識別子画像で構成される。図３Ｃは左右対称の２つのデータチャンネルの識別子画像で構成される画像認識コードの概略図である。

【0068】

形態１において、クライアントは画像認識コードの左側の位置から画像認識するのに対して、形態２において、クライアントは画像認識コードの中心位置（つまり中心のピクセル）から画像認識する。たとえば、図３Ｃに示す画像認識コードの概略図において、ローカルで配置される第１認識子０１０１に基づき、画像認識コードの中心位置から、先に第１認識子の第１の０に対応する連続するピクセルの数を見つかり、これにより類推する。

【0069】

さらに、形態２を採用する効果は、画像認識コードには２つのデータチャンネルの識別子画像が含まれるので、画像認識コードの中心位置から画像認識を開始するとき、第１認識子０１０１の第１の０に対応する連続するピクセルを精確に見つかり、画像認識コードを精確に認識することができる。

【0070】

ステップ２０５では、クライアントは当該プレイヤー情報に対応するプレイヤーのインタフェースをローカルで表示する。
ステップ２０６では、クライアントはプレイヤーのインタフェースから当該再生ウィンドウ情報に対応する再生ウィンドウを確定する。
ステップ２０７では、クライアントは当該再生ウィンドウに当該データチャンネル識別子に対応するビデオデータを表示する。

【0071】

一例において、クライアントは当該プレイヤー情報に対応するプレイヤーのインタフェースをローカルで表示する。図３Ｂはプレイヤーのインタフェースの一例である。当該プレイヤーのインタフェースから当該再生ウィンドウ情報に対応する再生ウィンドウ、すなわち図３Ｂの画像認識コードの表示領域を確定する。その後、当該再生ウィンドウに当該データチャンネル識別子に対応するビデオデータを表示する。仮に、当該データチャンネル識別子に対応するビデオデータが図１Ｂに示すようなものとすると、最終にプレイヤーのインタフェースに表示されるビデオデータは図１Ｊに示すようなものであってもよい。

【0072】

上記の技術案に基づき、本発明において、サーバからクライアントに送信されるのは再生ウィンドウの充填データであり、クライアントは再生ウィンドウの充填データに基づき、プレイヤー情報、再生ウィンドウ情報及びデータチャンネル識別子を確定し、クライアントで当該プレイヤー情報に対応するプレイヤーのインタフェースを表示し、当該プレイヤーのインタフェースから当該再生ウィンドウ情報に対応する再生ウィンドウを確定し、当該再生ウィンドウに当該データチャンネル識別子に対応するビデオデータを表示することができる。上記の形態はプレイヤーのインタフェースとビデオデータの再生ウィンドウとが同期していないとの問題を解決し、プレイヤーのインタフェースとビデオデータの再生ウィンドウとの同期を確保することで、クライアントがビデオデータを正確に表示し、例えばビデオデータがプレイヤー位置の変化にリアルタイムに追跡することによって、ユーザの体験を向上させることができる。

【0073】

上記方法と同様の考えに基づき、本発明はマルチメディアリダイレクションにおいて遠隔に表示されるクライアントに適用されるビデオデータの表示装置をさらに提出し、図４は前記装置の構成図である。サーバから送信されて再生ウィンドウの充填データを受信するための受信モジュール４０１と、前記再生ウィンドウの充填データに基づき、プレイヤー情報、再生ウィンドウ情報及びデータチャンネル識別子を確定するための確定モジュール４０２と、前記クライアントに前記プレイヤー情報に対応するプレイヤーのインタフェースを表示するための表示モジュール４０３とを含む前記ビデオデータの表示装置であって、前記確定モジュール４０２はさらに前記プレイヤーのインタフェースから前記再生ウィンドウ情報に対応する再生ウィンドウを確定するために使われ、前記表示モジュール４０３はさらに前記再生ウィンドウに前記データチャンネル識別子に対応するビデオデータを表示するために使われる。

【0074】

前記確定モジュール４０２は具体的に、前記再生ウィンドウの充填データに基づきプレイヤー情報、再生ウィンドウ情報及びデータチャンネル識別子を確定する過程において、前記再生ウィンドウの充填データがプレイヤー情報、再生ウィンドウ情報及びデータチャンネル識別子を含む場合、前記再生ウィンドウの充填データを解析してプレイヤー情報、再生ウィンドウ情報及びデータチャンネル識別子を取得し、また、前記再生ウィンドウの充填データがプレイヤー情報及び画像認識コードを含み、前記画像認識コードがデータチャンネル識別子を含む場合、前記再生ウィンドウの充填データを解析して前記プレイヤー情報と前記画像認識コードとを取得し、前記プレイヤー情報に対応するプレイヤーのインタフェースに前記画像認識コードを表示するとともに、前記画像認識コードの表示領域に基づき再生ウィンドウ情報を確定し、前記画像認識コードから前記データチャンネル識別子を解析するために使われる。

【0075】

一例において、前記確定モジュール４０２は前記画像認識コードを解析して前記データチャンネル識別子を取得する過程において、画像認識コードの左側の位置から、画像認識技術により、１つのデータチャンネルの識別子画像で構成される画像認識コードを数字文字列に転換し、または、画像認識コードの中心位置から、画像認識技術により、左右対称の２つのデータチャンネルの識別子画像で構成される画像認識コードを数字文字列に転換するために使われるものであり、前記データチャンネルの識別子画像が第１認識子、データチャンネル識別子及び第２認識子からなる数字文字列に対応する画像である。
転換された数字文字列を解析して第１認識子にマッチングしている第１文字列及び与第２認識子にマッチングしている第２文字列を取得し、前記第１文字列と前記第２文字列との間の文字列をデータチャンネル識別子に確定する。

【0076】

本発明に係るクライアントについて、ハードウェアの面では、そのハードウェアのフレームワークの概略図は具体的に図５を参照してもよい。機械可読記憶媒体とプロセッサとを含んでもよい。
機械可読記憶媒体は、命令コードを記憶するものである。
プロセッサは、機械可読記憶媒体と通信し、機械可読記憶媒体に記憶された前記命令コードを読み取って実行し、本発明の上記の例示で開示されたクライアントにより実行されるビデオデータの表示操作を実現するものである。

【0077】

ここで、機械可読記憶媒体は如何なる電子、磁気、光学またはその他の物理的記憶装置でもよく、例えば実行可能な命令、データなどの情報を含むまたは記憶することができる。たとえば、機械可読記憶媒体はＲＡＭ（Ｒａｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ランダムアクセスメモリ）、揮発性メモリ、不揮発性メモリ、フラッシュメモリ、ストレージ・ドライバ（例えば、ハードディスクドライバ）、ソリッドステートドライブ、如何なる類型の記憶ディスク（例えば、光ディスク、ｄｖｄなど）、または類似する記憶媒体、もしくはそれらの組合せでもよい。

【0078】

クライアントにおけるプロセッサはデータの処理能力を備えるICチップである可能がある。当該プロセッサは中央処理装置 （Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＣＰＵ）、ネットワークプロセッサ （Ｎｅｔｗｏｒｋ Ｐｒｏｃｅｓｓｏｒ、ＮＰ）などを含む汎用プロセッサでもよい。本発明におけるクライアント側の各方法、ステップ、ロジックブロック図を実現または実行することができる。汎用プロセッサはマイクロプロセッサでもよい。または当該プロセッサは如何なる常規のプロセッサなどでもよい。

【0079】

上記の方法と同様の考えに基づき、本発明はマルチメディアリダイレクションにおいて遠隔に表示されるための仮想再生インタフェースをシミュレートできるサーバに適用されるビデオデータ表示装置をさらに提出し、図６は前記装置の構成図であり、前記装置は、前記データチャンネルを通して前記クライアントに送信されてビデオデータのデータチャンネル識別子により一意に確定されるデータチャンネルをクライアントに配分するための配分モジュール６０１と、前記ビデオデータを再生するプレイヤーのプレイヤー情報及び再生ウィンドウ情報を取得するための取得モジュール６０２と、前記プレイヤー情報、再生ウィンドウ情報及びデータチャンネル識別子に基づき再生ウィンドウの充填データを生成するための生成モジュール６０３と、前記クライアントが前記プレイヤー情報、再生ウィンドウ情報及びデータチャンネル識別子に基づき前記ビデオデータを表示するように、前記再生ウィンドウの充填データを前記クライアントに送信するための送信モジュール６０４とを含む。

【0080】

前記生成モジュール６０３は具体的に、前記プレイヤー情報、再生ウィンドウ情報及びデータチャンネル識別子に基づき再生ウィンドウの充填データを生成する過程において、前記データチャンネル識別子を含む画像認識コードを生成し、前記再生ウィンドウ情報に基づき、前記画像認識コードを表示し、前記画像認識コードが表示されたインタフェースに基づき、前記プレイヤー情報と前記画像認識コードとを含む再生ウィンドウの充填データを生成し、また、
プレイヤー情報、再生ウィンドウ情報及びデータチャンネル識別子が載せられている再生ウィンドウの充填データを生成するために使われる。

【0081】

前記生成モジュール６０３は、さらに、前記データチャンネル識別子を含む画像認識コードを生成する過程において、前記データチャンネル識別子の前に第１認識子を追加し、前記データチャンネル識別子の後に第２認識子を追加し、前記第１認識子、前記データチャンネル識別子及び前記第２認識子を数字文字列に組成し、画像転換技術により前記数字文字列を画像フォーマットのデータチャンネルの識別子画像に転換し、
前記データチャンネルの識別子画像を用いて画像認識コードを生成し、前記画像認識コードは１つのデータチャンネルの識別子画像で構成される、または左右対称の２つのデータチャンネルの識別子画像で構成される。

【0082】

前記生成モジュール６０３は具体的に、前記プレイヤー情報、再生ウィンドウ情報及びデータチャンネル識別子に基づき再生ウィンドウの充填データを生成する過程において、ビデオデータに対応する再生ウィンドウ情報が変化したことを検出すると、前記プレイヤー情報、再生ウィンドウ情報及びデータチャンネル識別子に基づき再生ウィンドウの充填データを生成するために使われる。

【0083】

前記取得モジュール６０２は、さらに、前記クライアントにより送信されたユーザが前記プレイヤーのインタフェースに実行する操作情報を受信し、当該操作情報を受信した後、当該プレイヤーのインタフェースに対応する仮想再生インタフェースのインタフェースサイズ及び／または座標が変化したことを検知するために使われ、前記生成モジュール６０３は、さらに、前記クライアントにビデオデータのデータチャンネルを配分するデータチャンネル識別子、変化後のプレイヤー情報及び再生ウィンドウ情報に基づき、再生ウィンドウの充填データを再生成するために使われ、前記送信モジュール６０４は、さらに、再生成された再生ウィンドウの充填データを前記クライアントに送信するために使われる。

【0084】

本発明に係るサーバについて、ハードウェアの面では、そのハードウェアのフレームワーク概略図は具体的に図７を参照することができる。機械可読記憶媒体とプロセッサと含んでもよく、なお、
機械可読記憶媒体は、命令コードを記憶するものである。
プロセッサは、機械可読記憶媒体と通信し、機械可読記憶媒体に記憶された前記命令コードを読取り・実行し、本発明の上記例示に開示されたサーバにより実行されるビデオデータの表示操作を実現するものである。

【0085】

ここで、機械可読記憶媒体は如何なる電子、磁気、光学またはその他の物理的記憶装置でもよく、例えば、実行可能な命令、データなどの情報を含むまたは記憶することができる。たとえば、機械可読記憶媒体はＲＡＭ（Ｒａｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ランダムアクセスメモリ）、揮発性メモリ、不揮発性メモリ、フラッシュメモリ、ストレージ・ドライバ（例えば、ハードディスクドライバ）、ソリッドステートドライブ、如何なる類型の記憶ディスク（例えば、光ディスク、ｄｖｄなど）または類似する記憶媒体もしくはそれらの組合せでもよい。

【0086】

サーバにおけるプロセッサはデータの処理能力を備えるICチップである可能性がある。当該プロセッサは中央処理装置 （Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＣＰＵ）、ネットワークプロセッサ （Ｎｅｔｗｏｒｋ Ｐｒｏｃｅｓｓｏｒ、ＮＰ）などを含む汎用プロセッサでもよい。本発明におけるサーバ側の各方法、ステップ及ロジックブロック図を実現または実行することができる。汎用プロセッサはマイクロプロセッサでもよい。または当該プロセッサは如何なる常規のプロセッサなどでもよい。

【0087】

上記の実施例に記載のシステム、装置、モジュールまたはユニットは具体的に、コンピュータチップまたは実体により実現できる、またはある機能を有する製品により実現することができる。典型的な実現用機器はコンピュータであり、コンピュータの具体的な形式はパーソナルコンピュータ、ラップトップコンピュータ、セルラーホン、カメラフォン、スマートフォン、パーソナルデジタルアシスタント、メディアプレイヤー、ナビ機器、電子メール送受信機器、ゲームコンソール、タブレットコンピュータ、ウェアラブルデバイスでもよく、またはこれらの機器における何種類の機器の組み合わせでもよい。

【0088】

本分野内の技術者は、本発明の実施例が方法、システムまたはコンピュータプログラムである製品を提供することができると理解しうる。従って、本発明はハードウェアのみの実施例、ソフトウェアのみの実施例またはソフトウェアとハードウェアとを結合する実施例の形態を採用することができる。そして、本発明はコンピュータの使用可能なプログラムコードを含む１つまたは複数のコンピュータの使用可能な記憶媒体（磁気ディスクメモリ、ＣＤ－ＲＯＭ、光学ストレージなどを含むが、それに限定されていない）に実施されるコンピュータプログラム製品の形式を採用することができる。

【0089】

本発明は、本発明の方法、機器（システム）及びコンピュータプログラム製品のフローチャート及び／またはブロック図に基づき記載されている。コンピュータのプログラム命令によりフローチャート及び／またはブロック図における各フロー及び／またはブロック並びにフローチャート及び／またはブロック図におけるフロー及び／またはブロックの結合を実現できると理解しうる。これらのコンピュータのプログラム命令を汎用コンピュータ、専用コンピュータ、埋め込みプロセッサまたはその他のプログラマブルデータ処理機器のプロセッサに提供することで、１つの機械を作り出せるため、コンピュータまたはその他のプログラマブルデータ処理機器のプロセッサで実行される命令により、フローチャートにおける１つのフローまたは複数のフロー及び／またはブロック図における１つのブロックまたは複数のブロックにおいて指定される機能を実現するための装置を作り出せる。

【0090】

そして、これらのコンピュータプログラム命令はコンピュータまたはその他のプログラマブルデータ処理機器が特定の方式で作動するように導くコンピュータ可読記憶メモリに記憶されてもよいことで、当該コンピュータ可読記憶メモリに記憶される命令は命令装置を含む製造品を作り出し、当該命令装置はフローチャートにおける１つのフローまたは複数のフロー及び／またはブロック図における１つのブロックまたは複数のブロックにおいて指定される機能を実現する。

【0091】

これらのコンピュータプログラム命令はコンピュータまたはその他のプログラマブルデータ処理機器に搭載されてもよいので、コンピュータまたはその他のプログラマブル機器にて一連の操作ステップを実行されることで、コンピュータにより実現される処理を生じるため、コンピュータまたはその他のプログラマブル機器にて実行される命令はフローチャート１つのフローまたは複数のフロー及び／またはブロック図１つのブロックまたは複数のブロックにおいて指定される機能を実現するためステップを提供する。

【0092】

以上は本発明の実施例だけであり、本発明を限定するものではない。当業者にとって、本発明は各種類の変更及び変化を備えてもよい。本発明の主旨及び原理において行われた如何なる補正、同等の置換、改善などは何れも本発明の特許請求の範囲内に含まれる。

【0093】

［産業上の利用可能性］
本発明に係るビデオデータの表示方法及び装置はプレイヤーのインタフェースとビデオデータの再生ウィンドウとが同期していないとの問題を改善し、プレイヤーのインタフェースとビデオデータの再生ウィンドウとの同期を確保し、、クライアントにビデオデータを正確に表示して、例えばビデオデータがプレイヤー位置の変化にリアルタイムに追跡することによって、表示性能を向上させ、ユーザの体験を向上させることができる。

【図1A】

【図1B】

【図1C】

【図1D】

【図1E】

【図1F】

【図1G】

【図1H】

【図1I】

【図1J】

【図2】

【図3A】

【図3B】

【図3C】

【図4】

【図5】

【図6】

【図7】