(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-10-21
(54)【発明の名称】データ処理方法、装置、機器、コンピュータ及びコンピュータプログラム
(51)【国際特許分類】
H04L 1/22 20060101AFI20241011BHJP
H04W 4/00 20180101ALI20241011BHJP
H04W 28/04 20090101ALI20241011BHJP
H04L 47/34 20220101ALI20241011BHJP
H04N 21/442 20110101ALI20241011BHJP
【FI】
H04L1/22
H04W4/00 111
H04W28/04
H04L47/34
H04N21/442
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024514566
(86)(22)【出願日】2022-09-16
(85)【翻訳文提出日】2024-03-05
(86)【国際出願番号】 CN2022119302
(87)【国際公開番号】W WO2023087881
(87)【国際公開日】2023-05-25
(31)【優先権主張番号】202111360129.X
(32)【優先日】2021-11-17
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】517392436
【氏名又は名称】▲騰▼▲訊▼科技(深▲セン▼)有限公司
【氏名又は名称原語表記】TENCENT TECHNOLOGY (SHENZHEN) COMPANY LIMITED
【住所又は居所原語表記】35/F,Tencent Building,Kejizhongyi Road,Midwest District of Hi-tech Park,Nanshan District, Shenzhen,Guangdong 518057,CHINA
(74)【代理人】
【識別番号】110002077
【氏名又は名称】園田・小林弁理士法人
(72)【発明者】
【氏名】陳佳豊
(72)【発明者】
【氏名】江龍威
(72)【発明者】
【氏名】劉泓昊
(72)【発明者】
【氏名】韓瑞
【テーマコード(参考)】
5C164
5K014
5K030
5K067
【Fターム(参考)】
5C164UB21S
5C164UB41P
5C164UC27S
5C164YA21
5K014DA06
5K030GA01
5K030HA08
5K030HC01
5K030HC14
5K030LB06
5K067AA13
5K067BB21
5K067EE02
5K067EE10
5K067HH22
5K067HH28
(57)【要約】
データ処理方法、装置、機器、コンピュータ可読記録媒体及びコンピュータプログラム製品を提供する。このデータ処理方法は、配信順序を含むデータ要素を少なくとも2つのチャネルを介して受信するステップと、受信したn番目のデータ要素が被判定データ要素である場合に、配信順序に基づき、受信したn番目のデータ要素の後続データ要素を取得するステップであって、被判定データ要素の状態が不完全状態であり、被判定データ要素の配信タイプが破棄可能タイプであり、状態は、データ要素のすべてのデータを受信したか否かによって決定され、配信タイプは、後処理の際に他のデータ要素によって依存される度合と、後処理の結果に影響を与える度合との2つの情報によって決定される、取得するステップと、後続データ要素が対象データ要素を含む場合に、n番目のデータ要素の配信結果が破棄であると決定するステップであって、対象データ要素の状態が完全状態であり、対象データ要素とn番目のデータ要素とが同じデータタイプであり、対象データ要素が独立データ要素である、決定するステップと、を含む。
【選択図】
図4
【特許請求の範囲】
【請求項1】
受信機器によって実行されるデータ処理方法であって、
送信機器から送信される、配信順序を含むデータ要素を少なくとも2つのチャネルを介して受信するステップと、
受信したn番目の前記データ要素が被判定データ要素である場合に、前記配信順序に基づき、受信したn番目の前記データ要素の後続データ要素を取得するステップであって、前記被判定データ要素の状態が不完全状態であり、前記被判定データ要素の配信タイプが破棄可能タイプであり、前記状態は、前記データ要素のすべてのデータを受信したか否かによって決定され、前記配信タイプは、後処理の際に他の前記データ要素によって依存される度合と、後処理の結果に影響を与える度合との2つの情報によって決定され、nは正の整数である、取得するステップと、
前記後続データ要素が対象データ要素を含む場合に、n番目の前記データ要素の配信結果が破棄であると決定するステップであって、前記対象データ要素の状態が完全状態であり、前記対象データ要素とn番目の前記データ要素とが同じデータタイプであり、前記対象データ要素が独立データ要素であり、前記データタイプが前記データ要素の役割によって決定され、前記独立データ要素の、後処理の際の他の前記データ要素に対する依存度合が所定の度合未満である、決定するステップと、を含む、データ処理方法。
【請求項2】
前記配信順序に基づき、受信したn番目の前記データ要素の後続データ要素を取得した後に、前記方法は、
前記後続データ要素のうちn+1番目の前記データ要素のすべてのデータが受信された場合に、前記n+1番目の前記データ要素の状態が前記完全状態であると決定するステップと、
前記完全状態にあるn+1番目の前記データ要素が第1条件を満たす場合に、前記後続データ要素が前記対象データ要素を含むと決定するステップであって、前記第1条件を満たすことは、n番目の前記データ要素のデータタイプと同じであること、及び前記独立データ要素に属することを含む、ステップと、をさらに含む、請求項1に記載の方法。
【請求項3】
前記n+1番目の前記データ要素の前記状態が前記完全状態であると決定した後に、前記方法は、
前記完全状態にあるn+1番目の前記データ要素が第2条件を満たす場合に、又は、前記完全状態にあるn+1番目の前記データ要素が第3条件を満たす場合に、前記後続データ要素のうちn+2番目の前記データ要素の状態を取得するステップであって、前記第2条件を満たすことは、n番目の前記データ要素の前記データタイプと異なること、及び前記独立データ要素に属することを含み、前記第3条件を満たすことは、n番目の前記データ要素の前記データタイプと同じであること、及び後処理の際の他の前記データ要素に対する依存度合が前記所定の度合以上である関連データ要素に属することを含む、取得するステップと、
n+2番目の前記データ要素の前記状態が前記完全状態であり、n+2番目の前記データ要素が前記第1条件を満たす場合に、前記後続データ要素が前記対象データ要素を含むと決定するステップと、をさらに含む、請求項2に記載の方法。
【請求項4】
前記配信順序に基づき、受信したn番目の前記データ要素の後続データ要素を取得した後に、前記方法は、
前記後続データ要素のうちn+1番目の前記データ要素が前記被判定データ要素である場合に、前記配信順序がn+1番目の前記データ要素の後にある前記データ要素を取得するとともに、取得した前記データ要素に基づき、n番目の前記データ要素及び前記n+1番目の前記データ要素の前記配信結果を決定するステップをさらに含む、請求項1に記載の方法。
【請求項5】
前記配信順序に基づき、受信したn番目の前記データ要素の後続データ要素を取得した後に、前記方法は、
前記後続データ要素が前記対象データ要素を含まない場合に、n番目の前記データ要素の前記配信結果が受信待ちデータであると決定するステップをさらに含む、請求項1に記載の方法。
【請求項6】
前記送信機器から送信されるデータ要素を前記少なくとも2つのチャネルを介して受信した後に、前記方法は、
受信したn番目の前記データ要素が待ちデータ要素である場合に、n番目の前記データ要素の前記配信結果が受信待ちデータであると決定するステップであって、前記待ちデータ要素の状態が前記不完全状態であり、前記待ちデータ要素の配信タイプが破棄不可タイプである、決定するステップをさらに含む、請求項1に記載の方法。
【請求項7】
前記データ要素は、イントラ予測フレームデータ及びインター予測フレームデータを含むビデオフレームデータを含み、前記イントラ予測フレームデータが前記独立データ要素であり、前記イントラ予測フレームデータの配信タイプが破棄不可タイプであり、前記イントラ予測フレームデータが後処理の際に自データに基づいてフレーム画像をレンダリングし、前記インター予測フレームデータが関連データ要素であり、前記インター予測フレームデータの配信タイプが前記破棄可能タイプであり、前記インター予測フレームデータが後処理の際に自データ及び前記イントラ予測フレームデータに基づいてフレーム画像をレンダリングし、前記イントラ予測フレームデータと前記インター予測フレームデータとが同じデータタイプである、請求項1から6のいずれか一項に記載の方法。
【請求項8】
前記データ要素は、オーディオフレームデータをさらに含み、前記オーディオフレームデータが前記独立データ要素であり、前記オーディオフレームデータの配信タイプが前記破棄不可タイプであり、前記オーディオフレームデータと前記ビデオフレームデータとが異なるデータタイプである、請求項7に記載の方法。
【請求項9】
送信機器から送信されるデータ要素を少なくとも2つのチャネルを介して受信した後に、前記方法は、
受信した前記データ要素が最も新しく配信した前記データ要素と前記配信順序で隣接する場合には、受信した前記データ要素を第1データ要素セットにおける前記データ要素として決定するとともに、第2データ要素セットから、受信した前記データ要素と前記配信順序で隣接する少なくとも1つの前記データ要素を取得して、隣接する少なくとも1つの前記データ要素を前記第1データ要素セットにおける前記データ要素として決定するステップと、
受信した前記データ要素と最も新しく配信した前記データ要素とが前記配信順序で隣接しない場合には、受信した前記データ要素を前記第2データ要素セットにおける前記データ要素として決定するステップと、をさらに含み、
前記配信順序に基づき、受信したn番目の前記データ要素の後続データ要素を取得する前記ステップは、
前記配信順序に基づき、前記第1データ要素セット及び前記第2データ要素セットから、受信したn番目の前記データ要素の前記後続データ要素を取得することを含む、請求項1から6のいずれか一項に記載の方法。
【請求項10】
送信機器によって実行されるデータ伝送方法であって、
配信順序を含むデータ要素を少なくとも2つのチャネルを介して受信機器に送信するステップと、
前記データ要素の送信中に、n番目の前記データ要素を伝送する前記チャネルを切り換えるための切換指令に応答して、n番目の前記データ要素の配信タイプを取得するステップであって、前記配信タイプは、後処理の際に他の前記データ要素によって依存される度合と、後処理の結果に影響を与える度合との2つの情報によって決定され、nは正の整数である、取得するステップと、
n番目の前記データ要素の前記配信タイプが破棄可能タイプであり、後続データ要素が対象データ要素を含む場合に、n番目の前記データ要素を前記受信機器に送信することを取り消すステップであって、前記後続データ要素は、送信した前記配信順序がn番目の前記データ要素の後にある前記データ要素であり、前記対象データ要素の状態が完全状態であり、前記対象データ要素とn番目の前記データ要素とが同じデータタイプであり、前記対象データ要素が独立データ要素であり、前記状態は、前記受信機器が前記データ要素の全てのデータを受信したか否かによって決定され、前記データタイプが前記データ要素の役割によって決定され、前記独立データ要素の、後処理の際の他の前記データ要素に対する依存度合が所定の度合未満である、取り消すステップと、
を含む、データ伝送方法。
【請求項11】
n番目の前記データ要素の配信タイプを取得した後に、前記方法は、
n番目の前記データ要素の前記配信タイプが破棄不可タイプである場合に、n番目の前記データ要素の状態を取得するステップと、
n番目の前記データ要素の前記状態が不完全状態である場合に、切り換えられた前記チャネルを介して前記受信機器にn番目の前記データ要素に対応する未伝送データを送信するステップと、をさらに含む、請求項10に記載の方法。
【請求項12】
n番目の前記データ要素の配信タイプを取得した後に、前記方法は、
n番目の前記データ要素の前記配信タイプが破棄可能タイプである場合に、前記配信順序がn番目の前記データ要素の後にある未伝送データから、被処理データ要素を選択するステップであって、前記被処理データ要素がn番目の前記データ要素のデータタイプと同じであり、前記被処理データ要素が前記配信順序でn番目の前記データ要素に最も近い、選択するステップと、
前記独立データ要素に基づいて前記被処理データ要素を処理して、被送信データ要素を得るステップと、
前記被送信データ要素を前記受信機器に送信するステップと、をさらに含む、請求項10に記載の方法。
【請求項13】
第1データ処理装置であって、
送信機器から送信される、配信順序を含むデータ要素を少なくとも2つのチャネルを介して受信するように配置されるデータ受信モジュールと、
受信したn番目の前記データ要素が被判定データ要素である場合に、前記配信順序に基づき、受信したn番目の前記データ要素の後続データ要素を取得するように配置される配信処理モジュールであって、前記被判定データ要素の状態が不完全状態であり、前記被判定データ要素の配信タイプが破棄可能タイプであり、前記状態は、前記データ要素のすべてのデータを受信したか否かによって決定され、前記配信タイプは、後処理の際に他の前記データ要素によって依存される度合と、後処理の結果に影響を与える度合との2つの情報によって決定され、nは正の整数である、配信処理モジュールと、
前記後続データ要素が対象データ要素を含む場合に、n番目の前記データ要素の配信結果が破棄であると決定するようにさらに配置される配信処理モジュールであって、前記対象データ要素の状態が完全状態であり、前記対象データ要素とn番目の前記データ要素とが同じデータタイプであり、前記対象データ要素が独立データ要素であり、前記データタイプが前記データ要素の役割によって決定され、前記独立データ要素の、後処理の際の他の前記データ要素に対する依存度合が所定の度合未満である、配信処理モジュールと、
を備える、第1データ処理装置。
【請求項14】
第2データ処理装置であって、
配信順序を含むデータ要素を少なくとも2つのチャネルを介して受信機器に送信するように配置されるデータ送信モジュールと、
前記データ要素の送信中に、n番目の前記データ要素を伝送する前記チャネルを切り換えるための切換指令に応答して、n番目の前記データ要素の配信タイプを取得するように配置されるチャネル切換モジュールであって、前記配信タイプは、後処理の際に他の前記データ要素によって依存される度合と、後処理の結果に影響を与える度合との2つの情報によって決定され、nは正の整数である、チャネル切換モジュールと、
n番目の前記データ要素の前記配信タイプが破棄可能タイプであり、後続データ要素が対象データ要素を含む場合に、n番目の前記データ要素を前記受信機器に送信することを取り消すように配置される切換処理モジュールであって、前記後続データ要素は、送信した前記配信順序がn番目の前記データ要素の後にある前記データ要素であり、前記対象データ要素の状態が完全状態であり、前記対象データ要素とn番目の前記データ要素とが同じデータタイプであり、前記対象データ要素が独立データ要素であり、前記状態は、前記受信機器が前記データ要素のすべてのデータを受信したか否かによって決定され、前記データタイプが前記データ要素の役割によって決定され、前記独立データ要素の、後処理の際の他の前記データ要素に対する依存度合が所定の度合未満である、切換処理モジュールと、を備える、第2データ処理装置。
【請求項15】
データ処理のための受信機器であって、
コンピュータ実行可能命令を記憶するための第1メモリと、
前記第1メモリに記憶されるコンピュータ実行可能命令を実行する際に、請求項1から9のいずれか一項に記載のデータ処理方法を実現するための第1プロセッサと、を備える、受信機器。
【請求項16】
データ処理のための送信機器であって、
コンピュータ実行可能命令を記憶するための第2メモリと、
前記第2メモリに記憶されるコンピュータ実行可能命令を実行する際に、請求項10から12のいずれか一項に記載のデータ処理方法を実現するための第2プロセッサと、を備える、送信機器。
【請求項17】
コンピュータ実行可能命令が記憶されているコンピュータ可読記録媒体であって、前記コンピュータ実行可能命令は、第1プロセッサによって実行される場合に、請求項1から9のいずれか一項に記載の方法を実現するか、又は、第2プロセッサによって実行される場合に、請求項10から12のいずれか一項に記載のデータ処理方法を実現するためのものである、
コンピュータ可読記録媒体。
【請求項18】
コンピュータプログラム又はコンピュータ実行可能命令を備えるコンピュータプログラム製品であって、前記コンピュータプログラム又はコンピュータ実行可能命令は、第1プロセッサによって実行される場合に、請求項1から9のいずれか一項に記載のデータ処理方法を実現するか、又は、第2プロセッサによって実行される場合に、請求項10から12のいずれか一項に記載のデータ処理方法を実現する、
コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、出願番号が202111360129.Xで、出願日が2021年11月17日である中国特許出願に基づいて提出され、この中国特許出願の優先権を主張するものであり、当該中国特許出願の全ての内容が参照により本出願に援用される。
【0002】
本出願は、コンピュータ応用分野におけるデータ処理技術に関し、特にデータ処理方法、装置、機器、コンピュータ可読記録媒体及びコンピュータプログラム製品に関する。
【背景技術】
【0003】
コンピュータ通信技術の急速な発展に伴い、データ伝送に対する要求がますます高くなっている。データ伝送の効率及び安定性を向上させるために、マルチチャネルを使用してデータ伝送を行うことができる。
【0004】
一般に、マルチチャネルを使用してデータ伝送を行う場合に、チャネルが伝送要件を満たすことができないこと(例えば、チャネルが途切れるなど)がしばしばあり、この場合に、送信側は、該チャネルで伝送されるデータ要素が受信側によってすべて受信されたか否かを確認して再伝送する必要があるが、受信側は、データ要素について未受信の残りのデータを受信するまで待つ必要がある。従って、マルチチャネル伝送の際に、データ要素伝送の時間コストが高くなり、マルチチャネル伝送のデータ処理効率に影響を与える。
【発明の概要】
【0005】
本出願の実施例は、マルチチャネル伝送の際に、データ処理の効率を向上させることができるデータ処理方法、装置、機器、コンピュータ可読記録媒体及びコンピュータプログラム製品を提供する。
【0006】
本出願の実施例の技術的手段は、以下のように実現される。
【0007】
本出願の実施例は、受信機器によって実行されるデータ処理方法であって、
送信機器から送信される、配信(「デリバリー」、「交付」とも呼ばれる)順序を含むデータ要素を少なくとも2つのチャネルを介して受信するステップと、
受信したn番目(nは正の整数である)のデータ要素が被判定データ要素である場合に、配信順序に基づき、受信したn番目のデータ要素の後続データ要素を取得するステップであって、被判定データ要素の状態が不完全状態であり、被判定データ要素の配信タイプが破棄可能タイプであり、状態は、データ要素のすべてのデータを受信したか否かによって決定され、配信タイプは、後処理の際に他のデータ要素によって依存される度合と、後処理の結果に影響を与える度合との2つの情報によって決定される、取得するステップと、
後続データ要素が対象データ要素を含む場合に、n番目のデータ要素の配信結果が破棄であると決定するステップであって、対象データ要素の状態が完全状態であり、対象データ要素とn番目のデータ要素とが同じデータタイプであり、対象データ要素が独立データ要素であり、データタイプがデータ要素の役割によって決定され、独立データ要素の、後処理の際の他のデータ要素に対する依存度合が所定の度合未満である、決定するステップと、を含む、データ処理方法を提供する。
【0008】
本出願の実施例はさらに、送信機器によって実行されるデータ処理方法であって、
配信順序を含むデータ要素を少なくとも2つのチャネルを介して受信機器に送信するステップと、
データ要素の送信の際に、n番目(nは正の整数である)のデータ要素を伝送するチャネルを切り換えるための切換指令に応答して、n番目のデータ要素の配信タイプを取得するステップであって、配信タイプは、後処理の際に他のデータ要素によって依存される度合と、後処理の結果に影響を与える度合との2つの情報によって決定される、取得するステップと、
n番目のデータ要素の配信タイプが破棄可能タイプであり、後続データ要素が対象データ要素を含む場合に、n番目のデータ要素を受信機器に送信することを取り消すステップであって、後続データ要素は、送信した配信順序がn番目のデータ要素の後にあるデータ要素であり、対象データ要素の状態が完全状態であり、対象データ要素とn番目のデータ要素とが同じデータタイプであり、対象データ要素が独立データ要素であり、状態は、受信機器がデータ要素の全てのデータを受信したか否かによって決定され、データタイプがデータ要素の役割によって決定され、独立データ要素の、後処理の際の他のデータ要素に対する依存度合が所定の度合未満である、取り消すステップと、を含む、データ処理方法を提供する。
【0009】
本出願の実施例は、第1データ処理装置であって、
送信機器から送信される、配信順序を含むデータ要素を少なくとも2つのチャネルを介して受信するように配置されるデータ受信モジュールと、
受信したn番目(nは正の整数である)のデータ要素が被判定データ要素である場合に、配信順序に基づき、受信したn番目のデータ要素の後続データ要素を取得するように配置される配信処理モジュールであって、被判定データ要素の状態が不完全状態であり、被判定データ要素の配信タイプが破棄可能タイプであり、状態は、データ要素のすべてのデータを受信したか否かによって決定され、配信タイプは、後処理の際に他のデータ要素によって依存される度合と、後処理の結果に影響を与える度合との2つの情報によって決定される配信処理モジュールと、
後続データ要素が対象データ要素を含む場合に、n番目のデータ要素の配信結果が破棄であると決定するようにさらに配置される配信処理モジュールであって、対象データ要素の状態が完全状態であり、対象データ要素とn番目のデータ要素とが同じデータタイプであり、対象データ要素が独立データ要素であり、データタイプがデータ要素の役割によって決定され、独立データ要素の、後処理の際の他のデータ要素に対する依存度合が所定の度合未満である配信処理モジュールと、を備える、第1データ処理装置を提供する。
【0010】
本出願の実施例は、第2データ処理装置であって、
配信順序を含むデータ要素を少なくとも2つのチャネルを介して受信機器に送信するように配置されるデータ送信モジュールと、
データ要素の送信の際に、n番目(nは正の整数である)のデータ要素を伝送するチャネルを切り換えるための切換指令に応答して、n番目のデータ要素の配信タイプを取得するように配置されるチャネル切換モジュールであって、配信タイプは、後処理の際に他のデータ要素によって依存される度合と、後処理の結果に影響を与える度合との2つの情報によって決定されるチャネル切換モジュールと、
n番目のデータ要素の配信タイプが破棄可能タイプであり、後続データ要素が対象データ要素を含む場合に、n番目のデータ要素を受信機器に送信することを取り消すように配置される切換処理モジュールであって、後続データ要素は、送信した配信順序がn番目のデータ要素の後にあるデータ要素であり、対象データ要素の状態が完全状態であり、対象データ要素とn番目のデータ要素とが同じデータタイプであり、対象データ要素が独立データ要素であり、状態は、受信機器がデータ要素のすべてのデータを受信したか否かによって決定され、データタイプがデータ要素の役割によって決定され、独立データ要素の、後処理の際の他のデータ要素に対する依存度合が所定の度合未満である切換処理モジュールと、を備える、第2データ処理装置を提供する。
【0011】
本出願の実施例は、データ処理のための受信機器であって、
コンピュータ実行可能命令を記憶するための第1メモリと、
第1メモリに記憶されるコンピュータ実行可能命令を実行する際に、本出願の実施例に係る受信機器に適用されるデータ処理方法を実現するための第1プロセッサと、を備える、受信機器を提供する。
【0012】
本出願の実施例は、データ処理のための送信機器であって、
コンピュータ実行可能命令を記憶するための第2メモリと、
第2メモリに記憶されるコンピュータ実行可能命令を実行する際に、送信機器に適用されるデータ処理方法を実現するための第2プロセッサと、を備える、送信機器を提供する。
【0013】
本出願の実施例は、第1プロセッサによって実行される場合に、本出願の実施例に係る受信機器に適用されるデータ処理方法を実現するか、又は、第2プロセッサによって実行される場合に、本出願の実施例に係る送信機器に適用されるデータ処理方法を実現するためのコンピュータ実行可能命令が記憶されている、コンピュータ可読記録媒体を提供する。
【0014】
本出願の実施例は、第1プロセッサによって実行される場合に、本出願の実施例に係る受信機器に適用されるデータ処理方法を実現するか、又は、第2プロセッサによって実行される場合に、本出願の実施例に係る送信機器に適用されるデータ処理方法を実現するコンピュータプログラム又はコンピュータ実行可能命令を備える、コンピュータプログラム製品を提供する。
【0015】
本出願の実施例は、少なくとも以下の有益な効果を有する。マルチチャネルの伝送の際に、チャネル切り換えによって、受信側は現在受信したデータ要素(n番目のデータ要素)がデータ要素の一部のデータを受信した(不完全状態という)場合に、現在受信したデータ要素が破棄可能タイプであると、現在受信したデータ要素が後処理の際に他のデータ要素によって依存される度合及び後処理の結果に影響を与える度合が所定値よりも低いことを示す。次に、配信順序が現在受信したデータ要素の配信順序の後にある後続データ要素には、対象データ要素(現在受信したデータ要素の役割と同じ後処理を独立して完成することが可能なデータ要素)が含まれると決定する場合に、送信機器は後続の未送信データ要素を直接送信し、受信機器は現在受信したデータ要素を破棄処理することにより、送信機器による確認再伝送時間と受信機器によるデータ待ち時間とを低減する。したがって、チャネル切り換え時のデータ要素の伝送時間コストを低減し、マルチチャネルの伝送の際のデータ処理効率を向上させることができる。
【図面の簡単な説明】
【0016】
【
図1】本出願の実施例に係るデータ処理システムの構成模式図である。
【
図2】本出願の実施例に係る
図1の端末の構造模式図である。
【
図3】本出願の実施例に係る
図1のサーバの構造模式図である。
【
図4】本出願の実施例に係るデータ処理方法の第1フローチャートである。
【
図5】本出願の実施例に係るマルチチャネル切り換えの一例の模式図である。
【
図6a】本出願の実施例に係るデータ処理方法の一例のインタラクション図である。
【
図6b】本出願の実施例に係るクラウドゲーミングアプリの一例のシステム構成図である。
【
図6c】本出願の実施例に係る通信モデルの一例の構成図である。
【
図6d】本出願の実施例に係るデータ処理方法の第2フローチャートである。
【
図6e】本出願の実施例に係るデータ処理方法の第3フローチャートである。
【
図6f】本出願の実施例に係るデータ処理方法の第4フローチャートである。
【
図7】本出願の実施例に係る受信されたデータ要素の記憶の一例の模式図である。
【
図8】本出願の実施例に係るクラウドゲーミングアプリシーンの模式図である。
【
図9】本出願の実施例に係るデータ処理の一例の第1フローチャートである。
【
図10】本出願の実施例に係るデータ処理の一例の第2フローチャートである。
【発明を実施するための形態】
【0017】
本出願の目的、技術的手段及び利点をより明確にするために、以下は、図面を参照しながら本出願をさらに詳細に説明する。説明される実施例は、本出願を限定するものと見なされるべきではない。当業者は、創造的な努力を行うことなく得られるすべての他の実施例は、いずれも本出願の保護範囲に属する。
【0018】
以下の説明において、すべての可能な実施例のサブセットを説明する「いくつかの実施例」に言及するが、「いくつかの実施例」は、すべての可能な実施例の同じサブセット又は異なるサブセットであってもよく、矛盾しない限り互いに組み合わせられてもよいことを理解されたい。
【0019】
以下の説明において、言及される「第1の」「第2の」「第3の」という用語は、単なる類似のオブジェクトを区別するためのものであり、オブジェクトの特定の順序を示すものではない。なお、「第1の」「第2の」「第3の」という用語は、本明細書に説明される本出願の実施例が、本明細書に図示又は説明されているもの以外の順序で実施できるように、許可される場合に、特定の順序又は前後の順序を交換されてもよい。
【0020】
特に明記されていない限り、本出願の実施例で使用されるすべての技術用語及び科学用語は、当業者が通常理解できる意味と同一である。本出願の実施例で使用される用語は、本出願を限定するためのものではなく、単なる本出願の実施例を説明するためのものである。
【0021】
本出願の実施例をさらに詳細に説明する前に、本出願の実施例に係る名詞及び用語について説明する。本出願の実施例に係る名詞及び用語は、以下の解釈に適用される。
【0022】
1)クラウドコンピューティング(Cloud Computing)は、コンピューティングモードであって、コンピューティングタスクを大量のコンピュータで構成されるリソースプールに分散させることによって、様々なアプリケーションシステムが必要に応じてコンピューティング能力、メモリ空間及び情報サービスを取得させることができる。リソースプールにリソースを提供するネットワークは、「クラウド」と言われ、「クラウド」におけるリソースが、ユーザからみれば無限に拡張される可能であり、いつでも取得でき、必要に応じて使用し、いつでも拡張でき、使用に応じて課金することができる。
【0023】
2)ククラウドゲーミング(Cloud Gaming)は、ゲーミングオンデマンド(Gaming on Demand)とも呼ばれ、クラウドコンピューティング技術をベースとするオンラインゲーム技術である。クラウドゲーミング技術により、グラフィックス処理及びデータ演算能力が所定の能力よりも低いシンクライアント(Thin Client)がゲームをスムーズに実行可能にする。クラウドゲームシーンにおいて、ゲームは、プレイヤのゲーム端末ではなく、クラウドサーバで実行され、ネットワークを介してプレイヤのゲーム端末に伝送するように、クラウドサーバによりゲームシーンをオーディオビデオストリームとしてレンダリングする。プレイヤのゲーム端末は、グラフィックス コンピューティング及びデータ処理能力が所定能力よりも低い場合でも、基本的なストリーミングメディア再生能力と、プレイヤの入力命令を取得してクラウドサーバに送信する能力とによってゲームを実行することもできる。本出願の実施例に係るデータ処理方法は、クラウドゲーミングのマルチチャネルシーンに適用可能である。
【0024】
3)チャネルは、データを伝送するために用いられ、ネットワーク及び/又は伝送プロトコルに基づいて決定された伝送チャネルであってもよく、ネットワークは、例えば、第4世代移動通信ネットワーク(4G、The 4th Generation)、第5世代移動通信ネットワーク(5G、The 5th Generation)、各周波数帯域の無線互換性認証(Wi-Fi)ネットワークである。伝送プロトコルは、例えば、伝送制御プロトコル(TCP、Transmission Control Protocol)、ユーザデータグラムプロトコル(UDP、User Datagram Protocol)である。
【0025】
4)マルチチャネル伝送(Multichannel Transmission)とは、複数のチャネルに複数のデータ要素を同時に伝送する処理を意味し、該複数のデータ要素が同一のネットワークセッション(Session)内のものであってもよい。本出願の実施例において少なくとも2つのチャネルを使用してデータ要素を伝送するプロセスは、マルチチャネル伝送である。
【0026】
5)マルチチャネル切り換えとは、ネットワークの理由などによりネットワークセッションにおけるデータ要素を一方のチャネルから他方のチャネルに切り換えて伝送するプロセスを意味する。
【0027】
本出願の実施例は、マルチチャネルの伝送の際のデータ処理効率を向上させることができるデータ処理方法、装置、機器、コンピュータ可読記録媒体及びコンピュータプログラム製品を提供する。以下、本出願の実施例に係る送信機器及び受信機器のアプリケーションの一例を説明するが、本出願の実施例に係る送信機器及び受信機器は、スマートフォン、スマートウォッチ、ノート型コンピュータ、タブレット型コンピュータ、デスクトップ型コンピュータ、スマートテレビ、セットトップボックス、スマート車載装置、携帯音楽プレーヤ、携帯情報端末、専用メッセージ装置、携帯ゲーム機器及びスマートスピーカなどの様々な種類の端末として実装されてもよく、サーバとして実装されてもよいが、サーバは、独立した物理サーバであってもよく、複数の物理サーバからなるサーバクラスター又は分散システムであってもよく、さらにクラウドサービス、クラウドデータベース、クラウドコンピューティング、クラウドファンクション、クラウドストレージ、ネットワークサービス、クラウドコミュニケーション、ミドルウェアサービス、ドメインネームサービス、セキュリティサービス、コンテンツ配信ネットワーク(CDN、Content Delivery Network)、及びビッグデータ及び人工知能プラットフォームなどの基本的なクラウドコンピューティングサービスを提供するクラウドサーバであってもよく、及び端末及びサーバとして実装されてもよい。以下、送信機器をサーバとして実装し、受信機器を端末として実装する際のアプリケーションの一例について説明する。
【0028】
図1を参照すると、
図1は本出願の実施例に係るデータ処理システムの構成模式図である。
図1に示すように、データ処理をサポートするアプリケーションであり、データ処理システム100において、端末200(受信機器といい、端末200-1及び端末200-2が例示的に示される)及びサーバ300(送信機器という)が少なくとも2つのチャネル400を介してデータ伝送を行う。また、該データ処理システム100は、サーバ300にデータサポートを提供するためのデータベース500をさらに含み、
図1には、サーバ300から独立したデータベース500の場合が示され、また、データベース500がさらにサーバ300に統合されていてもよく、本出願の実施例はこれに限定されるものではない。
【0029】
端末200は、サーバ300から送信される、配信順序を含むデータ要素を少なくとも2つのチャネル400を介して受信するために用いられ、受信したn番目のデータ要素が被判定データ要素である場合に、配信順序に基づき、受信したn番目(nは正の整数である)のデータ要素の後続データ要素を取得し、被判定データ要素の状態が不完全状態であり、被判定データ要素の配信タイプが破棄可能タイプであり、状態は、データ要素のすべてのデータを受信したか否かによって決定され、配信タイプは、後処理の際に他のデータ要素によって依存される度合と、後処理の結果に影響を与える度合との2つの情報に基づいて決定され、後続データ要素が対象データ要素を含む場合に、n番目のデータ要素の配信結果が破棄であると決定し、対象データ要素の状態が完全状態であり、対象データ要素とn番目のデータ要素とが同じデータタイプであり、対象データ要素が独立データ要素であり、データタイプがデータ要素の役割によって決定され、独立データ要素の、後処理の際の他のデータ要素に対する依存度合が所定の度合未満である。オーディオビデオ(例えば、端末200-1及び端末200-2でレンダリングされるゲーム画面)を再生するために、さらにデータ要素を順次配信及び後処理するために用いられる。
【0030】
サーバ300は、少なくとも2つのチャネルを介してデータ要素を受信機器に送信するために用いられる。データ要素の送信の際に、n番目のデータ要素を伝送するチャネルを切り換えるための切換指令に応答して、n番目のデータ要素の配信タイプを取得し、n番目のデータ要素の配信タイプが破棄可能タイプであり、後続データ要素が対象データ要素を含む場合に、n番目のデータ要素を受信機器に送信することを取り消す。
【0031】
なお、送信機器及び受信機器が相対的なものであり、一方のアプリケーションシーンにおける送信機器は、他方のアプリケーションシーンにおいて受信機器であってもよい。
【0032】
いくつかの実施例において、端末200及びサーバ300は、有線又は無線通信方式によって直接又は間接的に接続されてもよく、端末200及びサーバ300は、ネットワークを介して接続される場合には、該ネットワークが広域ネットワーク又はローカルエリアネットワークであってもよいか、又はその両方の組み合わせであってもよく、本出願の実施例に限定されるものではない。
【0033】
図2を参照すると、
図2は本出願の実施例に係る
図1の端末の構造模式図であり、
図2に示される端末200は、少なくとも1つの第1プロセッサ210、第1メモリ250、少なくとも1つの第1ネットワークインタフェース220及び第1ユーザインタフェース230を備える。端末200の各構成要素は、第1バスシステム240によって互いに結合される。第1バスシステム240は、これらの構成要素間の接続通信を実現するために用いられることを理解されたい。第1バスシステム240は、データバスに加えて、電源バス、制御バス及び状態信号バスを含む。しかしながら、説明の便宜上、
図2において様々なバスを第1バスシステム240と総称する。
【0034】
第1プロセッサ210は、汎用プロセッサ、デジタル信号プロセッサ(DSP、Digital Signal Processor)、又は他のプログラマブルロジックデバイス、ディスクリートゲート又はトランジスタロジックデバイス、ディスクリートハードウェアコンポーネントなどの信号の処理機能を有する集積回路チップであってもよい。ここで、汎用プロセッサは、マイクロプロセッサ又は任意の従来のプロセッサなどであってもよい。
【0035】
第1ユーザインタフェース230は、メディア内容の提示を可能にする1つ又は複数の第1出力装置231を含み、1つ又は複数のスピーカ及び/又は1つ又は複数のビデオディスプレイを含む。第1ユーザインタフェース230は、1つ又は複数の第1入力装置232をさらに含み、例えばキーボード、マウス、マイクロフォン、タッチスクリーンディスプレイ、カメラ、及び他の入力ボタン及びコントロールなどのユーザ入力を容易にするユーザインタフェースコンポーネントを含む。
【0036】
第1メモリ250は、取り外し可能なもの、取り外し不可能なもの、又はそれらの組み合わせであってもよい。ハードウェアデバイスの例は、ソリッドステートメモリ、ハードディスクドライブ、光ディスクドライブなどを含む。第1メモリ250は、選択可能に、物理的位置上に第1プロセッサ210から離れる1つ又は複数のメモリデバイスを含む。
【0037】
第1メモリ250は、揮発性メモリ又は不揮発性メモリを含み、揮発性及び不揮発性メモリの両方を含んでもよい。不揮発性メモリは、読み取り専用メモリ(ROM、Read Only Memory)であってもよく、揮発性メモリは、ランダムアクセスメモリ(RAM、Random Access Memory)であってもよい。本出願の実施例で説明される第1メモリ250は、任意の適切なタイプのメモリを含むことを意図している。
【0038】
いくつかの実施例において、第1メモリ250は、様々な動作をサポートするためにデータを記憶することができ、それらのデータの例は、プログラム、モジュール、及びデータ構造又はそれらのサブセット又はスーパーセットを含み、以下、例示的に説明する。
【0039】
第1オペレーティングシステム251は、様々な基本的なシステムサービスを処理し、様々な基本的なサービスを実現し、ハードウェアベースのタスクを処理するためのフレームワーク層、コアライブラリ層、ドライブ層などのハードウェア関連タスクを実行するためのシステムプログラムを含む。
【0040】
第1ネットワーク通信モジュール252は、1つ又は複数の(有線又は無線)第1ネットワークインタフェース220を介して他の電子機器に到達するために用いられ、第1ネットワークインタフェース220の一例は、ブルートゥース(登録商標)、無線互換性認証(Wi-Fi)、及びユニバーサルシリアルバス(USB、Universal Serial Bus)などを含む。
【0041】
第1提示モジュール253は、第1ユーザインタフェース230に関連付けられる1つ又は複数の第1出力装置231(例えば、ディスプレイ、スピーカなど)を介して情報の提示を可能にするために用いられる(例えば、周辺機器を動作して、内容及び情報を提示するためのユーザインタフェース)。
【0042】
第1入力処理モジュール254は、1つ又は複数の第1入力装置232のうちの1つからの1つ又は複数のユーザ入力又はインタラクションを検出し、検出された入力又はインタラクションを処理するために用いられる。
【0043】
いくつかの実施例において、本出願の実施例に係る第1データ処理装置は、ソフトウェアで実現されてもよく、
図2には第1メモリ250に格納され、プログラム及びプラグインなどの形態のソフトウェアであってよく、データ受信モジュール2551及び配信処理モジュール2552のようなソフトウェアモジュールを含む第1データ処理装置255が示されており、これらのモジュールは論理的なものであるため、実現する機能によって任意の組み合わせ又はさらなる分割を行うことができる。以下、各モジュールの機能を説明する。
【0044】
いくつかの実施例において、本出願の実施例に係る第1データ処理装置は、ハードウェアで実現されてもよく、例として、本出願の実施例に係る第1データ処理装置は、ハードウェア復号プロセッサ形態の第1プロセッサであってもよく、本出願の実施例に係る受信機器に適用されるデータ処理方法を実行するようにプログラミングされる。例えば、ハードウェア復号プロセッサ形態の第1プロセッサとしては、1つ又は複数の特定用途向け集積回路(ASIC、Application Specific Integrated Circuit)、DSP、プログラマブルロジックデバイス(PLD、Programmable Logic Device)、複雑なプログラマブルロジックデバイス(CPLD、Complex Programmable Logic Device)、フィールド・プログラマブル・ゲート・アレイ(FPGA、Field-Programmable Gate Array)、又は他の電子素子を使用してもよい。
【0045】
図3を参照すると、
図3は本出願の実施例に係る
図1のサーバの構造模式図であり、
図3に示されるサーバ300は、少なくとも1つの第2プロセッサ310、第2メモリ350及び少なくとも1つの第2ネットワークインタフェース320を備える。サーバ300の各構成要素は、第2バスシステム340によって互いに結合される。なお、第2バスシステム340は、これらの構成要素間の接続通信を実現するために用いられる。第2バスシステム340は、データバスに加えて、電源バス、制御バス及び状態信号バスを含む。しかしながら、説明の便宜上、
図3において各バスを第2バスシステム340と総称する。
【0046】
第2プロセッサ310は、汎用プロセッサ、デジタル信号プロセッサ、又は他のプログラマブルロジックデバイス、ディスクリートゲート又はトランジスタロジックデバイス、ディスクリートハードウェアコンポーネントなどの信号の処理機能を有する集積回路チップであってもよい。ここで、汎用プロセッサは、マイクロプロセッサ又は任意の従来のプロセッサなどであってもよい。
【0047】
第2メモリ350は、取り外し可能なもの、取り外し不可能なもの、又はそれらの組み合わせであってもよい。ハードウェアデバイスの例は、ソリッドステートメモリ、ハードディスクドライブ、光ディスクドライブなどを含む。第2メモリ350は、選択可能に、物理的位置上に第2プロセッサ310から離れる1つ又は複数のメモリデバイスを含む。
【0048】
第2メモリ350は、揮発性メモリ又は不揮発性メモリを含み、揮発性及び不揮発性メモリの両方を含んでもよい。不揮発性メモリは、読み取り専用メモリであってもよく、揮発性メモリは、ランダムアクセスメモリであってもよい。本出願の実施例で説明される第2メモリ350は、任意の適切なタイプのメモリを含むことを意図している。
【0049】
いくつかの実施例において、第2メモリ350は、様々な動作をサポートするためにデータを記憶することができ、それらのデータの例は、プログラム、モジュール、及びデータ構造又はそれらのサブセット又はスーパーセットを含み、以下、例示的に説明する。
【0050】
第2オペレーティングシステム351は、様々な基本的なシステムサービスを処理し、様々な基本的なサービスを実現し、ハードウェアベースのタスクを処理するためのフレームワーク層、コアライブラリ層、ドライバ層などのハードウェア関連タスクを実行するためのシステムプログラムを含む。
【0051】
第2ネットワーク通信モジュール352は、1つ又は複数の(有線又は無線)第2ネットワークインタフェース320を介して他の電子機器に到達するために用いられ、第2ネットワークインタフェース320の一例は、ブルートゥース(登録商標)、無線互換性認証(Wi-Fi)、及びユニバーサルシリアルバスなどを含む。
【0052】
いくつかの実施例において、本出願の実施例に係る第2データ処理装置は、ソフトウェアで実現されてもよく、
図3には第2メモリ350に記憶され、プログラム及びプラグインなどの形態のソフトウェアであってよく、データ送信モジュール3551、チャネル切換モジュール3552及び切換処理モジュール3553のようなソフトウェアモジュールを含む第2データ処理装置355が示されており、これらのモジュールは論理的なものであるため、実現する機能によって任意の組み合わせ又はさらなる分割を行うことができる。以下、各モジュールの機能を説明する。
【0053】
いくつかの実施例において、本出願の実施例に係る第2データ処理装置は、ハードウェアで実現されてもよく、例として、本出願の実施例に係る第2データ処理装置は、ハードウェア復号プロセッサ形態の第2プロセッサであってもよく、本出願の実施例に係る送信機器に適用されるデータ処理方法を実行するようにプログラミングされる。例えば、ハードウェア復号プロセッサ形態の第2プロセッサとしては、1つ又は複数の特定用途向け集積回路、DSP、プログラマブルロジックデバイス、複雑なプログラマブルロジックデバイス、フィールド・プログラマブル・ゲート・アレイ、又は他の電子素子を使用してもよい。
【0054】
いくつかの実施例において、端末又はサーバは、コンピュータプログラムを実行することにより、本出願の実施例に係るデータ処理方法を実現することができる。例えば、コンピュータプログラムは、オペレーティングシステム中のネイティブプログラム又はソフトウェアモジュールであってもよい。ローカル(Native)アプリケーションプログラム(APP、APPlication)、即ちゲームAPP、メールボックスAPP、ファイル管理APP又はインスタントメッセージAPPなどの実行するためにオペレーティングシステムにインストールする必要があるプログラムであってもよい。又は、ブラウザ環境にダウンロードするだけで実行できるプログラムのアプレットであってもよい。又は、任意のアプリに組み込むことが可能なアプレットであってもよい。要約すると、上記のコンピュータプログラムは、任意の形態のアプリケーションプログラム、モジュール又はプラグインであってもよい。
【0055】
以下、本出願の実施例に係る送信機器及び受信機器のアプリケーションの一例及び実装を参照して、本出願の実施例に係るデータ処理方法を説明する。
【0056】
図4を参照すると、
図4は本出願の実施例に係るデータ処理方法の第1フローチャートであり、
図4に示されるステップを参照して説明する。
【0057】
S401、送信機器は、データ要素を少なくとも2つのチャネルを介して受信機器に送信する。
【0058】
本出願の実施例において、送信機器と受信機器とがマルチチャネルを介してデータの伝送を実現するとともに、伝送する単位データがデータ要素(例えば、1フレームのオーディオ、1フレームのビデオなど)であり、マルチチャネルは少なくとも2つのチャネルである。ここで、送信機器が少なくとも2つのチャネルを介して受信機器にデータ要素を送信する場合に、したがって、受信機器は、送信機器から送信されるデータ要素を少なくとも2つのチャネルを介して受信する。
【0059】
なお、送信機器は、受信機器でデータ処理を行うことによりアプリケーション機能を実現するように、データを受信機器に伝送し、例えば、サーバ(送信機器)は、端末でオーディオビデオを再生するように、クラウドゲーミングに対応するオーディオビデオデータ、又はライブ放送に対応するオーディオビデオデータを端末(受信機器)に送信する。ここで、送信機器は、伝送するデータをデータ要素に分割することにより、少なくとも2つのチャネルで伝送し、データ要素は、受信機器が該データ要素を配信する順序である配信順序を含み、アプリケーション機能を実現するためにデータを完成するための後処理を配信し、例えば、オーディオビデオの再生を実現するために、復号を完成するように配信し、後処理は、例えば、復号、レンダリングなどの配信後の処理であり、つまり、少なくとも2つのチャネルを介して伝送するデータは、連続性を有するデータ要素シーケンスである。ここで、配信順序は、送信機器によってデータ要素に運ばれるデータであってもよい。
【0060】
なお、送信機器はリアルタイムで受信機器にデータ要素を送信してもよいし、 非リアルタイムで受信機器にデータ要素を送信してもよく、本出願の実施例はこれに限定されるものではない。本出願の実施例において、データ要素の伝送効率を向上させるために、マルチチャネルを使用する場合に、マルチチャネルを介してリアルタイムでデータ要素を送信する。
【0061】
S402、送信機器はデータ要素の送信の際に、切換指令に応答して、n番目のデータ要素の配信タイプを取得する。
【0062】
本出願の実施例において、送信機器は、マルチチャネルを介して受信機器にデータ要素を送信する際に、送信するためのネットワークが不確実であるため、ネットワークなどの理由によりチャネル切り換えイベントをトリガすると、送信機器は切換指令を取得し、このときに、送信機器は、この切換指令に応答してチャネルを切り換えるとともに、切換指令が指示するチャネルを切り換えるデータ要素を取得し、n番目のデータ要素を取得する。
【0063】
なお、チャネル切り換えイベントとは、チャネルを切り換えるイベントであり、トリガ条件と切り換えポリシーとを含み、トリガ条件は、チャネルの接続状態、伝送速度、適用シーンなどの少なくとも1つであり、切り換えポリシーとは、チャネルを切り換えるルールであり、データ要素を伝送する新たなチャネル、例えば、優先度を決定するために用いられる。ここで、切り換えられたチャネルとは、切換指令が指示するデータ要素を伝送るための新たなチャネルであり、n番目のデータ要素は、切換指令を受信したときに被切り換えチャネルにおいて伝送しているデータ要素であり、切換指令は、n番目のデータ要素を伝送するチャネルを切り換えるためのものであり、nは正の整数、例えば、1、9、22などであり、配信タイプは、後処理の際に他のデータ要素によって依存される度合と、後処理の結果に影響を与える度合とに基づいて決定され、n番目のデータ要素の処理モードは、確認して再伝送するか、それとも破棄して後続のデータ要素を直接伝送するかを決定するためのものである。
【0064】
例えば、
図5を参照すると、
図5は本出願の実施例に係るマルチチャネル切り換えの一例の模式図である。
図5に示すように、送信機器5-1がマルチチャネル5-2を介してデータを受信機器5-3に送信し、送信したデータは、データ要素5-41~データ要素5-48を含むデータ要素シーケンスであり、マルチチャネル5-2はチャネル5-21~チャネル5-24を含む。ここで、データ要素5-45~データ要素5-48は未送信のデータ要素であり、データ要素5-41及びデータ要素5-42が共にチャネル5-22を介して伝送し、データ要素5-43及びデータ要素5-44が共にチャネル5-21を介して伝送し、所定時間伝送した後に、受信機器5-3はチャネル5-22を介して伝送したデータ要素5-41及びデータ要素5-42を受信したが、送信機器5-1はこのときにチャネルの理由のためチャネルを切り換える必要があり、伝送中のデータ要素5-43及びデータ要素5-44の伝送をチャネル5-21からチャネル5-22に切り換え、このときに、送信機器はデータ要素5-43及びデータ要素5-44のそれぞれに対応する配信タイプを取得し、取得した配信タイプに基づいてチャネルが切り換えられた後の処理モードを決定する。
【0065】
S403、n番目のデータ要素の配信タイプが破棄可能タイプであり、後続データ要素が対象データ要素を含む場合に、送信機器は、n番目のデータ要素を受信機器に送信することを取り消す。
【0066】
本出願の実施例において、配信タイプは、破棄可能タイプ及び破棄不可タイプを含み、破棄可能タイプとは、後処理の際に他のデータ要素によって依存される度合と、後処理の結果に影響を与える度合との両方が小さいこと(例えば、他のデータ要素によって依存される度合は、第1度合閾値よりも小さく、後処理の結果に影響を与える度合は、第2度合閾値よりも小さい)を意味し、破棄不可タイプとは、後処理の際に他のデータ要素によって依存される度合と、後処理の結果に影響を与える度合のうちの少なくとも1つが大きい(例えば、他のデータ要素によって依存される度合は、第1度合閾値よりも大きく、及び/又は、後処理の結果に影響を与える度合は、第2度合閾値よりも大きい)ことを意味する。
【0067】
まず、送信機器は、n番目のデータ要素の配信タイプが破棄可能タイプであると決定する場合に、受信機器が該データ要素のデータを完全に受信しておらず、該データ要素を破棄しても、他のデータ要素の後処理に影響を与えないことを示す。
【0068】
次に、送信機器は、送信した配信順序がn番目のデータ要素の後にある後続データ要素には対象データ要素が含まれているか否かを判定し、対象データ要素の状態が完全状態であり、対象データ要素とn番目のデータ要素とが同じデータタイプであり、対象データ要素が独立データ要素であり、含まれている場合に、チャネル切り換えによって送信機器がn番目のデータ要素のすべてのデータの送信を完了しておらず、再び確認して再伝送しない場合でも、受信機器はn番目のデータ要素を破棄することによって、引き続き後続データ要素によって配信して後処理を完了することができ、そのため、送信機器はn番目のデータ要素の配信タイプが破棄可能タイプであり、後続データ要素が対象データ要素を含むと決定する場合に、受信機器に未送信のデータ要素を送信し、受信機器にn番目の後続データ要素を送信することを取り消し、つまり、送信機器はn番目のデータ要素のすべてのデータが受信機器によって受信されたか否かの確認処理を取り消し、n番目のデータ要素を再伝送する処理を取り消す。
【0069】
なお、状態は、データ要素のすべてのデータを受信したか否かによって決定され、データ要素のすべてのデータを受信した状態である完全状態と、データ要素の一部のデータを受信した状態である不完全状態とを含む。データタイプは、データ要素の役割によって決定されるので、データ要素の役割が同じであれば、データ要素のデータタイプは同じである。独立データ要素は、後処理の際に他のデータ要素に対する依存度合が所定の度合よりも小さいデータ要素であり、即ち、独立データ要素は、オーディオフレームデータ、キーフレーム(イントラ予測(Intra-Prediction、I)フレーム)データなどの、自データによって後処理するデータ要素である。後続データ要素は、配信順序がn番目のデータ要素の後にある少なくとも1つのデータ要素、例えばn+1番目のデータ要素、n+2番目のデータ要素、……、n+i番目(iは0以上の正の整数である)のデータ要素である。
【0070】
S404、受信機器によって受信したn番目のデータ要素が被判定データ要素である場合に、配信順序に基づき、受信したn番目のデータ要素の後続データ要素を取得する。
【0071】
本出願の実施例において、受信機器は、送信機器から送信されるデータ要素を少なくとも2つのチャネルを介して受信するとともに、受信したデータ要素を配信順序によって配信することにより、データ要素に対して後処理を実行する。
【0072】
ここで、受信機器は、受信した各データ要素の状態を判定して、データ要素のすべてのデータを受信したか否かを決定し、現在受信したデータ要素がデータ要素の一部のデータのみを受信したと決定する場合には、現在受信したデータ要素の状態が不完全状態であり、現在受信したデータ要素が受信したn番目のデータ要素であると決定する。n番目のデータ要素の状態が不完全状態であると決定する場合に、受信機器はn番目のデータ要素の配信タイプを決定し、n番目のデータ要素の配信タイプが破棄可能タイプであると決定する場合に、不完全状態のn番目のデータ要素が後処理の際に他のデータ要素によって依存される度合が第1度合閾値より小さく、後処理の結果に影響を与える度合が第2度合閾値より小さいことを示し、破棄可能であり、この時に、受信したn番目のデータ要素は被判定データ要素であり、被判定データ要素の状態が不完全状態であり、被判定データ要素の配信タイプが破棄可能タイプである。不完全状態のn番目のデータ要素の配信タイプが破棄可能タイプであると決定する場合に、受信機器は、n番目のデータ要素を破棄するか否かを決定するために、受信した後続データ要素を判定する。
【0073】
なお、送信機器は、データ要素を送信する際に、データ要素の配信タイプをデータ要素のデータに運んで送信してもよく、これにより、受信機器は、データ要素のデータを読み取ることにより、データ要素の配信タイプを決定することができ、送信機器は、データ要素の配信タイプを決定するように、データ要素のデータの読み取り結果に基づいて判定することができる。本出願の実施例はこれに限定されるものではない。
【0074】
ここで、受信機器は、n番目のデータ要素がデータ要素のすべてのデータを受信したと決定する場合には、n番目のデータ要素の状態が完全状態であると決定することができ、このときに、後処理を行うように、n番目のデータ要素を配信し、つまり、受信機器により受信したn番目のデータ要素が完全状態である場合には、n番目のデータ要素の配信結果が配信処理を含むと決定する。
【0075】
S405、後続データ要素が対象データ要素を含む場合に、受信機器はn番目のデータ要素の配信結果が破棄であると決定する。
【0076】
本出願の実施例において、受信機器は、受信した配信順序がn番目のデータ要素の後にあるデータ要素を取得するとともに、取得した後続データ要素には対象データ要素が含まれているか否かを決定し、対象データ要素の状態は完全状態であり、対象データ要素とn番目のデータ要素とが同じデータタイプであり、対象データ要素は独立データ要素である。つまり、受信機器は、後続データ要素には、n番目のデータ要素をスキップ可能にして引き続き同じ役割の後処理を行うデータ要素が含まれているか否かを決定する。含まれていると決定する場合に、受信機器は、n番目のデータ要素の処理モードが破棄であると決定し、即ち配信結果が破棄であり、配信せず、つまり、n番目のデータ要素が受信していないデータについて、受信機器はデータを受信するまで待たなくなる。
【0077】
なお、後続データ要素は、n番目のデータ要素と配信順序で隣接するデータ要素シーケンスであってもよいし、n番目のデータ要素と配信順序で隣接しないデータ要素シーケンスであってもよいし、データ要素シーケンスにおける各データ要素間の配信順序が隣接していてもよいし、隣接していなくてもよい。本出願の実施例はこれに限定されるものではない。
【0078】
例えば、
図6aを参照すると、
図6aは本出願の実施例に係るデータ処理方法の一例のインタラクション図である。
図6aに示すように、該データ処理方法の一例で説明されるクラウドゲームシーンにおいて、クラウドゲームサーバ(送信機器という)からクラウドゲーミングオーディオビデオで分割されるデータ要素をゲームクライアント(受信機器という)に送信するデータ処理プロセスは、ステップS601~S606を含み、以下、各ステップについてそれぞれ説明する。
【0079】
S601、クラウドゲームサーバは少なくとも2つのチャネルを介してクラウドゲーミングオーディオビデオで分割されるデータ要素をゲームクライアントに送信する。
【0080】
なお、クラウドゲームサーバは、マルチチャネル伝送方式を用いて、クラウドゲーミングオーディオビデオで分割されるデータ要素をゲームクライアントに送信する。
【0081】
S602、クラウドゲームサーバはデータ要素の送信の際に、切換指令に応答して、被切り換えのチャネルで伝送するデータ要素(n番目のデータ要素という)の配信タイプを取得する。
【0082】
なお、クラウドゲームサーバは、予め設定されたチャネル切り換えポリシーに基づいて、チャネル切り換えを行うと決定する場合に、チャネルを切り換えるための切換指令を生成する。
【0083】
S603、被切り換えのチャネルで伝送するデータ要素の配信タイプが破棄可能タイプであり、後続データ要素は、状態が完全状態であり、被切り換えのチャネルで伝送するデータ要素と同じデータタイプである独立データ要素を含む場合に、クラウドゲームサーバは、被切り換えのチャネルで伝送するデータ要素をゲームクライアントに送信することを取り消す。
【0084】
なお、クラウドゲームサーバ側において、チャネルを切り換えると、被切り換えのチャネルで伝送しているデータ要素の後に、同じタイプの後処理を独立して完了できるデータ要素(例えば、ゲーム画面を独立してレンダリングできるキーフレーム)が含まれているか否かを判定し、含まれている場合に、被切り換えのチャネルで伝送するデータ要素をゲームクライアントに送信することを取り消すとともに、切り換えられたチャネルに基づいて未送信のデータ要素を直接送信し、確認して再伝送するリソース消費を低減する。
【0085】
S604、ゲームクライアントが現在受信したデータ要素の状態が不完全状態であり、配信タイプが破棄可能タイプである場合に、受信した後続データ要素を取得する。
【0086】
ここで、現在受信したデータ要素は、被切り換えのチャネルで伝送するデータ要素である。
【0087】
S605、後続データ要素は、状態が完全状態であり、被切り換えのチャネルで伝送するデータ要素と同じデータタイプである独立データ要素を含む場合に、ゲームクライアントは、現在受信したデータ要素の配信結果が破棄であると決定する。
【0088】
なお、ゲームクライアント側において、クラウドゲームサーバ側がチャネルを分割することにより、受信した被切り換えのチャネルで伝送するデータ要素が不完全になると確認するとともに、n番目のデータ要素が破棄可能タイプであり、後続データ要素には同じタイプの後処理を独立して完成できるデータ要素が含まれると確認すると、現在受信したデータ要素を破棄し、引き続き後続の同じタイプのデータ要素の後処理を行う。これにより、不完全状態のデータ要素を受信するまでの待ち時間を低減し、クラウドゲーミングのレンダリング効果を向上させる。
【0089】
なお、
図6aはクラウドゲームシーンのシステム構成に基づいて実現されるものである。以下、クラウドゲーミングアプリシーンのシステム構成を説明する。
図6bを参照すると、
図6bは本出願の実施例に係るクラウドゲーミングアプリの一例のシステム構成図である。
図6bに示すように、該クラウドゲーミングアプリの一例のシステム構成は、ゲームユーザの仮想シーンインタフェースに対して実行する動作に応答するためのゲームクライアント6-1と、ゲーム命令6-3を送信するクラウドゲームサーバ6-2とを含む。このときに、クラウドゲームサーバ6-2は、ゲーム命令6-3に基づいてレンダリングして、クラウドゲーミングオーディオビデオ6-4を得るとともに、ゲームオーディオビデオ6-4をデータ要素(データ要素6-41~データ要素6-48が例示的に示される)に分割してマルチチャネル6-5(チャネル6-51及びチャネル6-52が例示的に示される)を介して伝送する(データ要素6-41~データ要素6-43はチャネル6-51を介して伝送し、データ要素6-44~データ要素6-48はチャネル6-52を介して伝送する)。
【0090】
ここで、現在のデータ要素の伝送場合は、クラウドゲームサーバ6-2がチャネル6-52でデータ要素6-44~データ要素6-48を伝送している。ゲームクライアント6-1がデータ要素6-41を受信したが、チャネル6-51を介して伝送するデータ要素6-42を受信しており、クラウドゲームサーバ6-2側が被伝送データ要素6-43をさらに含む。このときに、クラウドゲームサーバ6-2は、チャネル切り換えイベントをトリガし、チャネル6-51で伝送するデータ要素をチャネル6-52に切り換えて伝送することを決定すると、伝送中のデータ要素6-42(n番目のデータ要素という)を、
図6aに示されるデータ処理方法により処理するとともに、データ要素6-43をチャネル6-52を介して伝送する。
【0091】
図6a及び
図6bは、クラウドゲームサーバからゲームクライアントにデータを伝送する際に、
図6cに示される通信モデルの構成図に基づいて実現されるものである。
図6cに示すように、通信モデル6-6の一例は、セッション層6-61、トランスポート層6-62、ネットワーク層6-63、データリンク層6-64及び物理層6-65を含む。トランスポート層6-62は、マルチチャネル(TCPプロトコルに対応するチャネル6-51及びUDPプロトコルに対応するチャネル6-52が例示的に示される)を含むことで、本出願の実施例がマルチチャネル伝送を実現可能にする。ここで、クラウドゲームサーバから、クラウドゲーミングオーディオビデオによって分割されるデータ要素をゲームクライアントに伝送する場合に、第1層の物理層6-65は、機械的、電子的、及びタイミングインターフェース通信チャネルで元のビットストリームの伝送を実現するために用いられ、第2層のデータリンク層6-64は、元のビットストリームを論理伝送線路に変換しながら物理アドレス指定を行うために用いられる。第1層及び第2層は、通常ネットワークカード及びネットワークケーブルに属し、第3層のネットワーク層6-63は、論理アドレス指定、パケット伝送及びルーティング選択などのサブネットの動作を制御するために用いられる。第4層のトランスポート層6-62は、ゲームクライアントにデータ要素を伝送し、ゲームクライアントからの応答を受信するために用いられる。第5層のセッション層6-61は、ゲームクライアントとのセッションを確立して管理し、トランスポート層6-62のマルチチャネルにデータ要素を配信するために用いられる。
【0092】
マルチチャネルの伝送の際に、チャネル切り換えによって、受信側は現在受信したデータ要素がデータ要素の一部のデータを受信した場合に、現在受信したデータ要素が破棄可能タイプである場合に、現在受信したデータ要素が後処理の際に他のデータ要素によって依存される度合及び後処理の結果に影響を与える度合が所定値より低いことを示す。次に、配信順序が現在受信したデータ要素の配信順序の後にある後続データ要素には、対象データ要素が含まれると決定する場合に、送信機器は後続の未送信データ要素を直接送信し、受信機器は現在受信したデータ要素を破棄処理することにより、送信機器による確認再伝送時間及び受信機器によるデータ待ち時間を低減する。したがって、チャネル切り換え時のデータ要素の伝送時間コストを低減し、マルチチャネルの伝送の際のデータ処理効率を向上させることができることを理解されたい。
【0093】
図6dを参照すると、
図6dは本出願の実施例に係るデータ処理方法の第2フローチャートである。
図6dに示すように、本出願の実施例において、S404の後にS406及びS407をさらに含む。つまり、受信機器が配信順序に基づいて、受信したn番目のデータ要素の後続データ要素を取得した後、該データ処理方法は、S406及びS407をさらに含み、以下、各ステップについてそれぞれ説明する。
【0094】
S406、後続データ要素のうちn+1番目のデータ要素のすべてのデータが受信された場合に、受信機器は、n+1番目のデータ要素の状態が完全状態であると決定する。
【0095】
S407、完全状態にあるn+1番目のデータ要素が第1条件を満たす場合に、後続データ要素が対象データ要素を含むと決定する。
【0096】
本出願の実施例において、受信機器は、n番目のデータ要素が被判定データ要素であると決定する場合に、受信したn+1番目のデータ要素を取得して、n+1番目のデータ要素の状態、データタイプ及び独立データ要素であるか否かについてそれぞれ判定し、n+1番目のデータ要素の状態が完全状態であり、データタイプがn番目のデータ要素のデータタイプと同じであり、及び独立データ要素であると決定する場合に、完全状態にあるn+1番目のデータ要素が第1条件を満たすと決定し、このときに後続データ要素が対象データ要素を含むと決定する。容易に分かるように、後続データ要素がn+1番目のデータ要素を含み、第1条件を満たすことは、n番目のデータ要素のデータタイプと同じであり、独立データ要素に属することを含む。
【0097】
なお、送信機器は、伝送中のn番目のデータ要素があるチャネルを切り換えることを決定し、n番目のデータ要素が破棄可能タイプであることを決定した後に、S406及びS407で説明されるプロセスを使用して、後続データ要素には対象データ要素が含まれるか否かを決定してもよい。
【0098】
引き続き
図6dを参照すると、S406の後にS408及びS409をさらに含む。つまり、受信機器はn+1番目のデータ要素の状態が完全状態であると決定した後に、該データ処理方法は、S408及びS409をさらに含み、以下、各ステップについてそれぞれ説明する。
【0099】
S408、完全状態にあるn+1番目のデータ要素が第2条件を満たす場合に、又は、完全状態にあるn+1番目のデータ要素が第3条件を満たす場合に、後続データ要素のうちn+2番目のデータ要素の状態を取得する。
【0100】
S409、n+2番目のデータ要素の状態が完全状態であり、n+2番目のデータ要素が第1条件を満たす場合に、受信機器は後続データ要素が対象データ要素を含むと決定する。
【0101】
本出願の実施例において、受信機器はn+1番目のデータ要素の状態が完全状態であると決定するときに、受信機器は、n+1番目のデータ要素とn番目のデータ要素とが異なるデータタイプである独立データ要素(完全状態にあるn+1番目のデータ要素が第2条件を満たすことが示される)であると決定するか、又はn+1番目のデータ要素とn番目のデータ要素とが同じデータタイプである関連データ要素(完全状態にあるn+1番目のデータ要素が第3条件を満たすことが示される)であると決定する場合に、後続データ要素のうちn+2番目のデータ要素を取得して、n+2番目のデータ要素の状態、データタイプ及び独立データ要素であるか否かについてそれぞれ判定し、n+2番目のデータ要素の状態が完全状態であり、データタイプがn番目のデータ要素のデータタイプと同じであり、及び独立データ要素であるであると決定する場合に、完全状態にあるn+2番目のデータ要素が第1条件を満たすと決定し、このときに後続データ要素に対象データ要素が含まれると決定する。容易に分かるように、後続データ要素がn+2番目のデータ要素を含む。第2条件を満たすことは、n番目のデータ要素のデータタイプと異なり、独立データ要素に属することを含む。第3条件を満たすことは、n番目のデータ要素のデータタイプと同じであり、関連データ要素に属することを含む。
【0102】
ここで、関連データ要素は、後処理の際に他のデータ要素に対する依存度合が所定の度合以上であり、即ち、関連データ要素は、他のデータ要素と結合して後処理を行うデータ要素であり、独立データ要素と相対的である。
【0103】
なお、送信機器は、伝送中のn番目のデータ要素があるチャネルを切り換えることを決定し、n番目のデータ要素が破棄可能タイプであることを決定した後、S406、S408及びS409で説明されるプロセスを使用して、後続データ要素には対象データ要素が含まれると決定してもよい。
【0104】
図6eを参照すると、
図6eは本出願の実施例に係るデータ処理方法の第3フローチャートである。
図6eに示すように、本出願の実施例において、S404では、受信機器が配信順序に基づいて、受信したn番目のデータ要素の後続データ要素を取得した後に、該データ処理方法は、S410をさらに含み、以下、各ステップについてそれぞれ説明する。
【0105】
S410、後続データ要素のうちn+1番目のデータ要素が被判定データ要素である場合に、受信機器は配信順序がn+1番目のデータ要素の後にあるデータ要素を取得するとともに、取得したデータ要素に基づき、n番目のデータ要素及びn+1番目のデータ要素の配信結果を決定する。
【0106】
本出願の実施例において、受信機器は、後続データ要素のうちn+1番目のデータ要素の状態が不完全状態であり、配信タイプが破棄可能タイプであると決定する場合には、n+1番目のデータ要素を被判定データ要素として決定し、このときに、受信機器は、S404及びS405と同様の説明を用いてn+1番目のデータ要素を配信する。
【0107】
なお、送信機器は、後続データ要素のうちn+1番目のデータ要素の状態が不完全状態であり、配信タイプが破棄可能タイプであると決定する場合に、配信順序がn+1番目のデータ要素の配信順序の後にあるデータ要素を取得し、取得したデータ要素に基づいて、n番目のデータ要素及びn+1番目のデータ要素にそれぞれ対応する残りの未送信データを送信しないか否かを決定してもよい。
【0108】
本出願の実施例において、受信機器は、n番目のデータ要素の前にすべて破棄可能タイプの不完全状態のデータ要素であると決定する場合に、対象データ要素が後続データ要素に含まれていると決定する場合に、n番目のデータ要素の前の破棄可能タイプの不完全な状態のデータ要素を破棄してもよい。
【0109】
引き続き
図6eを参照すると、
図6eに示すように、本出願の実施例において、S404では、受信機器が配信順序に基づいて、受信したn番目のデータ要素の後続データ要素を取得した後に、該データ処理方法は、S411をさらに含み、以下、各ステップについてそれぞれ説明する。
【0110】
S411、後続データ要素が対象データ要素を含まない場合に、受信機器はn番目のデータ要素の配信結果が受信待ちデータであると決定する。
【0111】
本出願の実施例において、後続データ要素は状態が完全状態であるデータ要素を含み、後続データ要素がn番目のデータ要素と同じデータタイプの独立データ要素を含まない場合には、後続データ要素が対象データ要素を含まないことを示す。したがって、受信機器は、n番目のデータ要素をスキップしてn番目のデータ要素と同じ後処理の結果を実現可能にするデータ要素を後続データ要素に含まないと決定し、このときに、受信機器は、n番目のデータ要素の配信結果が残りの未受信データの受信待ちであると決定する。
【0112】
なお、送信機器は、後続データ要素が対象データ要素を含まないと決定する場合には、n番目のデータ要素の残りの未送信データについて確認して送信する。
【0113】
引き続き
図6eを参照すると、
図6eに示すように、本出願の実施例において、受信機器が少なくとも2つのチャネルを介して送信機器から送信されるデータ要素を受信した後に、該データ処理方法は、S412をさらに含み、以下、このステップについて説明する。
【0114】
S412、受信機器は、受信したn番目のデータ要素が待ちデータ要素である場合に、n番目のデータ要素の配信結果が受信待ちデータであると決定する。
【0115】
本出願の実施例において、受信機器によって受信したn番目のデータ要素の状態が不完全状態であり、n番目のデータ要素の配信タイプが破棄不可タイプである場合に、n番目のデータ要素が待ちデータ要素であることを示す。n番目のデータ要素が破棄不可タイプであるため、n番目のデータ要素を破棄すると、後処理の際に他のデータ要素によって依存されることができず、及び/又は後処理の結果に影響を与える度合が第2度合閾値よりも大きいので、受信機器は、n番目のデータ要素の残りの未受信データを受信するまで待つ。
【0116】
なお、受信機器は、各不完全状態の破棄不可タイプのデータ要素について、対応する配信結果が受信待ちデータであると決定する。したがって、後続データ要素を取得する際に不完全状態であり、n番目のデータ要素の配信タイプが破棄不可タイプのデータ要素である場合には、当該データ要素の配信結果が受信待ちデータであると決定する。
【0117】
引き続き
図6eを参照すると、
図6eに示すように、S402の後にS413及びS414をさらに含む。つまり、送信機器はn番目のデータ要素の配信タイプを取得した後に、該データ処理方法は、S413及びS414をさらに含み、以下、各ステップについてそれぞれ説明する。
【0118】
S413、n番目のデータ要素の配信タイプが破棄不可タイプである場合に、送信機器は、n番目のデータ要素の状態を取得する。
【0119】
本出願の実施例において、送信機器は、n番目のデータ要素を伝送するチャネルを切り換える際に、まずn番目のデータ要素の配信タイプを判定し、n番目のデータ要素の配信タイプが破棄不可タイプであると決定する場合には、確認仕組みにより受信機器がn番目のデータ要素のすべてのデータを受信したか否かを決定し、即ちn番目のデータ要素の状態を判定する必要がある。
【0120】
なお、破棄不可タイプとは、後処理の際に他のデータ要素によって依存される度合、及び後処理の結果に影響を与える度合のうちの少なくとも1つが閾値を超えるタイプを意味する。
【0121】
S414、n番目のデータ要素の状態が不完全状態である場合に、送信機器は、切り換えられたチャネルを介してn番目のデータ要素に対応する未伝送データを受信機器に送信する。
【0122】
なお、送信機器は、確認仕組みにより受信機器がn番目のデータ要素の一部のデータを受信したと決定する場合には、n番目のデータ要素の状態が不完全状態であると決定し、また、送信機器は、確認仕組みによりn番目のデータ要素の状態を決定する場合には、n番目のデータ要素の残りの未送信データ(ここでは未伝送データという)をさらに決定することにより、このとき、送信機器は、n番目のデータ要素に対応する未伝送データを、切り換えられたチャネルを介して受信機器に送信する。
【0123】
引き続き
図6eを参照すると、
図6eに示すように、本出願の実施例において、S402の後にS415をさらに含む。つまり、送信機器はn番目のデータ要素の配信タイプを取得する前後、該データ処理方法は、S415をさらに含み、以下、このステップについて説明する。
【0124】
S415、n番目のデータ要素の配信タイプが破棄可能タイプである場合に、配信順序がn番目のデータ要素の後にある未伝送データから、被処理データ要素を選択し、このときに、被処理データ要素がn番目のデータ要素のデータタイプと同じであり、被処理データ要素がn番目のデータ要素の配信順序に最も近く、独立データ要素に基づいて被処理データ要素を処理して、被送信データ要素を得、被送信データ要素を受信機器に送信する。
【0125】
なお、送信機器がチャネル切り換えを行った後に、n番目のデータ要素の配信タイプが破棄可能タイプであると決定する場合には、配信タイプがn番目のデータ要素の後にある未送信データ要素のうち、n番目のデータ要素のデータタイプと同じであり、配信順序が最も近いデータ要素を独立データ要素として処理して、受信機器が受信した後続データ要素には対象データ要素が含まれることにより、n番目のデータ要素を破棄する。
【0126】
したがって、本出願の実施例において、受信機器が取得した後続データ要素のうちの対象データ要素は、送信機器から直接送信するものであってもよいし、送信機器によってターゲット処理を実行した後に送信するものであってもよく、本出願の実施例はこれに限定されるものではない。ターゲット処理は、n番目のデータ要素のデータタイプと同じであり、配信順序が最も近いデータ要素を独立データ要素として処理するために用いられる。
【0127】
マルチチャネルの伝送の際に、送信機器がチャネル切り換えを実行したときに、n番目のデータ要素と同じデータタイプである独立データ要素をアクティブに生成することができ、受信機器がn番目のデータ要素を破棄する破棄信号として、受信機器にn番目のデータ要素を破棄させて後続データ要素を配信し続けさせ、データ処理の再伝送確認時間を低減し、マルチチャネルの伝送の際のデータ処理効率を向上させることを理解されたい。
【0128】
本出願の実施例において、データ要素は、イントラ予測フレームデータ及びインター予測フレームデータを含むビデオフレームデータを含み、イントラ予測フレームデータが独立データ要素であり、イントラ予測フレームデータの配信タイプが破棄不可タイプであり、イントラ予測フレームデータが後処理の際に自データに基づいてフレーム画像をレンダリングし、インター予測フレームデータが関連データ要素であり、インター予測フレームデータの配信タイプが破棄可能タイプであり、インター予測フレームデータが後処理の際に自データ及びイントラ予測フレームデータに基づいてフレーム画像をレンダリングし、イントラ予測フレームデータとインター予測フレームデータとが同じデータタイプである。
【0129】
なお、マルチチャネルを介して伝送するデータがビデオデータである場合に、データ要素はビデオフレームデータを含み、したがって、n番目のデータ要素が破棄可能タイプである場合に、n番目のデータ要素がインター予測フレームデータ、例えば、片方向予測(Prediction、P)フレームデータ、双方向予測(Bi-prediction、B)フレームデータであることを示す。したがって、後続データ要素に含まれる完全状態であり、n番目のデータ要素と同じデータタイプである独立データ要素は、Iフレームデータなどのイントラ予測フレームデータである。
【0130】
本出願の実施例において、データ要素は、オーディオフレームデータをさらに含み、この場合に、マルチチャネルを介して伝送するデータは、オーディオビデオデータである。ここで、オーディオフレームデータが独立データ要素であり、オーディオフレームデータの配信タイプが破棄不可タイプであり、オーディオフレームデータとビデオフレームデータとが異なるデータタイプである。即ち、後続データ要素に含まれる完全状態であり、n番目のデータ要素のデータタイプと異なる独立データ要素は、オーディオフレームデータである。
【0131】
引き続き
図6fを参照すると、
図6fは本出願の実施例に係るデータ処理方法の第4フローチャートである。
図6fに示すように、本出願の実施例において、受信機器が少なくとも2つのチャネルを介して送信機器から送信されるデータ要素を受信した後に、該データ処理方法は、S416及びS417をさらに含み、以下、各ステップについてそれぞれ説明する。
【0132】
S416、受信機器は、受信したデータ要素が第1データ要素セットにおけるデータ要素と配信順序で隣接する場合には、受信したデータ要素を第1データ要素セットにおけるデータ要素として決定するとともに、第2データ要素セットから、受信したデータ要素と配信順序で隣接する少なくとも1つのデータ要素を取得して、隣接する少なくとも1つのデータ要素を第1データ要素セットにおけるデータ要素として決定する。
【0133】
S417、受信機器は、受信したデータ要素が第1データ要素セットにおけるデータ要素と配信順序で隣接しない場合には、受信したデータ要素を第2データ要素セットにおけるデータ要素として決定する。
【0134】
なお、受信機器は、マルチチャネルを介して受信されたデータ要素を分類して記憶し、一方は、被配信であって配信順序に隣接する(連続という)データ要素として記憶し、他方は、第1データ要素セットにおけるデータ要素と配信順序で隣接していない(不連続という)データ要素として記憶する。
【0135】
したがって、本出願の実施例において、S404では、受信機器が配信順序に基づき、受信したn番目のデータ要素が受信した後続データ要素を取得することは、受信機器が配信順序に基づき、第1データ要素セット及び第2データ要素セットから、受信したn番目のデータ要素の後続データ要素を取得することを含む。
【0136】
なお、受信機器は、配信順序によって第1データ要素セットから、最も近く配信したデータ要素と配信順序で隣接するデータ要素を取得する。配信の際にデータ要素の状態が不完全状態であると決定する場合に、第1データ要素セット及び第2データ要素セットから、受信した後続データ要素を取得して、該不完全状態のデータ要素がデータ受信を待つか又は破棄するかを決定する。
【0137】
例えば、
図7を参照すると、
図7は本出願の実施例に係る受信されたデータ要素の記憶の一例の模式図である。
図7に示すように、第1データ要素セット及び第2データ要素セットが共にキューに記憶される場合に、キュー7-1は第1データ要素セットにおけるデータ要素を記憶するために用いられ、キュー7-2は第2データ要素セットにおけるデータ要素を記憶するために用いられる。ここで、データ要素7-31~データ要素7-36に順次対応する配信順序が1~6であり、データ要素7-31~データ要素7-33がチャネルAを介して伝送し、データ要素7-34~データ要素7-36がチャネルBを介して伝送し、チャネルBの伝送速度がチャネルAの伝送速度よりも速い場合に、受信機器は先にデータ要素7-31及びデータ要素7-32、及びデータ要素7-34~データ要素7-36を受信した。このときに、受信機器は、データ要素7-31及びデータ要素7-32をキュー7-1に記憶し、データ要素7-34~データ要素7-36をキュー7-2に記憶し、その後にデータ要素7-33を受信すると、データ要素7-33をキュー7-1に記憶し、キュー7-2におけるデータ要素7-34~データ要素7-36がデータ要素7-33と配信順序で隣接していると決定することにより、キュー7-2中のデータ要素7-34~データ要素7-36をキュー7-1に移して記憶する。ヘッドノードは、キュー中の第1データ要素を指し示すために用いられる。
【0138】
本出願の実施例は、受信機器が第1データ要素セット及び第2データ要素セットによってマルチチャネルを介して伝送されたデータ要素を受信し、データ要素が配信順序を含むため、配信順序によってデータ要素を順次配信する必要がある。そのため、受信機器は受信したデータ要素を連続及び不連続に分割して記憶し、配信時に第1データ要素セットから被配信のデータ要素を迅速に取得することができ、データ処理の効率を向上させることを理解されたい。
【0139】
以下、本出願の実施例の実際の応用シーンにおけるアプリケーションの一例を説明する。このアプリケーションの一例は、クラウドゲーミングアプリシーンにおいて、クラウドゲームサーバ(例えば、
図1のサーバ300)が、マルチチャネルを介してユーザクライアント(ユーザクライアントは、
図1の端末200のような端末で動作するクライアントであってもよい)にクラウドゲーミングオーディオビデオデータを伝送するプロセスを説明する。
【0140】
なお、クラウドゲーミングは、所定のビットレートよりも大きいビットレートでオーディオビデオデータを伝送することによって、仮想シーン画面の提示を実現可能にして、ローカルゲームのような没入感を形成するため、クラウドゲーミングの効果は、オーディオビデオ伝送及び表示の滑らかさに依存する。
【0141】
図8を参照すると、
図8は本出願の実施例に係るクラウドゲーミングアプリシーンの模式図である。
図8に示すように、クラウドゲームサーバ8-1は、ユーザクライアント8-2から送信されるゲーム命令8-3を受信するとともに、ゲーム命令8-3に応答して、オーディオビデオデータ8-4(伝送するデータという)をユーザクライアント8-2に送信する。
【0142】
図9を参照すると、
図9は本出願の実施例に係るデータ処理の一例の第1フローチャートである。
図9に示すように、このデータ処理の一例のフローはS901~S912を含み、実行本体がユーザクライアントであり、以下、各ステップについてそれぞれ説明する。
【0143】
S901、被配信データ要素(n番目のデータ要素という)が完全であるか否かを判定する。はいである場合に、S902を実行し、いいえである場合に、S903を実行する。
【0144】
なお、該データ処理の一例は処理し始める場合に、S901を実行する。ここで、ユーザクライアントは、2つのキュー(例えば、
図7のキュー7-1及びキュー7-2)により、マルチチャネルを介してクラウドゲームサーバから送信されるデータ要素を受信する。これにより、ユーザクライアントは、先に、最も近く配信したデータ要素と配信順序で隣接するデータ要素を記憶したキュー(例えば、
図7のキュー7-1)から、配信順序で最も近いデータ要素を取得して、被配信データ要素を取得した。被配信データ要素が完全であるか否か(即ち、データ要素の状態を検出する)を判定し、完全性の判定結果に基づいて該被配信データ要素を配信するか否かを決定する。
【0145】
S902、被配信データ要素を配信する。その後、キューから被配信データ要素を削除し、被配信データ要素を配信するデータ処理フローを終了する。
【0146】
なお、ユーザクライアントは、配信したデータ要素を復号することにより、オーディオビデオの再生を実現する。
【0147】
S903、被配信データ要素が破棄可能タイプであるか否かを判定する。いいえである場合に、S904を実行し、はいである場合に、S905を実行する。
【0148】
なお、送信機器がマルチチャネルを介してデータ要素を伝送する際に、データ要素に対応するタイプ及び配信順序をデータ要素に運んでいる。データ要素のタイプは、破棄可能タイプと破棄不可タイプとを含み、マルチチャネルを介してデータ伝送を行うデータ要素がフレームデータである場合に、ビデオフレームにIフレームとPフレームとが含まれると、データ要素がIフレームデータ(イントラ予測フレームデータという)とオーディオフレームデータである場合に、いずれも破棄不可タイプであり、データ要素がPフレームデータ(インター予測フレームデータ)である場合に、破棄可能タイプである。これは、Iフレームデータを直接復号して完全な画面を得ることができ、Pフレームデータ及びBフレームデータは前後の参照情報を必要として完全な画面を得ることができるため、完全なIフレームデータを受信した時に、前のPフレームデータ及びBフレームデータを放棄し、Iフレームデータを復号することによりゲーム画面を得る。
【0149】
S904、被配信データ要素の未伝送データを受信するまで待つ。さらに受信したデータに基づいてS901を実行する。
【0150】
なお、不完全な被配信データ要素がIフレームデータ又はオーディオフレームデータである場合に、不完全な被配信データ要素は破棄不可タイプである。Iフレームデータを破棄すると、後続のデータ要素の復号(後処理という)に影響を与え、オーディオフレームデータを破棄すると、オーディオのレンダリングに影響を与えるので、破棄しては行けず、データを受信するまで待ち続ける。
【0151】
S905、後続のデータ要素(後続データ要素という)を順次取得する。その後、S906及びS912を実行する。
【0152】
なお、ユーザクライアントは、2つのキューにおけるデータ要素を走査することにより、配信順序が最も近いデータ要素の後続のデータ要素を取得し、後続のデータ要素を取得した。
【0153】
S906、不完全な破棄不可タイプのデータ要素を取得したか否か判定する。はいである場合に、S907を実行し、いいえである場合に、S908を実行する。
【0154】
ここで、ユーザクライアントがキューを走査して後続のデータ要素を取得する際に、不完全な破棄不可タイプのデータ要素を走査しておらず、完全なデータ要素を走査した場合に、該データ要素のタイプを判定し、不完全な破棄不可タイプのデータ要素を走査した場合に、走査を停止して、データを受信するまで待つ。
【0155】
S907、データを受信するまで待つ。受信したデータに基づいてS908を実行する。
【0156】
S908、取得した1番目の完全なデータ要素のタイプを決定する。
【0157】
S909、タイプがIフレームである場合に、後続の1番目の完全なデータ要素の前のデータ要素を破棄し、後続の1番目の完全なデータ要素を配信する。その後、キューから被配信データ要素を削除し、被配信データ要素を配信するデータ処理フローを終了する。
【0158】
なお、タイプは、データタイプが同じであるか否かの結果と、独立データ要素であるかそれとも関連データ要素であるかの結果とを含む。タイプがIフレームであることは、後続の1番目の完全なデータ要素が、被配信データ要素(Pフレームデータ)と同じデータタイプの独立データ要素であることを示し、該後続の1番目の完全なデータ要素を配信するとともに、該後続の1番目の完全なデータ要素の前のデータ要素を破棄する。
【0159】
S910、タイプがPフレーム又はオーディオフレームである場合に、さらに後続のデータ要素を引き続き取得する。
【0160】
なお、タイプがPフレームであることは、後続の1番目の完全なデータ要素が、被配信データ要素(Pフレームデータ)と同じデータタイプの関連データ要素であることを示す。タイプがオーディオフレームであることは、後続の1番目の完全なデータ要素が、被配信データ要素(Pフレームデータ)と異なるデータタイプの独立データ要素であることを示す。このときに、ユーザクライアントはさらに後続のデータ要素を判定する必要がある。
【0161】
S911、さらに後続のデータ要素は完全なタイプがIフレームであるデータ要素を含むと決定する場合に、被配信データ要素を破棄する被配信データ要素を配信するデータ処理フローを終了する。
【0162】
S912、後続のデータ要素が不完全であると決定する場合に、データを受信するまで待つ。さらに受信したデータに基づいてS908を実行する。
【0163】
したがって、本出願の実施例において、クラウドゲームサーバは、チャネルを切り換える際に、まず切り換えるチャネルで伝送するデータ要素の配信タイプが破棄可能タイプであると決定し、即ちPフレームデータであると決定し、確認して再伝送することなく、後続のデータ要素は完全なタイプがIフレームであるデータ要素を含むと決定する場合に、後続のデータ要素を直接送信する。また、クラウドゲームサーバは、切り換えるチャネルで伝送するデータ要素の配信タイプが破棄不可タイプであると決定し、即ちIフレームデータ又はオーディオフレームデータであると決定する場合には、確認再伝送処理を実行する。
【0164】
例えば、
図10を参照すると、
図10は本出願の実施例に係るデータ処理の一例の第2フローチャートである。
図10に示すように、このデータ処理の一例のフローはS1001~S1007を含み、実行本体がクラウドゲームサーバであり、以下、各ステップについてそれぞれ説明する。
【0165】
S1001、切換指令を取得する。
【0166】
なお、チャネル切り換えは、クラウドゲームサーバ側によってアクティブにトリガすることであってもよく、このときに、取得した切換指令は、クラウドゲームサーバ側自身によって生成されるものである。つまり、チャネル切り換えは、クラウドゲームサーバ自身の意思決定結果である。
【0167】
S1002、切換指令に応答して、被切り換えのチャネルで伝送しているデータ要素(n番目のデータ要素という)を決定する。
【0168】
S1003、伝送しているデータ要素が破棄可能タイプであるか否かを判定する。はいである場合に、S1004を実行し、いいえである場合に、S1005を実行する。
【0169】
S1004、後続のデータ要素が完全なIフレームデータを含むと決定する場合に、配信順序が伝送中のデータ要素の後にある被伝送のデータ要素を直接伝送する。
【0170】
なお、後続のデータ要素に含まれる完全なIフレームデータは、クラウドゲームサーバがチャネルを切り換える際に、Pフレームデータの符号化方式を使用し続けることではなく、Iフレームデータの符号化方式によってビデオフレームの符号化をリアルタイムで行うことによって取得する。したがって、Iフレームデータをアクティブに送信し、ユーザクライアント側をトリガして不完全なPフレームデータを破棄することにより、ユーザクライアントが画面フリーズをアクティブに終了させることができ、画面フリーズ時間を短縮する。
【0171】
クラウドゲームサーバは、チャネル切り換え時に確認再伝送することなく、確認して再伝送するリソース消費を削減することを理解されたい。
【0172】
S1005、伝送中のデータ要素のうち再伝送する必要があるデータを確認する。
【0173】
S1006、再伝送する必要があるデータを再伝送する。
【0174】
S1007、配信順序が伝送中のデータ要素の後にある被伝送のデータ要素を伝送する。
【0175】
ユーザクライアント及びクラウドゲームサーバは、不完全なPフレームデータを破棄することによって、クラウドゲームシーンが複雑なネットワーク環境においてマルチチャネルを使用して伝送するオーディオビデオの安定性及び流暢性を向上させることができることを理解されたい。つまり、異なるデータに対して異なる処理方針(破棄又は待機)を形成することにより、両端のチャネル切り換え時の送受信ロジックを簡素化し、チャネル切り換え時に画面を復元するのに要する時間を短縮し、データ処理効率を向上させる。
【0176】
以下、引き続き本出願の実施例に係る第1データ処理装置255のソフトウェアモジュールとして実装される構成例について説明する。いくつかの実施例において、
図2に示すように、第1メモリ250に記憶される第1データ処理装置255におけるソフトウェアモジュールは、
送信機器から送信される、配信順序を含むデータ要素を少なくとも2つのチャネルを介して受信するように配置されるデータ受信モジュール2551と、
受信したn番目(nは正の整数である)のデータ要素が被判定データ要素である場合に、配信順序に基づき、受信したn番目のデータ要素の後続データ要素を取得するように配置される配信処理モジュール2552であって、被判定データ要素の状態が不完全状態であり、被判定データ要素の配信タイプが破棄可能タイプであり、状態は、データ要素のすべてのデータを受信したか否かによって決定され、配信タイプは、後処理の際に他のデータ要素によって依存される度合と、後処理の結果に影響を与える度合との2つの情報によって決定される配信処理モジュール2552と、
後続データ要素が対象データ要素を含む場合に、n番目のデータ要素の配信結果が破棄であると決定するようにさらに配置される配信処理モジュール2552であって、対象データ要素の状態が完全状態であり、対象データ要素とn番目のデータ要素とが同じデータタイプであり、対象データ要素が独立データ要素であり、データタイプがデータ要素の役割によって決定され、独立データ要素の、後処理の際の他のデータ要素に対する依存度合が所定の度合未満である配信処理モジュール2552と、を備えてもよい。
【0177】
本出願の実施例において、配信処理モジュール2552は、後続データ要素のうちn+1番目のデータ要素のすべてのデータが受信された場合に、n+1番目のデータ要素の状態が完全状態であると決定するようにさらに配置され、完全状態にあるn+1番目のデータ要素が第1条件を満たす場合に、後続データ要素が対象データ要素を含むと決定し、第1条件を満たすことは、n番目のデータ要素のデータタイプと同じであり、独立データ要素に属することを含む。
【0178】
本出願の実施例において、配信処理モジュール2552は、完全状態にあるn+1番目のデータ要素が第2条件を満たす場合に、又は、完全状態にあるn+1番目のデータ要素が第3条件を満たす場合に、後続データ要素のうちn+2番目のデータ要素の状態を取得するようにさらに配置され、第2条件を満たすことは、n番目のデータ要素のデータタイプと異なり、独立データ要素に属することを含み、第3条件を満たすことは、n番目のデータ要素のデータタイプと同じであり、後処理の際の他のデータ要素に対する依存度合が所定の度合以上である関連データ要素に属することを含み、n+2番目のデータ要素の状態が完全状態であり、n+2番目のデータ要素が第1条件を満たす場合に、後続データ要素が対象データ要素を含むと決定する。
【0179】
本出願の実施例において、配信処理モジュール2552は、後続データ要素のうちn+1番目のデータ要素が被判定データ要素である場合に、配信順序がn+1番目のデータ要素の後にあるデータ要素を取得するとともに、取得したデータ要素に基づき、n番目のデータ要素及びn+1番目のデータ要素の配信結果を決定するようにさらに配置される。
【0180】
本出願の実施例において、配信処理モジュール2552は、後続データ要素が対象データ要素を含まない場合に、n番目のデータ要素の配信結果が受信待ちデータであると決定するようにさらに配置される。
【0181】
本出願の実施例において、配信処理モジュール2552は、受信したn番目のデータ要素が待ちデータ要素である場合に、n番目のデータ要素の配信結果が受信待ちデータであると決定するようにさらに配置され、待ちデータ要素の状態が不完全状態であり、待ちデータ要素の配信タイプが破棄不可タイプである。
【0182】
本出願の実施例において、データ要素は、イントラ予測フレームデータ及びインター予測フレームデータを含むビデオフレームデータを含み、イントラ予測フレームデータが独立データ要素であり、イントラ予測フレームデータの配信タイプが破棄不可タイプであり、イントラ予測フレームデータが後処理の際に自データに基づいてフレーム画像をレンダリングし、インター予測フレームデータが関連データ要素であり、インター予測フレームデータの配信タイプが破棄可能タイプであり、インター予測フレームデータが後処理の際に自データ及びイントラ予測フレームデータに基づいてフレーム画像をレンダリングし、イントラ予測フレームデータとインター予測フレームデータとが同じデータタイプである。
【0183】
本出願の実施例において、データ要素は、オーディオフレームデータをさらに含み、オーディオフレームデータが独立データ要素であり、オーディオフレームデータの配信タイプが破棄不可タイプであり、オーディオフレームデータとビデオフレームデータとが異なるデータタイプである。
【0184】
本出願の実施例において、データ受信モジュール2551は、受信したデータ要素が最も新しく配信したデータ要素と配信順序で隣接する場合には、受信したデータ要素を第1データ要素セットにおけるデータ要素として決定するとともに、第2データ要素セットから、受信したデータ要素と配信順序で隣接する少なくとも1つのデータ要素を取得して、隣接する少なくとも1つのデータ要素を第1データ要素セットにおけるデータ要素として決定し、受信したデータ要素が最も新しく配信したデータ要素と配信順序で隣接しない場合には、受信したデータ要素を第2データ要素セットにおけるデータ要素として決定するようにさらに配置される。
【0185】
本出願の実施例において、データ受信モジュール2551は、配信順序に基づき、第1データ要素セット及び第2データ要素セットから、受信したn番目のデータ要素の後続データ要素を取得するようにさらに配置される。
【0186】
本出願の実施例は、コンピュータ可読記録媒体に記憶されるコンピュータ命令を含むコンピュータプログラム製品又はコンピュータプログラムを提供する。受信機器の第1プロセッサはコンピュータ可読記録媒体から該コンピュータ命令を読取り、第1プロセッサは、該コンピュータ命令を実行して、本出願の実施例で記述される受信機器側のデータ処理方法を該受信機器に実行させる。
【0187】
以下、引き続き本出願の実施例に係る第2データ処理装置355のソフトウェアモジュールとして実装される構成例について説明する。いくつかの実施例において、
図3に示すように、第2メモリ350に記憶される第2データ処理装置355におけるソフトウェアモジュールは、
配信順序を含むデータ要素を少なくとも2つのチャネルを介して受信機器に送信するように配置されるデータ送信モジュール3551と、
データ要素の送信の際に、n番目(nは正の整数である)のデータ要素を伝送するチャネルを切り換えるための切換指令に応答して、n番目のデータ要素の配信タイプを取得するように配置されるチャネル切換モジュール3552であって、配信タイプは、後処理の際に他のデータ要素によって依存される度合と、後処理の結果に影響を与える度合との2つの情報によって決定されるチャネル切換モジュール3552と、
n番目のデータ要素の配信タイプが破棄可能タイプであり、後続データ要素が対象データ要素を含む場合に、n番目のデータ要素を受信機器に送信することを取り消すように配置される切換処理モジュール3553であって、後続データ要素は、送信した配信順序がn番目のデータ要素の後にあるデータ要素であり、対象データ要素の状態が完全状態であり、対象データ要素とn番目のデータ要素とが同じデータタイプであり、対象データ要素が独立データ要素であり、状態は、受信機器がデータ要素のすべてのデータを受信したか否かによって決定され、データタイプがデータ要素の役割によって決定され、独立データ要素の、後処理の際の他のデータ要素に対する依存度合が所定の度合未満である切換処理モジュール3553と、を備えてもよい。
【0188】
本出願の実施例において、切換処理モジュール3553は、n番目のデータ要素の配信タイプが破棄不可タイプである場合に、n番目のデータ要素の状態を取得し、n番目のデータ要素の状態が不完全状態である場合に、切り換えられたチャネルを介して受信機器にn番目のデータ要素に対応する未伝送データを送信するようにさらに配置される。
【0189】
本出願の実施例において、切換処理モジュール3553は、n番目のデータ要素の配信タイプが破棄可能タイプである場合に、配信順序がn番目のデータ要素の後にある未伝送データから、被処理データ要素を選択し、被処理データ要素がn番目のデータ要素のデータタイプと同じであり、被処理データ要素がn番目のデータ要素の配信順序に最も近く、独立データ要素に基づいて被処理データ要素を処理して、被送信データ要素を得、被送信データ要素を受信機器に送信するようにさらに配置される。
【0190】
本出願の実施例は、コンピュータ可読記録媒体に記憶されるコンピュータ命令を含むコンピュータプログラム製品又はコンピュータプログラムを提供する。送信機器の第2プロセッサはコンピュータ可読記録媒体から該コンピュータ命令を読取り、第2プロセッサは、該コンピュータ命令を実行して、本出願の実施例で記述される送信機器側のデータ処理方法を該送信機器に実行させる。
【0191】
本出願の実施例は、第1プロセッサによって実行される場合に、本出願の実施例に係る受信機器側のデータ処理方法を第1プロセッサに実行させ、第2プロセッサによって実行される場合に、本出願の実施例に係る送信機器側のデータ処理方法を第2プロセッサに実行させるコンピュータ実行可能命令が記憶されている、コンピュータ可読記録媒体を提供する。
【0192】
いくつかの実施例において、コンピュータ可読記録媒体は、FRAM(登録商標)、ROM、PROM、EPROM、EEPROM、フラッシュメモリ、磁気表面メモリ、光ディスク、又は、CD-ROM等のメモリであってもよく、上記メモリの1つ、又は、任意の組み合わせを含む様々な機器であってもよい。
【0193】
いくつかの実施例において、コンピュータ実行可能命令は、プログラム、ソフトウェア、ソフトウェアモジュール、スクリプト、又は、コードの形式を使用し、任意の形式のプログラミング言語(コンパイル、又は、インタプリタ言語、又は宣言型言語又は手続き型言語を含む)で作成してもよく、且つそれは任意の形式で構成することができ、独立したプログラムとして構成され又はモジュール、アセンブリ、サブルーチン又は計算環境中に使用されることに適する他のユニットとして構成されることを含む。
【0194】
例として、コンピュータ実行可能命令は、ファイルシステムにおけるファイルと対応することができるが、必ずしも対応する必要はなく、他のプログラム、又は、データを保存するファイルの一部として記憶されてもよく、例えば、ハイパーテキストマークアップ言語(HTML、Hyper Text Markup Language)ドキュメントにおける1つ、又は、複数のスクリプトにおいて記憶されており、検討されたプログラム専用の単一のファイルにおいて記憶されており、又は、複数の共同ファイル(例えば、1つ又は複数のモジュール、サブルーチン、又は、コード部分を記憶するファイル)において記憶されている。
【0195】
例として、コンピュータ実行可能命令は、1つの電子機器(このときに、この電子機器は受信機器又は送信機器である)上で実行されるか、又は、1つの場所に位置する複数の電子機器(このときに、1つの場所に位置する複数での電子機器は受信機器又は送信機器である)上で実行されるか、又は、複数の場所に分布し且つ通信ネットワークを介して互いに接続される複数の電子機器(このときに、複数の場所に分布し且つ通信ネットワークを介して互いに接続される複数の電子機器は受信機器又は送信機器である)上で実行されるように配置されてもよい。
【0196】
本出願の実施例において、イベントなどの関連データに関わり、本出願の実施例が特定の製品又は技術に適用される場合に、ユーザの許可又は同意を取得する必要があり、関連データの収集、使用及び処理は、関連する国及び地域の関連する法律、規制及び基準に準拠する必要があることを理解されたい。
【0197】
要約すると、本出願の実施例は、マルチチャネルの伝送の際に、チャネル切り換えによって、受信側は現在受信したデータ要素がデータ要素の一部のデータを受信した場合に、現在受信したデータ要素が破棄可能タイプであると、現在受信したデータ要素が後処理の際に他のデータ要素によって依存される度合及び後処理の結果に影響を与える度合が低いことを示す。次に、現在受信したデータ要素の配信順序の後にある後続データ要素には、現在受信したデータ要素の役割と同じ後処理を独立して完成することが可能なデータ要素が含まれると決定する場合に、送信機器は後続の未送信データ要素を直接送信し、受信機器は現在受信したデータ要素を破棄処理することにより、送信機器による確認再伝送時間と受信機器によるデータ待ち時間とを低減する。したがって、チャネル切り換え時のデータ要素の伝送時間コスト及びチャネル切り換えの複雑さを低減して、マルチチャネルの伝送の際のデータ処理効率を向上させることができる。また、伝送するデータ要素がオーディオフレームデータとビデオフレームデータ、又はビデオフレームデータである場合に、ビデオ画面のレンダリングの滑らかさを向上させ、ビデオ又はオーディオビデオの再生効果を向上させることができる。
【0198】
以上の説明は、本出願の実施例に過ぎず、本出願の保護範囲を限定するためのものではない。本出願の精神及び原則内で行われたあらゆる修正、同等置換及び改良などは、いずれも本出願の保護範囲に含まれるべきである。
【手続補正書】
【提出日】2024-03-06
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
受信機器によって実行されるデータ処理方法であって、
送信機器から送信される、配信順序を含むデータ要素を少なくとも2つのチャネルを介して受信するステップと、
受信したn番目の前記データ要素が被判定データ要素である場合に、前記配信順序に基づき、受信したn番目の前記データ要素の後続データ要素を取得するステップであって、前記被判定データ要素の状態が不完全状態であり、前記被判定データ要素の配信タイプが破棄可能タイプであり、前記状態は、前記データ要素のすべてのデータを受信したか否かによって決定され、前記配信タイプは、後処理の際に他の前記データ要素によって依存される度合と、後処理の結果に影響を与える度合との2つの情報によって決定され、nは正の整数である、取得するステップと、
前記後続データ要素が対象データ要素を含む場合に、n番目の前記データ要素の配信結果が破棄であると決定するステップであって、前記対象データ要素の状態が完全状態であり、前記対象データ要素とn番目の前記データ要素とが同じデータタイプであり、前記対象データ要素が独立データ要素であり、前記データタイプが前記データ要素の役割によって決定され、前記独立データ要素の、後処理の際の他の前記データ要素に対する依存度合が所定の度合未満である、決定するステップと、を含む、データ処理方法。
【請求項2】
前記配信順序に基づき、受信したn番目の前記データ要素の後続データ要素を取得した後に、前記方法は、
前記後続データ要素のうちn+1番目の前記データ要素のすべてのデータが受信された場合に、前記n+1番目の前記データ要素の状態が前記完全状態であると決定するステップと、
前記完全状態にあるn+1番目の前記データ要素が第1条件を満たす場合に、前記後続データ要素が前記対象データ要素を含むと決定するステップであって、前記第1条件を満たすことは、n番目の前記データ要素のデータタイプと同じであること、及び前記独立データ要素に属することを含む、ステップと、をさらに含む、請求項1に記載の方法。
【請求項3】
前記n+1番目の前記データ要素の前記状態が前記完全状態であると決定した後に、前記方法は、
前記完全状態にあるn+1番目の前記データ要素が第2条件を満たす場合に、又は、前記完全状態にあるn+1番目の前記データ要素が第3条件を満たす場合に、前記後続データ要素のうちn+2番目の前記データ要素の状態を取得するステップであって、前記第2条件を満たすことは、n番目の前記データ要素の前記データタイプと異なること、及び前記独立データ要素に属することを含み、前記第3条件を満たすことは、n番目の前記データ要素の前記データタイプと同じであること、及び後処理の際の他の前記データ要素に対する依存度合が前記所定の度合以上である関連データ要素に属することを含む、取得するステップと、
n+2番目の前記データ要素の前記状態が前記完全状態であり、n+2番目の前記データ要素が前記第1条件を満たす場合に、前記後続データ要素が前記対象データ要素を含むと決定するステップと、をさらに含む、請求項2に記載の方法。
【請求項4】
前記配信順序に基づき、受信したn番目の前記データ要素の後続データ要素を取得した後に、前記方法は、
前記後続データ要素のうちn+1番目の前記データ要素が前記被判定データ要素である場合に、前記配信順序がn+1番目の前記データ要素の後にある前記データ要素を取得するとともに、取得した前記データ要素に基づき、n番目の前記データ要素及び前記n+1番目の前記データ要素の前記配信結果を決定するステップをさらに含む、請求項1に記載の方法。
【請求項5】
前記配信順序に基づき、受信したn番目の前記データ要素の後続データ要素を取得した後に、前記方法は、
前記後続データ要素が前記対象データ要素を含まない場合に、n番目の前記データ要素の前記配信結果が受信待ちデータであると決定するステップをさらに含む、請求項1に記載の方法。
【請求項6】
前記送信機器から送信されるデータ要素を前記少なくとも2つのチャネルを介して受信した後に、前記方法は、
受信したn番目の前記データ要素が待ちデータ要素である場合に、n番目の前記データ要素の前記配信結果が受信待ちデータであると決定するステップであって、前記待ちデータ要素の状態が前記不完全状態であり、前記待ちデータ要素の配信タイプが破棄不可タイプである、決定するステップをさらに含む、請求項1に記載の方法。
【請求項7】
前記データ要素は、イントラ予測フレームデータ及びインター予測フレームデータを含むビデオフレームデータを含み、前記イントラ予測フレームデータが前記独立データ要素であり、前記イントラ予測フレームデータの配信タイプが破棄不可タイプであり、前記イントラ予測フレームデータが後処理の際に自データに基づいてフレーム画像をレンダリングし、前記インター予測フレームデータが関連データ要素であり、前記インター予測フレームデータの配信タイプが前記破棄可能タイプであり、前記インター予測フレームデータが後処理の際に自データ及び前記イントラ予測フレームデータに基づいてフレーム画像をレンダリングし、前記イントラ予測フレームデータと前記インター予測フレームデータとが同じデータタイプである、請求項
1に記載の方法。
【請求項8】
前記データ要素は、オーディオフレームデータをさらに含み、前記オーディオフレームデータが前記独立データ要素であり、前記オーディオフレームデータの配信タイプが前記破棄不可タイプであり、前記オーディオフレームデータと前記ビデオフレームデータとが異なるデータタイプである、請求項7に記載の方法。
【請求項9】
送信機器から送信されるデータ要素を少なくとも2つのチャネルを介して受信した後に、前記方法は、
受信した前記データ要素が最も新しく配信した前記データ要素と前記配信順序で隣接する場合には、受信した前記データ要素を第1データ要素セットにおける前記データ要素として決定するとともに、第2データ要素セットから、受信した前記データ要素と前記配信順序で隣接する少なくとも1つの前記データ要素を取得して、隣接する少なくとも1つの前記データ要素を前記第1データ要素セットにおける前記データ要素として決定するステップと、
受信した前記データ要素と最も新しく配信した前記データ要素とが前記配信順序で隣接しない場合には、受信した前記データ要素を前記第2データ要素セットにおける前記データ要素として決定するステップと、をさらに含み、
前記配信順序に基づき、受信したn番目の前記データ要素の後続データ要素を取得する前記ステップは、
前記配信順序に基づき、前記第1データ要素セット及び前記第2データ要素セットから、受信したn番目の前記データ要素の前記後続データ要素を取得することを含む、請求項
1に記載の方法。
【請求項10】
送信機器によって実行されるデータ伝送方法であって、
配信順序を含むデータ要素を少なくとも2つのチャネルを介して受信機器に送信するステップと、
前記データ要素の送信中に、n番目の前記データ要素を伝送する前記チャネルを切り換えるための切換指令に応答して、n番目の前記データ要素の配信タイプを取得するステップであって、前記配信タイプは、後処理の際に他の前記データ要素によって依存される度合と、後処理の結果に影響を与える度合との2つの情報によって決定され、nは正の整数である、取得するステップと、
n番目の前記データ要素の前記配信タイプが破棄可能タイプであり、後続データ要素が対象データ要素を含む場合に、n番目の前記データ要素を前記受信機器に送信することを取り消すステップであって、前記後続データ要素は、送信した前記配信順序がn番目の前記データ要素の後にある前記データ要素であり、前記対象データ要素の状態が完全状態であり、前記対象データ要素とn番目の前記データ要素とが同じデータタイプであり、前記対象データ要素が独立データ要素であり、前記状態は、前記受信機器が前記データ要素の全てのデータを受信したか否かによって決定され、前記データタイプが前記データ要素の役割によって決定され、前記独立データ要素の、後処理の際の他の前記データ要素に対する依存度合が所定の度合未満である、取り消すステップと、
を含む、データ伝送方法。
【請求項11】
n番目の前記データ要素の配信タイプを取得した後に、前記方法は、
n番目の前記データ要素の前記配信タイプが破棄不可タイプである場合に、n番目の前記データ要素の状態を取得するステップと、
n番目の前記データ要素の前記状態が不完全状態である場合に、切り換えられた前記チャネルを介して前記受信機器にn番目の前記データ要素に対応する未伝送データを送信するステップと、をさらに含む、請求項10に記載の方法。
【請求項12】
n番目の前記データ要素の配信タイプを取得した後に、前記方法は、
n番目の前記データ要素の前記配信タイプが破棄可能タイプである場合に、前記配信順序がn番目の前記データ要素の後にある未伝送データから、被処理データ要素を選択するステップであって、前記被処理データ要素がn番目の前記データ要素のデータタイプと同じであり、前記被処理データ要素が前記配信順序でn番目の前記データ要素に最も近い、選択するステップと、
前記独立データ要素に基づいて前記被処理データ要素を処理して、被送信データ要素を得るステップと、
前記被送信データ要素を前記受信機器に送信するステップと、をさらに含む、請求項10に記載の方法。
【請求項13】
第1データ処理装置であって、
送信機器から送信される、配信順序を含むデータ要素を少なくとも2つのチャネルを介して受信するように配置されるデータ受信モジュールと、
受信したn番目の前記データ要素が被判定データ要素である場合に、前記配信順序に基づき、受信したn番目の前記データ要素の後続データ要素を取得するように配置される配信処理モジュールであって、前記被判定データ要素の状態が不完全状態であり、前記被判定データ要素の配信タイプが破棄可能タイプであり、前記状態は、前記データ要素のすべてのデータを受信したか否かによって決定され、前記配信タイプは、後処理の際に他の前記データ要素によって依存される度合と、後処理の結果に影響を与える度合との2つの情報によって決定され、nは正の整数であ
り、
前記配信処理モジュール
は、前記後続データ要素が対象データ要素を含む場合に、n番目の前記データ要素の配信結果が破棄であると決定するようにさらに配置され
、前記対象データ要素の状態が完全状態であり、前記対象データ要素とn番目の前記データ要素とが同じデータタイプであり、前記対象データ要素が独立データ要素であり、前記データタイプが前記データ要素の役割によって決定され、前記独立データ要素の、後処理の際の他の前記データ要素に対する依存度合が所定の度合未満である、配信処理モジュールと、
を備える、第1データ処理装置。
【請求項14】
第2データ処理装置であって、
配信順序を含むデータ要素を少なくとも2つのチャネルを介して受信機器に送信するように配置されるデータ送信モジュールと、
前記データ要素の送信中に、n番目の前記データ要素を伝送する前記チャネルを切り換えるための切換指令に応答して、n番目の前記データ要素の配信タイプを取得するように配置されるチャネル切換モジュールであって、前記配信タイプは、後処理の際に他の前記データ要素によって依存される度合と、後処理の結果に影響を与える度合との2つの情報によって決定され、nは正の整数である、チャネル切換モジュールと、
n番目の前記データ要素の前記配信タイプが破棄可能タイプであり、後続データ要素が対象データ要素を含む場合に、n番目の前記データ要素を前記受信機器に送信することを取り消すように配置される切換処理モジュールであって、前記後続データ要素は、送信した前記配信順序がn番目の前記データ要素の後にある前記データ要素であり、前記対象データ要素の状態が完全状態であり、前記対象データ要素とn番目の前記データ要素とが同じデータタイプであり、前記対象データ要素が独立データ要素であり、前記状態は、前記受信機器が前記データ要素のすべてのデータを受信したか否かによって決定され、前記データタイプが前記データ要素の役割によって決定され、前記独立データ要素の、後処理の際の他の前記データ要素に対する依存度合が所定の度合未満である、切換処理モジュールと、を備える、第2データ処理装置。
【請求項15】
データ処理のための受信機器であって、
コンピュータ実行可能命令を記憶するための第1メモリと、
前記第1メモリに記憶されるコンピュータ実行可能命令を実行する際に、請求項1から9のいずれか一項に記載のデータ処理方法を実現するための第1プロセッサと、を備える、受信機器。
【請求項16】
データ処理のための送信機器であって、
コンピュータ実行可能命令を記憶するための第2メモリと、
前記第2メモリに記憶されるコンピュータ実行可能命令を実行する際に、請求項10から12のいずれか一項に記載のデータ処理方法を実現するための第2プロセッサと、を備える、送信機器。
【請求項17】
コンピュータプログラ
ムであって、
コンピュータに請求項1から9のいずれか一項に記載のデータ処理方法を実現
させる、コンピュータプログラ
ム。
【請求項18】
コンピュータプログラムであって、
コンピュータに請求項10から12のいずれか一項に記載のデータ処理方法を実現させる、コンピュータプログラム。
【国際調査報告】