▶ グァンドン オッポ モバイル テレコミュニケーションズ コーポレーション リミテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-07-13
(45)【発行日】2022-07-22
(54)【発明の名称】データ処理方法及び装置、電子機器並びに記憶媒体
(51)【国際特許分類】
H04N 19/597 20140101AFI20220714BHJP
H04N 19/85 20140101ALI20220714BHJP
H04N 19/186 20140101ALI20220714BHJP
H04N 19/182 20140101ALI20220714BHJP
【ＦＩ】
H04N19/597
H04N19/85
H04N19/186
H04N19/182
【請求項の数】
26
(21)【出願番号】P 2021500448
(86)(22)【出願日】2019-09-18
(65)【公表番号】
(43)【公表日】2021-11-18
(86)【国際出願番号】 CN2019106501
(87)【国際公開番号】W WO2020063422
(87)【国際公開日】2020-04-02
【審査請求日】2021-01-07
(31)【優先権主張番号】201811162342.8
(32)【優先日】2018-09-30
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】516227559
【氏名又は名称】オッポ広東移動通信有限公司
【氏名又は名称原語表記】ＧＵＡＮＧＤＯＮＧ ＯＰＰＯ ＭＯＢＩＬＥ ＴＥＬＥＣＯＭＭＵＮＩＣＡＴＩＯＮＳ ＣＯＲＰ．， ＬＴＤ．
【住所又は居所原語表記】Ｎｏ． １８ Ｈａｉｂｉｎ Ｒｏａｄ，Ｗｕｓｈａ， Ｃｈａｎｇ’ａｎ，Ｄｏｎｇｇｕａｎ， Ｇｕａｎｇｄｏｎｇ ５２３８６０ Ｃｈｉｎａ
(74)【代理人】
【識別番号】100091487
【弁理士】
【氏名又は名称】中村 行孝
(74)【代理人】
【識別番号】100120031
【弁理士】
【氏名又は名称】宮嶋 学
(74)【代理人】
【識別番号】100107582
【弁理士】
【氏名又は名称】関根 毅
(74)【代理人】
【識別番号】100152205
【弁理士】
【氏名又は名称】吉田 昌司
(74)【代理人】
【識別番号】100137523
【弁理士】
【氏名又は名称】出口 智也
(72)【発明者】
【氏名】シア、ヤン
(72)【発明者】
【氏名】チャン、タオ
(72)【発明者】
【氏名】タン、カイ
【審査官】岩井 健二
(56)【参考文献】
【文献】特開２０１８－０８５６０６（ＪＰ，Ａ）
【文献】国際公開第２０１４／１６５７８４（ＷＯ，Ａ１）
【文献】国際公開第２０１４／００５２９７（ＷＯ，Ａ１）
【文献】Quanxin Zhao, et al.，Mobile Edge Decoding for Saving Energy and Improving Experience，2017 IEEE International Conference on Internet of Things (iThings) and IEEE Green Computing and Communications (GreenCom) and IEEE Cyber, Physical and Social Computing (CPSCom) and IEEE Smart Data (SmartData)，IEEE，2017年06月，pp.475-482
【文献】Michael Schneider, Jason Rambach, and Didier Stricker，Augmented Reality based on Edge Computing using the example of Remote Live Support，2017 IEEE International Conference on Industrial Technology (ICIT)，IEEE，2017年03月，pp.1277-1282
【文献】Fabrizio Lamberti, and Andrea Sanna，A Streaming-Based Solution for Remote Visualization of 3D Graphics on Mobile Devices，IEEE TRANSACTIONS ON VISUALIZATION AND COMPUTER GRAPHICS，IEEE，2007年03月，VOL. 13, NO. 2，pp.247-260
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １９／００ － １９／９８
(57)【特許請求の範囲】
【請求項1】
端末に適用されるデータ処理方法であって、三次元ビデオデータの画素値に基づいて画素符号化を行い、画素符号化データを得ること（２０１）と、
モバイルエッジコンピューティング（ＭＥＣ）サーバに前記画素符号化データを送信すること（２０３）であって、前記画素符号化データは、前記ＭＥＣサーバによる前記三次元ビデオデータの復元に用いられる、こと（２０３）と、を含み、
画素符号化を行う前の前記三次元ビデオデータのデータ量は、第１データ量であり、画素符号化を行った後の前記三次元ビデオデータのデータ量は、第２データ量であり、前記第１データ量は、前記第２データ量より大きく、
前記三次元ビデオデータの画素値に基づいて画素符号化を行い、画素符号化データを得ることは、
前記三次元ビデオデータの画素値に基づいて、所定の順序付け方式で順序付けを行い、前記三次元ビデオデータの画素値番号を得ることを含み、
前記所定の順序付け方式による順序付けは、ｌｏｇ ２ Ｐ（Ｐは生成した画素値の数）に対してビットの切り上げを行うことで、前記画素符号化を完了し、前記ｌｏｇ ２ Ｐの切り上げによって得られた数の画素符号化データを得ることを特徴とする、前記データ処理方法。
【請求項2】
前記三次元ビデオデータの画素値に基づいて画素符号化を行い、画素符号化データを得ることは、前記三次元ビデオデータの色画素値に基づいて色符号化を行い、色符号化データを得ること、
及び／又は、
前記三次元ビデオデータの深度値画素値に基づいて深度値符号化を行い、深度値符号化データを得ることを含むことを特徴とする
請求項１に記載のデータ処理方法。
【請求項3】
前記三次元ビデオデータの画素値に基づいて画素符号化を行い、画素符号化データを得ることは、前記三次元ビデオデータの画素値に基づいて、画素符号化マッピング関係をクエリし、前記画素符号化データを決定することを含むことを特徴とする
請求項１又は２に記載のデータ処理方法。
【請求項4】
前記データ処理方法は、所定の情報に基づいて画素符号化方式を選択することであって、前記所定の情報は、ネットワーク伝送状況情報、前記端末の負荷状況情報及び前記ＭＥＣサーバの負荷状況情報のうちの少なくとも１つを含む、ことを更に含み、
前記三次元ビデオデータの画素値に基づいて画素符号化を行い、画素符号化データを得ることは、
選択された前記画素符号化方式に基づいて、前記画素値に対して画素符号化を行い、前記画素符号化データを得ることを含むことを特徴とする
請求項３に記載のデータ処理方法。
【請求項5】
前記選択された画素符号化方式に基づいて、前記画素値に対して画素符号化を行い、前記画素符号化データを得ることは、単一の画素符号化方式に基づいて、前記三次元ビデオデータの単一の画素の画素値に対して単一の画素符号化を行い、第１カテゴリの符号化データを得ることであって、前記第１カテゴリの符号化データにより占有されるビット数は、前記画素値により占有されるビット数より少ない、ことと、
組み合わせた画素符号化方式に基づいて、前記三次元ビデオデータのＮ＊Ｍ個の画素の画素値に対して組み合わせ画素符号化を行い、第２カテゴリの画素符号化データを得ることであって、前記Ｎ及び前記Ｍは、いずれも正整数である、ことと、のうちの少なくとも１つを含むことを特徴とする
請求項４に記載のデータ処理方法。
【請求項6】
前記Ｎ＊Ｍ個の画素は、隣接して分布し、又は、前記Ｎ＊Ｍ個の画素は、所定の間隔空け方式に応じて、間隔を空けて分布することを特徴とする
請求項５に記載のデータ処理方法。
【請求項7】
前記三次元ビデオデータの画素値に基づいて、画素符号化マッピング関係をクエリし、前記画素符号化データを決定することは、前記三次元ビデオデータの画素値に基づいて、前記画素符号化マッピング関係をクエリすることと、
前記画素値が前記画素符号化マッピング関係にあることに応答して、前記画素値に対応する画素符号化値に基づいて、前記画素符号化データを決定することと、を含むことを特徴とする
請求項３に記載のデータ処理方法。
【請求項8】
前記データ処理方法は、前記画素値が前記画素符号化マッピング関係にないことに応答して、前記画素値に基づいて前記画素符号化マッピング関係を更新し、更新された画素符号化マッピング関係又は前記画素符号化マッピング関係の更新部分を前記ＭＥＣサーバに送信することを更に含むことを特徴とする
請求項７に記載のデータ処理方法。
【請求項9】
モバイルエッジコンピューティング（ＭＥＣ）サーバに適用されるデータ処理方法であって、端末から送信された画素符号化データを受信すること（３０１）と、
前記画素符号化データに基づいて、三次元ビデオデータの画素値を復元すること（３０３）であって、画素符号化を行う前の前記三次元ビデオデータのデータ量は、第１データ量であり、画素符号化を行った後の前記三次元ビデオデータのデータ量は、第２データ量であり、前記第１データ量は、前記第２データ量より大きい、こと（３０３）と、
前記画素符号化データの画素符号化方式を決定することと、を含み、
前記画素符号化データに基づいて三次元ビデオデータを復元することは、
前記画素符号化方式に基づいて、前記画素符号化データに対して画素復号を行い、前記三次元ビデオデータの画素値を得ることを含み、
前記画素符号化方式は、ｌｏｇ ２ Ｐ（Ｐは生成した画素値の数）に対してビットの切り上げを行うことで、前記画素符号化を完了し、前記ｌｏｇ ２ Ｐの切り上げによって得られた数の画素符号化データを得ることを特徴とする、前記データ処理方法。
【請求項10】
前記画素符号化データに基づいて、三次元ビデオデータ的画素値を復元することは、前記画素符号化データの色符号化データに基づいて、前記三次元ビデオデータの色画素値を復元することと、
前記画素符号化データの深度値符号化データに基づいて、前記三次元ビデオデータの深度値画素値を復元することと、のうちの少なくとも１つを含むことを特徴とする
請求項９に記載のデータ処理方法。
【請求項11】
端末に適用されるデータ処理装置であって、三次元ビデオデータの画素値に基づいて画素符号化を行い、画素符号化データを得るように構成される符号化モジュール（４０１）と、
モバイルエッジコンピューティング（ＭＥＣ）サーバに前記画素符号化データを送信するように構成される送信モジュール（４０２）であって、前記画素符号化データは、前記ＭＥＣサーバによる前記三次元ビデオデータの復元に用いられる、送信モジュール（４０２）と、を備え、
画素符号化を行う前の前記三次元ビデオデータのデータ量は、第１データ量であり、画素符号化を行った後の前記三次元ビデオデータのデータ量は、第２データ量であり、前記第１データ量は、前記第２データ量より大きく、
前記符号化モジュールは具体的には、前記三次元ビデオデータの画素値に基づいて、所定の順序付け方式で順序付けを行い、前記三次元ビデオデータの画素値番号を得るように構成され、
前記所定の順序付け方式による順序付けは、ｌｏｇ ２ Ｐ（Ｐは生成した画素値の数）に対してビットの切り上げを行うことで、前記画素符号化を完了し、前記ｌｏｇ ２ Ｐの切り上げによって得られた数の画素符号化データを得ることを特徴とする、前記データ処理装置。
【請求項12】
前記符号化モジュールは、前記三次元ビデオデータの色画素値に基づいて色符号化を行い、色符号化データを得るように構成される色符号化サブモジュール、
及び／又は、
前記三次元ビデオデータの深度値画素値に基づいて深度値符号化を行い、深度値符号化データを得るように構成される深度値符号化サブモジュールを備えることを特徴とする
請求項１１に記載のデータ処理装置。
【請求項13】
前記符号化モジュールは具体的には、前記三次元ビデオデータの画素値に基づいて、画素符号化マッピング関係をクエリし、前記画素符号化データを決定するように構成されることを特徴とする請求項１１又は１２に記載のデータ処理装置。
【請求項14】
前記データ処理装置は、所定の情報に基づいて画素符号化方式を選択するように構成される選択モジュールであって、前記所定の情報は、ネットワーク伝送状況情報、前記端末の負荷状況情報及び前記ＭＥＣサーバの負荷状況情報のうちの少なくとも１つを含む、選択モジュールを更に備え、
前記符号化モジュールは具体的には、画素符号化方式に基づいて、前記画素値に対して画素符号化を行い、前記画素符号化データを得るように構成されることを特徴とする
請求項１３に記載のデータ処理装置。
【請求項15】
前記符号化モジュールは少なくとも、単一の画素符号化方式に基づいて、前記三次元ビデオデータの単一の画素の画素値に対して単一の画素符号化を行い、第１カテゴリの符号化データを得ることであって、前記第１カテゴリの符号化データにより占有されるビット数は、前記画素値により占有されるビット数より少ない、ことと、組み合わせた画素符号化方式に基づいて、前記三次元ビデオデータのＮ＊Ｍ個の画素の画素値に対して組み合わせ画素符号化を行い、第２カテゴリの画素符号化データを得ることであって、前記Ｎ及び前記Ｍは、いずれも正整数である、ことと、のうちの少なくとも１つを実行するように構成されることを特徴とする請求項１４に記載のデータ処理装置。
【請求項16】
前記Ｎ＊Ｍ個の画素は、隣接して分布し、又は、前記Ｎ＊Ｍ個の画素は、所定の間隔空け方式に応じて、間隔を空けて分布することを特徴とする
請求項１５に記載のデータ処理装置。
【請求項17】
前記符号化モジュールは、前記三次元ビデオデータの画素値に基づいて、前記画素符号化マッピング関係をクエリするように構成されるクエリサブモジュールと、
前記画素値が前記画素符号化マッピング関係にあることに応答して、前記画素値に対応する画素符号化値に基づいて、前記画素符号化データを決定するように構成される決定サブモジュールと、を備えることを特徴とする
請求項１３に記載のデータ処理装置。
【請求項18】
前記データ処理装置は、前記画素値が前記画素符号化マッピング関係にないことに応答して、前記画素値に基づいて前記画素符号化マッピング関係を更新し、更新された画素符号化マッピング関係又は前記画素符号化マッピング関係の更新部分を前記ＭＥＣサーバに送信するように構成される更新モジュールを更に備えることを特徴とする
請求項１７に記載のデータ処理装置。
【請求項19】
前記画素符号化マッピング関係は、画素符号化マッピングテーブル、
複数の離散した画素符号化マッピング値対、及び
画素値と画素符号化データとの関数表現式、のうちの少なくとも１つを含むことを特徴とする
請求項１３に記載のデータ処理装置。
【請求項20】
単一の符号化マッピング方式を用いることに応答して、前記三次元ビデオデータの画素値に基づいて、所定の順序付け方式に応じて順序付けを行い、前記三次元ビデオデータの画素値番号を得て、前記画素値と前記画素値番号とのマッピング関係を確立するように構成されるプロセッサを備えることを特徴とする
請求項１１に記載のデータ処理装置。
【請求項21】
モバイルエッジコンピューティング（ＭＥＣ）サーバに適用されるデータ処理装置であって、端末から送信された画素符号化データを受信するように構成される受信モジュール（５０１）と、
前記画素符号化データに基づいて、三次元ビデオデータの画素値を復元するように構成される復元モジュール（５０２）であって、画素符号化を行う前の前記三次元ビデオデータのデータ量は、第１データ量であり、画素符号化を行った後の前記三次元ビデオデータのデータ量は、第２データ量であり、前記第１データ量は、前記第２データ量より大きい、復元モジュール（５０２）と、
前記画素符号化データの画素符号化方式を決定するように構成される決定モジュールと、を備え、
前記復元モジュールは具体的には、前記画素符号化方式に基づいて、前記画素符号化データに対して画素復号を行い、前記三次元ビデオデータの画素値を得るように構成され、
前記画素符号化方式は、ｌｏｇ ２ Ｐ（Ｐは生成した画素値の数）に対してビットの切り上げを行うことで、前記画素符号化を完了し、前記ｌｏｇ ２ Ｐの切り上げによって得られた数の画素符号化データを得ることを特徴とする、前記データ処理装置。
【請求項22】
前記復元モジュールは、前記画素符号化データの色符号化データに基づいて、前記三次元ビデオデータの色画素値を復元するように構成される色復元サブモジュールと、
前記画素符号化データの深度値符号化データに基づいて、前記三次元ビデオデータの深度値画素値を復元するように構成される深度値復元サブモジュールと、のうちの少なくとも１つを備えることを特徴とする
請求項２１に記載のデータ処理装置。
【請求項23】
モバイルエッジコンピューティング（ＭＥＣ）サーバに適用されるデータ処理装置であって、
端末から送信された画素符号化データを受信するように構成される受信モジュール（５０１）と、
前記画素符号化データに基づいて、三次元ビデオデータの画素値を復元するように構成される復元モジュール（５０２）であって、画素符号化を行う前の前記三次元ビデオデータのデータ量は、第１データ量であり、画素符号化を行った後の前記三次元ビデオデータのデータ量は、第２データ量であり、前記第１データ量は、前記第２データ量より大きい、復元モジュール（５０２）と、
前記画素符号化データの画素符号化方式を決定するように構成される決定モジュールと、を備え、
前記復元モジュールは具体的には、前記画素符号化方式に基づいて、前記画素符号化データに対して画素復号を行い、前記三次元ビデオデータの画素値を得るように構成され、
前記決定モジュールは、
前記三次元ビデオデータに含まれる画素の数を決定し、前記画素符号化データのデータ数を決定し、前記画素の数及び前記データ数に基づいて、前記画素符号化方式を決定するように構成される第１決定サブモジュールと、
前記端末と画素符号化パラメータをやり取りするように構成される第２決定サブモジュールであって、前記画素符号化パラメータは少なくとも画素符号化方式を含む、第２決定サブモジュールと、のうちの少なくとも１つを備えることを特徴とする
データ処理装置。
【請求項24】
前記復元モジュールは具体的には、単一の画素符号化方式に基づいて、単一の画素の前記画素符号化データに対して復号を行い、三次元ビデオデータの画素値を復元することと、
組み合わせた画素符号化方式に基づいて、Ｎ＊Ｍ個の画素の前記画素符号化データに対して復号を行い、前記三次元ビデオデータの画素値を復元することと、のうちの少なくとも１つを実行するように構成されることを特徴とする
請求項２１に記載のデータ処理装置。
【請求項25】
前記復元モジュールは具体的には、前記画素符号化データに基づいて、画素符号化マッピング関係をクエリし、前記画素符号化データに対応する画素値を得るように構成されることを特徴とする請求項２１又は２２に記載のデータ処理装置。
【請求項26】
前記データ処理装置は、前記画素符号化データに基づいて三次元ビデオデータの画素値を復元する前に、前記端末から送信された、更新された画素符号化マッピング関係又は前記画素符号化マッピング関係の更新部分を受信するように構成される受信モジュールを更に備えることを特徴とする
請求項２５に記載のデータ処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、情報技術分野に関するが、これに限定されず、特にデータ処理方法及び装置、電子機器並びに記憶媒体に関する。
【背景技術】
【0002】
一枚の画像について、一般的には、画素値で、画素の色、階調、輝度などの種々の情報を個々に表す必要がある。一般的には、同様な情報量、画像及び／又はビデオの伝送ために消費される帯域幅が大きい。従って、幾つかの画像伝送シーンで、画像を連続的に伝送すると、大量の帯域幅を消費するという問題及び／又は伝送遅延が大きいという問題が存在することがある。
【発明の概要】
【発明が解決しようとする課題】
【0003】
本願の実施例は、データ処理方法及び装置、電子機器並びに記憶媒体を提供する。
【課題を解決するための手段】
【0004】
本願の実施例でデータ処理方法であって、端末に適用され、前記データ処理方法は、
三次元ビデオデータの画素値に基づいて画素符号化を行い、画素符号化データを得ることと、
モバイルエッジコンピューティング（ＭＥＣ：Ｍｏｂｉｌｅ Ｅｄｇｅ Ｃｏｍｐｕｔｉｎｇ）サーバに前記画素符号化データを送信することであって、前記画素符号化データは、前記ＭＥＣサーバによる前記三次元ビデオデータの復元に用いられる、ことと、を含み、
画素符号化を行う前の前記三次元ビデオデータのデータ量は、第１データ量であり、画素符号化を行った後の前記三次元ビデオデータのデータ量は、第２データ量であり、前記第１データ量は、前記第２データ量より大きい。
三次元ビデオデータの画素値に基づいて画素符号化を行い、画素符号化データを得ることと、
モバイルエッジコンピューティング（ＭＥＣ：Ｍｏｂｉｌｅ Ｅｄｇｅ Ｃｏｍｐｕｔｉｎｇ）サーバに前記画素符号化データを送信することであって、前記画素符号化データは、前記ＭＥＣサーバによる前記三次元ビデオデータの復元に用いられる、ことと、を含み、
画素符号化を行う前の前記三次元ビデオデータのデータ量は、第１データ量であり、画素符号化を行った後の前記三次元ビデオデータのデータ量は、第２データ量であり、前記第１データ量は、前記第２データ量より大きい。
【0005】
上記技術的解決手段によれば、三次元ビデオデータの画素値に基づいて画素符号化を行い、画素符号化データを得ることは、
前記三次元ビデオデータの色画素値に基づいて色符号化を行い、色符号化データを得ること、
及び／又は、
前記三次元ビデオデータ的深度値画素値に基づいて深度値符号化を行い、深度値符号化データを得ることを含む。
前記三次元ビデオデータの色画素値に基づいて色符号化を行い、色符号化データを得ること、
及び／又は、
前記三次元ビデオデータ的深度値画素値に基づいて深度値符号化を行い、深度値符号化データを得ることを含む。
【0006】
上記技術的解決手段によれば、三次元ビデオデータの画素値に基づいて画素符号化を行い、画素符号化データを得ることは、
前記三次元ビデオデータの画素値に基づいて、画素符号化マッピング関係をクエリし、前記画素符号化データを決定することを含む。
前記三次元ビデオデータの画素値に基づいて、画素符号化マッピング関係をクエリし、前記画素符号化データを決定することを含む。
【0007】
上記技術的解決手段によれば、前記データ処理方法は、
所定の情報に基づいて画素符号化方式を選択することであって、前記所定の情報は、ネットワーク伝送状況情報、前記端末の負荷状況情報及び前記ＭＥＣサーバの負荷状況情報のうちの少なくとも１つを含む、ことを更に含み、
三次元ビデオデータの画素値に基づいて画素符号化を行い、画素符号化データを得ることは、
選択された前記画素符号化方式に基づいて、前記画素値に対して画素符号化を行い、前記画素符号化データを得ることを含む。
所定の情報に基づいて画素符号化方式を選択することであって、前記所定の情報は、ネットワーク伝送状況情報、前記端末の負荷状況情報及び前記ＭＥＣサーバの負荷状況情報のうちの少なくとも１つを含む、ことを更に含み、
三次元ビデオデータの画素値に基づいて画素符号化を行い、画素符号化データを得ることは、
選択された前記画素符号化方式に基づいて、前記画素値に対して画素符号化を行い、前記画素符号化データを得ることを含む。
【0008】
上記技術的解決手段によれば、選択された画素符号化方式に基づいて、前記画素値に対して画素符号化を行い、前記画素符号化データを得ることは、
単一の画素符号化方式に基づいて、前記三次元ビデオデータの単一の画素の画素値に対して単一の画素符号化を行い、第１カテゴリの符号化データを得ることであって、前記第１カテゴリの符号化データにより占有されるビット数は、前記画素値により占有されるビット数より少ない、ことと、
組み合わせた画素符号化方式に基づいて、前記三次元ビデオデータのＮ＊Ｍ個の画素の画素値に対して組み合わせ画素符号化を行い、第２カテゴリの画素符号化データを得ることであって、前記Ｎ及び前記Ｍは、いずれも正整数である、ことと、のうちの少なくとも１つを含む。
単一の画素符号化方式に基づいて、前記三次元ビデオデータの単一の画素の画素値に対して単一の画素符号化を行い、第１カテゴリの符号化データを得ることであって、前記第１カテゴリの符号化データにより占有されるビット数は、前記画素値により占有されるビット数より少ない、ことと、
組み合わせた画素符号化方式に基づいて、前記三次元ビデオデータのＮ＊Ｍ個の画素の画素値に対して組み合わせ画素符号化を行い、第２カテゴリの画素符号化データを得ることであって、前記Ｎ及び前記Ｍは、いずれも正整数である、ことと、のうちの少なくとも１つを含む。
【0009】
上記技術的解決手段によれば、前記Ｎ＊Ｍ個の画素は、隣接して分布する。
【0010】
又は、前記Ｎ＊Ｍ個の画素は、所定の間隔空け方式に応じて、間隔を空けて分布する。
【0011】
上記技術的解決手段によれば、前記三次元ビデオデータの画素値に基づいて、画素符号化マッピング関係をクエリし、前記画素符号化データを決定することは、
前記三次元ビデオデータの画素値に基づいて、前記画素符号化マッピング関係をクエリすることと、
前記画素値が前記画素符号化マッピング関係にあることに応答して、前記画素値に対応する画素符号化値に基づいて、前記画素符号化データを決定することと、を含む。
前記三次元ビデオデータの画素値に基づいて、前記画素符号化マッピング関係をクエリすることと、
前記画素値が前記画素符号化マッピング関係にあることに応答して、前記画素値に対応する画素符号化値に基づいて、前記画素符号化データを決定することと、を含む。
【0012】
上記技術的解決手段によれば、前記データ処理方法は、
前記画素値が前記画素符号化マッピング関係にないことに応答して、前記画素値に基づいて前記画素符号化マッピング関係を更新し、更新された画素符号化マッピング関係又は前記画素符号化マッピング関係の更新部分を前記ＭＥＣサーバに送信することを更に含む。
前記画素値が前記画素符号化マッピング関係にないことに応答して、前記画素値に基づいて前記画素符号化マッピング関係を更新し、更新された画素符号化マッピング関係又は前記画素符号化マッピング関係の更新部分を前記ＭＥＣサーバに送信することを更に含む。
【0013】
上記技術的解決手段によれば、三次元ビデオデータの画素値に基づいて画素符号化を行い、画素符号化データを得ることは、
前記三次元ビデオデータの画素値に基づいて、所定の順序付け方式で順序付けを行い、前記三次元ビデオデータの画素値番号を得ることを含む。
前記三次元ビデオデータの画素値に基づいて、所定の順序付け方式で順序付けを行い、前記三次元ビデオデータの画素値番号を得ることを含む。
【0014】
データ処理方法であって、モバイルエッジコンピューティング（ＭＥＣ）サーバに適用され、前記データ処理方法は、
端末から送信された画素符号化データを受信することと、
前記画素符号化データに基づいて、三次元ビデオデータの画素値を復元することであって、画素符号化を行う前の前記三次元ビデオデータのデータ量は、第１データ量であり、画素符号化を行った後の前記三次元ビデオデータのデータ量は、第２データ量であり、前記第１データ量は、前記第２データ量より大きい、ことと、を含む。
端末から送信された画素符号化データを受信することと、
前記画素符号化データに基づいて、三次元ビデオデータの画素値を復元することであって、画素符号化を行う前の前記三次元ビデオデータのデータ量は、第１データ量であり、画素符号化を行った後の前記三次元ビデオデータのデータ量は、第２データ量であり、前記第１データ量は、前記第２データ量より大きい、ことと、を含む。
【0015】
上記技術的解決手段によれば、前記画素符号化データに基づいて、三次元ビデオデータ的画素値を復元することは、
前記画素符号化データの色符号化データに基づいて、前記三次元ビデオデータの色画素値を復元することと、
前記画素符号化データの深度値符号化データに基づいて、前記三次元ビデオデータの深度値画素値を復元することと、のうちの少なくとも１つを含む。
前記画素符号化データの色符号化データに基づいて、前記三次元ビデオデータの色画素値を復元することと、
前記画素符号化データの深度値符号化データに基づいて、前記三次元ビデオデータの深度値画素値を復元することと、のうちの少なくとも１つを含む。
【0016】
上記技術的解決手段によれば、前記データ処理方法は、
前記画素符号化データの画素符号化方式を決定することを更に含み、
前記画素符号化データに基づいて三次元ビデオデータを復元することは、
前記画素符号化方式に基づいて、前記画素符号化データに対して画素復号を行い、前記三次元ビデオデータの画素値を得ることを含む。
前記画素符号化データの画素符号化方式を決定することを更に含み、
前記画素符号化データに基づいて三次元ビデオデータを復元することは、
前記画素符号化方式に基づいて、前記画素符号化データに対して画素復号を行い、前記三次元ビデオデータの画素値を得ることを含む。
【0017】
上記技術的解決手段によれば、前記画素符号化の画素符号化方式を決定することは、
前記三次元ビデオデータに含まれる画素の数を決定し、前記画素符号化データのデータ数を決定し、前記画素の数及び前記データ数に基づいて、前記画素符号化方式を決定することと、
前記端末と画素符号化パラメータをやり取りすることであって、前記画素符号化パラメータは少なくとも画素符号化方式を含む、ことと、のうちの少なくとも１つを含む。
前記三次元ビデオデータに含まれる画素の数を決定し、前記画素符号化データのデータ数を決定し、前記画素の数及び前記データ数に基づいて、前記画素符号化方式を決定することと、
前記端末と画素符号化パラメータをやり取りすることであって、前記画素符号化パラメータは少なくとも画素符号化方式を含む、ことと、のうちの少なくとも１つを含む。
【0018】
上記技術的解決手段によれば、前記画素符号化方式に基づいて、前記画素符号化データに対して画素復号を行い、前記三次元ビデオデータの画素値を得ることは、
単一の画素符号化方式に基づいて、単一の画素の前記画素符号化データに対して復号を行い、三次元ビデオデータの画素値を復元することと、
組み合わせた画素符号化方式に基づいて、Ｎ＊Ｍ個の画素の前記画素符号化データに対して復号を行い、前記三次元ビデオデータの画素値を復元することと、のうちの少なくとも１つを含む。
単一の画素符号化方式に基づいて、単一の画素の前記画素符号化データに対して復号を行い、三次元ビデオデータの画素値を復元することと、
組み合わせた画素符号化方式に基づいて、Ｎ＊Ｍ個の画素の前記画素符号化データに対して復号を行い、前記三次元ビデオデータの画素値を復元することと、のうちの少なくとも１つを含む。
【0019】
上記技術的解決手段によれば、前記画素符号化データに基づいて、三次元ビデオデータの画素値を復元することは、
前記画素符号化データに基づいて、画素符号化マッピング関係をクエリし、前記画素符号化データに対応する画素値を得ることを含む。
前記画素符号化データに基づいて、画素符号化マッピング関係をクエリし、前記画素符号化データに対応する画素値を得ることを含む。
【0020】
上記技術的解決手段によれば、前記データ処理方法は、
前記画素符号化データに基づいて三次元ビデオデータの画素値を復元する前に、前記端末から送信された、更新された画素符号化マッピング関係又は前記画素符号化マッピング関係の更新部分を受信することを更に含む。
前記画素符号化データに基づいて三次元ビデオデータの画素値を復元する前に、前記端末から送信された、更新された画素符号化マッピング関係又は前記画素符号化マッピング関係の更新部分を受信することを更に含む。
【0021】
データ処理装置であって、端末に適用され、前記データ処理装置は、
三次元ビデオデータの画素値に基づいて画素符号化を行い、画素符号化データを得るように構成される符号化モジュールと、
モバイルエッジコンピューティング（ＭＥＣ）サーバに前記画素符号化データを送信するように構成される送信モジュールであって、前記画素符号化データは、前記ＭＥＣサーバによる前記三次元ビデオデータの復元に用いられる、送信モジュールと、を備え、
画素符号化を行う前の前記三次元ビデオデータのデータ量は、第１データ量であり、画素符号化を行った後の前記三次元ビデオデータのデータ量は、第２データ量であり、前記第１データ量は、前記第２データ量より大きい。
三次元ビデオデータの画素値に基づいて画素符号化を行い、画素符号化データを得るように構成される符号化モジュールと、
モバイルエッジコンピューティング（ＭＥＣ）サーバに前記画素符号化データを送信するように構成される送信モジュールであって、前記画素符号化データは、前記ＭＥＣサーバによる前記三次元ビデオデータの復元に用いられる、送信モジュールと、を備え、
画素符号化を行う前の前記三次元ビデオデータのデータ量は、第１データ量であり、画素符号化を行った後の前記三次元ビデオデータのデータ量は、第２データ量であり、前記第１データ量は、前記第２データ量より大きい。
【0022】
上記技術的解決手段によれば、前記符号化モジュールは、
前記三次元ビデオデータの色画素値に基づいて色符号化を行い、色符号化データを得るように構成される色符号化サブモジュール、
及び／又は、
前記三次元ビデオデータ的深度値画素値に基づいて深度値符号化を行い、深度値符号化データを得るように構成される深度値符号化サブモジュールを備える。
前記三次元ビデオデータの色画素値に基づいて色符号化を行い、色符号化データを得るように構成される色符号化サブモジュール、
及び／又は、
前記三次元ビデオデータ的深度値画素値に基づいて深度値符号化を行い、深度値符号化データを得るように構成される深度値符号化サブモジュールを備える。
【0023】
上記技術的解決手段によれば、前記符号化モジュールは具体的には、前記三次元ビデオデータの画素値に基づいて、画素符号化マッピング関係をクエリし、前記画素符号化データを決定するように構成される。
【0024】
上記技術的解決手段によれば、前記データ処理装置は、
所定の情報に基づいて画素符号化方式を選択するように構成される選択モジュールであって、前記所定の情報は、ネットワーク伝送状況情報、前記端末の負荷状況情報及び前記ＭＥＣサーバの負荷状況情報のうちの少なくとも１つを含む、選択モジュールを更に備え、
前記符号化モジュールは具体的には、画素符号化方式に基づいて、前記画素値に対して画素符号化を行い、前記画素符号化データを得るように構成される。
所定の情報に基づいて画素符号化方式を選択するように構成される選択モジュールであって、前記所定の情報は、ネットワーク伝送状況情報、前記端末の負荷状況情報及び前記ＭＥＣサーバの負荷状況情報のうちの少なくとも１つを含む、選択モジュールを更に備え、
前記符号化モジュールは具体的には、画素符号化方式に基づいて、前記画素値に対して画素符号化を行い、前記画素符号化データを得るように構成される。
【0025】
上記技術的解決手段によれば、前記符号化モジュールは少なくとも、単一の画素符号化方式に基づいて、前記三次元ビデオデータの単一の画素の画素値に対して単一の画素符号化を行い、第１カテゴリの符号化データを得ることであって、前記第１カテゴリの符号化データにより占有されるビット数は、前記画素値により占有されるビット数より少ない、ことと、組み合わせた画素符号化方式に基づいて、前記三次元ビデオデータのＮ＊Ｍ個の画素の画素値に対して組み合わせ画素符号化を行い、第２カテゴリの画素符号化データを得ることであって、前記Ｎ及び前記Ｍは、いずれも正整数である、ことと、のうちの少なくとも１つを実行するように構成される。
【0026】
上記技術的解決手段によれば、前記Ｎ＊Ｍ個の画素は、隣接して分布する。
【0027】
又は、前記Ｎ＊Ｍ個の画素は、所定の間隔空け方式に応じて、間隔を空けて分布する。
【0028】
上記技術的解決手段によれば、前記符号化モジュールは、
前記三次元ビデオデータの画素値に基づいて、前記画素符号化マッピング関係をクエリするように構成されるクエリサブモジュールと、
前記画素値が前記画素符号化マッピング関係にあることに応答して、前記画素値に対応する画素符号化値に基づいて、前記画素符号化データを決定するように構成される決定サブモジュールと、を備える。
前記三次元ビデオデータの画素値に基づいて、前記画素符号化マッピング関係をクエリするように構成されるクエリサブモジュールと、
前記画素値が前記画素符号化マッピング関係にあることに応答して、前記画素値に対応する画素符号化値に基づいて、前記画素符号化データを決定するように構成される決定サブモジュールと、を備える。
【0029】
上記技術的解決手段によれば、前記データ処理装置は、
前記画素値が前記画素符号化マッピング関係にないことに応答して、前記画素値に基づいて前記画素符号化マッピング関係を更新し、更新された画素符号化マッピング関係又は前記画素符号化マッピング関係の更新部分を前記ＭＥＣサーバに送信するように構成される更新モジュールを更に備える。
前記画素値が前記画素符号化マッピング関係にないことに応答して、前記画素値に基づいて前記画素符号化マッピング関係を更新し、更新された画素符号化マッピング関係又は前記画素符号化マッピング関係の更新部分を前記ＭＥＣサーバに送信するように構成される更新モジュールを更に備える。
【0030】
上記技術的解決手段によれば、前記符号化モジュールは具体的には、前記三次元ビデオデータの画素値に基づいて、所定の順序付け方式で順序付けを行い、前記三次元ビデオデータの画素値番号を得るように構成される。
【0031】
データ処理装置であって、モバイルエッジコンピューティング（ＭＥＣ）サーバに適用され、前記データ処理装置は、
端末から送信された画素符号化データを受信するように構成される受信モジュールと、
前記画素符号化データに基づいて、三次元ビデオデータの画素値を復元するように構成される復元モジュールであって、画素符号化を行う前の前記三次元ビデオデータのデータ量は、第１データ量であり、画素符号化を行った後の前記三次元ビデオデータのデータ量は、第２データ量であり、前記第１データ量は、前記第２データ量より大きい、復元モジュールと、を備える。
端末から送信された画素符号化データを受信するように構成される受信モジュールと、
前記画素符号化データに基づいて、三次元ビデオデータの画素値を復元するように構成される復元モジュールであって、画素符号化を行う前の前記三次元ビデオデータのデータ量は、第１データ量であり、画素符号化を行った後の前記三次元ビデオデータのデータ量は、第２データ量であり、前記第１データ量は、前記第２データ量より大きい、復元モジュールと、を備える。
【0032】
上記技術的解決手段によれば、前記復元モジュールは、
前記画素符号化データの色符号化データに基づいて、前記三次元ビデオデータの色画素値を復元するように構成される色復元サブモジュールと、
前記画素符号化データの深度値符号化データに基づいて、前記三次元ビデオデータの深度値画素値を復元するように構成される深度値復元サブモジュールと、のうちの少なくとも１つを備える。
前記画素符号化データの色符号化データに基づいて、前記三次元ビデオデータの色画素値を復元するように構成される色復元サブモジュールと、
前記画素符号化データの深度値符号化データに基づいて、前記三次元ビデオデータの深度値画素値を復元するように構成される深度値復元サブモジュールと、のうちの少なくとも１つを備える。
【0033】
上記技術的解決手段によれば、前記データ処理装置は、
前記画素符号化データの画素符号化方式を決定するように構成される決定モジュールを更に備え、
前記復元モジュールは具体的には、前記画素符号化方式に基づいて、前記画素符号化データに対して画素復号を行い、前記三次元ビデオデータの画素値を得るように構成される。
前記画素符号化データの画素符号化方式を決定するように構成される決定モジュールを更に備え、
前記復元モジュールは具体的には、前記画素符号化方式に基づいて、前記画素符号化データに対して画素復号を行い、前記三次元ビデオデータの画素値を得るように構成される。
【0034】
上記技術的解決手段によれば、前記決定モジュールは、
前記三次元ビデオデータに含まれる画素の数を決定し、前記画素符号化データのデータ数を決定し、前記画素の数及び前記データ数に基づいて、前記画素符号化方式を決定するように構成される第１決定サブモジュールと、
前記端末と画素符号化パラメータをやり取りするように構成される第２決定サブモジュールであって、前記画素符号化パラメータは少なくとも画素符号化方式を含む、第２決定サブモジュールと、のうちの少なくとも１つを備える。
前記三次元ビデオデータに含まれる画素の数を決定し、前記画素符号化データのデータ数を決定し、前記画素の数及び前記データ数に基づいて、前記画素符号化方式を決定するように構成される第１決定サブモジュールと、
前記端末と画素符号化パラメータをやり取りするように構成される第２決定サブモジュールであって、前記画素符号化パラメータは少なくとも画素符号化方式を含む、第２決定サブモジュールと、のうちの少なくとも１つを備える。
【0035】
上記技術的解決手段によれば、前記復元モジュールは具体的には、
単一の画素符号化方式に基づいて、単一の画素の前記画素符号化データに対して復号を行い、三次元ビデオデータの画素値を復元することと、
組み合わせた画素符号化方式に基づいて、Ｎ＊Ｍ個の画素の前記画素符号化データに対して復号を行い、前記三次元ビデオデータの画素値を復元することと、のうちの少なくとも１つを実行するように構成される。
単一の画素符号化方式に基づいて、単一の画素の前記画素符号化データに対して復号を行い、三次元ビデオデータの画素値を復元することと、
組み合わせた画素符号化方式に基づいて、Ｎ＊Ｍ個の画素の前記画素符号化データに対して復号を行い、前記三次元ビデオデータの画素値を復元することと、のうちの少なくとも１つを実行するように構成される。
【0036】
上記技術的解決手段によれば、前記復元モジュールは具体的には、前記画素符号化データに基づいて、画素符号化マッピング関係をクエリし、前記画素符号化データに対応する画素値を得るように構成される。
【0037】
上記技術的解決手段によれば、前記データ処理装置は、
前記画素符号化データに基づいて三次元ビデオデータの画素値を復元する前に、前記端末から送信された、更新された画素符号化マッピング関係又は前記画素符号化マッピング関係の更新部分を受信するように構成される受信モジュールを更に備える。
前記画素符号化データに基づいて三次元ビデオデータの画素値を復元する前に、前記端末から送信された、更新された画素符号化マッピング関係又は前記画素符号化マッピング関係の更新部分を受信するように構成される受信モジュールを更に備える。
【0038】
コンピュータ読み取り可能な記憶媒体であって、前記コンピュータ読み取り可能な記憶媒体には、プロセッサにより実行される時、前記プロセッサに、前記いずれかの端末に適用されるデータ処理方法の工程を実現させるか又は前記いずれかのＭＥＣサーバに適用されるデータ処理方法の工程を実現させるためのコンピュータ命令が記憶される。
【0039】
電子機器であって、前記電子機器は、メモリと、プロセッサと、メモリに記憶されてプロセッサで実行可能なコンピュータ命令と、を備え、前記プロセッサは、前記コンピュータ命令を実行して、前記いずれかの端末に適用されるデータ処理方法の工程を実現させるか又は前記いずれかのＭＥＣサーバに適用されるデータ処理方法の工程を実現する。
【発明の効果】
【0040】
本願の実施例で提供されるデータ処理方法、装置、電子樹機器及び記憶媒体によれば、端末は、三次元ビデオデータの画素値を直接的に伝送することなく、画素値を画素符号化した後、画素符号化データを伝送する。伝送される画素符号化データのデータ量は、画素値の直接伝送によるデータ量より小さいため、伝送に必要な帯域幅及び遅延を減少させる。したがって、伝送データ量が少なく、必要な帯域幅が小さく、伝送遅延が小さいという特徴を有する。
【図面の簡単な説明】
【0041】
【図1】本願の実施例によるデータ伝送方法を適用するシステムアーキテクチャを示す概略図である。
【図2】本願の実施例によるデータ処理方法を示すフローチャートである。
【図3】本願の実施例によるもう１つのデータ処理方法を示すフローチャートである。
【図4】本願の実施例によるまた１つのデータ処理方法を示すフローチャートである。
【図5】本願の実施例によるデータ処理装置の構造を示す概略図である。
【図6】本願の実施例によるもう１つのデータ処理装置の構造を示す概略図である。
【図7】本願の実施例による電子機器の構造を示す概略図である。
【発明を実施するための形態】
【0042】
本願の実施例の技術的解決手段を詳しく説明する前に、まず、本願の実施例のデータ処理方法を適用するシステムアーキテクチャを簡単に説明する。本願の実施例のデータ処理方法は、三次元ビデオデータに関わるサービスに適用される。該サービスは、例えば、三次元ビデオデータ共有サービス又は三次元ビデオデータに基づいたライブストリーミングサービスなどである。このような場合、三次元ビデオデータのデータ量が大きいため、伝送される深度データ及び二次元ビデオデータをそれぞれ伝送する過程において、高い技術的サポートを必要とする。従って、移動体通信ネットワーが高いデータ伝送レート及び安定したデータ伝送環境を有することが求められている。
【0043】
図１は、本願の実施例によるデータ伝送方法を適用するシステムアーキテクチャを示す概略図である。図１に示すように、システムは、端末、基地局、ＭＥＣサーバ、サービス処理ＭＥＣサーバ、コアネットワーク及びインターネット（Ｉｎｔｅｒｎｅｔ）等を備えてもよい。ＭＥＣサーバとサービス処理ＭＥＣサーバは、コアネットワークを介して高速チャネルを確立し、データ同期を実現させる。
【0044】
図１に示す２つの端末同士のインタラクションの適用シーンを例として、ＭＥＣサーバＡは、端末Ａ（送信側）に近接するように配置されるＭＥＣサーバであり、コアネットワークＡは、端末Ａの所在する領域のコアネットワークである。なお、ＭＥＣサーバＢは、端末Ｂ（受信側）に近接するように配置されるＭＥＣサーバであり、コアネットワークＢは、端末Ｂの所在する領域のコアネットワークである。ＭＥＣサーバＡ及びＭＥＣサーバＢは、それぞれコアネットワークＡ及びコアネットワークＢを介してサービス処理ＭＥＣサーバと高速チャネルを確立し、データ同期を実現させることができる。
【0045】
ここで、端末Ａから送信された三次元ビデオデータがＭＥＣサーバＡに伝送された後、ＭＥＣサーバＡは、コアネットワークＡを経由してデータをサービス処理ＭＥＣサーバに同期させる。更に、ＭＥＣサーバＢは、サービス処理ＭＥＣサーバから、端末Ａにより送信された三次元ビデオデータを取得し、端末Ｂに送信してレンダリングする。
【0046】
ここで、端末Ｂと端末Ａが同一のＭＥＣサーバにより伝送を実現させる場合、端末Ｂと端末Ａは、直接的に１つのＭＥＣサーバにより、三次元ビデオデータの伝送を実現させ、サービス処理ＭＥＣサーバを必要としない。このような方式は、ローカルバックホール方式と呼ばれる。具体的には、端末Ｂと端末ＡがＭＥＣサーバＡにより三次元ビデオデータの伝送を実現させるとすれば、端末Ａから送信された三次元ビデオデータがＭＥＣサーバＡに伝送された後、ＭＥＣサーバＡにより、三次元ビデオデータを端末Ｂに送信してレンダリングする。
【0047】
ここで、端末は、ネットワーク状況、端末自体の設定状況又は自体に設定されたアルゴリズムに基づいて、４Ｇネットワークにアクセスした進化型基地局（ｅＮＢ）又は５Ｇネットワークにアクセスした次世代の進化型基地局（ｇＮＢ）を選択することで、ｅＮＢを、長期進化（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ：ＬＴＥ）アクセスネットワークを介してＭＥＣサーバと接続させ、ｇＮＢを、次世代のアクセスネットワーク（ＮＧ－ＲＡＮ）を介してＭＥＣサーバと接続させることができる。
【0048】
ここで、ＭＥＣサーバは、端末又はデータソースに近接するネットワークエッジ側に配置される。端末に近接するか又はデータソースに近接することは、論理的位置で端末に近接するか又はデータソースに近接するだけでなく、地理的位置で端末に近接するか又はデータソースに近接することを指す。従来の移動体通信ネットワークにおける主なサービス処理ＭＥＣサーバが若干の大都市に配置されることとは異なっており、ＭＥＣサーバは、１つの都市に複数配置されてもよい。例えば、１つのオフィスビルにユーザが多い場合、該オフィスビルの近傍に１つのＭＥＣサーバを配置してもよい。
【0049】
ここで、ＭＥＣサーバは、ネットワーク融合、コンピューティング、記憶、適用コア能力を持つエッジコンピューティングゲートウェイとして、エッジコンピューティングのために、デバイスドメイン、ネットワークドメイン、データドメイン及びアプリケーションドメインを含むプラットフォームサポートを提供する。それは、種々のスマート機器及びセンサに接続され、スマート接続及びデータ処理サービスを近傍で提供する。様々なアプリケーション及びデータをＭＥＣサーバで処理し、リアルタイムなサービス、スマートサービス、データ集約及び相互操作、セキュリティ及びプライバシー保護などのようなクリティカルなスマートサービスを実現させ、サービスのスマート決定効率を効果的に向上させる。
【0050】
図２に示すように、本実施例は、データ処理方法を提供する。前記データ処理方法は、端末に適用され、以下を含む。
【0051】
工程２０１において、三次元ビデオデータの画素値に基づいて画素符号化を行い、画素符号化データを得る。
【0052】
工程２０３において、モバイルエッジコンピューティング（ＭＥＣ）サーバに前記画素符号化データを送信し、前記画素符号化データは、前記ＭＥＣサーバによる前記三次元ビデオデータの復元に用いられる。
【0053】
画素符号化を行う前の前記三次元ビデオデータのデータ量は、第１データ量であり、画素符号化を行った後の前記三次元ビデオデータのデータ量は、第２データ量であり、前記第１データ量は、前記第２データ量より大きい。
【0054】
本実施例で提供されるデータ処理方法は、端末に適用される。該端末は、例えば、携帯電話、タブレット又はウェアラブル機器、又は固定した画像モニタなどのような様々な端末であってもよい。前記端末は、固定型端末及び／又は携帯型端末であってもよい。
【0055】
幾つかの実施例において、前記三次元ビデオデータは、二次元画像及び深度画像を含む。ここで、前記二次元画像に色画素が含まれる。前記色画素の画素値は、色値である。例えば、前記色値は、赤／緑／青（ＲＧＢ）値又は輝度／色度／濃度（ＹＵＶ）値である。
【0056】
前記深度画像は、深度画素を含み、前記深度画素の画素値は、深度値である。ここで、前記深度値は、収集対象と画像収集モジュールとの空間距離を表す。前記三次元ビデオデータ及び深度画像により、三次元画像空間内で、三次元画像を構築することができる。
【0057】
幾つかの実施例において、前記二次元画像の画像寸法は、深度画像の画像寸法と一致する。例えば、前記二次元画像及び深度画像に含まれる画素はいずれもＷ＊Ｈ個である。Ｗは、第１方向で含まれる画素の数を表し、Ｈは、第２方向で含まれる画素の数を表す。Ｗ及びＨは、いずれも正整数である。
【0058】
幾つかの実施例において、前記二次元画像及び前記深度画像は、同一の時刻で収集された２つの画像であってもよい。データ量を減少させるために、前記二次元画像の画像寸法と前記深度画像の画像寸法は、所定の関係を満たす。例えば、深度画像に含まれる画素は、Ｗ＊Ｈ個であり、深度画像に含まれる画素は、（Ｗ／ａ）＊（Ｈ／ｂ）個である。このように、１つの深度画素は、ａ＊ｂ個の色画素に対応する。三次元ビデオを構築する時、１つの深度画素の画素値に基づいてａ＊ｂ個の隣接する色画素の画素値を適用することができる。例えば、（Ｗ／ａ）＊（Ｈ／ｂ）は、（Ｗ／２）＊（Ｈ／２）に等しい。このように、１つの深度画素は、４個の色画素に対応する。三次元ビデオを構築する時、１つの深度画素の画素値に基づいて４個の隣接する色画素の画素値を適用することができる。これにより、深度画像の画像データ量を減少させる。１つの物体に隣接する小さな領域内の凹凸感がほぼ一致するため、深度画像の画像寸法は、前記二次元画像の画像寸法より小さくても、精度の高い三次元ビデオの復元及び構築を実現させることもできる。それと同時に、端末とＭＥＣサーバとでやり取りされるデータ量及び／又はＭＥＣサーバにより処理されるデータ量を減少させることができる。幾つかの実施例において、生成される画像の寸法が前記二次元画像の寸法より小さい場合、下記方式のうちの少なくとも１つを利用することができる。
【0059】
１つの方式は、前記深度画像の画像寸法を直接的に利用して前記深度画像を収集することである。
【0060】
もう１つの方式は、前記二次元画像の画像寸法を利用して元深度画像を収集し、深度画像の画像寸法に基づいて、隣接するａ＊ｂ個の画素の画素値に応じて前記深度画像を生成することである。例えば、隣接するａ＊ｂ個の画素値の平均値又は中間値に応じて前記深度画像を生成する。
【0061】
本実施例において、センシングデータから変換された画素値に対する１回目の符号化を行う。本実施例において、画素値に対して２回目の符号化を行う。ここの２回目の符号化は、前記画素符号化である。前記画素符号化を完了した後、前記画素符号化データを得る。
【0062】
幾つかの実施例において、前記画素値に対して画素符号化を行った後に生成された前記画素符号化データは、画素値自体ではない画素値コードを含んでもよい。従って、受信側は、画素符号化データを受信した後、直接的に画素符号化データに基づいて画像を表示するか又は読み出すことができない。画像を正常に表示するか又は読み出すために、画素値自体を復元する必要がある。
【0063】
幾つかの実施例において、前記１回目の符号化は、多くの画像収集モジュール自体により実行された符号化であってもよい。例えば、画像収集モジュールが光線収集によりメモリに直接的に記憶したものは、前記センシングデータ変換を行った画素値であり、つまり、前記１回目の符号化を行ったデータである。
【0064】
前記画素符号化を行った後に得られた画素符号化データをＭＥＣサーバに伝送し、ＭＥＣサーバによる三次元ビデオの生成に用いる。本実施例において、更なる画素符号化を行った後に得られた第２データ量は、符号化を行う前の第１データ量より小さいため、三次元ビデオデータ伝送のデータ量を減少させる。これにより、データ量により消費される帯域幅及び大量のデータに必要な伝送遅延を減少させる。伝送されるデータ量が小さく、消費される帯域幅が小さく、伝送遅延が小さいという特徴を有する。従って、ＭＥＣサーバが受信したデータの遅延が小さく、三次元ビデオデータを迅速かつ正確に復元し、三次元ビデオを構築することができる。
【0065】
幾つかの実施例において、三次元ビデオデータの画素値に基づいて画素符号化を行い、画素符号化データを得ることは、
前記三次元ビデオデータの色画素値に基づいて色符号化を行い、色符号化データを得ること、
及び／又は、
前記三次元ビデオデータ的深度値画素値に基づいて深度値符号化を行い、深度値符号化データを得ることを含む。
前記三次元ビデオデータの色画素値に基づいて色符号化を行い、色符号化データを得ること、
及び／又は、
前記三次元ビデオデータ的深度値画素値に基づいて深度値符号化を行い、深度値符号化データを得ることを含む。
【0066】
幾つかの実施例において、画素値を符号化する場合、三次元ビデオデータにおける色画素の色画素値のみに対して色符号化を行い、色符号化データを得ることができる。
【0067】
別の幾つかの実施例において、画素値を符号化する場合、三次元ビデオデータにおける深度値画素値のみに対して深度値符号化を行い、更に符号化された深度値符号化データを得ることができる。
【0068】
色符号化であろうが深度値符号化であろうが、更に符号化を行うことで、ＭＥＣサーバに伝送されるデータ量を減少させることができる。
【0069】
別の幾つかの実施例において、工程２０１における画素符号化は、色符号化及び深度値符号化を同時に行うことであってもよい。
【0070】
工程２０１は、
前記三次元ビデオデータにおける画素値を画素符号化マッピング関係における画素値と照合することと、
照合結果に基づいて、前記画素符号化データを得ることと、を含んでもよい。例えば、１つ又は複数の三次元ビデオデータにおける画素値Ａ１を画素符号化マッピング関係における全ての画素値と照合する。画素符号化マッピング関係における画素値と合致した画素値Ａ１が存在すれば、画素値Ａ１に対応する、画素符号化マッピング関係における画素符号化データを前記画素値Ａ１の画素符号化結果とする。
前記三次元ビデオデータにおける画素値を画素符号化マッピング関係における画素値と照合することと、
照合結果に基づいて、前記画素符号化データを得ることと、を含んでもよい。例えば、１つ又は複数の三次元ビデオデータにおける画素値Ａ１を画素符号化マッピング関係における全ての画素値と照合する。画素符号化マッピング関係における画素値と合致した画素値Ａ１が存在すれば、画素値Ａ１に対応する、画素符号化マッピング関係における画素符号化データを前記画素値Ａ１の画素符号化結果とする。
【0071】
前記照合結果は、下記を含む。
【0072】
照合結果は、照合に成功したことを表す。前記照合に成功したことは、照合結果が同一の条件又は類似した条件を満たすことを表すことを含む。
【0073】
照合結果は、照合に失敗したことを表す。つまり、前記照合結果は、同一の条件及び／又は類似した条件を満たさないことを表す。
【0074】
同一の条件を満たすと、現在収集された三次元ビデオデータにおける画素値は、前記画素符号化マッピング関係にあることを表す。
【0075】
類似した条件を満たすと、現在収集された三次元ビデオデータにおける画素値は、記画素符号化マッピング関係にある画素値と類似することを表す。
【0076】
幾つかの実施例において、現在の需要に応じて、照合に成功するために、同一の条件を満たす必要があるか、それとも類似した条件を満たす必要があるかを決定することができる。
【0077】
幾つかの実施例において、走査された現在収集した三次元ビデオデータにおけるＮ＊Ｍ個の画素の画素値と前記画素符号化マッピング関係における所定のＮ＊Ｍ個の画素の画素値との類似度が、例えば７０％、８０％、９０％又は８５％のような所定の類似度閾値より大きいと、現在走査されたＮ＊Ｍ個の画素の画素符号化データと画素符号化マッピング関係におけるＮ＊Ｍ個の画素が画素符号化の類似した条件を満たすと認められ、画素符号化マッピング関係におけるＮ＊Ｍ個の画素の画素符号化データを直接的に、現在走査されたＮ＊Ｍ個の画素の画素値の色符号化データとすることができる。
【0078】
別の幾つかの実施例において、走査された現在収集した三次元ビデオデータにおけるＮ＊Ｍ個の画素の画素値と前記画素符号化マッピング関係における所定のＮ＊Ｍ個の画素の画素値との類似度が、例えば７０％、８０％、９０％又は８５％のような所定の類似度閾値より大きいと、更に、走査されたＮ＊Ｍ個の画素の画素値のうち、画素符号化マッピング関係におけるＮ＊Ｍ個の画素の画素値と異なる１つ又は複数の画素の画素値を抽出し、抽出された画素値と画素符号化マッピング関係におけるＮ＊Ｍ個の画素の画素値との画素値差分を算出する。画素値差分が所定の差分範囲内であれば、現在走査されたＮ＊Ｍ個の画素の画素符号化データと画素符号化マッピング関係におけるＮ＊Ｍ個の画素が画素符号化の類似した条件を満たすと認められ、画素符号化マッピング関係におけるＮ＊Ｍ個の画素の画素符号化データを直接的に、現在走査されたＮ＊Ｍ個の画素の画素値の色符号化データとすることができる。そうでなければ、走査されたＮ＊Ｍ個の画素の画素符号化データと画素符号化マッピング関係におけるＮ＊Ｍ個の画素が画素符号化の類似した条件を満たしないと認められる。例えば、画素値差分が所定の差分範囲内である場合、
画素値差分は、２つの画素値が色近似値のような近似値であることを表す。画素値差分が２つの色が反対色であることを表すと、前記所定の差分範囲内ではないと認められる。２つの深度画素の深度差分は、２つの深度値差分が所定の深度値又は深度比以上であることを表すと、前記所定の差分範囲内ではないと認められる。そうでなければ、前記所定の差分範囲内であると認められる。
画素値差分は、２つの画素値が色近似値のような近似値であることを表す。画素値差分が２つの色が反対色であることを表すと、前記所定の差分範囲内ではないと認められる。２つの深度画素の深度差分は、２つの深度値差分が所定の深度値又は深度比以上であることを表すと、前記所定の差分範囲内ではないと認められる。そうでなければ、前記所定の差分範囲内であると認められる。
【0079】
別の幾つかの実施例において、前記符号化マッピング関係が符号化マッピング関数であれば、前記画素値を前記符号化マッピング関数に入力すると、画素符号化データが自動的に出力される。例えば、サンプル画像における色値をフィッティングすることで、前記符号化マッピング関数を決定する。従って、各画素値又は一組の画素値を前記符号化マッピング関数に入力すると、前記画素符号化データを自動的に得ることができる。照合により前記画素符号化データを決定する必要がない。
【0080】
要するに、工程２０１において、前記画素符号化データの決定方式は、種々であり、具体的に実現させる時、いずれか１つの方式に限定されない。
【0081】
幾つかの実施例において、前記工程２０１は、
前記三次元ビデオデータの画素値に基づいて、画素符号化マッピング関係をクエリし、前記画素符号化データを決定することを含む。
前記三次元ビデオデータの画素値に基づいて、画素符号化マッピング関係をクエリし、前記画素符号化データを決定することを含む。
【0082】
幾つかの実施例において、前記端末及び前記ＭＥＣサーバは、いずれも前記画素符号化マッピング関係を予め了解することができる。例えば、ＭＥＣサーバ及び端末にいずれも、画素符号化マッピングテーブルが予め記憶されている。
【0083】
幾つかの実施例において、前記端末とＭＥＣサーバとの間で、前記画素符号化マッピング関係について予め合意がなされている。
【0084】
前記画素符号化マッピング関係は、
前記画素符号化マッピングテーブル、
複数の離散した画素符号化マッピング値対、及び
画素値と画素符号化データとの関数表現式、のうちの少なくとも１つを含んでもよい。
前記画素符号化マッピングテーブル、
複数の離散した画素符号化マッピング値対、及び
画素値と画素符号化データとの関数表現式、のうちの少なくとも１つを含んでもよい。
【0085】
要するに、前記画素符号化マッピング関係の表現式は種々であり、上記いずれか１つに限定されない。
【0086】
幾つかの実施例において、図３に示すように、前記方法は以下を更に含む。
【0087】
工程２００において、所定の情報に基づいて画素符号化方式を選択し、前記所定の情報は、ネットワーク伝送状況情報、前記端末の負荷状況情報及び前記ＭＥＣサーバの負荷状況情報のうちの少なくとも１つを含む。
【0088】
前記工程２０１は、選択された前記画素符号化方式に基づいて、前記画素値に対して画素符号化を行い、前記画素符号化データを得ることを含む。
【0089】
例えば、ネットワーク伝送状況情報は、現在の利用可能な帯域幅が、前記画素値の直接伝送に必要な帯域幅より大きいことを表すと、前記画素符号化を行わなくてもよい。
【0090】
また例えば、前記ネットワーク伝送状況情報は、現在の利用可能な帯域幅が、前記画素値の直接伝送に必要な帯域幅より小さいことを表すと、現在の利用可能な帯域幅に基づいて、画素符号化されたデータ量が前記現在の利用可能な帯域幅以下である画素符号化方式を選択する。
【0091】
また例えば、異なる画素符号化方式を用いると、端末による符号化に必要な演算量及びＭＥＣサーバによる復元に必要な演算量はいずれも異なる。
【0092】
本実施例において、更に、端末の負荷状況情報及び／又はＭＥＣサーバの負荷状況情報に基づいて、適切な画素符号化方式を選択する。
【0093】
前記負荷状況情報は、現在の負荷率、現在の負荷量、最大負荷率及び最大負荷量のうちの少なくとも１つを含んでもよい。
【0094】
現在の負荷率が高いか又は現在の負荷量が大きいと、符号化又は復号の演算量が小さい画素符号化方式を優先して選択する。そうでなければ、任意に選択するか又はネットワーク伝送状況情報等の他の参照要因に応じて選択する。
【0095】
幾つかの実施例において、選択された画素符号化方式に基づいて、前記画素値に対して画素符号化を行い、前記画素符号化データを得ることは、
単一の画素符号化方式に基づいて、前記三次元ビデオデータの単一の画素の画素値に対して単一の画素符号化を行い、第１カテゴリの符号化データを得ることであって、前記第１カテゴリの符号化データにより占有されるビット数は、前記画素値により占有されるビット数より少ない、ことと、
組み合わせた画素符号化方式に基づいて、前記三次元ビデオデータのＮ＊Ｍ個の画素の画素値に対して組み合わせ画素符号化を行い、第２カテゴリの画素符号化データを得ることであって、前記Ｎ及び前記Ｍは、いずれも正整数である、ことと、のうちの少なくとも１つを含む。
単一の画素符号化方式に基づいて、前記三次元ビデオデータの単一の画素の画素値に対して単一の画素符号化を行い、第１カテゴリの符号化データを得ることであって、前記第１カテゴリの符号化データにより占有されるビット数は、前記画素値により占有されるビット数より少ない、ことと、
組み合わせた画素符号化方式に基づいて、前記三次元ビデオデータのＮ＊Ｍ個の画素の画素値に対して組み合わせ画素符号化を行い、第２カテゴリの画素符号化データを得ることであって、前記Ｎ及び前記Ｍは、いずれも正整数である、ことと、のうちの少なくとも１つを含む。
【0096】
本実施例において、単一の画素符号化を行う場合、１つの画素値は、１つの画素符号化データに対応する。例えば、１つの三次元ビデオデータの画像にＳ個の画素が含まれると、単一の画素符号化を行った後、Ｓ個の第１カテゴリの符号化データを得る。データ量を減少させるために、１つの第１カテゴリの符号化データにより占有されるビット数は、画素値自体により占有されるビット数より少ない。例えば、１つの画素値が３２個のビット又は１６個のビットを占有し、第１カテゴリの符号化データは、８個のビット又は１０個のビットのみを占有する。これにより、各単一の画素伝送に必要なビット数が減少したため、必要なデータ量を全体的に減少させる。
【0097】
幾つかの実施例において、組み合わせた画素符号化方式を用いることができる。
【0098】
組み合わせた画素符号化方式は、複数の画素に対して同時に画素符号化を行うことを指す。
【0099】
例えば、隣接する１つの画素行列に対して同時に符号化を行う。又は、行列又は非行列に応じて配列された複数の画素に対して同時に画素符号化を行う。
【0100】
幾つかの実施例において、３＊３又は４＊４個の画素からなる画素行列に対して符号化を行う。幾つかの実施例において、前記Ｎ＊Ｍは、１フレームの前記三次元画像データに含まれる画素で割り切れる。
【0101】
幾つかの場合に、画像収集を行う時、これらの隣接する画素の深度値及び／又は色情報は、相対的に決まったものである。これらの色組み合わせ又は深度組み合わせについて、前記画素符号化マッピング関係において、所定の符号化値を生成する。従って、後続で前記画素符号化を行う時、対応する三次元ビデオデータフレームにおける色画素値又は深度画素値を走査することで、特定の色組み合わせ及び／又は深度組み合わせを含むかどうかを決定する。これにより、対応する符号化値に変換し、前記画素符号化データを得る。
【0102】
幾つかの実施例において、現在の需要に応じて、前記単一の画素符号化及び組み合わせた画素符号化を混用することができる。
【0103】
前記画素符号化データを伝送すると同時に、又は前記画素符号化データを伝送する前に、選択された符号化方式を事前通知することができる。選択された符号化方式は、前記単一の画素符号化方式、組み合わせた画素符号化方式、単一の画素符号化方式と組み合わせた画素符号化方式を混用した混用画素符号化方式であってもよい。
【0104】
前記Ｎ＊Ｍ個の画素は、隣接して分布する。
【0105】
前記Ｎ＊Ｍ個の画素は、所定の間隔空け方式に応じて、間隔を空けて分布する。
【0106】
Ｎ＊Ｍ個の画素が隣接して分布すると、Ｎ＊Ｍ個の画素行列を形成する。
【0107】
任意選択的に、Ｎ＊Ｍ個の画素が所定の間隔空け方式に応じて、間隔を空けて分布する。例えば、Ｎ＊Ｍ個の画素に属する２つの画素は、例えば、１つ又は複数の画素のような所定個の画素の間隔を空けて分布してもよい。
【0108】
幾つかの実施例において、前記Ｎ＊Ｍは、動的に決定されてもよく、静的に設定されてもよい。
【0109】
例えば、三次元画像データフレームにおける画像を第１領域及び第２領域に分ける。第１領域において、単一の画素符号化を用いる。第２領域において、組み合わせた画素符号化を用いる。
【0110】
また例えば、三次元画像フレームにおける画像の第１領域の画素値を直接的にＭＥＣサーバに伝送し、第２領域において、単一の画素符号化及び／又は組み合わせた画素符号化を行う。
【0111】
これにより、伝送データ量と画像品質との間で良好なバランスが取られる。
【0112】
幾つかの実施例において、前記三次元ビデオデータの画素値に基づいて、画素符号化マッピング関係をクエリし、前記画素符号化データを決定することは、
前記三次元ビデオデータの画素値に基づいて、前記画素符号化マッピング関係をクエリすることと、
前記画素値が前記画素符号化マッピング関係にあることに応答して、前記画素値に対応する画素符号化値に基づいて、前記画素符号化データを決定することと、を含む。
前記三次元ビデオデータの画素値に基づいて、前記画素符号化マッピング関係をクエリすることと、
前記画素値が前記画素符号化マッピング関係にあることに応答して、前記画素値に対応する画素符号化値に基づいて、前記画素符号化データを決定することと、を含む。
【0113】
１つの三次元ビデオデータフレームの画像データの画素符号化マッピング関係は、事前決定されたものであってもよい。別の幾つかの場合に、決定されていないものであってもよいか又は経時的に変動したものであってもよい。
【0114】
１つのストリーマの的三次元ライブストリーミングビデオを例として、該ストリーマが、子の前に三次元ビデオライブストリーミングに関与したことがあれば、該ストリーマが所持する端末又はＭＥＣサーバに、該ストリーマの顔部の符号化マッピング関係が記憶されていることがある。該ストリーマの顔部に修飾が突然に追加されるか又はメイクパーツが変動した場合、顔部の少なくとも鮮やかな色調の画像が変動した可能性がある。この場合、上記画素マッピング関係は、前記画素符号化マッピング関係に存在しないことがある。
【0115】
別の幾つかの実施例において、前記データ処理方法は、
前記画素値が前記画素符号化マッピング関係にないことに応答して、前記画素値に基づいて前記画素符号化マッピング関係を更新し、更新された画素符号化マッピング関係又は前記画素符号化マッピング関係の更新部分を前記ＭＥＣサーバに送信することを更に含む。
前記画素値が前記画素符号化マッピング関係にないことに応答して、前記画素値に基づいて前記画素符号化マッピング関係を更新し、更新された画素符号化マッピング関係又は前記画素符号化マッピング関係の更新部分を前記ＭＥＣサーバに送信することを更に含む。
【0116】
本実施例において、符号化マッピング関係の決定を容易にするために、本格的なライブストリーミング前の対話握手又はコミッショニング段階で、ターゲット対象の１つ又は複数の三次元ビデオデータを収集する。これらの三次元ビデオデータの画素値走査により、ターゲット対象に対応する画素マッピング関係が確立されているかどうかを判定する。又は、画素マッピング関係の更新を必要とするかどうかを判定する。三次元マッピング関係の更新を必要とすれば、前記三次元マッピング関係を更新する。更新を必要としなければ、三次元ビデオデータの本格的なやり取りに入る。
【0117】
幾つかの実施例において、前記工程２０１は、
前記三次元ビデオデータの画素値に基づいて、所定の順序付け方式で順序付けを行い、前記三次元ビデオデータの画素値番号を得ることを含んでもよい。
前記三次元ビデオデータの画素値に基づいて、所定の順序付け方式で順序付けを行い、前記三次元ビデオデータの画素値番号を得ることを含んでもよい。
【0118】
例えば、１つの顔を例として、顔の肌色及び顔部の起伏は、いずれも最大値及び最小値を有する。これにより、画像収集モジュールにより収集された二次元画像及び／又は深度画像はいずれも特定の色画素値又は深度画素値区間内に集中する。画像収集器の最大画素値及び最小画素値を殆どカバーしない。１６ビットの色チャネルに対応する２１５個の考えられる画素値のうち、有効に利用できるものは、２００個程度である可能性があり、延いては１００個程度である可能性がある。
【0119】
前記画素値の順序付けにより、現在、幾つかの画素値が生成したかを了解することができる。例えば、Ｐ個生成した場合、ｌｏｇ２Ｐに対してビットの切り上げを行うことで、全ての画素の画素符号化を完了し、ｌｏｇ２Ｐの切り上げによって得られた数の画素符号化データを得る。従って、必要なデータ量を大幅に低減させることができる。
【0120】
１つのターゲット対象（例えば、様々なタイプのストリーマ、特定のタイプのシーンはビデオに出現することが多い）の場合、画素値の上記統計数に応じて順序付けを行い、前記画素符号化マッピング関係を生成する。又は、前記画素符号化マッピング関係を更新し、符号化ビデオ関係の決定及び生成を完了する。
【0121】
幾つかの実施例において、前記三次元ビデオデータの画素値に基づいて、所定の順序付け方式で順序付けを行い、前記三次元ビデオデータの画素値番号を得ることは、
単一の符号化マッピング方式を用いると、前記三次元ビデオデータの画素値に基づいて、所定の順付け方式に応じて順序付けを行い、前記三次元ビデオデータの画素値番号を得ることと、
前記画素値と前記画素値番号とのマッピング関係を確立することと、を含んでもよい。
単一の符号化マッピング方式を用いると、前記三次元ビデオデータの画素値に基づいて、所定の順付け方式に応じて順序付けを行い、前記三次元ビデオデータの画素値番号を得ることと、
前記画素値と前記画素値番号とのマッピング関係を確立することと、を含んでもよい。
【0122】
例えば、前記画素値番号は、
色値の順序付けにより形成された色値番号、
深度値の順序付けにより形成された深度値番号のうちの少なくとも１つを含む。
色値の順序付けにより形成された色値番号、
深度値の順序付けにより形成された深度値番号のうちの少なくとも１つを含む。
【0123】
また幾つかの実施例において、前記三次元ビデオデータの画素値に基づいて、所定の順序付け方式で順序付けを行い、前記三次元ビデオデータの画素値番号を得ることは、
前記現在の符号化マッピング方式が組み合わせた符号化マッピング方式であると、前記要求精度及び／又はターゲットシーンなどの参照要因に応じて、組み合わせた符号化マッピング方式のＮ＊Ｍの値を決定することであって、Ｎ及びＭの値は、正整数であることと、
三次元ビデオデータの画素値に基づいて、Ｎ＊Ｍ個の画素の画素値を組み合わせとして順序付けし、前記三次元ビデオデータの画素組み合わせ番号を得ることと、
前記画素値と前記画素組み合わせ番号とのマッピング関係を確立することと、を更に含んでもよい。
前記現在の符号化マッピング方式が組み合わせた符号化マッピング方式であると、前記要求精度及び／又はターゲットシーンなどの参照要因に応じて、組み合わせた符号化マッピング方式のＮ＊Ｍの値を決定することであって、Ｎ及びＭの値は、正整数であることと、
三次元ビデオデータの画素値に基づいて、Ｎ＊Ｍ個の画素の画素値を組み合わせとして順序付けし、前記三次元ビデオデータの画素組み合わせ番号を得ることと、
前記画素値と前記画素組み合わせ番号とのマッピング関係を確立することと、を更に含んでもよい。
【0124】
本実施例において、要求精度に基づいて、前記Ｎ＊Ｍを決定することができる。Ｎは、１つの画素組み合わせに対応する行数であり、Ｍは、１つの画素組み合わせに対応する列数である。又は、Ｎは、１つの画素組み合わせに対応する列数であり、Ｎは、１つの画素組み合わせに対応する行数である。
【0125】
幾つかの実施例において、前記画素組み合わせ番号は、
色値組み合わせの順序付けにより形成された色値組み合わせ番号、
深度値組み合わせの順序付けにより形成された深度値組み合わせ番号のうちの少なくとも１つを含む。
色値組み合わせの順序付けにより形成された色値組み合わせ番号、
深度値組み合わせの順序付けにより形成された深度値組み合わせ番号のうちの少なくとも１つを含む。
【0126】
従って、幾つかの実施例において、サンプル三次元ビデオデータの画素値に基づいて、Ｎ＊Ｍ個の画素の画素値を組み合わせとして順序付けを行い、前記三次元ビデオデータの画素組み合わせ番号を得ることは、
三次元ビデオデータにおける色画素の色値に基づいて、Ｎ＊Ｍ個の画素の色値を組み合わせとして順序付けを行い、三次元ビデオデータの色値組み合わせ番号を得ることを含んでもよい。例えば、順序付けを行う場合、走査された色値組み合わせの時間順に応じて順序付けを行うか又は走査された色値組み合わせの出現頻度に応じて順序付けを行い、前記色値組み合わせ番号を得る。
三次元ビデオデータにおける色画素の色値に基づいて、Ｎ＊Ｍ個の画素の色値を組み合わせとして順序付けを行い、三次元ビデオデータの色値組み合わせ番号を得ることを含んでもよい。例えば、順序付けを行う場合、走査された色値組み合わせの時間順に応じて順序付けを行うか又は走査された色値組み合わせの出現頻度に応じて順序付けを行い、前記色値組み合わせ番号を得る。
【0127】
幾つかの実施例において、異なるターゲット対象について得られた前記画素符号化マッピング関係が異なることがあるため、データは、前記画素符号化マッピング関係が漏洩されることなく、安全性が高いという特徴を有する、従って、他人は、伝送過程において画素符号化された画素符号化データをキャプチャしても、前記三次元ビデオデータを正常に復号できず、伝送の安全性が高いという特徴を有する。
【0128】
統計数に応じて順序付けを行うと、画素値出現頻度の高い画素符号化値番号は、上位にランキングされる。従って、後続で、サンプル三次元ビデオデータと同一のターゲットシーン及び収集対象にある三次元ビデオデータを利用して符号化する時、画素値照合の回数を減少させ、画素符号化の効率を向上させることができる。
【0129】
図４に示すように、本実施例は、データ処理方法を提供する。前記データ処理方法は、モバイルエッジコンピューティング（ＭＥＣ）サーバに適用され、以下を含む。
【0130】
工程３０１において、端末から送信された画素符号化データを受信する。
【0131】
工程３０３において、前記画素符号化データに基づいて、三次元ビデオデータの画素値を復元し、画素符号化を行う前の前記三次元ビデオデータのデータ量は、第１データ量であり、画素符号化を行った後の前記三次元ビデオデータのデータ量は、第２データ量であり、前記第１データ量は、前記第２データ量より大きい。
【0132】
本実施例において、直接的に受信されたものは、画素値ではなく、画素符号化データである。ＭＥＣサーバは、画素符号化データを受信した後、三次元ビデオデータの画素値を復元する必要もある。
【0133】
ＭＥＣサーバにより受信された画素符号化データは、画素値の直接受信のデータ量より小さいため、消費される帯域幅は、より小さい。
【0134】
幾つかの実施例において、前記工程３０３は、
前記画素符号化データの色符号化データに基づいて、前記三次元ビデオデータの色画素値を復元することと、
前記画素符号化データの深度値符号化データに基づいて、前記三次元ビデオデータの深度値画素値を復元することと、のうちの少なくとも１つを含む。
前記画素符号化データの色符号化データに基づいて、前記三次元ビデオデータの色画素値を復元することと、
前記画素符号化データの深度値符号化データに基づいて、前記三次元ビデオデータの深度値画素値を復元することと、のうちの少なくとも１つを含む。
【0135】
本実施例において、色符号化データに基づいて、色画素値を復元し、深度値符号化データに基づいて、深度値画素値を復元する。
【0136】
幾つかの実施例において、前記データ処理方法は、以下を更に含む。
【0137】
工程３０２において、前記画素符号化データの画素符号化方式を決定する。例えば、前記画素符号化方式は、単一の符号化方式及び／又は組み合わせた符号化方式を含んでもよい。
【0138】
前記工程３０３は、
前記画素符号化方式に基づいて、前記画素符号化データに対して画素復号を行い、前記三次元ビデオデータの画素値を得ることを含んでもよい。
前記画素符号化方式に基づいて、前記画素符号化データに対して画素復号を行い、前記三次元ビデオデータの画素値を得ることを含んでもよい。
【0139】
幾つかの実施例において、前記工程３０２の方式は、種々であり、以下、幾つかの任意選択的な方式を提供する。
【0140】
任意選択的な方式１において、前記三次元ビデオデータに含まれる画素の数を決定し、前記画素符号化データのデータ数を決定し、前記画素の数及び前記データ数に基づいて、前記画素符号化方式を決定する。
【0141】
任意選択的な方式２において、前記端末と画素符号化パラメータをやり取りする。前記画素符号化パラメータは少なくとも画素符号化方式を含む
幾つかの実施例において、前記画素符号化パラメータは前記画素符号化方式を含む。別の幾つかの実施例において、前記画素符号化パラメータは、
組み合わせた符号化方式のＮ＊Ｍの値、
単一の符号化方式及び／又は組み合わせた符号化方式の１つの画素符号化データにより占用されるビット数、
符号化マッピング関係を更に含んでもよい。
幾つかの実施例において、前記画素符号化パラメータは前記画素符号化方式を含む。別の幾つかの実施例において、前記画素符号化パラメータは、
組み合わせた符号化方式のＮ＊Ｍの値、
単一の符号化方式及び／又は組み合わせた符号化方式の１つの画素符号化データにより占用されるビット数、
符号化マッピング関係を更に含んでもよい。
【0142】
幾つかの実施例において、前記ＭＥＣサーバは、端末から前記マッピング符号化パラメータを受信しなくてもよい。例えば、１つのストリーマが所持する端末は、ライブストリーミングに用いられることが多い。ライブストリーミングにより、前記三次元ビデオデータを生成する。ＭＥＣサーバは、それが特定の端末からの画素符号化データであることを発見すると、デフォルト画素符号化パラメータを利用して前記画素値の復元を行う。ここのデフォルト画素符号化パラメータは、デフォルト符号化方式及び／又は画素符号化関係を含んでもよい。
【0143】
幾つかの実施例において、前記画素符号化方式に基づいて、前記画素符号化データに対して画素復号を行い、前記三次元ビデオデータの画素値を得ることは、
単一の画素符号化方式に基づいて、単一の画素の前記画素符号化データに対して復号を行い、三次元ビデオデータの画素値を復元することと、
組み合わせた画素符号化方式に基づいて、Ｎ＊Ｍ個の画素の前記画素符号化データに対して復号を行い、前記三次元ビデオデータの画素値を復元することと、のうちの少なくとも１つを含む。
単一の画素符号化方式に基づいて、単一の画素の前記画素符号化データに対して復号を行い、三次元ビデオデータの画素値を復元することと、
組み合わせた画素符号化方式に基づいて、Ｎ＊Ｍ個の画素の前記画素符号化データに対して復号を行い、前記三次元ビデオデータの画素値を復元することと、のうちの少なくとも１つを含む。
【0144】
幾つかの実施例において、前記工程３０２は、前記画素符号化データに基づいて、画素符号化マッピング関係をクエリし、前記画素符号化データに対応する画素値を得ることを含んでもよい。
【0145】
幾つかの実施例において、前記データ処理方法は、
前記画素符号化データに基づいて三次元ビデオデータの画素値を復元する前に、前記端末から送信された、更新された画素符号化マッピング関係又は前記画素符号化マッピング関係の更新部分を受信することを更に含む。
前記画素符号化データに基づいて三次元ビデオデータの画素値を復元する前に、前記端末から送信された、更新された画素符号化マッピング関係又は前記画素符号化マッピング関係の更新部分を受信することを更に含む。
【0146】
前記画素符号化マッピング関係のやり取りにより、画素符号化マッピング関係を端末とＭＥＣサーバにおいて同期させる。
【0147】
図５に示すように、本実施例は、データ処理装置を更に提供する。前記データ処理装置は、端末に適用され、
三次元ビデオデータの画素値に基づいて画素符号化を行い、画素符号化データを得るように構成される符号化モジュール４０１と、
モバイルエッジコンピューティング（ＭＥＣ）サーバに前記画素符号化データを送信するように構成される送信モジュールであって、前記画素符号化データは、前記ＭＥＣサーバによる前記三次元ビデオデータの復元に用いられる、送信モジュール４０２と、を備え、
画素符号化を行う前の前記三次元ビデオデータのデータ量は、第１データ量であり、画素符号化を行った後の前記三次元ビデオデータのデータ量は、第２データ量であり、前記第１データ量は、前記第２データ量より大きい。
三次元ビデオデータの画素値に基づいて画素符号化を行い、画素符号化データを得るように構成される符号化モジュール４０１と、
モバイルエッジコンピューティング（ＭＥＣ）サーバに前記画素符号化データを送信するように構成される送信モジュールであって、前記画素符号化データは、前記ＭＥＣサーバによる前記三次元ビデオデータの復元に用いられる、送信モジュール４０２と、を備え、
画素符号化を行う前の前記三次元ビデオデータのデータ量は、第１データ量であり、画素符号化を行った後の前記三次元ビデオデータのデータ量は、第２データ量であり、前記第１データ量は、前記第２データ量より大きい。
【0148】
幾つかの実施例において、前記符号化モジュール４０１及び送信モジュール４０２は、プログラムモジュールであってもよく、コンピュータによる実行可能なコードに対応し、該コンピュータによる実行可能なコードが実行された後、前記画素符号化データ及び三次元ビデオデータの送信を実現させることができる。
【0149】
別の幾つかの実施例において、前記符号化モジュール４０１及び送信モジュール４０２は、ハードウェアモジュールとプログラムモジュールとの組み合わせであってもよく、例えば、複雑なプログラマブルアレイ又はフィールドプログラマブルアレイであってもよい。
【0150】
また幾つかの実施例において、前記符号化モジュール４０１及び送信モジュール４０２は、ハードウェアモジュールに対応してもよく、例えば、前記符号化モジュール４０１及び送信モジュール４０２は、特定用途向け集積回路であってもよい。
【0151】
幾つかの実施例において、前記符号化モジュール４０１は、
前記三次元ビデオデータの色画素値に基づいて色符号化を行い、色符号化データを得るように構成される色符号化サブモジュール、
及び／又は、
前記三次元ビデオデータ的深度値画素値に基づいて深度値符号化を行い、深度値符号化データを得るように構成される深度値符号化サブモジュールを備える。
前記三次元ビデオデータの色画素値に基づいて色符号化を行い、色符号化データを得るように構成される色符号化サブモジュール、
及び／又は、
前記三次元ビデオデータ的深度値画素値に基づいて深度値符号化を行い、深度値符号化データを得るように構成される深度値符号化サブモジュールを備える。
【0152】
幾つかの実施例において、前記符号化モジュール４０１は具体的には、前記三次元ビデオデータの画素値に基づいて、画素符号化マッピング関係をクエリし、前記画素符号化データを決定するように構成される。
【0153】
幾つかの実施例において、前記データ処理装置は、
所定の情報に基づいて画素符号化方式を選択するように構成される選択モジュールであって、前記所定の情報は、ネットワーク伝送状況情報、前記端末の負荷状況情報及び前記ＭＥＣサーバの負荷状況情報のうちの少なくとも１つを含む、選択モジュールを更に備え、
前記符号化モジュール４０１は具体的には、画素符号化方式に基づいて、前記画素値に対して画素符号化を行い、前記画素符号化データを得るように構成される。
所定の情報に基づいて画素符号化方式を選択するように構成される選択モジュールであって、前記所定の情報は、ネットワーク伝送状況情報、前記端末の負荷状況情報及び前記ＭＥＣサーバの負荷状況情報のうちの少なくとも１つを含む、選択モジュールを更に備え、
前記符号化モジュール４０１は具体的には、画素符号化方式に基づいて、前記画素値に対して画素符号化を行い、前記画素符号化データを得るように構成される。
【0154】
幾つかの実施例において、前記符号化モジュールは少なくとも、単一の画素符号化方式に基づいて、前記三次元ビデオデータの単一の画素の画素値に対して単一の画素符号化を行い、第１カテゴリの符号化データを得ることであって、前記第１カテゴリの符号化データにより占有されるビット数は、前記画素値により占有されるビット数より少ない、ことと、組み合わせた画素符号化方式に基づいて、前記三次元ビデオデータのＮ＊Ｍ個の画素の画素値に対して組み合わせ画素符号化を行い、第２カテゴリの画素符号化データを得ることであって、前記Ｎ及び前記Ｍは、いずれも正整数である、ことと、のうちの少なくとも１つを実行するように構成される。
【0155】
幾つかの実施例において、前記Ｎ＊Ｍ個の画素は、隣接して分布する。
【0156】
又は、前記Ｎ＊Ｍ個の画素は、所定の間隔空け方式に応じて、間隔を空けて分布する。
【0157】
幾つかの実施例において、前記符号化モジュール４０１は、
前記三次元ビデオデータの画素値に基づいて、前記画素符号化マッピング関係をクエリするように構成されるクエリサブモジュールと、
前記画素値が前記画素符号化マッピング関係にあることに応答して、前記画素値に対応する画素符号化値に基づいて、前記画素符号化データを決定するように構成される決定サブモジュールと、を備える。
前記三次元ビデオデータの画素値に基づいて、前記画素符号化マッピング関係をクエリするように構成されるクエリサブモジュールと、
前記画素値が前記画素符号化マッピング関係にあることに応答して、前記画素値に対応する画素符号化値に基づいて、前記画素符号化データを決定するように構成される決定サブモジュールと、を備える。
【0158】
幾つかの実施例において、前記データ処理装置は、
前記画素値が前記画素符号化マッピング関係にないことに応答して、前記画素値に基づいて前記画素符号化マッピング関係を更新し、更新された画素符号化マッピング関係又は前記画素符号化マッピング関係の更新部分を前記ＭＥＣサーバに送信するように構成される更新モジュールを更に備える。
前記画素値が前記画素符号化マッピング関係にないことに応答して、前記画素値に基づいて前記画素符号化マッピング関係を更新し、更新された画素符号化マッピング関係又は前記画素符号化マッピング関係の更新部分を前記ＭＥＣサーバに送信するように構成される更新モジュールを更に備える。
【0159】
幾つかの実施例において、前記符号化モジュール４０１は具体的には、前記三次元ビデオデータの画素値に基づいて、所定の順序付け方式で順序付けを行い、前記三次元ビデオデータの画素値番号を得るように構成される。
【0160】
図６に示すように、本実施例は、データ処理装置を提供する。前記データ処理装置は、モバイルエッジコンピューティング（ＭＥＣ）サーバに適用され、
端末から送信された画素符号化データを受信するように構成される受信モジュール５０１と、
前記画素符号化データに基づいて、三次元ビデオデータの画素値を復元するように構成される復元モジュール５０２であって、画素符号化を行う前の前記三次元ビデオデータのデータ量は、第１データ量であり、画素符号化を行った後の前記三次元ビデオデータのデータ量は、第２データ量であり、前記第１データ量は、前記第２データ量より大きい、復元モジュール５０２と、を備える。
端末から送信された画素符号化データを受信するように構成される受信モジュール５０１と、
前記画素符号化データに基づいて、三次元ビデオデータの画素値を復元するように構成される復元モジュール５０２であって、画素符号化を行う前の前記三次元ビデオデータのデータ量は、第１データ量であり、画素符号化を行った後の前記三次元ビデオデータのデータ量は、第２データ量であり、前記第１データ量は、前記第２データ量より大きい、復元モジュール５０２と、を備える。
【0161】
幾つかの実施例において、前記受信モジュール５０１及び復元モジュール５０２は、プログラムモジュールであってもよく、コンピュータによる実行可能なコードに対応し、該コンピュータによる実行可能なコードが実行された後、前記画素符号化データ及び三次元ビデオデータの送信を実現させることができる。
【0162】
別の幾つかの実施例において、前記受信モジュール５０１及び復元モジュール５０２は、ハードウェアモジュールとプログラムモジュールとの組み合わせであってもよく、例えば、複雑なプログラマブルアレイ又はフィールドプログラマブルアレイであってもよい。
【0163】
また幾つかの実施例において、前記受信モジュール５０１及び復元モジュール５０２は、ハードウェアモジュールに対応してもよく、例えば、前記受信モジュール及び復元モジュールは、特定用途向け集積回路であってもよい。
【0164】
幾つかの実施例において、前記復元モジュール５０２は、
前記画素符号化データの色符号化データに基づいて、前記三次元ビデオデータの色画素値を復元するように構成される色復元サブモジュールと、
前記画素符号化データの深度値符号化データに基づいて、前記三次元ビデオデータの深度値画素値を復元するように構成される深度値復元サブモジュールと、のうちの少なくとも１つを備える。
前記画素符号化データの色符号化データに基づいて、前記三次元ビデオデータの色画素値を復元するように構成される色復元サブモジュールと、
前記画素符号化データの深度値符号化データに基づいて、前記三次元ビデオデータの深度値画素値を復元するように構成される深度値復元サブモジュールと、のうちの少なくとも１つを備える。
【0165】
幾つかの実施例において、前記データ処理装置は、
前記画素符号化データの画素符号化方式を決定するように構成される決定モジュールを更に備え、
前記復元モジュール５０２は具体的には、前記画素符号化方式に基づいて、前記画素符号化データに対して画素復号を行い、前記三次元ビデオデータの画素値を得るように構成される。
前記画素符号化データの画素符号化方式を決定するように構成される決定モジュールを更に備え、
前記復元モジュール５０２は具体的には、前記画素符号化方式に基づいて、前記画素符号化データに対して画素復号を行い、前記三次元ビデオデータの画素値を得るように構成される。
【0166】
幾つかの実施例において、前記決定モジュールは、
前記三次元ビデオデータに含まれる画素の数を決定し、前記画素符号化データのデータ数を決定し、前記画素の数及び前記データ数に基づいて、前記画素符号化方式を決定するように構成される第１決定サブモジュールと、
前記端末と画素符号化パラメータをやり取りするように構成される第２決定サブモジュールであって、前記画素符号化パラメータは少なくとも画素符号化方式を含む、第２決定サブモジュールと、のうちの少なくとも１つを備える。
前記三次元ビデオデータに含まれる画素の数を決定し、前記画素符号化データのデータ数を決定し、前記画素の数及び前記データ数に基づいて、前記画素符号化方式を決定するように構成される第１決定サブモジュールと、
前記端末と画素符号化パラメータをやり取りするように構成される第２決定サブモジュールであって、前記画素符号化パラメータは少なくとも画素符号化方式を含む、第２決定サブモジュールと、のうちの少なくとも１つを備える。
【0167】
幾つかの実施例において、前記復元モジュール５０２は具体的には、
単一の画素符号化方式に基づいて、単一の画素の前記画素符号化データに対して復号を行い、三次元ビデオデータの画素値を復元することと、
組み合わせた画素符号化方式に基づいて、Ｎ＊Ｍ個の画素の前記画素符号化データに対して復号を行い、前記三次元ビデオデータの画素値を復元することと、のうちの少なくとも１つを実行するように構成される。
単一の画素符号化方式に基づいて、単一の画素の前記画素符号化データに対して復号を行い、三次元ビデオデータの画素値を復元することと、
組み合わせた画素符号化方式に基づいて、Ｎ＊Ｍ個の画素の前記画素符号化データに対して復号を行い、前記三次元ビデオデータの画素値を復元することと、のうちの少なくとも１つを実行するように構成される。
【0168】
幾つかの実施例において、前記復元モジュール５０２は具体的には、前記画素符号化データに基づいて、画素符号化マッピング関係をクエリし、前記画素符号化データに対応する画素値を得るように構成される。
【0169】
幾つかの実施例において、前記データ処理装置は、
前記画素符号化データに基づいて三次元ビデオデータの画素値を復元する前に、前記端末から送信された、更新された画素符号化マッピング関係又は前記画素符号化マッピング関係の更新部分を受信するように構成される受信モジュール５０１を更に備える。
前記画素符号化データに基づいて三次元ビデオデータの画素値を復元する前に、前記端末から送信された、更新された画素符号化マッピング関係又は前記画素符号化マッピング関係の更新部分を受信するように構成される受信モジュール５０１を更に備える。
【0170】
本実施例は、コンピュータ記憶媒体を提供する。前記コンピュータ記憶媒体にコンピュータ命令が記憶されており、該命令がプロセッサにより実行される時、端末又はＭＥＣサーバに適用されるデータ処理方法の工程を実現させる。例えば、図２から図４に示す方法のうちの１つ又は複数を実現させる。
【0171】
図７に示すように、本実施例は、電子機器７００を提供する。前記電子機器は、メモリ７０２と、プロセッサ７０４と、メモリ７０２に記憶されてプロセッサ７０４で実行可能なコンピュータ命令と、を備え、前記プロセッサ７０４が前記命令を実行する時、端末又はＭＥＣサーバに適用されるデータ処理方法の工程を実現させる。例えば、図２から図４に示す方法のうちの１つ又は複数を実現させる。
【0172】
幾つかの実施例において、前記電子機器は、通信インタフェース７０６を更に備え、該通信インタフェース７０６は、他の機器との情報やり取りを行うように構成される。例えば、前記電子機器７００が端末であると、該通信インタフェースは少なくとも、ＭＥＣサーバと情報やり取りを行うことができる。前記電子機器がＭＥＣサーバであると、該通信インタフェース７０６は少なくとも、端末との情報やり取りを行うことができる。
【0173】
以下、上記任意の実施例を参照しながら、具体的な例を提供する。
【0174】
一般的な色に対して順番に応じて番号を付け、携帯電話により赤緑青（ＲＧＢ）データを収集した後、画像の各画素のＲＧＢデータを操作する。ＲＧＢデータが色シーケンスに含まれば、ＲＧＢデータの代わりに色番号を用いる。具体的には、画像の各画素のＲＧＢデータを走査し、画像の全ての画素のＲＧＢデータを統計し、続いて、ＲＧＢに対して順序付けを行って番号を付け、各画素のＲＧＢの代わりに番号を用いる。続いて、画素及び統計したＲＧＢデータをパケット化してアップロードする。ＭＥＣサーバ及び携帯電話側は、マッピングテーブルを保存する。ＲＧＢデータが伝送される時、画素を水平走査する。画素がマッピングテーブルに含まれなければ、マッピング（例えば、画素ＲＧＢ－フラグＡ［１６ビット］ｏｒ［３２ビット］ｏｒ［８ビット］）を新規構築し、マッピングテーブルに保存すると共に、ＲＧＢデータを１６ビットの色番号に置き換える。走査した後、マッピングテーブルにおける変動した項目及びＲＧＢデータをアップロードする。又は、単一の画素の符号化をＮｘＮ個の画素の一括した符号化までに拡張する。
【0175】
本願で提供される幾つかの実施例において、開示される装置及び方法は、他の方式によって実現できることを理解すべきである。例えば、以上に記載した装置の実施例はただ例示的なもので、例えば、前記ユニットの分割はただロジック機能の分割で、実際に実現する時は他の分割方式によってもよい。例えば、複数のユニット又は組立体を組み合わせてもよいし、別のシステムに組み込んでもよい。又は若干の特徴を無視してもよいし、実行しなくてもよい。また、示したか或いは検討した相互間の結合又は直接的な結合又は通信接続は、幾つかのインタフェース、装置又はユニットによる間接的な結合又は通信接続であってもよく、電気的、機械的または他の形態であってもよい。
【0176】
分離部材として説明した上記ユニットは、物理的に別個のものであってもよいし、そうでなくてもよい。ユニットとして示された部材は、物理的ユニットであってもよいし、そうでなくてもよい。即ち、同一の位置に位置してもよいし、複数のネットワークに分布してもよい。実際の需要に応じてそのうちの一部又は全てのユニットにより本実施例の方策の目的を実現することができる。
【0177】
また、本願の各実施例における各機能ユニットは一つの第２処理ユニットに集積されてもよいし、各ユニットが物理的に別個のものとして存在してもよいし、２つ以上のユニットが一つのユニットに集積されてもよい。上記集積したユニットはハードウェアとして実現してもよく、ハードウェアとソフトウェア機能ユニットとを組み合わせて実現してもよい。
【0178】
上記各方法に係る実施例の全部又は一部のステップはプログラム命令に係るハードウェアにより実現され、前記プログラムはコンピュータ読み取り可能な記憶媒体に記憶され、該プログラムが実行される時、上記方法の実施例におけるステップを実行し、前記記憶媒体は、携帯型記憶装置、ＲＯＭ、ＲＡＭ、磁気ディスク又は光ディスクなど、プログラムコードを記憶可能な各種の媒体を含むことは、当業者であれば理解すべきである。
【0179】
又は、本願の上記集積したユニットがソフトウェア機能ユニットの形で実現され、かつ独立した製品として販売または使用されるとき、コンピュータにより読み取り可能な記憶媒体内に記憶されてもよい。このような理解のもと、本願の技術的解決手段は、本質的に、又は、従来技術に対して貢献をもたらした部分又は該技術的解決手段の一部は、ソフトウェア製品の形式で具現することができ、このようなコンピュータソフトウェア製品は、記憶媒体に記憶しても良く、また、コンピュータ機器（パーソナルコンピュータ、ＭＥＣサーバ又はネットワーク装置など）に、本願の各実施例に記載の方法の全部又は一部のステップを実行させるための若干の命令を含む。前記の記憶媒体は、携帯型記憶装置、ＲＯＭ、ＲＡＭ、磁気ディスク、又は光ディスクなど、プログラムコードを記憶可能な各種の媒体を含む。
【0180】
本願の実施例に記載の技術的解決手段は、矛盾しない限り、任意に組み合わせられてもよいことに留意されたい。
【0181】
以上は本願の具体的な実施形態に過ぎず、本願の保護の範囲はそれらに制限されるものではなく、当業者が本発明に開示された技術範囲内で容易に想到しうる変更や置換はいずれも、本発明の保護範囲内に含まれるべきである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】